JP2012010036A - Camera calibration system, and measuring vehicle and roadside device for the same - Google Patents

Camera calibration system, and measuring vehicle and roadside device for the same Download PDF

Info

Publication number
JP2012010036A
JP2012010036A JP2010143169A JP2010143169A JP2012010036A JP 2012010036 A JP2012010036 A JP 2012010036A JP 2010143169 A JP2010143169 A JP 2010143169A JP 2010143169 A JP2010143169 A JP 2010143169A JP 2012010036 A JP2012010036 A JP 2012010036A
Authority
JP
Japan
Prior art keywords
mark
vehicle
position information
measurement vehicle
gps receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010143169A
Other languages
Japanese (ja)
Inventor
Daisuke Kamogashira
大輔 鴨頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010143169A priority Critical patent/JP2012010036A/en
Publication of JP2012010036A publication Critical patent/JP2012010036A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Abstract

PROBLEM TO BE SOLVED: To provide a camera calibration system which facilitates camera calibration for setting a condition of a camera taking an image of a traveling vehicle, and a measuring vehicle and a roadside device for the same.SOLUTION: A camera calibration system comprises a measuring vehicle, which travels with a mark installed, and a roadside device having an image processing unit for recognizing the mark of the vehicle. The measuring vehicle contains a data transmitter for transmitting positional information and time information received by an installed GPS receiver. The roadside device, by using the image processing unit for recognizing the mark in the image taken by a camera for taking the image of the traveling measuring vehicle and set position information of the roadside device received by the GPS receiver as original points, calculates a distance between the two points from the positional information on the mark and the set position information on the roadside device, based on the time information and the positional information transmitted by the data transmitter, the image taken when the image processing unit recognizes the mark, and a coordinate of the mark.

Description

本発明の実施形態は、道路の路側に設置されたカメラで道路上の車両を監視する道路監視システムのカメラキャリブレーションシステムと、その計測車両及び路側機に関する。   Embodiments described herein relate generally to a camera calibration system of a road monitoring system that monitors a vehicle on a road with a camera installed on the road side of the road, a measurement vehicle thereof, and a roadside machine.

道路監視システムなどの路側に設置されたカメラで道路上の撮影を行い、得られる画像から画像処理を用いて車両などを抽出するシステムにおいて、設置場所によって撮影画像が異なるため、予め道路の線形情報などを抽出し、パラメータとして登録しておく必要がある。   In a system that takes images on the road with a camera installed on the roadside such as a road monitoring system and extracts vehicles etc. using image processing from the obtained image, the captured image differs depending on the installation location, so road linear information in advance Must be extracted and registered as parameters.

この件に関し、専用の車両を撮像してその撮像画像における複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するカメラのキャリブレーション方法が知られている(例えば、特許文献1参照。)。   In this regard, a camera that captures a dedicated vehicle, detects coordinate values of a plurality of feature points in the captured image, and calculates road plane parameters, surveillance camera parameters, and the like from the relative positional relationship with the coordinate values. A calibration method is known (see, for example, Patent Document 1).

特開2002−232869号公報(第4頁、図1)JP 2002-232869 A (page 4, FIG. 1)

複数の専用車両がカメラ撮影範囲を走行することで、画像上の座標値と、実空間における車両の相対的な位置関係から画像平面状の距離と道路平面状の距離の相関を求めることが可能である。しかし、これは被写体間の距離関係を示すものであり、画面上に撮影されていない任意の位置から被写体までの距離を導出するには線形補完を行うなどの必要があり、十分な精度を得ることができないという課題がある。   Multiple dedicated vehicles travel in the camera shooting range, and the correlation between the image plane distance and the road plane distance can be obtained from the coordinate values on the image and the relative positional relationship of the vehicles in real space. It is. However, this shows the distance relationship between subjects, and it is necessary to perform linear interpolation to derive the distance to the subject from an arbitrary position not photographed on the screen, so that sufficient accuracy is obtained. There is a problem that it cannot be done.

本発明は、上記課題を解決するためになされたもので、GPS(Global Positioning System:全地球測位システム)受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、GPS受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出し、そのときの画像、時計情報及び座標を、時計情報をパラメータとして登録し、さらに当該計測車両から送信されるGPS受信機が受信した時計情報及び位置情報を受信し登録することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することのできるカメラキャリブレーションシステム及び路側機を提供することができる。   The present invention has been made to solve the above-described problems. A GPS (Global Positioning System) receiver, a data transmitter, a measurement vehicle equipped with a mark, a camera for photographing the vehicle, GPS, In a camera calibration system having a roadside unit connected to a receiver and a data receiver, the roadside unit detects a mark of the measurement vehicle by performing image processing on a video obtained by photographing the traveling measurement vehicle with a camera, and then By registering the clock information and coordinates of the camera as a parameter, and receiving and registering the clock information and position information received by the GPS receiver transmitted from the measurement vehicle, It is possible to provide a camera calibration system and a roadside device capable of calculating the distance to a vehicle imaged it can.

上記目的を達成するために、本発明の請求項1記載のカメラキャリブレーションシステムは、目印と、計測車両の位置情報及び時計情報を受信するGPS受信機と、このGPS受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、前記路側機は、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するGPS受信機と、このGPS受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のGPS受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該2点間の距離を算出する距離算出部と、を備えたことを特徴とする。   In order to achieve the above object, a camera calibration system according to claim 1 of the present invention includes a mark, a GPS receiver that receives position information and clock information of a measurement vehicle, and a clock received by the GPS receiver. A camera composed of a roadside device that travels a measurement vehicle equipped with a data transmitter that transmits information and position information, images a mark of the measurement vehicle, and calculates a distance from the captured image to the measurement vehicle In the calibration system, the roadside device captures an image transmitted from a storage unit that stores the mark as a template and a camera that captures the mark of the traveling measurement vehicle, and recognizes the mark therein A processing unit, a GPS receiver that receives clock information and installation position information of the roadside device, and an installation position of the roadside device received by the GPS receiver An origin information storage unit for registering information as an origin, a clock receiver transmitted from a data transmitter of the measurement vehicle and a data receiver for receiving position information synchronized with the clock information, and the image processor recognizes a mark. The image and the coordinates of the mark are obtained from the parameter table storage unit that registers the clock information received by the GPS receiver of the roadside device as a parameter in the parameter table, and the clock information registered in the parameter table storage unit. A distance calculation unit that calculates the distance between the two points from the position information synchronized with the closest time among the times obtained from the clock information received by the data reception unit with respect to the time determined and the installation position information of the roadside unit; , Provided.

また、本発明の請求項2記載のカメラキャリブレーションシステムの計測車両は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、前記目印と、計測車両の位置情報及び時計情報を受信するGPS受信機と、このGPS受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。   Further, the measurement vehicle of the camera calibration system according to claim 2 of the present invention travels a measurement vehicle equipped with a mark, photographs the mark of the vehicle, and calculates a distance from the captured image to the measurement vehicle. A measurement vehicle of a camera calibration system composed of a roadside device, the mark, a GPS receiver that receives position information and clock information of the measurement vehicle, clock information received by the GPS receiver, and the clock A data transmitter for transmitting position information synchronized with information, and a measurement vehicle for a camera calibration system.

さらに、本発明の請求項3記載の路側機は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するGPS受信機と、このGPS受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のGPS受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該2点間の距離を算出する距離算出部と、を備えたことを特徴とするカメラキャリブレーションシステムの路側機。   Furthermore, the roadside machine according to claim 3 of the present invention travels a measurement vehicle equipped with a mark, photographs the mark of the vehicle, photographs the mark of the measurement vehicle, and from the captured image to the measurement vehicle. A roadside machine that calculates a distance, a storage unit that stores the mark as a template, and an image processing unit that captures an image transmitted from a camera that captures the mark of a traveling measurement vehicle and recognizes the mark therein A GPS receiver that receives clock information and installation position information of the roadside device, an origin information storage unit that registers the installation position information of the roadside device received by the GPS receiver as an origin, and the image processing unit A parameter table storage unit for registering the image when the mark is recognized and the coordinates of the mark as parameters of the clock information received by the GPS receiver of the roadside machine, and the parameter table From the position information synchronized with the time closest to the time obtained from the clock information received by the data receiving unit with respect to the time obtained from the clock information registered in the data storage unit and the installation position information of the roadside device, the 2 A roadside unit of a camera calibration system, comprising: a distance calculation unit that calculates a distance between points.

本実施例1に係るカメラキャリブレーションシステム図の一例Example of camera calibration system diagram according to the first embodiment 図1に示す路側機の構成を示すブロック図The block diagram which shows the structure of the roadside machine shown in FIG. 図1に示す車両(計測車両)に搭載した目印の一例An example of a mark mounted on the vehicle (measurement vehicle) shown in FIG. パラメータテーブルの一例Example of parameter table 路側機において、原点座標から計測車両までの距離を算出する距離計算部の処理を示すフローチャートThe flowchart which shows the process of the distance calculation part which calculates the distance from an origin coordinate to a measurement vehicle in a roadside machine 本実施例2に係る原点座標から車両までの距離を算出する方法の説明に係るグラフThe graph which concerns on the method of calculating the distance from the origin coordinate which concerns on the present Example 2 to a vehicle

本発明のカメラキャリブレーションシステムは、GPS受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、GPS受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することができる。本発明を実施するための形態を以下、図面を参照して説明する。   A camera calibration system according to the present invention includes a measurement vehicle equipped with a GPS receiver, a data transmitter, and a mark, a camera for photographing the vehicle, and a roadside device connected to the GPS receiver and the data receiver. In the system, the roadside machine calculates the distance from the camera installation position to the vehicle imaged on the screen by detecting the mark of the measurement vehicle by performing image processing on the video taken by the camera. Can do. DESCRIPTION OF EMBODIMENTS Embodiments for carrying out the present invention will be described below with reference to the drawings.

図1は、本実施例1に係るカメラキャリブレーションシステム図の一例である。カメラキャリブレーションシステムは、例えば、カーブがあり前方の見通しが悪い場合に、カーブの先をカメラで撮影し、当該、カメラで撮像した範囲にいる対向する車両の位置を認識して表示又は無線通信による通知を行う際に用いられる。   FIG. 1 is an example of a camera calibration system diagram according to the first embodiment. The camera calibration system, for example, captures the tip of the curve with a camera when there is a curve and the forward view is bad, and recognizes or displays the position of the opposite vehicle in the range imaged by the camera or wireless communication Used when making a notification.

本実施例のカメラキャリブレーションシステムは、カメラ部、路側機及び計測車両を有して構成される。   The camera calibration system according to the present embodiment includes a camera unit, a roadside device, and a measurement vehicle.

カメラ部10は、カメラ支持台11及びカメラ12で構成される。カメラ支持台11は、路面より所定の高さにカメラ12を取付けた状態で路肩に設置される。カメラ12を設置する高さは、監視範囲及び使用するカメラ12の視野範囲・解像度などカメラの仕様により設定される。   The camera unit 10 includes a camera support 11 and a camera 12. The camera support 11 is installed on the road shoulder with the camera 12 mounted at a predetermined height from the road surface. The height at which the camera 12 is installed is set according to the specifications of the camera such as the monitoring range and the field-of-view range and resolution of the camera 12 to be used.

図2は、路側機20の構成を示すブロック図である。図3は、計測車両30の前面に目印40を搭載した場合の一例である。図示した例は、目印40として三角マークを用いた場合を示す。   FIG. 2 is a block diagram showing the configuration of the roadside machine 20. FIG. 3 is an example when the mark 40 is mounted on the front surface of the measurement vehicle 30. The illustrated example shows a case where a triangular mark is used as the mark 40.

路側機20は、画像処理部22、テンプレート・原点情報保存部21、パラメータテーブル保存部23、GPS受信部24、データ受信部25及び距離算出部26を有して構成される。   The roadside machine 20 includes an image processing unit 22, a template / origin information storage unit 21, a parameter table storage unit 23, a GPS reception unit 24, a data reception unit 25, and a distance calculation unit 26.

GPS受信部は、アンテナ24aに接続され、時計情報及び当該アンテナ24aが配置されている位置情報を取り込む。この位置情報は、アンテナ24aが路側機に組み込まれて固定されているため、実際には路側機の位置情報でもある。   The GPS receiver is connected to the antenna 24a and takes in clock information and position information where the antenna 24a is arranged. This position information is actually the position information of the roadside machine because the antenna 24a is incorporated and fixed in the roadside machine.

テンプレート・原点情報保存部21は、計測車両30に搭載した目印(三角マーク)40を撮像した画像をテンプレートとして登録する。また、当該路側機20の設置位置情報(座標)を原点とし、その設置位置情報をテンプレート・原点情報保存部21に登録する。   The template / origin information storage unit 21 registers an image obtained by capturing the mark (triangular mark) 40 mounted on the measurement vehicle 30 as a template. Further, the installation position information (coordinates) of the roadside machine 20 is set as the origin, and the installation position information is registered in the template / origin information storage unit 21.

画像処理部22は、カメラ12と接続され、カメラ12が撮影した映像を取込み計測車両30に取付けた目印(三角マーク)40を検出する。ここで、映像とは、画像の集合体であるため、画像処理部22は、当該映像を構成する画像を取込み、当該画像の中にテンプレート保存部に登録した三角マークと一致する画像が検出されるか、例えば類似度法又はパターンマッチング法などによる認識処理を行う。   The image processing unit 22 is connected to the camera 12, captures a video taken by the camera 12, and detects a mark (triangular mark) 40 attached to the measurement vehicle 30. Here, since the video is a collection of images, the image processing unit 22 takes in the images constituting the video and detects an image that matches the triangular mark registered in the template storage unit in the images. Or, for example, recognition processing by a similarity method or a pattern matching method is performed.

データ受信部25は、アンテナ25aに接続され、計測車両30から送出される時計情報及び当該計測車両30の位置情報を受信する。   The data receiver 25 is connected to the antenna 25 a and receives clock information sent from the measurement vehicle 30 and position information of the measurement vehicle 30.

パラメータテーブル保存部23は、上記GPS受信部24及びデータ受信部25で受信したデータを保存する。   The parameter table storage unit 23 stores the data received by the GPS reception unit 24 and the data reception unit 25.

図4は、パラメータテーブル保存部23に保存されているパラメータテーブルの一例である。図示した画像は、計測車両30が遠方(図4(1))から図4(2)、図4(3)と近づいてくる場合を示す。   FIG. 4 is an example of a parameter table stored in the parameter table storage unit 23. The illustrated image shows a case where the measurement vehicle 30 approaches from FIG. 4 (2) and FIG. 4 (3) from a distance (FIG. 4 (1)).

図4(1)は、路側機20が設置されている原点座標から距離D1だけ離れている位置に計測車両30があり、そのときの三角マーク40が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。   FIG. 4 (1) shows clock information, images, and vehicles when the measurement vehicle 30 is located at a distance D1 from the origin coordinates where the roadside machine 20 is installed, and the triangular mark 40 at that time is detected. Indicates position information, distance, and vehicle coordinates.

車両位置情報(H1、V1)は、計測車両30に搭載されたGPS受信部31が受信した経度H1及び緯度V1からなる地球上の絶対位置を示す。   The vehicle position information (H1, V1) indicates an absolute position on the earth including the longitude H1 and the latitude V1 received by the GPS receiver 31 mounted on the measurement vehicle 30.

車両座標(X1、Y1)は、原点座標から距離D1離れた位置にいる計測車両30の位置を示す表示装置21a上の座標を示す。   The vehicle coordinates (X1, Y1) indicate coordinates on the display device 21a that indicate the position of the measurement vehicle 30 that is at a distance D1 from the origin coordinates.

なお、時計情報は、計測車両30に搭載されたGPS受信機31が当該車両の位置を受信した際の時刻を示す。従って、車両位置情報(H1、V1)は、そのときの絶対位置を示す。   The clock information indicates the time when the GPS receiver 31 mounted on the measurement vehicle 30 receives the position of the vehicle. Therefore, the vehicle position information (H1, V1) indicates the absolute position at that time.

図4(2)は、図4(1)に示す状態から前進し、路側機20が設置されている原点座標から距離D2だけ離れている位置に計測車両30が接近した位置で三角マーク40が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。   4 (2), the triangle mark 40 moves forward from the state shown in FIG. 4 (1) and the measurement vehicle 30 approaches the position separated from the origin coordinates where the roadside machine 20 is installed by the distance D2. Clock information, images, vehicle position information, distances, and vehicle coordinates when detected are shown.

図4(3)は、図4(2)に示す状態からさらに前進し、路側機20が設置されている原点座標から距離D3だけ離れている位置に計測車両30が接近した位置で三角マーク40が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。   4 (3) further advances from the state shown in FIG. 4 (2), and the triangular mark 40 is located at a position where the measurement vehicle 30 approaches a position away from the origin coordinates where the roadside machine 20 is installed by a distance D3. The clock information, image, vehicle position information, distance, and vehicle coordinates when is detected.

上述した内容から、一般に計測車両30が地点nにいるときの車両位置情報は、地球上の絶対位置として経度Hn及び緯度Vnを用いて位置(Hn、Vn)と表現できる。   From the contents described above, the vehicle position information when the measurement vehicle 30 is at the point n can be generally expressed as a position (Hn, Vn) using longitude Hn and latitude Vn as absolute positions on the earth.

また、計測車両30が地点nにいるときの画面上の座標はX座標の位置Xn及びY座標の位置Ynを用いて座標(Xn、Yn)と表現できる。このときの原点から座標(Xn、Yn)までの距離Dnは下式(1)で示される(図4(4)(a))。   The coordinates on the screen when the measurement vehicle 30 is at the point n can be expressed as coordinates (Xn, Yn) using the X coordinate position Xn and the Y coordinate position Yn. The distance Dn from the origin to the coordinates (Xn, Yn) at this time is expressed by the following equation (1) (FIG. 4 (4) (a)).

Dn=√(Xn+Yn)・・・・・・・・・・・・・・(1)
一方、路面上を走行する計測車両30が地点(Hn、Vn)から原点位置まで走行した際の距離Lnは下式(2)を用いて表現できる(図4(4)(b))。
Dn = √ (Xn 2 + Yn 2 ) (1)
On the other hand, the distance Ln when the measurement vehicle 30 traveling on the road surface travels from the point (Hn, Vn) to the origin position can be expressed using the following equation (2) (FIGS. 4 (4) and 4 (b)).

Ln=√(Hn+Vn)・・・・・・・・・・・・・・(2)
Hnの値は計測車両30が走行する道路幅が一定であれば、地点によらず一定と考えてよく、Vn》Hnの範囲では、Hnを省略できるので、その場合には、距離Lnは下式(3)を用いて表現できる。
Ln = √ (Hn 2 + Vn 2 ) (2)
If the road width on which the measuring vehicle 30 travels is constant, the value of Hn may be considered to be constant regardless of the point. In the range of Vn >> Hn, Hn can be omitted. It can be expressed using equation (3).

Ln=√(Hn+Vn)≒√Vn=Vn・・・・・・(3)
すなわち地点nのV座標Vnは原点からの距離になる。
Ln = √ (Hn 2 + Vn 2 ) ≈√Vn 2 = Vn (3)
That is, the V coordinate Vn of the point n is a distance from the origin.

図5は、路側機20において、原点座標から計測車両30までの距離を算出する距離算出部26の処理を示すフローチャートである。   FIG. 5 is a flowchart showing processing of the distance calculation unit 26 that calculates the distance from the origin coordinates to the measurement vehicle 30 in the roadside machine 20.

距離算出部26は、CPU及びメモリで構成され、このメモリにプログラムをインストールし、実行することにより、当該フローチャートに示す処理が実行される。なお、上記CPU及びメモリは、路側機20を制御する制御プログラムがインストールされ、当該制御手段として用いることができるのは当然である。   The distance calculation unit 26 includes a CPU and a memory, and a process shown in the flowchart is executed by installing and executing a program in the memory. The CPU and the memory are naturally installed with a control program for controlling the roadside machine 20 and can be used as the control means.

路側機20のGPS受信部24が受信した位置情報を原点位置情報としてテンプレート・原点情報保存部21に登録する。この登録により、車両座標上の原点として登録される。また、計測車両30に搭載した三角マーク40を目印としてテンプレート・原点情報保存部21に登録する(S1)。   The position information received by the GPS receiver 24 of the roadside device 20 is registered in the template / origin information storage unit 21 as origin position information. By this registration, it is registered as the origin on the vehicle coordinates. Further, the triangular mark 40 mounted on the measurement vehicle 30 is registered in the template / origin information storage unit 21 as a mark (S1).

なお、この原点位置は任意に設定可能であり、路側機20を設置した位置を位置情報として原点情報保存部に登録するし、その位置を原点とすることができるのは当然である。   Note that the origin position can be arbitrarily set, and the position where the roadside machine 20 is installed is registered in the origin information storage unit as position information, and it is natural that the position can be set as the origin.

画像処理部でカメラ12から入力された画像がテンプレート・原点情報保存部21に保存されているテンプレート(この場合、三角マーク)に一致するかマッチングを行う(テンプレートマッチング処理、S2)。   Matching is performed to determine whether the image input from the camera 12 in the image processing unit matches a template (in this case, a triangle mark) stored in the template / origin information storage unit 21 (template matching processing, S2).

このマッチング処理で、マッチングした場合(S3)、マッチングした車両座標(Xn、Yn)を取得する(S4)。   When matching is performed in this matching process (S3), matched vehicle coordinates (Xn, Yn) are acquired (S4).

このマッチングした車両座標(Xn、Yn)が取得できたときの時計情報を路側機20側のGPS受信部24からの時計情報によって抽出する(S5)。すなわち、三角マーク40が検出できたときの時計情報(ここでは時刻)を路側機20側GPS受信部が受信した時計情報から抽出する。   The clock information when the matched vehicle coordinates (Xn, Yn) can be acquired is extracted by the clock information from the GPS receiver 24 on the roadside machine 20 side (S5). That is, the clock information when the triangle mark 40 can be detected (here, the time) is extracted from the clock information received by the roadside device 20 side GPS receiver.

図4に示すパラメータテーブルに上記取得した時計情報、及びその元になった画像及びその車両座標(上記マッチングした車両座標)をパラメータテーブル保存部23に保存する(S6)。   The acquired clock information, the original image and its vehicle coordinates (the matched vehicle coordinates) are stored in the parameter table storage unit 23 in the parameter table shown in FIG. 4 (S6).

次に、計測車両30が送信したデータをデータ受信部25が受信したか確認する(S7)。この確認の結果、データ受信部25で受信したデータの中から当該計測車両に関する時計情報及び位置情報を抽出する(S10)。抽出した計測車両に関する時計情報をパラメータとしてパラメータテーブル保存部23を参照(検索)する(S11)。   Next, it is confirmed whether the data receiver 25 has received the data transmitted by the measurement vehicle 30 (S7). As a result of this confirmation, clock information and position information relating to the measurement vehicle are extracted from the data received by the data receiving unit 25 (S10). The parameter table storage unit 23 is referred (searched) using the extracted clock information on the measured vehicle as a parameter (S11).

一方、ステップS7で、計測車両からのデータが受信できないとき(S7のN)、所定の時間が経過していなければ(S8のN)、再度計測車両からデータ受信があるか確認する(S7)。この確認の結果、所定の時間内に計測車両からのデータが受信できない場合(S8のY)、パラメータテーブルに登録した登録データをクリアする(S9)。   On the other hand, if data from the measurement vehicle cannot be received in step S7 (N in S7), if a predetermined time has not passed (N in S8), it is confirmed again whether there is data reception from the measurement vehicle (S7). . As a result of this confirmation, when data from the measurement vehicle cannot be received within a predetermined time (Y in S8), the registered data registered in the parameter table is cleared (S9).

次にステップS11の結果、パラメータテーブル内に同じ時間のパラメータテーブルを発見した場合(S12のY)、該当テーブルへ車両位置情報を登録する(S14)。   Next, when a parameter table of the same time is found in the parameter table as a result of step S11 (Y in S12), the vehicle position information is registered in the corresponding table (S14).

すなわち、路側機20側で画像処理して検出した三角マーク40の座標を当該路側機20側の時計情報をパラメータとして登録しておき、計測車両30から送信された時計情報との一致をとり、路側機20側の時計情報(時刻)に近い時刻の送信データが検索された場合にはその送信データに含まれている車両位置情報を登録することにより、三角マーク40が検出されたときの計測車両の位置を知ることができるということである。   That is, the coordinates of the triangle mark 40 detected by image processing on the roadside machine 20 side are registered as timepiece information on the roadside machine 20 side as a parameter, and coincide with the timepiece information transmitted from the measurement vehicle 30, When transmission data at a time close to the clock information (time) on the roadside machine 20 side is searched, the vehicle position information included in the transmission data is registered, so that the measurement when the triangle mark 40 is detected is performed. It means that you can know the position of the vehicle.

距離算出部26で路側機20の位置情報と三角マーク40が検出されたときの車両位置情報から2点間の距離算出する(S15)。   The distance calculation unit 26 calculates the distance between the two points from the position information of the roadside machine 20 and the vehicle position information when the triangle mark 40 is detected (S15).

算出された距離を該当パラメータテーブルの「距離」部分に登録する(S16)。   The calculated distance is registered in the “distance” portion of the corresponding parameter table (S16).

以上説明したように本発明の実施例によれば、GPS受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、GPS受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより車両の目印を検出し、そのときの画像、時計情報及び座標を時計情報をパラメータとして登録し、さらに当該計測車両から送信されるGPS受信機が受信した時計情報及び位置情報を受信し登録することにより、画面上に撮像された車両の距離を算出することのできるカメラキャリブレーションシステムと、その計測車両及び路側機を提供することができる。   As described above, according to the embodiment of the present invention, a GPS receiver, a data transmitter, a measurement vehicle equipped with a mark, a camera for photographing the vehicle, a GPS receiver, and a roadside device connected to the data receiver. In the camera calibration system, the roadside device detects the mark of the vehicle by performing image processing on the image of the traveling measuring vehicle captured by the camera, and the image, clock information, and coordinates at that time are used as clock information as parameters. A camera calibration system capable of calculating the distance of the vehicle imaged on the screen by registering and receiving and registering clock information and position information received by the GPS receiver transmitted from the measurement vehicle; The measurement vehicle and the roadside machine can be provided.

図6は、本実施例2に係る原点座標から車両までの距離を算出する方法の説明に係るグラフである。実施例1に示したカメラキャリブレーションシステムによって、車両30に搭載された三角マーク40が検出されるとこの三角マーク40が検出された経度H及び緯度Vからなる位置情報が路側機20に送信される。また、このとき、検出された三角マーク40の位置情報(Hn、Vn)を知ることができる。この位置情報は、カメラ12が撮影している範囲を表示したときの、左下を基準点として水平方向をH座標、垂直方向をY座標として表現できる。表示装置がない場合は、パラメータテーブル23内に設定したメモリ空間内で同様の座標設定をすることも可能あるが、一般的に被写体を認識することにより検出する場合には、認識される被写体を表示装置に表示する場合の方が理解しやすいので、本実施例では、表示装置21aに表示する場合を示す。   FIG. 6 is a graph for explaining a method for calculating the distance from the origin coordinates to the vehicle according to the second embodiment. When the triangular mark 40 mounted on the vehicle 30 is detected by the camera calibration system shown in the first embodiment, position information including the longitude H and the latitude V at which the triangular mark 40 is detected is transmitted to the roadside device 20. The At this time, the position information (Hn, Vn) of the detected triangular mark 40 can be known. This position information can be expressed as the H coordinate in the horizontal direction and the Y coordinate in the vertical direction with the lower left as the reference point when the range captured by the camera 12 is displayed. When there is no display device, it is possible to set the same coordinates in the memory space set in the parameter table 23. However, in general, when detecting by recognizing a subject, the recognized subject is selected. Since the case of displaying on the display device is easier to understand, this embodiment shows the case of displaying on the display device 21a.

実施例1では、三角マーク40が検出された位置情報を知ることができる。実施例1では、三角マーク40が検出された時点で、その検出された位置及びその検出された位置から原点である路側機20までの距離が算出される。実施例1では、この距離を算出することが目的であるため、ここで処理は終了するが、実際には計測車両30が走行中にGPS受信機31で受信した時計情報及びこの時計情報に同期した経度H及び緯度Vからなる位置情報が常時路側機20に送信されている。   In the first embodiment, the position information where the triangular mark 40 is detected can be known. In the first embodiment, when the triangular mark 40 is detected, the detected position and the distance from the detected position to the roadside machine 20 that is the origin are calculated. In the first embodiment, since the purpose is to calculate this distance, the processing ends here. However, in actuality, the clock information received by the GPS receiver 31 while the measurement vehicle 30 is traveling and the clock information are synchronized. The positional information including the longitude H and the latitude V is always transmitted to the roadside device 20.

従って、この位置情報を上記座標(X、Y)上にプロットして対応付けることにより任意の座標(X、Y)から原点である路側機20までの距離が算出される。図6は、H座標が車路の幅方向の距離に該当し、V座標が車路に設置された路側機20からの距離を示す。   Therefore, the distance from the arbitrary coordinates (X, Y) to the roadside machine 20 that is the origin is calculated by plotting and associating the position information on the coordinates (X, Y). FIG. 6 shows the distance from the roadside machine 20 in which the H coordinate corresponds to the distance in the width direction of the road and the V coordinate is installed on the road.

車路が1車線の場合、車両がその中央を走行すると、その座標Haを遠方VnからV1に向って走行することにより、対応する距離Ln、Ln−1,Ln−2・・・が算出されることになる。   When the lane is one lane, when the vehicle travels in the center of the lane, the corresponding distance Ln, Ln-1, Ln-2,... Will be.

以上のことから、カメラキャリブレーションシステムが補足対象とする領域内を走行する車両を認識し、同時に当該走行する車両までの距離を、例えば表示装置に表示することができる路側機20を提供することができる。   From the above, it is possible to provide a roadside machine 20 capable of recognizing a vehicle traveling in a region to be supplemented by a camera calibration system and simultaneously displaying the distance to the traveling vehicle on a display device, for example. Can do.

10 カメラ部
12 カメラ
20 路側機
21 画像処理機
21a 表示装置
22 テンプレート保存部・原点情報保存部
23 パラメータテーブル保存部
24 GPS受信部
24a GPS受信機
25 データ受信部
25a データ受信機
26 距離計算部
30 車両
31 GPS受信機
32 データ送信機
40 目印(三角マーク)
DESCRIPTION OF SYMBOLS 10 Camera part 12 Camera 20 Roadside machine 21 Image processor 21a Display apparatus 22 Template preservation | save part and origin information preservation | save part 23 Parameter table preservation | save part 24 GPS receiving part 24a GPS receiver 25 Data receiving part 25a Data receiver 26 Distance calculation part 30 Vehicle 31 GPS receiver 32 Data transmitter 40 Mark (triangle mark)

Claims (4)

目印と、計測車両の位置情報及び時計情報を受信するGPS受信機と、このGPS受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、
前記路側機は、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するGPS受信機と、
このGPS受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、
前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のGPS受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該2点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステム。
A measurement vehicle equipped with a mark, a GPS receiver that receives position information and clock information of the measurement vehicle, and a data transmitter that transmits the clock information and position information received by the GPS receiver is caused to travel. A camera calibration system composed of a roadside device that takes a mark of a measurement vehicle and calculates a distance from the taken image to the measurement vehicle,
The roadside machine
A storage unit for storing the landmark as a template;
An image processing unit that captures a video transmitted from a camera that captures the mark of the traveling measurement vehicle, and recognizes the mark therein,
A GPS receiver that receives clock information and installation position information of the roadside device;
An origin information storage unit that registers the installation position information of the roadside device received by the GPS receiver as an origin,
A data receiver for receiving clock information transmitted from the data transmitter of the measurement vehicle and position information synchronized with the clock information;
A parameter table storage unit for registering an image when the image processing unit recognizes the mark and the coordinates of the mark in the parameter table with the clock information received by the GPS receiver of the roadside device as a parameter;
From the position information synchronized with the time closest to the time obtained from the clock information received by the data receiving unit with respect to the time obtained from the clock information registered in the parameter table storage unit and the installation position information of the roadside machine A distance calculation unit for calculating the distance between the two points;
A camera calibration system comprising:
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、
前記目印と、
計測車両の位置情報及び時計情報を受信するGPS受信機と、
このGPS受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、
を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。
A camera calibration system composed of a roadside machine that runs a measurement vehicle equipped with a landmark, photographs the landmark of the vehicle, photographs the landmark of the measurement vehicle, and calculates the distance from the captured image to the measurement vehicle. Measuring vehicle,
The landmark,
A GPS receiver that receives position information and clock information of the measurement vehicle;
A data transmitter for transmitting clock information received by the GPS receiver and position information synchronized with the clock information;
A vehicle for measuring a camera calibration system, comprising:
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するGPS受信機と、
このGPS受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のGPS受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該2点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
A roadside machine that runs a measurement vehicle equipped with a mark, shoots the mark of the vehicle, shoots the mark of the measurement vehicle, and calculates a distance from the shot image to the measurement vehicle,
A storage unit for storing the landmark as a template;
An image processing unit that captures a video transmitted from a camera that captures the mark of the traveling measurement vehicle, and recognizes the mark therein,
A GPS receiver that receives clock information and installation position information of the roadside device;
An origin information storage unit that registers the installation position information of the roadside device received by the GPS receiver as an origin,
A parameter table storage unit for registering an image when the image processing unit recognizes the mark and the coordinates of the mark as clock information received by the GPS receiver of the roadside device as a parameter;
From the position information synchronized with the time closest to the time obtained from the clock information received by the data receiving unit with respect to the time obtained from the clock information registered in the parameter table storage unit and the installation position information of the roadside machine A distance calculation unit for calculating the distance between the two points;
A roadside device of a camera calibration system characterized by comprising:
請求項1記載のカメラキャリブレーションシステムの路側機であって、
当該カメラキャリブレーションシステムが補足対象とする領域を撮影する前記カメラから送信された映像を表示する表示装置と、
この表示装置上の座標に対応する位置情報が登録されたパラメータテーブル保存部と、
当該領域を通行する車両を認識する画像処理部と、を備え、
この画像処理部によって前記通行する車両が認識されたとき、当該車両の通行に伴なって当該路側機から車両までの距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
It is a roadside machine of the camera calibration system according to claim 1,
A display device for displaying an image transmitted from the camera that captures an area to be supplemented by the camera calibration system;
A parameter table storage unit in which position information corresponding to coordinates on the display device is registered;
An image processing unit for recognizing a vehicle passing through the area,
A distance calculating unit that calculates a distance from the roadside machine to the vehicle when the vehicle is recognized by the image processing unit;
A roadside device of a camera calibration system characterized by comprising:
JP2010143169A 2010-06-23 2010-06-23 Camera calibration system, and measuring vehicle and roadside device for the same Pending JP2012010036A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010143169A JP2012010036A (en) 2010-06-23 2010-06-23 Camera calibration system, and measuring vehicle and roadside device for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010143169A JP2012010036A (en) 2010-06-23 2010-06-23 Camera calibration system, and measuring vehicle and roadside device for the same

Publications (1)

Publication Number Publication Date
JP2012010036A true JP2012010036A (en) 2012-01-12

Family

ID=45540103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010143169A Pending JP2012010036A (en) 2010-06-23 2010-06-23 Camera calibration system, and measuring vehicle and roadside device for the same

Country Status (1)

Country Link
JP (1) JP2012010036A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077638A (en) * 2012-12-12 2013-05-01 石家庄华燕交通科技有限公司 Method for checking driver field examination by applying GPS (Global Positioning System) devices
JP2014137321A (en) * 2013-01-18 2014-07-28 Nec Corp Position coordinate conversion system, position coordinate conversion method, on-vehicle device, global coordinate measurement device and position coordinate conversion program
CN107798897A (en) * 2016-09-06 2018-03-13 财团法人工业技术研究院 Roadside detection system, roadside device and roadside communication method thereof
CN108399752A (en) * 2018-04-28 2018-08-14 上海与德科技有限公司 A kind of driving infractions pre-judging method, device, server and medium
CN112153574A (en) * 2020-09-18 2020-12-29 南京感动科技有限公司 Method and system for checking accuracy of road side equipment clock based on floating vehicle
CN112598756A (en) * 2021-03-03 2021-04-02 中智行科技有限公司 Roadside sensor calibration method and device and electronic equipment
US11016175B2 (en) 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
WO2021145236A1 (en) 2020-01-14 2021-07-22 京セラ株式会社 Image processing device, imaging device, information processing device, detection device, roadside device, image processing method, and calibration method
JP7320459B2 (en) 2020-01-14 2023-08-03 京セラ株式会社 Image processing device, imaging device, roadside unit, and image processing method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077638A (en) * 2012-12-12 2013-05-01 石家庄华燕交通科技有限公司 Method for checking driver field examination by applying GPS (Global Positioning System) devices
JP2014137321A (en) * 2013-01-18 2014-07-28 Nec Corp Position coordinate conversion system, position coordinate conversion method, on-vehicle device, global coordinate measurement device and position coordinate conversion program
CN107798897A (en) * 2016-09-06 2018-03-13 财团法人工业技术研究院 Roadside detection system, roadside device and roadside communication method thereof
TWI662252B (en) * 2016-09-06 2019-06-11 財團法人工業技術研究院 Roadside detection system, roadside unit and roadside communication method thereof
CN108399752A (en) * 2018-04-28 2018-08-14 上海与德科技有限公司 A kind of driving infractions pre-judging method, device, server and medium
US11016175B2 (en) 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
WO2021145236A1 (en) 2020-01-14 2021-07-22 京セラ株式会社 Image processing device, imaging device, information processing device, detection device, roadside device, image processing method, and calibration method
CN115004274A (en) * 2020-01-14 2022-09-02 京瓷株式会社 Image processing device, imaging device, information processing device, detection device, roadside device, image processing method, and correction method
JP7320459B2 (en) 2020-01-14 2023-08-03 京セラ株式会社 Image processing device, imaging device, roadside unit, and image processing method
CN112153574A (en) * 2020-09-18 2020-12-29 南京感动科技有限公司 Method and system for checking accuracy of road side equipment clock based on floating vehicle
CN112153574B (en) * 2020-09-18 2022-09-20 南京感动科技有限公司 Method and system for checking accuracy of roadside device clock based on floating vehicle
CN112598756A (en) * 2021-03-03 2021-04-02 中智行科技有限公司 Roadside sensor calibration method and device and electronic equipment

Similar Documents

Publication Publication Date Title
JP2012010036A (en) Camera calibration system, and measuring vehicle and roadside device for the same
JP6241422B2 (en) Driving support device, driving support method, and recording medium for storing driving support program
CN108694882B (en) Method, device and equipment for labeling map
JP2007232690A (en) Present position detection apparatus, map display device and present position detecting method
US10373035B2 (en) Method and system for determining spatial characteristics of a camera
JP4600357B2 (en) Positioning device
EP3090407B1 (en) Methods and systems for determining estimation of motion of a device
JP6854164B2 (en) Survey data processing device, survey data processing method, survey data processing system and survey data processing program
JP6070206B2 (en) Position coordinate conversion system, position coordinate conversion method, in-vehicle device, world coordinate measuring device, and position coordinate conversion program
CN109374008A (en) A kind of image capturing system and method based on three mesh cameras
JP6395010B2 (en) Information provision system for billing location evaluation
WO2017059527A1 (en) Camera-based speed estimation and system calibration therefor
KR101255461B1 (en) Position Measuring Method for street facility
US20200293816A1 (en) Homography through satellite image matching
KR101573289B1 (en) Apparatus and method for recongnizing position using camera
TWI426237B (en) Instant image navigation system and method
JP2014228434A (en) Navigation device
KR101459522B1 (en) Location Correction Method Using Additional Information of Mobile Instrument
JP4752319B2 (en) Image recognition apparatus and image recognition method
JP6764693B2 (en) Satellite signal processing method and satellite signal processing equipment
JP6593995B2 (en) Airport monitoring device
US11636693B2 (en) Robust lane-boundary association for road map generation
TW201525420A (en) Vehicle positioning method and its system
JP6342681B2 (en) Position determination apparatus, position determination method, and position determination program
JP2018004325A (en) Gaze point detector, gaze point detection method, gaze point detection system, and vehicle

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111205