JP2006215982A - Method, apparatus and system for calculating distance to intersection - Google Patents
Method, apparatus and system for calculating distance to intersection Download PDFInfo
- Publication number
- JP2006215982A JP2006215982A JP2005030913A JP2005030913A JP2006215982A JP 2006215982 A JP2006215982 A JP 2006215982A JP 2005030913 A JP2005030913 A JP 2005030913A JP 2005030913 A JP2005030913 A JP 2005030913A JP 2006215982 A JP2006215982 A JP 2006215982A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- intersection
- distance
- signal lamp
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両に搭載した車載カメラにより次の交差点の信号機を撮影し、交差点までの距離を算出することができる、高精度、高機能な安全運転支援システムやナビゲーションシステムを実現する技術に関するものである。 The present invention relates to a technology for realizing a high-precision, high-function safe driving support system and navigation system capable of photographing a traffic signal at the next intersection with an in-vehicle camera mounted on a vehicle and calculating a distance to the intersection. It is.
走行中の車両にとって、直近交差点までの距離の情報は、走行の安全上必要な情報である。また、自動運転支援をするシステムでも、直近交差点までの距離の情報は不可欠である。
従来、直近交差点までの距離を算出する方法としては、下記のようなものが考えられている。
For a traveling vehicle, the information on the distance to the nearest intersection is information necessary for traveling safety. In addition, information on the distance to the nearest intersection is indispensable even in a system that supports automatic driving.
Conventionally, the following methods have been considered as a method for calculating the distance to the nearest intersection.
(1)GPS(Global Positioning System)等の電波測位システムを利用して車両の位置を知る。地図データベースの直近交差点の位置に基づき、直近交差点までの距離を算出する。
(2)GPS等の電波測位システムを利用するとともに、距離センサを併用して車両の位置を知る。車両が道路上を走行することを前提として地図データベースを利用して道路上の車両の位置を得る。これらの情報に基づき、直近交差点までの距離を算出する。
(1) Knowing the position of the vehicle using a radio wave positioning system such as GPS (Global Positioning System). The distance to the nearest intersection is calculated based on the position of the nearest intersection in the map database.
(2) Use a radio wave positioning system such as GPS and know the position of the vehicle using a distance sensor. A map database is used to obtain the position of the vehicle on the road on the assumption that the vehicle travels on the road. Based on these pieces of information, the distance to the nearest intersection is calculated.
(3)路側ビーコンとの交信により、路側ビーコン通過時点の直近の交差点までの距離情報を得る。この距離情報と、車載の距離センサの走行距離データとから、任意の時点の直近交差点までの距離を算出する。
しかしながら、電波の状態が悪ければGPS等の電波測位システムの位置誤差が大きくなり、位置が求められない場合もある。
(3) By communicating with the roadside beacon, the distance information to the nearest intersection when the roadside beacon passes is obtained. The distance to the nearest intersection at an arbitrary time is calculated from this distance information and the travel distance data of the on-vehicle distance sensor.
However, if the radio wave condition is bad, the position error of the radio wave positioning system such as GPS becomes large, and the position may not be obtained.
また、地図データベースの道路はベクトルで表現されている場合が多く、道幅が考慮されていないため、大きな交差点では、停止線までの正確な距離が得られない。
また、距離センサを利用する場合、長期的に経年変化が起こり得る。また安全運転支援を目的としたシステムでは、必ずしも車両位置検出を前提としていないため、距離センサを搭載していないこともある。
In addition, roads in the map database are often expressed as vectors, and the road width is not taken into consideration, so an accurate distance to the stop line cannot be obtained at a large intersection.
Moreover, when using a distance sensor, aging may occur in the long term. In addition, a system aiming at safe driving assistance does not necessarily have vehicle position detection, and therefore may not be equipped with a distance sensor.
一方、車載カメラで前方画像を撮影し、画像処理による信号灯器を自動検出・認識するシステムが提案されている。
前記信号灯器の認識システムを利用して、直近交差点までの距離を正確に算出することができれば、交差点手前での微妙な誘導に効果的である。
そこで、本発明は、車両に車載カメラを設置するとともに、路車間通信により信号灯器の高さなどの情報を入手して、ドライバが安全に交差点の手前で停止できる、又は交差点を通過できるように支援することのできる交差点までの距離算出方法、装置及びシステムを提供することを目的とする。
If the distance to the nearest intersection can be accurately calculated using the signal lamp recognition system, it is effective for subtle guidance before the intersection.
Therefore, the present invention installs an in-vehicle camera in the vehicle and obtains information such as the height of the signal lamp by way of road-to-vehicle communication so that the driver can safely stop before the intersection or pass through the intersection. An object is to provide a method, an apparatus, and a system for calculating a distance to an intersection that can be supported.
本発明の交差点までの距離算出方法は、車両に設置された車載カメラにより、車両前方を撮像した画像から交差点の信号機の信号灯器を認識し、路側に設置した通信装置との通信により、当該信号灯器の高さ情報を取得し、前記画像における信号灯器の座標と、前記信号灯器の高さ情報とに基づいて、当該車両から前記交差点までの距離を算出する方法である(請求項1)。 The method for calculating the distance to the intersection according to the present invention recognizes the signal lamp of the traffic signal at the intersection from an image obtained by imaging the front of the vehicle with an in-vehicle camera installed in the vehicle, and communicates with the communication device installed on the roadside. This is a method for obtaining the height information of the device and calculating the distance from the vehicle to the intersection based on the coordinates of the signal light device in the image and the height information of the signal light device (Claim 1).
この方法によれば、車載カメラにより信号灯器の画像を撮影して、その信号灯器の位置を把握するとともに、外部から当該信号灯器の高さ情報を取得して、これらの情報に基づいて、車両の走行につれて、当該車両から前記交差点までの距離を算出することができる。そして、この距離情報をドライバに提供することによって、ドライバが交差点手前での停止、通過の判断に迷う状況を極力避けることができる。従って、安全運転支援を高度化することができる。 According to this method, an image of the signal lamp is captured by the in-vehicle camera, the position of the signal lamp is grasped, height information of the signal lamp is obtained from the outside, and the vehicle is based on the information. As the vehicle travels, the distance from the vehicle to the intersection can be calculated. By providing this distance information to the driver, it is possible to avoid as much as possible the situation in which the driver is at a loss in determining whether to stop or pass before the intersection. Therefore, safe driving support can be enhanced.
また、本発明の交差点までの距離算出方法は、車両に設置された車載カメラにより、車両前方を撮像した画像から交差点の信号機の信号灯器を認識し、路側に設置した通信装置との通信により、当該通信装置から前記信号機までの距離情報を取得し、当該距離情報を取得した時点の前記画像における信号灯器の座標と、当該距離情報とに基づいて、信号灯器の高さを算出して記憶し、前記画像における信号灯器の座標と、前記信号灯器の高さとに基づいて、当該車両から前記交差点までの距離を算出する方法である(請求項2)。 In addition, the distance calculation method to the intersection of the present invention recognizes the signal lamp of the traffic light at the intersection from the image captured in front of the vehicle by the in-vehicle camera installed in the vehicle, and by communication with the communication device installed on the roadside, Obtain distance information from the communication device to the traffic light, calculate and store the height of the signal lamp based on the coordinates of the signal lamp in the image at the time when the distance information was obtained and the distance information. The distance from the vehicle to the intersection is calculated based on the coordinates of the signal lamp in the image and the height of the signal lamp (Claim 2).
この方法は、請求項1記載の方法と比べて、外部から当該信号灯器の高さ情報を取得する代わりに、当該通信装置から当該信号機までの距離情報を取得して、信号灯器の高さを算出するところが異なっている。当該信号灯器の高さが決まれば、あとは、請求項1の発明と同様、車両の走行につれて、当該車両から前記交差点までの距離を算出することができる。 Compared with the method according to claim 1, this method obtains distance information from the communication device to the traffic light instead of obtaining height information of the traffic light from the outside, and calculates the height of the traffic light. The place to calculate is different. Once the height of the signal lamp is determined, the distance from the vehicle to the intersection can be calculated as the vehicle travels, as in the first aspect of the invention.
本発明の交差点までの距離算出装置は、路側に設置した通信装置から、交差点の信号機の信号灯器の高さ情報を受信する受信部と、車両に設置された車載カメラと、前記車載カメラにより車両前方を撮像した画像から前記信号灯器を認識する画像認識処理部と、前記信号灯器の高さ情報を記録するメモリと、前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さ情報とから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有するものである(請求項3)。 The distance calculation device to the intersection of the present invention includes a receiving unit that receives height information of a signal lamp of a traffic signal at an intersection from a communication device installed on a road side, an in-vehicle camera installed in the vehicle, An image recognition processing unit for recognizing the signal lamp from an image captured in front, a memory for recording height information of the signal lamp, coordinates of the signal lamp in the image, and a height of the signal lamp recorded in the memory And a distance calculation processing unit for calculating a distance from the vehicle to the intersection from the information (claim 3).
本装置によれば、受信部、車載カメラ、メモリ、各種処理部があれば交差点までの距離の算出が実現可能である。車両にGPS受信機、距離センサ、地図データベースなどを搭載しなくてもよいので、車両の装備を簡素化することができる。特に距離センサのように車両のメカ絡みの接続工事も不要となる利点が大きい。
本発明の交差点までの距離算出装置は、路側に設置した通信装置から、当該通信装置から交差点の信号機までの距離情報を受信する受信部と、車両に設置された車載カメラと、前記車載カメラにより車両前方を撮像した画像から前記信号機の信号灯器を認識する画像認識処理部と、前記距離情報を受信した時点の前記画像における信号灯器の座標と、前記距離情報とに基づいて、信号灯器の高さを算出する高さ算出処理部と、前記高さ算出処理部によって算出された信号灯器の高さを記録するメモリと、前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さとから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有するものである(請求項4)。
According to the present apparatus, the distance to the intersection can be calculated if there are a receiving unit, an in-vehicle camera, a memory, and various processing units. Since it is not necessary to mount a GPS receiver, a distance sensor, a map database, etc. in a vehicle, the equipment of a vehicle can be simplified. In particular, there is a great advantage that connection work involving the mechanical mechanism of the vehicle is not required like a distance sensor.
The distance calculation device to the intersection of the present invention includes a receiving unit that receives distance information from the communication device installed on the road side to the traffic signal at the intersection, an in-vehicle camera installed in the vehicle, and the in-vehicle camera. Based on the image recognition processing unit for recognizing the signal lamp of the traffic light from the image taken in front of the vehicle, the coordinates of the signal lamp in the image when the distance information is received, and the distance information, the height of the signal lamp A height calculation processor that calculates the height; a memory that records the height of the signal lamp calculated by the height calculation processor; the coordinates of the signal lamp in the image; and the signal lamp recorded in the memory. And a distance calculation processing unit that calculates a distance from the vehicle to the intersection from the height (claim 4).
この装置は、前記通信装置から取得される距離情報を記録し、この距離情報に基づいて、信号灯器の高さを推定し、以後、前記車載カメラの画面に写った信号灯器の座標と、前記信号灯器の高さ情報とから、当該車両から前記交差点までの距離を算出する。
当該車両から前記交差点までの距離は、当該車両から交差点の停止線までの距離としてもよい(請求項5)。安全運転支援や自動運転支援を行うシステムでは、特に交差点の停止線までの距離が重要になるからである。
This device records the distance information acquired from the communication device, estimates the height of the signal lamp based on the distance information, and then the coordinates of the signal lamp on the screen of the in-vehicle camera, The distance from the vehicle to the intersection is calculated from the height information of the signal lamp.
The distance from the vehicle to the intersection may be a distance from the vehicle to the stop line of the intersection (Claim 5). This is because the distance to the stop line at the intersection is particularly important in systems that support safe driving and automatic driving.
本発明の信号機までの距離算出システムは、路側に設置した通信装置と、車両に搭載した請求項3又は請求項4に記載の距離算出装置とを含む(請求項6)。このシステムは、前記請求項3又は請求項4記載の装置と同一発明に係るシステムである。
The distance calculation system to the traffic light of the present invention includes a communication device installed on the roadside and the distance calculation device according to
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
−交差点までの距離算出方法1−
図1は、本発明の交差点までの距離算出方法を実施するための信号機、路側通信装置の配置図である。
図1では、交差点手前の道路脇に、路側通信装置6を設置している。路側通信装置6の設置地点は、車載装置が画像処理で信号灯器が認識できる程度に、交差点に近い距離である必要がある。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
-Distance calculation method 1-
FIG. 1 is a layout diagram of a traffic signal and a roadside communication device for carrying out the distance calculation method to an intersection according to the present invention.
In FIG. 1, a
また、路側通信装置6の設置位置は、車両Aと路車間通信できるなら、道路脇に限らない。例えば、路側通信装置6は、信号機4に取り付けられていてもよく、信号機4の信号灯器の灯色を制御する信号制御機に内蔵されていてもよい。
図1において、前方を撮影可能な車載カメラ3を搭載した車両Aが、交差点に向かって走行している。車載カメラ3は、フロントに近い車体の、車両Aのタイヤ接地点から高さhの位置に取り付けられているものとする。
Further, the installation position of the
In FIG. 1, a vehicle A equipped with an in-
車両Aから見て交差点を渡った位置には、信号機4が設置されている。
また、交差点には横断歩道があり、その手前には停止線5が存在している。
図2は、道路座標系と車載カメラ座標系との相対関係を示す座標図である。
道路の座標系を(X,Y,Z)、車載カメラ3の座標系を(X′,Y′,Z′)とし、原点はともに車載カメラ3の撮像画像の中心とする。
A
In addition, there is a pedestrian crossing at the intersection, and there is a stop line 5 in front of it.
FIG. 2 is a coordinate diagram showing the relative relationship between the road coordinate system and the in-vehicle camera coordinate system.
The coordinate system of the road is (X, Y, Z), the coordinate system of the in-
道路座標系は、交差点に向かう道路方向をY軸(前方向を正)、これと直角な道路面上の方向をX軸(右方向を正)、路面と垂直な方向をZ(上方を正)とする。
また車載カメラ座標系は、車載カメラ3の光軸をY′軸、これに垂直な平面上の車載カメラ3の右方向をX′軸、車載カメラ3の上方向をZ′軸とする。
さらに、車載カメラ座標軸の道路座標軸に対する回転角(車載カメラ3パラメータ)を、それぞれθ(ピッチ角)、φ(ロール角)、ψ(ヨー角)とし、全て右ねじの進む方向を正(θ:水平面より上向きが正、φ:右回りが正、ψ:左回りが正)とする。θ、φ、ψはいずれも既知とする。
In the road coordinate system, the road direction toward the intersection is the Y axis (forward direction is positive), the direction perpendicular to this is the X axis (right direction is positive), and the direction perpendicular to the road is Z (upward is positive). ).
In the in-vehicle camera coordinate system, the optical axis of the in-
Furthermore, the rotation angle of the in-vehicle camera coordinate axis (the in-
このとき道路座標系と車載カメラ座標系との変換式は、次の式で表現できる。 At this time, the conversion formula between the road coordinate system and the in-vehicle camera coordinate system can be expressed by the following formula.
ここで、行列の各要素は、次のとおりである。
P11=cos φcos ψ−sin θsin φsin ψ
P12=cos φsin ψ+sin θsin φcos ψ
P13=−cos θsin φ
P21=−cos θsin ψ
P22=cos θcos ψ
P23=sin θ
P31=sin φcos ψ+sin θcos φsin ψ
P32=sin φsin ψ−sin θcos φcos ψ
P33=cos θcos φ
図3は、車載カメラ3の撮像画像を示す図であり、右方向をx軸、上方向をy軸とする。x軸は前記X′軸と一致し、y軸は前記Z′軸と一致する。
Here, each element of the matrix is as follows.
P 11 = cos φcos ψ−sin θsin φsin ψ
P 12 = cos φsin ψ + sin θsin φcos ψ
P 13 = −cos θsin φ
P 21 = −cos θsin ψ
P 22 = cos θcos ψ
P 23 = sin θ
P 31 = sin φcos ψ + sin θcos φsin ψ
P 32 = sin φsin ψ−sin θcos φcos ψ
P 33 = cos θcos φ
FIG. 3 is a diagram illustrating a captured image of the in-
このとき、道路座標系の点(X,Y,Z)は、車載カメラ3の撮像画像上の点(x,y)に次のように変換される。fはレンズの焦点距離である。
x=f・X′/Y′
=f(P11X+P12Y+P13Z)/(P21X+P22Y+P23Z) (1)
y=f・Z′/Y′
=f(P31X+P32Y+P33Z)/(P21X+P22Y+P23Z) (2)
なお、前記θ(ピッチ角)、φ(ロール角)、ψ(ヨー角)といった車載カメラ3パラメータは、車体への取り付け時に設定可能であるが、走行の振動(ピッチ角の変動)や車線変更(ヨー角の変動)により変化し得る。したがって、車載カメラ3パラメータは固定値として扱えない場合がある。このため、例えば以下のような方法で対処可能である。ただしここでは、簡単なノーテーションとするために、ロール角φは、取り付け時に0となるようにしておくものとする。
At this time, the point (X, Y, Z) in the road coordinate system is converted to the point (x, y) on the captured image of the in-
x = f · X ′ / Y ′
= F (P 11 X + P 12 Y + P 13 Z) / (P 21 X + P 22 Y + P 23 Z) (1)
y = f · Z ′ / Y ′
= F (P 31 X + P 32 Y + P 33 Z) / (P 21 X + P 22 Y + P 23 Z) (2)
The in-
撮像画像(図3)から、道路の白線の交点である消失点(xa,ya)を求める。これらは、前記(1),(2)式でY→∞とすると求まる。
xa=f(P12/P22)=sin ψ/cos θcos ψ (3)
ya=f(P32/P22)=−sin θ/cos θ (4)
これらの(3),(4)式から、θ、ψを求めると車載カメラ3パラメータを決定することができる。
From the captured image (FIG. 3), the vanishing point (x a , y a ) that is the intersection of the white lines of the road is obtained. These are obtained when Y → ∞ in the equations (1) and (2).
xa = f (P 12 / P 22 ) = sin ψ / cos θcos ψ (3)
ya = f (P 32 / P 22 ) = − sin θ / cos θ (4)
From these equations (3) and (4), when θ and ψ are obtained, the in-
なお、道路が比較的混んでいる場合には、消失点(xa,ya)が認識困難となる場合があるが、安全運転支援目的では、自車の前方に車両Aがいない場合が特に重要であると考えられるため、前記消失点(xa,ya)を使って車載カメラ3パラメータを求める方法は十分に現実的である。
一方、カメラから見た道路面の高さは、−hである。信号灯器の道路面からの高さをHとすると、信号灯器は道路座標系(X,Y,H−h)で表される。車載カメラ3の撮像画像上に写った信号灯器の点を(x0,y0)とする。これらx0,y0も観測できる値である。
In addition, when the road is relatively crowded, the vanishing point (x a , y a ) may be difficult to recognize. However, for the purpose of safe driving support, there is a case where the vehicle A is not in front of the own vehicle. Since it is considered important, the method for obtaining the in-
On the other hand, the height of the road surface viewed from the camera is -h. If the height of the signal lamp from the road surface is H, the signal lamp is represented by a road coordinate system (X, Y, Hh). Let the point of the signal lamp on the captured image of the in-
すると、前記(1),(2)式は、X,Yを未知数とする方程式となり、式2つで未知数2つであるから、X,Yを解くことができる。したがって、車載カメラ3から信号機4までの平面上の距離Yを求めることができる。
算出された信号灯器の座標X,Y、又は撮像画像内の信号灯器の座標x,yは、車両Aの走行につれてブレが起こるので時間の関数となる。これらを、座標X(t),Y(t)、座標x(t),y(t)と書く。それぞれ時間的な移動平均をとったり、指数平滑化したり、又は線形回帰する等して、時間的なばらつきを押さえることができる。
Then, the equations (1) and (2) become equations with X and Y as unknowns, and since two equations are two unknowns, X and Y can be solved. Therefore, the distance Y on the plane from the in-
The calculated coordinates X and Y of the signal lamp or the coordinates x and y of the signal lamp in the captured image become a function of time since blurring occurs as the vehicle A travels. These are written as coordinates X (t), Y (t), coordinates x (t), y (t). Temporal variations can be suppressed by taking a temporal moving average, exponential smoothing, or linear regression, respectively.
なお、算出された信号灯器の座標X(t)、撮像画像内の座標x(t)は、車線変更がなければ一定値であるため、これらを先ず算出しておいてから、移動平均や指数平滑化などでYを算出しても良い。
−距離算出装置及びシステム1−
次に、本発明の距離算出システムを説明する。
Note that the calculated coordinates X (t) of the signal lamp and the coordinates x (t) in the captured image are constant values unless there is a lane change. Y may be calculated by smoothing or the like.
-Distance calculation device and system 1-
Next, the distance calculation system of the present invention will be described.
図4は、信号機4までの距離算出システムの全体構成を示す概念図である。距離算出システムは、路側通信装置6と、車載装置7とを含む。
路側通信装置6は、前述したように、交差点手前の道路脇などに設置されている。路側通信装置6は、交差点の信号灯器4aの高さ情報を持っている。この信号機4の高さは、信号機4設置時の調査で把握し、予め路側通信装置6に記憶させておく。
FIG. 4 is a conceptual diagram showing the overall configuration of the distance calculation system to the
As described above, the
路側通信装置6は、この信号灯器4aの高さ情報を周期的に送信する。送信媒体は、車載装置7に送信することを考慮すれば、無線あるいは光が適当である。特に、光ビーコン、DSRC(Dedicated Short Range Communication,狭域通信)といったスポットの路車間通信が望ましい。変調方式や符号化方式は、任意である。
なお、路側通信装置6から車載装置7に送られるデータは、高さの他に、信号機4と停止線5との距離があり、その他路側通信装置6から信号機4までの距離のデータ、交差点形状のデータも含めてもよい。
The
The data sent from the
車載装置7は、通信装置8、車載カメラ3、車載カメラ3で撮像した画像から信号灯器4aを認識してその座標を特定する画像認識処理機能、当該車両Aから前記交差点までの距離を算出する距離算出機能を持った処理装置11、マンマシン装置9、メモリ10、ディスプレイ14、スピーカ15等で構成される。
前記通信装置8は、路側通信装置6から送られてくるデータを受信するものであり、復調方式や復号化方式は、路側通信装置6のものに対応している。
The in-
The
ディスプレイ14は、交差点までの距離を表示するための画面であり、独立に備えてもよく、車載テレビジョン画面、車載ナビゲーション装置の画面を利用してもよい。
スピーカ15は、交差点までの距離をドライバにアナウンスするためのものである。
メモリ10は、路側通信装置6から送られてくる信号灯器4aの高さ、信号機4と停止線5との距離、交差点形状などのデータを記憶する。
The display 14 is a screen for displaying the distance to the intersection, and may be provided independently, or an in-vehicle television screen or an in-vehicle navigation device screen may be used.
The
The
処理装置11は、メモリ10に記憶された信号灯器4aの高さデータに基づいて、交差点までの距離を算出し、この距離を含む表示用、音声出力用のデータを作成する。
以下、この処理装置11の機能を、フローチャート(図5)に基づいて詳細に説明する。
処理装置11は、路側通信装置6との通信が確立しているかどうかを確認し(ステップS1)、確立していれば、路側通信装置6から、信号灯器4aの高さ、信号機4と停止線5との距離、交差点形状などのデータを受信してメモリ10に記憶する(ステップS2)。
The
Hereinafter, the function of the
The
一定の処理周期になれば(ステップS3)、車載カメラ3の撮像画像から信号灯器4aを認識する(ステップS4)。
図6に、信号機4の正面図を示す。信号機4は、信号灯器4aと、信号灯器4aを支持するポール4bを有している。
信号灯器4aの認識は、例えば、信号機4の下記の特徴を利用して行う。
If it becomes a fixed processing cycle (step S3), the
FIG. 6 shows a front view of the
The
まず、信号機4のポール4bに相当する撮像画像上の細長い線の検知をする。細長い線の検知は、画像処理におけるHough(ハウ)変換を利用する方法(特開平7-78240号公報参照)、エッジ検出と画素の連結を利用する方法(特開2003-168110号公報参照)、min-max法等で可能である。
次に、赤、青、黄の3つの信号灯と、点灯している信号灯(輝度が高い)を検知する。検知する信号灯は、図6に示すように円形である。よって本来ならば、エッジを抽出し、信号使用色を持つ円を信号候補として、容易に判別することができる。しかし車載カメラ3は広範囲を撮像するため、撮像される信号の点灯部は半径2〜12ピクセルほどである。この条件では、エッジを抽出しても円形か四角形かの判別は難しい。そこで、例えば信号灯を、信号使用色の範囲の色を持った画素の連結であると考える。すなわち色抽出を行い、抽出後ラベリングを行う。ラベリングによって、連結した画素をとらえ、各ラベルの外接四角形をとる。そして外接四角形の大きさ、縦横比、撮像画像上の位置、外接四角形内の抽出画素数の占有率などを考慮して適切なラベルを信号として認識する(前記非特許文献1参照)。
First, an elongated line on the captured image corresponding to the
Next, three signal lights of red, blue, and yellow and a signal light that is lit (high brightness) are detected. The signal lamp to be detected is circular as shown in FIG. Therefore, originally, an edge can be extracted and a circle having a signal use color can be easily determined as a signal candidate. However, since the in-
さらに、3つの信号灯を納めた信号灯器4aを検知する。そして、信号灯器4aの位置座標として、信号灯の中心Gを選定する。
前記交差点までの距離算出方法で説明した、車載カメラ3の撮像画像内の信号灯器4aの位置座標(x0,y0)に基づいて、車両Aを基準とした信号機4の相対位置(X,Y)を算出する。そして、この位置に(X,Y)に基づいて、車両Aから信号機4までの平面上の距離Yを算出する。
Further, the
The relative position (X, Y) of the
さらに、この距離Yから、路側通信装置6から受信した、信号機4と停止線5との距離を減算する。
このようにして、車両Aから交差点の停止線5までの距離を求めることができる。
この車両Aから交差点の停止線5までの距離情報を、ディスプレイ14に表示し、及び/又はスピーカ15から、ドライバにアナウンスする(ステップS5)。
Further, the distance between the
In this way, the distance from the vehicle A to the stop line 5 at the intersection can be obtained.
The distance information from the vehicle A to the stop line 5 at the intersection is displayed on the display 14 and / or announced to the driver from the speaker 15 (step S5).
次に、車両Aから交差点の停止線5までの距離が一定値以下かどうかを判定する(ステップS6)。一定値より長ければ、ステップS3以下を繰り返し、一定値以下になれば、ドライバの集中力を分散させないために、距離の表示を打ち切る。前記「一定値」は、ドライバが交差点の停止線5に安全に停止するために、方向指示、減速、ブレーキ操作などを行うのに必要な距離とする。 Next, it is determined whether or not the distance from the vehicle A to the intersection stop line 5 is equal to or less than a certain value (step S6). If it is longer than a certain value, step S3 and subsequent steps are repeated, and if it is less than a certain value, the distance display is discontinued in order not to disperse the driver's concentration. The “constant value” is a distance necessary for the driver to perform direction indication, deceleration, brake operation, etc. in order to safely stop at the stop line 5 at the intersection.
−交差点までの距離算出方法2−
次に、車両Aが路側に設置した路側通信装置6と通信して、当該路側通信装置6から交差点の信号機4までの距離情報が得られる場合の、交差点までの距離算出方法を解説する。
車載装置は、路側通信装置6を通過した時点で、当該路側通信装置6から交差点の信号機4までの距離情報が得られるので、これをY0とおく。この時点の信号灯器4aは道路座標系(X,Y0,Z−h)で表される。
-Method for calculating distance to intersection 2-
Next, a method for calculating the distance to the intersection when the vehicle A communicates with the
Since the in-vehicle device obtains distance information from the
前記(1),(2)式は、X,Zを未知数とする方程式となり、X,Zを解くことができる。したがって、信号灯器4aの高さZを求めることができる。これをHとおく。
その後、車両Aが路側通信装置6を通過すると、算出された信号灯器4aの前記高さHを用いて、信号灯器4aを道路座標系(X,Y,H−h)で表す。したがって、前記(1),(2)式からX,Yを算出することができる。
The equations (1) and (2) become equations with X and Z as unknowns, and X and Z can be solved. Therefore, the height Z of the
Thereafter, when the vehicle A passes through the
このように、路側通信装置6は、当該路側通信装置6から交差点の信号機4までの距離情報を車両Aに送信することにより、車両Aは、画像処理で信号灯器4aの高さを算出することができる。路側通信装置6は、信号灯器4aの高さ情報を送信する必要はない。したがって、信号機4を設置するときに信号灯器4aの高さを測定する必要はなく、信号機4設置の際の作業が軽減する。
As described above, the
なお、路側通信装置6が、信号灯器4aの高さ情報と、交差点の信号機4までの距離情報を両方送信することとすれば、前記(1),(2)式の冗長性が増すので、信号機4までの距離算出精度を向上することができる。
−距離算出装置及びシステム2−
車両Aが路側に設置した路側通信装置6と通信して、当該路側通信装置6から交差点の信号機4までの距離情報が得られる場合の距離算出システムの構成は、基本的に、図4と変わりない。
If the
-Distance calculation device and system 2-
The configuration of the distance calculation system when the vehicle A communicates with the
ただし、異なるところは、路側通信装置6は、信号機4までの距離Y0の情報を、周期的に送信し、車載コンピュータは、路側通信装置6の側を通ったときに、信号機4までの距離Y0と、車載カメラ3で撮像した画像における信号灯器4aの座標とに基づいて、信号灯器4aの高さHを算出し、この高さHをメモリ10に記憶する。
車載コンピュータは、路側通信装置6の側を通り過ぎた後は、信号灯器4aの高さHと、車載カメラ3で撮像した画像における信号灯器4aの座標とに基づいて、信号機4までの距離Yを算出し、この距離Yを含む表示用、音声出力用のデータを作成する。
However, the difference is that the
After the vehicle-mounted computer passes the side of the
この距離情報を、ディスプレイ14に表示し、及び/又はスピーカ15から、ドライバにアナウンスする。
−その他−
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、いままでの説明では、信号機4は、交差点の向こう側に設置されていた。しかし、図7に示すように、交差点の向こう側とともに、交差点の手前にも設置される場合がある。この場合、車載装置7は、交差点の手前に設置される信号機4′の信号灯器を認識して、その撮像画像上の位置を判別し、当該信号機4′までの距離を求めても良い。
This distance information is displayed on the display 14 and / or announced from the
-Others-
Although the embodiments of the present invention have been described above, the embodiments of the present invention are not limited to the above-described embodiments. For example, in the description so far, the
信号機が、交差点の向こう側に設置されているか、交差点の手前に設置されているかの情報は、路側通信装置6が持っていて、路側通信装置6から車載装置に通知してもよい。また、図3に示した道路の消失点(xa,ya)を利用して、信号灯器が消失点の右側にあれば、信号機は道路の右側すなわち交差点の手前にあると判断し、消失点の左側にあれば、道路の左側すなわち交差点の向こう側にあると判断してもよい(図3は後者の場合を示す)。
Information on whether the traffic light is installed on the other side of the intersection or on the front side of the intersection is held by the
これにより、認識の対象とする信号機の数が増えるので、当該車両Aの前に、他の大きな車両が存在していて、交差点の向こう側にある信号機4が見えない場合でも、交差点の手前側にある信号機4′を用いて、距離を算出できる。反対に、当該車両Aの右前方に他の大きな車両が存在していて、交差点の手前側にある信号機4′が見えない場合、交差点の向こう側にある信号機4を用いて、距離を算出できる。
As a result, the number of traffic lights to be recognized increases, so even if there is another large vehicle in front of the vehicle A and the
なお以上の実施形態では、単眼車載カメラ3の場合であったが、勿論ステレオ車載カメラ3でもよい。その他、本発明の範囲内で種々の変更を施すことが可能である。
In the above embodiment, the monocular in-
3 車載カメラ
4,4′ 信号機
4a 信号灯器
5 停止線
6 路側通信装置
7 車載装置
8 通信装置
10 メモリ
11 処理装置
14 ディスプレイ
15 スピーカ
A 車両
3 In-
Claims (6)
路側に設置した通信装置との通信により、当該信号灯器の高さ情報を取得し、
前記画像における信号灯器の座標と、前記信号灯器の高さ情報とに基づいて、当該車両から前記交差点までの距離を算出することを特徴とする交差点までの距離算出方法。 The in-vehicle camera installed in the vehicle recognizes the signal lamp of the traffic light at the intersection from the image taken in front of the vehicle,
By communicating with the communication device installed on the roadside, obtain the height information of the signal lamp,
A method for calculating a distance to an intersection, wherein a distance from the vehicle to the intersection is calculated based on coordinates of the signal lamp in the image and height information of the signal lamp.
路側に設置した通信装置との通信により、当該通信装置から前記信号機までの距離情報を取得し、
当該距離情報を取得した時点の前記画像における信号灯器の座標と、当該距離情報とに基づいて、信号灯器の高さを算出して記憶し、
前記画像における信号灯器の座標と、前記信号灯器の高さとに基づいて、当該車両から前記交差点までの距離を算出することを特徴とする交差点までの距離算出方法。 The in-vehicle camera installed in the vehicle recognizes the signal lamp of the traffic light at the intersection from the image taken in front of the vehicle,
By communicating with a communication device installed on the roadside, obtain distance information from the communication device to the traffic light,
Based on the coordinates of the signal lamp device in the image at the time of obtaining the distance information and the distance information, the height of the signal lamp device is calculated and stored,
A method for calculating a distance to an intersection, wherein the distance from the vehicle to the intersection is calculated based on the coordinates of the signal lamp in the image and the height of the signal lamp.
路側に設置した通信装置から、交差点の信号機の信号灯器の高さ情報を受信する受信部と、
車両に設置された車載カメラと、
前記車載カメラにより車両前方を撮像した画像から前記信号灯器を認識する画像認識処理部と、
前記信号灯器の高さ情報を記録するメモリと、
前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さ情報とから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有することを特徴とする交差点までの距離算出装置。 A distance calculation device to an intersection that is mounted on a vehicle and calculates a distance from the vehicle to the intersection,
From the communication device installed on the roadside, a receiving unit that receives the height information of the signal lamp of the traffic light at the intersection; and
An in-vehicle camera installed in the vehicle;
An image recognition processing unit for recognizing the signal lamp from an image captured in front of the vehicle by the in-vehicle camera;
A memory for recording height information of the signal lamp;
A distance calculation processing unit that calculates the distance from the vehicle to the intersection from the coordinates of the signal lamp in the image and the height information of the signal lamp recorded in the memory. Distance calculation device.
路側に設置した通信装置から、当該通信装置から交差点の信号機までの距離情報を受信する受信部と、
車両に設置された車載カメラと、
前記車載カメラにより車両前方を撮像した画像から前記信号機の信号灯器を認識する画像認識処理部と、
前記距離情報を受信した時点の前記画像における信号灯器の座標と、前記距離情報とに基づいて、信号灯器の高さを算出する高さ算出処理部と、
前記高さ算出処理部によって算出された信号灯器の高さを記録するメモリと、
前記画像における信号灯器の座標と、前記メモリに記録された信号灯器の高さとから、当該車両から前記交差点までの距離を算出する距離算出処理部とを有することを特徴とする交差点までの距離算出装置。 A distance calculation device to an intersection that is mounted on a vehicle and calculates a distance from the vehicle to the intersection,
A receiving unit that receives distance information from the communication device installed on the roadside to the traffic signal at the intersection from the communication device;
An in-vehicle camera installed in the vehicle;
An image recognition processing unit for recognizing the signal lamp of the traffic light from an image of the front of the vehicle captured by the in-vehicle camera;
A height calculation processing unit that calculates the height of the signal lamp based on the coordinates of the signal lamp in the image when the distance information is received, and the distance information;
A memory for recording the height of the signal lamp calculated by the height calculation processing unit;
A distance calculation processing unit that calculates a distance from the vehicle to the intersection from the coordinates of the signal lamp in the image and the height of the signal lamp recorded in the memory. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030913A JP4052310B2 (en) | 2005-02-07 | 2005-02-07 | Method, apparatus and system for calculating distance to intersection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005030913A JP4052310B2 (en) | 2005-02-07 | 2005-02-07 | Method, apparatus and system for calculating distance to intersection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006215982A true JP2006215982A (en) | 2006-08-17 |
JP4052310B2 JP4052310B2 (en) | 2008-02-27 |
Family
ID=36979154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005030913A Expired - Fee Related JP4052310B2 (en) | 2005-02-07 | 2005-02-07 | Method, apparatus and system for calculating distance to intersection |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4052310B2 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182557A (en) * | 2007-01-25 | 2008-08-07 | Sumitomo Electric Ind Ltd | Road-to-vehicle communication system and optical beacon used for the system |
JP2009026033A (en) * | 2007-07-19 | 2009-02-05 | Sumitomo Electric Ind Ltd | Road-vehicle communication system, optical beacon, in-vehicle equipment, and vehicle |
JP2009036571A (en) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | Position measuring system utilizing visible light communication system, position measuring device, and position measuring method |
JP2010002225A (en) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | Apparatus, system and method for measuring position by utilizing visible light communication |
JP2010280271A (en) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | Brake control device |
JP2012128870A (en) * | 2012-03-01 | 2012-07-05 | Sumitomo Electric Ind Ltd | Road-vehicle communication system, optical beacon, on-vehicle device, and vehicle |
JP2013145530A (en) * | 2012-01-16 | 2013-07-25 | Isuzu Motors Ltd | Road-vehicle communication system and vehicle position detection device |
JP2013177098A (en) * | 2012-02-29 | 2013-09-09 | Nissan Motor Co Ltd | Device and method of vehicle control |
JP2014137321A (en) * | 2013-01-18 | 2014-07-28 | Nec Corp | Position coordinate conversion system, position coordinate conversion method, on-vehicle device, global coordinate measurement device and position coordinate conversion program |
CN104077917A (en) * | 2014-07-10 | 2014-10-01 | 张士栋 | Pass system with two stop lines arranged in same pass direction of road intersection |
WO2014166532A1 (en) * | 2013-04-10 | 2014-10-16 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
WO2015148195A1 (en) * | 2014-03-25 | 2015-10-01 | Osram Sylvania Inc. | Techniques for determining a light-based communication receiver position |
US9489584B2 (en) | 2012-05-25 | 2016-11-08 | Denso Corporation | Intersection recognition device and road type recognition device |
KR20220137266A (en) * | 2021-04-02 | 2022-10-12 | 주식회사 멕서스 | Remote control solution server that identifies the location of communication equipment using shooting information |
CN115497286A (en) * | 2022-09-02 | 2022-12-20 | 东风悦享科技有限公司 | Front intersection real-time traffic state display system and method based on V2X |
-
2005
- 2005-02-07 JP JP2005030913A patent/JP4052310B2/en not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008182557A (en) * | 2007-01-25 | 2008-08-07 | Sumitomo Electric Ind Ltd | Road-to-vehicle communication system and optical beacon used for the system |
JP2009026033A (en) * | 2007-07-19 | 2009-02-05 | Sumitomo Electric Ind Ltd | Road-vehicle communication system, optical beacon, in-vehicle equipment, and vehicle |
JP2009036571A (en) * | 2007-07-31 | 2009-02-19 | Toshiba Corp | Position measuring system utilizing visible light communication system, position measuring device, and position measuring method |
JP2010002225A (en) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | Apparatus, system and method for measuring position by utilizing visible light communication |
JP2010280271A (en) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | Brake control device |
JP2013145530A (en) * | 2012-01-16 | 2013-07-25 | Isuzu Motors Ltd | Road-vehicle communication system and vehicle position detection device |
JP2013177098A (en) * | 2012-02-29 | 2013-09-09 | Nissan Motor Co Ltd | Device and method of vehicle control |
JP2012128870A (en) * | 2012-03-01 | 2012-07-05 | Sumitomo Electric Ind Ltd | Road-vehicle communication system, optical beacon, on-vehicle device, and vehicle |
US9489584B2 (en) | 2012-05-25 | 2016-11-08 | Denso Corporation | Intersection recognition device and road type recognition device |
JP2014137321A (en) * | 2013-01-18 | 2014-07-28 | Nec Corp | Position coordinate conversion system, position coordinate conversion method, on-vehicle device, global coordinate measurement device and position coordinate conversion program |
WO2014166532A1 (en) * | 2013-04-10 | 2014-10-16 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
CN104884898A (en) * | 2013-04-10 | 2015-09-02 | 哈曼贝克自动系统股份有限公司 | Navigation system and method of determining a vehicle position |
US9797733B2 (en) | 2013-04-10 | 2017-10-24 | Harman Becker Automotive Systems Gmbh | Navigation system and method of determining a vehicle position |
CN104884898B (en) * | 2013-04-10 | 2018-03-23 | 哈曼贝克自动系统股份有限公司 | Determine the navigation system and method for vehicle location |
WO2015148195A1 (en) * | 2014-03-25 | 2015-10-01 | Osram Sylvania Inc. | Techniques for determining a light-based communication receiver position |
CN104077917A (en) * | 2014-07-10 | 2014-10-01 | 张士栋 | Pass system with two stop lines arranged in same pass direction of road intersection |
KR20220137266A (en) * | 2021-04-02 | 2022-10-12 | 주식회사 멕서스 | Remote control solution server that identifies the location of communication equipment using shooting information |
KR102595122B1 (en) * | 2021-04-02 | 2023-10-27 | 주식회사 멕서스 | Remote control solution server that identifies the location of communication equipment using shooting information |
CN115497286A (en) * | 2022-09-02 | 2022-12-20 | 东风悦享科技有限公司 | Front intersection real-time traffic state display system and method based on V2X |
Also Published As
Publication number | Publication date |
---|---|
JP4052310B2 (en) | 2008-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4052310B2 (en) | Method, apparatus and system for calculating distance to intersection | |
US7894632B2 (en) | Apparatus and method of estimating center line of intersection | |
JP5472163B2 (en) | Speed regulation value notification device and speed regulation value notification system | |
US8676492B2 (en) | Map-aided vision-based lane sensing | |
EP2984451B1 (en) | Navigation system and method of determining a vehicle position | |
CN103105168B (en) | For determining the method for position | |
JP4859760B2 (en) | Car navigation apparatus, road sign recognition method and program | |
WO2014115563A1 (en) | Driving support device, driving support method, and recording medium storing driving support program | |
JP4577655B2 (en) | Feature recognition device | |
JP2008299666A (en) | Vehicle driving support system, driving support device, vehicle and vehicle driving support method | |
US20200247404A1 (en) | Information processing device, information processing system, information processing method, and program | |
US20200318989A1 (en) | Route guidance apparatus and method | |
JP6129268B2 (en) | Vehicle driving support system and driving support method | |
US10102747B2 (en) | Intersection traffic signal indicator systems and methods for vehicles | |
JP5274984B2 (en) | Driving support system | |
JP2024133552A (en) | Determination device, determination method, and determination program | |
JP4968369B2 (en) | In-vehicle device and vehicle recognition method | |
JP2017126213A (en) | Intersection state check system, imaging device, on-vehicle device, intersection state check program and intersection state check method | |
JP4687381B2 (en) | Vehicle recognition method and in-vehicle device | |
JP2007183846A (en) | Sign recognition apparatus for vehicle, and vehicle controller | |
JP7192541B2 (en) | Information processing device, information processing method and program | |
US20230347910A1 (en) | Vehicle orientation estimation system and vehicle orientation estimation method | |
JP2019101138A (en) | Data structure of map data | |
JP2007072948A (en) | Traffic signal lighting state identification method and apparatus | |
WO2024028985A1 (en) | Driving assistance device and driving assistance method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4052310 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |