JP2014203115A - Detection device, control method, program and storage medium - Google Patents
Detection device, control method, program and storage medium Download PDFInfo
- Publication number
- JP2014203115A JP2014203115A JP2013076069A JP2013076069A JP2014203115A JP 2014203115 A JP2014203115 A JP 2014203115A JP 2013076069 A JP2013076069 A JP 2013076069A JP 2013076069 A JP2013076069 A JP 2013076069A JP 2014203115 A JP2014203115 A JP 2014203115A
- Authority
- JP
- Japan
- Prior art keywords
- traffic light
- road sign
- information
- image
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像中から信号機や道路標識を検出する技術に関する。 The present invention relates to a technique for detecting traffic lights and road signs from an image.
従来から、車両前方を撮影するカメラから取得した画像に基づき、車両の前方風景に存在する信号機の信号表示を認識する技術が知られている。例えば、特許文献1には、撮像されたフレーム画像から色分布及び形状に基づいて信号灯の候補領域を抽出する技術が開示されている。また、特許文献1には、撮像装置の取り付け姿勢等に基づいて、フレーム画像上で信号機が存在する領域を推定し、当該領域内の画像の形状特徴に基づいて信号灯の候補領域を抽出する点についても開示されている。また、特許文献2には、撮影した画像の各画素から、赤灯火部の点灯時の色相、彩度、輝度の取り得る値の範囲に属する画素を抽出し、抽出した画素からなる領域の円形度を算出し、円形度が高い領域を、赤灯火候補領域に設定する技術が開示されている。
2. Description of the Related Art Conventionally, a technique for recognizing a signal display of a traffic signal existing in a front landscape of a vehicle based on an image acquired from a camera that captures the front of the vehicle is known. For example,
特許文献1及び2では、いずれも、信号機と車両に搭載される撮影装置との位置関係によらず、撮影された画像を解析して信号機が存在する候補領域を検出する。この場合、撮影された画像中のどこに信号機が存在するかが不明の為、画像を解析する範囲を広く設定する必要がある。この場合、解析の負荷が重くなり、結果として候補領域を検出するまでに相当の時間が必要となる。また、画像を解析する範囲が広いほど、信号機の誤検出の可能性が高くなる。
In both
本発明は、上記のような課題を解決するためになされたものであり、信号機や道路標識を検出する際に、画像を解析する範囲を好適に限定することが可能な検出装置を提供することを主な目的とする。 The present invention has been made in order to solve the above-described problems, and provides a detection device capable of suitably limiting a range in which an image is analyzed when detecting traffic lights and road signs. Is the main purpose.
請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置であって、前記移動体の現在位置に関する情報を取得する第1取得手段と、道路標識または信号機の位置に関する情報を取得する第2取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、を備えることを特徴とする。 The invention described in the claims is a detection device that detects a road sign or a traffic light from an image captured by an image capturing unit that captures a landscape in front of the mobile body, and acquires information on the current position of the mobile body. Analysis in the image according to first acquisition means, second acquisition means for acquiring information relating to the position of a road sign or traffic light, information relating to the current position of the mobile object and information relating to the position of the road sign or traffic light Detecting means for detecting an image corresponding to the road sign or traffic light from an area.
また、請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置が実行する制御方法であって、前記移動体の現在位置に関する情報を取得する第1取得工程と、道路標識または信号機の位置に関する情報を取得する第2取得工程と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、を有することを特徴とする。 The invention described in claim is a control method executed by a detection device that detects a road sign or a traffic light from an image captured by an image capturing unit that captures a front landscape of the mobile body, A first acquisition step of acquiring information relating to the current position, a second acquisition step of acquiring information relating to the position of the road sign or the traffic light, information relating to the current position of the mobile object, and information relating to the position of the road sign or traffic light. And a detection step of detecting an image corresponding to the road sign or traffic light from the corresponding analysis region in the image.
また、請求項に記載の発明は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出するコンピュータが実行するプログラムであって、前記移動体の現在位置に関する情報を取得する第1取得手段と、道路標識または信号機の位置に関する情報を取得する第2取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段として前記コンピュータを機能させることを特徴とする。 The invention described in the claim is a program executed by a computer that detects a road sign or a traffic light from an image captured by an imaging unit that captures a forward landscape of the moving object, the current position of the moving object According to the first acquisition means for acquiring information on the second acquisition means, the second acquisition means for acquiring information on the position of the road sign or the traffic light, the information on the current position of the mobile object, and the information on the position of the road sign or the traffic light. The computer is caused to function as detection means for detecting an image corresponding to the road sign or a traffic light from an analysis region in the image.
本発明の好適な実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置であって、前記移動体の現在位置に関する情報を取得する第1取得手段と、道路標識または信号機の位置に関する情報を取得する第2取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、を備える。 According to a preferred embodiment of the present invention, there is provided a detection device for detecting a road sign or a traffic light from an image taken by an imaging means for taking an image of a front landscape of a moving body, wherein the information relating to the current position of the moving body. The first acquisition means for acquiring the information, the second acquisition means for acquiring the information on the position of the road sign or the traffic light, the image according to the information on the current position of the mobile object and the information on the position of the road sign or the traffic light. Detecting means for detecting an image corresponding to the road sign or traffic light from an analysis area in the inside.
上記の検出装置は、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出し、第1取得手段と、第2取得手段と、検出手段とを備える。第1取得手段は、移動体の現在位置に関する情報を取得する。第2取得手段は、道路標識または信号機の位置に関する情報を取得する。検出手段は、移動体の現在位置に関する情報と道路標識または信号機の位置に関する情報とに応じた画像中の解析領域から道路標識または信号機に相当する画像を検出する。この態様では、検出装置は、移動体の現在位置に関する情報と道路標識または信号機の位置に関する情報とに応じた解析領域を定める。これにより、検出装置は、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。 The detection apparatus includes a first acquisition unit, a second acquisition unit, and a detection unit that detects a road sign or a traffic light from an image captured by an imaging unit that captures a landscape in front of the moving body. A 1st acquisition means acquires the information regarding the present position of a moving body. A 2nd acquisition means acquires the information regarding the position of a road sign or a traffic signal. The detection means detects an image corresponding to a road sign or a traffic light from an analysis region in the image corresponding to information related to the current position of the moving body and information related to the position of the road sign or traffic light. In this aspect, the detection device defines an analysis region according to information regarding the current position of the moving object and information regarding the position of the road sign or the traffic light. Thus, the detection device can reduce the load of analysis and suppress erroneous detection of traffic lights and road signs.
上記検出装置の一態様では、前記第2取得手段は、前記道路標識または信号機の3次元位置に関する情報を取得し、前記検出手段は、前記移動体の現在位置に関する情報と、前記道路標識または信号機の3次元位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。一般に、信号機の高さによって画像中での信号機又は道路標識の表示位置が異なる。従って、この態様により、検出装置は、信号機又は道路標識の3次元位置に応じた解析領域を好適に設定することができる。 In one aspect of the detection apparatus, the second acquisition unit acquires information on a three-dimensional position of the road sign or signal, and the detection unit includes information on a current position of the moving object, the road sign or signal. An image corresponding to the road sign or traffic light is detected from the analysis region in the image corresponding to the information regarding the three-dimensional position. Generally, the display position of a traffic light or a road sign in an image differs depending on the height of the traffic light. Therefore, according to this aspect, the detection apparatus can suitably set an analysis region corresponding to the three-dimensional position of the traffic light or the road sign.
上記検出装置の他の一態様では、前記第2取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の設置位置についての法令に基づく前記道路標識または信号機の3次元位置に関する情報を取得する。この態様により、検出装置は、道路標識または信号機の設置位置についての法令に基づいて地域ごとに異なる高さを有する信号機又は道路標識に対して、解析領域を的確に設定することができる。 In another aspect of the detection apparatus, the second acquisition unit includes a three-dimensional position of the road sign or traffic light based on a law regarding an installation position of the road sign or traffic light for each area to which the current position of the moving body belongs. Get information about. According to this aspect, the detection device can accurately set the analysis region for the traffic lights or road signs having different heights for each area based on the law on the installation positions of the road signs or traffic lights.
上記検出装置の他の一態様では、前記第2取得手段は、前記移動体の現在位置が属する地域ごとの前記道路標識または信号機の高さ情報に基づく前記道路標識または信号機の3次元位置に関する情報を取得する。この態様により、検出装置は、地域ごとに異なる高さを有する信号機又は道路標識に対して、解析領域を的確に設定することができる。 In another aspect of the detection device, the second acquisition unit includes information on a three-dimensional position of the road sign or traffic light based on height information of the road sign or traffic light for each area to which the current position of the moving body belongs. To get. According to this aspect, the detection apparatus can accurately set the analysis region for traffic lights or road signs having different heights for each region.
上記検出装置の他の一態様では、前記検出手段は、前記道路標識または信号機の高さ情報が切り替わる複数の地域の境界から所定の範囲内に前記移動体の現在位置が位置する場合は、前記複数の地域のいずれの高さも含む高さ情報に応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。この態様により、検出装置は、道路標識または信号機の高さ情報が切り替わる地域の境界付近に設置された道路標識又は信号機を画像中から好適に認識することができる。 In another aspect of the detection device, the detection unit is configured such that when the current position of the moving body is located within a predetermined range from a boundary of a plurality of areas where the height information of the road sign or traffic signal is switched, An image corresponding to the road sign or traffic light is detected from an analysis area in the image corresponding to height information including any height of a plurality of areas. According to this aspect, the detection apparatus can preferably recognize from the image a road sign or traffic signal installed near the boundary of the area where the height information of the road sign or traffic signal is switched.
上記検出装置の他の一態様では、前記移動体への前記撮像手段の設置高に関する情報を取得する第3取得手段を備え、前記検出手段は前記移動体の現在位置に関する情報と、前記道路標識または信号機の3次元位置に関する情報と、前記撮像手段の設置高に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する。この態様により、検出装置は、撮像手段の設置高を勘案し、解析領域を好適に設定することができる。 In another aspect of the detection apparatus, the detection device includes third acquisition means for acquiring information related to an installation height of the imaging means on the moving body, the detection means including information on a current position of the moving body, and the road sign. Alternatively, an image corresponding to the road sign or the traffic signal is detected from an analysis region in the image according to information regarding the three-dimensional position of the traffic signal and information regarding the installation height of the imaging means. According to this aspect, the detection apparatus can appropriately set the analysis region in consideration of the installation height of the imaging unit.
上記検出装置の他の一態様では、前記移動体が走行中の道路であって、前記現在位置から所定距離前方の道路の勾配情報を取得する第4取得手段を備え、前記検出手段は、前記道路の勾配情報を基に前記解析領域を補正する。この態様により、検出装置は、勾配を有する道路上に信号機又は道路標識が設置されていた場合であっても、的確に解析領域を設定することができる。 In another aspect of the detection device, the moving body is a road on which the moving body is running, and includes fourth acquisition means for acquiring road gradient information ahead of the current position by a predetermined distance, and the detection means includes the The analysis region is corrected based on road gradient information. According to this aspect, the detection apparatus can accurately set the analysis region even when a traffic light or a road sign is installed on a road having a gradient.
本発明の好適な他の実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出する検出装置が実行する制御方法であって、前記移動体の現在位置に関する情報を取得する第1取得工程と、道路標識または信号機の位置に関する情報を取得する第2取得工程と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、を有する。検出装置は、この制御方法を実行することで、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。 According to another preferred embodiment of the present invention, there is provided a control method executed by a detection device that detects a road sign or a traffic light from an image captured by an imaging unit that captures a front landscape of a moving body, A first acquisition step of acquiring information related to the current position of the moving body; a second acquisition step of acquiring information related to the position of the road sign or traffic light; and information relating to the current position of the mobile body and the position of the road sign or traffic light. And a detection step of detecting an image corresponding to the road sign or traffic light from an analysis region in the image corresponding to information. By executing this control method, the detection device can reduce the load of analysis and suppress erroneous detection of traffic lights and road signs.
本発明の好適な他の実施形態によれば、移動体の前方風景を撮像する撮像手段により撮像された画像中から、道路標識または信号機を検出するコンピュータが実行するプログラムであって、前記移動体の現在位置に関する情報を取得する第1取得手段と、道路標識または信号機の位置に関する情報を取得する第2取得手段と、前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、解析の負荷を低減すると共に、信号機や道路標識の誤検出を抑制することができる。好適には、上述のプログラムは、記憶媒体に記憶される。 According to another preferred embodiment of the present invention, there is provided a program executed by a computer that detects a road sign or a traffic light from an image captured by an image capturing unit that captures a landscape in front of the mobile object, the mobile object First acquisition means for acquiring information on the current position of the vehicle, second acquisition means for acquiring information on the position of the road sign or traffic light, information on the current position of the mobile object, information on the position of the road sign or traffic light, The computer is caused to function as detection means for detecting an image corresponding to the road sign or traffic light from the analysis region in the image corresponding to the signal. By executing this program, the computer can reduce the load of analysis and suppress erroneous detection of traffic lights and road signs. Preferably, the above-described program is stored in a storage medium.
以下、図面を参照して本発明の好適な実施例について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[システム構成]
図1は、本実施例に係る信号認識システムの構成例を示す。図1に示すように、信号認識システムは、車両Veに搭載されるナビゲーション装置1と、車両Veの前方に向けて設置されたカメラ2とを備える。ナビゲーション装置1と、カメラ2とは、有線又は無線により電気的に接続している。
[System configuration]
FIG. 1 shows a configuration example of a signal recognition system according to the present embodiment. As shown in FIG. 1, the signal recognition system includes a
ナビゲーション装置1は、出発地から目的地までの経路案内を行う機能などを有する。また、本実施例では、ナビゲーション装置1は、カメラ2が生成した画像に基づき、信号機の表示を認識する。
The
カメラ2は、車両Veの前方に向けて固定され、所定の間隔ごとに車両Veの前方を撮影した画像(「画像Im」とも呼ぶ。)を生成する。カメラ2は、地面から所定の高さ(「カメラ設置高Hc」とも呼ぶ。)に固定され、かつ、所定の画角「θv」を有する。好適には、カメラ2の向きは、画像Im中の消失点(即ち無限遠点)が画像Imの縦方向での中心位置になるように、略水平方向に向けられる。カメラ14は、生成した画像Imをナビゲーション装置1へ供給する。カメラ14は、本発明における「撮像手段」として機能する。
The
[ナビゲーション装置の構成]
図2は、ナビゲーション装置1の概略構成を示す。ナビゲーション装置1は、例えば据置型のナビゲーション装置やルート案内を行う携帯端末であって、図2に示すように、自立測位装置10、GPS受信機18、システムコントローラ20、ディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、通信装置38、表示ユニット40、音声出力ユニット50及び入力装置60を備える。
[Configuration of navigation device]
FIG. 2 shows a schematic configuration of the
自立測位装置10は、加速度センサ11、角速度センサ12及び距離センサ13を備える。加速度センサ11は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ12は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ13は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
The
GPS受信機18は、複数のGPS衛星から、測位用データを含む下り回線データを搬送する電波19を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置を検出するために用いられる。
The
システムコントローラ20は、インタフェース21、CPU(Central Processing Unit)22、ROM(Read Only Memory)23及びRAM(Random Access Memory)24を含んでおり、ROM23などに記憶された制御プログラムを実行することで、ナビゲーション装置1全体の制御を行う。
The
例えば、システムコントローラ20は、現在位置情報及び後述する地図データに含まれる信号機の位置情報に基づき、車両Veの前方所定距離以内に信号機があることを認識した場合、画像Imに基づき当該信号機の信号認識を行う。このとき、システムコントローラ20は、画像Imから画像処理により信号機の表示領域を検出する領域(「解析領域Rtag」とも呼ぶ。)を決定する。これについては、[解析領域の決定]のセクションで詳しく説明する。
For example, when the
インタフェース21は、加速度センサ11、角速度センサ12及び距離センサ13並びにGPS受信機18とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、GPS測位データ、絶対方位データ等をシステムコントローラ20に入力する。CPU22は、システムコントローラ20全体を制御する。ROM23は、システムコントローラ20を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。RAM24は、入力装置60を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、CPU22に対してワーキングエリアを提供したりする。
The
システムコントローラ20、CD−ROMドライブ又はDVD−ROMドライブなどのディスクドライブ31、データ記憶ユニット36、通信用インタフェース37、表示ユニット40、音声出力ユニット50及び入力装置60は、バスライン30を介して相互に接続されている。
A
ディスクドライブ31は、システムコントローラ20の制御の下、CD又はDVDといったディスク33から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ31は、CD−ROMドライブ又はDVD−ROMドライブのうち、いずれか一方としてもよいし、CD及びDVDコンパチブルのドライブとしてもよい。
The
データ記憶ユニット36は、例えば、HDDなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分(交差点)に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。また、地図データには、各信号機の位置情報が記憶されている。また、データ記憶ユニット36は、信号機が設置される地上からの高さ(「信号機高Hs」とも呼ぶ。)、カメラ2の画角θv、及びカメラ設置高Hcの情報を記憶する。なお、システムコントローラ20は、これらの情報を、入力装置60へのユーザの入力に基づき生成し、データ記憶ユニット36に記憶させてもよい。
The
通信装置38は、例えば、FMチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、通信用インタフェース37を介して、VICS(登録商標、Vehicle Information Communication System)センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。また、通信装置38は、所定間隔ごとにカメラ2から画像Imを受信し、システムコントローラ20へ供給する。
The
表示ユニット40は、システムコントローラ20の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ20は、データ記憶ユニット36から地図データを読み出す。表示ユニット40は、システムコントローラ20によってデータ記憶ユニット36から読み出された地図データなどを表示画面上に表示する。表示ユニット40は、バスライン30を介してCPU22から送られる制御データに基づいて表示ユニット40全体の制御を行うグラフィックコントローラ41と、VRAM(Video RAM)等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ42と、グラフィックコントローラ41から出力される画像データに基づいて、液晶、CRT(Cathode Ray Tube)等のディスプレイ44を表示制御する表示制御部43と、ディスプレイ44とを備える。ディスプレイ44は、画像表示部として機能し、例えば対角5〜10インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
The
音声出力ユニット50は、システムコントローラ20の制御の下、CD−ROMドライブ31又はDVD−ROM32、若しくはRAM24等からバスライン30を介して送られる音声デジタルデータのD/A(Digital to Analog)変換を行うD/Aコンバータ51と、D/Aコンバータ51から出力される音声アナログ信号を増幅する増幅器(AMP)52と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ53とを備えて構成されている。
The
入力装置60は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置60は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ44の周囲に配置される。また、ディスプレイ44がタッチパネル方式の場合、ディスプレイ44の表示画面上に設けられたタッチパネルも入力装置60として機能する。
The
なお、システムコントローラ20は、本発明における「第1取得手段」、「第2取得手段」、「検出手段」、「第3取得手段」、「第4取得手段」及び「コンピュータ」として機能する。
The
[解析領域の決定方法]
次に、解析領域Rtagの決定方法について説明する。概略的には、システムコントローラ20は、現在位置情報及び信号機の位置情報等に基づき、カメラ2の向きに対する信号機の仰角(「仰角θtag」とも呼ぶ。)を算出し、当該仰角θtagから解析領域Rtagを決定する。
[Method of determining analysis area]
Next, a method for determining the analysis region Rtag will be described. Schematically, the
まず、仰角θtagの算出方法について、図3を参照して説明する。図3は、車両Veと、信号認識の対象となる信号機70とを側面視した図である。
First, a method for calculating the elevation angle θtag will be described with reference to FIG. FIG. 3 is a side view of the vehicle Ve and a
図3に示すように、仰角θtagは、カメラ2の向きに沿って水平に伸びる線90と、カメラ2と信号機70とを結ぶ線91とがなす角に相当する。ここで、図3に示す線90の長さは、カメラ2と信号機70との水平方向での距離(「信号機距離D」とも呼ぶ。)に相当する。また、線90及び線91と共に直角三角形を形成する線92の長さは、信号機高Hsにカメラ設置高Hcを引いた長さとなる。
As shown in FIG. 3, the elevation angle θtag corresponds to an angle formed by a
この場合、仰角θtagは、線90と線91と線92とを辺とする直角三角形に基づき、三角関数を用いて式(1)に示すように表される。
In this case, the elevation angle θtag is expressed as shown in Expression (1) using a trigonometric function based on a right triangle having sides of the
tanθ=(Hs−Hc)/D 式(1)
従って、システムコントローラ20は、式(1)を参照することで、カメラ設置高Hcと、信号機高Hsと、信号機距離Dとに基づき、仰角θtagを算出することができる。例えば、カメラ設置高Hcが「1m」、信号機高Hsが「5m」、信号機距離Dが「50m」とすると、式(1)により、仰角θtagは、約4.6°となる。
tan θ = (Hs−Hc) / D Equation (1)
Therefore, the
次に、仰角θtagから解析領域Rtagを決定する方法について説明する。システムコントローラ20は、画角θvに対する仰角θtagの比率に基づき、画像Imの縦方向での信号機70の推定される表示位置(「推定表示位置」とも呼ぶ。)を算出することで、解析領域Rtagを決定する。これについて、図4、図5を参照して具体的に説明する。
Next, a method for determining the analysis region Rtag from the elevation angle θtag will be described. The
図4は、カメラ2の撮影範囲と信号機70の位置との関係を示す図である。図4では、画角θvが60°、かつ、仰角θtagが4.6°であるものとし、画像Imの縦方向の画素数(「縦画素数Nv」とも呼ぶ。)が1000画素であるものとする。また、画像Imでの消失点は、画像Imの縦方向での中心位置と一致するものとする。
FIG. 4 is a diagram illustrating the relationship between the shooting range of the
この場合、図4に示すように、カメラ2の水平線より上側の視野角は、画角θvの半分(ここでは30°)に相当する。従って、この場合、画像Imは、縦画素数Nvのうち、上半分の画素(ここでは500画素)により、カメラ2の水平線より上側の視野を表現することになる。
In this case, as shown in FIG. 4, the viewing angle above the horizontal line of the
従って、この場合、システムコントローラ20は、信号機70の推定表示位置が、画角θvの半分に対する仰角θtagの比率に応じた画素分だけ画像Imの縦方向の中央から上にあると認識する。具体的には、システムコントローラ20は、信号機70の推定表示位置が、画像Imの縦方向の中央から以下の式(2)により求まる画素だけ上の位置であると認識する。
Therefore, in this case, the
{θtag/(θv/2)}×(Nv/2) 式(2)
図4の例では、システムコントローラ20は、式(2)に基づき、信号機70の推定表示位置が77(≒(4.6/30)×500)画素分だけ画像Imの縦方向の中央から上の位置にあると認識する。
{Θtag / (θv / 2)} × (Nv / 2) Equation (2)
In the example of FIG. 4, the
そして、システムコントローラ20は、式(2)により求めた画像Imの縦方向での信号機70の表示位置の近傍範囲を、解析領域Rtagに定める。これについて、図5を参照して説明する。
Then, the
図5は、図4の例における画像Imの表示例を示す。図5に示すように、この場合、システムコントローラ20は、画像Imの縦方向における信号機70の推定表示位置が、消失点である地平線から77画素分だけ上に位置すると判断する。そして、この場合、システムコントローラ20は、解析領域Rtagを、画像Imの縦方向において、信号機70の推定表示位置の上下所定画素分(ここでは50画素分)の範囲に定める。上述の所定画素は、例えば、式(2)に基づき算出した信号機70の推定表示位置の想定される誤差の上限値に設定される。
FIG. 5 shows a display example of the image Im in the example of FIG. As shown in FIG. 5, in this case, the
このように、システムコントローラ20は、仰角θtagに基づき、信号機70の表示領域を含むように、解析領域Rtagを好適に設定することができる。これにより、信号認識の処理負荷を低減させると共に、信号機70の誤検出を抑制することができる。
Thus, the
図6は、信号機70の近傍に、赤色の看板710を有する建物71がある場合の画像Imの表示例である。図6の例では、画像Im中に、赤色の信号灯と近似した色を有する看板710が表示されている。この場合であっても、システムコントローラ20は、信号機70の仰角θtagに基づき解析領域Rtagを設定することで、看板710の表示領域を、信号認識を行う対象範囲である解析領域Rtagから除外することができる。従って、この場合、システムコントローラ20は、看板710が赤色の信号灯であると誤って検出するのを好適に抑制することができる。
FIG. 6 is a display example of an image Im when there is a
[処理フロー]
図7は、本実施例における信号認識処理のフローチャートである。システムコントローラ20は、図7に示す処理を、繰り返し実行する。
[Processing flow]
FIG. 7 is a flowchart of signal recognition processing in this embodiment. The
まず、システムコントローラ20は、認識すべき信号機があるか否か判定する(ステップS101)。そして、システムコントローラ20は、認識すべき信号機があると判断した場合(ステップS101;Yes)、ステップS102へ処理を進める。例えば、システムコントローラ20は、GPS受信機18等が検出した車両Veの現在位置と進行方向の情報、および地図データに含まれる信号機の位置情報と道路形状データに基づき、車両Veの前方へ所定距離以内に信号機があると判断した場合、認識すべき信号機があると判断し、ステップS102へ処理を進める。なお、システムコントローラ20は、車両Veの停車時にのみステップS102以降の処理を実行すべきと判断してもよい。一方、認識すべき信号機がない場合(ステップS101;No)、システムコントローラ20は、フローチャートの処理を終了する。
First, the
次に、システムコントローラ20は、認識対象の信号機に対する仰角θtagを算出する(ステップS102)。具体的には、まず、システムコントローラ20は、カメラ設置高Hcと、信号機高Hsとをデータ記憶ユニット36から取得する。また、システムコントローラ20は、GPS受信機18等が計測した現在位置情報と、地図データに含まれる認識対象の信号機の位置情報とに基づき、信号機距離Dを算出する。そして、システムコントローラ20は、カメラ設置高Hcと、信号機高Hsと、信号機距離Dとに基づき、上述した式(1)を参照して仰角θtagを算出する。
Next, the
そして、システムコントローラ20は、仰角θtagに基づき、画像Im中での解析領域Rtagを決定する(ステップS103)。具体的には、システムコントローラ20は、式(2)を用いて、画角θv及び縦画素数Nvに基づき、画像Imの縦方向での信号機の推定表示位置を求め、当該位置から上下所定画素分の範囲を解析領域Rtagに定める。
Then, the
その後、システムコントローラ20は、解析領域Rtag内で信号機の表示領域を検出し、当該信号機の信号表示を認識する(ステップS104)。この場合、システムコントローラ20は、信号機の推定表示位置に基づく解析領域Rtagに限定して画像の解析を行うため、信号機の表示領域の誤検出を抑制することができる。また、システムコントローラ20は、信号認識に必要な解析処理の負荷を低減することができる。
Thereafter, the
以上説明したように、本実施例に係るナビゲーション装置1は、車両Veの前方風景を撮像するカメラ2により撮像された画像Im中から、信号機を検出する。このとき、システムコントローラ20は、車両Veの現在位置に関する情報をGPS受信機18等から受信する。また、システムコントローラ20は、信号機の位置情報をデータ記憶ユニット36から取得する。そして、システムコントローラ20は、現在位置情報と信号機の位置情報とに応じた画像Im中の解析領域Rtagから信号機に相当する画像を検出する。これにより、システムコントローラ20は、信号機の表示領域の誤検出を抑制することができると共に、信号認識に必要な解析処理の負荷を低減することができる。
As described above, the
[変形例]
以下、実施例の各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。
[Modification]
Hereinafter, each modification of the embodiment will be described. These modifications may be applied in combination to the above-described embodiments.
(変形例1)
ナビゲーション装置1は、地域ごとの信号機の設置位置についての法令に基づいた信号機の位置情報を取得してもよい。一例として地域ごとに法令に応じた信号機高Hsをデータ記憶ユニット36に記憶し、車両Veが走行中の地域によって仰角θtagを求めるために使用する信号機高Hsの値を変更してもよい。これにより、ナビゲーション装置1は、走行中の地域に応じて式(1)で用いる信号機高Hsを適切に設定し、仰角θtag及び解析領域Rtagを高精度に定める。
(Modification 1)
The
一般に、地域ごとの法令によって信号機高Hsは異なる。例えば、豪雪地帯では、積雪時に対応するために、他の地域よりも信号機が高い場所に設置される。以上を勘案し、ナビゲーション装置1は、地域ごとの信号機高Hsをデータ記憶ユニット36に記憶しておく。この場合、例えば、ナビゲーション装置1は、国ごとや都道府県ごとや市町村ごとなどの所定の地域ごとに、信号機高Hsをデータ記憶ユニット36に記憶しておく。なお、ナビゲーション装置1は、データ記憶ユニット36に記憶する地域ごとの信号機高Hsの情報を、通信装置38を介して所定のサーバから取得してもよく、入力装置60への入力に基づき取得してもよい。
In general, the traffic light height Hs varies depending on the laws of each region. For example, in heavy snowfall areas, traffic lights are installed at higher places than other areas to cope with snowfall. Considering the above, the
図8(A)は、信号機高Hsが低い地域を走行中の車両Veと信号機70Aとを側面から観察した図であり、図8(B)は、信号機高Hsが高い地域を走行中の車両Veと信号機70Bとを側面から観察した図である。また、図9(A)は、図8(A)の例での画像Imの表示例を示し、図9(B)は、図8(B)の例での画像Imの表示例を示す。
FIG. 8A is a view of the vehicle Ve and the
図8(A)、(B)の例では、まず、システムコントローラ20は、GPS受信機18等が計測した現在位置に基づき、車両Veが走行中の地域を認識する。そして、システムコントローラ20は、認識した地域に応じた信号機高Hsをデータ記憶ユニット36から取得し、式(1)を用いて仰角θtagをそれぞれ算出する。
8A and 8B, first, the
この場合、図8(A)に示す信号機70Aに対する仰角θtagは、図8(B)に示す信号機70Bに対する仰角θtagよりも小さくなり、信号機70Aの推定表示位置は、信号機70Bの推定表示位置よりも低くなる。従って、図9(A)、(B)に示すように、システムコントローラ20は、画像Imでの信号機70Aに対する解析領域Rtagを、信号機70Bに対する解析領域Rtagよりも低い位置に設定する。
In this case, the elevation angle θtag for the
このように、システムコントローラ20は、仰角θtagを求めるために使用する信号機高Hsの値を走行中の地域によって変更することで、解析領域Rtagを高精度に求めることができる。
As described above, the
また、好適には、信号機高Hsが異なる地域の境界から所定範囲内を車両Veが走行中の場合、システムコントローラ20は、当該地域の各々に対応する信号機高Hsを用いてそれぞれ解析領域Rtagを算出し、算出した解析領域Rtagをいずれも含む領域内で信号機の表示領域を検出するとよい。上述の所定範囲は、例えば境界からの距離に基づき定められる範囲であってもよく、データ記憶ユニット36に予め記憶されたエリアであってもよい。
In addition, preferably, when the vehicle Ve is traveling within a predetermined range from a boundary between regions where the traffic light height Hs is different, the
一般に、信号機高Hsが異なる地域の境界付近では、信号機高Hsが異なる信号機が混在する可能性がある。従って、システムコントローラ20は、信号機高Hsが異なる地域の境界付近では、各地域に対応する解析領域Rtagをいずれも含む領域内で信号機の表示領域を検出する。これにより、画像Im中で信号機を確実に検出することができる。
In general, there is a possibility that traffic signals having different traffic light heights Hs may coexist near boundaries between regions having different traffic light heights Hs. Therefore, the
なお、システムコントローラ20は、信号機高Hsが異なる地域の境界を通過後、現在走行中の地域に対応する信号機高Hsに基づく解析領域Rtagにより信号機を検出できた場合、以後では、走行中の地域に対応する信号機高Hsに基づく解析領域Rtagのみを対象にして信号機の検出処理を行ってもよい。
If the
(変形例2)
システムコントローラ20は、車両Veの前方所定距離以内に信号機が存在する場合であっても、当該信号機がカメラ2の撮影範囲に含まれない場合には、当該信号機に関する信号認識を実行しなくてもよい。
(Modification 2)
Even if the traffic signal is present within a predetermined distance in front of the vehicle Ve, the
図10(A)は、車両Veの走行道路上に信号機70C、70Dが存在する様子を側面視した図である。そして、図10(B)は、図10(A)の場合の画像Imの表示例を示す。
FIG. 10A is a side view of the
図10(A)、(B)に示すように、この場合、車両Veの走行道路上で車両Veに最も近い信号機70Cは、カメラ2の撮影範囲に含まれない。従って、この場合、システムコントローラ20は、信号機70Cの信号認識を行うことができない。一方、車両Veの走行道路上で信号機70Cの次に車両Veに近い信号機70Dは、カメラ2の撮影範囲に含まれる。従って、図10(A)、(B)の例では、信号機70Cの信号認識を実行しようとして信号機70Dの信号認識を誤って実行してしまう可能性がある。
As shown in FIGS. 10A and 10B, in this case, the
以上を勘案し、システムコントローラ20は、式(1)に基づき仰角θtagを算出後、当該仰角θtagが所定角度(例えば画角θvの半分)以上の場合には、当該仰角θtagに対応する信号機の信号認識を実行しない。これにより、システムコントローラ20は、信号認識の対象とする信号機以外の信号機の信号を誤って認識するのを抑制することができる。
Considering the above, the
(変形例3)
システムコントローラ20は、道路の勾配情報をさらに勘案して解析領域Rtagを定めてもよい。
(Modification 3)
The
図11は、信号認識の対象となる信号機70Eの位置で勾配を有する道路を車両Veが走行中の様子を側面視した図である。図11の例では、まず、システムコントローラ20は、例えば地図データに記憶された信号機70Eの位置及び信号機70E付近での道路の勾配(図11では角度「θa」)の情報に基づき、車両Veに対する信号機70Eの設置位置の相対的な高さを認識する。そして、この場合、システムコントローラ20は、認識した車両Veに対する信号機70Eの設置位置の相対的な高さを、信号機高Hsに加算した後、式(1)により仰角θtagを算出する。これにより、システムコントローラ20は、道路勾配に起因して、信号機の設置位置の標高と、車両Veの現在位置の標高とが異なる場合であっても、好適に仰角θtagを算出し、解析領域Rtagを高精度に算出することができる。
FIG. 11 is a side view of a state in which the vehicle Ve is traveling on a road having a gradient at the position of the
また、システムコントローラ20は、車両Veが勾配を有する道路上にいると認識した場合には、式(1)により算出する仰角θtagに対し、道路の勾配に起因してカメラ2が傾いた分だけ加減算を行う。例えば、システムコントローラ20は、車両Veが上り坂にいる場合には、当該上り坂の勾配分だけ仰角θtagを減算し、車両Veが下り坂にいる場合には、当該下り坂の勾配分だけ仰角θtagを加算する。この場合、システムコントローラ20は、地図データ及び測定した現在位置の情報に基づき、車両Veが存在する道路の勾配を認識してもよく、ナビゲーション装置1と接続する図示しない勾配センサの出力に基づき、車両Veが存在する道路の勾配を認識してもよい。
Further, when the
(変形例4)
ナビゲーション装置1は、信号機に代えて、又はこれに加えて、画像Imから道路標識を認識してもよい。
(Modification 4)
The
この場合、ナビゲーション装置1は、地図データとして、各道路標識の位置情報及び道路標識の高さの情報をデータ記憶ユニット36に記憶しておく。そして、ナビゲーション装置1のシステムコントローラ20は、地図データを参照し、車両Veの現在位置から車両Veの前方の所定距離以内に道路標識があると認識した場合には、当該道路標識に対する仰角θtagを算出する。この場合、システムコントローラ20は、信号機高Hsに代えて、道路標識の高さを用いて、式(1)に基づき、仰角θtagを算出する。その後、実施例と同様に、システムコントローラ20は、算出した仰角θtagに基づき、式(2)を用いて道路標識の画像Imの縦方向での推定表示位置を決定し、その近傍範囲を解析領域Rtagに設定する。そして、システムコントローラ20は、解析領域Rtag内で道路標識の表示領域を検出し、当該道路標識が示す内容を任意の画像認識技術により認識する。
In this case, the
このように、ナビゲーション装置1は、道路標識を認識する場合であっても、解析領域Rtagを定めることで、画像Im中の道路標識の表示領域の誤検出を好適に抑制することができる。
Thus, even when the
(変形例5)
ナビゲーション装置1が図7のフローチャートで実行する処理の全部または一部を、ナビゲーション装置1と接続するサーバ装置が実行してもよい。
(Modification 5)
A server device connected to the
図12は、変形例に係る信号認識システムの概略構成を示す。図12に示すように、ナビゲーション装置1は、ネットワーク200を介してサーバ装置300と接続する。サーバ装置300は、CPUなどの制御部や、記憶部、及び通信部などを有し、予め記憶されたプログラムを実行することで所定の処理を行う。また、サーバ装置300は、信号機の位置情報や信号機高Hsの情報などを含む地図データを記憶する。
FIG. 12 shows a schematic configuration of a signal recognition system according to a modification. As shown in FIG. 12, the
そして、サーバ装置300は、ナビゲーション装置1から送信される画像Imや現在位置情報等に基づき、図7のフローチャートに示す信号認識処理を実行し、その処理結果をナビゲーション装置1に送信する。このように、本変形例によっても、信号認識システムは、好適に信号認識を実行することができる。
Then, the
なお、サーバ装置300は、地図データを記憶するサーバや図7のフローチャートに示す信号認識処理を実行するサーバなどの複数のサーバから構成されてもよい。この場合、各サーバは、他のサーバと通信を行い、割り当てられた処理を実行する。そして、本変形例では、サーバ装置300は、本発明における「検出装置」の一例である。
The
1 ナビゲーション装置
2 カメラ
10 自立測位装置
14 カメラ
18 GPS受信機
20 システムコントローラ
22 CPU
36 データ記憶ユニット
38 通信装置
40 表示ユニット
44 ディスプレイ
60 入力装置
200 ネットワーク
300 サーバ装置
DESCRIPTION OF
36
Claims (10)
前記移動体の現在位置に関する情報を取得する第1取得手段と、
道路標識または信号機の位置に関する情報を取得する第2取得手段と、
前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段と、
を備えることを特徴とする検出装置。 A detection device that detects a road sign or a traffic light from an image captured by an imaging unit that captures a front landscape of a moving object,
First acquisition means for acquiring information relating to the current position of the mobile body;
Second acquisition means for acquiring information relating to a position of a road sign or a traffic light;
Detecting means for detecting an image corresponding to the road sign or traffic light from an analysis region in the image according to information on the current position of the mobile object and information on the position of the road sign or traffic light;
A detection apparatus comprising:
前記検出手段は、前記移動体の現在位置に関する情報と、前記道路標識または信号機の3次元位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出することを特徴とする請求項1に記載の検出装置。 The second acquisition means acquires information on a three-dimensional position of the road sign or traffic light,
The detecting means detects an image corresponding to the road sign or traffic light from an analysis region in the image according to information on the current position of the moving body and information on the three-dimensional position of the road sign or traffic light. The detection device according to claim 1.
前記検出手段は前記移動体の現在位置に関する情報と、前記道路標識または信号機の3次元位置に関する情報と、前記撮像手段の設置高に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出することを特徴とする請求項2〜5のいずれか一項に記載の検出装置。 Comprising third acquisition means for acquiring information relating to an installation height of the imaging means on the moving body;
The detection means is configured to detect the road sign or the road sign from the analysis region in the image according to information on a current position of the moving body, information on a three-dimensional position of the road sign or traffic light, and information on an installation height of the imaging means. The detection device according to claim 2, wherein an image corresponding to a traffic light is detected.
前記検出手段は、前記道路の勾配情報を基に前記解析領域を補正することを特徴とする請求項2〜6のいずれか一項に記載の検出装置。 A road on which the moving body is traveling, and includes fourth acquisition means for acquiring slope information of a road ahead of the current position by a predetermined distance;
The detection device according to claim 2, wherein the detection unit corrects the analysis region based on gradient information of the road.
前記移動体の現在位置に関する情報を取得する第1取得工程と、
道路標識または信号機の位置に関する情報を取得する第2取得工程と、
前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出工程と、
を有することを特徴とする制御方法。 A control method executed by a detection device that detects a road sign or a traffic light from an image captured by an imaging unit that captures a front landscape of a moving object,
A first acquisition step of acquiring information relating to the current position of the mobile body;
A second acquisition step of acquiring information relating to the position of a road sign or a traffic light;
A detection step of detecting an image corresponding to the road sign or traffic light from an analysis region in the image according to the information related to the current position of the mobile body and the information related to the position of the road sign or traffic light;
A control method characterized by comprising:
前記移動体の現在位置に関する情報を取得する第1取得手段と、
道路標識または信号機の位置に関する情報を取得する第2取得手段と、
前記移動体の現在位置に関する情報と前記道路標識または信号機の位置に関する情報とに応じた前記画像中の解析領域から前記道路標識または信号機に相当する画像を検出する検出手段
として前記コンピュータを機能させることを特徴とするプログラム。 A program that is executed by a computer that detects a road sign or a traffic light from an image captured by an imaging unit that captures a front landscape of a moving object,
First acquisition means for acquiring information relating to the current position of the mobile body;
Second acquisition means for acquiring information relating to a position of a road sign or a traffic light;
Causing the computer to function as detection means for detecting an image corresponding to the road sign or traffic light from an analysis region in the image according to information relating to the current position of the mobile object and information relating to the position of the road sign or traffic light. A program characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013076069A JP6106495B2 (en) | 2013-04-01 | 2013-04-01 | Detection device, control method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013076069A JP6106495B2 (en) | 2013-04-01 | 2013-04-01 | Detection device, control method, program, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014203115A true JP2014203115A (en) | 2014-10-27 |
JP6106495B2 JP6106495B2 (en) | 2017-03-29 |
Family
ID=52353538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013076069A Active JP6106495B2 (en) | 2013-04-01 | 2013-04-01 | Detection device, control method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6106495B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016148237A1 (en) * | 2015-03-19 | 2016-09-22 | クラリオン株式会社 | Information processing device, and vehicle position detecting method |
JP2017009554A (en) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | Vehicle location determination device and vehicle location determination method |
JP2017072422A (en) * | 2015-10-05 | 2017-04-13 | パイオニア株式会社 | Information processing device, control method, program, and storage medium |
WO2017081986A1 (en) * | 2015-11-11 | 2017-05-18 | 日立オートモティブシステムズ株式会社 | Object-detecting device |
KR102214022B1 (en) * | 2020-01-07 | 2021-02-09 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
JPWO2019172117A1 (en) * | 2018-03-05 | 2021-03-11 | 株式会社小糸製作所 | Sensor system and image data generator |
KR102248673B1 (en) * | 2020-01-07 | 2021-05-06 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
JP2021148581A (en) * | 2020-03-18 | 2021-09-27 | 株式会社デンソー | Vehicle position identification device and vehicle position identification method |
JP2022114333A (en) * | 2021-01-26 | 2022-08-05 | トヨタ自動車株式会社 | Automatic operation vehicle remote support system and remote support method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012043090A (en) * | 2010-08-17 | 2012-03-01 | Denso Corp | On-vehicle information acquisition device |
US20120288138A1 (en) * | 2011-05-10 | 2012-11-15 | GM Global Technology Operations LLC | System and method for traffic signal detection |
JP2013008070A (en) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | Sign recognition device and sign recognition method |
-
2013
- 2013-04-01 JP JP2013076069A patent/JP6106495B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008070A (en) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | Sign recognition device and sign recognition method |
JP2012043090A (en) * | 2010-08-17 | 2012-03-01 | Denso Corp | On-vehicle information acquisition device |
US20120288138A1 (en) * | 2011-05-10 | 2012-11-15 | GM Global Technology Operations LLC | System and method for traffic signal detection |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016176769A (en) * | 2015-03-19 | 2016-10-06 | クラリオン株式会社 | Information processing device and vehicle position detection method |
WO2016148237A1 (en) * | 2015-03-19 | 2016-09-22 | クラリオン株式会社 | Information processing device, and vehicle position detecting method |
JP2017009554A (en) * | 2015-06-26 | 2017-01-12 | 日産自動車株式会社 | Vehicle location determination device and vehicle location determination method |
JP2017072422A (en) * | 2015-10-05 | 2017-04-13 | パイオニア株式会社 | Information processing device, control method, program, and storage medium |
WO2017081986A1 (en) * | 2015-11-11 | 2017-05-18 | 日立オートモティブシステムズ株式会社 | Object-detecting device |
JP2017091232A (en) * | 2015-11-11 | 2017-05-25 | 日立オートモティブシステムズ株式会社 | Object detector |
JP7288895B2 (en) | 2018-03-05 | 2023-06-08 | 株式会社小糸製作所 | Sensor system and image data generator |
JPWO2019172117A1 (en) * | 2018-03-05 | 2021-03-11 | 株式会社小糸製作所 | Sensor system and image data generator |
KR102214022B1 (en) * | 2020-01-07 | 2021-02-09 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
KR102248673B1 (en) * | 2020-01-07 | 2021-05-06 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
JP2021148581A (en) * | 2020-03-18 | 2021-09-27 | 株式会社デンソー | Vehicle position identification device and vehicle position identification method |
JP7342753B2 (en) | 2020-03-18 | 2023-09-12 | 株式会社デンソー | Vehicle location identification device and vehicle location identification method |
JP2022114333A (en) * | 2021-01-26 | 2022-08-05 | トヨタ自動車株式会社 | Automatic operation vehicle remote support system and remote support method |
JP7327420B2 (en) | 2021-01-26 | 2023-08-16 | トヨタ自動車株式会社 | REMOTE SUPPORT SYSTEM AND REMOTE SUPPORT METHOD FOR AUTOMATED DRIVING VEHICLE |
Also Published As
Publication number | Publication date |
---|---|
JP6106495B2 (en) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106495B2 (en) | Detection device, control method, program, and storage medium | |
JP4847090B2 (en) | Position positioning device and position positioning method | |
US8600655B2 (en) | Road marking recognition system | |
JP5795278B2 (en) | Navigation device, autonomous navigation support method, and autonomous navigation support program | |
US20150138241A1 (en) | Position information providing device, position information providing method, position information providing system, and program | |
WO2012086054A1 (en) | Navigation device, control method, program, and storage medium | |
KR20120079341A (en) | Method, electronic device and recorded medium for updating map data | |
JP4744632B2 (en) | Lane departure prevention apparatus, lane departure prevention method, lane departure prevention program, and storage medium | |
JP2018120600A (en) | Traffic light recognition device, control method, program and storage medium | |
JP2009162722A (en) | Guidance device, guidance technique, and guidance program | |
JP4561338B2 (en) | Driving support device | |
WO2013145146A1 (en) | Navigation device, navigation method and navigation program | |
WO2014115239A1 (en) | Traffic light recognition device, control method, program, and memory medium | |
JP5702476B2 (en) | Display device, control method, program, storage medium | |
JP5517176B2 (en) | Image adjustment apparatus, control method, program, and storage medium | |
JP2011053024A (en) | Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program | |
JP2015152467A (en) | display control device, control method, program, and storage medium | |
JP2007071539A (en) | On-vehicle navigation device | |
JP5029186B2 (en) | POSITION CALCULATION DEVICE, POSITION CALCULATION PROGRAM, RECORDING MEDIUM, AND POSITION CALCULATION METHOD | |
JP2012137482A (en) | Navigation device and control method | |
JP2007318242A (en) | Photographing apparatus, photographing method, and photographing program | |
JP2015185018A (en) | Discrimination device, control method, program, and storage medium | |
JP6621578B2 (en) | Route search apparatus, control method, program, and storage medium | |
JP2010156815A (en) | Map information management device, map information management method, and map information management program | |
JP2016219024A (en) | Recognition device, control method, program and recording medium for traffic signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6106495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |