JP2007178223A - Feature recognition device - Google Patents

Feature recognition device Download PDF

Info

Publication number
JP2007178223A
JP2007178223A JP2005375909A JP2005375909A JP2007178223A JP 2007178223 A JP2007178223 A JP 2007178223A JP 2005375909 A JP2005375909 A JP 2005375909A JP 2005375909 A JP2005375909 A JP 2005375909A JP 2007178223 A JP2007178223 A JP 2007178223A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
feature
image
positional relationship
plurality
vicinity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005375909A
Other languages
Japanese (ja)
Other versions
JP4577655B2 (en )
Inventor
Takayuki Miyajima
孝幸 宮島
Original Assignee
Aisin Aw Co Ltd
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a feature recognition device which recognizes a feature by associating it with a feature registered in a road map database.
SOLUTION: The feature recognition device is provided with: a picture-originated positional relation specification means for specifying picture-originated positional relation being the positional relation among a plurality of features of a specific kind, based on pictures taken with a camera unit mounted on a moving body to take pictures of the vicinity of the moving body; and a collation means for associating a feature of the specific kind shown in the vicinity pictures with a feature of the specific kind registered in the road map database, by collating the picture-originated positional relation with map-originated positional relation.
COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、移動体に搭載される地物認識装置、地物認識方法及び地物認識プログラムに関し、特に移動体の近傍に存在する信号機等の地物を認識する技術に関する。 The present invention, feature recognition apparatus mounted on a moving object, relates to the feature recognition method and feature recognition program, in particular to the feature recognizing technique traffic signal devices present in the vicinity of the moving body.

特許文献1には、信号機の色や道路標識を画像解析により認識し、信号機の色や道路標識の位置や種類など地物の属性に応じて車両を制御する方法が開示されている。 Patent Document 1, the color and road signs of the traffic is recognized by image analysis, a method of controlling the vehicle in accordance with feature attributes such as the position and types of colors and road signs traffic is disclosed. しかし、特許文献1に記載された方法によると、例えば車両の前方に複数の信号機が配列されており、車載カメラによってそれらの信号機が一画面内に撮像される場合には、車両を制御するために色を判定すべき信号機がどれであるのかを判定することが困難であるという問題がある。 However, according to the method described in Patent Document 1, for example, a plurality of traffic lights in front of the vehicle are arranged, if their traffic is captured within one screen by the in-vehicle camera, for controlling the vehicle there is a problem that it is difficult to traffic to be determined colors to determine which is which how to. すなわち、この場合、車両を制御するために色を判定すべき信号機は、車両が走行している道路上にあって車両の前方にあり車両から最も近い信号機であるが、そのような信号機を画像解析だけで認識することは困難である。 That is, in this case, traffic to be determined colors to control the vehicle, but there on the road where the vehicle is traveling, the closest traffic from there the vehicle ahead of the vehicle, an image such traffic it is difficult to recognize in the analysis only.

特開平11−306498号公報 JP 11-306498 discloses

本発明は上述した問題を解決するための創作されたものであって、移動体に搭載されたカメラユニットから取得される画像に表れる複数の同一種地物を、道路地図データベースに登録されている地物と対応付けて認識できる地物認識装置、地物認識方法及び地物認識プログラムを提供することを目的とする。 The present invention was been created to solve the problems described above, a plurality of same type feature appearing in the image obtained from the camera unit mounted on the mobile, which is registered in the road map database feature recognition apparatus that can be recognized in association with the feature, and to provide the feature recognition method and feature recognition program.

(1)上記目的を達成するための地物認識装置は、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位 (1) feature recognition apparatus for achieving the above object, a current position acquisition means for acquiring a current position of the moving body, the current position a plurality of the position of a particular species feature existing in the vicinity of the moving body a feature information obtaining means for obtaining from the road map database using a map from the positional relationship is a positional relation between a plurality of the particular species feature, map identified by analysis of the positions of the plurality of the particular species feature and from the positional relationship specifying unit, wherein the neighboring images of the moving object and the image obtaining means for obtaining from the camera unit mounted on the movable body, the near image of the plurality of specific species feature appearing in the vicinity of the image an image analyzing means for specifying a position by analysis of the neighboring image, among a plurality of the particular species feature based on the location of the plurality of specific species feature of the neighborhood image specified by the analysis of the neighboring image place of 関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、を備える。 The image from the positional relationship specifying unit for specifying an image from the positional relationship is a relationship, by collating the said map from the positional relationship between the image from the positional relationship, and the particular species feature appearing in the vicinity of the image comprising a checking means for associating the said particular type feature that is registered in the road map database, the.
移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物の近傍画像内の位置は、地物と移動体の位置関係に応じて変化する。 Position in the neighborhood image of the feature appearing in the vicinity of an image obtained from the camera unit mounted on the mobile body varies according to the positional relationship of the feature and the mobile. しかし、地物と移動体の位置関係が変化するとしても、複数の地物間の現実の位置関係によって、近傍画像に表れるそれら複数の地物間の近傍画像内での位置関係は決まる。 However, even if the position relationship between the feature and the moving body is changed, by actual positional relation between a plurality of feature, the positional relationship in the vicinity images between the plurality of features appearing in the vicinity of the image is determined. したがって、移動体に搭載されたカメラユニットから取得される近傍画像を解析することにより、地物間の現実の位置関係も特定できる。 Therefore, by analyzing the neighboring images obtained from the camera unit mounted on the mobile, can also identify the positional relationship of the actual inter-feature. 一方、地物間の現実の位置関係は、道路地図データベースに登録されている地物の位置の解析によっても特定可能である。 On the other hand, the positional relationship of the actual inter-feature can be identified by analysis of the position of the feature registered in the road map database. 道路地図データベースに登録されている地物のうち、移動体に搭載されたカメラユニットから取得される近傍画像に表れる地物は、移動体の近傍に存在する地物であって、移動体の現在位置に基づいて特定可能である。 Of the feature registered in the road map database, the feature appearing in the vicinity of an image obtained from the camera unit mounted on the mobile body is a feature existing in the vicinity of the moving body, the current mobile It can be identified based on the position. この地物認識装置は、移動体の近傍に存在する複数の特定種地物の位置を道路地図データベースから取得し、取得した複数の位置の解析によって特定種地物間の位置関係である地図由来位置関係を特定する。 The feature recognition apparatus, the positions of a plurality of specific types feature existing in the vicinity of the moving object acquired from the road map database, the map from a positional relationship between certain species features by analyzing the plurality of position acquired to specify the position relationship. さらに、この地物認識装置は、移動体に搭載されたカメラユニットから取得した近傍画像に表れている複数の特定種地物間の位置関係である画像由来位置関係を近傍画像の解析によって特定する。 Further, the feature recognition apparatus identified by analysis of the neighboring images, pictures from positional relationship between a positional relationship between a plurality of specific types feature that appears near image acquired from the camera unit mounted on the mobile . この地物認識装置によると、このようにして特定された地図由来位置関係と画像由来位置関係とを照合することにより、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。 According to this feature recognizer, this way by collating the to map from the positional relationship between the image from the positional relationship specified, road map database a plurality of the same type feature that appears near the image of the moving object it can be recognized in association with the feature registered in the.

(2)上記目的を達成するための地物認識装置は、前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも1つを目標地物として特定する目標特定手段と、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備えてもよい。 (2) the feature recognition apparatus for achieving the above object, wherein a road map database based on the current position, at least one objective point of the particular species feature registered in the road map database a target specifying unit for specifying a thing, on the basis of the correspondence between the particular species feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database, corresponding to the target feature , a target selection means for selecting a said particular type feature that appears in the vicinity of the image, and output means for outputting an attribute of the target feature that is identified by the analysis of the neighboring image to the control unit of the moving body, it may further comprise a.
移動体を信号機、停止線等の地物を目標として制御しようとするとき、道路網上における移動体の現在位置によって、道路網上にある地物のうちで目標となる地物が決まる。 Signal mobile unit, when attempting to control the goal of features such as a stop line, the current position of the moving body on the road network, the target to become feature is determined within the feature located on the road network. この地物認識装置によると、道路地図データベースと現在位置とに基づいて特定される目標地物の属性を移動体の制御部に出力することができる。 According to this feature recognizer can output the attributes of the target features that are identified on the basis of the current position road map database control unit of the mobile.

(3)上記目的を達成するための地物認識装置において、前記目標地物の属性は前記移動体に対する前記目標地物の位置であってもよい。 (3) In the feature recognition apparatus for achieving the above object, the attribute of the target feature may be the position of the target feature with respect to the moving body.
この地物認識装置が搭載された移動体の制御部は、移動体に対する目標地物の位置によって制御量を設定することができる。 Controller of the moving object the feature recognition apparatus is mounted, it is possible to set a control amount by the position of the target feature for the mobile.

(4)上記目的を達成するための地物認識装置において、前記目標地物の属性は信号機の色であってもよい。 (4) In the feature recognition apparatus for achieving the above object, the attribute of the target feature may be a color of the traffic.
この地物認識装置が搭載された移動体の制御部は、信号機の色によって制御量を設定することができる。 Controller of the moving object the feature recognition apparatus is mounted, it is possible to set a control amount by the color of the traffic light. 尚、信号機の色とは信号機の点灯している点灯部の色である。 Note that the traffic light color which is the color of the lighting section which is turned in the traffic signal.

(5)上記目的を達成するための地物認識装置は、前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備えてもよい。 (5) the feature recognition apparatus for achieving the above object, the absolute photographing direction may comprise further an absolute shooting direction specifying means for specifying the camera unit. この地物認識装置において、前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得してもよいし、前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付けてもよい。 In this feature recognition apparatus, the feature information obtaining means, wherein to the absolute direction of the particular species feature may be obtained from the road map database together with the position of the particular species feature, the verification means, the by matching using the absolute direction image from the positional relationship between the said map from the positional relationship, the particular species feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database door may be associated with.
移動体に搭載されたカメラユニットから取得される近傍画像に表れる特定種地物を認識するためには、特定種地物の形態属性に基づいたパターンマッチングなどが必要になる。 To recognize a particular species features appearing in the vicinity of an image obtained from the camera unit mounted on the moving body, it is necessary to pattern matching based on the form attributes of a particular species feature. しかし、移動体に搭載されたカメラユニットから取得される画像に表れる地物の形状は地面を基準として地物の向いている方向(絶対方向)と地面を基準としてカメラユニットが撮影する方向(絶対撮影方向)とに応じて変わる。 However, the feature of the shape represented by the image obtained from the camera unit mounted on the moving body direction (absolute direction) facing the features relative to the ground and the direction in which the camera unit is photographed as a reference ground (absolute It varies according to the shooting direction). この地物認識装置によると、画像由来位置関係と地図由来位置関係とを照合するとき、特定種地物の絶対方向を用いるため、近傍画像に表れている特定種地物と道路地図データベースに登録されている特定種地物とを正確に対応付けることができる。 According to this feature recognizer, when collating the image from the positional relationship and the map from the positional relationship, for using an absolute direction of a particular species feature, registered in the particular species features a road map database that appears in the vicinity of the image a particular species feature being able to correctly associate. 尚、位置、絶対撮影方向又は絶対方向というとき、それらは現実空間を二次元空間で捉えた場合の位置又は方向を意味する。 The position, when absolutely photographing direction or the absolute direction, they mean the position or direction when caught real space in two-dimensional space.

(6)上記目的を達成するための地物認識方法は、移動体の現在位置を取得し、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定し、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、前記画像由来位置関係と前記地図由来位置関係とを照合すること (6) feature recognition method for achieving the above object, acquires the current position of the moving body, the road map using the current position a plurality of the position of a particular species feature existing in the vicinity of the moving body from the database, the position which is related map from the positional relationship between a plurality of the particular species feature, identified by analysis of the positions of the plurality of the particular species feature, the neighboring images of the moving body in the moving body obtained from a camera mounted units, the position relative to the movable body of the plurality of the specific species feature appearing in the vicinity of the image identified by the analysis of the neighboring image, the identified by the analysis of the neighboring image moving based on the positions of the plurality of the particular species feature for the body to identify the image from the positional relationship is a positional relation between a plurality of the specific species feature, matching with the map from the positional relationship between the image from the positional relationship about より、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、ことを含む。 More, the registered with the particular species feature appearing in the vicinity of the image on the road map database associating the particular species feature involves.
この地物認識方法によると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。 According to this feature recognition method, a plurality of same type feature that appears near the image of the moving object can be recognized in association with the feature registered in the road map database.

(7)上記目的を達成するための地物認識プログラムは、移動体の現在位置を取得する現在位置取得手段と、前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、前記近傍画像に表れている複数の前記特定種地物の前記移動体に対する位置を前記近傍画像の解析によって特定する画像解析手段と、前記近傍画像の解析によって特定された前記移動体に対する複数の前記特定種地物の位置に基づいて複数の前記特定種 (7) feature recognition program for achieving the above object, a current position acquisition means for acquiring a current position of the moving body, the current position a plurality of the position of a particular species feature existing in the vicinity of the moving body a feature information obtaining means for obtaining from the road map database using a map from the positional relationship is a positional relation between a plurality of the particular species feature, map identified by analysis of the positions of the plurality of the particular species feature and from the positional relationship specifying unit, an image obtaining unit for obtaining the neighboring images of the moving body from the camera unit mounted on the moving body, with respect to the movable body of the plurality of the specific species feature appearing in the vicinity of the image an image analyzing means for identifying positions by the analysis of the neighboring image, the plurality of particular species on the basis of the positions of the plurality of the particular species feature for said moving body identified by the analysis of the neighboring image 物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、としてコンピュータを機能させる。 An image from the positional relationship specifying unit for specifying an image from the positional relationship is a positional relationship between an object, by matching with the map from the positional relationship between the image from the positional relationship, the particular species that appears in the vicinity of the image and matching means for associating the said particular type feature that is registered in the feature and the road map database, it causes the computer to function as a.
この地物認識プログラムによると、移動体の近傍画像に表れている複数の同一種地物を道路地図データベースに登録されている地物に対応付けて認識することができる。 According to this feature recognition program, a plurality of same type feature that appears near the image of the moving object can be recognized in association with the feature registered in the road map database.

尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、どのような順番で実行されてもよく、また同時に実行されてもよい。 The order of the operations of the method described in the claims, unless impediments technical, is not limited to the order may be performed in any order, also running at the same time it may be. また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。 Each function of the plurality of means included in the present invention is realized hardware resources whose functions are specified by the configuration itself, hardware resources whose functions are specified by a program, or a combination thereof. また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。 Each function of the plurality of means is not limited to, each of which is implemented by physically independent hardware resources.

以下、実施例に基づいて本発明の実施の形態を説明する。 Hereinafter, an embodiment of the present invention with reference to Examples.
[地物認識装置のハードウェア構成] [Hardware Configuration of the feature recognition device]
図2は、本発明を適用した地物認識装置1を示すブロック図である。 Figure 2 is a block diagram illustrating a feature recognition apparatus 1 according to the present invention. 地物認識装置1は、自動車、オートバイ等の移動体としての車両に搭載されるナビゲーションシステムとして構成されている。 Feature recognition apparatus 1 is configured automobile, a navigation system mounted on a vehicle as a moving body of a motorcycle or the like.

出力手段としてのインタフェース15は、AD変換器、DA変換器等で構成され、車両に搭載された外部ユニットと地物認識装置1との間でのデータの転送を制御する入出力機構である。 Interface 15 as output means, AD converter is composed of a DA converter, etc., an input-output mechanism that controls the transfer of data between the external unit and the feature recognition apparatus 1 mounted on the vehicle.
ハードディスク装置(HDD)18には、道路地図データベース及び地物認識プログラムが格納されている。 The hard disk drive (HDD) 18, road map database and feature recognition programs. 道路地図データベースは、CD、DVD等の他の大容量不揮発性記憶媒体に格納されていてもよい。 Road map database, CD, may be stored in other high capacity non-volatile storage medium such as a DVD. 地物認識プログラムはROM20に格納されていてもよい。 Feature recognition program may be stored in ROM20. 道路地図データベース及び地物認識プログラムは、通信回線を介してダウンロードしたり、リムーバブルメモリから読み込むことにより、地物認識装置1にインストールすることができる。 Road map database and feature recognition program, or downloaded via a communication line, by reading from the removable memory can be installed in the feature recognition apparatus 1.

方位センサ16は推測航法に用いる地磁気センサ、左右車輪速度差センサ、振動ジャイロ、ガスレートジャイロ、光ファイバジャイロなどで構成され、自車の進行方向を検出する。 Geomagnetic sensor direction sensor 16 is used for dead reckoning, the left and right wheel speed difference sensor, a vibration gyro, gas rate gyro, is configured by a fiber optic gyro, detects the traveling direction of the vehicle.
GPSユニット14は、衛星航法に用いる3個または4個の衛星から送られてくる軌道データを受信し、自車の現在位置の緯度経度データを出力するためのアンテナ、ASIC等で構成される。 GPS unit 14 receives the trajectory data sent from three or four satellites to be used for satellite navigation, antenna for outputting the latitude and longitude data of the current position of the vehicle, and an ASIC or the like.

カメラユニット10は、CCDイメージセンサなどのカラー撮像素子とその駆動回路と画像信号処理回路とを備えている所謂単眼カメラである。 The camera unit 10 is a so-called monocular camera and a color image sensor such as a CCD image sensor and a driving circuit and an image signal processing circuit. カメラユニット10は車両の外界の前方視界を表すディジタルカラー画像が所定のフレームレートで生成する。 The camera unit 10 is a digital color image representing the forward view of the outside world of the vehicle is generated at a predetermined frame rate. 以下、車両の外界の前方視界を表すディジタルカラー画像を単に近傍画像というものとする。 Hereinafter simply assumed that neighboring images digital color image representing a forward view of the outside world of the vehicle.
速度センサ12は、推測航法に用いられる。 Speed ​​sensor 12 is used for dead reckoning. 単位時間当たりの車輪の回転数から求まる車速を時間で積分することにより走行距離が求まる。 Mileage by integrating the vehicle speed obtained from the rotational speed of a wheel per unit time in hours is determined. 電波や超音波を用いたドップラ対地速度センサ、光と空間フィルタを用いた対地速度センサを用いて走行距離を求めてもよい。 Doppler ground speed sensor using radio waves or ultrasound, light and spatial filter may be determined traveling distance using the ground speed sensor using.

ROM20は、フラッシュメモリなどの不揮発性記憶媒体であって、ブートプログラムが格納されている。 ROM20 is a nonvolatile storage medium such as a flash memory, the boot program is stored.
CPU22は、ROM20及びHDD18に格納されている各種のプログラムを実行することにより、現在位置取得手段、地物情報取得手段、地図由来位置関係特定手段、画像取得手段、画像解析手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、および絶対撮影方向特定手段として機能する。 CPU22 executes the various programs stored in the ROM20 and HDD 18, a current position acquisition means, feature information obtaining unit, a map from the positional relationship specifying unit, an image acquisition means, image analysis means, image-derived positional relationship specifying means, verifying means, the target specifying means, target selection means, functions as an output unit, and the absolute shooting direction specifying means.

RAM24は、揮発性記憶媒体であって、CPU22に実行されるプログラムやプログラムの処理対象データが一時的に格納されるワークメモリとして機能する。 RAM24 is a volatile storage medium, and functions as a work memory of the processing target data of the program or programs to be executed CPU22 is temporarily stored.
移動体の制御部としてのAT制御ユニット26は、オートマチックトランスミッションの油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びECUを備えている。 AT control unit 26 as a control section of the mobile it is provided with a driving circuit and an ECU for driving the various solenoid valves and electric pump provided in the hydraulic circuit of the automatic transmission.
移動体の制御部としてのブレーキ制御ユニット28は、ブレーキを駆動するための油圧回路に設けられた各種の電磁弁及び電動ポンプを駆動するための駆動回路及びECUを備えている。 Brake control unit 28 as a control section of the mobile is provided with a driving circuit and an ECU for driving the various solenoid valves and electric pump provided in the hydraulic circuit for driving the brake.

[地物認識プログラムの構成] Configuration of the feature recognition program]
図3は地物認識プログラム32の構成を示すブロック図である。 Figure 3 is a block diagram showing the configuration of the feature recognition program 32.
地物認識プログラム32によって利用される道路地図データベース(DB)42は、グラフ構造で地図をディジタル表現した情報で構成されるデータベースであって、道路網上の自車の現在位置の特定、地物の位置の特定などに用いられる。 Road map database (DB) 42 which is utilized by the feature recognition program 32, a database comprised of information digital representation map with graph structure, specific current position of the vehicle on the road network, feature used in such a position location. 道路地図DB42では、交差点、合流点、曲がり点、行き止まり点などはノードであり、道路はノードとノードを結ぶリンクとして定義されている。 In the road map DB 42, an intersection, confluence, bending points, etc. dead end point is a node, road is defined as a link connecting nodes and nodes. また各リンクには信号機の有無、距離、制限速度、レーン数、幅員、道路種別(高速道路、一般道など)などが属性情報として定義され、各ノードにはノードの位置を表す緯度経度などが属性情報として定義されている。 The existence of the traffic signal in each link, the distance, speed limit, number of lanes, road width, road type (highway, ordinary road, etc.) and the like are defined as attribute information, such as latitude and longitude are in each node representing the position of the node It is defined as the attribute information. リンクに信号機が有る場合、信号機の点灯部の位置を表す緯度経度、点灯部の高さを表す絶対高さ、点灯部が向いている方位を表す絶対方向等がそのリンクに関連付けて定義されている。 If the link traffic signal is in the latitude and longitude indicating a location of the lighting unit of the traffic signal, the absolute height represents the height of the lighting unit, the absolute direction and the like representing the orientation lighting unit is facing is defined in association with the link there. これらの他、例えば点灯部の指向性(視野角)に関する情報が信号機の属性として定義されていてもよい。 These other, for example, information about the lighting unit of the directional (viewing angle) may be defined as attributes of the traffic signal.

地物認識プログラム32によって利用されるロケーティングモジュール40は、CPU20を現在位置取得手段として機能させるプログラム部品である。 Locating module 40 utilized by feature recognition program 32 is a program part to function as a current position acquisition means CPU 20. ロケーティングモジュール40は、GPSユニット14、速度センサ12及び方位センサ16の出力に基づいて衛星航法及び推測航法を併用しながら自車の現在位置を特定する。 Locating module 40, GPS unit 14, identifies the current position of the vehicle while a combination of satellite navigation and dead reckoning based on the output of the speed sensor 12 and the azimuth sensor 16.
画像認識モジュール38は、CPU22を画像取得手段及び画像解析手段として機能させるプログラム部品である。 The image recognition module 38 is a program component to function CPU22 as the image acquisition means and image analysis means. 画像認識モジュール38は、カメラユニット10から出力される近傍画像を解析し、近傍画像に表れている特定種地物としての信号機を検出し、近傍画像内において信号機の点灯部が表れている位置と、信号機の色とを特定する。 The image recognition module 38 analyzes the near image output from the camera unit 10 detects the traffic signal as a particular type features that appear in the vicinity of the image, a position where the lighting unit of the traffic signal is appearing in the vicinity of the image identifies a traffic light colors. 近傍画像の解析によって信号機を検出する方法としては、構造マッチング、テンプレートマッチング、弛緩法などのいかなるパターン認識方法をも採用しうる。 As a method of detecting a traffic signal by analysis of the near images, structure matching, template matching, may be employed any pattern recognition methods such as relaxation. 減速、加速、停止、操舵などを制御するための目標となる種類の地物である目標種地物としては、信号機、停止線等の各種の道路標識が考えられるが、本実施形態では信号機が目標種地物として説明される。 Deceleration, acceleration, stopping, as the target species feature is the type of feature as a target for controlling the steering, traffic lights, it is conceivable various road signs, such as stop lines, traffic in this embodiment It is described as a target species features. 目標種地物の属性としては、道路標識の種類、状態、自車からの距離、自車からみて存在する方向等が考えられるが、本実施形態では信号機の色と自車に対する位置として説明される。 The attributes of the target species feature, the type of road signs, conditions, distance from the vehicle, but the direction or the like existing when viewed from the own vehicle can be considered, in the present embodiment is described as a position relative to the color and the vehicle traffic light that.

画像データ管理モジュール36は、画像認識モジュール38の実行によって特定された信号機の近傍画像内の位置と色とを信号機毎に認識データ30としてRAM24に蓄積し、制御目標判定モジュール34のリクエストに応じて近傍画像に表れている特定の信号機について色と近傍画像内の位置とを制御目標判定モジュール34に渡す。 Image data management module 36 stores the position and color of the neighborhood image of the traffic signal identified by the execution of the image recognition module 38 to RAM24 for each traffic signal as recognition data 30, in response to a request of the control target determination module 34 for certain traffic that appears in the vicinity of the image passes the position of the color and the near images to the control target determination module 34.
制御目標判定モジュール34は、CPU22を地物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段及び絶対撮影方向特定手段として機能させるプログラム部品である。 Control target determination module 34, functions CPU22 feature information obtaining unit, a map from the positional relationship specifying unit, an image derived from the positional relationship specifying unit, checking means, the target specifying means, target selection means, as the output means and the absolute photographing direction specifying means is a program component to be. 制御目標判定モジュール34は、近傍画像内で検出された信号機と道路地図DB42に登録されている信号機とを対応付け、画像認識モジュール38の実行によって検出された自車の近傍に存在する信号機のうち目標となる信号機の自車からの距離及び色をAT制御ユニット26、ブレーキ制御ユニット28等の車両の制御部に出力する。 Control target determination module 34 associates the traffic registered in the signal unit and the road map DB42 detected in the vicinity of the image, of the traffic signal present in the vicinity of the vehicle detected by execution of the image recognition module 38 AT control unit 26 distance and color from the vehicle to the target to become signals, and outputs to the control unit of the vehicle such as the brake control unit 28.

[複数の信号機間の位置関係を画像解析により特定する方法] Method for identifying a positional relationship between a plurality of traffic lights by Image Analysis
信号機の高さが揃っているという前提があれば、自車に近い信号機ほど画像の上辺近くに表れ、自車から遠い信号機ほど画像の底辺近くに表れるため、近傍画像に表れる複数の信号機の現実のY方向の配列順序は各信号機に対応する画素の座標の垂直成分の比較のみで特定可能である。 If there is assumption that the height of the traffic signal is aligned, the vehicle to appear in the upper side near the close traffic as images, since that appears near the bottom of the image farther traffic from the own vehicle, the reality of the plurality of traffic lights appearing near image arrangement order of Y-direction can be specified by only the comparison of the vertical component of the coordinates of pixels corresponding to the traffic signal. 尚、画像の底辺は撮像範囲の底面に対応し、画像の上辺は撮像範囲の上面に対応するものとし、自車の進行方向に垂直で水平面に平行な方向をX方向といい、自車の進行方向をY方向というものとする。 Incidentally, the bottom of the image corresponds to the bottom surface of the imaging range, the upper side of the image is assumed to correspond to the upper surface of the imaging range, referred to as X direction a direction parallel to a horizontal plane perpendicular to the traveling direction of the vehicle, the vehicle the traveling direction will be referred to the Y direction. また、各信号機は、自車を基準にして各信号機が存在する方位に応じて近傍画像内に表れる水平方向位置が決まるため、近傍画像に表れる複数の信号機の現実のX方向の配列順序は各信号機に対応する画素の座標の水平成分の比較のみで特定可能である。 Each traffic, because the horizontal position appearing in the vicinity of the image according to the orientation the traffic signal on the basis of the vehicle is present is determined, the order of arrangement of the X direction of the real plurality of traffic lights appearing near images each It can be identified only by comparing the horizontal component of the coordinates of the pixels corresponding to the traffic light.

次に、カメラユニット10から出力される近傍画像の解析によって複数の信号機間の位置関係をより詳しく特定する方法を説明する。 Next, a method for the analysis of the neighboring image output from the camera unit 10 identifies in more detail the positional relationship between a plurality of traffic lights will be described. 以下の説明では、図4に示すように近傍画像の画素の位置を画像の中央水平線及び中央垂直線を座標軸とする座標(x p 、y p )で表す。 In the following description, represented by coordinates (x p, y p) to a central horizontal and central vertical line coordinate axes of the image the position of a pixel of the neighboring images, as shown in FIG.
まず地面上の点Pと自車とが自車の進行方向(Y方向)にどれだけ離れているかを特定する方法について図4及び図5に基づいて説明する。 First the P and the vehicle point on the ground will be described with reference to FIGS. 4 and 5 how to identify how far in the traveling direction of the vehicle (Y direction). 地上からカメラユニット10のレンズの焦点までの高さをH camera 、カメラユニット10のレンズの光軸と鉛直線がなす角度をθ setとし、点Pが表れている注目画素に対応する視線S(図4(B)参照)とカメラユニット10のレンズの光軸とがなす角度をθ pとし、カメラユニット10のレンズの焦点位置を自車位置とみなして自車と点PまでのY方向の距離をD pとするとき次式(1)の関係が成り立っている。 The height from the ground to the focal point of the lens of the camera unit 10 H camera, gaze angle formed optical axis vertical line of the lens of the camera unit 10 and theta The set, corresponding to the pixel of interest to the point P is manifested S ( Figure 4 (B) refer) and angle formed with the optical axis of the lens of the camera unit 10 and theta p, the focal position of the lens of the camera unit 10 is regarded as the own-vehicle position to the vehicle and the point P in the Y-direction distance and consists the following relationship (1) when the D p.
p =H camera tan(θ set +θ p D p = H camera tan (θ set + θ p)
=H camera (tanθ set +tanθ p )/(1−tanθ set tanθ p )[Deg]・・・(1) = H camera (tanθ set + tanθ p) / (1-tanθ set tanθ p) [Deg] ··· (1)

カメラユニット10の垂直画角の1/2をθ r 、カメラユニット10のレンズの焦点距離をf、カメラユニット10の撮像素子における画素の垂直方向の配列間隔をa、カメラユニット10の撮像素子の垂直方向画素数をN hとするとき、次式(2)、(3)の関係が成り立っている。 1/2 theta r vertical angle of the camera unit 10, the focal length of the lens of the camera unit 10 f, the arrangement interval in the vertical direction of the pixel in the image sensor of the camera unit 10 a, the image sensor of the camera unit 10 when the number of pixels in the vertical direction and N h, the following equation (2), which consists relationship (3).
tanθ r =aN h /f・・・(2) tanθ r = aN h / f ··· (2)
tanθ p =ay p /f・・・(3) tanθ p = ay p / f ··· (3)
よってtanθ pは注目画素の座標の垂直方向成分(y p )を用いて次式(4)で表すことができる。 Thus tan .theta p can be used vertical component of the coordinate of the target pixel (y p) expressed by the following equation (4).
tanθ p =y p tanθ r /N h・・・(4) tanθ p = y p tanθ r / N h ··· (4)
したがって、自車と点PまでのY方向の距離D pは次式(5)にy pを代入することによって導出できる。 Therefore, the distance D p in the Y direction to the vehicle and the point P can be derived by substituting y p in the following equation (5).
p =H camera (tanθ set +y p tanθ r /N h )/(1−tanθ setp tanθ r /N h )[Deg] D p = H camera (tanθ set + y p tanθ r / N h) / (1-tanθ set y p tanθ r / N h) [Deg]

次に、信号機と自車とが自車の進行方向(Y方向)にどれだけ離れているかを特定する方法について図6に基づいて説明する。 It will now be described with reference how to identify whether the signal unit and the vehicle are separated much in the traveling direction of the vehicle (Y direction) in FIG. 6. 信号機Scの点灯部の高さは一般に5〜6mである。 The height of the lighting unit of the traffic signal Sc is generally 5 to 6 m. 例えば日本国内では点灯部の高さが5m以上6m以下である信号機は信号機全体の90%以上に相当する。 For example, in Japan the height of the lighting unit traffic is 6m or less than 5m is equivalent to more than 90% of the total traffic. そこで、信号機Scの点灯部の高さH signalを一定とみなし、各信号機の点灯部を通る水平面を想定する。 Therefore, consider the height H Signal lighting of the traffic signal Sc is constant, assumes a horizontal plane passing through the lighting unit of the traffic signal. この水平面を地面と想定すれば、信号機Scの点灯部はそのように想定した地面にあることになる。 Assuming the horizontal plane with the ground, lighting of the traffic signal Sc will be located on the ground that assumes that way. 自車から信号機ScまでのY方向の距離をD signalとするとき、次式(5)の関係が成り立つため、式(4)を用いてD signalを求めることができる。 The distance in the Y direction from the vehicle to the traffic signal Sc when the D Signal, because the relation of the following expression (5) holds, it is possible to obtain the D Signal using Equation (4).
signal =(H signal −H camera )tan(180−θ set −θ p )・・・(5) D signal = (H signal -H camera ) tan (180-θ set -θ p) ··· (5)
自車から各信号機の点灯部までのY方向の距離D signalによって、複数の信号機間のY方向の位置関係は一義的に決まる。 The Y-direction distance D Signal from the vehicle to the lighting of each traffic signal, the positional relationship in the Y direction between a plurality of traffic lights are uniquely determined.

次に、近傍画像内に表れている複数の信号機間のX方向の位置関係を詳しく特定する方法について図7に基づいて説明する。 It will now be described with reference to FIG. 7 how to identify in detail the X-direction positional relationship between a plurality of traffic lights that appear in the vicinity of the image. 今、近傍画像内で検出された3つの信号機Sc 1 、Sc 2 、Sc 3間の位置関係について考える。 Now, consider the positional relationship between the neighboring images in three traffic detected by Sc 1, Sc 2, Sc 3 . 近傍画像内に表れる信号機と自車とのX方向の距離は、近傍画像内での信号機から中央垂直線までの距離に比例し、自車に対する信号機の車両の進行方向(Y方向)の距離の比に反比例する。 X direction distance between the traffic and the vehicle appearing in the vicinity of the image is proportional to the distance from the traffic in the vicinity of the image to the central vertical line, the distance in the traveling direction of the vehicle traffic light for the vehicle (Y direction) It is inversely proportional to the ratio. したがって、自車から信号機Sc 1 、Sc 2 、Sc 3までのY方向の距離をそれぞれDc 1 、Dc 2 、Dc 3とし、信号機S 1 、S 2間の現実のX方向の距離をWc 12 、信号機Sc 2 、Sc 3間の現実のX方向の距離をWc 23とし、信号機Sc 1 、Sc 3間の現実のX方向の距離をWc 13 、近傍画像内における信号機Sc 1 、Sc 2 、Sc 3の座標の水平方向成分(x p )をWp 1 、Wp 2 、Wp 3とすると、Wc 12とWc 23とWc 13の関係は次式(7)、(8)によって規定される。 Thus, traffic signal Sc 1 from the vehicle, Sc 2, Sc 3 to the Y direction distance and Dc 1, Dc 2, Dc 3 respectively, traffic signal S 1, the actual distance in the X direction between the S 2 Wc 12, the actual distance in the X direction between the traffic signal Sc 2, Sc 3 and Wc 23, traffic signal Sc 1, Sc 3 between the actual X direction distance Wc 13, traffic signal Sc 1 in the vicinity of the image, Sc 2, Sc 3 When the horizontal component of the coordinates (x p) and Wp 1, Wp 2, Wp 3 , the relationship Wc 12 and Wc 23 and Wc 13 by the following equation (7) is defined by (8).
Wc 12 /Wc 23 =(Wp 1 /Dc 1 −Wp 2 /Dc 2 )/(Wp 2 /Dc 2 −Wp 3 /Dc 3 )・・・(7) Wc 12 / Wc 23 = (Wp 1 / Dc 1 -Wp 2 / Dc 2) / (Wp 2 / Dc 2 -Wp 3 / Dc 3) ··· (7)
Wc 13 /Wc 23 =(Wp 1 /Dc 1 −Wp 3 /Dc 3 )/(Wp 2 /Dc 2 −Wp 3 /Dc 3 )・・・(8) Wc 13 / Wc 23 = (Wp 1 / Dc 1 -Wp 3 / Dc 3) / (Wp 2 / Dc 2 -Wp 3 / Dc 3) ··· (8)
すなわち、近傍画像内に表れている3個以上の信号機間のX方向の位置関係は、いずれか1個の信号機を基準として他の信号機がどれだけX方向に離れているかを比で表すことによって詳しく特定することができる。 That is, the positional relationship in the X direction between the three or more traffic that appears in the vicinity of the image, by indicating whether any one of the traffic other traffic on the basis of the is away how much X-direction by a ratio it can be specified in detail.
以上、単眼カメラとしてカメラユニット10が構成されている場合に複数の信号機間の位置関係を画像解析によって特定する方法について説明したが、ステレオカメラとしてカメラユニット10が構成されている場合には、三角測量の原理を用いて複数の信号機間の位置関係を特定することができる。 Having described how to determine by image analysis the positional relation between a plurality of traffic lights when the camera unit 10 is configured as a monocular camera, when the camera unit 10 is configured as a stereo camera, triangular it is possible to specify the position relationship between a plurality of traffic lights by using the principle of surveying.

[地物認識方法] [Feature recognition method]
図1は地物認識装置1を用いた地物認識方法の処理のながれを示すフローチャートである。 Figure 1 is a flowchart showing a flow of processing of the feature recognition method using the feature recognition apparatus 1. 図1に示す処理ルーチンは、CPU22が地物認識プログラム32を一定時間間隔(例えば1秒間隔)で繰り返し実行することによって、繰り返し実行される。 Processing routine shown in FIG. 1, CPU 22 is by repeatedly executing the feature recognition program 32 at predetermined time intervals (e.g. 1 second intervals), is repeatedly executed.
ステップS100では、CPU22はロケーティングモジュール40によって自車の現在位置が特定されているかを判定する。 In step S100, CPU 22 determines whether the current position of the vehicle is identified by locating module 40. 自車の現在位置が特定されていない場合、図1に示す処理ルーチンが終了する。 If the current position of the vehicle is not specified, the processing routine shown in FIG. 1 ends.

ステップS102では、CPU22はロケーティングモジュール40から自車の現在位置を取得する。 In step S102, CPU 22 obtains the current position of the vehicle from the locating module 40. 自車の現在位置は緯度及び経度によって表されている。 Current position of the vehicle is represented by latitude and longitude.
ステップS104では、CPU22は自車の近傍(例えば半径100m以内)に存在する目標種地物である信号機の情報を道路地図DB42から取得する。 In step S104, CPU 22 obtains the information of the traffic signal is a target species feature existing in the vicinity of the vehicle (e.g., within a radius of 100m) from the road map DB 42. 自車の近傍に信号機が存在している場合(ステップS106で肯定判定される場合)、自車の近傍に存在している全ての信号機について、上述した信号機が存在するリンクの識別情報、信号機の位置、及び信号機の絶対方向がCPU22によって道路地図DB42から取得される。 If traffic in the vicinity of the vehicle is present (if an affirmative decision is made at step S106), for all of the traffic signal present in the vicinity of the vehicle, the identification information of the link above traffic is present, of the traffic position, and the absolute direction of the traffic signal is obtained from the road map DB42 by CPU 22. ここで、CPU22は各信号機の絶対高さを道路地図DB42から取得し、各信号機の絶対高さが予め決められた範囲内に分布しているかを判定し、その範囲内に分布していない場合、図1に示す処理ルーチンを終了させてもよい。 Here, if CPU22 is that obtains the absolute height of each traffic signal from the road map DB 42, and determines whether the absolute height of each traffic signal is distributed within a predetermined range, not distributed within its scope it may terminate the processing routine shown in FIG.

自車の近傍に信号機が存在していない場合(ステップS106で否定判定される場合)、図1に示す処理ルーチンは終了する。 If it does not exist traffic in the vicinity of the vehicle (if the determination is negative in step S106), the processing routine shown in FIG. 1 is completed.
自車の近傍に信号機が存在している場合、CPU22は近傍画像の解析により近傍画像に表れている信号機を検出し、認識データをRAM24に格納する(ステップS108)。 If traffic in the vicinity of the vehicle is present, CPU 22 detects the traffic that appears in the vicinity of the image by analyzing the neighboring image, and stores the recognized data to the RAM 24 (step S108). 具体的には、信号機の点灯部の形態に対応するパターンが近傍画像内で検索される。 More specifically, the pattern corresponding to the form of the lighting unit of the traffic signal is searched for in the vicinity of the image. このとき、カメラユニット10の画角内に存在する信号機であっても、図8に示すように自車の方を向いていない信号機Sh 1 、Sh 2 、Sh 3 、Sh 4 、Sh 5は検出されない。 At this time, even traffic that exists within the angle of the camera unit 10, traffic signal Sh that is not facing the subject vehicle as shown in FIG. 8 1, Sh 2, Sh 3 , Sh 4, Sh 5 is detected not. 信号機の点灯部の形態に対応するパターンが近傍画像内に表れている場合(後のステップS110で肯定判定される場合)、そのパターンが表れた近傍画像内の位置を表す座標と信号機の色とが認識データ30としてRAM24に格納される。 (If an affirmative decision is made at step S110 below) is a pattern corresponding to the form of the lighting unit of the traffic if appearing in the vicinity of the image, the coordinates and the traffic signal representing the position in the neighborhood image the pattern appeared color There are stored as recognition data 30 to the RAM 24. 信号機の点灯部の形態に対応するパターンが近傍画像内に複数表れている場合(後のステップS112で肯定判定される場合)、そのパターンが表れた近傍画像内のそれぞれの位置を表す複数の座標と信号機の色とが認識データ30としてRAM24に格納される。 (If an affirmative decision is made at step S112 below) is a pattern corresponding to the form of the lighting unit of the traffic if a plurality appear in the vicinity of the image, a plurality of coordinates representing the respective positions in the neighborhood image the pattern appeared and a traffic light color is stored as recognition data 30 to the RAM24 and. 尚、自車と信号機との位置関係に応じて信号機が近傍画像内に表れる位置が変化し、時間の経過に伴って信号機の色が変化するため、CPU22は検出した信号機について認識データ30をフレーム毎に更新する。 Incidentally, the self traffic light changes the position appearing in the vicinity of the image in accordance with the positional relationship between the vehicle and the traffic signal, since the color of the traffic signal changes with time, frame recognition data 30 for the detected traffic lights CPU22 It is updated every.

近傍画像の解析により信号機が検出されなかった場合(ステップS110で否定判定される場合)、図1に示す処理ルーチンは終了する。 (If a negative decision is made at step S110) traffic by analyzing the neighboring images if not detected, the processing routine shown in FIG. 1 is completed.
近傍画像の解析により信号機が複数検出された場合(ステップS112で肯定判定される場合)、次に述べるステップS114の処理に進む。 (If an affirmative decision is made at step S112) traffic by analyzing the neighboring image when a plurality of detection, described below the process proceeds to step S114. 近傍画像の解析により信号機が1個だけ検出された場合(ステップS112で否定判定される場合)、CPU22は検出した信号機を目標信号機として設定し(ステップS113)、ステップS120の処理に進む。 (If a negative decision is made at step S112) traffic signal when it is detected by one by the analysis of the neighboring image, CPU 22 sets the detected traffic signal as a target traffic (step S113), the process proceeds to step S120.

・画像由来位置関係の特定 ステップS114では、CPU22は認識データ30に基づいて複数の信号機間の位置関係を特定し、特定した位置関係を画像由来位置関係として記憶する。 In Images from the positional relationship specifying step S114, CPU 22 identifies the positional relation between a plurality of the traffic based on the recognition data 30, and stores the identified positional relation as an image from the positional relationship. この処理について図9、図10及び図7に基づいて具体的に説明する。 This process 9 will be specifically described with reference to FIGS. 10 and Fig. まず、CPU22は近傍画像内における各信号機の点灯部の位置を表す座標の垂直方向成分Hp 1 、Hp 2 、Hp 3に基づいて自車から近傍画像内で検出された信号機Sc 1 、Sc 2 、Sc 3までのY方向の距離Dc 1 、Dc 2 、Dc 3を特定する。 First, CPU 22 is the vertical component of the coordinates representing the position of the lighting section of the traffic signal in the vicinity of the image Hp 1, Hp 2, traffic Sc 1 was detected in the vicinity of the image from the vehicle based on the Hp 3, Sc 2, distance Dc 1 in the Y direction to the sc 3, Dc 2, identifies the Dc 3. 次にCPU22はDc 1 、Dc 2 、Dc 3に基づいて各信号機間のY方向の距離Dc 12 、Dc 23 、Dc 13を求めることによって各信号機間のY方向の位置関係を特定する。 Then CPU22 specifies the positional relation between the Y-direction between the traffic signal by determining a Dc 1, Dc 2, Y direction distance Dc 12 between the traffic signal based on Dc 3, Dc 23, Dc 13 . さらにCPU22は近傍画像内における各信号機の点灯部の位置を表す座標の水平方向成分Wp 1 、Wp 2 、Wp 3に基づいてWc 12 /Wc 23 、Wc 13 /Wc 23を求めることによって信号機Sc 1 、Sc 2 、Sc 3のX方向の位置関係を特定する。 Further CPU22 is traffic Sc 1 by determining Wc 12 / Wc 23, Wc 13 / Wc 23 based on the coordinate horizontal component Wp 1, Wp 2, Wp 3 of which represents the position of the lighting section of the traffic signal in the vicinity of the image specifies the position relation between the X direction Sc 2, Sc 3.

・地図由来位置関係の特定 ステップS116では、CPU22はステップS104で道路地図DB42から取得した信号機の位置に基づいて自車の近傍に存在する信号機間の位置関係を特定し、地図由来位置関係として記憶する。 In Map from the positional relationship specifying step S116, CPU 22 identifies the positional relation between the traffic signal present in the vicinity of the vehicle based on the position of the acquired traffic from the road map DB42 at step S104, stored as a map from the positional relationship to. このとき、CPU22は各信号機の位置と向きと自車の現在位置と進行方向とに基づいて、画像解析によって検出されている可能性のある信号機についてのみ位置関係を特定する。 At this time, CPU 22 is based on the current position and the traveling direction of the position and orientation and the vehicle of the traffic signal, to specify the position relationship only for potential traffic being detected by the image analysis. 例えば、自車の進行方向側に存在し、自車の進行方向と信号機の向き(絶対方向)のなす角が180度±45度の範囲にある信号機Sm 1 、Sm 2 、Sm 3についてのみ位置関係が特定される。 For example, present in the traveling direction of the vehicle, the position only for the traffic signal Sm 1, Sm 2, Sm 3 that the angle of orientation (absolute direction) of the traveling direction and the traffic of the vehicle is in the range of 180 ° ± 45 ° relationship is identified. 地図由来位置関係は画像由来位置関係と照合されるものであるため、地図由来位置関係と画像由来位置関係を表す座標軸の方向が一致していなければならない。 For map from the positional relationship of which are matched to the image from the positional relationship, it must match the direction of the coordinate axis representing the map from the positional relationship between the image from the positional relationship. そこでCPU22は道路地図DB42に登録されている信号機の位置を表す座標を、X方向及びY方向に伸びる2軸を座標軸とする座標平面の座標に変換する(図11参照)。 Therefore CPU22 converts the coordinates representing the position of the traffic signal registered in the road map DB 42, the two axes extending in the X and Y directions on the coordinates of the coordinate plane whose coordinate axes (see FIG. 11). 具体的には例えば、CPU22はステップS102で取得した自車の進行方向と北の方位とがなす角度だけ信号機の位置を原点周りに回転移動させる行列変換式を用いて各信号機のX座標及びY座標を求める。 Specifically e.g., X coordinate and Y coordinate of each traffic signal using CPU22 in matrix conversion equation for rotational movement of the position of the angle only traffic formed by the orientation the vehicle traveling direction and north obtained in step S102 the origin around the seek. さらにCPU22は各信号機間のY方向の距離Dm 12 、Dm 23 、Dm 13を信号機Sm 1 、Sm 2 、Sm 3間のY方向の位置関係として求める。 Further CPU22 obtains a positional relationship in the Y direction between the Y-direction distance Dm 12, Dm 23, Dm 13 traffic signal Sm 1, Sm 2, Sm 3 between the traffic signal. またCPU22は各信号機間のX方向の距離Wm 12 、Wm 23 、Wm 13を求め、信号機Sm 1 、Sm 2 、Sm 3のX方向の位置関係をWm 12 /Wm 23とWm 13 /Wm 23を求めることによって特定する。 The CPU22 obtains the X-direction distance Wm 12, Wm 23, Wm 13 between the traffic signal, traffic signal Sm 1, Sm 2, the positional relationship between the X-direction of Sm 3 Wm 12 / Wm 23 and Wm 13 / Wm 23 identifying by calculating.

・画像由来位置関係と地図由来位置関係の照合 ステップS118ではCPU22は図12に示すサブルーチンを実行することによって画像由来位置関係と地図由来位置関係とを照合し、近傍画像に表れている信号機のうち目標となる信号機を特定する。 Images from the positional relationship with the collation step S118 the CPU22 map derived positional relationship collates the image from the positional relationship and the map from the positional relationship by executing a subroutine shown in FIG. 12, of the traffic that appears in the vicinity of the image identifying a target to become traffic.
ステップS200ではCPU22はステップS104で取得した自車近傍に存在する信号機の情報に基づいて自車が現在走行している道路に存在する信号機を選抜する。 In step S200 CPU 22 singles traffic present on the road on which the vehicle is currently traveling based on information of the traffic signal present in the vehicle vicinity acquired in step S104. 具体的には、CPU22はロケーティングモジュール40から自車が現在走行しているリンクの識別情報を取得し、取得したリンクの識別情報がステップS104で取得された信号機を選抜する。 Specifically, CPU 22 is the vehicle from locating module 40 acquires the identification information of the link that is currently traveling, the identification information of the links were acquired singles traffic acquired in step S104.

ステップS202ではCPU22はステップS200で選抜された信号機のうち自車の進行方向に存在している信号機を目標地物としての目標信号機として選抜する。 In step S202 CPU 22 singles traffic that exists in the traveling direction of the vehicle out of the traffic that has been selected in step S200 as a target traffic as the target feature. この処理では、道路地図DB42において各リンクが双方向リンクとして定義されているために、各信号機について自車の進行方向に存在しているか否かが信号機の位置と自車の現在位置と自車の進行方向とに基づいて判断される。 In this process, for each link in the road map DB42 is defined as a two-way link, the current position and the vehicle position and the vehicle of whether or not the traffic for each traffic signal is present in the traveling direction of the vehicle It is determined based on the traveling direction of the.
ステップS202で複数の信号機情報が目標信号機として選抜される場合(ステップS204で肯定判定される場合)、具体的には例えばペア信号が自車の走行リンク上において自車の進行方向に存在している場合、CPU22は、自車の現在位置から最も近くに位置が道路地図DB42に登録されている信号機を目標信号機として選抜する(ステップS206)。 If multiple signal information at step S202 is selected as the target traffic (if an affirmative decision is made at step S204), specifically, for example pair signal is present in the traveling direction of the vehicle on the traveled link of the vehicle are case, CPU 22 may singles traffic signal nearest to the position from the current position of the vehicle is registered in the road map DB42 as the target traffic (step S206). 尚、ペア信号とは、交差点手前の1つの道路上にある車両に対して設けられ、同一のパターンで点灯する2つ1組の信号である。 Here, the paired signal, provided for a vehicle that is on one road intersection before a pairwise signal lights in the same pattern.

ステップS208では、CPU22は画像由来位置関係と地図由来位置関係とを照合することによって、近傍画像内で検出された信号機のうちで目標信号機に対応する信号機を特定する。 In step S208, CPU 22 is by matching the image from the positional relationship and the map from the positional relationship, identifying a traffic signal corresponding to the target traffic among the traffic signal is detected in the vicinity of the image. 具体的には、CPU22は、近傍画像内で検出された複数の信号機と、地図由来関係を特定した複数の信号機との対応を順次仮定し、各仮定において画像由来位置関係と地図由来位置関係とが整合するかを判定し、整合する場合には、仮定した対応を確定させる。 Specifically, CPU 22 includes a plurality of traffic signals detected in the vicinity of the image, corresponding sequential assumption that a plurality of traffic lights identified map-derived relationship, and an image from the positional relationship and the map from the positional relationship in each hypothesis There is judged whether the alignment, in the case of matching, thereby determining the corresponding assuming. 図10及び図13に基づいてより具体的に説明する。 It will be described more specifically with reference to FIGS. 10 and 13. まず、近傍画像内で検出された複数の信号機のうち、例えば信号機Sc 2が目標信号機Sm 2に対応し、Sc 1とSm 1 、Sc 3とSm 3がそれぞれ対応すると仮定される。 First, of the plurality of traffic signals detected in the vicinity of the image, for example, traffic Sc 2 corresponds to the target traffic Sm 2, Sc 1 and Sm 1, Sc 3 and Sm 3 is assumed to correspond to. 次に、その仮定について、Wm 12 /Wm 23 ≒Wc 12 /Wc 23 、Wm 13 /Wm 23 ≒Wc 13 /Wc 23 、Dm 12 ≒Dc 12 、Dm 23 ≒Dc 23が成立するかが判定される。 Next, that assumption, if Wm 12 / Wm 23 ≒ Wc 12 / Wc 23, Wm 13 / Wm 23 ≒ Wc 13 / Wc 23, Dm 12 ≒ Dc 12, Dm 23 ≒ Dc 23 is satisfied is determined . 成立する場合には、CPU22は仮定した対応付けを確定させる。 When satisfied, CPU 22 causes determine the correspondence of assuming. 成立しない場合には、CPU22は別の組み合わせで対応付けを仮定し、Wm 12 /Wm 23 ≒Wc 12 /Wc 23 、Wm 13 /Wm 23 ≒Wc 13 /Wc 23 、Dm 12 ≒Dc 12 、Dm 23 ≒Dc 23が成立するかが判定される。 If not satisfied, CPU 22 assumes a correspondence with a different combination, Wm 12 / Wm 23 ≒ Wc 12 / Wc 23, Wm 13 / Wm 23 ≒ Wc 13 / Wc 23, Dm 12 ≒ Dc 12, Dm 23 Do ≒ Dc 23 is satisfied.

ステップS120では、CPU22は近傍画像の解析により目標信号機の属性を特定する。 In step S120, CPU 22 identifies the attributes of the target traffic by analyzing the neighboring images. 具体的には、目標信号機と対応付けられた近傍画像に表れている信号機について、属性としての色と自車までのY方向の距離とが近傍画像の解析によって特定される。 Specifically, the traffic that appears in the vicinity of the image associated with the target signals, and the distance in the Y direction until the color and the vehicle as an attribute are identified by analysis of neighboring images.
ステップS122では、CPU22はインタフェース15を介してAT制御ユニット26及びブレーキ制御ユニット28に画像解析によって特定した目標信号機の色と自車からのY方向の距離とを出力する。 In step S122, CPU 22 outputs the distance in the Y direction from the color and the vehicle target traffic identified by image analysis to the AT control unit 26 and the brake control unit 28 via the interface 15. このとき、CPU22は信号機の色や道路標識の種類に応じた目標速度などの制御量をAT制御ユニット26及びブレーキ制御ユニット28に出力することもできる。 In this case, CPU 22 may output a control amount such as the target speed in accordance with the type of color and road signs of the traffic signal to the AT control unit 26 and the brake control unit 28.

[他の実施形態] [Other embodiments]
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。 The present invention is not limited to the above embodiment is applicable to various embodiments within a scope not departing from the gist. 例えば、本発明は、近傍画像に表れている特定種地物と道路地図DB42に登録されている特定種地物とを対応付けることにより、自車の現在位置を正確に特定する技術に適用することもできる。 For example, the present invention is, by associating the specific species feature that is registered to a particular species features a road map DB42 that appears in the vicinity of the image, be applied to pinpoint technology the current position of the vehicle It can also be.

本発明の実施形態に係るフローチャート。 Flowchart according to an embodiment of the present invention. 本発明の実施形態に係るブロック図。 Block diagram in accordance with an embodiment of the present invention. 本発明の実施形態に係るブロック図。 Block diagram in accordance with an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention. 本発明の実施形態に係るフローチャート。 Flowchart according to an embodiment of the present invention. 本発明の実施形態に係る模式図。 Schematic diagram according to an embodiment of the present invention.

符号の説明 DESCRIPTION OF SYMBOLS

1:地物認識装置、10:カメラユニット、22:CPU、26:AT制御ユニット(運動制御部)、28:ブレーキ制御ユニット(運動制御部)、32:地物認識プログラム、34:制御目標判定モジュール(物情報取得手段、地図由来位置関係特定手段、画像由来位置関係特定手段、照合手段、目標特定手段、目標選抜手段、出力手段、絶対撮影方向特定手段)、36:画像データ管理モジュール、38:画像認識モジュール(画像取得手段、画像解析手段)、40:ロケーティングモジュール、42:道路地図データベース、 1: feature recognition apparatus, 10: camera unit, 22: CPU, 26: AT control unit (motor control unit), 28: brake control unit (motor control unit), 32: feature recognition program, 34: control target determination module (object information acquiring unit, a map from the positional relationship specifying unit, an image derived from the positional relationship specifying unit, checking means, the target specifying means, target selection means, output means, the absolute photographing direction specifying means), 36: image data management module 38 : image recognition module (image obtaining means, image analysis means), 40: locating module 42: a road map database,

Claims (7)

  1. 移動体の現在位置を取得する現在位置取得手段と、 Current position obtaining means for obtaining a current position of the moving body,
    前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、 A feature information obtaining means for obtaining from the road map database with the current location plurality of positions of the specific species feature existing in the vicinity of the moving body,
    複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、 A plurality of the position which is related map from the positional relationship between the particular species feature, a map from the positional relationship specifying means for specifying by the analysis of the position of the plurality of the particular species feature,
    前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、 An image obtaining unit for obtaining the neighboring images of the moving body from the camera unit mounted on the movable body,
    前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、 An image analyzing means for identifying the position of the neighborhood image of the plurality of specific species feature appearing in the vicinity of the image by the analysis of the neighboring image,
    前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、 Image from the positional relationship specifying the image from the positional relationship is a positional relation between a plurality of the particular species feature based on the location of the plurality of particular species feature in the vicinity of image specified by the analysis of the neighboring image and specific means,
    前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、 By matching with the map from the positional relationship between the image from the positional relationship, collating means for associating the said particular type feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database When,
    を備える地物認識装置。 Feature recognition device comprising a.
  2. 前記道路地図データベースと前記現在位置とに基づいて、前記道路地図データベースに登録されている前記特定種地物の少なくとも1つを目標地物として特定する目標特定手段と、 Based on said road map database with the current position, the target specifying means for specifying at least one as a target feature of the road map database wherein a specific species are registered in the feature,
    前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物との対応に基づいて、前記目標地物に対応する、前記近傍画像に表れている前記特定種地物を選抜する目標選抜手段と、 On the basis of the correspondence between the particular species feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database, corresponding to the target feature, which appears in the vicinity of the image the and the target selection means for selecting a particular species feature,
    前記近傍画像の解析によって特定される前記目標地物の属性を前記移動体の制御部に出力する出力手段と、をさらに備える、 Further comprising an output means for outputting an attribute of the target feature that is specific to the control unit of the moving body by the analysis of the neighboring image,
    請求項1に記載の地物認識装置。 Feature recognition apparatus according to claim 1.
  3. 前記目標地物の属性は前記移動体に対する前記目標地物の位置である、 The attributes of the target feature is the position of the target feature with respect to the moving body,
    請求項2に記載の地物認識装置。 Feature recognition apparatus according to claim 2.
  4. 前記目標地物の属性は信号機の色である、 Attributes of the target feature is the color of the traffic signal,
    請求項2に記載の地物認識装置。 Feature recognition apparatus according to claim 2.
  5. 前記カメラユニットの絶対撮影方向を特定する絶対撮影方向特定手段をさらに備え、 Further comprising an absolute shooting direction specifying means for specifying absolute photographing direction of the camera unit,
    前記地物情報取得手段は、前記特定種地物の位置とともに前記特定種地物の絶対方向を前記道路地図データベースから取得し、 The feature information obtaining means, the absolute direction of the particular species feature acquired from the road map database together with the position of the particular species feature,
    前記照合手段は、前記画像由来位置関係と前記地図由来位置関係とを前記絶対方向を用いて照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、 Said checking means, said by the image from the positional relationship between the said map from the positional relationship matching using the absolute direction, is registered with the particular species feature appearing in the vicinity of the image on the road map database wherein correlating the particular species features that are,
    請求項1〜4のいずれか一項に記載の地物認識装置。 Feature recognition apparatus according to any one of claims 1 to 4.
  6. 移動体の現在位置を取得し、 It acquires the current position of the moving body,
    前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得し、 Acquires the position of a plurality of specific types feature existing in the vicinity of the moving body from the road map database with the current position,
    複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定し、 A plurality of map-derived positional relationship is a positional relationship between the particular species feature, identified by analysis of the positions of the plurality of the particular species feature,
    前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得し、 Get the neighboring images of the moving body from the camera unit mounted on the movable body,
    前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定し、 The position of the neighborhood image of the plurality of specific species feature appearing in the vicinity of the image identified by the analysis of the neighboring image,
    前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定し、 Wherein identifying the image from the positional relationship is a positional relation between a plurality of the particular species feature based on a plurality of positions of the particular species feature in the vicinity of image specified by the analysis of the neighboring image,
    前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける、 By matching with the map from the positional relationship between the image from the positional relationship associates the said particular type feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database,
    ことを含む地物認識方法。 Feature recognition method that involves.
  7. 移動体の現在位置を取得する現在位置取得手段と、 Current position obtaining means for obtaining a current position of the moving body,
    前記移動体の近傍に存在する複数の特定種地物の位置を前記現在位置を用いて道路地図データベースから取得する地物情報取得手段と、 A feature information obtaining means for obtaining from the road map database with the current location plurality of positions of the specific species feature existing in the vicinity of the moving body,
    複数の前記特定種地物間の位置関係である地図由来位置関係を、複数の前記特定種地物の位置の解析によって特定する地図由来位置関係特定手段と、 A plurality of the position which is related map from the positional relationship between the particular species feature, a map from the positional relationship specifying means for specifying by the analysis of the position of the plurality of the particular species feature,
    前記移動体の近傍画像を前記移動体に搭載されたカメラユニットから取得する画像取得手段と、 An image obtaining unit for obtaining the neighboring images of the moving body from the camera unit mounted on the movable body,
    前記近傍画像に表れている複数の前記特定種地物の前記近傍画像内の位置を前記近傍画像の解析によって特定する画像解析手段と、 An image analyzing means for identifying the position of the neighborhood image of the plurality of specific species feature appearing in the vicinity of the image by the analysis of the neighboring image,
    前記近傍画像の解析によって特定された前記近傍画像内の複数の前記特定種地物の位置に基づいて複数の前記特定種地物間の位置関係である画像由来位置関係を特定する画像由来位置関係特定手段と、 Image from the positional relationship specifying the image from the positional relationship is a positional relation between a plurality of the particular species feature based on the location of the plurality of particular species feature in the vicinity of image specified by the analysis of the neighboring image and specific means,
    前記画像由来位置関係と前記地図由来位置関係とを照合することにより、前記近傍画像に表れている前記特定種地物と前記道路地図データベースに登録されている前記特定種地物とを対応付ける照合手段と、 By matching with the map from the positional relationship between the image from the positional relationship, collating means for associating the said particular type feature that is registered with the particular species feature appearing in the vicinity of the image on the road map database When,
    としてコンピュータを機能させる地物認識プログラム。 Feature recognition program causing a computer to function as.



JP2005375909A 2005-12-27 2005-12-27 Feature recognition device Expired - Fee Related JP4577655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005375909A JP4577655B2 (en) 2005-12-27 2005-12-27 Feature recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005375909A JP4577655B2 (en) 2005-12-27 2005-12-27 Feature recognition device

Publications (2)

Publication Number Publication Date
JP2007178223A true true JP2007178223A (en) 2007-07-12
JP4577655B2 JP4577655B2 (en) 2010-11-10

Family

ID=38303568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005375909A Expired - Fee Related JP4577655B2 (en) 2005-12-27 2005-12-27 Feature recognition device

Country Status (1)

Country Link
JP (1) JP4577655B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010230561A (en) * 2009-03-27 2010-10-14 Adc Technology Inc On-vehicle device
JP2012037312A (en) * 2010-08-05 2012-02-23 Aisin Aw Co Ltd Feature position acquisition device, method and program
JP2014009993A (en) * 2012-06-28 2014-01-20 Navitime Japan Co Ltd Information processing system, information processing device, server, terminal device, information processing method, and program
WO2014162797A1 (en) * 2013-04-04 2014-10-09 日産自動車株式会社 Signal recognition device
JP2015102898A (en) * 2013-11-21 2015-06-04 本田技研工業株式会社 Road sign determination device
JP2015518600A (en) * 2012-03-26 2015-07-02 グーグル・インク Robust Method for detecting a traffic signal and a state associated with them
WO2015177864A1 (en) * 2014-05-20 2015-11-26 日産自動車株式会社 Traffic-light recognition device and traffic-light recognition method
WO2016006029A1 (en) * 2014-07-08 2016-01-14 日産自動車株式会社 Traffic signal detection device and traffic signal detection method
JP2016042226A (en) * 2014-08-14 2016-03-31 日産自動車株式会社 Traffic light detection device and traffic light detection method
JP2016050840A (en) * 2014-08-29 2016-04-11 株式会社ゼンリン Position specification device and data structure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247775A (en) * 1995-03-15 1996-09-27 Toshiba Corp Device and method for identification of self position of moving body
JPH10339646A (en) * 1997-06-10 1998-12-22 Toyota Motor Corp Guide display system for car
JPH11306498A (en) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd On-board camera system
JP2004077189A (en) * 2002-08-12 2004-03-11 Pioneer Design Kk Information processing apparatus, system, method and program for the same, record medium for recording program, and navigation apparatus
JP2005141348A (en) * 2003-11-05 2005-06-02 Sumitomo Electric Ind Ltd Location detecting system and stolen vehicle tracing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247775A (en) * 1995-03-15 1996-09-27 Toshiba Corp Device and method for identification of self position of moving body
JPH10339646A (en) * 1997-06-10 1998-12-22 Toyota Motor Corp Guide display system for car
JPH11306498A (en) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd On-board camera system
JP2004077189A (en) * 2002-08-12 2004-03-11 Pioneer Design Kk Information processing apparatus, system, method and program for the same, record medium for recording program, and navigation apparatus
JP2005141348A (en) * 2003-11-05 2005-06-02 Sumitomo Electric Ind Ltd Location detecting system and stolen vehicle tracing system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010230561A (en) * 2009-03-27 2010-10-14 Adc Technology Inc On-vehicle device
JP2012037312A (en) * 2010-08-05 2012-02-23 Aisin Aw Co Ltd Feature position acquisition device, method and program
KR101839554B1 (en) * 2012-03-26 2018-03-19 웨이모 엘엘씨 A robust method for detecting traffic signals and their associated states
US9796386B2 (en) 2012-03-26 2017-10-24 Waymo Llc Robust method for detecting traffic signals and their associated states
JP2015518600A (en) * 2012-03-26 2015-07-02 グーグル・インク Robust Method for detecting a traffic signal and a state associated with them
JP2014009993A (en) * 2012-06-28 2014-01-20 Navitime Japan Co Ltd Information processing system, information processing device, server, terminal device, information processing method, and program
JP5962850B2 (en) * 2013-04-04 2016-08-03 日産自動車株式会社 Signal recognition device
CN105074794A (en) * 2013-04-04 2015-11-18 日产自动车株式会社 Signal recognition device
US9389093B2 (en) 2013-04-04 2016-07-12 Nissan Motor Co., Ltd. Traffic signal recognition apparatus
WO2014162797A1 (en) * 2013-04-04 2014-10-09 日産自動車株式会社 Signal recognition device
JP2015102898A (en) * 2013-11-21 2015-06-04 本田技研工業株式会社 Road sign determination device
WO2015177864A1 (en) * 2014-05-20 2015-11-26 日産自動車株式会社 Traffic-light recognition device and traffic-light recognition method
US9779315B2 (en) 2014-05-20 2017-10-03 Nissan Motor Co., Ltd. Traffic signal recognition apparatus and traffic signal recognition method
US9922259B2 (en) 2014-07-08 2018-03-20 Nissan Motor Co., Ltd. Traffic light detection device and traffic light detection method
JPWO2016006029A1 (en) * 2014-07-08 2017-05-25 日産自動車株式会社 Traffic signal detecting device and the traffic signal detection method
WO2016006029A1 (en) * 2014-07-08 2016-01-14 日産自動車株式会社 Traffic signal detection device and traffic signal detection method
RU2634852C1 (en) * 2014-07-08 2017-11-07 Ниссан Мотор Ко., Лтд. Traffic light detecting device and traffic light detecting method
JP2016042226A (en) * 2014-08-14 2016-03-31 日産自動車株式会社 Traffic light detection device and traffic light detection method
JP2016050840A (en) * 2014-08-29 2016-04-11 株式会社ゼンリン Position specification device and data structure

Also Published As

Publication number Publication date Type
JP4577655B2 (en) 2010-11-10 grant

Similar Documents

Publication Publication Date Title
US20100034426A1 (en) Measurement apparatus, measurement method, and feature identification apparatus
US20100104137A1 (en) Clear path detection using patch approach
US20090303077A1 (en) Image Processing System and Method
US20050169501A1 (en) Method and apparatus for determining driving lane of vehicle, and computer product
US20100004856A1 (en) Positioning device
US7894632B2 (en) Apparatus and method of estimating center line of intersection
JP2008219063A (en) Apparatus and method for monitoring vehicle's surrounding
US20090012709A1 (en) Road information generating apparatus, road information generating method, and road information generating program
JPH10341458A (en) Method for correcting on-vehicle stereo camera and onvehicle stereo camera applied with the method
JP2008011174A (en) Calibration device of on-vehicle camera, program, and car navigation system
US20090248284A1 (en) Travel support system and travel support method
JP2009205191A (en) Parking space recognition system
JP2005098853A (en) Map data updating method and map data updating apparatus
EP2159541A1 (en) Navigation device, navigation method, and navigation program
JP2003123197A (en) Recognition device for road mark or the like
JP2001331787A (en) Road shape estimating device
JPH0777431A (en) Camera attitude parameter calculating method
JP2009199572A (en) Three-dimensional machine map, three-dimensional machine map generating device, navigation device, and automatic driving device
US20120114178A1 (en) Vision system and method of analyzing an image
EP1901259A1 (en) Vehicle and lane recognizing device
Felisa et al. Robust monocular lane detection in urban environments
JP2009009209A (en) Image recognition device and image recognition processing method
JP2006209510A (en) Image recognition device and image recognition method
JP2006215982A (en) Method, apparatus and system for calculating distance to intersection
JP2007183432A (en) Map creation device for automatic traveling and automatic traveling device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100815

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140903

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees