JP2006330908A - Position recording device and position recording method - Google Patents

Position recording device and position recording method Download PDF

Info

Publication number
JP2006330908A
JP2006330908A JP2005150989A JP2005150989A JP2006330908A JP 2006330908 A JP2006330908 A JP 2006330908A JP 2005150989 A JP2005150989 A JP 2005150989A JP 2005150989 A JP2005150989 A JP 2005150989A JP 2006330908 A JP2006330908 A JP 2006330908A
Authority
JP
Japan
Prior art keywords
position
information
recording
recognition
object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005150989A
Other languages
Japanese (ja)
Inventor
Mamoru Furuta
守 古田
Original Assignee
Toyota Motor Corp
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, トヨタ自動車株式会社 filed Critical Toyota Motor Corp
Priority to JP2005150989A priority Critical patent/JP2006330908A/en
Publication of JP2006330908A publication Critical patent/JP2006330908A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a position recording device and method for performing the accurate position recording of an object to be recognized by carrying out recording processing under the consideration of the detection error of the object to be recognized. <P>SOLUTION: The image recognition of a sign is carried out based on image information picked up by a camera 2 (S12), and the position of the image-recognized sign is detected (S20), and the error of the detected position information of the sign is calculated (S22), and the position information of the sign and the position detection error information are recorded (S24), and the measurement errors of the sign position of map information and the position information of the sign detected this time are compared (S34), and the position information whose error is smaller is recorded as map data (S36). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、認識対象物を画像認識しその認識対象物の位置情報を記録する位置記録装置及び位置記録方法に関するものである。 The present invention is a recognition object image recognition it relates position recording device and the position recording method for recording positional information of the object to be recognized.

従来、認識対象物を画像認識しその認識対象物の位置情報を記録する装置として、特開2002−243469号公報に記載されるように、地図情報及び認識対象候補となる複数の登録図形を格納しており、車両走行時にカメラによって撮影された画像について登録図形の有無及びその内容を認識し、その認識結果に基づいて地図情報の更新を行う装置が知られている。 Conventionally, stored as a recognition object image recognized device for recording position information of the object to be recognized, as described in JP 2002-243469, a plurality of registration figures as the map information and the recognition candidate and is, an image taken by the camera to recognize the existence and content of the registered graphics on while the vehicle is running, has been known apparatus for updating the map information based on the recognition result. この装置は、道路標識などの改変に対し速やかに地図情報を更新しようとするものである。 This device is intended to promptly attempt to update the map information with respect to modification, such as road signs.
特開2002−243469号公報 JP 2002-243469 JP

このような装置にあっては、新しい情報データに基づいて地図情報を更新するものであるため、新しい情報を取得する際にその情報に検出誤差が大きく含まれている場合、地図情報を更新することにより更新した情報が不正確なものとなるおそれがある。 In such a system, because it is intended to update the map information on the basis of new information data, if the detection error in the information when acquiring new information is included large, and updates the map information updated information by may become inaccurate. 例えば、道路標識を画像認識し、その道路標識の位置をセンサなどによって検出する場合、その検出誤差が大きいときには道路標識の位置情報にずれを生ずることになる。 For example, a road sign image recognition, when detecting the position of the road sign, such as by sensors, thus causing a shift in the position information of the road sign when the detection error is large.

そこで本発明は、認識対象物の検出誤差を考慮して記録処理を行うことにより、認識対象物の正確な位置記録が行える位置記録装置及び位置記録方法を提供することを目的とする。 The present invention, by performing the recording process in consideration of the detection error of the recognition target object, and an object thereof is to provide a location recording device and the position recording method accurate position recording of the recognition object can be performed.

すなわち、本発明に係る位置記録装置は、認識対象物を撮像するための撮像手段と、前記撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識手段と、前記画像認識手段により画像認識された認識対象物の位置を検出する位置検出手段と、前記位置検出手段により検出された位置情報の誤差を演算する誤差演算手段と、前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録手段とを備えて構成されている。 That is, the position recording device according to the present invention includes an imaging means for imaging an object to be recognized, an image recognition unit for performing image recognition of the recognition target object based on image information captured by the imaging means, the position detecting means for detecting the position of the image recognized recognition target object by the image recognition unit, and an error calculation means for calculating an error of the position information detected by said position detecting means, the position information and the recognition object It is configured to include a recording means for recording the position detection error information.

また本発明に係る位置記録装置において、前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することが好ましい。 In the position recording device according to the present invention, the recording means, when acquiring a plurality of positional information for the same recognition target object, the smallest the recognition object position detection error of the position information thereof it is preferably recorded as the position information.

これらの発明によれば、認識対象物を撮影して画像認識し、その認識対象物の位置情報をその位置検出誤差情報と共に記憶する。 According to these aspects of the invention, image recognition by photographing a recognition object, stores position information of the object to be recognized with the position detection error information. このため、再度その認識対象物の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを認識対象物の位置情報として記録しておくことにより、正確な位置記録が行える。 Therefore, by recording the position information again when acquiring the position information of the object to be recognized, already the smallest recognition object errors than the recorded in the position information is detected errors , it performed the exact position record.

また本発明に係る位置記録装置において、前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することが好ましい。 In the position recording device according to the present invention, the recording means, when acquiring a plurality of positional information for the same recognition target object, the smallest the recognition object position detection error of the position information thereof it is preferably recorded in the map data as the position information.

この発明によれば、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。 According to the present invention, when acquiring the plurality of position information for the same recognition target object, recording the map data as the position information of the smallest and the recognition object position detection error of the position information thereof allows updating the map data by selecting a smaller positional information of detection error. このため、適切な地図データの更新が行え、正確な地図データを構築できる。 Therefore, performing the updating of the appropriate map data, you can build accurate map data.

また本発明に係る位置記録装置において、前記認識対象物が道路標識であることが好ましい。 In the position recording device according to the present invention, it is preferable that the recognition target object is a road sign.

また本発明に係る位置記録方法は、撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識工程と、前記画像認識工程にて画像認識された認識対象物の位置を検出する位置検出工程と、前記位置検出工程にて検出された位置情報の誤差を演算する誤差演算工程と、前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録工程とを備えて構成されている。 The position recording method according to the present invention, the position of the image recognition process and recognition object on which an image has been recognized by the image recognition step of performing image recognition of the recognition target object based on image information captured by the imaging means comprising a position detecting step of detecting, the error calculation step of calculating an error of the detected position information by the position detection step, and a recording step of recording the position information and the position detection error information that the recognition target object It is configured Te.

また本発明に係る位置記録方法において、前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することが好ましい。 In position recording method according to the present invention, the recording process, when acquiring the plurality of position information for the same recognition target object, the smallest the recognition object position detection error of the position information thereof it is preferably recorded as the position information.

これらの発明によれば、認識対象物を撮影して画像認識し、その認識対象物の位置情報をその位置検出誤差情報と共に記憶する。 According to these aspects of the invention, image recognition by photographing a recognition object, stores position information of the object to be recognized with the position detection error information. このため、再度その認識対象物の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを認識対象物の位置情報として記録しておくことにより、正確な位置記録が行える。 Therefore, by recording the position information again when acquiring the position information of the object to be recognized, already the smallest recognition object errors than the recorded in the position information is detected errors , it performed the exact position record.

また本発明に係る位置記録方法において、前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することが好ましい。 In position recording method according to the present invention, the recording process, when acquiring the plurality of position information for the same recognition target object, the smallest the recognition object position detection error of the position information thereof it is preferably recorded in the map data as the position information.

この発明によれば、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。 According to the present invention, when acquiring the plurality of position information for the same recognition target object, recording the map data as the position information of the smallest and the recognition object position detection error of the position information thereof allows updating the map data by selecting a smaller positional information of detection error. このため、適切な地図データの更新が行え、正確な地図データを構築できる。 Therefore, performing the updating of the appropriate map data, you can build accurate map data.

また本発明に係る位置記録方法において、前記認識対象物が道路標識であることが好ましい。 In position recording method according to the present invention, it is preferable that the recognition target object is a road sign.

本発明によれば、認識対象物の配置位置を示す地図情報を用いることにより、画像認識の処理を迅速に行え、認識精度の向上を図ることができる。 According to the present invention, by using the map information indicating the position of the recognition target object, quickly perform the processing of the image recognition, it is possible to improve the recognition accuracy.

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。 It will be described below with reference to the accompanying drawings of embodiments of the present invention in detail. なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。 The same symbols are given to the same elements in the description of the drawings, without redundant description.

図1は本発明の実施形態に係る位置記録装置の構成概要図である。 Figure 1 is a schematic configuration diagram of the position recording device according to an embodiment of the present invention.

図1に示すように、本実施形態に係る位置記録装置1は、撮像した画像に対し認識対象物を認識し、その認識対象物の位置情報を記録する装置であり、例えば車両に搭載される。 As shown in FIG. 1, the position recording device 1 according to the present embodiment recognizes the object to be recognized with respect to the image captured, an apparatus for recording positional information of the object to be recognized, is mounted for example on a vehicle .
本実施形態では認識対象物として道路標識を認識する場合について説明する。 The present embodiment is described for the case of recognizing road signs as recognition object. 位置記録装置1は、カメラ2、制御処理部3及びデータベース4を備えて構成されている。 Position recording apparatus 1 includes a camera 2 is configured to include a control unit 3 and the database 4.

カメラ2は、認識対象物を撮像するための撮像手段であり、例えばCCD、C−MOSなどの撮像素子を備えたものが用いられる。 The camera 2 is an imaging means for imaging an object to be recognized, to, for example, a CCD, those having an imaging element such as a C-MOS used. このカメラ2は、例えば車両の前方を撮像するように設置される。 The camera 2 is installed, for example, so as to image the front of the vehicle. このカメラ2としては、ステレオ視が可能なステレオカメラを用いることが好ましい。 As the camera 2, it is preferable to use a stereo camera capable of stereo vision. この場合、二台のカメラで撮像した画像に基づいて画像内の物体の三次元位置を検出することができる。 In this case, it is possible to detect the three-dimensional position of an object in an image based on the image captured by the two cameras. また、カメラ2から撮像した認識対象物までの相対距離を検出する相対位置検出手段として用いることができる。 Can also be used as a relative position detecting means for detecting a relative distance from the camera 2 to the recognition object captured.

なお、カメラ2として、一台のカメラにより構成されるものを用いる場合もある。 As the camera 2, it is sometimes used shall consist of one camera. この場合、カメラ2から認識対象物の相対位置を検出する計測器、例えばレーダ装置などを設けることが好ましい。 In this case, measuring device for detecting the relative position of the recognition target object from the camera 2, for example, it is preferable to provide a like radar device.

制御処理部3は、カメラ2と接続されており、カメラ2で撮像した画像を入力し、その撮像画像を画像処理し、撮像画像内の認識対象物を認識処理し、その認識対象物の位置情報を記録するものである。 Control processing unit 3 is connected to the camera 2, and inputs the image captured by the camera 2, the captured image to the image processing and recognition processing to recognize objects within the captured image, the position of the recognition object it is used to record the information. この制御処理部3は、例えば画像取込部31、標識認識部32、位置導出部33、車両位置方位姿勢検出部34、誤差導出部35、計測点情報記録部36、計測点情報保持部37、計測点カテゴライズ部38、計測点決定部39、情報比較部40及び地図情報記録更新部41を機能的に備えている。 The control processing unit 3, for example, the image capturing unit 31, sign recognition unit 32, the position deriving unit 33, vehicle position azimuth orientation detection unit 34, error derivation section 35, measurement point information recording unit 36, the measurement point information memory 37 includes measuring point categorizing unit 38, measurement point determination unit 39, the information comparison unit 40 and the map information recording and updating unit 41 functionally.

画像取込部31は、カメラ2で撮影した画像を取り込むものである。 Image capture unit 31 is capturing images taken with the camera 2. 標識認識部32は、パターンマッチングなどにより撮像画像内の標識を認識するものである。 Sign recognition unit 32 is configured to recognize the labeling of the captured image by pattern matching. 位置導出部33は、車両の位置、方位、姿勢と車両と標識までの距離に基づいて画像認識した標識の位置を導出するものである。 Position deriving section 33 is configured to derive the position of the vehicle, the direction, the position of label image recognition based on the distance to the position and the vehicle and labeled. 車両位置方位姿勢検出部34は、車両の位置、方位及び姿勢を検出するものである。 Vehicle position heading and orientation detector 34, the position of the vehicle, and detects the orientation and attitude. 車両の位置を検出する手段としては、例えばGPS(Global Positioning System)が用いられる。 As means for detecting the position of the vehicle, for example, GPS (Global Positioning System) is used. 車両の方位は、例えば、車両の位置の変化に基づいて検出することができる。 Direction of the vehicle, for example, can be detected based on a change in the position of the vehicle. 車両の姿勢は、例えばロール角センサ、ヨーレイトセンサなどを用いて検出することができる。 The attitude of the vehicle can be detected, for example, using a roll angle sensor, and yaw rate sensor.

誤差導出部35は、標識の絶対位置の誤差を導出するものである。 Error derivation unit 35 is adapted to derive the error in the absolute position of the marker. 例えば、カメラ2による標識までの計測距離の誤差及びGSPによる車両の計測位置の誤差が演算され、これらの誤差から標識の絶対位置の最大誤差が算出される。 For example, the error of the measurement position of the vehicle due to an error and GSP distance measured by the camera 2 to the indicator is calculated, the maximum error of the absolute position of the indicator is calculated from these errors. 計測点情報記録部36は、標識(計測点)の位置などの情報を記録するものである。 Measurement point information recording section 36 is for recording the information such as the position of the label (measurement point). 一連の画像認識により標識情報が複数取得された場合には、各情報が記録される。 Label information when a plurality of acquisition, each information is recorded by a series of image recognition. 計測点情報保持部37は、標識情報を保持するものである。 Measurement point information memory 37 is for holding the label information.

計測点カテゴライズ部38は、計測点として記録された複数の標識情報をその計測位置に基づいて同一標識の情報をカテゴライズするものである。 Measurement point categorizing unit 38 is configured to categorize the information of the same label on the basis of a plurality of labeled information recorded as a measurement point on the measurement position. 計測点決定部39は、カテゴライズされた複数の標識情報の中からその代表点を選定するものである。 Measurement point determination unit 39 is for selecting the representative points from a plurality of labeled information categorized. 情報比較部40は、代表点の標識情報と地図データ上に既に記録されている標識情報を比較するものである。 Information comparison unit 40 is configured to compare the label information already recorded on the label information and the map data of the representative points. 地図情報記録更新部41は、比較した代表点の標識情報と地図データ上に既に記録されている標識情報のいずれかを地図情報として更新処理するものである。 Map information recording and updating unit 41 is configured to update processing either labeled information already recorded on the label information and the map data of the representative points of comparison as the map information.

次に、本実施形態に係る位置記録装置の動作及び位置記録方法について説明する。 Next, the operation and position recording method of the position recording device according to the present embodiment.

図2は本実施形態に係る位置記録装置の基本的動作及び位置記録方法を示すフローチャートである。 Figure 2 is a flow chart showing the basic operation and the position recording method of the position recording device according to the present embodiment. この図2の制御処理は、例えば制御処理部3によって実行される。 The control process of FIG 2 is performed, for example, by the control unit 3.

まず、図2のS10に示すように、カメラ画像の取得処理が行われる。 First, as shown in S10 in FIG. 2, process of acquiring the camera image. この処理は、カメラ2から出力される画像信号を制御処理部3に取り込んで撮像画像を読み込む処理である。 This process is a process of reading the captured image capturing an image signal output from the camera 2 to the control processing unit 3. 撮像画像は、車両の前方を撮像した画像であり、デジタル画像として記憶される。 Captured image is an image of the captured forward direction of the vehicle, it is stored as a digital image. カメラ2から出力される画像信号がデジタル化されていない場合には、制御処理部3においてアナログ−デジタル変換(A/D変換)を行えばよい。 If the image signals output from the camera 2 is not digitized, the analog in the control processing unit 3 - may perform digital conversion (A / D conversion).

そして、S12に移行し、標識認識処理が行われる。 Then, the flow shifts to S12, sign recognition processing is performed. 標識認識処理は、カメラ2が撮像した画像内にある標識を画像認識する処理である。 Sign recognition process, the camera 2 is label image recognizing processing within the image captured. 例えば、この標識認識処理は、パターンマッチングの手法を用いて行われる。 For example, the label recognition process is performed using the pattern matching method. パターンマッチングに用いる各種の標識のテンプレートが予め設定され、撮像した画像内にテンプレートと所定以上の相関値を示すものが認識対象物であると判断される。 Is various setting label templates previously used for pattern matching, which shows the template and given more correlation values ​​in the image captured is determined to be the recognition target object. このパターンマッチングとしては、例えば差分総和、正規化相関、ニューラルネットなどが用いられる。 As the pattern matching, for example a difference sum, normalized correlation, such as a neural network is used.

そして、S14に移行し、車両姿勢情報取得処理が行われる。 Then, the flow shifts to S14, the vehicle attitude information acquisition processing is performed. この処理は、カメラ2を搭載した車両の姿勢情報を取得する処理である。 This process is a process of acquiring the mounting posture information of the vehicle camera 2. 例えば、車両に搭載したセンサなどにより車両のロール角、ピッチ角、ヨー角及び車高などの姿勢情報を取得する。 For example, the roll angle of the vehicle by a sensor mounted on the vehicle, obtains the position information such as the pitch angle, yaw angle and the vehicle height.

そして、S16に移行し、標識の相対位置導出処理が行われる。 Then, the flow shifts to S16, the relative position deriving process of the label is carried out. 標識の相対位置導出処理は、画像認識された標識と車両との相対位置を導出する処理である。 The relative position derivation process of label and deriving a relative position of the image recognized labeled and the vehicle. 例えば、まずカメラ2と標識との相対位置が導出され、次いで車両に対する相対位置が導出される。 For example, first, the relative position between the camera 2 and the indicator is derived, then the relative position is derived with respect to the vehicle. 具体的に説明すると、図3に示すように、カメラ2としてステレオカメラを用いる場合、右カメラと左カメラの撮像位置間の基線長をbとし、右カメラ及び左カメラにおける焦点距離をfとし、左カメラにおける標識の撮像位置座標値をPl(xl、yl)とし、右カメラにおける標識の撮像位置座標値をPr(xr、yr)とすると、カメラ2のカメラ座標系における標識の位置座標値P(Xps、Yps、Zps)は次の式(1)〜(3)で表される。 More specifically, as shown in FIG. 3, the case of using a stereo camera as the camera 2, the base line length between the imaging position of the right camera and the left camera is b, the focal length in the right camera and the left camera is f, the imaging position coordinates of the label in the left camera Pl (xl, yl) and the image pickup position coordinates of the label in the right camera Pr (xr, yr) When the position coordinates of the label in the camera coordinate system of the camera 2 P (Xps, Yps, Zps) is expressed by the following equation (1) to (3).

Xps=b・(xl+xr)/2・(xl−xr) …(1) Xps = b · (xl + xr) / 2 · (xl-xr) ... (1)
Yps=b・f/(xl−xr) …(2) Yps = b · f / (xl-xr) ... (2)
Zps=b・yl/(xl−xr) …(3) Zps = b · yl / (xl-xr) ... (3)
また、図4に示すように、カメラ2のセンサ原点が車両原点に対し車両座標系のXc軸、Yc軸、Zc軸においてax、ay、azだけ平行移動しているとすると、標識の車両座標系における位置座標値P(Xpc、Ypc、Zpc)は次の式(4)〜(6)で表される。 Further, as shown in FIG. 4, Xc axis of the sensor origin of the camera 2 is the vehicle coordinate system relative to the vehicle origin, Yc axis, ax in Zc axis, ay, Assuming that only translated az, labeling of the vehicle coordinates position coordinate value P in the system (Xpc, Ypc, Zpc) is represented by the following formula (4) to (6).

Xpc=Xps+ax …(4) Xpc = Xps + ax ... (4)
Ypc=Yps+ay …(5) Ypc = Yps + ay ... (5)
Zpc=Zps+az …(6) Zpc = Zps + az ... (6)
また、図4に示すように、車両座標系のXc軸が水平面に対しロール角φだけ傾いており、車両座標系のYc軸が水平面に対しピッチ角ρだけ傾いているとすると、標識の姿勢修正車両座標系における位置座標値P(Xpf、Ypf、Zpf)は次の式(7)〜(9)で表される。 Further, as shown in FIG. 4, Xc axis of the vehicle coordinate system is tilted by the roll angle φ with respect to the horizontal plane, the Yc axis of the vehicle coordinate system and is inclined by the pitch angle ρ with respect to the horizontal plane, label orientation position coordinate value P in the modified vehicle coordinate system (Xpf, Ypf, Zpf) is expressed by the following equation (7) to (9).

Xpf=Xpc・cosφ+Ypc・sinφ・cosρ+Zpc・sinφ・sinρ …(7) Xpf = Xpc · cosφ + Ypc · sinφ · cosρ + Zpc · sinφ · sinρ ... (7)
Ypf=−Ypc・sinρ+Zpc・cosρ …(8) Ypf = -Ypc · sinρ + Zpc · cosρ ... (8)
Zpf=Xpc・sinφ+Ypc・cosφ・cosρ+Zpc・cosφ・sinρ …(9) Zpf = Xpc · sinφ + Ypc · cosφ · cosρ + Zpc · cosφ · sinρ ... (9)
この姿勢修正された車両座標系の位置座標値P(Xpf、Ypf、Zpf)により、車両に対する標識の相対位置を特定することができる。 The posture corrected position coordinate value P of the vehicle coordinate system (Xpf, Ypf, Zpf) makes it possible to identify the relative positions of labels for the vehicle.

そして、図2のS18に移行し、車両位置方位情報取得処理が行われる。 Then, the flow shifts to S18 in FIG. 2, the vehicle position direction information acquisition process is performed. この処理は、カメラ2を搭載した車両の位置及び方位の情報を取得する処理である。 This process is a process of acquiring the mounting position and orientation information of the vehicle camera 2. 例えば、GPSの検出情報に基づいて車両座標系及び修正車両座標系における車両原点の緯度、経度、標高及び車両の進行方向(方位角)を取得する。 For example, to obtain the latitude of the vehicle origin in the vehicle coordinate system and the modified vehicle coordinate system, longitude, altitude and the traveling direction of the vehicle (azimuth) based on the GPS detection information.

そして、S20に移行し、標識の絶対位置導出処理が行われる。 Then, the flow shifts to S20, the absolute position deriving process of the label is carried out. この処理は、標識の絶対位置を導出する処理である。 This process is a process for deriving the absolute position of the marker. 例えば、S16で導出された標識の修正車両座標系の位置座標値P及びS18で取得された車両原点の緯度、経度、標高、車両の方位角に基づいて、標識の絶対位置が導出される。 For example, the latitude of the vehicle origin obtained by the positional coordinate values ​​P and S18 in labeling of modified vehicle coordinate system derived in S16, longitude, altitude, on the basis of the azimuth angle of the vehicle, the absolute position of the marker is derived.

具体的には、図5に示すように、車両の位置(ψom、λom)に基づいて、緯度経度座標系における標識の位置(ψp、λp)が導出される。 Specifically, as shown in FIG. 5, on the basis of the position of the vehicle (ψom, λom), the position of the label in the latitude and longitude coordinates (Psi] p, .lambda.p) is derived. また、車両の位置(ψom、λom)に基づいて、図6に示すように、世界平面直角座標系における車両位置(Xcg、Ycg、Zcg)及び標識位置(Xpg、Ypg、Zpg)が導出される。 Further, based on the position of the vehicle (ψom, λom), as shown in FIG. 6, the vehicle position on the world plane rectangular coordinate system (Xcg, Ycg, Zcg) and marker position (Xpg, Ypg, ZPG) is derived . 世界平面直角座標系は、ある地点を基準点として北方向をX軸、東方向をY軸とした平面座標系である。 World plane rectangular coordinate system, X-axis to the north direction certain point as a reference point, a plane coordinate system east direction is Y axis.

そして、S22に移行し、計測誤差の導出処理が行われる。 Then, the flow shifts to S22, derivation processing of the measurement error is performed. この処理は、標識の絶対位置の誤差を演算する処理である。 This process is a process of calculating an error of the absolute position of the marker. 例えば、カメラ2による標識までの計測距離の誤差及びGSPによる車両の計測位置の誤差を演算し、これらの誤差から標識の絶対位置の最大誤差が算出される。 For example, calculates the error in the measurement position of the vehicle due to an error and GSP distance measured by the camera 2 to the label, the maximum error of the absolute position of the indicator is calculated from these errors.

例えば、カメラ2による標識までの計測距離の最大誤差は、カメラ2の画角、画素数、カメラ間の基線長などに基づき標識までの距離に応じて演算される。 For example, the maximum error in the distance measured by the camera 2 to the label, the angle of view of the camera 2, the number of pixels, is calculated according to the distance to label based on such base length between the cameras. また、GSPによる車両の計測位置の最大誤差は、GPS電波受信状態により推定される。 The maximum error of the measurement position of the vehicle by the GSP, is estimated by the GPS electric wave reception state. そして、図7に示すように、カメラ2による標識までの計測距離の最大誤差EcとGSPによる車両の計測位置の最大誤差Egに基づいて標識の絶対位置の最大誤差(Ec+Eg)が演算される。 Then, as shown in FIG. 7, the maximum error of the absolute position of the indicator (Ec + Eg) is calculated on the basis of by the maximum error Ec and GSP distance measured by the camera 2 to the labeled maximum error Eg measurement position of the vehicle.

なお、標識の絶対位置の最大誤差は、カメラ2による標識までの計測距離の誤差及びGSPによる車両の計測位置の誤差だけでなく、車両のロール角、ヨー角などの姿勢を検出するセンサの計測誤差も考慮して演算してもよい。 The maximum error of the absolute position of the label, not only an error of measurement position of the vehicle due to an error and GSP distance measured by the camera 2 to the label, the roll angle of the vehicle, measurement of the sensor for detecting the posture of such a yaw angle error may also be calculated by taking into account. この場合、より正確な標識の絶対位置の最大誤差を得ることができる。 In this case, it is possible to obtain the maximum error of the absolute position of the more accurate labeling.

そして、S24に移行し、標識の絶対位置(計測結果)及びその位置情報の最大誤差が記録保持される。 Then, the flow shifts to S24, the maximum error of the absolute position (measurement result) and the position information of the labels are hold. その際、標識の位置情報と共に、標識の種類情報も同時に記録される。 At that time, the positional information of the label, the type information of the label is also recorded at the same time. 次いで、S26に移行し、同一標識のカテゴライズ処理が行われる。 Then, the process proceeds to S26, categorization process of the same label are carried out. この処理は、同一の標識について複数の位置情報が記録されている場合にそれらの位置情報を同一標識の情報としてカテゴライズする処理である。 This process is a process for the same label plurality of position information categorizing the position information of them may be recorded as information of the same label.

例えば、図8に示すように、走行する車両が同一の標識を連続的に位置計測した場合、計測誤差により、同一標識について異なる位置データp1〜pnが複数記録される。 For example, as shown in FIG. 8, when the vehicle traveling is measured continuously position the same label, the measurement error, position data p1~pn different for the same labels are multiple recorded. この場合、これら一群の位置データp1〜pnは、所定の条件下で同一標識の位置データとしてカテゴライズされる。 In this case, a group of location data p1~pn These are categorized as the same label position data under a predetermined condition. 例えば、各位置データの誤差円が互いに重なり合うこと、認識対象物の種類が同一であること、位置計測時の車両進行方向が設定値以内であること及び相互に同一画像内に同時に存在しないことがカテゴライズの条件とされる。 For example, the error circle of each position data overlap one another, that the type of recognition object are the same, that the vehicle traveling direction when position measurement is not present at the same time in the same image that and each other is within a set value It is a condition for categorization.

ここで誤差円とは、標識のデータの位置を中心とし誤差の大きさを半径又は直径とした円である。 Here, the error circle, a circle in which the size of the center position of the label data error and the radius or diameter. 図9に示すように、位置データp1〜p3が記録されている場合、位置データp1の誤差円c1、位置データp2の誤差円c2、位置データp3の誤差円c3が互いに重なり合っていることが、位置データp1〜p3のカテゴライズの一条件とされる。 As shown in FIG. 9, when the position data p1~p3 is recorded, that the error yen c1 position data p1, error yen c2 position data p2, error yen c3 position data p3 overlap each other, is as one condition for categorization of the position data pi to p3.

そして、図2のS28に移行し、カテゴライズされた位置データ群(計測点群)の中から代表点が選定される。 Then, the flow shifts to S28 in FIG. 2, representative points are selected from among the categorized position data group (measurement point group). 例えば、計測位置の最大誤差が最小のものが代表点と選定される。 For example, the maximum error of the measurement position is smallest is selected as the representative point. この場合、位置データ群の中で最もデータ内容の信頼性が高いものを代表点として選定することができる。 In this case, it is possible to select those reliable most data contents in the position data group as a representative point. また、選定の仕方としては、標識までの計測距離が所定の距離に最も近い位置データを代表点として選定する場合もある。 As the manner of selection, in some cases to select the nearest location data to the distance measuring distance is predetermined to label as the representative point. その際、所定の距離としては、10〜20mのいずれかの距離が設定される。 At that time, as the predetermined distance, any distance 10~20m is set. また、選定の仕方として、位置データの平均位置を代表点として選定する場合もある。 Further, as a method of choice in some cases to select the average position of the position data as a representative point.

そして、S30に移行し、地図データベースの検索処理が行われる。 Then, the flow shifts to S30, the search processing of the map data base is performed. この処理は、データベース4にすでに記録されるデータの中に画像認識した標識と同一の標識のデータが存在するか否かを検索する処理である。 This process is a process for searching whether labeled with the same label data image recognition in the data that is already recorded in the database 4 exists. 例えば、誤差円がS28で選定した代表点の標識の誤差円と重なり、対象物種類が代表点の標識と同種類であり、かつ、計測時車両進行方向が代表点の計測時車両進行方向と所定の角度以内である記録済みデータが存在するか否かが検索される。 For example, overlaps with error circle labels representative points error circle is selected in S28, the object type is labeled with the same type of the representative point, and a measurement time of the vehicle traveling direction of the measurement time of the vehicle traveling direction representative point whether the recorded data is within a predetermined angle there is searched.

そして、S32に移行し、S30において代表点と対応する標識が地図情報(地図データベース)に存在したか否かが判断される。 Then, the flow shifts to S32, the corresponding indicator as a representative point in S30 whether present in the map information (map database) are determined. S30にて代表点と対応する標識が地図情報に存在しないと判断されたときには、代表点の情報がその標識のデータとして地図データに記録される(S38)。 Corresponding labeled representative point at S30, when it is determined that there is no map information, information of the representative point is recorded in the map data as the label of the data (S38). この記録処理は、例えば、標識の種類、標識の中心位置(緯度経度位置)、標識の標高、標識の道路や地面からの高さ、標識の表示向きの方位角度、標識の大きさ及び位置計測時の最大誤差をそれぞれ記録して行われる。 The recording process, for example, type of label, the center position of the indicator (latitude and longitude position), labeling of altitude, height from the road or the ground of the label, the azimuth angle of the label display direction, size and position measurement of the label It is carried out to record the maximum error of the time, respectively.

一方、S30にて代表点と対応する標識が地図情報に存在すると判断されたときには、地図情報の標識における計測誤差と代表点の標識の計測誤差との比較処理が行われる。 On the other hand, the corresponding labeled representative point at S30 when it is determined to be present in the map information, the comparison processing of the label of measurement error of the representative point and the measurement error in the labeling of the map information. 例えば、地図情報の標識における計測位置の最大誤差と今回認識された標識(代表点)の計測位置の最大誤差とが対比される。 For example, the maximum error of the measurement position of label recognized this and the maximum error of the measurement position in the label map information (representative point) is compared.

そして、S36に移行し、地図情報の標識の計測位置と今回認識された標識の計測位置のうち最大誤差の小さい方がその標識の位置データとして地図データに記憶される。 Then, the flow shifts to S36, the smaller of the maximum error is stored in the map data as the label position data of the measurement position and recognized labeled measurement position this label map information. そして、S40に移行し、制御処理の終了条件が成立したか否かが判断される。 Then, the process proceeds to S40, whether or not the condition for termination of the control process is established is determined. 終了条件が成立してないと判断されたときには、S10に戻る。 When the termination condition is determined not to be satisfied, the flow returns to S10. 一方、終了条件が成立したと判断されたときには、制御処理を終了する。 On the other hand, when the termination condition is determined to be satisfied, the control process is terminated.

以上のように、本実施形態に係る位置記録装置及び位置記録方法によれば、認識対象物である標識を撮影して画像認識し、その標識の位置情報をその位置検出誤差情報と共に記憶する。 As described above, according to the position recording device and the position recording method of the present embodiment, the image recognition by taking a recognition object labels, stores position information of the label with the position detection error information. このため、再度その標識の位置情報を取得した際に、すでに記録されている位置情報と検出誤差を比べてその誤差の最小のものを標識の位置情報として記録しておくことにより、正確な位置記録が行える。 Therefore, by recording the time of acquiring the position information of the label again, already smallest recorded the error compared to the detection error position information is what the position information of the label, the exact position recording can be performed.

例えば、最新の情報をその標識の位置情報として記録する場合には、最新に計測された位置情報が大きな誤差を含んでいる場合、不正確な位置情報が更新されることとなる。 For example, in the case of recording the latest information as the position information of the label, when the position information measured in the latest contains a large error, so that an incorrect location information is updated. これに対し、本実施形態に係る位置記録装置及び位置記録方法では、このような場合、誤差の小さい古い情報が標識の位置情報として記録され、記録更新がされないため、不正確な位置情報が記録されることが防止でき、正確な位置情報の記録が可能となる。 In contrast, in the position recording device and the position recording method of the present embodiment, such a case, a small old information in the error is recorded as the position information of the label, since they are not recording updated, an incorrect location information recording is the fact prevented becomes possible to record accurate position information.

また、本実施形態に係る位置記録装置及び位置記録方法によれば、同一の標識について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその標識の位置情報として地図データに記録することにより、検出誤差の小さい位置情報を選択して地図データを更新できる。 Further, according to the position recording device and the position recording method of the present embodiment, when acquiring the plurality of position information for the same label, the smallest the location of the label those of the position detection error of the position information thereof by recording the map data as the information can be updated map data by selecting a smaller positional information of detection error. このため、適切な地図データの更新が行え、正確な地図データを構築できる。 Therefore, performing the updating of the appropriate map data, you can build accurate map data.

なお、本実施形態では、道路上の道路標識を認識する場合について説明したが、本発明に係る位置記録装置及び位置記録方法はこのようなものに限られるものではなく、信号機、建築物、公共施設など標識以外のものを画像認識する場合に適用してもよい。 In the present exemplary embodiment describes a case of recognizing road signs on the road, the position recording device and the position recording method of the present invention is not limited to this arrangement, traffic lights, building, public may be applied in the case of image recognition the ones such as non-labeled facility.

本発明の実施形態に係る位置記録装置の構成概要図である。 It is a schematic configuration diagram of the position recording device according to an embodiment of the present invention. 本発明の実施形態に係る位置記録装置の動作及び位置記録方法を示すフローチャートである。 It is a flowchart showing the operation and the position recording method of the position recording device according to an embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における標識相対距離演算の説明図である。 It is an explanatory view of a label relative distance calculation in the position recording device and the position recording method of the embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における車両姿勢演算の説明図である。 It is an explanatory view of the vehicle attitude calculation in the position recording device and the position recording method of the embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における標識絶対位置演算の説明図である。 It is an illustration of labeled absolute position calculation in the position recording device and the position recording method of the embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における標識絶対位置演算の説明図である。 It is an illustration of labeled absolute position calculation in the position recording device and the position recording method of the embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における誤差演算の説明図である。 It is an explanatory view of the error calculation in the position recording device and the position recording method of the embodiment of the present invention. 本発明の実施形態に係る位置記録装置及び位置記録方法における標識カテゴライズの説明図である。 In the position recording device and the position recording method of the embodiment of the present invention is an explanatory view of a label categorization. 本発明の実施形態に係る位置記録装置及び位置記録方法における標識カテゴライズの説明図である。 In the position recording device and the position recording method of the embodiment of the present invention is an explanatory view of a label categorization.

符号の説明 DESCRIPTION OF SYMBOLS

1…位置記録装置、2…カメラ(撮像手段)、3…制御処理部、4…データベース(記録手段)。 1 ... position recording apparatus, 2 ... camera (imaging means), 3 ... control unit, 4 ... database (recording means).

Claims (8)

  1. 認識対象物を撮像するための撮像手段と、 An imaging means for imaging an object to be recognized,
    前記撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識手段と、 An image recognition unit for performing image recognition of the recognition target object based on image information captured by the imaging means,
    前記画像認識手段により画像認識された認識対象物の位置を検出する位置検出手段と、 Position detecting means for detecting the position of the image recognized recognition target object by the image recognition unit,
    前記位置検出手段により検出された位置情報の誤差を演算する誤差演算手段と、 And error calculating means for calculating an error of the position information detected by said position detecting means,
    前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録手段と、 Recording means for recording position information and the position detection error information that the object to be recognized,
    を備えた位置記録装置。 Position recording device provided with.
  2. 前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することを特徴とする請求項1に記載の位置記録装置。 It said recording means, when acquiring a plurality of positional information for the same recognition target object, characterized by recording as the position information of the smallest and the recognition object position detection error of the position information thereof position recording apparatus according to claim 1.
  3. 前記記録手段は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することを特徴とする請求項1に記載の位置記録装置。 Said recording means, when acquiring a plurality of positional information for the same recognition target object as the position information of the smallest and the recognition object position detection error of the position information thereof to be recorded in the map data position recording apparatus according to claim 1, wherein.
  4. 前記認識対象物が道路標識であることを特徴とする請求項1〜3のいずれかに記載の位置記録装置。 Position recording apparatus according to claim 1, wherein the recognition object is a road sign.
  5. 撮像手段により撮像された画像情報に基づいて前記認識対象物の画像認識を行う画像認識工程と、 An image recognition step of performing image recognition of the recognition target object based on image information captured by the imaging means,
    前記画像認識工程にて画像認識された認識対象物の位置を検出する位置検出工程と、 A position detection step of detecting a position of the image recognized recognition target object in the image recognition step,
    前記位置検出工程にて検出された位置情報の誤差を演算する誤差演算工程と、 An error calculation step of calculating an error of the detected position information by the position detection step,
    前記認識対象物の位置情報及びその位置検出誤差情報を記録する記録工程と、 A recording step of recording position information and the position detection error information that the object to be recognized,
    を備えた位置記録方法。 Position recording method comprising a.
  6. 前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として記録することを特徴とする請求項5に記載の位置記録方法。 The recording step, when acquiring the plurality of position information for the same recognition target object, characterized by recording as the position information of the smallest and the recognition object position detection error of the position information thereof position recording method according to claim 5.
  7. 前記記録工程は、同一の認識対象物について複数の位置情報を取得した場合に、それらの位置情報のうち位置検出誤差の最小のものをその認識対象物の位置情報として地図データに記録することを特徴とする請求項5に記載の位置記録方法。 The recording step, when acquiring the plurality of position information for the same recognition target object as the position information of the smallest and the recognition object position detection error of the position information thereof to be recorded in the map data position recording method according to claim 5, characterized.
  8. 前記認識対象物が道路標識であることを特徴とする請求項5〜7のいずれかに記載の位置記録方法。 Position recording method according to any one of claims 5-7, wherein the recognition object is a road sign.
JP2005150989A 2005-05-24 2005-05-24 Position recording device and position recording method Pending JP2006330908A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005150989A JP2006330908A (en) 2005-05-24 2005-05-24 Position recording device and position recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005150989A JP2006330908A (en) 2005-05-24 2005-05-24 Position recording device and position recording method

Publications (1)

Publication Number Publication Date
JP2006330908A true JP2006330908A (en) 2006-12-07

Family

ID=37552561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005150989A Pending JP2006330908A (en) 2005-05-24 2005-05-24 Position recording device and position recording method

Country Status (1)

Country Link
JP (1) JP2006330908A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250687A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
JP2010008390A (en) * 2008-06-30 2010-01-14 Aisin Aw Co Ltd Stop duty point learning device, stop duty point learning program, and navigation device using this
JP2010185879A (en) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd Device and method for recognizing position of own car
WO2010140314A1 (en) 2009-06-03 2010-12-09 パナソニック株式会社 Distance measuring device and distance measuring method
US8155826B2 (en) 2007-03-30 2012-04-10 Aisin Aw Co., Ltd. Vehicle behavior learning apparatuses, methods, and programs
US8184861B2 (en) 2007-03-30 2012-05-22 Aisin Aw Co., Ltd. Feature information management apparatuses, methods, and programs
US8213682B2 (en) 2007-03-30 2012-07-03 Aisin Aw Co., Ltd. Feature information collecting apparatuses, methods, and programs
WO2013140567A1 (en) * 2012-03-22 2013-09-26 パイオニア株式会社 Sign information processing device, sign information processing method and sign information processing program
US8825353B2 (en) 2007-09-28 2014-09-02 Aisin Aw Co., Ltd. Parking support systems, parking support methods, and parking support programs
US8892517B2 (en) 2006-06-09 2014-11-18 Aisin Aw Co., Ltd. Data updating system, navigation device, server, and method of data updating

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8892517B2 (en) 2006-06-09 2014-11-18 Aisin Aw Co., Ltd. Data updating system, navigation device, server, and method of data updating
JP2008250687A (en) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd Feature information collection device and feature information collection method
US8213682B2 (en) 2007-03-30 2012-07-03 Aisin Aw Co., Ltd. Feature information collecting apparatuses, methods, and programs
US8229169B2 (en) 2007-03-30 2012-07-24 Aisin Aw Co., Ltd. Feature information collecting apparatus and feature information collecting method
JP4569837B2 (en) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 Feature information collecting apparatus and the feature information collecting method
US8184861B2 (en) 2007-03-30 2012-05-22 Aisin Aw Co., Ltd. Feature information management apparatuses, methods, and programs
US8155826B2 (en) 2007-03-30 2012-04-10 Aisin Aw Co., Ltd. Vehicle behavior learning apparatuses, methods, and programs
US8825353B2 (en) 2007-09-28 2014-09-02 Aisin Aw Co., Ltd. Parking support systems, parking support methods, and parking support programs
JP2010008390A (en) * 2008-06-30 2010-01-14 Aisin Aw Co Ltd Stop duty point learning device, stop duty point learning program, and navigation device using this
WO2010140314A1 (en) 2009-06-03 2010-12-09 パナソニック株式会社 Distance measuring device and distance measuring method
JP2010185879A (en) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd Device and method for recognizing position of own car
WO2013140567A1 (en) * 2012-03-22 2013-09-26 パイオニア株式会社 Sign information processing device, sign information processing method and sign information processing program

Similar Documents

Publication Publication Date Title
US7826967B2 (en) Matching camera-photographed image with map data in portable terminal and travel route guidance method
US8174568B2 (en) Unified framework for precise vision-aided navigation
CN1896684B (en) Geographic data collecting system
JP4820221B2 (en) Of the in-vehicle camera calibration apparatus and program
EP2159541A1 (en) Navigation device, navigation method, and navigation program
JP6306683B2 (en) Dynamic Category object recognition computer based method computer-based methods and systems
JP4002919B2 (en) Mobile height discrimination system
US7676079B2 (en) Index identification method and apparatus
US5642106A (en) Visual incremental turn detector
JP4871909B2 (en) Object recognition apparatus, and an object recognition method
JP4007899B2 (en) Motion detection device
JP5841849B2 (en) Navigation system and method using coded marker
JP4202282B2 (en) Installation system and method of rfid tag using the vehicle
US5247356A (en) Method and apparatus for mapping and measuring land
US8698875B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
JP5114514B2 (en) The position estimation device
US20070133012A1 (en) Method and device for determining the actual position of a geodetic instrument
JP2009008662A (en) Object detection cooperatively using sensor and video triangulation
KR20060087449A (en) Vehicle position recognizing device and vehicle position recognizing method
JP4966542B2 (en) Position data interpolation method and a position measuring device
JP2007108043A (en) Location positioning device, location positioning method
JP2008293380A (en) Lane determination device, lane determination method and navigation apparatus using the same
JP4557288B2 (en) Image recognition apparatus and an image recognition method and localization device using the same, the vehicle control device and a navigation device
JP2006209510A (en) Image recognition device and image recognition method
JP5227110B2 (en) Omnidirectional camera and spatial data collection devices with Gps