JP4702569B2 - Image processing apparatus for vehicle - Google Patents
Image processing apparatus for vehicle Download PDFInfo
- Publication number
- JP4702569B2 JP4702569B2 JP2008254383A JP2008254383A JP4702569B2 JP 4702569 B2 JP4702569 B2 JP 4702569B2 JP 2008254383 A JP2008254383 A JP 2008254383A JP 2008254383 A JP2008254383 A JP 2008254383A JP 4702569 B2 JP4702569 B2 JP 4702569B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- momentum
- predetermined number
- points
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、車両用画像処理装置に係り、特に撮像手段で撮像した画像に基づいて車両周辺の３次元座標を算出する車両用画像処理装置に関する。 The present invention relates to a vehicular image processing apparatus, and more particularly to a vehicular image processing apparatus that calculates three-dimensional coordinates around a vehicle based on an image captured by an imaging unit.
従来、車両周辺の３次元座標を算出する車両用画像処理装置において、車両の移動に伴って１台の車載カメラで車両周辺を撮像した２枚の画像から、それぞれ多数の特徴点を抽出し、２枚の画像間で共通の部位を撮像していると判断される特徴点を対応付け、これら多数の対応点に基づいて自車運動量又はカメラ運動量（並進移動量と回転量）を算出するものが知られている（例えば、特許文献１参照）。 Conventionally, in a vehicular image processing device that calculates three-dimensional coordinates around a vehicle, a number of feature points are extracted from two images obtained by imaging the vehicle periphery with a single in-vehicle camera as the vehicle moves, A feature point determined to capture a common part between two images is associated, and the vehicle movement amount or camera movement amount (translational movement amount and rotation amount) is calculated based on these many corresponding points. Is known (see, for example, Patent Document 1).
自車運動量の算出処理では、例えば、ランダムに選択された複数（８点）の対応点の組が多数設定され、各組でそれぞれ基礎行列が導出される。そして、複数導出された基礎行列を所定の評価量で評価し、この評価量に基づいて最も確からしい基礎行列が選択される。そして、選択された基礎行列に基づいて、自車運動量が推定される。 In the calculation process of the own vehicle momentum, for example, a large number of sets of a plurality of (8 points) corresponding points selected at random are set, and a basic matrix is derived for each set. Then, a plurality of derived base matrices are evaluated with a predetermined evaluation amount, and the most probable basic matrix is selected based on the evaluation amount. Then, based on the selected basic matrix, the own vehicle momentum is estimated.
一方、２枚の画像間での特徴点の対応付けの処理は、例えば、第１画像の特徴点の画像部分を、第２画像の特徴点と順次比較していくことにより、マッチング度合が高い特徴点同士が対応点として対応付けられる。 On the other hand, the process of associating the feature points between the two images has a high degree of matching, for example, by sequentially comparing the image portions of the feature points of the first image with the feature points of the second image. The feature points are associated as corresponding points.
しかしながら、このような対応付け手法は演算負荷が高くなるため効率的ではない。また、このような対応付け手法では、似たような特徴点が複数存在する場合に、本来対応すべき特徴点ではない特徴点と対応付けられ誤対応（アウトライア）が発生してしまうという問題があった。誤対応が発生すると、自車運動量の算出処理および３次元座標の算出処理において、大きな誤差が生じてしまう。 However, such an association method is not efficient because of a high calculation load. In addition, with such an association method, when there are a plurality of similar feature points, there is a problem that an erroneous correspondence (outlier) is caused by being associated with a feature point that is not a feature point that should originally correspond. was there. When an incorrect response occurs, a large error occurs in the calculation process of the own vehicle momentum and the calculation process of the three-dimensional coordinates.
このような対応付け処理の演算負荷を軽減し且つ誤対応を抑制するために、例えば特許文献２に記載の画像処理装置では、ＧＰＳ／ＩＮＳ方式の車載センサからのデータに基づいて、仮に自車運動量を算出し、この自車運動量に基づいて、第１画像の特徴点に対応する第２画像の特徴点を、仮のエピポーラ拘束線上で探索するように構成されている。これにより、この画像処理装置では、画像平面上で直線の拘束となる仮のエピポーラ拘束線上に対応点の探索範囲が限定されることで演算負荷を軽減することができると共に、誤対応を抑制することができる。 In order to reduce the computation load of such association processing and suppress erroneous correspondence, for example, in the image processing device described in Patent Document 2, the vehicle itself is temporarily based on data from a GPS / INS-type in-vehicle sensor. The momentum is calculated, and the feature point of the second image corresponding to the feature point of the first image is searched on the temporary epipolar constraint line based on the own vehicle momentum. Thereby, in this image processing apparatus, the calculation load can be reduced by limiting the search range of the corresponding points on the temporary epipolar constraint line, which is a constraint of the straight line on the image plane, and the miscorrespondence is suppressed. be able to.
しかしながら、特許文献２に記載の画像処理装置においては、エピポーラ拘束線上に似たような特徴点が存在する場合には、やはり誤対応が生じるおそれがあるという問題があった。また、この画像処理装置では、従来と比べて演算負荷が軽減されるものの、エピポーラ拘束線上の範囲にわたって探索しなければならないため依然として演算負荷が高くなる場合があり、より演算負荷を軽減させたいという要望があった。 However, the image processing apparatus described in Patent Document 2 has a problem that erroneous correspondence may occur when similar feature points exist on the epipolar constraint line. Further, in this image processing apparatus, although the calculation load is reduced as compared with the conventional case, the calculation load may still be high because the search must be performed over the range on the epipolar constraint line, and it is desired to further reduce the calculation load. There was a request.
また、従来のように、ランダムに選択した複数の対応点からなる多数の対応点の組から、自車運動量を推定する方法では、自車運動量の推定精度を向上させるためには、対応点の組の数をより多く設定しなくてはならず、演算負荷が高くなってしまうという問題があった。 Also, in the conventional method of estimating the vehicle momentum from a set of a plurality of corresponding points made up of a plurality of corresponding points selected at random, in order to improve the estimation accuracy of the vehicle momentum, There was a problem that the number of sets had to be set more and the calculation load would be high.
本発明は、このような課題を解決するためになされたものであり、演算負荷を低減すると共に、画像間での特徴点の誤対応を抑制し、且つ、自車運動量及び３次元座標値の算出精度を向上させることが可能な車両用画像処理装置を提供することを目的としている。 The present invention has been made in order to solve such a problem, and reduces the calculation load, suppresses miscorrespondence of feature points between images, and reduces the vehicle momentum and three-dimensional coordinate values. An object of the present invention is to provide a vehicle image processing apparatus capable of improving calculation accuracy.
上記の目的を達成するために、本発明は、車両に搭載され車両周囲の画像を撮像する撮像手段と、撮像手段が第１時間に撮像した第１画像中から特徴点を抽出し、撮像手段が第１時間から所定時間経過後の第２時間に撮像した第２画像中から、第１画像中の特徴点に対応する対応点を抽出し、特徴点と対応点を用いて撮像手段の運動量を算出する運動量算出手段と、この運動量算出手段が算出した運動量，第１画像及び第２画像を用いて車両周囲の３次元座標値を算出する３次元座標値算出手段と、を備えた車両用画像処理装置であって、撮像手段の運動量を推定する運動量推定手段を更に備え、運動量算出手段は、運動量推定手段により推定された運動推定量に基づいて、第２画像中で特徴点が位置すると予測される点を算出し、この算出点を中心として特徴点に対応する対応点を抽出するための第２画像中の探索領域を限定し、限定した探索領域内で対応点を抽出し、運動量算出手段は、所定数の特徴点及びこれらに対応する対応点を選択し、選択した所定数の特徴点及び対応点を用いて運動量を算出し、運動量算出手段は、選択された特徴点によって決定される所定数のエピポーラ線同士が形成する角度が大きな角度を有するように、所定数の特徴点を選択することを特徴としている。 In order to achieve the above object, the present invention provides an image pickup means mounted on a vehicle for picking up an image around the vehicle, a feature point extracted from the first image picked up by the image pickup means at a first time, and an image pickup means. Extracts a corresponding point corresponding to a feature point in the first image from a second image captured at a second time after a lapse of a predetermined time from the first time, and uses the feature point and the corresponding point to extract the momentum of the imaging means. And a three-dimensional coordinate value calculating means for calculating a three-dimensional coordinate value around the vehicle using the momentum calculated by the momentum calculating means, the first image and the second image. An image processing apparatus, further comprising a momentum estimating means for estimating a momentum of the imaging means, wherein the momentum calculating means is located when a feature point is located in the second image based on the estimated motion amount estimated by the momentum estimating means. Calculate the predicted point and calculate this Limiting the search area of the second in the image for extracting a corresponding point corresponding to the feature point as the center is extracted corresponding points limited the search area, the momentum calculating means, a predetermined number of feature points and their And a momentum is calculated using the selected predetermined number of feature points and corresponding points, and the momentum calculating means forms a predetermined number of epipolar lines determined by the selected feature points. A feature is that a predetermined number of feature points are selected so that the angle has a large angle .
このように構成された本発明によれば、運動量推定手段によって推定された運動推定量に基づいて、対応点を抽出するための探索領域が運動推定量に基づいて限定されるので、運動量算出手段が実行する特徴点と対応点の対応付け処理において、探索領域の限定により演算負荷を軽減することができる。また、探索領域が限定されることにより、誤対応を抑制することができ、これにより、その後の処理において運動量を精度よく算出することが可能となる。また、このように構成された本発明によれば、運動量算出手段が、所定数の第１画像の特徴点と第２画像の対応点の組を用いて撮像手段の運動量を算出するように構成され、この際に用いられる所定数の特徴点によって形成されるエピポーラ線同士が大きな角度をなすように所定数の特徴点が選択される。このように所定数の特徴点が選択されることにより、これら特徴点が、３次元空間中で遠近方向等に広がった範囲に分布し易くなる。これにより、運動量算出手段によって算出される撮像手段の運動量の精度を向上させることができる。 According to the present invention configured as described above, the search area for extracting corresponding points is limited based on the motion estimation amount based on the motion estimation amount estimated by the momentum estimation means, so the momentum calculation means In the process of associating the feature points with the corresponding points executed by, the calculation load can be reduced by limiting the search area. Further, by limiting the search area, it is possible to suppress erroneous correspondence, and thereby it is possible to accurately calculate the momentum in subsequent processing. Further, according to the present invention configured as described above, the momentum calculating means is configured to calculate the momentum of the imaging means using a predetermined number of pairs of feature points of the first image and corresponding points of the second image. Then, the predetermined number of feature points are selected so that the epipolar lines formed by the predetermined number of feature points used at this time form a large angle. By selecting a predetermined number of feature points in this way, these feature points are easily distributed in a range that spreads in the perspective direction in the three-dimensional space. Thereby, the accuracy of the momentum of the imaging means calculated by the momentum calculation means can be improved.
また、本発明において好ましくは、運動量算出手段は、限定した探索領域内で、特徴点と相関が高い画像領域を前記対応点として抽出する。このように構成された本発明によれば、第２画像に対して特徴点を抽出しなくてもよいので、演算負荷を軽減することできる。 In the present invention, it is preferable that the momentum calculating means extracts an image area having a high correlation with a feature point as the corresponding point in the limited search area. According to the present invention configured as described above, since it is not necessary to extract feature points from the second image, the calculation load can be reduced.
また、本発明において好ましくは、所定数が８である。このように構成された本発明によれば、８点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を線形解法により算出することができる。
また、本発明において、好ましくは、所定数が７である。このように構成された本発明によれば、７点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を非線形解法により算出することができる。
また、本発明において、好ましくは、撮像手段に固有の内部カメラパラメータ（焦点距離、画像中心の座標、画像平面の縦横のスケール・ファクター、及びせん断係数）が既知である場合において、所定数が５である。このように構成された本発明によれば、５点の特徴点及びこれに対応する対応点により、第１画像と第２画像との間で運動量を非線形解法により算出することができる。
In the present invention, the predetermined number is preferably 8. According to the present invention configured as described above, the momentum between the first image and the second image can be calculated by the linear solution method using the eight feature points and the corresponding points corresponding thereto.
In the present invention, the predetermined number is preferably 7. According to the present invention configured as described above, the momentum between the first image and the second image can be calculated by the nonlinear solution method using the seven feature points and the corresponding points corresponding thereto.
In the present invention, it is preferable that the predetermined number is 5 when internal camera parameters (focal length, image center coordinates, vertical and horizontal scale factors of image plane, and shear coefficient) specific to the imaging unit are known. It is. According to the present invention configured as described above, the momentum between the first image and the second image can be calculated by the non-linear solution method using the five feature points and corresponding points corresponding thereto.
また、具体的には、運動量算出手段は、所定数の特徴点を画像中心から遠い順に選択してもよいし、画像平面上で所定数の特徴点を結んで形成される面積が最大となるように、所定数の特徴点を選択してもよいし、画像平面を所定数に分割した各分割領域から対応点を１点づつ選択することにより、所定数の特徴点を選択してもよい。また、運動量算出手段は、特徴点と対応点によって形成されるオプティカルフローベクトルのうち、最も大きいものから所定数の半数のオプティカルフローベクトルを形成する特徴点と、最も小さいものから所定数の半数のオプティカルフローベクトルを形成する特徴点とを選択することにより、所定数の特徴点を選択する。 Specifically, the momentum calculation means may select a predetermined number of feature points in order from the center of the image, and the area formed by connecting the predetermined number of feature points on the image plane is maximized. As described above, a predetermined number of feature points may be selected, or a predetermined number of feature points may be selected by selecting corresponding points one by one from each divided region obtained by dividing the image plane into a predetermined number. . Further, the momentum calculating means includes the feature points that form a predetermined number of half of the optical flow vectors formed from the feature points and the corresponding points, and the predetermined number of half of the feature points that form the smallest number of optical flow vectors. A predetermined number of feature points are selected by selecting the feature points that form the optical flow vector.
本発明の車両用画像処理装置によれば、演算負荷を低減すると共に、画像間での特徴点の誤対応を抑制し、且つ、自車運動量及び３次元座標値の算出精度を向上させることができる。 According to the vehicle image processing apparatus of the present invention, it is possible to reduce calculation load, suppress erroneous correspondence of feature points between images, and improve the calculation accuracy of the own vehicle momentum and three-dimensional coordinate values. it can.
以下、添付図面を参照して本発明の実施形態について説明する。ここでは、代表例として選択する特徴点の数が８の場合を示す。特徴点の数が、７又は５の場合は、運動量の算出のための基礎行列、基本行列の算出方法が線形解法から非線形解法に置き換わるものである。図１は車両用画像処理装置の構成図、図２はフレーム画像撮像時の説明図、図３は図２において外界カメラで撮像されたフレーム画像の説明図、図４はフレーム画像中の対応点の説明図、図５は特徴点とエピポーラ平面及びエピポーラ線の関係を示す説明図、図６は特徴点の選択処理の説明図、図７は他の実施形態による特徴点の選択処理の説明図、図８は車両用画像処理装置が実行する処理のフローチャートである。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Here, a case where the number of feature points to be selected as a representative example is eight is shown. When the number of feature points is 7 or 5, the basic matrix for calculating the momentum and the calculation method of the basic matrix are replaced from the linear solution method to the nonlinear solution method. 1 is a configuration diagram of an image processing apparatus for a vehicle, FIG. 2 is an explanatory diagram when capturing a frame image, FIG. 3 is an explanatory diagram of a frame image captured by an external camera in FIG. 2, and FIG. 4 is a corresponding point in the frame image. FIG. 5 is an explanatory diagram showing the relationship between feature points, epipolar planes and epipolar lines, FIG. 6 is an explanatory diagram of feature point selection processing, and FIG. 7 is an explanatory diagram of feature point selection processing according to another embodiment. FIG. 8 is a flowchart of processing executed by the vehicle image processing apparatus.
本実施形態の車両用画像処理装置１は、図１に示すように、外界カメラ２と、コントローラ３と、測位センサ５と、車載センサ６と、地図データベース７と、距離センサ８と、固定既知データベース９とを備えている。
外界カメラ２は、ＣＣＤカメラやＣＭＯＳカメラ等の撮像手段であり、例えば車幅方向右側を向くように車両１０に所定高さで搭載されている（図２参照）。この外界カメラ２は、車両右側の画像を所定のフレームレートで撮像し、撮像したフレーム画像をコントローラ３に出力するように構成されている。
As shown in FIG. 1, the vehicle image processing apparatus 1 according to the present embodiment includes an external camera 2, a controller 3, a positioning sensor 5, an in-vehicle sensor 6, a map database 7, a distance sensor 8, and a fixed known. And a database 9.
The external camera 2 is an imaging means such as a CCD camera or a CMOS camera, and is mounted on the vehicle 10 at a predetermined height so as to face the right side in the vehicle width direction (see FIG. 2). The external camera 2 is configured to capture an image on the right side of the vehicle at a predetermined frame rate and output the captured frame image to the controller 3.
測位センサ５は、ＧＰＳ，ＩＮＳ等の車両測位データを測定するために車両に搭載されたセンサであり、測位データをコントローラ３に出力する。この測位データにより、車両１０及び車両１０に搭載された外界カメラ２の測位変化を検出可能である。
車載センサ６は、車両速度，車両加速度，ヨー角，ロール角，ピッチ角，角速度等の車両の移動量，移動量変化を測定するために車両に搭載されたセンサであり、これらの測定データをコントローラ３に出力する。この測定データにより、車両１０及び車両１０に搭載された外界カメラ２の位置変化を検出可能である。
地図データベース７は、ＨＤＤ等の記憶装置で構成され、測位センサ５からの測位データ等と合わせて、自車両の位置を特定するための地図データを格納し、この地図データをコントローラ３に出力する。
The positioning sensor 5 is a sensor mounted on the vehicle for measuring vehicle positioning data such as GPS and INS, and outputs the positioning data to the controller 3. The positioning change of the vehicle 10 and the external camera 2 mounted on the vehicle 10 can be detected by this positioning data.
The in-vehicle sensor 6 is a sensor mounted on the vehicle for measuring the moving amount of the vehicle such as the vehicle speed, the vehicle acceleration, the yaw angle, the roll angle, the pitch angle, and the angular velocity, and the change in the moving amount. Output to the controller 3. From this measurement data, it is possible to detect the position change of the vehicle 10 and the external camera 2 mounted on the vehicle 10.
The map database 7 is configured by a storage device such as an HDD, stores map data for specifying the position of the host vehicle together with positioning data from the positioning sensor 5, and outputs the map data to the controller 3. .
距離センサ８は、レーザレーダ，ミリ波レーダ，赤外線ＴＯＦ装置等で構成することができ、任意の対象物までの距離データをコントローラ３に出力する。
固定既知データベース９は、ＨＤＤ等の記憶装置で構成され、道路標識情報，信号機情報，ナンバープレート情報，ランドマーク情報を記憶し、これらのデータをコントローラ３に出力する。これら情報は、道路標識，信号機，ナンバープレート，ランドマークの形状や大きさ，寸法を含んでいる。
The distance sensor 8 can be configured by a laser radar, a millimeter wave radar, an infrared TOF device, or the like, and outputs distance data to an arbitrary object to the controller 3.
The fixed known database 9 is composed of a storage device such as an HDD, stores road sign information, traffic signal information, license plate information, and landmark information, and outputs these data to the controller 3. Such information includes the shape, size, and dimensions of road signs, traffic lights, license plates, and landmarks.
コントローラ３は、車両１０内に配置されており、ＣＰＵ，プログラム等を記憶したメモリ等を備えたマイクロコンピュータを含んで構成されている。コントローラ３は、外界カメラ２から受け取ったフレーム画像に対して画像認識処理を行うことにより、車両１０の周辺の３次元座標値を算出するように構成されている。 The controller 3 is disposed in the vehicle 10 and includes a microcomputer including a CPU, a memory that stores programs, and the like. The controller 3 is configured to calculate a three-dimensional coordinate value around the vehicle 10 by performing image recognition processing on the frame image received from the external camera 2.
本実施形態では、コントローラ３は、画像取得部３１，移動体領域分離部３２，探索領域設定部３３，特徴点抽出選択部３４，マッチング処理部３５，カメラ運動算出部３６，３次元座標値算出部３７，カメラ運動推定部３８を備えている。これらは、ＣＰＵがプログラムを実行することにより実現される。また、コントローラ３は、ＨＤＤ等の記憶装置により構成される記憶手段である３次元データ蓄積部３９を備えている。 In the present embodiment, the controller 3 includes an image acquisition unit 31, a moving object region separation unit 32, a search region setting unit 33, a feature point extraction / selection unit 34, a matching processing unit 35, a camera motion calculation unit 36, and a three-dimensional coordinate value calculation. A unit 37 and a camera motion estimation unit 38 are provided. These are realized by the CPU executing the program. In addition, the controller 3 includes a three-dimensional data storage unit 39 that is a storage unit configured by a storage device such as an HDD.
画像取得部３１は、外界カメラ２からフレーム画像を取得し、このフレーム画像を移動体領域分離部３２に出力し、移動体領域分離部３２は、受け取ったフレーム画像から移動体画像領域を分離する。
探索領域設定部３３は、フレーム画像中の特徴点に対応する対応点を、他のフレーム画像中で探索する際の探索画像領域を設定するための設定データを作成する。
The image acquisition unit 31 acquires a frame image from the external camera 2 and outputs the frame image to the moving body region separation unit 32. The moving body region separation unit 32 separates the moving body image region from the received frame image. .
The search area setting unit 33 creates setting data for setting a search image area when searching for a corresponding point corresponding to a feature point in a frame image in another frame image.
特徴点抽出選択部３４は、フレーム画像から特徴点を抽出すると共に、カメラ運動量を算出するために用いる所定数の特徴点を選択する処理を行う。
マッチング処理部３５は、フレーム画像中の選択された特徴点に対応する対応点を、他のフレーム画像中で検出する処理を行う。
カメラ運動算出部３６は、選択された特徴点とこれに対応する対応点とを用いて、カメラ運動量を算出する処理を行う。
探索領域設定部３３，特徴点抽出選択部３４，マッチング処理部３５，カメラ運動算出部３６は、運動量算出手段を構成している。
The feature point extraction / selection unit 34 performs a process of extracting feature points from the frame image and selecting a predetermined number of feature points used for calculating the camera momentum.
The matching processing unit 35 performs processing for detecting a corresponding point corresponding to the selected feature point in the frame image in another frame image.
The camera motion calculation unit 36 performs a process of calculating the camera motion amount using the selected feature points and corresponding points corresponding to the selected feature points.
The search area setting unit 33, the feature point extraction / selection unit 34, the matching processing unit 35, and the camera motion calculation unit 36 constitute a momentum calculation means.
３次元座標値算出部３７は、算出されたカメラ運動量に基づいて、車両周囲の３次元座標値を算出する処理を行う。
カメラ運動推定部３８は、算出されたカメラ運動量に基づいて、所定時間経過後のカメラ運動量を予測する処理を行う。
３次元データ蓄積部３９は、算出された３次元データを蓄積する処理を行う。
The three-dimensional coordinate value calculation unit 37 performs a process of calculating a three-dimensional coordinate value around the vehicle based on the calculated camera momentum.
The camera motion estimation unit 38 performs processing for predicting the camera motion amount after a predetermined time has elapsed based on the calculated camera motion amount.
The three-dimensional data storage unit 39 performs a process of storing the calculated three-dimensional data.
次に、本実施形態における処理の概要について説明する。
本実施形態では、画像取得部３１は、外界カメラ２から所定時間経過毎にフレーム画像を受け取り、移動体領域分離部３２に出力する。すなわち、画像取得部３１は、離散的な時間ｔ-n，ｔ-(n-1)，・・・，ｔ-1，ｔ0，ｔ+1，ｔ+2，・・・にそれぞれフレーム画像Ａ-n，Ａ-(n-1)，・・・，Ａ-1，Ａ0，Ａ+1，Ａ+2，・・・を受け取る。
移動体領域分離部３２は、所定時間毎に受け取るフレーム画像中から、カメラ運動量を算出するのに妨げとなる他車両等の移動体画像部分を分離し、静止物ではない移動体を除くフレーム画像を特徴点抽出選択部３４等に出力する。
Next, an outline of processing in the present embodiment will be described.
In the present embodiment, the image acquisition unit 31 receives a frame image from the external camera 2 every elapse of a predetermined time and outputs the frame image to the moving body region separation unit 32. That is, the image acquisition unit 31 performs frame images at discrete times t −n , t − (n−1) ,..., T −1 , t 0 , t +1 , t +2,. A -n , A- (n-1) , ..., A -1 , A 0 , A +1 , A +2 , ... are received.
The moving body region separation unit 32 separates moving body image portions such as other vehicles that hinder the calculation of camera momentum from frame images received every predetermined time, and removes moving bodies that are not stationary objects. Is output to the feature point extraction / selection unit 34 and the like.
特徴点抽出選択部３４は、フレーム画像を受け取ると、このフレーム画像中から特徴点を抽出する。例えば、時間ｔ0に新たにフレーム画像Ａ0を受け取ると、このフレーム画像Ａ0から特徴点を抽出する。特徴点を抽出する方法としては、種々の手法を用いることができ、例えば、Harrisオペレータ，SUSANオペレータ，Foerstnerオペレータ，Sojkaオペレータ，ＳＩＦＴ等を用いることができる。 When the feature point extraction / selection unit 34 receives the frame image, the feature point extraction / selection unit 34 extracts the feature point from the frame image. For example, when a new frame image A 0 is received at time t 0 , feature points are extracted from this frame image A 0 . As a method for extracting feature points, various methods can be used, for example, Harris operator, SUSAN operator, Foerstner operator, Sojka operator, SIFT, or the like.
図２は、車両１０が、丁字路を右折する状況を示している。このとき車両１０に搭載されている外界カメラ２のカメラ視野ａが矩形状の標識２０を捉えている。図３（Ａ），（Ｂ）は、それぞれ図２の状況での時間ｔ１，ｔ２におけるフレーム画像Ａ１，Ａ２を示している。時間ｔ２は、時間ｔ１から所定時間経過後の時刻である。例示として、図３（Ａ），（Ｂ）には、それぞれ多数の特徴点２２が示されている。 FIG. 2 shows a situation in which the vehicle 10 makes a right turn on the street. At this time, the camera field of view a of the external camera 2 mounted on the vehicle 10 captures the rectangular sign 20. 3A and 3B show frame images A1 and A2 at times t1 and t2, respectively, in the situation of FIG. Time t2 is a time after a predetermined time has elapsed from time t1. As an example, in FIG. 3A and FIG. 3B, a large number of feature points 22 are shown.
また、特徴点抽出選択部３４は、前回の処理で受け取っていたフレーム画像Ａ-1について、このフレーム画像Ａ-1から抽出した特徴点から、後述する選択処理に基づいて、カメラ運動算出部３６でカメラ運動量を算出するために用いる所定数（本例では８点）の特徴点を選択する。
なお、フレーム画像Ａ-1から所定数の特徴点を選択する代わりに、特徴点抽出選択部３４がフレーム画像Ａ0から所定数の特徴点を選択するように構成してもよい。
The feature point extraction selecting unit 34, the frame image A -1 had received in the last processing, the feature points extracted from the frame image A -1, based on the selection process to be described later, the camera motion calculation unit 36 A predetermined number (eight points in this example) of feature points used for calculating the camera momentum is selected.
Instead of selecting a predetermined number of feature points from the frame image A -1, the characteristic point extraction selecting unit 34 may be configured to select a predetermined number of feature points from the frame image A 0.
さらに、特徴点抽出選択部３４は、探索領域設定部３３からフレーム画像Ａ-1中の選択された各特徴点に対応する、フレーム画像Ａ0中の対応点を探索するための探索画像領域設定データを受け取る。特徴点抽出選択部３４は、このデータに基づいて、フレーム画像Ａ-1中で選択された各特徴点に対応する、フレーム画像Ａ0中の対応点を探索するための探索画像領域を設定する。 Further, the feature point extraction / selection unit 34 sets a search image region for searching for a corresponding point in the frame image A 0 corresponding to each feature point selected in the frame image A -1 from the search region setting unit 33. Receive data. Based on this data, the feature point extraction / selection unit 34 sets a search image region for searching for a corresponding point in the frame image A 0 corresponding to each feature point selected in the frame image A- 1. .
マッチング処理部３５は、フレーム画像Ａ-1で抽出された特徴点のうち、特徴点抽出選択部３４で選択された所定数の特徴点と、これらに対応するフレーム画像Ａ0での探索画像領域を特徴点抽出選択部３４から受け取り、各特徴点の対応点をフレーム画像Ａ0内の対応する探索画像領域内で探索し、対応点を決定する。 Matching processing unit 35, among the feature points extracted by the frame image A -1, and the predetermined number of feature points selected in the feature point extraction selecting unit 34, the search image area in the frame image A 0 corresponding to these receipt from the feature point extraction selecting unit 34, the corresponding points of the feature points is searched in the search image area corresponding in the frame image a 0, determines the corresponding points.
この決定処理では、マッチング処理部３５は、フレーム画像Ａ0で既に抽出した特徴点のうち探索画像領域内にある特徴点付近で、フレーム画像Ａ-1の特徴点の画像部分（領域）と輝度相関が最も高い画像部分（領域）をマッチングにより抽出し、フレーム画像Ａ-1の特徴点との対応付けを行い、フレーム画像Ａ0における対応点を決定する。この対応点は、フレーム画像Ａ0で既に抽出した特徴点そのものであってもよいし、特徴点付近の画像部分であってもよい。特徴点を対応付ける方法としては、他にも輝度勾配相関，位相限定相関，特徴量相関，ＳＩＦＴの相関等による方法を用いることができる。
例示として、図４には、フレーム画像Ａ２でフレーム画像Ａ１の特徴点２２と対応付け可能なすべての対応点２３が示されている。
In this determination process, the matching processing unit 35 nears the feature point in the search image area among the feature points already extracted in the frame image A 0 and the luminance and the image portion (area) of the feature point of the frame image A −1. correlation is extracted by matching the highest image portion (area), the correspondence between the feature points of the frame image a -1, to determine the corresponding points in the frame image a 0. This corresponding point may be the feature point already extracted in the frame image A 0 or may be an image portion near the feature point. As a method for associating feature points, other methods such as luminance gradient correlation, phase-only correlation, feature amount correlation, SIFT correlation, and the like can be used.
As an example, FIG. 4 shows all corresponding points 23 that can be associated with the feature points 22 of the frame image A1 in the frame image A2.
なお、本実施形態では、特徴点抽出選択部３４がフレーム画像Ａ0の特徴点を予め抽出しているので、マッチング処理部３５の処理を簡単にするために、フレーム画像Ａ-1の特徴点に対応するフレーム画像Ａ0の対応点を、探索画像領域内で抽出されている特徴点からマッチングにより選択するように構成してもよい。 In the present embodiment, since the feature point extraction / selection unit 34 extracts the feature points of the frame image A 0 in advance, in order to simplify the processing of the matching processing unit 35, the feature points of the frame image A -1 are extracted. Corresponding points of the frame image A 0 corresponding to may be selected from the feature points extracted in the search image region by matching.
また、本実施形態では、マッチング処理部３５は、特徴点抽出選択部３４が選択した所定数の特徴点についてのみマッチングを行うように構成されているが、これに限らず、すべての特徴点についてマッチングを行うように構成してもよい。また、この場合は、すべての特徴点についてマッチングを行った後に、特徴点抽出選択部３４が所定数の特徴点を選択すればよい。
また、特徴点抽出選択部３４がフレーム画像Ａ0から特徴点を選択する場合には、探索領域設定部３３は、フレーム画像Ａ0中の選択された各特徴点に対応する、フレーム画像Ａ-1中の対応点を探索するための探索画像領域設定データを出力し、特徴点抽出選択部３４は、フレーム画像Ａ-1内に探索画像領域を設定する。この場合、マッチング処理部３５は、上述のマッチング処理をフレーム画像Ａ-1に対して行い、対応点を決定する。
In the present embodiment, the matching processing unit 35 is configured to perform matching only for a predetermined number of feature points selected by the feature point extraction / selection unit 34. However, the present invention is not limited to this, and for all feature points. You may comprise so that a matching may be performed. In this case, the feature point extraction / selection unit 34 may select a predetermined number of feature points after matching is performed for all feature points.
When the feature point extraction / selection unit 34 selects a feature point from the frame image A 0 , the search area setting unit 33 selects the frame image A − corresponding to each selected feature point in the frame image A 0. Search image area setting data for searching for corresponding points in 1 is output, and the feature point extraction / selection unit 34 sets a search image area in the frame image A- 1 . In this case, the matching processing unit 35 performs the above-described matching processing on the frame image A- 1 to determine a corresponding point.
カメラ運動算出部３６は、所定時間経過毎にフレーム画像を受け取る度に、フレーム画像を用いて外界カメラ２の運動量（車両１０の運動量）を算出する。すなわち、カメラ運動算出部３６は、例えば、前回の処理対象であったフレーム画像Ａ-1を受け取った時間ｔ-1から、現在の処理対象であるフレーム画像Ａ0を受け取った時間ｔ0までの間のカメラ運動量Ｐ0、すなわち３軸の回転運動成分Ｒと並進運動成分ｔを算出する。 The camera motion calculation unit 36 calculates the momentum of the external camera 2 (the momentum of the vehicle 10) using the frame image every time a frame image is received every predetermined time. That is, the camera motion calculation unit 36, for example, from the time t −1 when the frame image A −1 that was the previous processing target is received to the time t 0 when the frame image A 0 that is the current processing target is received. The camera motion amount P 0 between them, that is, the three-axis rotational motion component R and the translational motion component t are calculated.
本実施形態では、カメラ運動算出部３６は、公知の８点アルゴリズムを利用してカメラ運動量Ｐを算出する。すなわち、カメラ運動算出部３６は、マッチング処理部３５で対応付けられたそれぞれ所定数（８点）のフレーム画像Ａ-1の特徴点及びフレーム画像Ａ0の対応点と、既知の内部カメラパラメータ等に基づいて、基礎行列及び基本行列を算出し、基本行列を特異値分解法等によって解くことにより、外界カメラ２の回転運動成分Ｒと並進運動成分ｔを算出する。なお、スケールの決定については、フレーム画像から道路平面を検出して、外界カメラ２の設置高さに基づいてスケールを決定してもよいし、距離センサ８等の距離データを使用してもよい。 In the present embodiment, the camera motion calculation unit 36 calculates the camera motion amount P using a known 8-point algorithm. That is, the camera motion calculation unit 36, the corresponding point of the feature point and the frame image A 0 of the frame image A -1 respectively associated with the matching processing unit 35 a predetermined number (eight points), known internal camera parameters such Based on the above, the basic matrix and the basic matrix are calculated, and the basic matrix is solved by a singular value decomposition method or the like to calculate the rotational motion component R and the translational motion component t of the external camera 2. Regarding the determination of the scale, the road plane may be detected from the frame image, and the scale may be determined based on the installation height of the external camera 2, or distance data such as the distance sensor 8 may be used. .
なお、本記実施形態では、カメラ運動算出部３６が、選択された８点の特徴点及びこれに対応する対応点に基づいて、基礎行列を線形解法により算出し、既知の内部カメラパラメータにより基本行列を算出して、この基本行列をもとにカメラ運動量を算出するが、これに限られるものではない。その他にも、カメラ運動算出部３６は、内部カメラパラメータが既知の場合には、７点の特徴点から非線形解法で基礎行列を算出してもよい。また、カメラ運動算出部３６は、内部カメラパラメータが未知の場合には、８点の特徴点から導出した基礎行列から非線形解法により基本行列を算出してもよい。さらには、カメラ運動算出部３６は、内部カメラパラメータが既知の場合には、５点の特徴点から非線形解法で直接基本行列を算出してもよい。 In the present embodiment, the camera motion calculation unit 36 calculates a basic matrix by linear solution based on the selected eight feature points and corresponding points corresponding to the selected feature points, and based on the known internal camera parameters. Although a matrix is calculated and the camera momentum is calculated based on this basic matrix, the present invention is not limited to this. In addition, when the internal camera parameters are known, the camera motion calculation unit 36 may calculate the basic matrix from the seven feature points by a nonlinear solution method. In addition, when the internal camera parameter is unknown, the camera motion calculation unit 36 may calculate a basic matrix by a non-linear solution method from a basic matrix derived from eight feature points. Further, when the internal camera parameters are known, the camera motion calculation unit 36 may directly calculate the basic matrix from the five feature points by a nonlinear solution method.
３次元座標値算出部３７は、得られたカメラ運動量Ｐと対応する特徴点を利用して、３角測量に基づくステレオ処理により、フレーム画像中の例えば特徴点の３次元座標を推定する。これらの手法は公知のものなので省略する。
３次元データ蓄積部３９は、３次元座標値算出部３７が算出した３次元データを保存する。
The three-dimensional coordinate value calculation unit 37 estimates, for example, the three-dimensional coordinates of feature points in the frame image by stereo processing based on triangulation using the obtained feature points corresponding to the camera momentum P. Since these methods are known, they are omitted.
The three-dimensional data storage unit 39 stores the three-dimensional data calculated by the three-dimensional coordinate value calculation unit 37.
カメラ運動推定部３８は、カメラ運動算出部３６が逐次算出したカメラ運動量に基づいて、時間ｔ0の処理時点で、次回の処理（時間ｔ+1）でフレーム画像Ａ+1を受け取った場合にカメラ運動算出部３６によって算出されるべきカメラ運動量Ｐ+1を予測する。本実施形態では、カメラ運動推定部３８は、時間的に離散的なカメラ運動量の変化に基づいて、カルマンフィルタを用いて、次処理におけるカメラ運動量Ｐ+1の予測値であるカメラ運動推定量Ｐ+1’を算出する。 The camera motion estimation unit 38, based on the camera momentum camera motion calculating unit 36 is sequentially calculated, the processing time of the time t 0, when receiving the frame image A +1 at the next processing (time t +1) The camera motion amount P +1 to be calculated by the camera motion calculation unit 36 is predicted. In the present embodiment, the camera motion estimator 38 uses a Kalman filter based on temporally discrete changes in camera motion, and uses a camera motion estimator P + that is a predicted value of the camera motion P +1 in the next processing. 1 'is calculated.
なお、本実施形態では、カメラ運動推定部３８は、フレーム画像に基づいて画像処理によってカメラ運動量を推定しているが、これに限らず、測位センサ５，車載センサ６，距離センサ８等の測定データから現在のカメラ運動量を算出してもよい。また、これらの測定データに基づいて算出したカメラ運動量で、画像処理によって算出したカメラ運動推定量の推定精度を高めるように補正してもよい。 In this embodiment, the camera motion estimation unit 38 estimates the camera motion amount by image processing based on the frame image. However, the present invention is not limited to this, and the measurement of the positioning sensor 5, the in-vehicle sensor 6, the distance sensor 8, and the like. The current camera momentum may be calculated from the data. Moreover, you may correct | amend so that the estimation precision of the camera motion estimation amount computed by image processing may be improved with the camera momentum computed based on these measurement data.
探索領域設定部３３は、カメラ運動推定部３８がカメラ運動推定量Ｐ+1’を算出した時間ｔ0におけるフレーム画像Ａ0中の特徴点が、時間ｔ+1のフレーム画像Ａ+1中で移動すると予測される探索画像領域を、３次元データを考慮して、カメラ運動予測量Ｐ+1’に基づいて特定するための探索画像領域設定データを算出する。探索画像領域設定データにより、探索画像領域は、前回処理のフレーム画像Ａ0の特徴点が今回の処理のフレーム画像Ａ+1で位置すると予測される点を中心として、例えば数十画素の範囲に設定される。 The search area setting unit 33 has a feature point in the frame image A 0 at the time t 0 when the camera motion estimation unit 38 calculates the camera motion estimation amount P +1 ′ in the frame image A +1 at the time t +1. Search image region setting data for specifying the search image region predicted to move based on the camera motion prediction amount P +1 ′ is calculated in consideration of the three-dimensional data. According to the search image area setting data, the search image area is within a range of, for example, several tens of pixels around the point where the feature point of the frame image A 0 of the previous process is predicted to be located in the frame image A + 1 of the current process. Is set.
このように、本実施形態では、カメラ運動量を予め予測して、これに基づいて特徴点が移動すると予測される画像領域から探索画像領域を設定し、この探索画像領域内で特徴点に対応する対応点を抽出するので、演算処理を大幅に軽減することができる。さらに、探索範囲を探索画像領域に限定することで、誤対応の可能性を極めて低減することが可能となる。 As described above, in the present embodiment, the camera momentum is predicted in advance, and a search image area is set from the image area where the feature point is predicted to move based on the camera momentum, and the feature point is corresponding to the search image area. Since the corresponding points are extracted, the arithmetic processing can be greatly reduced. Furthermore, by limiting the search range to the search image area, it is possible to greatly reduce the possibility of erroneous correspondence.
また、本実施形態では、カメラ運動算出部３６は、従来のように８点の特徴点の組み合わせを多数設定して、これら多数の組からそれぞれ算出された多数のカメラ運動量からさらに確からしいカメラ運動量を算出するものではなく、適切に選択された正確に対応する８点の特徴点及び対応点を用いてカメラ運動量Ｐを算出する。したがって、本実施形態では、カメラ運動量Ｐの演算負荷を極めて低減することができる。 In the present embodiment, the camera motion calculation unit 36 sets a large number of combinations of eight feature points as in the prior art, and more probable camera momentum from a large number of camera motion amounts calculated from these many sets, respectively. Is calculated, and the camera momentum P is calculated using eight feature points and corresponding points that are appropriately selected and corresponding accurately. Therefore, in this embodiment, the calculation load of the camera momentum P can be significantly reduced.
次に、上述の特徴点の選択処理について説明する。
図５（Ａ）は、時間ｔ１から時間ｔ２にかけて外界カメラ２が移動した場合を示している。このとき、カメラの光学中心が視点Ｃから視点Ｃ’に移動している。時間ｔ１，ｔ２において、例えば特徴点である空間中の点Ｑ１，Ｑ２，Ｑ３は、視点Ｃの画像平面Ｍでは画像座標値ｍ１，ｍ２，ｍ３として認識され、視点Ｃ’の画像平面Ｍ’では画像座標値ｍ１’，ｍ２’，ｍ３’として認識されている。
Next, the feature point selection process described above will be described.
FIG. 5A shows a case where the external camera 2 moves from time t1 to time t2. At this time, the optical center of the camera has moved from the viewpoint C to the viewpoint C ′. At times t1 and t2, for example, points Q1, Q2, and Q3 in the space that are feature points are recognized as image coordinate values m1, m2, and m3 on the image plane M of the viewpoint C, and on the image plane M ′ of the viewpoint C ′. Recognized as image coordinate values m1 ′, m2 ′, m3 ′.
視点Ｃ，視点Ｃ’及び点Ｑ１によってエピポーラ平面Σ１が定義され、視点Ｃ，視点Ｃ’及び点Ｑ２によってエピポーラ平面Σ２が定義され、視点Ｃ，視点Ｃ’及び点Ｑ３によってエピポーラ平面Σ３が定義されている。画像平面Ｍには、それぞれエピポーラ平面Σ１，Σ２，Σ３と交差するエピポーラ線Ｌ１，Ｌ２，Ｌ３が形成され、画像平面Ｍ’には、それぞれエピポーラ平面Σ１，Σ２，Σ３と交差するエピポーラ線Ｌ１’，Ｌ２’，Ｌ３’が形成されている。また、視点Ｃと視点Ｃ’を結ぶ直線Ｌと２つの画像平面との交差点が、エピポールｅ，ｅ’で定義されている。 The epipolar plane Σ1 is defined by the viewpoint C, the viewpoint C ′, and the point Q1, the epipolar plane Σ2 is defined by the viewpoint C, the viewpoint C ′, and the point Q2, and the epipolar plane Σ3 is defined by the viewpoint C, the viewpoint C ′, and the point Q3. ing. In the image plane M, epipolar lines L1, L2, and L3 intersecting with the epipolar planes Σ1, Σ2, and Σ3, respectively, are formed. On the image plane M ′, the epipolar lines L1 ′ that intersect with the epipolar planes Σ1, Σ2, and Σ3, respectively. , L2 ′, L3 ′. Further, the intersection of the straight line L connecting the viewpoint C and the viewpoint C ′ and the two image planes is defined by epipoles e and e ′.
図５（Ｂ）は、視点Ｃから見た画像平面Ｍである。図５（Ｂ）から分かるように、エピポーラ線Ｌ１とＬ２（又はエピポーラ平面Σ１とΣ２）は、画像平面Ｍで直線Ｌ（すなわち、エピポールｅ，ｅ’を結ぶ直線）周りに角度α１で交差し、エピポーラ線Ｌ２とＬ３（又はエピポーラ平面Σ２とΣ３）は、角度α２で交差し、エピポーラ線Ｌ１とＬ３（又はエピポーラ平面Σ１とΣ３）は、角度α３で交差している。このうち角度α３が最も大きな角度をなしている。 FIG. 5B is an image plane M viewed from the viewpoint C. As can be seen from FIG. 5B, the epipolar lines L1 and L2 (or the epipolar planes Σ1 and Σ2) intersect with the angle α1 around the straight line L (that is, the straight line connecting the epipoles e and e ′) on the image plane M. The epipolar lines L2 and L3 (or epipolar planes Σ2 and Σ3) intersect at an angle α2, and the epipolar lines L1 and L3 (or epipolar planes Σ1 and Σ3) intersect at an angle α3. Of these, the angle α3 is the largest.
このとき、２点の空間点が３次元空間中で少なくとも遠近方向に広がりをもって配置されていると、エピポーラ平面同士がなす角度が大きくなり易い。そして、エピポーラ平面同士がなす角度が大きいと、エピポーラ拘束が強いと考えられる。さらに、空間点が遠近方向に均等に分散していると、エピポーラ線が、エピポールｅを中心に、均等な角度で分布し易い。よって、例えば、角度α３が所定角度以上となり、角度α１，α２が略等しくなるように、空間点Ｑ１，Ｑ２，Ｑ３を選択することが望ましい。 At this time, if the two spatial points are arranged so as to spread at least in the perspective direction in the three-dimensional space, the angle formed by the epipolar planes tends to increase. And when the angle which epipolar planes make is large, it is thought that epipolar restraint is strong. Furthermore, if the spatial points are evenly distributed in the perspective direction, the epipolar line is likely to be distributed at an equal angle around the epipole e. Therefore, for example, it is desirable to select the spatial points Q1, Q2, and Q3 so that the angle α3 is equal to or greater than a predetermined angle and the angles α1 and α2 are substantially equal.
したがって、上述の８点アルゴリズムを用いてカメラ運動量Ｐを算出する場合、２枚のフレーム画像間で選択される８点の特徴点が、３次元空間中で大きな広がりをもって分布していると、誤差の影響を受けにくく、より精度の高い基礎行列等を算出することができる。よって、選択された８点が空間的に大きな広がりで分布するように、エピポール線がエピポーラを中心に均等に並び、且つ、エピポール線間に形成される最大の角度が所定角度以上となるように、８点の特徴点を選択することが望ましい。このように８点の特徴点を適切に選択することで、従来のようにランダムに８点の特徴点を選択することに比べて、算出するカメラ運動量の精度を向上させることができる。 Therefore, when the camera momentum P is calculated using the above-described eight-point algorithm, if the eight feature points selected between two frame images are distributed with a large spread in the three-dimensional space, an error will occur. It is possible to calculate a more accurate basic matrix and the like. Therefore, the epipole lines are evenly arranged around the epipolar so that the eight selected points are distributed with a large spatial extent, and the maximum angle formed between the epipole lines is not less than a predetermined angle. It is desirable to select eight feature points. As described above, by appropriately selecting the eight feature points, it is possible to improve the accuracy of the calculated camera momentum as compared to selecting the eight feature points randomly as in the prior art.
しかしながら、エピポーラ平面同士のなす角度は、特徴点に対して対応点が正確に決まり、これにより基本行列が導出されてからでないと算出することができない。したがって、対応点が決定される前には、エピポーラ平面同士のなす角度は分からない。
一方で、エピポーラ平面同士のなす角度は、撮影対象物と外界カメラ２との距離と関係しており、角度が大きくなるのは、外界カメラ２から近い物体上の点によって形成されるエピポーラ平面と遠い物体上の点によって形成されるエピポーラ平面の場合である。
However, the angle formed between the epipolar planes can be calculated only after the corresponding points are accurately determined with respect to the feature points and thereby the basic matrix is derived. Therefore, the angle formed by the epipolar planes is not known before the corresponding points are determined.
On the other hand, the angle formed between the epipolar planes is related to the distance between the object to be photographed and the external camera 2, and the angle increases because the epipolar plane formed by a point on the object close to the external camera 2 This is the case of an epipolar plane formed by points on a distant object.
本実施形態では、外界カメラ２は、撮像したフレーム画像が運転者の視線で捉えられる景色に合致するように、カメラの光軸が略水平に設定されている。これにより、本実施形態のフレーム画像では、図３に示すように、下側画像領域で道路が認識され、上側画像領域で建物や空が認識され、地平線が略画像領域中央に位置する。したがって、外界カメラ２に近い空間点は、フレーム画像の下側に写され、外界カメラ２から遠い空間点は、フレーム画像の上側に写される。 In the present embodiment, in the external camera 2, the optical axis of the camera is set substantially horizontal so that the captured frame image matches the scenery captured by the driver's line of sight. Thereby, in the frame image of the present embodiment, as shown in FIG. 3, a road is recognized in the lower image area, a building and the sky are recognized in the upper image area, and the horizon is positioned substantially in the center of the image area. Therefore, a spatial point close to the external camera 2 is imaged on the lower side of the frame image, and a spatial point far from the external camera 2 is imaged on the upper side of the frame image.
このため本実施形態では、上述のように空間的な広がりを有するように所定数の特徴点を選択するために、特徴点抽出選択部３４は、画像平面中心ｍ0から最も遠い位置にある特徴点から所定数個選択する。図６はこの処理を模式的に示しており、フレーム画像の画像平面中心ｍ0から特徴点までの距離を算出して、この距離が最も大きい特徴点から所定数個が選択される。このように、画像平面中心ｍ0からの距離が遠い特徴点を選択することで、３次元空間中で外界カメラ２から最も近い位置と最も遠い位置にあり、また、エピポール線のなす角度が大きくなるような特徴点を選択することができる。
そして、本実施形態では、カメラ運動算出部３６は、このようにして選択した所定数の特徴点及び対応点を用いて、基礎行列を導出する。
Therefore, in this embodiment, the feature point extraction / selection unit 34 selects the feature farthest from the image plane center m 0 in order to select a predetermined number of feature points so as to have a spatial spread as described above. Select a predetermined number of points. FIG. 6 schematically shows this processing. The distance from the image plane center m 0 of the frame image to the feature point is calculated, and a predetermined number of feature points having the largest distance are selected. In this way, by selecting a feature point that is far from the image plane center m 0 , the feature point is located closest to and farthest from the external camera 2 in the three-dimensional space and the angle formed by the epipole line is large. It is possible to select such feature points.
In this embodiment, the camera motion calculation unit 36 derives a basic matrix using the predetermined number of feature points and corresponding points selected in this way.
なお、以下のように改変してもよい。改変例では、カメラ運動算出部３６は、選択した所定数の特徴点及び対応点を用いて、まず仮の基礎行列を導出し、これら特徴点及び対応点について、エピポーラ拘束条件からのずれを算出し、このずれが所定の閾値以下であれば、導出した基礎行列を採用する。ずれが閾値より大きい場合には、カメラ運動算出部３６は、画像平面中心から最も遠い特徴点を選択から外し、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、選択されている特徴点の次に画像平面中心から遠い特徴点を取得して、再び仮の基礎行列を導出する処理を繰り返す。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。また、閾値以下となる仮の基礎行列のエピポーラ拘束条件に当てはまる特徴点及びその対応点を抽出し、線形解法あるいは非線形解法により基礎行列を決定してもよい。 The following modifications may be made. In the modified example, the camera motion calculation unit 36 first derives a temporary base matrix using the selected predetermined number of feature points and corresponding points, and calculates a deviation from the epipolar constraint condition for these feature points and corresponding points. If this deviation is less than or equal to a predetermined threshold, the derived basic matrix is adopted. When the deviation is larger than the threshold value, the camera motion calculation unit 36 removes the feature point farthest from the center of the image plane from the selection, and the feature selected through the processing by the feature point extraction selection unit 34 and the matching processing unit 35 is selected. A feature point far from the center of the image plane after the point is acquired, and the process of deriving a temporary base matrix is repeated again. By repeating such processing, a predetermined number of feature points whose deviation from the epipolar constraint condition is equal to or less than a threshold value can be determined. Alternatively, feature points that correspond to epipolar constraint conditions of a temporary basic matrix that is equal to or less than a threshold value and corresponding points may be extracted, and the basic matrix may be determined by a linear solution method or a nonlinear solution method.
また、以下の他の方法により所定数個の特徴点を選択することも可能である。
まず、第２実施形態に係る処理方法では、特徴点抽出選択部３４は、所定数の特徴点を直線で結ぶことにより画面上に形成される多角形（本例では八角形）のうち、その面積が最大となる特徴点の組み合わせを選択する。
It is also possible to select a predetermined number of feature points by other methods described below.
First, in the processing method according to the second embodiment, the feature point extraction / selection unit 34 includes a polygon (an octagon in this example) formed on the screen by connecting a predetermined number of feature points with a straight line. Select a feature point combination that maximizes the area.
この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、次に面積が大きくなる特徴点の組み合わせを取得する。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。 In this case, the camera motion calculation unit 36 may derive a basic matrix using the selected predetermined number of feature points and corresponding points. In addition, the camera motion calculation unit 36 uses a basic matrix derived using the selected predetermined number of feature points and corresponding points as a temporary basic matrix, and the feature points and corresponding points have a predetermined deviation from the epipolar constraint condition. You may comprise so that the derived fundamental matrix may be employ | adopted when it is below a threshold value. When the deviation is larger than the threshold value, the camera motion calculation unit 36 obtains a combination of feature points with the next largest area through processing by the feature point extraction / selection unit 34 and the matching processing unit 35. By repeating such processing, a predetermined number of feature points whose deviation from the epipolar constraint condition is equal to or less than a threshold value can be determined.
また、第３実施形態に係る処理方法では、図７（Ａ），（Ｂ）に示すように、特徴点抽出選択部３４は、画像平面を所定数（本例では８）の画像領域に分割し、各分割領域からランダムに１点の特徴点を選択する。 In the processing method according to the third embodiment, as shown in FIGS. 7A and 7B, the feature point extraction / selection unit 34 divides the image plane into a predetermined number (8 in this example) of image areas. Then, one feature point is randomly selected from each divided region.
この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、更に各分割領域でランダムに選択した特徴点の組み合わせを取得する。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。なお、図７に示すように、画像平面中心を通る水平な分割線を含めることが望ましい。このように設定することで、遠近方向に分散した特徴点を選択することができる。 In this case, the camera motion calculation unit 36 may derive a basic matrix using the selected predetermined number of feature points and corresponding points. In addition, the camera motion calculation unit 36 uses a basic matrix derived using the selected predetermined number of feature points and corresponding points as a temporary basic matrix, and the feature points and corresponding points have a predetermined deviation from the epipolar constraint condition. You may comprise so that the derived fundamental matrix may be employ | adopted when it is below a threshold value. When the deviation is larger than the threshold value, the camera motion calculation unit 36 obtains a combination of feature points randomly selected in each divided region through processing by the feature point extraction / selection unit 34 and the matching processing unit 35. . By repeating such processing, a predetermined number of feature points whose deviation from the epipolar constraint condition is equal to or less than a threshold value can be determined. As shown in FIG. 7, it is desirable to include a horizontal dividing line passing through the center of the image plane. By setting in this way, feature points dispersed in the perspective direction can be selected.
また、第４実施形態に係る処理方法では、特徴点抽出選択部３４は、現時点での処理対象であるフレーム画像Ａ0とこれよりも前に受け取ったフレーム画像Ａ-1の特徴点で形成されるオプティカルフローベクトルを仮に算出し、算出したオプティカルフローベクトルのうち、その大きさが最も大きいものから順に所定数の半数だけ選択し、最も小さいものから順に所定数の半数だけ選択する。すなわち、８点の特徴点を選択する場合、最も大きな４つのオプティカルフローベクトルと、最も小さな４つのオプティカルフローベクトルを形成する８点の特徴点が選択される。 In the processing method according to the fourth embodiment, the feature point extraction / selection unit 34 is formed by the feature points of the frame image A 0 that is the current processing target and the frame image A −1 received before this. Then, a predetermined number of half of the calculated optical flow vectors are selected in order from the largest, and only a predetermined number of the half are selected in order from the smallest. That is, when selecting eight feature points, eight feature points that form the four largest optical flow vectors and the four smallest optical flow vectors are selected.
すなわち、外界カメラ２に近い空間点のオプティカルフローベクトルは大きく、外界カメラ２から遠い空間点のオプティカルフローベクトルは小さくなるため、最大のものから４つ、最小ものから４つを選択することで、遠近方向に特徴点を分散させることができる。 That is, the optical flow vector at a spatial point close to the external camera 2 is large, and the optical flow vector at a spatial point far from the external camera 2 is small. Therefore, by selecting four from the maximum and four from the minimum, Feature points can be dispersed in the perspective direction.
この場合、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて、基礎行列を導出してもよい。また、カメラ運動算出部３６は、選択された所定数の特徴点及び対応点を用いて導出した基礎行列を仮の基礎行列とし、特徴点及び対応点について、エピポーラ拘束条件からのずれが所定の閾値以下のときに、導出した基礎行列を採用するように構成してもよい。そして、ずれが閾値より大きい場合には、カメラ運動算出部３６は、最大及び最小のオプティカルフローベクトルを形成する特徴点を選択から外し、特徴点抽出選択部３４及びマッチング処理部３５による処理を経て、選択されている特徴点の次にオプティカルフローベクトルが大きくなる特徴点及び選択されている特徴点の次にオプティカルフローベクトルが小さくなる特徴点を取得して、再び仮の基礎行列を導出する処理を繰り返す。このような処理を繰り返すことにより、エピポーラ拘束条件からのずれが閾値以下となる所定数個の特徴点を決定することができる。 In this case, the camera motion calculation unit 36 may derive a basic matrix using the selected predetermined number of feature points and corresponding points. In addition, the camera motion calculation unit 36 uses a basic matrix derived using the selected predetermined number of feature points and corresponding points as a temporary basic matrix, and the feature points and corresponding points have a predetermined deviation from the epipolar constraint condition. You may comprise so that the derived fundamental matrix may be employ | adopted when it is below a threshold value. When the deviation is larger than the threshold, the camera motion calculation unit 36 removes the feature points forming the maximum and minimum optical flow vectors from the selection, and undergoes processing by the feature point extraction selection unit 34 and the matching processing unit 35. The process of obtaining the feature point whose optical flow vector becomes larger next to the selected feature point and the feature point whose optical flow vector becomes smaller next to the selected feature point, and deriving the temporary base matrix again repeat. By repeating such processing, a predetermined number of feature points whose deviation from the epipolar constraint condition is equal to or less than a threshold value can be determined.
なお、３次元座標値算出部３７によって算出された３次元座標値に基づいて、フレーム画像中の撮像対象物の配置の均等さと広がり、距離の均等さと広がりを考慮して、特徴点を選択してもよい。 Based on the three-dimensional coordinate value calculated by the three-dimensional coordinate value calculation unit 37, the feature point is selected in consideration of the uniformity and spread of the imaging object in the frame image and the uniformity and spread of the distance. May be.
次に、図８に基づいて、本実施形態のコントローラ３の処理フローについて説明する。なお、各機能部で既に説明した処理については、重複する説明を省略する。
この処理は、コントローラ３によって所定間隔で繰り返し行われる。まず、コントローラ３の画像取得部３１は、外界カメラ２からフレーム画像を受け取る（ステップＳ１）。そして、移動体領域分離部３２は、このフレーム画像中から静止物ではない移動体画像領域を分離する（ステップＳ２）。
Next, a processing flow of the controller 3 of the present embodiment will be described based on FIG. In addition, about the process already demonstrated in each function part, the overlapping description is abbreviate | omitted.
This process is repeated by the controller 3 at predetermined intervals. First, the image acquisition unit 31 of the controller 3 receives a frame image from the external camera 2 (step S1). Then, the moving body region separation unit 32 separates a moving body image region that is not a stationary object from the frame image (step S2).
カメラ運動推定部３８は、既に受け取っていたフレーム画像等から現時点でのカメラ運動量を推定するか、測位センサ５等からの測定データに基づいてカメラ運動推定量を算出する（ステップＳ３）。
そして、特徴点抽出選択部３４は、今回の処理で受け取ったフレーム画像から特徴点を抽出する（ステップＳ４）。
The camera motion estimation unit 38 estimates the current camera motion amount from the frame image or the like already received, or calculates the camera motion estimation amount based on the measurement data from the positioning sensor 5 or the like (step S3).
Then, the feature point extraction / selection unit 34 extracts feature points from the frame image received in the current process (step S4).
さらに、特徴点抽出選択部３４は、前回の処理で受け取ったフレーム画像の特徴点から、上述の選択処理により、所定数の特徴点を選択する（ステップＳ５）。
探索領域設定部３３は、カメラ運動推定部３８が推定した現時点におけるカメラ運動推定量や３次元データ等に基づいて、探索画像領域設定データを算出し、特徴点抽出選択部３４に出力する。特徴点抽出選択部３４は、このデータに基づいて、選択した各特徴点について、今回の処理で受け取ったフレーム画像に対して探索画像領域を設定する（ステップＳ６）。
Further, the feature point extraction / selection unit 34 selects a predetermined number of feature points from the feature points of the frame image received in the previous process by the above-described selection process (step S5).
The search region setting unit 33 calculates search image region setting data based on the current camera motion estimation amount estimated by the camera motion estimation unit 38, three-dimensional data, and the like, and outputs the search image region setting data to the feature point extraction / selection unit 34. Based on this data, the feature point extraction / selection unit 34 sets a search image region for the frame image received in the current process for each selected feature point (step S6).
マッチング処理部３５は、前回の処理で受け取ったフレーム画像中の選択された特徴点に対応する対応点を、マッチング処理により、今回の処理で受け取ったフレーム画像中から決定する（ステップＳ７）。その際、マッチング処理部３５は、各特徴点について、対応する探索画像領域でマッチング処理を行う。 The matching processing unit 35 determines a corresponding point corresponding to the selected feature point in the frame image received in the previous process from the frame image received in the current process by the matching process (step S7). At that time, the matching processing unit 35 performs matching processing for each feature point in the corresponding search image region.
特徴点抽出選択部３４は、選択された特徴点について、探索画像領域で所定の相関度でマッチングが成立したか否かを判定する（ステップＳ８）。
選択された特徴点について、探索画像領域で所定の相関度でマッチングが成立しないものがあった場合（ステップＳ８；Ｎｏ）、特徴点抽出選択部３４は、追加的に特徴点を選択すると共に、探索画像領域を設定する（ステップＳ５）。そして、再び、マッチング処理部３５は、マッチング処理を行う（ステップＳ７）。これらの処理を繰り返すことにより、所定数の特徴点及び対応点がフレーム画像間で対応付けられる。
The feature point extraction / selection unit 34 determines whether the selected feature point is matched with a predetermined degree of correlation in the search image region (step S8).
When the selected feature point does not match with a predetermined correlation degree in the search image region (step S8; No), the feature point extraction / selection unit 34 additionally selects the feature point, A search image area is set (step S5). And again, the matching process part 35 performs a matching process (step S7). By repeating these processes, a predetermined number of feature points and corresponding points are associated between the frame images.
一方、選択されたすべての特徴点について、探索画像領域で所定の相関度でマッチングが成立した場合（ステップＳ８；Ｙｅｓ）、カメラ運動算出部３６は、対応付けられた所定数の特徴点及び対応点に基づいて、カメラ運動量を算出する（ステップＳ９）。
そして、３次元座標値算出部３７は、算出されたカメラ運動量に基づいて、車両１０の周辺の３次元データを作成する（ステップＳ１０）。
On the other hand, when matching is established with a predetermined degree of correlation in the search image region for all selected feature points (step S8; Yes), the camera motion calculation unit 36 matches the predetermined number of feature points and the correspondences. Based on the points, camera momentum is calculated (step S9).
Then, the three-dimensional coordinate value calculation unit 37 creates three-dimensional data around the vehicle 10 based on the calculated camera momentum (step S10).
１ 車両用画像処理装置
２ 外界カメラ
３ コントローラ
５ 測位センサ
６ 車載センサ
７ 地図データベース
８ 距離センサ
９ 固定既知データベース
１０ 車両
２２ 特徴点
２３ 対応点
３１ 画像取得部
３２ 移動体領域分離部
３３ 探索領域設定部
３４ 特徴点抽出選択部
３５ カメラ運動算出部
３５ マッチング処理部
３６ カメラ運動算出部
３７ ３次元座標値算出部
３８ カメラ運動推定部
３９ ３次元データ蓄積部
DESCRIPTION OF SYMBOLS 1 Vehicle image processing apparatus 2 External camera 3 Controller 5 Positioning sensor 6 Car-mounted sensor 7 Map database 8 Distance sensor 9 Fixed known database 10 Vehicle 22 Feature point 23 Corresponding point 31 Image acquisition part 32 Moving body area | region separation part 33 Search area setting part 34 feature point extraction / selection unit 35 camera motion calculation unit 35 matching processing unit 36 camera motion calculation unit 37 3D coordinate value calculation unit 38 camera motion estimation unit 39 3D data storage unit
Claims (7)
前記撮像手段が第１時間に撮像した第１画像中から特徴点を抽出し、前記撮像手段が第１時間から所定時間経過後の第２時間に撮像した第２画像中から、前記第１画像中の特徴点に対応する対応点を抽出し、前記特徴点と前記対応点を用いて前記撮像手段の運動量を算出する運動量算出手段と、
この運動量算出手段が算出した運動量，前記第１画像及び前記第２画像を用いて車両周囲の３次元座標値を算出する３次元座標値算出手段と、を備えた車両用画像処理装置であって、
前記撮像手段の運動量を推定する運動量推定手段を更に備え、
前記運動量算出手段は、前記運動量推定手段により推定された運動推定量に基づいて、前記第２画像中で前記特徴点が位置すると予測される点を算出し、この算出点を中心として前記特徴点に対応する前記対応点を抽出するための第２画像中の探索領域を限定し、限定した探索領域内で前記対応点を抽出し、
前記運動量算出手段は、所定数の前記特徴点及びこれらに対応する対応点を選択し、選択した所定数の特徴点及び対応点を用いて前記運動量を算出し、
前記運動量算出手段は、前記選択された特徴点によって決定される前記所定数のエピポーラ線同士が形成する角度が大きな角度を有するように、前記所定数の特徴点を選択することを特徴とする車両用画像処理装置。 An imaging means mounted on the vehicle for capturing an image around the vehicle;
A feature point is extracted from the first image captured by the imaging unit at the first time, and the first image is extracted from the second image captured by the imaging unit at a second time after a predetermined time has elapsed from the first time. A momentum calculating means for extracting a corresponding point corresponding to a feature point in the medium and calculating a momentum of the imaging means using the feature point and the corresponding point;
A vehicle image processing apparatus comprising: a momentum calculated by the momentum calculating means; and a three-dimensional coordinate value calculating means for calculating a three-dimensional coordinate value around the vehicle using the first image and the second image. ,
A momentum estimating means for estimating the momentum of the imaging means;
The momentum calculating means calculates a point where the feature point is predicted to be located in the second image based on the estimated motion amount estimated by the momentum estimating means, and the feature point is centered on the calculated point. Limiting the search area in the second image for extracting the corresponding points corresponding to, and extracting the corresponding points within the limited search area ,
The momentum calculating means selects a predetermined number of the feature points and corresponding points corresponding thereto, calculates the momentum using the selected predetermined number of feature points and corresponding points,
The vehicle is characterized in that the momentum calculating means selects the predetermined number of feature points such that an angle formed by the predetermined number of epipolar lines determined by the selected feature points has a large angle. Image processing device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008254383A JP4702569B2 (en) | 2008-09-30 | 2008-09-30 | Image processing apparatus for vehicle |
| US12/502,790 US8259998B2 (en) | 2008-09-30 | 2009-07-14 | Image processing device for vehicle |
| EP09011217A EP2169589A3 (en) | 2008-09-30 | 2009-09-01 | Image processing device for vehicle and corresponding method and computer program product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008254383A JP4702569B2 (en) | 2008-09-30 | 2008-09-30 | Image processing apparatus for vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010085240A JP2010085240A (en) | 2010-04-15 |
| JP4702569B2 true JP4702569B2 (en) | 2011-06-15 |
Family
ID=42249340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008254383A Expired - Fee Related JP4702569B2 (en) | 2008-09-30 | 2008-09-30 | Image processing apparatus for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4702569B2 (en) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5609667B2 (en) * | 2011-01-19 | 2014-10-22 | 株式会社豊田中央研究所 | Motion estimation apparatus and program |
| JP5652239B2 (en) * | 2011-02-15 | 2015-01-14 | 株式会社豊田中央研究所 | Motion estimation apparatus and program |
| WO2013073273A1 (en) * | 2011-11-18 | 2013-05-23 | 日本電気株式会社 | Local feature amount extraction device, local feature amount extraction method, and program |
| JP5743935B2 (en) * | 2012-03-19 | 2015-07-01 | 株式会社東芝 | Object detection apparatus and object detection method |
| JP5953142B2 (en) * | 2012-06-27 | 2016-07-20 | オリンパス株式会社 | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program |
| KR101907852B1 (en) * | 2012-09-06 | 2018-10-15 | 현대모비스 주식회사 | Method and Apparatus for Processing Stereo Images |
| JP6042146B2 (en) * | 2012-09-18 | 2016-12-14 | 株式会社東芝 | Object detection apparatus and object detection method |
| EP3125806B1 (en) * | 2014-03-28 | 2023-06-14 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional imaging of surgical scenes |
| CN110251047B (en) | 2014-03-28 | 2022-01-18 | 直观外科手术操作公司 | Quantitative three-dimensional imaging and printing of surgical implants |
| KR102373714B1 (en) | 2014-03-28 | 2022-03-15 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | Quantitative three-dimensional imaging of surgical scenes from multiport perspectives |
| CN110897590B (en) | 2014-03-28 | 2021-11-16 | 直观外科手术操作公司 | Surgical system with haptic feedback based on quantitative three-dimensional imaging |
| CN106456267B (en) | 2014-03-28 | 2020-04-03 | 直观外科手术操作公司 | Quantitative three-dimensional visualization of an instrument in a field of view |
| JP6410231B2 (en) * | 2015-02-10 | 2018-10-24 | 株式会社デンソーアイティーラボラトリ | Alignment apparatus, alignment method, and computer program for alignment |
| JP7452069B2 (en) * | 2020-02-17 | 2024-03-19 | 株式会社デンソー | Road gradient estimation device, road gradient estimation system, and road gradient estimation method |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002324249A (en) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | Image display system and its method |
| JP2004198211A (en) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | Apparatus for monitoring vicinity of mobile object |
| JP2004340714A (en) * | 2003-05-15 | 2004-12-02 | National Aerospace Laboratory Of Japan | Optimum arrangement determination method of stereo camera and its system |
| JP2006053755A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Device for calculating moving quantity of mobile body |
| JP2006080761A (en) * | 2004-09-08 | 2006-03-23 | Nissan Motor Co Ltd | Vehicle detector |
| JP2006109172A (en) * | 2004-10-06 | 2006-04-20 | Sony Corp | Method and device for processing image |
| JP2006234703A (en) * | 2005-02-28 | 2006-09-07 | Univ Waseda | Image processing device, three-dimensional measuring device, and program for image processing device |
| JP2006322796A (en) * | 2005-05-18 | 2006-11-30 | Olympus Corp | Image processing device, image processing method and image processing program |
| JP2006349607A (en) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | Distance measuring device |
| JP2007129560A (en) * | 2005-11-04 | 2007-05-24 | Toyota Motor Corp | Object detector |
| JP2007256029A (en) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | Stereo image processing device |
| JP2007263669A (en) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | Three-dimensional coordinates acquisition system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62131381A (en) * | 1985-12-03 | 1987-06-13 | Nippon Telegr & Teleph Corp <Ntt> | Extraction processing method for three-dimensional position information |
| JPH07262375A (en) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | Mobile object detector |
-
2008
- 2008-09-30 JP JP2008254383A patent/JP4702569B2/en not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002324249A (en) * | 2001-02-26 | 2002-11-08 | Nabura:Kk | Image display system and its method |
| JP2004198211A (en) * | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | Apparatus for monitoring vicinity of mobile object |
| JP2004340714A (en) * | 2003-05-15 | 2004-12-02 | National Aerospace Laboratory Of Japan | Optimum arrangement determination method of stereo camera and its system |
| JP2006053755A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Device for calculating moving quantity of mobile body |
| JP2006080761A (en) * | 2004-09-08 | 2006-03-23 | Nissan Motor Co Ltd | Vehicle detector |
| JP2006109172A (en) * | 2004-10-06 | 2006-04-20 | Sony Corp | Method and device for processing image |
| JP2006234703A (en) * | 2005-02-28 | 2006-09-07 | Univ Waseda | Image processing device, three-dimensional measuring device, and program for image processing device |
| JP2006322796A (en) * | 2005-05-18 | 2006-11-30 | Olympus Corp | Image processing device, image processing method and image processing program |
| JP2006349607A (en) * | 2005-06-20 | 2006-12-28 | Toyota Central Res & Dev Lab Inc | Distance measuring device |
| JP2007129560A (en) * | 2005-11-04 | 2007-05-24 | Toyota Motor Corp | Object detector |
| JP2007256029A (en) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | Stereo image processing device |
| JP2007263669A (en) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | Three-dimensional coordinates acquisition system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010085240A (en) | 2010-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4702569B2 (en) | Image processing apparatus for vehicle | |
| TWI695181B (en) | Methods and systems for color point cloud generation | |
| US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
| US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
| JP4406381B2 (en) | Obstacle detection apparatus and method | |
| US8259998B2 (en) | Image processing device for vehicle | |
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| US10909395B2 (en) | Object detection apparatus | |
| JP2017526082A (en) | Non-transitory computer-readable medium encoded with computer program code for causing a motion estimation method, a moving body, and a processor to execute the motion estimation method | |
| JP6201148B2 (en) | CALIBRATION APPARATUS, CALIBRATION METHOD, MOBILE BODY CAMERA HAVING CALIBRATION FUNCTION, AND PROGRAM | |
| JP6328327B2 (en) | Image processing apparatus and image processing method | |
| US10650535B2 (en) | Measurement device and measurement method | |
| KR102569437B1 (en) | Apparatus and method tracking object based on 3 dimension images | |
| JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| JP2018048949A (en) | Object recognition device | |
| JP7067574B2 (en) | Distance estimation device and computer program for distance estimation | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| JP7145770B2 (en) | Inter-Vehicle Distance Measuring Device, Error Model Generating Device, Learning Model Generating Device, Methods and Programs Therefor | |
| JP2007011994A (en) | Road recognition device | |
| US10339394B2 (en) | Step detection device and step detection method | |
| JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
| JP6668740B2 (en) | Road surface estimation device | |
| AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
| KR102424664B1 (en) | Apparatus and method tracking object based on 3 dimension images | |
| JP7334489B2 (en) | Position estimation device and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4702569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |