JP2013069045A - Image recognition device, image recognition method, and image recognition program - Google Patents
Image recognition device, image recognition method, and image recognition program Download PDFInfo
- Publication number
- JP2013069045A JP2013069045A JP2011206073A JP2011206073A JP2013069045A JP 2013069045 A JP2013069045 A JP 2013069045A JP 2011206073 A JP2011206073 A JP 2011206073A JP 2011206073 A JP2011206073 A JP 2011206073A JP 2013069045 A JP2013069045 A JP 2013069045A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- unit
- image
- object recognition
- analysis method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。 The present invention relates to an image recognition apparatus, an image recognition method, and an image recognition program.
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置(ACC:Adaptive Cruise Control)や前方衝突警報装置(FCW:Forward Collision Warning)や歩行者衝突警報装置などが開発されている。このような装置では、レーダ等を用いずに、車載カメラのみによる簡易な装置の実現が期待されている。また、車載用の装置は、コストが重視されるため、ステレオカメラではなく、単眼カメラによる装置が求められている。 In recent years, an inter-vehicle distance control device (ACC), a forward collision warning device (FCW), a pedestrian collision warning device, and the like have been developed as vehicle driving support devices and preventive safety devices. In such a device, it is expected to realize a simple device using only a vehicle-mounted camera without using a radar or the like. In addition, since an in-vehicle apparatus places importance on cost, an apparatus using a monocular camera instead of a stereo camera is required.
単眼カメラでは、ステレオカメラによる方式に比べて物体の距離や相対速度を容易に推定することができず、TTC(Time To Collision)の算出も困難であるため、例えば、車載の単眼カメラから得られる時系列画像を用いて走行環境の3次元構造を推定し、物体の検知を行う方式が考えられている。これは、3D(3次元)の解析手法である(例えば、非特許文献1参照。)。 With a monocular camera, the distance and relative speed of an object cannot be easily estimated as compared with a method using a stereo camera, and it is difficult to calculate TTC (Time To Collation). A method of detecting an object by estimating a three-dimensional structure of a driving environment using a time series image is considered. This is a 3D (three-dimensional) analysis method (see, for example, Non-Patent Document 1).
非特許文献1で開示された技術の方式では、今回画像サイクル(t)と前回画像サイクル(t−1)の画像から特徴点を抽出し、オプティカルフロー等の手法により、自車両の運動を推定し、特徴点の三次元位置計算、路面領域の検出を行った後、移動物体の領域の検出を行う。
In the method of the technique disclosed in
3D解析手法に対する他の手法として、物体の形状をあらかじめ学習しておき、検出したい物体のパターンを識別する手法(パターン認識の手法)がある。このような手法では、近年、HOG(Histgrams of Oriented Gradients)特徴量やHaar−like特徴量等の特徴量と、AdaBoost(Adaptive Boosting)やSVM(Support Vector Machine)等の認識アルゴリズムを組み合わせた方式が主流となっている。 As another method for the 3D analysis method, there is a method (pattern recognition method) of learning the shape of an object in advance and identifying the pattern of the object to be detected. In such a method, in recent years, recognition methods such as HOG (Histgrams of Oriented Gradients) feature quantities and Haar-like feature quantities, AdaBoost (Adaptive Boosting), SVM (Support Vector Machine), etc. are combined. It has become mainstream.
しかしながら、前記した3D解析手法による認識では、中・近距離での性能は良いが、画像の消失点付近を含む比較的遠距離の物体については、特徴点は抽出できるものの、物体の形状を認識する精度が大幅に劣化してしまう。従って、前記した3D解析手法による認識では、ACCやFCWへの適用は困難であった。 However, the above-mentioned recognition by the 3D analysis method has good performance at medium and short distances. However, although the feature points can be extracted for relatively long distance objects including the vicinity of the vanishing point of the image, the shape of the object is recognized. The accuracy to do will deteriorate significantly. Therefore, it has been difficult to apply to ACC and FCW by the above-described recognition by the 3D analysis method.
一方、前記したパターン認識では、時系列画像処理を織り込むことによって距離と相対速度を算出することも可能ではあるが、その精度と信頼度が前記した3D解析手法に対して大幅に劣るため、車載用の装置に適応するには困難であり、工夫が求められていた。 On the other hand, in the pattern recognition described above, it is possible to calculate the distance and relative speed by incorporating time series image processing, but the accuracy and reliability thereof are significantly inferior to the 3D analysis method described above. Therefore, it is difficult to adapt to the equipment for use, and contrivance has been demanded.
本発明は、このような事情を考慮して為されたものであり、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image recognition apparatus, an image recognition method, and an image recognition program capable of accurately recognizing an object.
(1)上述した課題を解決するために、本発明に係る画像認識装置は、画像に対して3D解析手法による物体認識を行う3D解析手法による物体認識部と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、前記3D解析手法による物体認識部により得られる3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。 (1) In order to solve the above-described problem, an image recognition apparatus according to the present invention includes an object recognition unit that performs object recognition on an image using a 3D analysis method, and pattern recognition on the image. An object recognition unit by pattern recognition for performing object recognition, and an object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition and a result of object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method The final target recognition result is obtained on the basis of the result.
(2)本発明は、(1)に記載の画像認識装置において、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、AND論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (2) In the image recognition apparatus according to (1), the present invention is obtained by the object recognition unit by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition unit by the pattern recognition. A final target recognition unit that obtains a recognition result of a final target by AND logic based on a result of object recognition by pattern recognition is provided.
(3)本発明は、(1)に記載の画像認識装置において、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、OR論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (3) In the image recognition apparatus according to (1), the present invention is obtained by the object recognition unit by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition unit by the pattern recognition. A final target recognition unit that obtains a recognition result of the final target by OR logic based on the result of object recognition by pattern recognition is provided.
(4)本発明は、(1)から(3)のいずれか1つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、ことを特徴とする。 (4) In the image recognition device according to any one of (1) to (3), the object recognition unit based on the pattern recognition may include a feature point detected by the object recognition unit based on the 3D analysis method. A scan area of coordinates is determined based on one or both of the optical flows.
(5)本発明は、(1)から(3)のいずれか1つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、ことを特徴とする。 (5) The present invention provides the image recognition apparatus according to any one of (1) to (3), wherein the object recognition unit based on the pattern recognition is a 3D analysis obtained by the object recognition unit based on the 3D analysis method. A coordinate scan area is determined based on a result of object recognition by a technique.
(6)本発明は、(1)から(3)のいずれか1つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (6) In the image recognition device according to any one of (1) to (3), the object recognition unit based on the pattern recognition may include a feature point detected by the object recognition unit based on the 3D analysis method. An object to be recognized is identified based on one or both of the optical flows.
(7)本発明は、(6)に記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。 (7) In the image recognition apparatus according to (6), the object recognition unit based on the pattern recognition may include one or both of feature points detected by the object recognition unit based on the 3D analysis method and an optical flow. On the basis of the recognition target object, the threshold used in the object recognition by pattern recognition is changed so that the object is easily recognized in the region where it is estimated that the recognition target object is likely to be reflected. The identification is performed.
(8)本発明は、(1)から(3)のいずれか1つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (8) In the image recognition apparatus according to any one of (1) to (3), the object recognition unit based on the pattern recognition is a 3D analysis obtained by the object recognition unit based on the 3D analysis method. The recognition target object is identified based on the result of the object recognition by the technique.
(9)本発明は、(8)に記載の画像認識装置において、前記パターン認識による物体認識部は、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。 (9) In the image recognition device according to (8), the object recognition unit based on the pattern recognition is based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method. The threshold used for object recognition by pattern recognition is changed to identify the object to be recognized in order to make it easier to recognize the object in the area where it is estimated that the object to be recognized is likely to be reflected. It is characterized by performing.
(10)本発明は、(1)に記載の画像認識装置において、前記3D解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、ことを特徴とする。 (10) In the image recognition device according to (1), the object recognition unit based on the 3D analysis method is based on a result of object recognition by pattern recognition obtained by the object recognition unit by pattern recognition. One or both of feature points and optical flows are detected.
(11)本発明は、(10)に記載の画像認識装置において、前記3D解析手法による物体認識部により得られた3D解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (11) In the image recognition apparatus according to (10), the present invention provides a final target that obtains a recognition result of a final target based on a result of object recognition by a 3D analysis method obtained by an object recognition unit by the 3D analysis method. It comprises a recognition part.
(12)本発明は、(1)に記載の画像認識装置において、前記3D解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (12) In the image recognition device according to (1), the object recognition unit based on the 3D analysis method is based on a result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition. An object to be recognized is identified.
(13)本発明は、(1)から(12)のいずれか1つに記載の画像認識装置において、車載用の画像認識装置であり、画像を撮像するカメラを備え、前記3D解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、ことを特徴とする。 (13) The present invention provides the image recognition device according to any one of (1) to (12), which is an on-vehicle image recognition device, includes a camera that captures an image, and is an object based on the 3D analysis method. The recognition unit and the object recognition unit based on pattern recognition perform object recognition on an image captured by the camera.
(14)上述した課題を解決するために、本発明に係る画像認識方法は、3D解析手法による物体認識部が、画像に対して3D解析手法による物体認識を行い、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、前記3D解析手法による物体認識部により得られる3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。 (14) In order to solve the above-described problem, in the image recognition method according to the present invention, an object recognition unit based on a 3D analysis method performs object recognition on an image using a 3D analysis method, and an object recognition unit based on pattern recognition The object recognition is performed on the image by pattern recognition, and the object recognition result by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition are performed. A recognition result of the final target is obtained based on the result.
(15)上述した課題を解決するために、本発明に係る画像認識プログラムは、3D解析手法による物体認識部により得られる3D解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、3D解析手法による物体認識部が、画像に対して3D解析手法による物体認識を行う手順と、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、をコンピュータに実行させるためのものである。 (15) In order to solve the above-described problem, an image recognition program according to the present invention includes a result of object recognition by a 3D analysis method obtained by an object recognition unit by a 3D analysis method and a pattern obtained by an object recognition unit by pattern recognition. In order to obtain the recognition result of the final target based on the result of object recognition by recognition, the object recognition unit by the 3D analysis method performs the procedure of performing object recognition by the 3D analysis method on the image, and the object recognition unit by pattern recognition And a procedure for performing object recognition on the image by pattern recognition.
以上説明したように、本発明によれば、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。 As described above, according to the present invention, it is possible to provide an image recognition apparatus, an image recognition method, and an image recognition program that can accurately recognize an object.
以下の実施形態では、車両(自己の車両)に搭載される車載用の画像認識装置を例として示す。そして、以下の実施形態に係る画像認識装置は、車両の前方の画像を撮像する単眼カメラを備え、当該単眼カメラにより撮像した画像における物体を認識する装置として動作する。 In the following embodiments, an in-vehicle image recognition device mounted on a vehicle (own vehicle) is shown as an example. And the image recognition apparatus which concerns on the following embodiment is equipped with the monocular camera which images the image ahead of a vehicle, and operate | moves as an apparatus which recognizes the object in the image imaged with the said monocular camera.
[第1実施形態]
図1は、本発明の第1実施形態に係る画像認識装置1の構成を示すブロック図である。
本実施形態に係る画像認識装置1は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部13と、パターン認識による物体認識部14と、最終ターゲット認識部15と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of an
The
本実施形態では、単眼カメラ11は、画像認識装置1が搭載される車両の前方の画像を撮像する位置に設けられる。
In the present embodiment, the
本実施形態に係る画像認識装置1において行われる動作の例を示す。
単眼カメラ11は、画像を撮像し、撮像した画像を画像取得部12に出力する。
画像取得部12は、単眼カメラ11から入力された画像を取得し、取得した画像のデータを3D解析手法による物体認識部13とパターン認識による物体認識部14のそれぞれに出力する。
ここで、画像取得部12は、例えば、取得した画像のデータを一時的に記憶する記憶部を有する。
The example of the operation | movement performed in the
The
The
Here, the
3D解析手法による物体認識部13は、画像取得部12から入力された画像のデータについて、3D解析手法による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部15に出力する。
本実施形態では、3D解析手法による物体認識部13は、画像取得部12から入力された画像のデータについて、その画像の中で、車両が映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部15に出力する。全体の画像中の画像領域は、例えば、水平(横)方向の座標値と垂直(縦)方向の座標値からなる座標の情報を用いて表現することができる。
ここで、3D解析手法による物体認識部13では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
The
In the present embodiment, the
Here, in the
なお、本実施形態では、3D解析手法による物体認識部13において、画像中に映っている移動物体(時間の流れとともに移動する物体であり、静止物体ではないもの)を検出し、検出した移動物体が映っている画像領域を、車両が映っていると推定される画像領域として認識する構成を示す。他の例として、3D解析手法による物体認識部13において、車両が映っていると推定される画像領域を特定するための特徴となる情報を設定しておき、その特徴となる情報に一致または類似する物体が映っている画像領域を、車両が映っていると推定される画像領域(静止車両も含む)として認識する構成を用いることも可能である。
In the present embodiment, the
パターン認識による物体認識部14は、画像取得部12から入力された画像のデータについて、パターン認識による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部15に出力する。
本実施形態では、パターン認識による物体認識部14は、車両の画像のパターン(学習結果による、弱識別器のパラメータ等)をメモリに記憶しており、画像取得部12から入力された画像のデータについて、その画像の中で、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部15に出力する。全体の画像中の画像領域は、例えば、水平(横)方向の座標値と垂直(縦)方向の座標値からなる座標の情報を用いて表現することができる。
ここで、パターン認識による物体認識部14では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
The
In the present embodiment, the
Here, the
最終ターゲット認識部15は、3D解析手法による物体認識部13から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)と、パターン認識による物体認識部14から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)について、これら2つの物体認識の処理の結果において、認識対象の物体(本実施形態では、車両)であると特定した画像領域(座標の領域)が一致する(重なる)部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・TTC確定部16に出力する。
The final
具体例として、最終ターゲット認識部15は、3D解析手法による物体認識部13から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)と、パターン認識による物体認識部14から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)について、AND論理の処理を行うことによって、これら2つの一致部分(重複部分)を検出し、その一致部分を、最終的なターゲットの領域であると認識する。
As a specific example, the final
ここで、本実施形態では、全体の画像に認識対象の物体(本実施形態では、車両)が複数映っている場合には、3D解析手法による物体認識部13やパターン認識による物体認識部14はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部15はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in the present embodiment, when a plurality of objects to be recognized (vehicles in the present embodiment) are reflected in the entire image, the
距離・TTC確定部16は、最終ターゲット認識部15から入力された最終的なターゲットの領域を特定する情報に基づいて、それぞれの最終的なターゲット(本実施形態では、車両)ごとに、距離とTTCを算出して確定し、確定した距離とTTCの情報をトラッキング部17に出力する。なお、本実施形態では、距離・TTC確定部16は、それぞれの最終的なターゲットの領域を特定する情報と、確定した距離とTTCの情報との組をトラッキング部17に出力する。
The distance /
ここで、最終的なターゲットごとの距離とTTCは、例えば、距離・TTC確定部16により算出する構成が用いられてもよく、あるいは、他の例として、3D解析手法による物体認識部13またはパターン認識による物体認識部14により算出して、算出した最終的なターゲットごとの距離とTTCの情報を最終ターゲット認識部15を介して距離・TTC確定部16に出力し、距離・TTC確定部16が入力された最終的なターゲットごとの距離とTTCの情報により最終的なターゲットごとの距離とTTCを確定する構成が用いられてもよい。
なお、最終的なターゲットごとの距離とTTCは、例えば、3D解析手法による物体認識部13により得られた物体認識の処理の結果を用いて算出することができ、他の例として、パターン認識による物体認識部14により得られた物体認識の処理の結果を用いて算出されてもよく、さらに他の例として、これら両方の物体認識の処理の結果を用いて算出されてもよい。
Here, for example, a configuration in which the distance and TTC for each final target are calculated by the distance /
Note that the final distance and TTC for each target can be calculated using, for example, the result of object recognition processing obtained by the
トラッキング部17は、距離・TTC確定部16から入力された情報に基づいて、トラッキングの処理を行い、衝突警報部18とACC制御部19のそれぞれに各制御に必要な情報を出力する。本実施形態では、トラッキング部17は、例えば、最終的なターゲットごとのTTCの情報を衝突警報部18に出力し、また、トラッキングの処理の結果の情報や、最終的なターゲットごとの距離や相対速度(自己の車両と最終的なターゲットとの距離や相対速度)の情報をACC制御部19に出力する。
The
ここで、最終的なターゲットごとの相対速度は、例えば、トラッキング部17により算出され、他の例として、ACC制御部19などで算出されてもよい。
なお、トラッキング部17は、時系列画像のトラッキングの処理を行う場合に、例えば、制御サイクルの時系列フィルタ処理で、過去制御サイクルとの結果で最終的な判定を行う。
Here, the final relative speed for each target may be calculated by, for example, the
Note that the
衝突警報部18は、トラッキング部17から入力された情報に基づいて、TTCの計算結果により、最終的なターゲット(本実施形態では、他の車両)との衝突の可能性があると判断した場合には、その旨を自己の車両の乗員に警報する(FCWアプリケーション)。
When the
ACC制御部19は、トラッキング部17から入力された情報に基づいて、最終的なターゲット(本実施形態では、他の車両)との距離と相対速度の情報を用いて、前走車との車間距離の制御を行う。
Based on the information input from the
ここで、本実施形態では、3D解析手法による物体認識部13およびパターン認識による物体認識部14が車両が映っていると推定される画像領域を認識し、最終ターゲット認識部15が車両が映っていると推定される画像領域について最終的なターゲットの領域を認識する構成を示したが、他の例として、車両以外の種々なものが物体認識の対象(ターゲット)とされてもよく、例えば、二輪車や歩行者などが物体認識の対象(ターゲット)とされてもよく、また、車両と二輪車といったように2つ以上のものが物体認識の対象(ターゲット)とされてもよい。3D解析手法による物体認識部13およびパターン認識による物体認識部14には、例えば、あらかじめ、物体認識の対象(ターゲット)とするものを特定するための条件が設定され、その条件に基づいて物体認識の対象(ターゲット)が特定される。
Here, in the present embodiment, the
次に、3D解析手法による物体認識部13により行われる処理の例を示す。
図9は、3D解析手法の処理の手順の一例を示す図である。ここでは、各処理の概略を説明する。
なお、この処理の手順は、非特許文献1に記載されたものを引用しており、詳細については非特許文献1に記載されている。
Next, an example of processing performed by the
FIG. 9 is a diagram illustrating an example of a processing procedure of the 3D analysis method. Here, an outline of each process will be described.
In addition, the procedure of this process cites what was described in
3D解析手法による物体認識部13は、画像取得部12から入力される画像について、時間的に連続する2枚の画像を取得する(ステップS1)。時間的に連続する2枚の画像は、例えば、時刻tの画像と、時刻t+1の画像となる。
次に、3D解析手法による物体認識部13は、特徴点を検出し、オプティカルフローを計算する(ステップS2)。
The
Next, the
次に、3D解析手法による物体認識部13は、自車両(自己の車両)の運動を推定する(ステップS3)。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる(ステップS8)。
次に、3D解析手法による物体認識部13は、特徴点の三次元位置を計算する(ステップS4)。
Next, the
Next, the
次に、3D解析手法による物体認識部13は、路面領域を検出する(ステップS5)。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる(ステップS8)。
次に、3D解析手法による物体認識部13は、移動物体領域を検出する(ステップS6)。
そして、3D解析手法による物体認識部13は、検出した移動物体(本実施形態では、車両であると推定される移動物体)をターゲットとして認識する(ステップS7)。
Next, the
Next, the
Then, the
なお、3D解析手法による物体認識部13により行われる処理としては、他の種々な3D解析手法による物体認識の処理が用いられてもよい。
また、本実施形態では、動きベクトルとして、オプティカルフローを用いる場合を示すが、他の種々なものが用いられてもよい。
As processing performed by the
Further, in the present embodiment, a case where an optical flow is used as a motion vector is shown, but various other types may be used.
次に、パターン認識による物体認識部14の構成例を示す。
図2は、パターン認識による物体認識部14の構成例を示すブロック図である。
本実施形態に係るパターン認識による物体認識部14は、勾配積分画像算出部101と、座標スキャン部102と、特徴量ベクトル算出部103と、識別部104と、を備える。
Next, a configuration example of the
FIG. 2 is a block diagram illustrating a configuration example of the
The
ここで、本実施形態に係るパターン認識による物体認識部14では、特徴量として、HOG特徴量を用いている。他の例として、特徴量として、Haar−like特徴量やEdgelet特徴量等の他の種々な特徴量が用いられてもよい。
また、本実施形態に係るパターン認識による物体認識部14では、識別部104において、AdaBoostの認識アルゴリズムを用いている。他の例として、認識アルゴリズムとして、Real AdaBoostやSVM等の他の種々な認識アルゴリズムやその改良アルゴリズムが用いられてもよい。
Here, the
In the
パターン認識による物体認識部14において行われる動作の例を示す。
なお、HOG特徴量やAdaBoostの認識アルゴリズムとしては、それぞれ、公知の技術を利用することができ、本実施形態では、詳しい説明は省略する。
The example of the operation | movement performed in the
Note that as the HOG feature amount and the AdaBoost recognition algorithm, known techniques can be used, respectively, and detailed description thereof will be omitted in the present embodiment.
パターン認識による物体認識部14に入力された画像は、勾配積分画像算出部101に入力される。
勾配積分画像算出部101は、入力された画像について、全画像に対して勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部101は、この計算結果の情報を座標スキャン部102に出力する。
なお、本実施形態では、元の全画像に対して勾配強度と勾配方向を算出するが、他の例として、ピラミッド画像により解像度を下げた画像にも適用可能である。
An image input to the
The gradient integral
In the present embodiment, the gradient strength and gradient direction are calculated for all original images. However, as another example, the present invention can be applied to an image whose resolution is lowered by a pyramid image.
座標スキャン部102は、勾配積分画像算出部101から入力された情報に基づいて、全画像の中であらかじめ設定した任意の座標領域に対して、前記した勾配方向の勾配強度を算出する。座標スキャン部102は、この算出結果の情報を特徴量ベクトル算出部103に出力する。
Based on the information input from the gradient integral
ここで、本実施形態では、勾配積分画像算出部101によりあらかじめ算出しておいた積分画像があるため、座標スキャン部102により任意のウインドウ(枠)の積分値を容易に算出することができる。
なお、他の例として、このような積分画像を使用しない構成が用いられてもよい。
Here, in this embodiment, since there is an integral image calculated in advance by the gradient integral
As another example, a configuration that does not use such an integral image may be used.
特徴量ベクトル算出部103は、座標スキャン部102から入力された情報に基づいて、HOG特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部103は、この結果の情報(特徴量ベクトルの情報)を識別部104に出力する。
識別部104は、特徴量ベクトル算出部103から入力された情報に基づいて、AdaBoostによる識別の処理を行い、あらかじめターゲットとしている物体(本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体)を認識する。識別部104は、この物体認識の処理の結果を出力する。
識別部104から出力された物体認識の処理の結果は、パターン認識による物体認識部14から出力されて、最終ターゲット認識部15に入力される。
なお、識別部104と最終ターゲット認識部15との間にクラスタリング部を設けてミーンシフト等のクラスタリングを行ってもよい。
The feature quantity
The
The result of the object recognition process output from the
A clustering unit may be provided between the
図10は、パターン認識による物体認識部14のより詳細な構成を示すブロック図である。
図10は、勾配積分画像算出部101と、特徴量ベクトル算出部103について、詳しい構成例を示してある。
勾配積分画像算出部101は、勾配強度検出部301と、勾配方向検出部302と、勾配方向ごとの勾配強度の積分部303と、を備える。
特徴量ベクトル算出部103は、セル単位の積分値算出部311と、ブロック正規化部312と、特徴量ベクトル算出処理部313と、を備える。
FIG. 10 is a block diagram showing a more detailed configuration of the
FIG. 10 shows a detailed configuration example of the gradient integral
The gradient integral
The feature
勾配積分画像算出部101において行われる動作の例を示す。
勾配積分画像算出部101に入力された画像は、勾配強度検出部301に入力される。
勾配強度検出部301は、入力された画像に基づいて、各ピクセル(u,v)における画素値(例えば、輝度値)の勾配強度m(u,v)を検出する。勾配強度検出部301は、入力された画像および検出した勾配強度m(u,v)を勾配方向検出部302に出力する。
ここで、uとvは、直交座標平面上における画素(ピクセル)の位置を表すための座標の縦軸方向の値と横軸方向の値である。
An example of an operation performed in the gradient integral
The image input to the gradient integral
The
Here, u and v are a value in the vertical axis direction and a value in the horizontal axis direction of coordinates for representing the position of the pixel (pixel) on the orthogonal coordinate plane.
勾配方向検出部302は、勾配強度検出部301から画像および勾配強度m(u,v)を入力し、入力した画像に基づいて各ピクセル(u,v)における勾配方向q(u,v)を検出する。勾配方向検出部302は、入力した勾配強度m(u,v)および検出した勾配方向q(u,v)を勾配方向ごとの勾配強度の積分部303に出力する。
The gradient
勾配方向ごとの勾配強度の積分部303は、勾配方向検出部302から入力された勾配強度m(u,v)および勾配方向q(u,v)に基づいて、勾配方向ごとに勾配強度の積分を行う。勾配方向ごとの勾配強度の積分部303は、この積分の結果により得られる情報を出力する。
勾配方向ごとの勾配強度の積分部303から出力された情報は、勾配積分画像算出部101による計算結果の情報として当該勾配積分画像算出部101から出力されて、座標スキャン部102に入力される。
The gradient
Information output from the gradient
座標スキャン部102は、全画像領域またはその中の所望の比較的大きい領域内を、特定の座標領域(ウインドウ)をスライド(ウインドウサイズのスケールも可変して、順次スライドする)しながら、次の特徴量ベクトル算出部103で算出するウインドウを選択する。
The coordinate
特徴量ベクトル算出部103において行われる動作の例を示す。
座標スキャン部102から特徴量ベクトル算出部103に入力された情報は、セル単位の積分値算出部311に入力される。
セル単位の積分値算出部311は、入力された情報に基づいて、勾配方向ごとの勾配強度について、セル単位の積分値を算出する。セル単位の積分値算出部311は、算出したセル単位の積分値をブロック正規化部312に出力する。
An example of an operation performed in the feature quantity
Information input from the coordinate
The integral
ブロック正規化部312は、セル単位の積分値算出部311から入力されたセル単位の積分値について、ブロック単位で、正規化を行う。ブロック正規化部312は、この正規化の結果の情報を特徴量ベクトル算出処理部313に出力する。
特徴量ベクトル算出処理部313は、ブロック正規化部312から入力された情報に基づいて、特徴量ベクトル(本実施形態では、HOG特徴量のベクトル)を算出する。特徴量ベクトル算出処理部313は、算出した特徴量ベクトルの情報を出力する。
特徴量ベクトル算出処理部313から出力された情報は、特徴量ベクトル算出部103から出力されて、識別部104に入力される。
The
The feature vector
The information output from the feature vector
ここで、本実施形態では、1つのセルは座標スキャンするウインドウの1/16のサイズから構成されており、1つのブロックは3セル(縦)×3セル(横)の領域から構成されている。
なお、セルの大きさや、ブロックの大きさとしては、それぞれ、他の種々な構成が用いられてもよい。
Here, in the present embodiment, one cell is composed of 1/16 the size of the coordinate scanning window, and one block is composed of an area of 3 cells (vertical) × 3 cells (horizontal). .
Various other configurations may be used for the cell size and the block size, respectively.
ここで、積分画像について説明しておく。積分画像は、一般に知られた技術であり、ここでは、その概略を説明する。
図11は、積分画像を説明するための図である。
図11において、画像の左上を画素の座標の基準位置(0,0)として、座標(u、v)を考える。また、座標(u,v)における画像の画素値をi(u,v)とする。
s(u,v)を行の画素の総和(縦方向の総和)とし、ii(u,v)を列のs(u,v)の総和(横方向の総和)とする。このii(u,v)が積分画像となる。
このとき、次の式(1)、式(2)が表される。ここで、s(−1,v)=0とし、ii(u,−1)=0とする。
Here, the integral image will be described. The integral image is a generally known technique, and an outline thereof will be described here.
FIG. 11 is a diagram for explaining the integral image.
In FIG. 11, the coordinates (u, v) are considered with the upper left of the image as the reference position (0, 0) of the coordinates of the pixels. Further, the pixel value of the image at the coordinates (u, v) is assumed to be i (u, v).
Let s (u, v) be the sum of the pixels in the row (total in the vertical direction), and ii (u, v) be the sum of the s (u, v) in the column (sum in the horizontal direction). This ii (u, v) becomes an integral image.
At this time, the following expressions (1) and (2) are expressed. Here, s (-1, v) = 0 and ii (u, -1) = 0.
s(u,v)=s(u−1,v)+i(u,v) ・・・(1) s (u, v) = s (u-1, v) + i (u, v) (1)
ii(u,v)=ii(u,v−1)+s(u、v) ・・・(2) ii (u, v) = ii (u, v-1) + s (u, v) (2)
このとき、一例として、図11に示される第4領域における画素値の和S(4)を求める場合には、式(3)により算出することができる。 At this time, as an example, when the sum S (4) of the pixel values in the fourth region shown in FIG. 11 is obtained, it can be calculated by Expression (3).
S(4)=ii(u,v)−ii(u,v−Q1)−ii(u−P1,v)+ii(u−P1,v−Q1) ・・・(3) S (4) = ii (u, v) −ii (u, v−Q1) −ii (u−P1, v) + ii (u−P1, v−Q1) (3)
本実施形態では、このような積分画像ii(u,v)を使用することで、演算を容易化することが可能である。 In the present embodiment, the calculation can be facilitated by using such an integral image ii (u, v).
次に、3D解析手法による物体認識部13により行われる3D解析手法による物体認識とパターン認識による物体認識部14により行われるパターン認識による物体認識との組み合わせについて説明する。
図3は、3D解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
図3に示される画像1001では、道路上に車両が走行している。そして、3D解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、縦方向の辺よりも横方向の辺の方が長い矩形の枠1002の領域が示されている。
Next, a combination of object recognition by the 3D analysis method performed by the
FIG. 3 is a diagram illustrating an example of a region where it is desired to improve the performance of object recognition by a combination of object recognition by 3D analysis and object recognition by pattern recognition.
In the
この枠1002の領域は、3D解析手法による物体認識の単体ではターゲット(本実施形態では、車両)以外の物体を誤認識する可能性がある領域であり、且つ、パターン認識による物体認識の単体でもターゲット(本実施形態では、車両)以外の物体を誤認識する可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部15によりAND論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理(本実施形態では、AND論理)は、3D解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
The area of the
Therefore, when there is such mutual recognition performance, it is effective to perform recognition by AND logic by the final
なお、このような、3D解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域は、例えば、道路の状況などによって、変動する。
図3に示される例では、道路がほぼ直進方向にあるが、大きいカーブでの前走車を認識することが必要であることから、横長の枠1002の領域を設定している。
ここで、枠1002の領域は、例えば、画像1001における座標の値を用いて表すことができる。
Note that the region where it is desired to improve the performance of object recognition by combining the object recognition by the 3D analysis technique and the object recognition by the pattern recognition varies depending on, for example, road conditions.
In the example shown in FIG. 3, the road is almost in a straight line direction, but since it is necessary to recognize a preceding vehicle on a large curve, an area of a horizontally
Here, the area of the
以上のように、本実施形態に係る画像認識装置1は、3D解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてAND論理が成立した座標領域の物体を最終的にターゲット(目標と定めた物体)であると判断する。
従って、本実施形態に係る画像認識装置1によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置1によれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置(FCW)に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置(ACC)への適用が可能となる効果を有する。
As described above, the
Therefore, according to the
なお、一般的に、3D解析手法による物体認識では、遠距離にある物体の認識は不得手であると考えられるが、本実施形態では、パターン認識による物体認識を併用することで、遠距離にある物体の認識についても、精度を向上させている。 In general, it is considered that the object recognition by the 3D analysis method is not good at the recognition of the object at a long distance. However, in the present embodiment, the object recognition by the pattern recognition is used at a long distance. The accuracy of recognition of an object is also improved.
[第2実施形態]
本実施形態に係る画像認識装置1aの概略的な構成は、図1に示される第1実施形態に係る画像認識装置1の構成と同様であるため、以下では、図1に示される構成および各構成部の符号を利用して説明する。
なお、以下では、第1実施形態に係る画像認識装置1とは異なる点について詳しく説明する。
[Second Embodiment]
Since the schematic configuration of the
In the following, differences from the
本実施形態に係る画像認識装置1aでは、主に、最終ターゲット認識部15の構成および動作が、第1実施形態の場合とは異なっている。
本実施形態では、最終ターゲット認識部15は、OR論理を用いて認識を行う。
具体的には、最終ターゲット認識部15は、3D解析手法による物体認識部13から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)と、パターン認識による物体認識部14から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)について、これら2つの物体認識の処理の結果において、認識対象の物体(本実施形態では、車両)であると特定した何れかまたは一致する画像領域(座標の領域)の部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・TTC確定部16に出力する。
In the
In the present embodiment, the final
Specifically, the final
具体例として、最終ターゲット認識部15は、3D解析手法による物体認識部13から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)と、パターン認識による物体認識部14から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)について、OR論理の処理を行うことによって、最終的なターゲットの領域であると認識する。
As a specific example, the final
ここで、本実施形態では、全体の画像に認識対象の物体(本実施形態では、車両)が複数映っている場合には、3D解析手法による物体認識部13やパターン認識による物体認識部14はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部15はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in the present embodiment, when a plurality of objects to be recognized (vehicles in the present embodiment) are reflected in the entire image, the
次に、3D解析手法による物体認識部13により行われる3D解析手法による物体認識とパターン認識による物体認識部14により行われるパターン認識による物体認識との組み合わせについて説明する。
第1実施形態において参照した図3には、3D解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、矩形の枠1002の領域が示されている。
Next, a combination of object recognition by the 3D analysis method performed by the
In FIG. 3 referred to in the first embodiment, a region of a
この枠1002の領域は、3D解析手法による物体認識の単体ではターゲット(本実施形態では、車両)を認識することができない可能性がある領域であり、且つ、パターン認識による物体認識でもターゲット(本実施形態では、車両)を認識することができない可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部15によりOR論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理(本実施形態では、OR論理)は、3D解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
The area of the
Therefore, when there is such mutual recognition performance, it is effective to perform the OR target recognition by the final
以上のように、本実施形態に係る画像認識装置1aは、3D解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてOR論理が成立した座標領域の物体を最終的にターゲット(目標と定めた物体)であると判断する。
従って、本実施形態に係る画像認識装置1aによれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置1aによれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置(FCW)に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置(ACC)への適用が可能となる効果を有する。
As described above, the
Therefore, according to the
ここで、最終ターゲット認識部15により行われる動作として、第1実施形態ではAND論理の動作を示し、第2実施形態ではOR論理の動作を示したが、他の動作が用いられてもよい。
AND論理の一例として、最終ターゲット認識部15は、3D解析手法による物体認識部13から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)と、パターン認識による物体認識部14から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)について、これら2つの物体認識の処理の結果において、認識対象の物体(本実施形態では、車両)であると特定した画像領域(座標の領域)の重複部分(オーバーラップする部分)が所定の割合(例えば、50%など)以上である場合に、あらかじめ定められたいずれか一方の物体認識の処理の結果を最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・TTC確定部16に出力する、といった構成を用いることができる。
Here, as the operation performed by the final
As an example of AND logic, the final
[第3実施形態]
図4は、本発明の第3実施形態に係る画像認識装置2の構成を示すブロック図である。
本実施形態に係る画像認識装置2は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部21と、パターン認識による物体認識部22と、最終ターゲット認識部15と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[Third Embodiment]
FIG. 4 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置2の構成や動作は、3D解析手法による物体認識部21とパターン認識による物体認識部22に関する構成や動作を除いて、図1に示される第1実施形態に係る画像認識装置1の構成(AND論理を用いる構成)、または、第2実施形態に係る画像認識装置1aの構成(OR論理を用いる構成)と同様である。
このため、図4では、第1実施形態または第2実施形態と同様な構成部については、同一の符号を付してある。以下では、第1実施形態に係る画像認識装置1または第2実施形態に係る画像認識装置1aとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 4, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
3D解析手法による物体認識部21は、特徴点・オプティカルフロー検出部111と、自車に対する相対距離検出部112と、クラスタリング部113と、を備える。
パターン認識による物体認識部22は、勾配積分画像算出部121と、座標スキャン部122と、特徴量ベクトル算出部123と、識別部124と、を備える。座標スキャン部122は、座標のスキャン領域決定部126を備える。
The
The
3D解析手法による物体認識部21において行われる動作の例を示す。
画像取得部12から3D解析手法による物体認識部21に入力された画像は、特徴点・オプティカルフロー検出部111に入力される。
この入力画像は、特徴点・オプティカルフロー検出部111、自車に対する相対距離検出部112、クラスタリング部113により、順に処理されて、その処理の結果がクラスタリング部113から出力される。
クラスタリング部113から出力された処理の結果は、3D解析手法による物体認識の処理の結果として、3D解析手法による物体認識部21から出力されて、最終ターゲット認識部15に入力される。
An example of an operation performed in the
The image input from the
This input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、3D解析手法による物体認識部21において、図9に示されるのと同様な3D解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部111がステップS1〜ステップS2の処理を実行し、自車に対する相対距離検出部112がステップS3〜ステップS6の処理を実行し、クラスタリング部113がステップS7の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部111は、検出した特徴点の情報と、検出(本実施形態では、計算)したオプティカルフローの情報を座標スキャン部122に出力する。
Furthermore, in the present embodiment, the feature point / optical
パターン認識による物体認識部22において行われる動作の例を示す。
画像取得部12からパターン認識による物体認識部22に入力された画像は、勾配積分画像算出部121に入力される。
この入力画像は、勾配積分画像算出部121、座標スキャン部122、特徴量ベクトル算出部123、識別部124により、順に処理されて、その処理の結果が識別部124から出力される。
識別部124から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部22から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the
An image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部22に備えられた勾配積分画像算出部121と、座標スキャン部122と、特徴量ベクトル算出部123と、識別部124によって、概略的には、それぞれ、図2に示される勾配積分画像算出部101と、座標スキャン部102と、特徴量ベクトル算出部103と、識別部104と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、特徴点・オプティカルフロー検出部111から出力された特徴点の情報と、オプティカルフローの情報が、座標スキャン部122に入力される。座標スキャン部122に入力された特徴点の情報とオプティカルフローの情報は、座標のスキャン領域決定部126に入力される。
Further, in the present embodiment, the feature point information output from the feature point / optical
座標のスキャン領域決定部126は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部122において座標スキャンする領域を決定する。本実施形態では、このようにして決定される座標スキャン部122において座標スキャンする領域は、パターン認識を行う領域となる。
The coordinate scan
本実施形態では、座標スキャン部122は、勾配積分画像算出部121から入力された情報に基づいて、全画像の中で、座標のスキャン領域決定部126により決定された座標スキャンする領域(座標領域)に対して、勾配方向の勾配強度を算出する。座標スキャン部122は、この算出結果の情報を特徴量ベクトル算出部123に出力する。
In the present embodiment, the coordinate scan unit 122 is based on the information input from the gradient integral
ここで、座標のスキャン領域決定部126は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部122において座標スキャンする領域として、全画像中において、認識対象の物体(本実施形態では、車両)が映っている可能性が高いと推定される領域を決定する。
Here, the coordinate scan
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、特徴点が密集する領域を検出し、その密集する領域のサイズを包含する広めの領域を、座標スキャン部122において座標スキャンする領域として決定することができる。 As an example of a method for determining a pattern recognition coordinate scan area with priority on feature point information, a coordinate scan unit detects an area where feature points are dense and includes a wide area including the size of the dense area. In 122, it can be determined as an area for coordinate scanning.
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部126は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値(閾値)より多い分割領域のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
As another example of the method for determining the pattern recognition coordinate scan area by giving priority to the feature point information, the coordinate scan
なお、この閾値としては、一例として、2以上の値を設定する。
他の一例として、この閾値として、1を設定することもできる。この場合、座標のスキャン領域決定部126は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、1つでも特徴点が抽出された分割領域のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
In addition, as this threshold value, the value of 2 or more is set as an example.
As another example, 1 can be set as the threshold. In this case, the coordinate scan
オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部126は、オプティカルフローにより定められる変化量(例えば、勾配の強度)の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、各分割領域内に存在する1つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値(閾値)より大きい分割領域のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
As an example of a method for determining a pattern recognition coordinate scan area with priority given to optical flow information, the coordinate scan
また、オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部126は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、あらかじめ設定された値(閾値)より大きいオプティカルフローが1つでも抽出された分割領域のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
As another example of a method for determining a coordinate recognition area for pattern recognition by giving priority to optical flow information, the coordinate scan
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部126は、特徴点に関する条件(例えば、上記したもの等、1つ以上の条件)を満たし、且つ、オプティカルフローに関する条件(例えば、上記したもの等、1つ以上の条件)を満たす分割領域のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
In addition, as an example of a method for determining a pattern recognition coordinate scan area by giving priority to feature point information and optical flow information, the coordinate scan
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部126は、特徴点に関する条件(例えば、上記したもの等、1つ以上の条件)またはオプティカルフローに関する条件(例えば、上記したもの等、1つ以上の条件)のうちの少なくとも1つの条件を満たす分割領域(これらの全ての条件を満たす分割領域も含む)のみを、座標スキャン部122において座標スキャンする領域として決定することができる。
As another example of a method for determining a pattern recognition coordinate scan area by giving priority to feature point information and optical flow information, the coordinate scan
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部126は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域のみを座標スキャン部122において座標スキャンする領域とする構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャン部122において座標スキャンする領域とする、こともできる。
Further, in the method for determining the pattern recognition coordinate scan region by giving priority to one or both of the feature point information and the optical flow information as described above, for example, the coordinate scan
次に、座標のスキャン領域決定部126について、他の例を示す。
他の例に係る座標のスキャン領域決定部126は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部122において座標スキャンする領域の重要度を決定する。本実施形態では、このようにして決定される座標スキャン部122において座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
Next, another example of the coordinate scan
The coordinate scan
本実施形態では、座標スキャン部122は、勾配積分画像算出部121から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部126により決定された座標スキャンする領域(座標領域)の重要度を考慮して、勾配方向の勾配強度を算出する。座標スキャン部122は、この算出結果の情報を特徴量ベクトル算出部123に出力する。
In the present embodiment, the coordinate scanning unit 122, based on the information input from the gradient integral
ここで、他の例に係る座標のスキャン領域決定部126は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部122において座標スキャンする領域の重要度として、全画像中において認識対象の物体が映っている可能性が高いと推定される領域の重要度を高い重要度とするように決定する。
Here, the coordinate scan
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部126は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、特徴量に関する情報(例えば、勾配強度など)を算出するときの重み付け(重要度)を大きくすることができる。具体例として、他の例に係る座標のスキャン領域決定部126は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、得られた特徴量に関する値(例えば、勾配強度など)にあらかじめ設定された値(例えば、1より大きい値)を乗算することができ、つまり、このような分割領域においては、他の分割領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
As an example of a method for determining the importance of a pattern recognition coordinate scan region by placing importance on one or both of feature point information and optical flow information, a coordinate scan
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部126は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、特徴量に関する情報(例えば、勾配強度など)を算出するときの分解能を細かくすることができる。具体例として、他の例に係る座標のスキャン領域決定部126は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、あらかじめ設定された比較的細かい分解能でスライド(移動)させてスキャンし、他の分割領域については、あらかじめ設定された比較的粗い分解能でスライド(移動)させてスキャンすることができる。
As another example of the method of determining the importance of the pattern recognition coordinate scan area by focusing on one or both of the feature point information and the optical flow information, determination of the coordinate scan area according to another example As described above, the
以上のように、本実施形態に係る画像認識装置2では、3D解析手法による物体認識部21の特徴点・オプティカルフロー検出部111により得られた情報が、パターン認識による物体認識部22の座標のスキャン領域決定部126(上記した他の例に係る座標のスキャン領域決定部126でもよい)に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置2によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置2によれば、3D解析手法による物体認識において得られた特徴点の情報または動きベクトル(本実施形態では、オプティカルフロー)の情報に基づく座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
As described above, in the
Therefore, according to the
[第4実施形態]
図5は、本発明の第4実施形態に係る画像認識装置3の構成を示すブロック図である。
本実施形態に係る画像認識装置3は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部31と、パターン認識による物体認識部32と、最終ターゲット認識部15と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[Fourth Embodiment]
FIG. 5 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置3の構成や動作は、3D解析手法による物体認識部31とパターン認識による物体認識部32に関する構成や動作を除いて、図1に示される第1実施形態に係る画像認識装置1の構成(AND論理を用いる構成)、または、第2実施形態に係る画像認識装置1aの構成(OR論理を用いる構成)と同様である。
このため、図5では、第1実施形態または第2実施形態と同様な構成部については、同一の符号を付してある。以下では、第1実施形態に係る画像認識装置1または第2実施形態に係る画像認識装置1aとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 5, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
3D解析手法による物体認識部31は、特徴点・オプティカルフロー検出部131と、自車に対する相対距離検出部132と、クラスタリング部133と、を備える。
パターン認識による物体認識部32は、座標のスキャン領域決定部141と、勾配積分画像算出部142と、特徴量ベクトル算出部143と、識別部144と、を備える。
The
The object recognition unit 32 based on pattern recognition includes a coordinate scan
3D解析手法による物体認識部31において行われる動作の例を示す。
画像取得部12から3D解析手法による物体認識部31に入力された画像は、特徴点・オプティカルフロー検出部131に入力される。
この入力画像は、特徴点・オプティカルフロー検出部131、自車に対する相対距離検出部132、クラスタリング部133により、順に処理されて、その処理の結果がクラスタリング部133から出力される。
クラスタリング部133から出力された処理の結果は、3D解析手法による物体認識の処理の結果として、3D解析手法による物体認識部31から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the feature point / optical flow detection unit 131, the relative
The processing result output from the
ここで、本実施形態では、3D解析手法による物体認識部31において、図9に示されるのと同様な3D解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部131がステップS1〜ステップS2の処理を実行し、自車に対する相対距離検出部132がステップS3〜ステップS6の処理を実行し、クラスタリング部133がステップS7の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical flow detection unit 131 executes the processing of step S1 to step S2, the relative
さらに、本実施形態では、クラスタリング部133は、検出された移動物体(本実施形態では、車両であると推定される移動物体)をターゲットとして認識した結果に基づいて、物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)を座標のスキャン領域決定部141に出力する。
Further, in the present embodiment, the
パターン認識による物体認識部32において行われる動作の例を示す。
画像取得部12からパターン認識による物体認識部32に入力された画像は、座標のスキャン領域決定部141に入力される。
この入力画像は、座標のスキャン領域決定部141、勾配積分画像算出部142、特徴量ベクトル算出部143、識別部144により、順に処理されて、その処理の結果が識別部144から出力される。
識別部144から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部32から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the object recognition part 32 by pattern recognition is shown.
The image input from the
The input image is sequentially processed by the coordinate scan
The processing result output from the
ここで、本実施形態では、クラスタリング部133から出力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)が、座標のスキャン領域決定部141に入力される。
Here, in the present embodiment, the result of the object recognition process output from the clustering unit 133 (in this embodiment, information specifying an image region estimated to show the vehicle) is used to determine the coordinate scan region. Is input to the
座標のスキャン領域決定部141は、入力された画像について、クラスタリング部133から入力された物体認識の処理の結果に基づいて、座標スキャンする領域を決定する。一例として、座標スキャンする領域は、クラスタリング部133から入力された物体の領域よりも広めの領域とする。座標のスキャン領域決定部141は、決定した座標スキャンする領域を特定する情報および入力された画像を勾配積分画像算出部142に出力する。本実施形態では、このようにして決定される座標スキャンする領域は、パターン認識を行う領域となる。
The coordinate scan
勾配積分画像算出部142は、座標のスキャン領域決定部141から入力された画像について、座標のスキャン領域決定部141から入力された情報により特定される座標スキャンする領域(座標領域)の画像に対して、勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部142は、この計算結果の情報を特徴量ベクトル算出部143に出力する。
The gradient integrated
特徴量ベクトル算出部143は、勾配積分画像算出部142から入力された情報に基づいて、HOG特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部143は、この結果の情報を識別部144に出力する。
識別部144は、特徴量ベクトル算出部143から入力された情報に基づいて、AdaBoostによる識別の処理を行い、あらかじめターゲットとしている物体(本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体)を認識する。識別部144は、この物体認識の処理の結果を出力する。
The feature quantity
The
なお、本実施形態では、パターン認識による物体認識部32において、座標のスキャン領域決定部141により座標のスキャン領域を決定した後に、勾配積分画像算出部142により勾配積分画像を算出する構成としてあり、この構成によって、例えば、第3実施形態に係る図4に示されるように、パターン認識による物体認識部22において、勾配積分画像算出部121による処理を行った後に、座標のスキャン領域決定部126による処理を行う構成と、全体としては同様な処理を実現している。
In the present embodiment, the object recognition unit 32 based on pattern recognition is configured to calculate the gradient integral image by the gradient integral
ここで、座標のスキャン領域決定部141は、例えば、クラスタリング部133から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、座標スキャンする領域として、全画像中において、認識対象の物体(本実施形態では、車両)が映っていると推定される領域を決定する。
Here, the coordinate scan
3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部141は、3D解析手法による物体認識の処理の結果に基づいて、3D解析手法による物体認識によって認識対象の物体が映っていると判定された領域(判定領域)のみを、座標スキャンする領域として決定することができる。
As an example of a method for determining the pattern recognition coordinate scan area by giving priority to the result of the object recognition process by the 3D analysis technique, the coordinate scan
また、3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部141は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、3D解析手法による物体認識の処理の結果に基づいて、3D解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、座標スキャンする領域として決定することができる。
Also, as another example of a method for determining a pattern recognition coordinate scan region in preference to the result of object recognition processing by the 3D analysis method, the coordinate scan
また、以上のようにして3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部141は、以上のようにして3D解析手法による物体認識の処理の結果に基づいて決定した領域のみを座標スキャンする領域とする構成以外に、以上のようにして3D解析手法による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャンする領域とする、こともできる。
Further, in the method of determining the pattern recognition coordinate scan region by giving priority to the result of the object recognition processing by the 3D analysis method as described above, for example, the coordinate scan
次に、座標のスキャン領域決定部141について、他の例を示す。
他の例に係る座標のスキャン領域決定部141は、クラスタリング部133から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、座標スキャンする領域の重要度を決定する。そして、他の例に係る座標のスキャン領域決定部141は、決定した座標スキャンする領域の重要度の情報を勾配積分画像算出部142に出力する。本実施形態では、このようにして決定される座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
Next, another example of the coordinate scan
The coordinate scan
本実施形態では、勾配積分画像算出部142は、他の例に係る座標のスキャン領域決定部141から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部141により決定された座標スキャンする領域(座標領域)の重要度を考慮して、勾配方向の勾配強度を算出する。勾配積分画像算出部142は、この算出結果の情報を特徴量ベクトル算出部143に出力する。
In this embodiment, the gradient integral
ここで、他の例に係る座標のスキャン領域決定部141は、例えば、クラスタリング部133から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、座標スキャンする領域の重要度として、全画像中において、認識対象の物体(本実施形態では、車両)が映っていると推定される領域の重要度を高い重要度とするように決定する。
Here, for example, the coordinate scan
3D解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部141は、上記のように3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域(判定領域または分割領域)については、特徴量に関する情報(例えば、勾配強度など)を算出するときの重み付け(重要度)を大きくすることができる。この場合、具体例として、勾配積分画像算出部142は、上記のように3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域(判定領域または分割領域)については、他の領域と比べて、得られた特徴量に関する値(例えば、勾配強度など)にあらかじめ設定された値(例えば、1より大きい値)を乗算することができ、つまり、このような領域(判定領域または分割領域)においては、他の領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
As an example of a method for deciding the importance of the pattern recognition coordinate scan region by placing importance on the result of the object recognition processing by the 3D analysis method, the coordinate scan
3D解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部141は、上記のように3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域(判定領域または分割領域)については、他の領域と比べて、特徴量に関する情報(例えば、勾配強度など)を算出するときの分解能を細かくすることができる。この場合、具体例として、勾配積分画像算出部142は、上記のように3D解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域(判定領域または分割領域)については、あらかじめ設定された比較的細かい分解能でスライド(移動)させてスキャンし、他の領域については、あらかじめ設定された比較的粗い分解能でスライド(移動)させてスキャンすることができる。
As another example of the method of determining the importance of the pattern recognition coordinate scan region by placing importance on the result of the object recognition processing by the 3D analysis method, the coordinate scan
以上のように、本実施形態に係る画像認識装置3では、3D解析手法による物体認識部31のクラスタリング部133により得られた情報が、パターン認識による物体認識部32の座標のスキャン領域決定部141(上記した他の例に係る座標のスキャン領域決定部141でもよい)に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置3によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置3によれば、3D解析手法による物体認識において確定した座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
As described above, in the
Therefore, according to the
[第5実施形態]
図6は、本発明の第5実施形態に係る画像認識装置4の構成を示すブロック図である。
本実施形態に係る画像認識装置4は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部41と、パターン認識による物体認識部42と、最終ターゲット認識部15と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[Fifth Embodiment]
FIG. 6 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置4の構成や動作は、3D解析手法による物体認識部41とパターン認識による物体認識部42に関する構成や動作を除いて、図1に示される第1実施形態に係る画像認識装置1の構成(AND論理を用いる構成)、または、第2実施形態に係る画像認識装置1aの構成(OR論理を用いる構成)と同様である。
このため、図6では、第1実施形態または第2実施形態と同様な構成部については、同一の符号を付してある。以下では、第1実施形態に係る画像認識装置1または第2実施形態に係る画像認識装置1aとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 6, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
3D解析手法による物体認識部41は、特徴点・オプティカルフロー検出部151と、自車に対する相対距離検出部152と、クラスタリング部153と、を備える。
パターン認識による物体認識部42は、勾配積分画像算出部161と、座標スキャン部162と、特徴量ベクトル算出部163と、識別部164と、を備える。
The
The
3D解析手法による物体認識部41において行われる動作の例を示す。
画像取得部12から3D解析手法による物体認識部41に入力された画像は、特徴点・オプティカルフロー検出部151に入力される。
この入力画像は、特徴点・オプティカルフロー検出部151、自車に対する相対距離検出部152、クラスタリング部153により、順に処理されて、その処理の結果がクラスタリング部153から出力される。
クラスタリング部153から出力された処理の結果は、3D解析手法による物体認識の処理の結果として、3D解析手法による物体認識部41から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、3D解析手法による物体認識部41において、図9に示されるのと同様な3D解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部151がステップS1〜ステップS2の処理を実行し、自車に対する相対距離検出部152がステップS3〜ステップS6の処理を実行し、クラスタリング部153がステップS7の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部151は、検出した特徴点の情報と、検出(本実施形態では、計算)したオプティカルフローの情報を識別部164に出力する。
Further, in the present embodiment, the feature point / optical
パターン認識による物体認識部42において行われる動作の例を示す。
画像取得部12からパターン認識による物体認識部42に入力された画像は、勾配積分画像算出部161に入力される。
この入力画像は、勾配積分画像算出部161、座標スキャン部162、特徴量ベクトル算出部163、識別部164により、順に処理されて、その処理の結果が識別部164から出力される。
識別部164から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部42から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the
An image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部42に備えられた勾配積分画像算出部161と、座標スキャン部162と、特徴量ベクトル算出部163と、識別部164によって、概略的には、それぞれ、図2に示される勾配積分画像算出部101と、座標スキャン部102と、特徴量ベクトル算出部103と、識別部104と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、特徴点・オプティカルフロー検出部151から出力された特徴点の情報と、オプティカルフローの情報が、識別部164に入力される。
識別部164は、特徴量ベクトル算出部163から入力された情報(特徴量ベクトルの情報)に基づいて、AdaBoostによる識別の処理を行い、あらかじめターゲットとしている物体(本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体)を認識し、この場合に、特徴点・オプティカルフロー検出部151から入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、識別の処理を行う。識別部164は、この物体認識の処理の結果を出力する。
Further, in this embodiment, the feature point information and the optical flow information output from the feature point / optical
The
ここで、識別部164は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体(本実施形態では、車両)が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更(設定)する。言い換えれば、このような領域を重要度(優先度)が高い領域であるとみなす。
Here, for example, based on one or both of the input feature point information and the optical flow information, the
具体例として、本実施形態では、識別部164は、パターン認識により認識対象の物体を識別(認識)するための閾値(識別閾値)を用いて、パターン認識による物体認識を行う。また、識別部164では、この識別閾値を可変に設定することが可能になっている。
そして、識別部164は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部163から入力された情報(特徴量ベクトルの情報)に基づいて、画像(画像取得部12から出力される画像)の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別(認識)し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部15に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値(例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値)以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
As a specific example, in the present embodiment, the
The
識別部164は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体(本実施形態では、車両)が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更(設定)することで、物体を認識し易くするように設定する。
Based on one or both of the input feature point information and the optical flow information, the
特徴点の情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の一例として、識別部164は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値(閾値)より多い分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。この場合、例えば、特徴点の数があらかじめ設定された値(閾値)より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on feature point information, the
なお、前記した特徴点の数に関する閾値としては、一例として、2以上の値を設定する。
他の一例として、前記した特徴点の数に関する閾値として、1を設定することもできる。この場合、識別部164は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、1つでも特徴点が抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。
また、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更(設定)が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
In addition, as a threshold value regarding the number of above-mentioned feature points, a value of 2 or more is set as an example.
As another example, 1 may be set as the threshold value regarding the number of feature points. In this case, the
An arbitrary value may be used as the reference identification threshold value. For example, in a configuration in which the identification threshold value is not changed (set) as in the present embodiment, it is constant for all image regions. The set identification threshold value can be used.
オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の一例として、識別部164は、オプティカルフローにより定められる変化量(例えば、勾配の強度)の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、各分割領域内に存在する1つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値(閾値)より大きい分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。この場合、例えば、オプティカルフローにより定められる変化量の平均値があらかじめ設定された値(閾値)より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a method for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on optical flow information, the
また、オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の他の一例として、識別部164は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、あらかじめ設定された値(閾値)より大きいオプティカルフローが1つでも抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。
Further, as another example of a method for changing (setting) an identification threshold used in object recognition by pattern recognition with priority or importance on optical flow information, the
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の一例として、識別部164は、特徴点に関する条件(例えば、上記したもの等、1つ以上の条件)を満たし、且つ、オプティカルフローに関する条件(例えば、上記したもの等、1つ以上の条件)を満たす分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。
In addition, as an example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance given to feature point information or optical flow information, the
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の他の一例として、識別部164は、特徴点に関する条件(例えば、上記したもの等、1つ以上の条件)またはオプティカルフローに関する条件(例えば、上記したもの等、1つ以上の条件)のうちの少なくとも1つの条件を満たす分割領域(これらの全ての条件を満たす分割領域も含む)のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。
As another example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance given to feature point information or optical flow information, the
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法では、例えば、識別部164は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)する構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)する、こともできる。
In the method of changing (setting) the identification threshold used in object recognition by pattern recognition with priority or importance given to one or both of feature point information and optical flow information as described above, For example, the
以上のように、本実施形態に係る画像認識装置4では、3D解析手法による物体認識部41の特徴点・オプティカルフロー検出部151により得られた情報が、パターン認識による物体認識部42の識別部164に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置4によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置4によれば、3D解析手法による物体認識において得られた特徴点の情報または動きベクトル(本実施形態では、オプティカルフロー)の情報に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、本実施形態に係る画像認識装置4によれば、3D解析手法による物体認識において得られた特徴点の情報または動きベクトル(本実施形態では、オプティカルフロー)の情報に基づく座標領域を優先してまたは重要視して、特定の領域について、AdaBoostによる物体の識別(認識)で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、3D解析手法による物体認識において得られる特徴点または動きベクトルに基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
As a specific example, according to the
[第6実施形態]
図7は、本発明の第6実施形態に係る画像認識装置5の構成を示すブロック図である。
本実施形態に係る画像認識装置5は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部51と、パターン認識による物体認識部52と、最終ターゲット認識部15と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[Sixth Embodiment]
FIG. 7 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置5の構成や動作は、3D解析手法による物体認識部51とパターン認識による物体認識部52に関する構成や動作を除いて、図1に示される第1実施形態に係る画像認識装置1の構成(AND論理を用いる構成)、または、第2実施形態に係る画像認識装置1aの構成(OR論理を用いる構成)と同様である。
このため、図7では、第1実施形態または第2実施形態と同様な構成部については、同一の符号を付してある。以下では、第1実施形態に係る画像認識装置1または第2実施形態に係る画像認識装置1aとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 7, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
3D解析手法による物体認識部51は、特徴点・オプティカルフロー検出部171と、自車に対する相対距離検出部172と、クラスタリング部173と、を備える。
パターン認識による物体認識部52は、勾配積分画像算出部181と、座標スキャン部182と、特徴量ベクトル算出部183と、識別部184と、を備える。
The
The
3D解析手法による物体認識部51において行われる動作の例を示す。
画像取得部12から3D解析手法による物体認識部51に入力された画像は、特徴点・オプティカルフロー検出部171に入力される。
この入力画像は、特徴点・オプティカルフロー検出部171、自車に対する相対距離検出部172、クラスタリング部173により、順に処理されて、その処理の結果がクラスタリング部173から出力される。
クラスタリング部173から出力された処理の結果は、3D解析手法による物体認識の処理の結果として、3D解析手法による物体認識部51から出力されて、最終ターゲット認識部15に入力される。
An example of an operation performed in the
An image input from the
The input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、3D解析手法による物体認識部51において、図9に示されるのと同様な3D解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部171がステップS1〜ステップS2の処理を実行し、自車に対する相対距離検出部172がステップS3〜ステップS6の処理を実行し、クラスタリング部173がステップS7の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、クラスタリング部173は、検出された移動物体(本実施形態では、車両であると推定される移動物体)をターゲットとして認識した結果に基づいて、物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)を識別部184に出力する。
Furthermore, in the present embodiment, the
パターン認識による物体認識部52において行われる動作の例を示す。
画像取得部12からパターン認識による物体認識部52に入力された画像は、勾配積分画像算出部181に入力される。
この入力画像は、勾配積分画像算出部181、座標スキャン部182、特徴量ベクトル算出部183、識別部184により、順に処理されて、その処理の結果が識別部184から出力される。
識別部184から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部52から出力されて、最終ターゲット認識部15に入力される。
The example of the operation | movement performed in the
The image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部52に備えられた勾配積分画像算出部181と、座標スキャン部182と、特徴量ベクトル算出部183と、識別部184によって、概略的には、それぞれ、図2に示される勾配積分画像算出部101と、座標スキャン部102と、特徴量ベクトル算出部103と、識別部104と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、クラスタリング部173から出力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)が、識別部184に入力される。
Further, in the present embodiment, the result of the object recognition process output from the clustering unit 173 (in this embodiment, information specifying an image region estimated to show the vehicle) is input to the
識別部184は、特徴量ベクトル算出部183から入力された情報(特徴量ベクトルの情報)に基づいて、AdaBoostによる識別の処理を行い、あらかじめターゲットとしている物体(本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体)を認識し、この場合に、クラスタリング部173から入力された物体認識の処理の結果に基づいて、識別の処理を行う。識別部184は、この物体認識の処理の結果を出力する。
The
ここで、識別部184は、例えば、クラスタリング部173から入力された物体認識の処理の結果に基づいて、全画像中において、認識対象の物体(本実施形態では、車両)が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更(設定)する。言い換えれば、このような領域を重要度(優先度)が高い領域であるとみなす。
Here, for example, based on the result of the object recognition process input from the
具体例として、本実施形態では、識別部184は、パターン認識により認識対象の物体を識別(認識)するための閾値(識別閾値)を用いて、パターン認識による物体認識を行う。また、識別部184では、この識別閾値を可変に設定することが可能になっている。
そして、識別部184は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部183から入力された情報(特徴量ベクトルの情報)に基づいて、画像(画像取得部12から出力される画像)の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別(認識)し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部15に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値(例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値)以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
As a specific example, in the present embodiment, the
The
識別部184は、クラスタリング部173から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、全画像中において、認識対象の物体(本実施形態では、車両)が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更(設定)することで、物体を認識し易くするように設定する。
The
3D解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の一例として、識別部184は、3D解析手法による物体認識の処理の結果に基づいて、3D解析手法による物体認識によって認識対象の物体が映っていると判定された領域(判定領域)のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。この場合、例えば、判定領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a method for changing (setting) an identification threshold used in object recognition by pattern recognition with priority or importance on the result of object recognition processing by the 3D analysis method, the
なお、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更(設定)が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。 An arbitrary value may be used as the reference identification threshold. For example, in a configuration in which the identification threshold is not changed (set) as in the present embodiment, it is constant for all image regions. The set identification threshold value can be used.
また、3D解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法の他の一例として、識別部184は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、3D解析手法による物体認識の処理の結果に基づいて、3D解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)することができる。
As another example of a method for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on the result of object recognition processing by the 3D analysis method, the
また、以上のようにして3D解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更(設定)する手法では、例えば、識別部184は、以上のようにして3D解析手法による物体認識の処理の結果に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)する構成以外に、以上のようにして3D解析手法による物体認識の処理の結果に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更(設定)する、こともできる。
In the method of changing (setting) the identification threshold value used in the object recognition by the pattern recognition by giving priority or importance to the result of the object recognition process by the 3D analysis method as described above, for example, the
以上のように、本実施形態に係る画像認識装置5では、3D解析手法による物体認識部51のクラスタリング部173により得られた情報が、パターン認識による物体認識部52の識別部184に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置5によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置5によれば、3D解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、本実施形態に係る画像認識装置5によれば、3D解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、特定の領域について、AdaBoostによる物体の識別(認識)で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、3D解析手法による物体認識において得られる物体認識の処理の結果に基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
As a specific example, according to the
[第7実施形態]
図8は、本発明の第7実施形態に係る画像認識装置6の構成を示すブロック図である。
本実施形態に係る画像認識装置6は、単眼カメラ11と、画像取得部12と、3D解析手法による物体認識部61と、パターン認識による物体認識部62と、最終ターゲット認識部63と、距離・TTC確定部16と、トラッキング部17と、衝突警報部18と、ACC制御部19と、を備える。
[Seventh Embodiment]
FIG. 8 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置6の構成や動作は、3D解析手法による物体認識部61とパターン認識による物体認識部62と最終ターゲット認識部63に関する構成や動作を除いて、図1に示される第1実施形態に係る画像認識装置1の構成(AND論理を用いる構成)、または、第2実施形態に係る画像認識装置1aの構成(OR論理を用いる構成)と同様である。
このため、図8では、第1実施形態または第2実施形態と同様な構成部については、同一の符号を付してある。以下では、第1実施形態に係る画像認識装置1または第2実施形態に係る画像認識装置1aとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 8, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
3D解析手法による物体認識部61は、特徴点・オプティカルフロー検出部191と、自車に対する相対距離検出部192と、クラスタリング部193と、を備える。
パターン認識による物体認識部62は、勾配積分画像算出部201と、座標スキャン部202と、特徴量ベクトル算出部203と、識別部204と、を備える。
The
The
パターン認識による物体認識部62において行われる動作の例を示す。
画像取得部12からパターン認識による物体認識部62に入力された画像は、勾配積分画像算出部201に入力される。
この入力画像は、勾配積分画像算出部201、座標スキャン部202、特徴量ベクトル算出部203、識別部204により、順に処理されて、その処理の結果が識別部204から出力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the gradient integral
ここで、本実施形態では、パターン認識による物体認識部62に備えられた勾配積分画像算出部201と、座標スキャン部202と、特徴量ベクトル算出部203と、識別部204によって、概略的には、それぞれ、図2に示される勾配積分画像算出部101と、座標スキャン部102と、特徴量ベクトル算出部103と、識別部104と同様な動作を行う。
そして、本実施形態では、識別部204から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部62から出力されて、3D解析手法による物体認識部61の特徴点・オプティカルフロー検出部191に入力される。
Here, in the present embodiment, the gradient integrated
In this embodiment, the processing result output from the
3D解析手法による物体認識部61において行われる動作の例を示す。
画像取得部12から3D解析手法による物体認識部61に入力された画像は、特徴点・オプティカルフロー検出部191に入力される。
この入力画像は、特徴点・オプティカルフロー検出部191、自車に対する相対距離検出部192、クラスタリング部193により、順に処理されて、その処理の結果がクラスタリング部193から出力される。
クラスタリング部193から出力された処理の結果は、3D解析手法による物体認識の処理の結果として、3D解析手法による物体認識部61から出力されて、最終ターゲット認識部63に入力される。
An example of an operation performed in the
The image input from the
The input image is sequentially processed by the feature point / optical
The processing result output from the clustering unit 193 is output from the
ここで、本実施形態では、3D解析手法による物体認識部61において、概略的には、図9に示されるのと同様な3D解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部191がステップS1〜ステップS2の処理を実行し、自車に対する相対距離検出部192がステップS3〜ステップS6の処理を実行し、クラスタリング部193がステップS7の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部191は、画像取得部12から入力された画像に基づいて、特徴点を検出し、オプティカルフローを検出(本実施形態では、計算)する場合に、パターン認識による物体認識部62の識別部204から入力されたパターン認識による物体認識の処理の結果に基づいて、特徴点の検出や、オプティカルフローの検出(本実施形態では、計算)を行う。
Furthermore, in the present embodiment, the feature point / optical
ここで、特徴点・オプティカルフロー検出部191は、例えば、パターン認識による物体認識部62の識別部204から入力されたパターン認識による物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、特徴点の検出やオプティカルフローの検出を行う領域を決定する。
Here, the feature point / optical
パターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の一例として、特徴点・オプティカルフロー検出部191は、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域(判定領域)のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
As an example of a method for determining a region for detecting feature points and detecting optical flow in object recognition by 3D analysis method giving priority to the result of object recognition processing by pattern recognition, a feature point / optical
パターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の他の一例として、特徴点・オプティカルフロー検出部191は、全画像をあらかじめ設定された複数に分割した領域(分割領域)を想定し、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
A feature point / optical
また、以上のようにしてパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法では、例えば、特徴点・オプティカルフロー検出部191は、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域のみを特徴点の検出やオプティカルフローの検出を行う領域とする構成以外に、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、特徴点の検出やオプティカルフローの検出を行う領域とする、こともできる。
Further, in the method of determining the region for detecting feature points and optical flow in object recognition by the 3D analysis method by giving priority to the result of object recognition processing by pattern recognition as described above, for example, The optical
次に、特徴点・オプティカルフロー検出部191について、他の例を示す。
他の例に係る特徴点・オプティカルフロー検出部191は、パターン認識による物体認識部62の識別部204から入力されたパターン認識による物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度を決定する。
Next, another example of the feature point / optical
The feature point / optical
本実施形態では、他の例に係る特徴点・オプティカルフロー検出部191は、例えば全画像の中であらかじめ設定した任意の座標領域に対して、決定した領域(座標領域)の重要度を考慮して、特徴点の検出やオプティカルフローの検出を行う。
In this embodiment, the feature point / optical
ここで、他の例に係る特徴点・オプティカルフロー検出部191は、例えば、パターン認識による物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度として、全画像中において、認識対象の物体(本実施形態では、車両)が映っていると推定される領域の重要度を高い重要度とするように決定する。
Here, the feature point / optical
パターン認識による物体認識の処理の結果を重要視して3D解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、特徴点を検出するときの重み付け(重要度)を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部191は、例えば、画素値の変化(例えば、輝度値の変化)に関する閾値があらかじめ定められており、時間的な画素値の変化が当該閾値以上となる画像中の点を特徴点として検出する構成において、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、他の領域と比べて、その閾値を小さく変更(設定)することができ、つまり、このような領域(判定領域または分割領域)においては、他の領域と比べて、小さい画素変化量であっても、特徴点として検出する。
Feature point / optical flow detection according to another example as an example of a method for determining the importance of a region where feature points are detected in object recognition by 3D analysis method with emphasis on the result of object recognition processing by pattern recognition The
また、パターン認識による物体認識の処理の結果を重要視して3D解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、特徴点を検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、あらかじめ設定された比較的細かい分解能で特徴点を検出し、他の領域については、あらかじめ設定された比較的粗い分解能で特徴点を検出することができる。
In addition, as another example of a method for determining the importance of a region in which feature points are detected in object recognition by a 3D analysis method by placing importance on the result of object recognition processing by pattern recognition, feature points according to another example The optical
パターン認識による物体認識の処理の結果を重要視して3D解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、オプティカルフローを検出するときの重み付け(重要度)を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部191は、例えば、オプティカルフローを検出する際に所定の閾値を用いる構成において、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、他の領域と比べて、その閾値を、オプティカルフローがより検出され易いように変更(設定)することができる。
Feature point / optical flow detection according to another example as an example of a method for determining the importance of a region in which optical flow detection is performed in object recognition by 3D analysis method with emphasis on the result of object recognition processing by pattern recognition The
また、パターン認識による物体認識の処理の結果を重要視して3D解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、オプティカルフローを検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部191は、上記のようにパターン認識による物体認識の処理の結果を優先して3D解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域(判定領域または分割領域)については、あらかじめ設定された比較的細かい分解能でオプティカルフローを検出し、他の領域については、あらかじめ設定された比較的粗い分解能でオプティカルフローを検出することができる。
In addition, as another example of a method for determining the importance of a region in which optical flow detection in object recognition by 3D analysis method is performed with emphasis on the result of object recognition processing by pattern recognition, feature points according to other examples The optical
次に、最終ターゲット認識部63により行われる処理について説明する。
本実施形態では、最終ターゲット認識部63は、3D解析手法による物体認識部61から入力された物体認識の処理の結果(本実施形態では、車両が映っていると推定される画像領域を特定する情報)に基づいて、認識対象の物体(本実施形態では、車両)であると特定した画像領域(座標の領域)を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・TTC確定部16に出力する。
このように、本実施形態では、3D解析手法による物体認識の結果が、最終的なターゲット認識の結果となる。
Next, processing performed by the final
In the present embodiment, the final
Thus, in this embodiment, the result of object recognition by the 3D analysis method becomes the final result of target recognition.
ここで、本実施形態では、全体の画像に認識対象の物体(本実施形態では、車両)が複数映っている場合には、3D解析手法による物体認識部61はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部63はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in this embodiment, when a plurality of objects to be recognized (vehicles in this embodiment) are shown in the entire image, the
以上のように、本実施形態に係る画像認識装置6では、パターン認識による物体認識部62の識別部204により得られた情報が、3D解析手法による物体認識部61の特徴点・オプティカルフロー検出部191(上記した他の例に係る特徴点・オプティカルフロー検出部191でもよい)に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置6によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置6によれば、パターン認識による物体認識において確定した座標領域を優先してまたは重要視して、3D解析手法による物体認識を行う画像において、特徴点を検出する領域に関する設定やオプティカルフローを検出する領域に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、図3に示される画像1001中の枠1002の領域のように、3D解析手法による物体認識では物体の認識ができないまたは物体の認識の能力が低い領域について、本実施形態では、パターン認識による物体認識が可能となる場合には、パターン認識による物体認識によって特定した領域の特徴点・オプティカルフローにおいてターゲットがある可能性が高いことを予測して、後段の3D解析手法による物体認識処理を実行することができる。
As a specific example, in the present embodiment, a pattern such as a region of a
本実施形態(第7実施形態)と類似の構成として、識別部204の出力を自車に対する相対距離検出部192かクラスタリング部193に入力し、物体を認識するステップ(この例では、図9に示されるステップS7の処理)でパターン認識による物体領域を優先または重要視して判定することもできる。
この構成では、クラスタリング部193は、パターン認識による物体認識部62の識別部204により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う。
3D解析手法による物体認識部61のクラスタリング部193において、パターン認識による物体認識の処理の結果(パターン認識による物体領域)を優先してまたは重要視して判定する(物体を認識する)手法としては、様々な手法が用いられてもよく、例えば、画像中のあらかじめ定めた座標領域(例えば図3の1002)に、パターン認識による物体領域がある場合は、前記あらかじめ定めた座標領域に認識すべき物体が存在することを確定する手法や、パターン認識による物体領域と一致する部分のみを物体認識結果の範囲に含める手法や、パターン認識による物体領域と一致する部分の方が一致しない部分よりも物体認識結果の範囲に含まれ易くするように所定の閾値などを変更する手法などを用いることができる。
As a configuration similar to this embodiment (seventh embodiment), the step of recognizing an object by inputting the output of the
In this configuration, the clustering unit 193 identifies an object to be recognized based on the result of object recognition by pattern recognition obtained by the
In the clustering unit 193 of the
<以上の実施形態についてのまとめ>
ここで、以上の実施形態では、図1、図4〜図8に示される装置を車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、3D解析手法による物体認識の手法として、非特許文献1に記載された手法を用いる構成を示したが、この手法に限定するものではなく、例えば、特徴点の抽出による3D解析手法の全般に適用することもできる。
また、以上の実施形態では、パターン認識による物体認識で用いるHOG特徴量として、輝度勾配の積分画像によるヒストグラム(インテグラルヒストグラム)での作成を例に述べたが、他の手法が用いられてもよい。
<Summary of the above embodiment>
Here, in the above embodiment, the configuration in which the apparatus shown in FIGS. 1 and 4 to 8 is provided in a vehicle for in-vehicle use is shown. However, as another example, it can be provided in any other movable body. It is.
In the above embodiment, the configuration using the method described in
In the above embodiment, the generation of a histogram (integral histogram) using an integral image of luminance gradient is described as an example of the HOG feature amount used in object recognition by pattern recognition. However, other methods may be used. Good.
なお、図1、図2、図4〜図8、図10における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは、表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM(Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。 In addition, the program for realizing the function of the process performed by the arbitrary components in FIGS. 1, 2, 4 to 8, and 10 is recorded on a computer-readable recording medium and recorded on this recording medium. Processing may be performed by causing the computer system to read the executed program and executing it. Here, the “computer system” includes hardware such as an OS (Operating System) and peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a portable medium such as a CD-ROM, and a hard disk incorporated in a computer system. say. Further, the “computer-readable recording medium” refers to a volatile memory (RAM (Random) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. (Access Memory)) and the like that hold a program for a certain period of time.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、上記に限られず、マイクロコンピュータのほか、例えば、FPGA(Field Programmable Gate Array)、あるいは、DSP(Digital Signal Processor)などのデバイスを用いて、図1、図2、図4〜図8、図10における任意の構成部により行われる処理を実現することも可能である。 Further, the present invention is not limited to the above, and in addition to a microcomputer, for example, a device such as a field programmable gate array (FPGA) or a digital signal processor (DSP) is used, and FIG. 1, FIG. 2, FIG. It is also possible to realize processing performed by an arbitrary constituent unit 10.
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although each embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
1、1a、2〜6…画像認識装置
11…単眼カメラ 12…画像取得部
13、21、31、41、51、61…3D解析手法による物体認識部
14、22、32、42、52、62…パターン認識による物体認識部
15、63…最終ターゲット認識部
16…距離・TTC確定部 17…トラッキング部 18…衝突警報部
19…ACC制御部
101、121、142、161、181、201…勾配積分画像算出部
102、122、162、182、202…座標スキャン部
103、123、143、163、183、203…特徴量ベクトル算出部
104、124、144、164、184、204…識別部
126、141…座標のスキャン領域決定部
111、131、151、171、191…特徴点・オプティカルフロー検出部
112、132、152、172、192…自車に対する相対距離検出部
113、133、153、173、193…クラスタリング部
301…勾配強度検出部 302…勾配方向検出部
303…勾配方向ごとの勾配強度の積分部
311…セル単位の積分値算出部 312…ブロック正規化部
313…特徴量ベクトル算出処理部
DESCRIPTION OF
Claims (15)
前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、
前記3D解析手法による物体認識部により得られる3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識装置。 An object recognition unit based on a 3D analysis method for performing object recognition on an image using a 3D analysis method;
An object recognition unit by pattern recognition for performing object recognition by pattern recognition on the image,
Obtaining a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method and a result of object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition;
An image recognition apparatus characterized by that.
ことを特徴とする請求項1に記載の画像認識装置。 Based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of the object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition, the AND of the final target A final target recognition unit for obtaining a recognition result;
The image recognition apparatus according to claim 1.
ことを特徴とする請求項1に記載の画像認識装置。 Based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of the object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition, the final target A final target recognition unit for obtaining a recognition result;
The image recognition apparatus according to claim 1.
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像認識装置。 The object recognition unit based on the pattern recognition determines a coordinate scan region based on one or both of the feature point and the optical flow detected by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像認識装置。 The object recognition unit based on the pattern recognition determines a coordinate scan area based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像認識装置。 The object recognition unit based on the pattern recognition identifies an object to be recognized based on one or both of a feature point and an optical flow detected by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項6に記載の画像認識装置。 The object recognition unit based on the pattern recognition is estimated to have a high possibility that the object to be recognized is reflected based on one or both of the feature point and the optical flow detected by the object recognition unit based on the 3D analysis method. To identify the object to be recognized by changing the threshold used in object recognition by pattern recognition so that the object can be easily recognized.
The image recognition apparatus according to claim 6.
ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像認識装置。 The object recognition unit based on the pattern recognition identifies an object to be recognized based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項8に記載の画像認識装置。 The region where the object recognition unit based on the pattern recognition is estimated to have a high possibility that the object to be recognized is reflected based on the result of the object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method In order to make it easier to recognize the object, the threshold used in object recognition by pattern recognition is changed to identify the object to be recognized.
The image recognition apparatus according to claim 8.
ことを特徴とする請求項1に記載の画像認識装置。 The object recognition unit based on the 3D analysis method detects one or both of feature points and optical flows based on the result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition.
The image recognition apparatus according to claim 1.
ことを特徴とする請求項10に記載の画像認識装置。 A final target recognition unit that obtains a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method;
The image recognition apparatus according to claim 10.
ことを特徴とする請求項1に記載の画像認識装置。 The object recognition unit based on the 3D analysis method identifies an object to be recognized based on a result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition.
The image recognition apparatus according to claim 1.
画像を撮像するカメラを備え、
前記3D解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、
ことを特徴とする請求項1から請求項12のいずれか1項に記載の画像認識装置。 In-vehicle image recognition device
Equipped with a camera that captures images,
The object recognition unit based on the 3D analysis method and the object recognition unit based on the pattern recognition perform object recognition on an image captured by the camera.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、
前記3D解析手法による物体認識部により得られる3D解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識方法。 The object recognition unit based on the 3D analysis method performs object recognition on the image using the 3D analysis method,
An object recognition unit by pattern recognition performs object recognition by pattern recognition on the image,
Obtaining a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method and a result of object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition;
An image recognition method characterized by the above.
3D解析手法による物体認識部が、画像に対して3D解析手法による物体認識を行う手順と、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、
をコンピュータに実行させるための画像認識プログラム。 In order to obtain the recognition result of the final target based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition,
A procedure in which an object recognition unit based on a 3D analysis method performs object recognition on an image using a 3D analysis method;
A procedure in which an object recognition unit by pattern recognition performs object recognition by pattern recognition on the image;
Recognition program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011206073A JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011206073A JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013069045A true JP2013069045A (en) | 2013-04-18 |
Family
ID=48474708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011206073A Pending JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013069045A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014135039A (en) * | 2012-12-13 | 2014-07-24 | Denso Corp | Moving object detection device |
WO2015104898A1 (en) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | Vehicle-surroundings recognition device |
JP2021051536A (en) * | 2019-09-25 | 2021-04-01 | Kddi株式会社 | Object detection device, method, and program |
CN115019305A (en) * | 2022-08-08 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
JP7464263B2 (en) | 2020-04-08 | 2024-04-09 | 日本電気通信システム株式会社 | DETECTION APPARATUS, DETECTION METHOD, AND PROGRAM |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07287756A (en) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | Method for recognizing object |
JPH10269362A (en) * | 1997-03-21 | 1998-10-09 | Omron Corp | Object recognition method and device therefor |
JP2003502745A (en) * | 1999-06-11 | 2003-01-21 | ダイムラークライスラー・アクチェンゲゼルシャフト | A method for detecting objects near road vehicles up to a considerable distance |
JP2005004287A (en) * | 2003-06-10 | 2005-01-06 | Fuji Photo Film Co Ltd | Face image detecting device and its control method |
JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
-
2011
- 2011-09-21 JP JP2011206073A patent/JP2013069045A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07287756A (en) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | Method for recognizing object |
JPH10269362A (en) * | 1997-03-21 | 1998-10-09 | Omron Corp | Object recognition method and device therefor |
JP2003502745A (en) * | 1999-06-11 | 2003-01-21 | ダイムラークライスラー・アクチェンゲゼルシャフト | A method for detecting objects near road vehicles up to a considerable distance |
JP2005004287A (en) * | 2003-06-10 | 2005-01-06 | Fuji Photo Film Co Ltd | Face image detecting device and its control method |
JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014135039A (en) * | 2012-12-13 | 2014-07-24 | Denso Corp | Moving object detection device |
US9852334B2 (en) | 2012-12-13 | 2017-12-26 | Denso Corporation | Method and apparatus for detecting moving objects |
WO2015104898A1 (en) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | Vehicle-surroundings recognition device |
JP2015132879A (en) * | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | External world recognition device for vehicle |
US9811742B2 (en) | 2014-01-09 | 2017-11-07 | Clarion Co., Ltd. | Vehicle-surroundings recognition device |
JP2021051536A (en) * | 2019-09-25 | 2021-04-01 | Kddi株式会社 | Object detection device, method, and program |
JP7144384B2 (en) | 2019-09-25 | 2022-09-29 | Kddi株式会社 | Object detection device, method and program |
JP7464263B2 (en) | 2020-04-08 | 2024-04-09 | 日本電気通信システム株式会社 | DETECTION APPARATUS, DETECTION METHOD, AND PROGRAM |
CN115019305A (en) * | 2022-08-08 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
CN115019305B (en) * | 2022-08-08 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3338248B1 (en) | Systems and methods for object tracking | |
JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
CN109541583B (en) | Front vehicle distance detection method and system | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
JP5944781B2 (en) | Mobile object recognition system, mobile object recognition program, and mobile object recognition method | |
US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
CN110264495B (en) | Target tracking method and device | |
JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
JP2018508078A (en) | System and method for object tracking | |
US20120257056A1 (en) | Image processing apparatus, image processing method, and image processing program | |
TWI595450B (en) | Object detection system | |
US20140002657A1 (en) | Forward collision warning system and forward collision warning method | |
JP2007527569A (en) | Imminent collision detection based on stereoscopic vision | |
EP2951783B1 (en) | Method and system for detecting moving objects | |
CN108629225B (en) | Vehicle detection method based on multiple sub-images and image significance analysis | |
JP2013069045A (en) | Image recognition device, image recognition method, and image recognition program | |
KR20180047149A (en) | Apparatus and method for risk alarming of collision | |
WO2018143277A1 (en) | Image feature value output device, image recognition device, image feature value output program, and image recognition program | |
US9183448B2 (en) | Approaching-object detector, approaching object detecting method, and recording medium storing its program | |
CN114037977B (en) | Road vanishing point detection method, device, equipment and storage medium | |
WO2018143278A1 (en) | Image processing device, image recognition device, image processing program, and image recognition program | |
JP2018124963A (en) | Image processing device, image recognition device, image processing program, and image recognition program | |
JP2007233469A (en) | Object-detecting device and method therefor | |
KR101437228B1 (en) | Obstacle detection device and method using boundary weighting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151020 |