JP2013069045A - Image recognition device, image recognition method, and image recognition program - Google Patents
Image recognition device, image recognition method, and image recognition program Download PDFInfo
- Publication number
- JP2013069045A JP2013069045A JP2011206073A JP2011206073A JP2013069045A JP 2013069045 A JP2013069045 A JP 2013069045A JP 2011206073 A JP2011206073 A JP 2011206073A JP 2011206073 A JP2011206073 A JP 2011206073A JP 2013069045 A JP2013069045 A JP 2013069045A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- unit
- image
- object recognition
- analysis method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。 The present invention relates to an image recognition apparatus, an image recognition method, and an image recognition program.
近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や前方衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）や歩行者衝突警報装置などが開発されている。このような装置では、レーダ等を用いずに、車載カメラのみによる簡易な装置の実現が期待されている。また、車載用の装置は、コストが重視されるため、ステレオカメラではなく、単眼カメラによる装置が求められている。 In recent years, an inter-vehicle distance control device (ACC), a forward collision warning device (FCW), a pedestrian collision warning device, and the like have been developed as vehicle driving support devices and preventive safety devices. In such a device, it is expected to realize a simple device using only a vehicle-mounted camera without using a radar or the like. In addition, since an in-vehicle apparatus places importance on cost, an apparatus using a monocular camera instead of a stereo camera is required.
単眼カメラでは、ステレオカメラによる方式に比べて物体の距離や相対速度を容易に推定することができず、ＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）の算出も困難であるため、例えば、車載の単眼カメラから得られる時系列画像を用いて走行環境の３次元構造を推定し、物体の検知を行う方式が考えられている。これは、３Ｄ（３次元）の解析手法である（例えば、非特許文献１参照。）。 With a monocular camera, the distance and relative speed of an object cannot be easily estimated as compared with a method using a stereo camera, and it is difficult to calculate TTC (Time To Collation). A method of detecting an object by estimating a three-dimensional structure of a driving environment using a time series image is considered. This is a 3D (three-dimensional) analysis method (see, for example, Non-Patent Document 1).
非特許文献１で開示された技術の方式では、今回画像サイクル（ｔ）と前回画像サイクル（ｔ−１）の画像から特徴点を抽出し、オプティカルフロー等の手法により、自車両の運動を推定し、特徴点の三次元位置計算、路面領域の検出を行った後、移動物体の領域の検出を行う。
In the method of the technique disclosed in
３Ｄ解析手法に対する他の手法として、物体の形状をあらかじめ学習しておき、検出したい物体のパターンを識別する手法（パターン認識の手法）がある。このような手法では、近年、ＨＯＧ（Ｈｉｓｔｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量やＨａａｒ−ｌｉｋｅ特徴量等の特徴量と、ＡｄａＢｏｏｓｔ（Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の認識アルゴリズムを組み合わせた方式が主流となっている。 As another method for the 3D analysis method, there is a method (pattern recognition method) of learning the shape of an object in advance and identifying the pattern of the object to be detected. In such a method, in recent years, recognition methods such as HOG (Histgrams of Oriented Gradients) feature quantities and Haar-like feature quantities, AdaBoost (Adaptive Boosting), SVM (Support Vector Machine), etc. are combined. It has become mainstream.
しかしながら、前記した３Ｄ解析手法による認識では、中・近距離での性能は良いが、画像の消失点付近を含む比較的遠距離の物体については、特徴点は抽出できるものの、物体の形状を認識する精度が大幅に劣化してしまう。従って、前記した３Ｄ解析手法による認識では、ＡＣＣやＦＣＷへの適用は困難であった。 However, the above-mentioned recognition by the 3D analysis method has good performance at medium and short distances. However, although the feature points can be extracted for relatively long distance objects including the vicinity of the vanishing point of the image, the shape of the object is recognized. The accuracy to do will deteriorate significantly. Therefore, it has been difficult to apply to ACC and FCW by the above-described recognition by the 3D analysis method.
一方、前記したパターン認識では、時系列画像処理を織り込むことによって距離と相対速度を算出することも可能ではあるが、その精度と信頼度が前記した３Ｄ解析手法に対して大幅に劣るため、車載用の装置に適応するには困難であり、工夫が求められていた。 On the other hand, in the pattern recognition described above, it is possible to calculate the distance and relative speed by incorporating time series image processing, but the accuracy and reliability thereof are significantly inferior to the 3D analysis method described above. Therefore, it is difficult to adapt to the equipment for use, and contrivance has been demanded.
本発明は、このような事情を考慮して為されたものであり、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image recognition apparatus, an image recognition method, and an image recognition program capable of accurately recognizing an object.
（１）上述した課題を解決するために、本発明に係る画像認識装置は、画像に対して３Ｄ解析手法による物体認識を行う３Ｄ解析手法による物体認識部と、前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。 (1) In order to solve the above-described problem, an image recognition apparatus according to the present invention includes an object recognition unit that performs object recognition on an image using a 3D analysis method, and pattern recognition on the image. An object recognition unit by pattern recognition for performing object recognition, and an object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition and a result of object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method The final target recognition result is obtained on the basis of the result.
（２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＡＮＤ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (2) In the image recognition apparatus according to (1), the present invention is obtained by the object recognition unit by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition unit by the pattern recognition. A final target recognition unit that obtains a recognition result of a final target by AND logic based on a result of object recognition by pattern recognition is provided.
（３）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、ＯＲ論理により、最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (3) In the image recognition apparatus according to (1), the present invention is obtained by the object recognition unit by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition unit by the pattern recognition. A final target recognition unit that obtains a recognition result of the final target by OR logic based on the result of object recognition by pattern recognition is provided.
（４）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、座標のスキャン領域を決定する、ことを特徴とする。 (4) In the image recognition device according to any one of (1) to (3), the object recognition unit based on the pattern recognition may include a feature point detected by the object recognition unit based on the 3D analysis method. A scan area of coordinates is determined based on one or both of the optical flows.
（５）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、座標のスキャン領域を決定する、ことを特徴とする。 (5) The present invention provides the image recognition apparatus according to any one of (1) to (3), wherein the object recognition unit based on the pattern recognition is a 3D analysis obtained by the object recognition unit based on the 3D analysis method. A coordinate scan area is determined based on a result of object recognition by a technique.
（６）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (6) In the image recognition device according to any one of (1) to (3), the object recognition unit based on the pattern recognition may include a feature point detected by the object recognition unit based on the 3D analysis method. An object to be recognized is identified based on one or both of the optical flows.
（７）本発明は、（６）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により検出した特徴点とオプティカルフローのうちの一方または両方に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。 (7) In the image recognition apparatus according to (6), the object recognition unit based on the pattern recognition may include one or both of feature points detected by the object recognition unit based on the 3D analysis method and an optical flow. On the basis of the recognition target object, the threshold used in the object recognition by pattern recognition is changed so that the object is easily recognized in the region where it is estimated that the recognition target object is likely to be reflected. The identification is performed.
（８）本発明は、（１）から（３）のいずれか１つに記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (8) In the image recognition apparatus according to any one of (1) to (3), the object recognition unit based on the pattern recognition is a 3D analysis obtained by the object recognition unit based on the 3D analysis method. The recognition target object is identified based on the result of the object recognition by the technique.
（９）本発明は、（８）に記載の画像認識装置において、前記パターン認識による物体認識部は、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて、認識対象の物体が映っている可能性が高いと推定される領域について、物体を認識し易くするように、パターン認識による物体認識において用いられる閾値を変更して、認識対象の物体の識別を行う、ことを特徴とする。 (9) In the image recognition device according to (8), the object recognition unit based on the pattern recognition is based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method. The threshold used for object recognition by pattern recognition is changed to identify the object to be recognized in order to make it easier to recognize the object in the area where it is estimated that the object to be recognized is likely to be reflected. It is characterized by performing.
（１０）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、特徴点またはオプティカルフローのうちの一方または両方を検出する、ことを特徴とする。 (10) In the image recognition device according to (1), the object recognition unit based on the 3D analysis method is based on a result of object recognition by pattern recognition obtained by the object recognition unit by pattern recognition. One or both of feature points and optical flows are detected.
（１１）本発明は、（１０）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部により得られた３Ｄ解析手法による物体認識の結果に基づいて最終ターゲットの認識結果を得る最終ターゲット認識部を備える、ことを特徴とする。 (11) In the image recognition apparatus according to (10), the present invention provides a final target that obtains a recognition result of a final target based on a result of object recognition by a 3D analysis method obtained by an object recognition unit by the 3D analysis method. It comprises a recognition part.
（１２）本発明は、（１）に記載の画像認識装置において、前記３Ｄ解析手法による物体認識部は、前記パターン認識による物体認識部により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う、ことを特徴とする。 (12) In the image recognition device according to (1), the object recognition unit based on the 3D analysis method is based on a result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition. An object to be recognized is identified.
（１３）本発明は、（１）から（１２）のいずれか１つに記載の画像認識装置において、車載用の画像認識装置であり、画像を撮像するカメラを備え、前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、ことを特徴とする。 (13) The present invention provides the image recognition device according to any one of (1) to (12), which is an on-vehicle image recognition device, includes a camera that captures an image, and is an object based on the 3D analysis method. The recognition unit and the object recognition unit based on pattern recognition perform object recognition on an image captured by the camera.
（１４）上述した課題を解決するために、本発明に係る画像認識方法は、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行い、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、ことを特徴とする。 (14) In order to solve the above-described problem, in the image recognition method according to the present invention, an object recognition unit based on a 3D analysis method performs object recognition on an image using a 3D analysis method, and an object recognition unit based on pattern recognition The object recognition is performed on the image by pattern recognition, and the object recognition result by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition are performed. A recognition result of the final target is obtained based on the result.
（１５）上述した課題を解決するために、本発明に係る画像認識プログラムは、３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果とパターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得るために、３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、をコンピュータに実行させるためのものである。 (15) In order to solve the above-described problem, an image recognition program according to the present invention includes a result of object recognition by a 3D analysis method obtained by an object recognition unit by a 3D analysis method and a pattern obtained by an object recognition unit by pattern recognition. In order to obtain the recognition result of the final target based on the result of object recognition by recognition, the object recognition unit by the 3D analysis method performs the procedure of performing object recognition by the 3D analysis method on the image, and the object recognition unit by pattern recognition And a procedure for performing object recognition on the image by pattern recognition.
以上説明したように、本発明によれば、物体の認識を精度良く行うことができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。 As described above, according to the present invention, it is possible to provide an image recognition apparatus, an image recognition method, and an image recognition program that can accurately recognize an object.
以下の実施形態では、車両（自己の車両）に搭載される車載用の画像認識装置を例として示す。そして、以下の実施形態に係る画像認識装置は、車両の前方の画像を撮像する単眼カメラを備え、当該単眼カメラにより撮像した画像における物体を認識する装置として動作する。 In the following embodiments, an in-vehicle image recognition device mounted on a vehicle (own vehicle) is shown as an example. And the image recognition apparatus which concerns on the following embodiment is equipped with the monocular camera which images the image ahead of a vehicle, and operate | moves as an apparatus which recognizes the object in the image imaged with the said monocular camera.
［第１実施形態］
図１は、本発明の第１実施形態に係る画像認識装置１の構成を示すブロック図である。
本実施形態に係る画像認識装置１は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部１３と、パターン認識による物体認識部１４と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of an
The
本実施形態では、単眼カメラ１１は、画像認識装置１が搭載される車両の前方の画像を撮像する位置に設けられる。
In the present embodiment, the
本実施形態に係る画像認識装置１において行われる動作の例を示す。
単眼カメラ１１は、画像を撮像し、撮像した画像を画像取得部１２に出力する。
画像取得部１２は、単眼カメラ１１から入力された画像を取得し、取得した画像のデータを３Ｄ解析手法による物体認識部１３とパターン認識による物体認識部１４のそれぞれに出力する。
ここで、画像取得部１２は、例えば、取得した画像のデータを一時的に記憶する記憶部を有する。
The example of the operation | movement performed in the
The
The
Here, the
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、３Ｄ解析手法による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力された画像のデータについて、その画像の中で、車両が映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、３Ｄ解析手法による物体認識部１３では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
The
In the present embodiment, the
Here, in the
なお、本実施形態では、３Ｄ解析手法による物体認識部１３において、画像中に映っている移動物体（時間の流れとともに移動する物体であり、静止物体ではないもの）を検出し、検出した移動物体が映っている画像領域を、車両が映っていると推定される画像領域として認識する構成を示す。他の例として、３Ｄ解析手法による物体認識部１３において、車両が映っていると推定される画像領域を特定するための特徴となる情報を設定しておき、その特徴となる情報に一致または類似する物体が映っている画像領域を、車両が映っていると推定される画像領域（静止車両も含む）として認識する構成を用いることも可能である。
In the present embodiment, the
パターン認識による物体認識部１４は、画像取得部１２から入力された画像のデータについて、パターン認識による物体認識の処理を行い、この物体認識の処理の結果を最終ターゲット認識部１５に出力する。
本実施形態では、パターン認識による物体認識部１４は、車両の画像のパターン（学習結果による、弱識別器のパラメータ等）をメモリに記憶しており、画像取得部１２から入力された画像のデータについて、その画像の中で、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を認識し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。全体の画像中の画像領域は、例えば、水平（横）方向の座標値と垂直（縦）方向の座標値からなる座標の情報を用いて表現することができる。
ここで、パターン認識による物体認識部１４では、処理の誤差によって、車両以外のものが映っている画像領域を、車両が映っている画像領域として誤認識することが生じ得る。
The
In the present embodiment, the
Here, the
最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）が一致する（重なる）部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
The final
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＡＮＤ論理の処理を行うことによって、これら２つの一致部分（重複部分）を検出し、その一致部分を、最終的なターゲットの領域であると認識する。
As a specific example, the final
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in the present embodiment, when a plurality of objects to be recognized (vehicles in the present embodiment) are reflected in the entire image, the
距離・ＴＴＣ確定部１６は、最終ターゲット認識部１５から入力された最終的なターゲットの領域を特定する情報に基づいて、それぞれの最終的なターゲット（本実施形態では、車両）ごとに、距離とＴＴＣを算出して確定し、確定した距離とＴＴＣの情報をトラッキング部１７に出力する。なお、本実施形態では、距離・ＴＴＣ確定部１６は、それぞれの最終的なターゲットの領域を特定する情報と、確定した距離とＴＴＣの情報との組をトラッキング部１７に出力する。
The distance /
ここで、最終的なターゲットごとの距離とＴＴＣは、例えば、距離・ＴＴＣ確定部１６により算出する構成が用いられてもよく、あるいは、他の例として、３Ｄ解析手法による物体認識部１３またはパターン認識による物体認識部１４により算出して、算出した最終的なターゲットごとの距離とＴＴＣの情報を最終ターゲット認識部１５を介して距離・ＴＴＣ確定部１６に出力し、距離・ＴＴＣ確定部１６が入力された最終的なターゲットごとの距離とＴＴＣの情報により最終的なターゲットごとの距離とＴＴＣを確定する構成が用いられてもよい。
なお、最終的なターゲットごとの距離とＴＴＣは、例えば、３Ｄ解析手法による物体認識部１３により得られた物体認識の処理の結果を用いて算出することができ、他の例として、パターン認識による物体認識部１４により得られた物体認識の処理の結果を用いて算出されてもよく、さらに他の例として、これら両方の物体認識の処理の結果を用いて算出されてもよい。
Here, for example, a configuration in which the distance and TTC for each final target are calculated by the distance /
Note that the final distance and TTC for each target can be calculated using, for example, the result of object recognition processing obtained by the
トラッキング部１７は、距離・ＴＴＣ確定部１６から入力された情報に基づいて、トラッキングの処理を行い、衝突警報部１８とＡＣＣ制御部１９のそれぞれに各制御に必要な情報を出力する。本実施形態では、トラッキング部１７は、例えば、最終的なターゲットごとのＴＴＣの情報を衝突警報部１８に出力し、また、トラッキングの処理の結果の情報や、最終的なターゲットごとの距離や相対速度（自己の車両と最終的なターゲットとの距離や相対速度）の情報をＡＣＣ制御部１９に出力する。
The
ここで、最終的なターゲットごとの相対速度は、例えば、トラッキング部１７により算出され、他の例として、ＡＣＣ制御部１９などで算出されてもよい。
なお、トラッキング部１７は、時系列画像のトラッキングの処理を行う場合に、例えば、制御サイクルの時系列フィルタ処理で、過去制御サイクルとの結果で最終的な判定を行う。
Here, the final relative speed for each target may be calculated by, for example, the
Note that the
衝突警報部１８は、トラッキング部１７から入力された情報に基づいて、ＴＴＣの計算結果により、最終的なターゲット（本実施形態では、他の車両）との衝突の可能性があると判断した場合には、その旨を自己の車両の乗員に警報する（ＦＣＷアプリケーション）。
When the
ＡＣＣ制御部１９は、トラッキング部１７から入力された情報に基づいて、最終的なターゲット（本実施形態では、他の車両）との距離と相対速度の情報を用いて、前走車との車間距離の制御を行う。
Based on the information input from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４が車両が映っていると推定される画像領域を認識し、最終ターゲット認識部１５が車両が映っていると推定される画像領域について最終的なターゲットの領域を認識する構成を示したが、他の例として、車両以外の種々なものが物体認識の対象（ターゲット）とされてもよく、例えば、二輪車や歩行者などが物体認識の対象（ターゲット）とされてもよく、また、車両と二輪車といったように２つ以上のものが物体認識の対象（ターゲット）とされてもよい。３Ｄ解析手法による物体認識部１３およびパターン認識による物体認識部１４には、例えば、あらかじめ、物体認識の対象（ターゲット）とするものを特定するための条件が設定され、その条件に基づいて物体認識の対象（ターゲット）が特定される。
Here, in the present embodiment, the
次に、３Ｄ解析手法による物体認識部１３により行われる処理の例を示す。
図９は、３Ｄ解析手法の処理の手順の一例を示す図である。ここでは、各処理の概略を説明する。
なお、この処理の手順は、非特許文献１に記載されたものを引用しており、詳細については非特許文献１に記載されている。
Next, an example of processing performed by the
FIG. 9 is a diagram illustrating an example of a processing procedure of the 3D analysis method. Here, an outline of each process will be described.
In addition, the procedure of this process cites what was described in
３Ｄ解析手法による物体認識部１３は、画像取得部１２から入力される画像について、時間的に連続する２枚の画像を取得する（ステップＳ１）。時間的に連続する２枚の画像は、例えば、時刻ｔの画像と、時刻ｔ＋１の画像となる。
次に、３Ｄ解析手法による物体認識部１３は、特徴点を検出し、オプティカルフローを計算する（ステップＳ２）。
The
Next, the
次に、３Ｄ解析手法による物体認識部１３は、自車両（自己の車両）の運動を推定する（ステップＳ３）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、特徴点の三次元位置を計算する（ステップＳ４）。
Next, the
Next, the
次に、３Ｄ解析手法による物体認識部１３は、路面領域を検出する（ステップＳ５）。この処理では、一時刻前に検出された路面領域の情報と移動物体領域の情報が用いられる（ステップＳ８）。
次に、３Ｄ解析手法による物体認識部１３は、移動物体領域を検出する（ステップＳ６）。
そして、３Ｄ解析手法による物体認識部１３は、検出した移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識する（ステップＳ７）。
Next, the
Next, the
Then, the
なお、３Ｄ解析手法による物体認識部１３により行われる処理としては、他の種々な３Ｄ解析手法による物体認識の処理が用いられてもよい。
また、本実施形態では、動きベクトルとして、オプティカルフローを用いる場合を示すが、他の種々なものが用いられてもよい。
As processing performed by the
Further, in the present embodiment, a case where an optical flow is used as a motion vector is shown, but various other types may be used.
次に、パターン認識による物体認識部１４の構成例を示す。
図２は、パターン認識による物体認識部１４の構成例を示すブロック図である。
本実施形態に係るパターン認識による物体認識部１４は、勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と、を備える。
Next, a configuration example of the
FIG. 2 is a block diagram illustrating a configuration example of the
The
ここで、本実施形態に係るパターン認識による物体認識部１４では、特徴量として、ＨＯＧ特徴量を用いている。他の例として、特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量やＥｄｇｅｌｅｔ特徴量等の他の種々な特徴量が用いられてもよい。
また、本実施形態に係るパターン認識による物体認識部１４では、識別部１０４において、ＡｄａＢｏｏｓｔの認識アルゴリズムを用いている。他の例として、認識アルゴリズムとして、Ｒｅａｌ ＡｄａＢｏｏｓｔやＳＶＭ等の他の種々な認識アルゴリズムやその改良アルゴリズムが用いられてもよい。
Here, the
In the
パターン認識による物体認識部１４において行われる動作の例を示す。
なお、ＨＯＧ特徴量やＡｄａＢｏｏｓｔの認識アルゴリズムとしては、それぞれ、公知の技術を利用することができ、本実施形態では、詳しい説明は省略する。
The example of the operation | movement performed in the
Note that as the HOG feature amount and the AdaBoost recognition algorithm, known techniques can be used, respectively, and detailed description thereof will be omitted in the present embodiment.
パターン認識による物体認識部１４に入力された画像は、勾配積分画像算出部１０１に入力される。
勾配積分画像算出部１０１は、入力された画像について、全画像に対して勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１０１は、この計算結果の情報を座標スキャン部１０２に出力する。
なお、本実施形態では、元の全画像に対して勾配強度と勾配方向を算出するが、他の例として、ピラミッド画像により解像度を下げた画像にも適用可能である。
An image input to the
The gradient integral
In the present embodiment, the gradient strength and gradient direction are calculated for all original images. However, as another example, the present invention can be applied to an image whose resolution is lowered by a pyramid image.
座標スキャン部１０２は、勾配積分画像算出部１０１から入力された情報に基づいて、全画像の中であらかじめ設定した任意の座標領域に対して、前記した勾配方向の勾配強度を算出する。座標スキャン部１０２は、この算出結果の情報を特徴量ベクトル算出部１０３に出力する。
Based on the information input from the gradient integral
ここで、本実施形態では、勾配積分画像算出部１０１によりあらかじめ算出しておいた積分画像があるため、座標スキャン部１０２により任意のウインドウ（枠）の積分値を容易に算出することができる。
なお、他の例として、このような積分画像を使用しない構成が用いられてもよい。
Here, in this embodiment, since there is an integral image calculated in advance by the gradient integral
As another example, a configuration that does not use such an integral image may be used.
特徴量ベクトル算出部１０３は、座標スキャン部１０２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１０３は、この結果の情報（特徴量ベクトルの情報）を識別部１０４に出力する。
識別部１０４は、特徴量ベクトル算出部１０３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１０４は、この物体認識の処理の結果を出力する。
識別部１０４から出力された物体認識の処理の結果は、パターン認識による物体認識部１４から出力されて、最終ターゲット認識部１５に入力される。
なお、識別部１０４と最終ターゲット認識部１５との間にクラスタリング部を設けてミーンシフト等のクラスタリングを行ってもよい。
The feature quantity
The
The result of the object recognition process output from the
A clustering unit may be provided between the
図１０は、パターン認識による物体認識部１４のより詳細な構成を示すブロック図である。
図１０は、勾配積分画像算出部１０１と、特徴量ベクトル算出部１０３について、詳しい構成例を示してある。
勾配積分画像算出部１０１は、勾配強度検出部３０１と、勾配方向検出部３０２と、勾配方向ごとの勾配強度の積分部３０３と、を備える。
特徴量ベクトル算出部１０３は、セル単位の積分値算出部３１１と、ブロック正規化部３１２と、特徴量ベクトル算出処理部３１３と、を備える。
FIG. 10 is a block diagram showing a more detailed configuration of the
FIG. 10 shows a detailed configuration example of the gradient integral
The gradient integral
The feature
勾配積分画像算出部１０１において行われる動作の例を示す。
勾配積分画像算出部１０１に入力された画像は、勾配強度検出部３０１に入力される。
勾配強度検出部３０１は、入力された画像に基づいて、各ピクセル（ｕ，ｖ）における画素値（例えば、輝度値）の勾配強度ｍ（ｕ，ｖ）を検出する。勾配強度検出部３０１は、入力された画像および検出した勾配強度ｍ（ｕ，ｖ）を勾配方向検出部３０２に出力する。
ここで、ｕとｖは、直交座標平面上における画素（ピクセル）の位置を表すための座標の縦軸方向の値と横軸方向の値である。
An example of an operation performed in the gradient integral
The image input to the gradient integral
The
Here, u and v are a value in the vertical axis direction and a value in the horizontal axis direction of coordinates for representing the position of the pixel (pixel) on the orthogonal coordinate plane.
勾配方向検出部３０２は、勾配強度検出部３０１から画像および勾配強度ｍ（ｕ，ｖ）を入力し、入力した画像に基づいて各ピクセル（ｕ，ｖ）における勾配方向ｑ（ｕ，ｖ）を検出する。勾配方向検出部３０２は、入力した勾配強度ｍ（ｕ，ｖ）および検出した勾配方向ｑ（ｕ，ｖ）を勾配方向ごとの勾配強度の積分部３０３に出力する。
The gradient
勾配方向ごとの勾配強度の積分部３０３は、勾配方向検出部３０２から入力された勾配強度ｍ（ｕ，ｖ）および勾配方向ｑ（ｕ，ｖ）に基づいて、勾配方向ごとに勾配強度の積分を行う。勾配方向ごとの勾配強度の積分部３０３は、この積分の結果により得られる情報を出力する。
勾配方向ごとの勾配強度の積分部３０３から出力された情報は、勾配積分画像算出部１０１による計算結果の情報として当該勾配積分画像算出部１０１から出力されて、座標スキャン部１０２に入力される。
The gradient
Information output from the gradient
座標スキャン部１０２は、全画像領域またはその中の所望の比較的大きい領域内を、特定の座標領域（ウインドウ）をスライド（ウインドウサイズのスケールも可変して、順次スライドする）しながら、次の特徴量ベクトル算出部１０３で算出するウインドウを選択する。
The coordinate
特徴量ベクトル算出部１０３において行われる動作の例を示す。
座標スキャン部１０２から特徴量ベクトル算出部１０３に入力された情報は、セル単位の積分値算出部３１１に入力される。
セル単位の積分値算出部３１１は、入力された情報に基づいて、勾配方向ごとの勾配強度について、セル単位の積分値を算出する。セル単位の積分値算出部３１１は、算出したセル単位の積分値をブロック正規化部３１２に出力する。
An example of an operation performed in the feature quantity
Information input from the coordinate
The integral
ブロック正規化部３１２は、セル単位の積分値算出部３１１から入力されたセル単位の積分値について、ブロック単位で、正規化を行う。ブロック正規化部３１２は、この正規化の結果の情報を特徴量ベクトル算出処理部３１３に出力する。
特徴量ベクトル算出処理部３１３は、ブロック正規化部３１２から入力された情報に基づいて、特徴量ベクトル（本実施形態では、ＨＯＧ特徴量のベクトル）を算出する。特徴量ベクトル算出処理部３１３は、算出した特徴量ベクトルの情報を出力する。
特徴量ベクトル算出処理部３１３から出力された情報は、特徴量ベクトル算出部１０３から出力されて、識別部１０４に入力される。
The
The feature vector
The information output from the feature vector
ここで、本実施形態では、１つのセルは座標スキャンするウインドウの１／１６のサイズから構成されており、１つのブロックは３セル（縦）×３セル（横）の領域から構成されている。
なお、セルの大きさや、ブロックの大きさとしては、それぞれ、他の種々な構成が用いられてもよい。
Here, in the present embodiment, one cell is composed of 1/16 the size of the coordinate scanning window, and one block is composed of an area of 3 cells (vertical) × 3 cells (horizontal). .
Various other configurations may be used for the cell size and the block size, respectively.
ここで、積分画像について説明しておく。積分画像は、一般に知られた技術であり、ここでは、その概略を説明する。
図１１は、積分画像を説明するための図である。
図１１において、画像の左上を画素の座標の基準位置（０，０）として、座標（ｕ、ｖ）を考える。また、座標（ｕ，ｖ）における画像の画素値をｉ（ｕ，ｖ）とする。
ｓ（ｕ，ｖ）を行の画素の総和（縦方向の総和）とし、ｉｉ（ｕ，ｖ）を列のｓ（ｕ，ｖ）の総和（横方向の総和）とする。このｉｉ（ｕ，ｖ）が積分画像となる。
このとき、次の式（１）、式（２）が表される。ここで、ｓ（−１，ｖ）＝０とし、ｉｉ（ｕ，−１）＝０とする。
Here, the integral image will be described. The integral image is a generally known technique, and an outline thereof will be described here.
FIG. 11 is a diagram for explaining the integral image.
In FIG. 11, the coordinates (u, v) are considered with the upper left of the image as the reference position (0, 0) of the coordinates of the pixels. Further, the pixel value of the image at the coordinates (u, v) is assumed to be i (u, v).
Let s (u, v) be the sum of the pixels in the row (total in the vertical direction), and ii (u, v) be the sum of the s (u, v) in the column (sum in the horizontal direction). This ii (u, v) becomes an integral image.
At this time, the following expressions (1) and (2) are expressed. Here, s (-1, v) = 0 and ii (u, -1) = 0.
ｓ（ｕ，ｖ）＝ｓ（ｕ−１，ｖ）＋ｉ（ｕ，ｖ） ・・・（１） s (u, v) = s (u-1, v) + i (u, v) (1)
ｉｉ（ｕ，ｖ）＝ｉｉ（ｕ，ｖ−１）＋ｓ（ｕ、ｖ） ・・・（２） ii (u, v) = ii (u, v-1) + s (u, v) (2)
このとき、一例として、図１１に示される第４領域における画素値の和Ｓ（４）を求める場合には、式（３）により算出することができる。 At this time, as an example, when the sum S (4) of the pixel values in the fourth region shown in FIG. 11 is obtained, it can be calculated by Expression (3).
Ｓ（４）＝ｉｉ（ｕ，ｖ）−ｉｉ（ｕ，ｖ−Ｑ１）−ｉｉ（ｕ−Ｐ１，ｖ）＋ｉｉ（ｕ−Ｐ１，ｖ−Ｑ１） ・・・（３） S (4) = ii (u, v) −ii (u, v−Q1) −ii (u−P1, v) + ii (u−P1, v−Q1) (3)
本実施形態では、このような積分画像ｉｉ（ｕ，ｖ）を使用することで、演算を容易化することが可能である。 In the present embodiment, the calculation can be facilitated by using such an integral image ii (u, v).
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
図３は、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域の例を示す図である。
図３に示される画像１００１では、道路上に車両が走行している。そして、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、縦方向の辺よりも横方向の辺の方が長い矩形の枠１００２の領域が示されている。
Next, a combination of object recognition by the 3D analysis method performed by the
FIG. 3 is a diagram illustrating an example of a region where it is desired to improve the performance of object recognition by a combination of object recognition by 3D analysis and object recognition by pattern recognition.
In the
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域であり、且つ、パターン認識による物体認識の単体でもターゲット（本実施形態では、車両）以外の物体を誤認識する可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＡＮＤ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＡＮＤ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
The area of the
Therefore, when there is such mutual recognition performance, it is effective to perform recognition by AND logic by the final
なお、このような、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域は、例えば、道路の状況などによって、変動する。
図３に示される例では、道路がほぼ直進方向にあるが、大きいカーブでの前走車を認識することが必要であることから、横長の枠１００２の領域を設定している。
ここで、枠１００２の領域は、例えば、画像１００１における座標の値を用いて表すことができる。
Note that the region where it is desired to improve the performance of object recognition by combining the object recognition by the 3D analysis technique and the object recognition by the pattern recognition varies depending on, for example, road conditions.
In the example shown in FIG. 3, the road is almost in a straight line direction, but since it is necessary to recognize a preceding vehicle on a large curve, an area of a horizontally
Here, the area of the
以上のように、本実施形態に係る画像認識装置１は、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＡＮＤ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１によれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
As described above, the
Therefore, according to the
なお、一般的に、３Ｄ解析手法による物体認識では、遠距離にある物体の認識は不得手であると考えられるが、本実施形態では、パターン認識による物体認識を併用することで、遠距離にある物体の認識についても、精度を向上させている。 In general, it is considered that the object recognition by the 3D analysis method is not good at the recognition of the object at a long distance. However, in the present embodiment, the object recognition by the pattern recognition is used at a long distance. The accuracy of recognition of an object is also improved.
［第２実施形態］
本実施形態に係る画像認識装置１ａの概略的な構成は、図１に示される第１実施形態に係る画像認識装置１の構成と同様であるため、以下では、図１に示される構成および各構成部の符号を利用して説明する。
なお、以下では、第１実施形態に係る画像認識装置１とは異なる点について詳しく説明する。
[Second Embodiment]
Since the schematic configuration of the
In the following, differences from the
本実施形態に係る画像認識装置１ａでは、主に、最終ターゲット認識部１５の構成および動作が、第１実施形態の場合とは異なっている。
本実施形態では、最終ターゲット認識部１５は、ＯＲ論理を用いて認識を行う。
具体的には、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した何れかまたは一致する画像領域（座標の領域）の部分を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
In the
In the present embodiment, the final
Specifically, the final
具体例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、ＯＲ論理の処理を行うことによって、最終的なターゲットの領域であると認識する。
As a specific example, the final
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部１３やパターン認識による物体認識部１４はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部１５はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in the present embodiment, when a plurality of objects to be recognized (vehicles in the present embodiment) are reflected in the entire image, the
次に、３Ｄ解析手法による物体認識部１３により行われる３Ｄ解析手法による物体認識とパターン認識による物体認識部１４により行われるパターン認識による物体認識との組み合わせについて説明する。
第１実施形態において参照した図３には、３Ｄ解析手法による物体認識とパターン認識による物体認識との組み合わせにより物体認識の性能を向上させることが望まれる領域として、矩形の枠１００２の領域が示されている。
Next, a combination of object recognition by the 3D analysis method performed by the
In FIG. 3 referred to in the first embodiment, a region of a
この枠１００２の領域は、３Ｄ解析手法による物体認識の単体ではターゲット（本実施形態では、車両）を認識することができない可能性がある領域であり、且つ、パターン認識による物体認識でもターゲット（本実施形態では、車両）を認識することができない可能性がある領域である。
従って、このような互いの認識性能がある場合には、本実施形態のように、最終的なターゲットと認識するために、最終ターゲット認識部１５によりＯＲ論理での認識を行うことが効果的である。このように最終的なターゲットと認識する論理（本実施形態では、ＯＲ論理）は、３Ｄ解析手法による物体認識とパターン認識による物体認識との互いの判定性能に依存して定めたものである。
The area of the
Therefore, when there is such mutual recognition performance, it is effective to perform the OR target recognition by the final
以上のように、本実施形態に係る画像認識装置１ａは、３Ｄ解析手法による物体認識の結果と、パターン認識による物体認識の結果とで、画像中においてＯＲ論理が成立した座標領域の物体を最終的にターゲット（目標と定めた物体）であると判断する。
従って、本実施形態に係る画像認識装置１ａによれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置１ａによれば、画像の消失点付近を含む比較的遠距離にある物体の形状を認識する精度が大幅に向上するため、前方衝突警報装置（ＦＣＷ）に適用することができ、さらに、特に遠距離での認識が必要な車間距離制御装置（ＡＣＣ）への適用が可能となる効果を有する。
As described above, the
Therefore, according to the
ここで、最終ターゲット認識部１５により行われる動作として、第１実施形態ではＡＮＤ論理の動作を示し、第２実施形態ではＯＲ論理の動作を示したが、他の動作が用いられてもよい。
ＡＮＤ論理の一例として、最終ターゲット認識部１５は、３Ｄ解析手法による物体認識部１３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）と、パターン認識による物体認識部１４から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）について、これら２つの物体認識の処理の結果において、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）の重複部分（オーバーラップする部分）が所定の割合（例えば、５０％など）以上である場合に、あらかじめ定められたいずれか一方の物体認識の処理の結果を最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する、といった構成を用いることができる。
Here, as the operation performed by the final
As an example of AND logic, the final
［第３実施形態］
図４は、本発明の第３実施形態に係る画像認識装置２の構成を示すブロック図である。
本実施形態に係る画像認識装置２は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部２１と、パターン認識による物体認識部２２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[Third Embodiment]
FIG. 4 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置２の構成や動作は、３Ｄ解析手法による物体認識部２１とパターン認識による物体認識部２２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図４では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 4, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
３Ｄ解析手法による物体認識部２１は、特徴点・オプティカルフロー検出部１１１と、自車に対する相対距離検出部１１２と、クラスタリング部１１３と、を備える。
パターン認識による物体認識部２２は、勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４と、を備える。座標スキャン部１２２は、座標のスキャン領域決定部１２６を備える。
The
The
３Ｄ解析手法による物体認識部２１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部２１に入力された画像は、特徴点・オプティカルフロー検出部１１１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１１１、自車に対する相対距離検出部１１２、クラスタリング部１１３により、順に処理されて、その処理の結果がクラスタリング部１１３から出力される。
クラスタリング部１１３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部２１から出力されて、最終ターゲット認識部１５に入力される。
An example of an operation performed in the
The image input from the
This input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部２１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１１１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１１２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１１３がステップＳ７の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を座標スキャン部１２２に出力する。
Furthermore, in the present embodiment, the feature point / optical
パターン認識による物体認識部２２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部２２に入力された画像は、勾配積分画像算出部１２１に入力される。
この入力画像は、勾配積分画像算出部１２１、座標スキャン部１２２、特徴量ベクトル算出部１２３、識別部１２４により、順に処理されて、その処理の結果が識別部１２４から出力される。
識別部１２４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部２２から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the
An image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部２２に備えられた勾配積分画像算出部１２１と、座標スキャン部１２２と、特徴量ベクトル算出部１２３と、識別部１２４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、特徴点・オプティカルフロー検出部１１１から出力された特徴点の情報と、オプティカルフローの情報が、座標スキャン部１２２に入力される。座標スキャン部１２２に入力された特徴点の情報とオプティカルフローの情報は、座標のスキャン領域決定部１２６に入力される。
Further, in the present embodiment, the feature point information output from the feature point / optical
座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域は、パターン認識を行う領域となる。
The coordinate scan
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、全画像の中で、座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）に対して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
In the present embodiment, the coordinate scan unit 122 is based on the information input from the gradient integral
ここで、座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域を決定する。
Here, the coordinate scan
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、特徴点が密集する領域を検出し、その密集する領域のサイズを包含する広めの領域を、座標スキャン部１２２において座標スキャンする領域として決定することができる。 As an example of a method for determining a pattern recognition coordinate scan area with priority on feature point information, a coordinate scan unit detects an area where feature points are dense and includes a wide area including the size of the dense area. In 122, it can be determined as an area for coordinate scanning.
特徴点の情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
As another example of the method for determining the pattern recognition coordinate scan area by giving priority to the feature point information, the coordinate scan
なお、この閾値としては、一例として、２以上の値を設定する。
他の一例として、この閾値として、１を設定することもできる。この場合、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
In addition, as this threshold value, the value of 2 or more is set as an example.
As another example, 1 can be set as the threshold. In this case, the coordinate scan
オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
As an example of a method for determining a pattern recognition coordinate scan area with priority given to optical flow information, the coordinate scan
また、オプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
As another example of a method for determining a coordinate recognition area for pattern recognition by giving priority to optical flow information, the coordinate scan
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
In addition, as an example of a method for determining a pattern recognition coordinate scan area by giving priority to feature point information and optical flow information, the coordinate scan
また、特徴点の情報やオプティカルフローの情報を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１２６は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみを、座標スキャン部１２２において座標スキャンする領域として決定することができる。
As another example of a method for determining a pattern recognition coordinate scan area by giving priority to feature point information and optical flow information, the coordinate scan
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１２６は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域のみを座標スキャン部１２２において座標スキャンする領域とする構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャン部１２２において座標スキャンする領域とする、こともできる。
Further, in the method for determining the pattern recognition coordinate scan region by giving priority to one or both of the feature point information and the optical flow information as described above, for example, the coordinate scan
次に、座標のスキャン領域決定部１２６について、他の例を示す。
他の例に係る座標のスキャン領域決定部１２６は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度を決定する。本実施形態では、このようにして決定される座標スキャン部１２２において座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
Next, another example of the coordinate scan
The coordinate scan
本実施形態では、座標スキャン部１２２は、勾配積分画像算出部１２１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１２６により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。座標スキャン部１２２は、この算出結果の情報を特徴量ベクトル算出部１２３に出力する。
In the present embodiment, the coordinate scanning unit 122, based on the information input from the gradient integral
ここで、他の例に係る座標のスキャン領域決定部１２６は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、座標スキャン部１２２において座標スキャンする領域の重要度として、全画像中において認識対象の物体が映っている可能性が高いと推定される領域の重要度を高い重要度とするように決定する。
Here, the coordinate scan
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような分割領域においては、他の分割領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
As an example of a method for determining the importance of a pattern recognition coordinate scan region by placing importance on one or both of feature point information and optical flow information, a coordinate scan
特徴点の情報とオプティカルフローの情報のうちの一方または両方を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、他の分割領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。具体例として、他の例に係る座標のスキャン領域決定部１２６は、上記のように特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してパターン認識の座標スキャンの領域を決定する手法により決定された分割領域については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の分割領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
As another example of the method of determining the importance of the pattern recognition coordinate scan area by focusing on one or both of the feature point information and the optical flow information, determination of the coordinate scan area according to another example As described above, the
以上のように、本実施形態に係る画像認識装置２では、３Ｄ解析手法による物体認識部２１の特徴点・オプティカルフロー検出部１１１により得られた情報が、パターン認識による物体認識部２２の座標のスキャン領域決定部１２６（上記した他の例に係る座標のスキャン領域決定部１２６でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置２によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置２によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
As described above, in the
Therefore, according to the
［第４実施形態］
図５は、本発明の第４実施形態に係る画像認識装置３の構成を示すブロック図である。
本実施形態に係る画像認識装置３は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部３１と、パターン認識による物体認識部３２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[Fourth Embodiment]
FIG. 5 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置３の構成や動作は、３Ｄ解析手法による物体認識部３１とパターン認識による物体認識部３２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図５では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 5, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
３Ｄ解析手法による物体認識部３１は、特徴点・オプティカルフロー検出部１３１と、自車に対する相対距離検出部１３２と、クラスタリング部１３３と、を備える。
パターン認識による物体認識部３２は、座標のスキャン領域決定部１４１と、勾配積分画像算出部１４２と、特徴量ベクトル算出部１４３と、識別部１４４と、を備える。
The
The object recognition unit 32 based on pattern recognition includes a coordinate scan
３Ｄ解析手法による物体認識部３１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部３１に入力された画像は、特徴点・オプティカルフロー検出部１３１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１３１、自車に対する相対距離検出部１３２、クラスタリング部１３３により、順に処理されて、その処理の結果がクラスタリング部１３３から出力される。
クラスタリング部１３３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部３１から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the feature point / optical flow detection unit 131, the relative
The processing result output from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部３１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１３１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１３２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１３３がステップＳ７の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical flow detection unit 131 executes the processing of step S1 to step S2, the relative
さらに、本実施形態では、クラスタリング部１３３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を座標のスキャン領域決定部１４１に出力する。
Further, in the present embodiment, the
パターン認識による物体認識部３２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部３２に入力された画像は、座標のスキャン領域決定部１４１に入力される。
この入力画像は、座標のスキャン領域決定部１４１、勾配積分画像算出部１４２、特徴量ベクトル算出部１４３、識別部１４４により、順に処理されて、その処理の結果が識別部１４４から出力される。
識別部１４４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部３２から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the object recognition part 32 by pattern recognition is shown.
The image input from the
The input image is sequentially processed by the coordinate scan
The processing result output from the
ここで、本実施形態では、クラスタリング部１３３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、座標のスキャン領域決定部１４１に入力される。
Here, in the present embodiment, the result of the object recognition process output from the clustering unit 133 (in this embodiment, information specifying an image region estimated to show the vehicle) is used to determine the coordinate scan region. Is input to the
座標のスキャン領域決定部１４１は、入力された画像について、クラスタリング部１３３から入力された物体認識の処理の結果に基づいて、座標スキャンする領域を決定する。一例として、座標スキャンする領域は、クラスタリング部１３３から入力された物体の領域よりも広めの領域とする。座標のスキャン領域決定部１４１は、決定した座標スキャンする領域を特定する情報および入力された画像を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域は、パターン認識を行う領域となる。
The coordinate scan
勾配積分画像算出部１４２は、座標のスキャン領域決定部１４１から入力された画像について、座標のスキャン領域決定部１４１から入力された情報により特定される座標スキャンする領域（座標領域）の画像に対して、勾配強度と勾配方向を算出し、それぞれの勾配方向の勾配強度に対して積分画像を算出し、ヒストグラムを計算する。勾配積分画像算出部１４２は、この計算結果の情報を特徴量ベクトル算出部１４３に出力する。
The gradient integrated
特徴量ベクトル算出部１４３は、勾配積分画像算出部１４２から入力された情報に基づいて、ＨＯＧ特徴量としての特徴ベクトル化を行う。特徴量ベクトル算出部１４３は、この結果の情報を識別部１４４に出力する。
識別部１４４は、特徴量ベクトル算出部１４３から入力された情報に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識する。識別部１４４は、この物体認識の処理の結果を出力する。
The feature quantity
The
なお、本実施形態では、パターン認識による物体認識部３２において、座標のスキャン領域決定部１４１により座標のスキャン領域を決定した後に、勾配積分画像算出部１４２により勾配積分画像を算出する構成としてあり、この構成によって、例えば、第３実施形態に係る図４に示されるように、パターン認識による物体認識部２２において、勾配積分画像算出部１２１による処理を行った後に、座標のスキャン領域決定部１２６による処理を行う構成と、全体としては同様な処理を実現している。
In the present embodiment, the object recognition unit 32 based on pattern recognition is configured to calculate the gradient integral image by the gradient integral
ここで、座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域を決定する。
Here, the coordinate scan
３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の一例として、座標のスキャン領域決定部１４１は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、座標スキャンする領域として決定することができる。
As an example of a method for determining the pattern recognition coordinate scan area by giving priority to the result of the object recognition process by the 3D analysis technique, the coordinate scan
また、３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法の他の一例として、座標のスキャン領域決定部１４１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、座標スキャンする領域として決定することができる。
Also, as another example of a method for determining a pattern recognition coordinate scan region in preference to the result of object recognition processing by the 3D analysis method, the coordinate scan
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法では、例えば、座標のスキャン領域決定部１４１は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域のみを座標スキャンする領域とする構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、座標スキャンする領域とする、こともできる。
Further, in the method of determining the pattern recognition coordinate scan region by giving priority to the result of the object recognition processing by the 3D analysis method as described above, for example, the coordinate scan
次に、座標のスキャン領域決定部１４１について、他の例を示す。
他の例に係る座標のスキャン領域決定部１４１は、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度を決定する。そして、他の例に係る座標のスキャン領域決定部１４１は、決定した座標スキャンする領域の重要度の情報を勾配積分画像算出部１４２に出力する。本実施形態では、このようにして決定される座標スキャンする領域の重要度は、パターン認識を行う領域の重要度として使用される。
Next, another example of the coordinate scan
The coordinate scan
本実施形態では、勾配積分画像算出部１４２は、他の例に係る座標のスキャン領域決定部１４１から入力された情報に基づいて、例えば全画像の中であらかじめ設定した任意の座標領域に対して、他の例に係る座標のスキャン領域決定部１４１により決定された座標スキャンする領域（座標領域）の重要度を考慮して、勾配方向の勾配強度を算出する。勾配積分画像算出部１４２は、この算出結果の情報を特徴量ベクトル算出部１４３に出力する。
In this embodiment, the gradient integral
ここで、他の例に係る座標のスキャン領域決定部１４１は、例えば、クラスタリング部１３３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、座標スキャンする領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
Here, for example, the coordinate scan
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴量に関する情報（例えば、勾配強度など）を算出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、得られた特徴量に関する値（例えば、勾配強度など）にあらかじめ設定された値（例えば、１より大きい値）を乗算することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい特徴量に関する値であっても、より特徴量が大きいとみなす。
As an example of a method for deciding the importance of the pattern recognition coordinate scan region by placing importance on the result of the object recognition processing by the 3D analysis method, the coordinate scan
３Ｄ解析手法による物体認識の処理の結果を重要視してパターン認識の座標スキャンの領域の重要度を決定する手法の他の一例として、他の例に係る座標のスキャン領域決定部１４１は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、特徴量に関する情報（例えば、勾配強度など）を算出するときの分解能を細かくすることができる。この場合、具体例として、勾配積分画像算出部１４２は、上記のように３Ｄ解析手法による物体認識の処理の結果を優先してパターン認識の座標スキャンの領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でスライド（移動）させてスキャンし、他の領域については、あらかじめ設定された比較的粗い分解能でスライド（移動）させてスキャンすることができる。
As another example of the method of determining the importance of the pattern recognition coordinate scan region by placing importance on the result of the object recognition processing by the 3D analysis method, the coordinate scan
以上のように、本実施形態に係る画像認識装置３では、３Ｄ解析手法による物体認識部３１のクラスタリング部１３３により得られた情報が、パターン認識による物体認識部３２の座標のスキャン領域決定部１４１（上記した他の例に係る座標のスキャン領域決定部１４１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置３によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置３によれば、３Ｄ解析手法による物体認識において確定した座標領域を優先してまたは重要視して、パターン認識を行う画像において座標をスキャンする領域に関する設定を行うことができる。これにより、例えば、パターン認識の座標スキャン時の処理負荷を軽減することが可能である。
As described above, in the
Therefore, according to the
［第５実施形態］
図６は、本発明の第５実施形態に係る画像認識装置４の構成を示すブロック図である。
本実施形態に係る画像認識装置４は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部４１と、パターン認識による物体認識部４２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[Fifth Embodiment]
FIG. 6 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置４の構成や動作は、３Ｄ解析手法による物体認識部４１とパターン認識による物体認識部４２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図６では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 6, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
３Ｄ解析手法による物体認識部４１は、特徴点・オプティカルフロー検出部１５１と、自車に対する相対距離検出部１５２と、クラスタリング部１５３と、を備える。
パターン認識による物体認識部４２は、勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４と、を備える。
The
The
３Ｄ解析手法による物体認識部４１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部４１に入力された画像は、特徴点・オプティカルフロー検出部１５１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１５１、自車に対する相対距離検出部１５２、クラスタリング部１５３により、順に処理されて、その処理の結果がクラスタリング部１５３から出力される。
クラスタリング部１５３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部４１から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部４１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１５１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１５２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１５３がステップＳ７の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１は、検出した特徴点の情報と、検出（本実施形態では、計算）したオプティカルフローの情報を識別部１６４に出力する。
Further, in the present embodiment, the feature point / optical
パターン認識による物体認識部４２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部４２に入力された画像は、勾配積分画像算出部１６１に入力される。
この入力画像は、勾配積分画像算出部１６１、座標スキャン部１６２、特徴量ベクトル算出部１６３、識別部１６４により、順に処理されて、その処理の結果が識別部１６４から出力される。
識別部１６４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部４２から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the
An image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部４２に備えられた勾配積分画像算出部１６１と、座標スキャン部１６２と、特徴量ベクトル算出部１６３と、識別部１６４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、特徴点・オプティカルフロー検出部１５１から出力された特徴点の情報と、オプティカルフローの情報が、識別部１６４に入力される。
識別部１６４は、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、特徴点・オプティカルフロー検出部１５１から入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、識別の処理を行う。識別部１６４は、この物体認識の処理の結果を出力する。
Further, in this embodiment, the feature point information and the optical flow information output from the feature point / optical
The
ここで、識別部１６４は、例えば、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
Here, for example, based on one or both of the input feature point information and the optical flow information, the
具体例として、本実施形態では、識別部１６４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１６４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１６４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１６３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
As a specific example, in the present embodiment, the
The
識別部１６４は、入力された特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
Based on one or both of the input feature point information and the optical flow information, the
特徴点の情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点が多い方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する特徴点の数を算出し、算出した特徴点の数があらかじめ設定された値（閾値）より多い分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、特徴点の数があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on feature point information, the
なお、前記した特徴点の数に関する閾値としては、一例として、２以上の値を設定する。
他の一例として、前記した特徴点の数に関する閾値として、１を設定することもできる。この場合、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、１つでも特徴点が抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
また、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。
In addition, as a threshold value regarding the number of above-mentioned feature points, a value of 2 or more is set as an example.
As another example, 1 may be set as the threshold value regarding the number of feature points. In this case, the
An arbitrary value may be used as the reference identification threshold value. For example, in a configuration in which the identification threshold value is not changed (set) as in the present embodiment, it is constant for all image regions. The set identification threshold value can be used.
オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、オプティカルフローにより定められる変化量（例えば、勾配の強度）の平均値が大きい方が認識対象の物体が映っている可能性が高いという推定に基づいて、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、各分割領域内に存在する１つ以上のオプティカルフローにより定められる変化量の平均値を算出し、算出した平均値があらかじめ設定された値（閾値）より大きい分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、オプティカルフローにより定められる変化量の平均値があらかじめ設定された値（閾値）より多い分割領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a method for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on optical flow information, the
また、オプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、あらかじめ設定された値（閾値）より大きいオプティカルフローが１つでも抽出された分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
Further, as another example of a method for changing (setting) an identification threshold used in object recognition by pattern recognition with priority or importance on optical flow information, the
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）を満たし、且つ、オプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）を満たす分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
In addition, as an example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance given to feature point information or optical flow information, the
また、特徴点の情報やオプティカルフローの情報を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１６４は、特徴点に関する条件（例えば、上記したもの等、１つ以上の条件）またはオプティカルフローに関する条件（例えば、上記したもの等、１つ以上の条件）のうちの少なくとも１つの条件を満たす分割領域（これらの全ての条件を満たす分割領域も含む）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
As another example of a technique for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance given to feature point information or optical flow information, the
また、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１６４は、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして特徴点の情報とオプティカルフローの情報のうちの一方または両方に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
In the method of changing (setting) the identification threshold used in object recognition by pattern recognition with priority or importance given to one or both of feature point information and optical flow information as described above, For example, the
以上のように、本実施形態に係る画像認識装置４では、３Ｄ解析手法による物体認識部４１の特徴点・オプティカルフロー検出部１５１により得られた情報が、パターン認識による物体認識部４２の識別部１６４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置４によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、本実施形態に係る画像認識装置４によれば、３Ｄ解析手法による物体認識において得られた特徴点の情報または動きベクトル（本実施形態では、オプティカルフロー）の情報に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる特徴点または動きベクトルに基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
As a specific example, according to the
［第６実施形態］
図７は、本発明の第６実施形態に係る画像認識装置５の構成を示すブロック図である。
本実施形態に係る画像認識装置５は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部５１と、パターン認識による物体認識部５２と、最終ターゲット認識部１５と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[Sixth Embodiment]
FIG. 7 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置５の構成や動作は、３Ｄ解析手法による物体認識部５１とパターン認識による物体認識部５２に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図７では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 7, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
３Ｄ解析手法による物体認識部５１は、特徴点・オプティカルフロー検出部１７１と、自車に対する相対距離検出部１７２と、クラスタリング部１７３と、を備える。
パターン認識による物体認識部５２は、勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４と、を備える。
The
The
３Ｄ解析手法による物体認識部５１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部５１に入力された画像は、特徴点・オプティカルフロー検出部１７１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１７１、自車に対する相対距離検出部１７２、クラスタリング部１７３により、順に処理されて、その処理の結果がクラスタリング部１７３から出力される。
クラスタリング部１７３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部５１から出力されて、最終ターゲット認識部１５に入力される。
An example of an operation performed in the
An image input from the
The input image is sequentially processed by the feature point / optical
The processing result output from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部５１において、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１７１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１７２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１７３がステップＳ７の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、クラスタリング部１７３は、検出された移動物体（本実施形態では、車両であると推定される移動物体）をターゲットとして認識した結果に基づいて、物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）を識別部１８４に出力する。
Furthermore, in the present embodiment, the
パターン認識による物体認識部５２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部５２に入力された画像は、勾配積分画像算出部１８１に入力される。
この入力画像は、勾配積分画像算出部１８１、座標スキャン部１８２、特徴量ベクトル算出部１８３、識別部１８４により、順に処理されて、その処理の結果が識別部１８４から出力される。
識別部１８４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部５２から出力されて、最終ターゲット認識部１５に入力される。
The example of the operation | movement performed in the
The image input from the
The input image is sequentially processed by the gradient integral
The processing result output from the
ここで、本実施形態では、パターン認識による物体認識部５２に備えられた勾配積分画像算出部１８１と、座標スキャン部１８２と、特徴量ベクトル算出部１８３と、識別部１８４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
Here, in the present embodiment, the gradient integrated
さらに、本実施形態では、クラスタリング部１７３から出力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）が、識別部１８４に入力される。
Further, in the present embodiment, the result of the object recognition process output from the clustering unit 173 (in this embodiment, information specifying an image region estimated to show the vehicle) is input to the
識別部１８４は、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、ＡｄａＢｏｏｓｔによる識別の処理を行い、あらかじめターゲットとしている物体（本実施形態では、あらかじめ用意された車両の画像のパターンに合致する物体）を認識し、この場合に、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、識別の処理を行う。識別部１８４は、この物体認識の処理の結果を出力する。
The
ここで、識別部１８４は、例えば、クラスタリング部１７３から入力された物体認識の処理の結果に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において物体を認識し易くするように変更（設定）する。言い換えれば、このような領域を重要度（優先度）が高い領域であるとみなす。
Here, for example, based on the result of the object recognition process input from the
具体例として、本実施形態では、識別部１８４は、パターン認識により認識対象の物体を識別（認識）するための閾値（識別閾値）を用いて、パターン認識による物体認識を行う。また、識別部１８４では、この識別閾値を可変に設定することが可能になっている。
そして、識別部１８４は、車両の画像のパターンをメモリに記憶しており、特徴量ベクトル算出部１８３から入力された情報（特徴量ベクトルの情報）に基づいて、画像（画像取得部１２から出力される画像）の中で、識別閾値を用いて、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域を識別（認識）し、その画像領域を特定する情報を物体認識の処理の結果として最終ターゲット認識部１５に出力する。この識別の処理では、メモリに記憶された車両の画像のパターンとの一致度が識別閾値（例えば、弱識別器による線形和の値で強識別器の判定をする際の閾値）以上となる画像中の領域を、メモリに記憶された車両の画像のパターンと同一または類似するものが映っていると推定される画像領域として識別する。
As a specific example, in the present embodiment, the
The
識別部１８４は、クラスタリング部１７３から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、全画像中において、認識対象の物体（本実施形態では、車両）が映っている可能性が高いと推定される領域について、パターン認識による物体認識において用いられる識別閾値を小さくするように変更（設定）することで、物体を認識し易くするように設定する。
The
３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の一例として、識別部１８４は、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。この場合、例えば、判定領域では、他の領域と比べて、より小さい識別閾値が用いられる。
As an example of a method for changing (setting) an identification threshold used in object recognition by pattern recognition with priority or importance on the result of object recognition processing by the 3D analysis method, the
なお、基準となる識別閾値としては、任意の値が用いられてもよく、例えば、本実施形態におけるような識別閾値の変更（設定）が行われない構成において全ての画像領域に対して一定に設定される識別閾値の値を用いることができる。 An arbitrary value may be used as the reference identification threshold. For example, in a configuration in which the identification threshold is not changed (set) as in the present embodiment, it is constant for all image regions. The set identification threshold value can be used.
また、３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法の他の一例として、識別部１８４は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、３Ｄ解析手法による物体認識の処理の結果に基づいて、３Ｄ解析手法による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）することができる。
As another example of a method for changing (setting) an identification threshold value used in object recognition by pattern recognition with priority or importance on the result of object recognition processing by the 3D analysis method, the
また、以上のようにして３Ｄ解析手法による物体認識の処理の結果を優先してまたは重要視してパターン認識による物体認識において用いられる識別閾値を変更（設定）する手法では、例えば、識別部１８４は、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域のみについて、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する構成以外に、以上のようにして３Ｄ解析手法による物体認識の処理の結果に基づいて決定した特定の領域とともに、他の任意の手法により決定した領域についても、あらかじめ定められた基準となる識別閾値よりも小さい値の識別閾値を用いるように変更（設定）する、こともできる。
In the method of changing (setting) the identification threshold value used in the object recognition by the pattern recognition by giving priority or importance to the result of the object recognition process by the 3D analysis method as described above, for example, the
以上のように、本実施形態に係る画像認識装置５では、３Ｄ解析手法による物体認識部５１のクラスタリング部１７３により得られた情報が、パターン認識による物体認識部５２の識別部１８４に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置５によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、パターン認識による物体認識を行う際の識別閾値に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、本実施形態に係る画像認識装置５によれば、３Ｄ解析手法による物体認識において得られた物体認識の処理の結果に基づく座標領域を優先してまたは重要視して、特定の領域について、ＡｄａＢｏｏｓｔによる物体の識別（認識）で用いられる識別閾値を、より認識し易い側へ下げることができる。これは、例えば、３Ｄ解析手法による物体認識において得られる物体認識の処理の結果に基づく座標領域では、認識対象の物体である確からしさがより高いという考え方に基づいている。
As a specific example, according to the
［第７実施形態］
図８は、本発明の第７実施形態に係る画像認識装置６の構成を示すブロック図である。
本実施形態に係る画像認識装置６は、単眼カメラ１１と、画像取得部１２と、３Ｄ解析手法による物体認識部６１と、パターン認識による物体認識部６２と、最終ターゲット認識部６３と、距離・ＴＴＣ確定部１６と、トラッキング部１７と、衝突警報部１８と、ＡＣＣ制御部１９と、を備える。
[Seventh Embodiment]
FIG. 8 is a block diagram showing the configuration of the
The
ここで、本実施形態に係る画像認識装置６の構成や動作は、３Ｄ解析手法による物体認識部６１とパターン認識による物体認識部６２と最終ターゲット認識部６３に関する構成や動作を除いて、図１に示される第１実施形態に係る画像認識装置１の構成（ＡＮＤ論理を用いる構成）、または、第２実施形態に係る画像認識装置１ａの構成（ＯＲ論理を用いる構成）と同様である。
このため、図８では、第１実施形態または第２実施形態と同様な構成部については、同一の符号を付してある。以下では、第１実施形態に係る画像認識装置１または第２実施形態に係る画像認識装置１ａとは異なる点について詳しく説明する。
Here, the configuration and operation of the
For this reason, in FIG. 8, the same code | symbol is attached | subjected about the component similar to 1st Embodiment or 2nd Embodiment. Hereinafter, differences from the
３Ｄ解析手法による物体認識部６１は、特徴点・オプティカルフロー検出部１９１と、自車に対する相対距離検出部１９２と、クラスタリング部１９３と、を備える。
パターン認識による物体認識部６２は、勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４と、を備える。
The
The
パターン認識による物体認識部６２において行われる動作の例を示す。
画像取得部１２からパターン認識による物体認識部６２に入力された画像は、勾配積分画像算出部２０１に入力される。
この入力画像は、勾配積分画像算出部２０１、座標スキャン部２０２、特徴量ベクトル算出部２０３、識別部２０４により、順に処理されて、その処理の結果が識別部２０４から出力される。
The example of the operation | movement performed in the
The image input from the
This input image is sequentially processed by the gradient integral
ここで、本実施形態では、パターン認識による物体認識部６２に備えられた勾配積分画像算出部２０１と、座標スキャン部２０２と、特徴量ベクトル算出部２０３と、識別部２０４によって、概略的には、それぞれ、図２に示される勾配積分画像算出部１０１と、座標スキャン部１０２と、特徴量ベクトル算出部１０３と、識別部１０４と同様な動作を行う。
そして、本実施形態では、識別部２０４から出力された処理の結果は、パターン認識による物体認識の処理の結果として、パターン認識による物体認識部６２から出力されて、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１に入力される。
Here, in the present embodiment, the gradient integrated
In this embodiment, the processing result output from the
３Ｄ解析手法による物体認識部６１において行われる動作の例を示す。
画像取得部１２から３Ｄ解析手法による物体認識部６１に入力された画像は、特徴点・オプティカルフロー検出部１９１に入力される。
この入力画像は、特徴点・オプティカルフロー検出部１９１、自車に対する相対距離検出部１９２、クラスタリング部１９３により、順に処理されて、その処理の結果がクラスタリング部１９３から出力される。
クラスタリング部１９３から出力された処理の結果は、３Ｄ解析手法による物体認識の処理の結果として、３Ｄ解析手法による物体認識部６１から出力されて、最終ターゲット認識部６３に入力される。
An example of an operation performed in the
The image input from the
The input image is sequentially processed by the feature point / optical
The processing result output from the clustering unit 193 is output from the
ここで、本実施形態では、３Ｄ解析手法による物体認識部６１において、概略的には、図９に示されるのと同様な３Ｄ解析手法の処理の手順による処理を行う。
本実施形態では、一例として、特徴点・オプティカルフロー検出部１９１がステップＳ１〜ステップＳ２の処理を実行し、自車に対する相対距離検出部１９２がステップＳ３〜ステップＳ６の処理を実行し、クラスタリング部１９３がステップＳ７の処理を実行する。
Here, in the present embodiment, the
In the present embodiment, as an example, the feature point / optical
さらに、本実施形態では、特徴点・オプティカルフロー検出部１９１は、画像取得部１２から入力された画像に基づいて、特徴点を検出し、オプティカルフローを検出（本実施形態では、計算）する場合に、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果に基づいて、特徴点の検出や、オプティカルフローの検出（本実施形態では、計算）を行う。
Furthermore, in the present embodiment, the feature point / optical
ここで、特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域を決定する。
Here, the feature point / optical
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の一例として、特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域（判定領域）のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
As an example of a method for determining a region for detecting feature points and detecting optical flow in object recognition by 3D analysis method giving priority to the result of object recognition processing by pattern recognition, a feature point / optical
パターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法の他の一例として、特徴点・オプティカルフロー検出部１９１は、全画像をあらかじめ設定された複数に分割した領域（分割領域）を想定し、パターン認識による物体認識の処理の結果に基づいて、パターン認識による物体認識によって認識対象の物体が映っていると判定された領域を含む分割領域のみを、特徴点の検出やオプティカルフローの検出を行う領域として決定することができる。
A feature point / optical
また、以上のようにしてパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法では、例えば、特徴点・オプティカルフロー検出部１９１は、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域のみを特徴点の検出やオプティカルフローの検出を行う領域とする構成以外に、以上のようにしてパターン認識による物体認識の処理の結果に基づいて決定した領域とともに、他の任意の手法により決定した領域についても、特徴点の検出やオプティカルフローの検出を行う領域とする、こともできる。
Further, in the method of determining the region for detecting feature points and optical flow in object recognition by the 3D analysis method by giving priority to the result of object recognition processing by pattern recognition as described above, for example, The optical
次に、特徴点・オプティカルフロー検出部１９１について、他の例を示す。
他の例に係る特徴点・オプティカルフロー検出部１９１は、パターン認識による物体認識部６２の識別部２０４から入力されたパターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度を決定する。
Next, another example of the feature point / optical
The feature point / optical
本実施形態では、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば全画像の中であらかじめ設定した任意の座標領域に対して、決定した領域（座標領域）の重要度を考慮して、特徴点の検出やオプティカルフローの検出を行う。
In this embodiment, the feature point / optical
ここで、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、パターン認識による物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、特徴点の検出やオプティカルフローの検出を行う領域の重要度として、全画像中において、認識対象の物体（本実施形態では、車両）が映っていると推定される領域の重要度を高い重要度とするように決定する。
Here, the feature point / optical
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、画素値の変化（例えば、輝度値の変化）に関する閾値があらかじめ定められており、時間的な画素値の変化が当該閾値以上となる画像中の点を特徴点として検出する構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を小さく変更（設定）することができ、つまり、このような領域（判定領域または分割領域）においては、他の領域と比べて、小さい画素変化量であっても、特徴点として検出する。
Feature point / optical flow detection according to another example as an example of a method for determining the importance of a region where feature points are detected in object recognition by 3D analysis method with emphasis on the result of object recognition processing by pattern recognition The
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識における特徴点の検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、特徴点を検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能で特徴点を検出し、他の領域については、あらかじめ設定された比較的粗い分解能で特徴点を検出することができる。
In addition, as another example of a method for determining the importance of a region in which feature points are detected in object recognition by a 3D analysis method by placing importance on the result of object recognition processing by pattern recognition, feature points according to another example The optical
パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの重み付け（重要度）を大きくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、例えば、オプティカルフローを検出する際に所定の閾値を用いる構成において、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、他の領域と比べて、その閾値を、オプティカルフローがより検出され易いように変更（設定）することができる。
Feature point / optical flow detection according to another example as an example of a method for determining the importance of a region in which optical flow detection is performed in object recognition by 3D analysis method with emphasis on the result of object recognition processing by pattern recognition The
また、パターン認識による物体認識の処理の結果を重要視して３Ｄ解析手法による物体認識におけるオプティカルフローの検出を行う領域の重要度を決定する手法の他の一例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、オプティカルフローを検出するときの分解能を細かくすることができる。この場合、具体例として、他の例に係る特徴点・オプティカルフロー検出部１９１は、上記のようにパターン認識による物体認識の処理の結果を優先して３Ｄ解析手法による物体認識における特徴点の検出やオプティカルフローの検出を行う領域を決定する手法により決定された領域（判定領域または分割領域）については、あらかじめ設定された比較的細かい分解能でオプティカルフローを検出し、他の領域については、あらかじめ設定された比較的粗い分解能でオプティカルフローを検出することができる。
In addition, as another example of a method for determining the importance of a region in which optical flow detection in object recognition by 3D analysis method is performed with emphasis on the result of object recognition processing by pattern recognition, feature points according to other examples The optical
次に、最終ターゲット認識部６３により行われる処理について説明する。
本実施形態では、最終ターゲット認識部６３は、３Ｄ解析手法による物体認識部６１から入力された物体認識の処理の結果（本実施形態では、車両が映っていると推定される画像領域を特定する情報）に基づいて、認識対象の物体（本実施形態では、車両）であると特定した画像領域（座標の領域）を、最終的なターゲットの領域であると認識し、認識した最終的なターゲットの領域を特定する情報を距離・ＴＴＣ確定部１６に出力する。
このように、本実施形態では、３Ｄ解析手法による物体認識の結果が、最終的なターゲット認識の結果となる。
Next, processing performed by the final
In the present embodiment, the final
Thus, in this embodiment, the result of object recognition by the 3D analysis method becomes the final result of target recognition.
ここで、本実施形態では、全体の画像に認識対象の物体（本実施形態では、車両）が複数映っている場合には、３Ｄ解析手法による物体認識部６１はそれぞれの物体について物体認識の処理を行い、最終ターゲット認識部６３はそれぞれの物体について最終ターゲットの認識の処理を行う。
Here, in this embodiment, when a plurality of objects to be recognized (vehicles in this embodiment) are shown in the entire image, the
以上のように、本実施形態に係る画像認識装置６では、パターン認識による物体認識部６２の識別部２０４により得られた情報が、３Ｄ解析手法による物体認識部６１の特徴点・オプティカルフロー検出部１９１（上記した他の例に係る特徴点・オプティカルフロー検出部１９１でもよい）に伝えられて利用される構成となっている。
従って、本実施形態に係る画像認識装置６によれば、物体の認識を精度良く行うことができ、ターゲットとする物体の検出に好適な装置を提供することができる。例えば、本実施形態に係る画像認識装置６によれば、パターン認識による物体認識において確定した座標領域を優先してまたは重要視して、３Ｄ解析手法による物体認識を行う画像において、特徴点を検出する領域に関する設定やオプティカルフローを検出する領域に関する設定を行うことができる。
As described above, in the
Therefore, according to the
具体例として、図３に示される画像１００１中の枠１００２の領域のように、３Ｄ解析手法による物体認識では物体の認識ができないまたは物体の認識の能力が低い領域について、本実施形態では、パターン認識による物体認識が可能となる場合には、パターン認識による物体認識によって特定した領域の特徴点・オプティカルフローにおいてターゲットがある可能性が高いことを予測して、後段の３Ｄ解析手法による物体認識処理を実行することができる。
As a specific example, in the present embodiment, a pattern such as a region of a
本実施形態（第７実施形態）と類似の構成として、識別部２０４の出力を自車に対する相対距離検出部１９２かクラスタリング部１９３に入力し、物体を認識するステップ（この例では、図９に示されるステップＳ７の処理）でパターン認識による物体領域を優先または重要視して判定することもできる。
この構成では、クラスタリング部１９３は、パターン認識による物体認識部６２の識別部２０４により得られたパターン認識による物体認識の結果に基づいて、認識対象の物体の識別を行う。
３Ｄ解析手法による物体認識部６１のクラスタリング部１９３において、パターン認識による物体認識の処理の結果（パターン認識による物体領域）を優先してまたは重要視して判定する（物体を認識する）手法としては、様々な手法が用いられてもよく、例えば、画像中のあらかじめ定めた座標領域（例えば図３の１００２）に、パターン認識による物体領域がある場合は、前記あらかじめ定めた座標領域に認識すべき物体が存在することを確定する手法や、パターン認識による物体領域と一致する部分のみを物体認識結果の範囲に含める手法や、パターン認識による物体領域と一致する部分の方が一致しない部分よりも物体認識結果の範囲に含まれ易くするように所定の閾値などを変更する手法などを用いることができる。
As a configuration similar to this embodiment (seventh embodiment), the step of recognizing an object by inputting the output of the
In this configuration, the clustering unit 193 identifies an object to be recognized based on the result of object recognition by pattern recognition obtained by the
In the clustering unit 193 of the
＜以上の実施形態についてのまとめ＞
ここで、以上の実施形態では、図１、図４〜図８に示される装置を車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、３Ｄ解析手法による物体認識の手法として、非特許文献１に記載された手法を用いる構成を示したが、この手法に限定するものではなく、例えば、特徴点の抽出による３Ｄ解析手法の全般に適用することもできる。
また、以上の実施形態では、パターン認識による物体認識で用いるＨＯＧ特徴量として、輝度勾配の積分画像によるヒストグラム（インテグラルヒストグラム）での作成を例に述べたが、他の手法が用いられてもよい。
<Summary of the above embodiment>
Here, in the above embodiment, the configuration in which the apparatus shown in FIGS. 1 and 4 to 8 is provided in a vehicle for in-vehicle use is shown. However, as another example, it can be provided in any other movable body. It is.
In the above embodiment, the configuration using the method described in
In the above embodiment, the generation of a histogram (integral histogram) using an integral image of luminance gradient is described as an example of the HOG feature amount used in object recognition by pattern recognition. However, other methods may be used. Good.
なお、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。 In addition, the program for realizing the function of the process performed by the arbitrary components in FIGS. 1, 2, 4 to 8, and 10 is recorded on a computer-readable recording medium and recorded on this recording medium. Processing may be performed by causing the computer system to read the executed program and executing it. Here, the “computer system” includes hardware such as an OS (Operating System) and peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a portable medium such as a CD-ROM, and a hard disk incorporated in a computer system. say. Further, the “computer-readable recording medium” refers to a volatile memory (RAM (Random) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. (Access Memory)) and the like that hold a program for a certain period of time.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのデバイスを用いて、図１、図２、図４〜図８、図１０における任意の構成部により行われる処理を実現することも可能である。 Further, the present invention is not limited to the above, and in addition to a microcomputer, for example, a device such as a field programmable gate array (FPGA) or a digital signal processor (DSP) is used, and FIG. 1, FIG. 2, FIG. It is also possible to realize processing performed by an arbitrary constituent unit 10.
以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although each embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included.
１、１ａ、２〜６…画像認識装置
１１…単眼カメラ １２…画像取得部
１３、２１、３１、４１、５１、６１…３Ｄ解析手法による物体認識部
１４、２２、３２、４２、５２、６２…パターン認識による物体認識部
１５、６３…最終ターゲット認識部
１６…距離・ＴＴＣ確定部 １７…トラッキング部 １８…衝突警報部
１９…ＡＣＣ制御部
１０１、１２１、１４２、１６１、１８１、２０１…勾配積分画像算出部
１０２、１２２、１６２、１８２、２０２…座標スキャン部
１０３、１２３、１４３、１６３、１８３、２０３…特徴量ベクトル算出部
１０４、１２４、１４４、１６４、１８４、２０４…識別部
１２６、１４１…座標のスキャン領域決定部
１１１、１３１、１５１、１７１、１９１…特徴点・オプティカルフロー検出部
１１２、１３２、１５２、１７２、１９２…自車に対する相対距離検出部
１１３、１３３、１５３、１７３、１９３…クラスタリング部
３０１…勾配強度検出部 ３０２…勾配方向検出部
３０３…勾配方向ごとの勾配強度の積分部
３１１…セル単位の積分値算出部 ３１２…ブロック正規化部
３１３…特徴量ベクトル算出処理部
DESCRIPTION OF
Claims (15)
前記画像に対してパターン認識による物体認識を行うパターン認識による物体認識部と、を備え、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識装置。 An object recognition unit based on a 3D analysis method for performing object recognition on an image using a 3D analysis method;
An object recognition unit by pattern recognition for performing object recognition by pattern recognition on the image,
Obtaining a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method and a result of object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition;
An image recognition apparatus characterized by that.
ことを特徴とする請求項１に記載の画像認識装置。 Based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of the object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition, the AND of the final target A final target recognition unit for obtaining a recognition result;
The image recognition apparatus according to claim 1.
ことを特徴とする請求項１に記載の画像認識装置。 Based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of the object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition, the final target A final target recognition unit for obtaining a recognition result;
The image recognition apparatus according to claim 1.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。 The object recognition unit based on the pattern recognition determines a coordinate scan region based on one or both of the feature point and the optical flow detected by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。 The object recognition unit based on the pattern recognition determines a coordinate scan area based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。 The object recognition unit based on the pattern recognition identifies an object to be recognized based on one or both of a feature point and an optical flow detected by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項６に記載の画像認識装置。 The object recognition unit based on the pattern recognition is estimated to have a high possibility that the object to be recognized is reflected based on one or both of the feature point and the optical flow detected by the object recognition unit based on the 3D analysis method. To identify the object to be recognized by changing the threshold used in object recognition by pattern recognition so that the object can be easily recognized.
The image recognition apparatus according to claim 6.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。 The object recognition unit based on the pattern recognition identifies an object to be recognized based on a result of object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
ことを特徴とする請求項８に記載の画像認識装置。 The region where the object recognition unit based on the pattern recognition is estimated to have a high possibility that the object to be recognized is reflected based on the result of the object recognition based on the 3D analysis method obtained by the object recognition unit based on the 3D analysis method In order to make it easier to recognize the object, the threshold used in object recognition by pattern recognition is changed to identify the object to be recognized.
The image recognition apparatus according to claim 8.
ことを特徴とする請求項１に記載の画像認識装置。 The object recognition unit based on the 3D analysis method detects one or both of feature points and optical flows based on the result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition.
The image recognition apparatus according to claim 1.
ことを特徴とする請求項１０に記載の画像認識装置。 A final target recognition unit that obtains a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method;
The image recognition apparatus according to claim 10.
ことを特徴とする請求項１に記載の画像認識装置。 The object recognition unit based on the 3D analysis method identifies an object to be recognized based on a result of object recognition based on pattern recognition obtained by the object recognition unit based on pattern recognition.
The image recognition apparatus according to claim 1.
画像を撮像するカメラを備え、
前記３Ｄ解析手法による物体認識部および前記パターン認識による物体認識部は、前記カメラにより撮像される画像に対して物体認識を行う、
ことを特徴とする請求項１から請求項１２のいずれか１項に記載の画像認識装置。 In-vehicle image recognition device
Equipped with a camera that captures images,
The object recognition unit based on the 3D analysis method and the object recognition unit based on the pattern recognition perform object recognition on an image captured by the camera.
The image recognition apparatus according to claim 1, wherein the image recognition apparatus is an image recognition apparatus.
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行い、
前記３Ｄ解析手法による物体認識部により得られる３Ｄ解析手法による物体認識の結果と前記パターン認識による物体認識部により得られるパターン認識による物体認識の結果に基づいて最終ターゲットの認識結果を得る、
ことを特徴とする画像認識方法。 The object recognition unit based on the 3D analysis method performs object recognition on the image using the 3D analysis method,
An object recognition unit by pattern recognition performs object recognition by pattern recognition on the image,
Obtaining a final target recognition result based on a result of object recognition by a 3D analysis method obtained by the object recognition unit by the 3D analysis method and a result of object recognition by pattern recognition obtained by the object recognition unit by the pattern recognition;
An image recognition method characterized by the above.
３Ｄ解析手法による物体認識部が、画像に対して３Ｄ解析手法による物体認識を行う手順と、
パターン認識による物体認識部が、前記画像に対してパターン認識による物体認識を行う手順と、
をコンピュータに実行させるための画像認識プログラム。 In order to obtain the recognition result of the final target based on the result of the object recognition by the 3D analysis method obtained by the object recognition unit by the 3D analysis method and the result of object recognition by the pattern recognition obtained by the object recognition unit by the pattern recognition,
A procedure in which an object recognition unit based on a 3D analysis method performs object recognition on an image using a 3D analysis method;
A procedure in which an object recognition unit by pattern recognition performs object recognition by pattern recognition on the image;
Recognition program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011206073A JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011206073A JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013069045A true JP2013069045A (en) | 2013-04-18 |
Family
ID=48474708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011206073A Pending JP2013069045A (en) | 2011-09-21 | 2011-09-21 | Image recognition device, image recognition method, and image recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013069045A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014135039A (en) * | 2012-12-13 | 2014-07-24 | Denso Corp | Moving object detection device |
| WO2015104898A1 (en) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | Vehicle-surroundings recognition device |
| JP2021051536A (en) * | 2019-09-25 | 2021-04-01 | Kddi株式会社 | Object detection device, method, and program |
| CN115019305A (en) * | 2022-08-08 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
| JP7464263B2 (en) | 2020-04-08 | 2024-04-09 | 日本電気通信システム株式会社 | DETECTION APPARATUS, DETECTION METHOD, AND PROGRAM |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07287756A (en) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | Method for recognizing object |
| JPH10269362A (en) * | 1997-03-21 | 1998-10-09 | Omron Corp | Object recognition method and device therefor |
| JP2003502745A (en) * | 1999-06-11 | 2003-01-21 | ダイムラークライスラー・アクチェンゲゼルシャフト | A method for detecting objects near road vehicles up to a considerable distance |
| JP2005004287A (en) * | 2003-06-10 | 2005-01-06 | Fuji Photo Film Co Ltd | Face image detecting device and its control method |
| JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
-
2011
- 2011-09-21 JP JP2011206073A patent/JP2013069045A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07287756A (en) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | Method for recognizing object |
| JPH10269362A (en) * | 1997-03-21 | 1998-10-09 | Omron Corp | Object recognition method and device therefor |
| JP2003502745A (en) * | 1999-06-11 | 2003-01-21 | ダイムラークライスラー・アクチェンゲゼルシャフト | A method for detecting objects near road vehicles up to a considerable distance |
| JP2005004287A (en) * | 2003-06-10 | 2005-01-06 | Fuji Photo Film Co Ltd | Face image detecting device and its control method |
| JP2009026223A (en) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | Object detector and program |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014135039A (en) * | 2012-12-13 | 2014-07-24 | Denso Corp | Moving object detection device |
| US9852334B2 (en) | 2012-12-13 | 2017-12-26 | Denso Corporation | Method and apparatus for detecting moving objects |
| WO2015104898A1 (en) * | 2014-01-09 | 2015-07-16 | クラリオン株式会社 | Vehicle-surroundings recognition device |
| JP2015132879A (en) * | 2014-01-09 | 2015-07-23 | クラリオン株式会社 | External world recognition device for vehicle |
| US9811742B2 (en) | 2014-01-09 | 2017-11-07 | Clarion Co., Ltd. | Vehicle-surroundings recognition device |
| JP2021051536A (en) * | 2019-09-25 | 2021-04-01 | Kddi株式会社 | Object detection device, method, and program |
| JP7144384B2 (en) | 2019-09-25 | 2022-09-29 | Kddi株式会社 | Object detection device, method and program |
| JP7464263B2 (en) | 2020-04-08 | 2024-04-09 | 日本電気通信システム株式会社 | DETECTION APPARATUS, DETECTION METHOD, AND PROGRAM |
| CN115019305A (en) * | 2022-08-08 | 2022-09-06 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
| CN115019305B (en) * | 2022-08-08 | 2022-11-11 | 成都西交智汇大数据科技有限公司 | Method, device and equipment for identifying root tip cells and readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3338248B1 (en) | Systems and methods for object tracking | |
| JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
| CN109541583B (en) | Front vehicle distance detection method and system | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
| JP5944781B2 (en) | Mobile object recognition system, mobile object recognition program, and mobile object recognition method | |
| US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
| CN110264495B (en) | Target tracking method and device | |
| JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
| JP2018508078A (en) | System and method for object tracking | |
| US20120257056A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| TWI595450B (en) | Object detection system | |
| US20140002657A1 (en) | Forward collision warning system and forward collision warning method | |
| JP2007527569A (en) | Imminent collision detection based on stereoscopic vision | |
| EP2951783B1 (en) | Method and system for detecting moving objects | |
| CN108629225B (en) | Vehicle detection method based on multiple sub-images and image significance analysis | |
| JP2013069045A (en) | Image recognition device, image recognition method, and image recognition program | |
| KR20180047149A (en) | Apparatus and method for risk alarming of collision | |
| WO2018143277A1 (en) | Image feature value output device, image recognition device, image feature value output program, and image recognition program | |
| US9183448B2 (en) | Approaching-object detector, approaching object detecting method, and recording medium storing its program | |
| CN114037977B (en) | Road vanishing point detection method, device, equipment and storage medium | |
| WO2018143278A1 (en) | Image processing device, image recognition device, image processing program, and image recognition program | |
| JP2018124963A (en) | Image processing device, image recognition device, image processing program, and image recognition program | |
| JP2007233469A (en) | Object-detecting device and method therefor | |
| KR101437228B1 (en) | Obstacle detection device and method using boundary weighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140910 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151020 |