JP2009070344A - Image recognition device, image recognition method, and electronic control device - Google Patents

Image recognition device, image recognition method, and electronic control device Download PDF

Info

Publication number
JP2009070344A
JP2009070344A JP2007241103A JP2007241103A JP2009070344A JP 2009070344 A JP2009070344 A JP 2009070344A JP 2007241103 A JP2007241103 A JP 2007241103A JP 2007241103 A JP2007241103 A JP 2007241103A JP 2009070344 A JP2009070344 A JP 2009070344A
Authority
JP
Japan
Prior art keywords
degree
pattern matching
unit
search window
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007241103A
Other languages
Japanese (ja)
Inventor
Hiroaki Sano
裕明 佐野
Katsumi Sakata
克己 阪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2007241103A priority Critical patent/JP2009070344A/en
Publication of JP2009070344A publication Critical patent/JP2009070344A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To detect a probable position of a recognition object. <P>SOLUTION: Predetermined pattern matching is carried out on a region of an input image extracted through a search window, and the degree of the pattern matching is derived. Pattern matching is carried out multiple times while moving the search window so that each of regions extracted through the search window partially overlaps with one of the regions. The derived degree is included as the degree of the region, and as to a part of the region on which pattern matching has been repeatedly carried out multiple times as a result of carrying out pattern matching multiple times, the degree derived in each pattern matching is integrated multiple times as the degree of a part of the region. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、画像認識装置、画像認識方法および電子制御装置に関する。   The present invention relates to an image recognition device, an image recognition method, and an electronic control device.

車両の走行中においては、特に歩行者との衝突回避が重要である。このため、従来より、自車両周辺の歩行者を認識することを目的とした技術が開発されてきた。   It is particularly important to avoid collisions with pedestrians while the vehicle is running. For this reason, conventionally, techniques aimed at recognizing pedestrians around the host vehicle have been developed.

例えば、画像認識装置が、カメラで撮影した入力画像をフーリエ変換し、歩行者の輪郭に対応する周波数領域を選択することで、もしくは、道路などの背景や服の模様などの個人差に対応する周波数領域を除外することで、歩行者を認識する技術がある。   For example, the image recognition device performs Fourier transform on the input image captured by the camera and selects a frequency region corresponding to the contour of the pedestrian, or corresponds to individual differences such as the background of the road and the pattern of clothes. There is a technique for recognizing a pedestrian by excluding the frequency domain.

また、例えば、特許文献1には、画像認識装置が、可視光カメラで撮影した入力画像からレーンマーキングを検出して探索領域を設定し、その後、赤外線カメラで撮影した入力画像から探索領域内の歩行者を認識する技術が開示されている。また、例えば、特許文献2には、画像認識装置が、ステレオカメラで撮影した入力画像を利用することで、認識した歩行者と車両との間の距離を計算する技術が開示されている。   Further, for example, in Patent Document 1, the image recognition device detects a lane marking from an input image photographed by a visible light camera, sets a search area, and then, in the search area from an input image photographed by an infrared camera. A technique for recognizing a pedestrian is disclosed. Further, for example, Patent Document 2 discloses a technique in which an image recognition apparatus calculates a distance between a recognized pedestrian and a vehicle by using an input image captured by a stereo camera.

特開2002−362302号公報JP 2002-362302 A 特開2005−62910号公報JP 2005-62910 A

ところで、上記した従来の技術では、認識対象の確からしい位置を検出することができないという課題があった。すなわち、例えば、画像認識装置が、入力画像に対して高速フーリエ変換を行い、高速フーリエ変換の結果を用いて歩行者を認識すると、位置ずれに対するロバスト性が増し(図13を参照)、歩行者の確からしい位置(歩行者が存在する可能性の高い位置)を求めることができない。   By the way, in the above-described conventional technology, there is a problem in that it is impossible to detect a certain position of the recognition target. That is, for example, when the image recognition device performs fast Fourier transform on the input image and recognizes the pedestrian using the result of the fast Fourier transform, the robustness against the displacement increases (see FIG. 13), and the pedestrian It is impossible to obtain a certain position (position where a pedestrian is likely to exist).

このような課題は、特に、歩行者が複数人である場合などに顕著になる。すなわち、例えば、画像認識装置が、高速フーリエ変換の結果を用いて連れ添って歩いている複数人の歩行者を認識すると、歩行者の確からしい位置はおろか、歩行者の人数すら求めることができないおそれがある。   Such a problem becomes particularly prominent when there are a plurality of pedestrians. That is, for example, if the image recognition device recognizes a plurality of pedestrians walking with the result of the fast Fourier transform, it may not be possible to determine the number of pedestrians as well as the pedestrian's possible position. There is.

なお、特許文献1や特許文献2に開示されている技術は、いずれも複数のカメラを利用するものであり、単一のカメラで撮影された画像を入力画像とするものではなく、このことに起因する新たな課題(例えば、装置の構成が複雑になるなど)が生じることから、いずれにしても上記した課題を適切に解決し得るものではない。   Note that the techniques disclosed in Patent Document 1 and Patent Document 2 all use a plurality of cameras, and do not use an image captured by a single camera as an input image. Since the new problem (for example, the structure of an apparatus becomes complicated) which arises arises, in any case, the above-mentioned problem cannot be solved appropriately.

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、認識対象の確からしい位置を検出することが可能な画像認識装置、画像認識方法および電子制御装置を提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems of the prior art, and provides an image recognition device, an image recognition method, and an electronic control device capable of detecting a probable position of a recognition target. For the purpose.

上述した課題を解決し、目的を達成するため、本発明に係る画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する。また、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させる。そして、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算することを特徴とする。   In order to solve the above-described problems and achieve the object, an image recognition device, an image recognition method, and an electronic control device according to the present invention perform predetermined pattern matching on an input image region cut out by a search window, and Deriving the degree of matching. Further, the pattern matching is executed a plurality of times while moving the search window so that the areas cut out by the search window partially overlap each other. Then, the calculated degree is counted as the degree of the area, and pattern matching is executed a plurality of times, and as a result of the pattern matching being executed a plurality of times, the pattern matching is performed once for a part of the area where the pattern matching is executed a plurality of times. The degree derived in (1) is integrated a plurality of times as a part of the area.

本発明によれば、画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出し、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させ、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算するので、認識対象の確からしい位置を検出することが可能になる。   According to the present invention, the image recognition device, the image recognition method, and the electronic control device perform predetermined pattern matching on an input image region cut out by a search window, derive a degree of the pattern matching, and cut out the image by the search window. While the search window is moved so that the areas to be partially overlap each other, pattern matching is executed a plurality of times, the derived degree is counted as the degree of the area, and a plurality of pattern matching is performed. As a result of being executed twice, for a part of the region where pattern matching has been executed a plurality of times, the degree derived by the pattern matching for each time is integrated several times as a part of the region, so It is possible to detect a probable position of the recognition target.

以下に添付図面を参照して、本発明に係る画像認識装置、画像認識方法および電子制御装置の実施例を詳細に説明する。なお、実施例1においては、車載用の画像認識装置を説明する。また、以下では、実施例で用いる主要な用語、実施例1に係る画像認識装置の概要および特徴、実施例1に係る画像認識装置の構成、実施例1に係る画像認識装置の処理の手順、および、実施例1の効果を説明し、次に、他の実施例について説明する。   Exemplary embodiments of an image recognition device, an image recognition method, and an electronic control device according to the present invention will be described below in detail with reference to the accompanying drawings. In the first embodiment, an in-vehicle image recognition apparatus will be described. In the following, the main terms used in the embodiment, the outline and features of the image recognition device according to the first embodiment, the configuration of the image recognition device according to the first embodiment, the processing procedure of the image recognition device according to the first embodiment, And the effect of Example 1 is demonstrated, and another Example is described next.

[用語の説明]
まず最初に、以下の実施例で用いる主要な用語を説明する。「パターンマッチング」とは、入力画像における認識対象を認識することを目的として、入力画像と基準パターンとを比較する手法のことである。具体的な手法としては、ニューラルネットによる識別器を利用するパターンマッチングや、入力画像と基準パターンとの間の相互相関係数を利用するパターンマッチングなどがある。本発明は、パターンマッチングの具体的な手法に限定されるものではないが、実施例1においては、ニューラルネットによる識別器を利用するパターンマッチングを想定することとする。
[Explanation of terms]
First, main terms used in the following examples will be described. “Pattern matching” is a method of comparing an input image with a reference pattern for the purpose of recognizing a recognition target in the input image. Specific methods include pattern matching using a classifier using a neural network and pattern matching using a cross-correlation coefficient between an input image and a reference pattern. Although the present invention is not limited to a specific method of pattern matching, the first embodiment assumes pattern matching using a classifier based on a neural network.

ニューラルネットによる識別器とは、基準パターンから学習する学習型の識別器のことである。すなわち、ニューラルネットによる識別器は、基準パターンとして、例えば、『子供』の画像や『大人』の画像など様々な対象の画像を予め学習し、様々なサイズの画像を予め学習することで、画像の入力を受け付けた際に、当該画像における認識対象が『人である』のか否かを識別することができるようになったものである。このような識別器は、画像の入力を受け付けると、当該画像を識別器が扱う所定のサイズに変換し、変換後の画像の画素値を入力として当該画像が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として0から1の値で出力する。   A classifier based on a neural network is a learning type classifier that learns from a reference pattern. That is, the classifier using a neural network learns in advance various target images such as “child” images and “adult” images as reference patterns, and learns images of various sizes in advance. When the input is received, it is possible to identify whether or not the recognition target in the image is “person”. When such a discriminator receives an input of an image, the discriminator converts the image into a predetermined size handled by the discriminator, and uses the pixel value of the converted image as an input to determine whether the image is “human”. The identification result is output as a value of 0 to 1 as the “degree of pattern matching”.

ここで、識別器に入力される画像は、具体的には、「探索窓」によって切り出される入力画像の領域である。一般に、「パターンマッチング」において、処理の対象とされる入力画像が基準パターンよりもサイズの大きい画像である場合には、「探索窓」によって切り出される入力画像の領域と基準パターンとを比較することが行われる。また、「探索窓」は、入力画像を適宜移動することで、入力画像の全体について「パターンマッチング」を行う。なお、「探索窓」の形状について、認識対象と同程度の大きさの矩形とすることが既に行われているので、実施例1においてはこのような「探索窓」を想定することとするが、本発明はこれに限られるものではない。   Here, the image input to the discriminator is specifically an area of the input image cut out by the “search window”. Generally, in “pattern matching”, when the input image to be processed is an image larger in size than the reference pattern, the area of the input image cut out by the “search window” is compared with the reference pattern. Is done. The “search window” performs “pattern matching” on the entire input image by appropriately moving the input image. Since the shape of the “search window” has already been set to a rectangle having the same size as the recognition target, such a “search window” is assumed in the first embodiment. However, the present invention is not limited to this.

[実施例1に係る画像認識装置の概要および特徴]
続いて、図1を用いて、実施例1に係る画像認識装置の概要および特徴を説明する。図1は、実施例1に係る画像認識装置の概要および特徴を説明するための図である。
[Outline and Features of Image Recognition Apparatus According to First Embodiment]
Next, the outline and features of the image recognition apparatus according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining the outline and features of the image recognition apparatus according to the first embodiment.

実施例1に係る画像認識装置は、上記したように、探索窓で切り出される入力画像の領域についてパターンマッチングを実行することで、入力画像における認識対象を認識することを概要とし、認識対象の確からしい位置を検出することを主たる特徴とする。   As described above, the image recognition apparatus according to the first embodiment outlines that the recognition target in the input image is recognized by performing pattern matching on the input image region cut out by the search window. The main feature is to detect a probable position.

この主たる特徴について簡単に説明すると、実施例1に係る画像認識装置は、探索窓で切り出される入力画像の領域について、パターンマッチングを実行し、パターンマッチングの度合いを導出する。例えば、画像認識装置は、図1の(1)に示すように、入力画像の領域について、ニューラルネットによる識別器を利用するパターンマッチングを実行し、図1の(2)に示すように、パターンマッチングの度合い『0.6』を導出する。なお、実施例1においては、識別器は、入力された画像が『人である』のか否かを識別するものであるとする。   This main feature will be briefly described. The image recognition apparatus according to the first embodiment performs pattern matching on the area of the input image cut out by the search window, and derives the degree of pattern matching. For example, as shown in (1) of FIG. 1, the image recognition apparatus performs pattern matching using a classifier based on a neural network on the area of the input image, and as shown in (2) of FIG. The degree of matching “0.6” is derived. In the first embodiment, it is assumed that the classifier identifies whether or not the input image is “person”.

ここで、実施例1に係る画像認識装置は、上記したようなパターンマッチングを複数回実行するが、この時、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。例えば、画像認識装置は、図1の(3)に示すように、探索窓を移動させ、認識対象である『男性』の周辺領域を複数回切り出すが、切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を少しずつずらしながら移動させている。   Here, the image recognition apparatus according to the first embodiment executes the pattern matching as described above a plurality of times. At this time, the regions cut out by the search window partially overlap each other, Move the search window. For example, as shown in (3) of FIG. 1, the image recognition apparatus moves the search window and cuts out the peripheral area of “male” that is the recognition target a plurality of times. The search window is moved little by little so that it partially overlaps with.

また、実施例1に係る画像認識装置は、探索窓で切り出された領域各々について、導出された度合いを当該領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを領域の一部の度合いとして複数回分積算する。   Further, the image recognition apparatus according to the first embodiment counts the derived degree as the degree of the area for each of the areas cut out by the search window, and the pattern matching is executed a plurality of times. As for a part of the area where the pattern matching has been executed, the degree derived by each pattern matching is integrated several times as a part of the area.

例えば、画像認識装置は、図1の(4)に示すように、図1の(3)で『出力0.6』が導出された領域については、『6』を計上し、『出力0.8』が導出された領域については、『8』を計上する。また、画像認識装置は、図1の(3)で2回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』とが導出された領域の一部については、『6』と『9』とを積算して『15』を計上する。また、画像認識装置は、図1の(3)で3回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』と『出力0.8』とが導出された領域の一部については、『6』と『9』と『8』とを積算して『23』を計上する。また、画像認識装置は、図1の(3)で4回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』と『出力0.8』と『出力0.8』とが導出された領域の一部については、『6』と『9』と『8』と『8』とを積算して『31』を計上する。   For example, as shown in (4) of FIG. 1, the image recognition apparatus counts “6” for the area from which “output 0.6” is derived in (3) of FIG. For the area from which “8” is derived, “8” is counted. In addition, the image recognition apparatus performs a part of the region from which “output 0.6” and “output 0.9” are derived as a result of performing the pattern matching twice in (3) of FIG. Adds “6” and “9” and counts “15”. Further, the image recognition apparatus derives “output 0.6”, “output 0.9”, and “output 0.8” as a result of executing the pattern matching three times in (3) of FIG. For a part of the area, “6”, “9” and “8” are added up and “23” is counted. In addition, the image recognition apparatus performs “pattern output matching” four times in (3) of FIG. 1, resulting in “output 0.6”, “output 0.9”, “output 0.8”, and “output”. For a part of the area from which “0.8” is derived, “6”, “9”, “8”, and “8” are added together to count “31”.

そして、実施例1に係る画像認識装置は、積算された結果を出力部に出力する。例えば、画像認識装置は、図1の(5)に示すように、積算された値に応じてレベル分けされたグラデーションの表現をすることで、結果を画像化して出力する。図1の(5)の例では、積算された値が大きいほど白に近く、積算された値が小さいほど黒に近いグラデーションの表現(領域については塗りつぶし)がなされている。   Then, the image recognition apparatus according to the first embodiment outputs the integrated result to the output unit. For example, as shown in (5) of FIG. 1, the image recognition apparatus renders the result into an image by expressing the gradation divided into levels according to the accumulated value, and outputs the result. In the example of (5) in FIG. 1, gradation expression (area is filled) is closer to white as the integrated value is larger and closer to black as the integrated value is smaller.

このようなことから、実施例1に係る画像認識装置は、認識対象の確からしい位置を検出することが可能になる。   For this reason, the image recognition apparatus according to the first embodiment can detect a likely position of the recognition target.

すなわち、図1の(5)に示すように、実施例1に係る画像認識装置の出力は、積算された値が大きい部分が特に強調して表示されるものである(図1の(5)において、白く塗りつぶされた部分が強調して表示された部分である)。ここで、積算された値が大きい部分とは、『人である』と識別された値が大きい部分ということであり、その中でも、複数回分の度合いが積算された値が大きい部分ということは、『人』が存在する可能性が特に高い部分ということである。『人』が存在する可能性が特に高い部分が特に強調して表示されれば、例えば、このような出力によって通知を受けるユーザは、認識対象である『人』の確からしい位置を認識することが可能になる。   That is, as shown in FIG. 1 (5), the output of the image recognition apparatus according to the first embodiment is displayed with a particularly emphasized portion where the integrated value is large ((5) in FIG. 1). In FIG. 5, the white-filled portion is the highlighted portion). Here, the portion where the accumulated value is large is a portion where the value identified as `` is a person '' is large, and among them, the portion where the value obtained by integrating the degree of multiple times is large is, This means that there is a particularly high possibility that “people” exist. If the part that is most likely to have a “person” is displayed with particular emphasis, for example, the user who is notified by such output recognizes the probable position of the “person” to be recognized. Is possible.

[実施例1に係る画像認識装置の構成]
次に、図2〜図10を用いて、実施例1に係る画像認識装置の構成を説明する。図2は、実施例1に係る画像認識装置(車載用の画像認識装置)の構成を示すブロック図であり、図3は、入力画像について説明するための図であり、図4は、探索窓について説明するための図であり、図5は、マッチング実行部について説明するための図であり、図6は、マッチング度合い積算部について説明するための図であり、図7は、結果出力部(グラデーション)について説明するための図であり、図8は、結果出力部(色分け)について説明するための図であり、図9は、結果出力部(重ね合わせ)について説明するための図であり、図10は、結果出力部(残像)について説明するための図である。
[Configuration of Image Recognition Apparatus According to First Embodiment]
Next, the configuration of the image recognition apparatus according to the first embodiment will be described with reference to FIGS. FIG. 2 is a block diagram illustrating a configuration of the image recognition apparatus (vehicle-mounted image recognition apparatus) according to the first embodiment, FIG. 3 is a diagram for explaining an input image, and FIG. 4 is a search window. 5 is a diagram for explaining the matching execution unit, FIG. 6 is a diagram for explaining the matching degree integrating unit, and FIG. 7 is a result output unit ( FIG. 8 is a diagram for explaining the result output unit (color coding), and FIG. 9 is a diagram for explaining the result output unit (superposition). FIG. 10 is a diagram for explaining the result output unit (afterimage).

車両に搭載された画像認識装置10は、ナビゲーション装置30、カメラ31、レーダ33、およびプリクラッシュECU40と接続している。   The image recognition device 10 mounted on the vehicle is connected to the navigation device 30, the camera 31, the radar 33, and the pre-crash ECU 40.

ナビゲーション装置30は、GPS(Global Positioning System)人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ30aとを利用して、走行経路の設定および誘導を行う車載装置である。また、ナビゲーション装置30は、画像認識装置10に対して、自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。   The navigation device 30 is an in-vehicle device that sets and guides a travel route by using a position of the host vehicle specified by communicating with a GPS (Global Positioning System) artificial satellite and map data 30a stored in advance. In addition, the navigation device 30 provides the image recognition device 10 with position information of the host vehicle, surrounding map information, a planned travel route, and the like.

カメラ31は、自車両周辺を撮影し、撮影結果を画像認識装置10に入力する。レーダ33は、自車両周辺の物体検知、および、物体までの距離測定を行って、画像認識装置10に入力する。   The camera 31 captures the vicinity of the host vehicle and inputs the captured result to the image recognition apparatus 10. The radar 33 detects an object around the host vehicle and measures a distance to the object, and inputs the detected object to the image recognition apparatus 10.

プリクラッシュECU40は、画像認識装置10が自車両の衝突を予測した場合に、画像認識装置10の制御を受け、ブレーキ41やエンジン制御装置(EFI)42による車両の動作制御、また、ディスプレイ43やスピーカ44による通知を実行する電子制御装置である。   The pre-crash ECU 40 receives the control of the image recognition device 10 when the image recognition device 10 predicts a collision of the host vehicle, controls the operation of the vehicle by the brake 41 and the engine control device (EFI) 42, This is an electronic control device that performs notification by the speaker 44.

ディスプレイ43は、ユーザ、すなわち、自車両乗員に対して表示による通知を行い、スピーカ44は、音声による通知を行う。ディスプレイ43およびスピーカ44は、プリクラッシュECU40から制御を受けて出力を行う他、ナビゲーション装置30や図示しない車載オーディオ装置など各種車載装置で共用することができる。   The display 43 notifies the user, that is, the vehicle occupant by display, and the speaker 44 notifies by voice. The display 43 and the speaker 44 can be shared by various in-vehicle devices such as the navigation device 30 and an in-vehicle audio device (not shown) in addition to performing output under the control of the pre-crash ECU 40.

画像認識装置10は、その内部に、前処理部11、車両認識部16、白線認識部17、歩行者認識部18、パターンデータベース19、および衝突判定部20を有する。ここで、車両認識部16、白線認識部17、歩行者認識部18、および衝突判定部20は、例えば、単一のマイコン10a(CPU、ROM、RAMの組み合わせからなる演算処理ユニット)などによって実現されるなどする。   The image recognition apparatus 10 includes a preprocessing unit 11, a vehicle recognition unit 16, a white line recognition unit 17, a pedestrian recognition unit 18, a pattern database 19, and a collision determination unit 20 therein. Here, the vehicle recognition unit 16, the white line recognition unit 17, the pedestrian recognition unit 18, and the collision determination unit 20 are realized by, for example, a single microcomputer 10a (an arithmetic processing unit including a combination of a CPU, a ROM, and a RAM). And so on.

前処理部11は、カメラ31が撮影した画像に対して、フィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部16、白線認識部17、および歩行者認識部18に出力する。   The preprocessing unit 11 performs processing such as filtering, edge detection, and contour extraction on the image captured by the camera 31, and then outputs the image to the vehicle recognition unit 16, the white line recognition unit 17, and the pedestrian recognition unit 18. .

車両認識部16は、前処理部11が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を、衝突判定部20に出力する。また、白線認識部17は、前処理部11が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部20に出力する。なお、パターンマッチングの具体的な手法は問わないが、画像認識装置10は、必要に応じて、パターンマッチング用の基準パターンをパターンデータベース19に記憶していてもよい。   The vehicle recognition unit 16 performs pattern matching on the image output from the preprocessing unit 11 to recognize the vehicle, and outputs the recognition result to the collision determination unit 20. Further, the white line recognition unit 17 recognizes a white line by performing pattern matching or the like on the image output from the preprocessing unit 11, and outputs the recognition result to the collision determination unit 20. The specific method of pattern matching is not limited, but the image recognition apparatus 10 may store a reference pattern for pattern matching in the pattern database 19 as necessary.

歩行者認識部18は、図2に示すように、マッチング度合い導出部18aと、マッチング実行部18bと、マッチング度合い積算部18cと、結果出力部18dとを備える。なお、マッチング度合い導出部18aは、特許請求の範囲に記載の「度合い導出手段」に対応し、マッチング実行部18bは、特許請求の範囲に記載の「実行手段」に対応し、マッチング度合い積算部18cは、特許請求の範囲に記載の「積算手段」に対応し、結果出力部18dは、特許請求の範囲に記載の「出力手段」に対応する。   As shown in FIG. 2, the pedestrian recognition unit 18 includes a matching degree derivation unit 18a, a matching execution unit 18b, a matching degree integration unit 18c, and a result output unit 18d. The matching degree deriving unit 18a corresponds to the “degree deriving unit” described in the claims, and the matching execution unit 18b corresponds to the “execution unit” described in the claims, and the matching degree integrating unit Reference numeral 18c corresponds to the “accumulation means” recited in the claims, and the result output section 18d corresponds to the “output means” recited in the claims.

マッチング度合い導出部18aは、パターンマッチングを実行し、パターンマッチングの度合いを導出する。具体的には、マッチング度合い導出部18aは、前処理部11によって所定の処理が施された入力画像の内、探索窓で切り出される入力画像の領域についてパターンマッチングを実行し、パターンマッチングの度合いを導出し、導出した度合いは、マッチング度合い積算部18cによる処理に利用される。   The matching degree deriving unit 18a performs pattern matching and derives the degree of pattern matching. Specifically, the matching degree deriving unit 18a performs pattern matching on the input image region cut out by the search window from among the input images that have been subjected to predetermined processing by the preprocessing unit 11, and determines the degree of pattern matching. The derived degree is used for processing by the matching degree integrating unit 18c.

ここで、マッチング度合い導出部18aは、パターンマッチングを実行するニューラルネットによる識別器を備えている。実施例1におけるニューラルネットによる識別器は、上記したように、画像の入力を受け付けると、当該画像を識別器が扱う所定のサイズに変換し、変換後の画像の画素値を入力として当該画像が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として0から1の値で出力するものである。なお、画像認識装置10は、必要に応じて、識別器の学習用の基準パターンをパターンデータベース19に記憶していてもよい。   Here, the matching degree deriving unit 18a includes a classifier using a neural network that performs pattern matching. As described above, when the classifier using the neural network according to the first embodiment receives an input of an image, the classifier converts the image into a predetermined size handled by the classifier, and receives the pixel value of the converted image as an input. Whether the person is “person” or not is identified, and the identification result is output as a “degree of pattern matching” with a value from 0 to 1. Note that the image recognition apparatus 10 may store a reference pattern for learning of the discriminator in the pattern database 19 as necessary.

例えば、マッチング度合い導出部18aは、前処理部11によって所定の処理が施された入力画像として、図3に示すような画像の入力を受け付けると、図4に示すような探索窓で入力画像の領域を切り出し、切り出した当該領域を識別器が扱う所定のサイズに変換し、変換後の領域の画素値を入力として当該領域が『人である』のか否かを識別し、識別の結果を「パターンマッチングの度合い」として出力する。   For example, when the input of the image as shown in FIG. 3 is received as the input image that has been subjected to the predetermined processing by the preprocessing unit 11, the matching degree deriving unit 18a displays the input image in the search window as shown in FIG. A region is cut out, the cut out region is converted into a predetermined size handled by the classifier, and the pixel value of the converted region is input to identify whether or not the region is `` person ''. Output as “degree of pattern matching”.

なお、実施例1において、マッチング度合い導出部18aは、導出した「パターンマッチングの度合い」が『出力0.5』を満たさない場合には、『人』ではないと識別し、マッチング度合い積算部18cによる積算処理を省略すべく、導出した度合いをマッチング度合い積算部18cに送信せず、そのまま次の処理へと移行している。   In the first embodiment, when the derived “pattern matching degree” does not satisfy “output 0.5”, the matching degree deriving unit 18 a identifies that the person is not “person” and matches the matching degree integrating unit 18 c. In order to omit the integration process according to, the derived degree is not transmitted to the matching degree integration unit 18c, and the process proceeds to the next process as it is.

マッチング実行部18bは、パターンマッチングを複数回実行させる。具体的には、マッチング実行部18bは、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、マッチング度合い導出部18aによるパターンマッチングを複数回実行させる。   The matching execution unit 18b executes pattern matching a plurality of times. Specifically, the matching execution unit 18b performs pattern matching by the matching degree deriving unit 18a a plurality of times while moving the search window so that the regions cut out by the search window partially overlap each other. Let it run.

例えば、マッチング実行部18bは、図5に示すように(もっとも、図5は、説明の便宜上から、移動させた探索窓の一部を示すものである)、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。すなわち、マッチング実行部18bは、図5に示すように、探索窓を移動させ、認識対象である『男性』の周辺領域を複数回切り出すが、切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を少しずつずらしながら移動させている。この移動に伴い、マッチング度合い導出部18aが、探索窓で切り出した領域を識別器によって識別し、「パターンマッチングの度合い」として出力する。ここで、マッチング実行部18bが、どの程度探索窓をずらしながら移動させるべきかは、適宜選択されてよいものである。画素ごとにずらす手法や、数画素ごとにずらす手法、あるいは、認識対象となる物体の周辺だけを精密にずらし、あとはずらすのではなく単純に隣に移動する手法など、画像認識装置10の目的などに応じて適宜選択されてよい。   For example, as shown in FIG. 5 (although FIG. 5 shows a part of the moved search window for convenience of explanation), the matching execution unit 18b is configured so that the regions cut out by the search window are respectively The search window is moved so as to partially overlap any of the areas. That is, as shown in FIG. 5, the matching execution unit 18 b moves the search window and cuts out the peripheral area of “male” to be recognized a plurality of times. The search windows are moved little by little so as to overlap. Along with this movement, the matching degree deriving unit 18a identifies the region cut out by the search window by the discriminator and outputs it as the “pattern matching degree”. Here, how much the matching execution unit 18b should move while shifting the search window may be appropriately selected. The purpose of the image recognition apparatus 10 is a method of shifting every pixel, a method of shifting every several pixels, or a method of moving only the periphery of an object to be recognized precisely and moving it to the next instead of shifting it. It may be appropriately selected depending on the above.

なお、マッチング実行部18bは、入力画像に対して探索窓を移動させることになるが、どのような探索窓を利用すべきか、といった点も、本発明において適宜選択されてよいものである。実施例1においては、画像認識装置10が車両に搭載され、特に歩行者との衝突回避を目的として利用されるものであることを想定しているので、例えば、入力画像としては、図3に示すような、遠近感のある画像が入力されることが多いとする。そうであるとすると、同じ『人』であっても、図4に示すY座標が小さい値の場合には、探索窓は大きいものを利用すべきであるといえるし、Y座標が大きい値の場合には、探索窓は小さいものを利用すべきであるといえる。もっとも、『人』には、『大人』もいれば『子供』もいて、また、『立っている人』もいれば『座っている人』もいて、さらには、身長や体型の異なる『人』もいるので、Y座標によって単純に探索窓の大きさを変化させればよいというものではない。実施例1における画像認識装置10は、Y座標に応じた適切な選択と考え得る探索窓の大きさに関する情報を、図示しないデータベースに格納しており、マッチング実行部18bは、このデータベースから探索窓の大きさに関する情報を取得して、適切な探索窓を取得している。   Note that the matching execution unit 18b moves the search window relative to the input image, but what kind of search window should be used may be appropriately selected in the present invention. In the first embodiment, it is assumed that the image recognition device 10 is mounted on a vehicle and used particularly for the purpose of avoiding a collision with a pedestrian. Assume that images with a sense of perspective as shown are often input. If this is the case, even if the person is the same, if the Y coordinate shown in FIG. 4 has a small value, it can be said that the search window should be large, and the Y coordinate has a large value. In some cases, it can be said that a small search window should be used. However, “people” include “adults” and “children”, “standing people” and “sitting people”, and “people” with different heights and body types. ], There is no simple change in the size of the search window according to the Y coordinate. The image recognition apparatus 10 according to the first embodiment stores information on the size of a search window that can be considered as an appropriate selection according to the Y coordinate in a database (not shown), and the matching execution unit 18b searches the search window from this database. The information about the size of is acquired, and an appropriate search window is acquired.

マッチング度合い積算部18cは、導出された度合いを計上する。具体的には、マッチング度合い積算部18cは、マッチング度合い導出部18aによって導出された度合いを領域の度合いとして計上するとともに、マッチング実行部18bによってパターンマッチングが複数回実行された結果、マッチング度合い導出部18aによって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを領域の一部の度合いとして複数回分積算し、積算した結果は、結果出力部18dによる処理に利用される。   The matching degree integrating unit 18c counts the derived degree. Specifically, the matching degree accumulating unit 18c counts the degree derived by the matching degree deriving unit 18a as the area degree, and the matching execution unit 18b executes pattern matching a plurality of times. For a part of the region where the pattern matching is executed by overlapping a plurality of times by 18a, the degree derived by each pattern matching is integrated several times as a part of the region, and the result of integration is It is used for processing by the output unit 18d.

例えば、マッチング度合い積算部18cは、図6に示すように(もっとも、図6は、説明の便宜上から、積算の一部を示すものである)、図5で『出力0.6』で導出された領域については、『6』を計上し、『出力0.8』が導出された領域については、『8』を計上する。また、画像認識装置10は、図5で2回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』とが導出された領域の一部については、『6』と『9』とを積算して『15』を計上する。また、画像認識装置10は、図5で3回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』と『出力0.8』とが導出された領域の一部については、『6』と『9』と『8』とを積算して『23』を計上する。また、画像認識装置10は、図5で4回重複してパターンマッチングが実行された結果、『出力0.6』と『出力0.9』と『出力0.8』と『出力0.8』とが導出された領域の一部については、『6』と『9』と『8』と『8』とを積算して『31』を計上する。   For example, as shown in FIG. 6, the matching degree integrating unit 18 c is derived with “output 0.6” in FIG. 5 (although FIG. 6 shows a part of integration for convenience of explanation). “6” is counted for the remaining area, and “8” is counted for the area from which “output 0.8” is derived. Further, as a result of the pattern matching being performed twice in FIG. 5, the image recognition apparatus 10 has obtained “output 0.6” and “output 0.9” in a part of the region from which “ Add “6” and “9” to add “15”. In addition, the image recognition apparatus 10 is the region in which “output 0.6”, “output 0.9”, and “output 0.8” are derived as a result of performing pattern matching three times in FIG. As for a part of, “6”, “9” and “8” are added up and “23” is counted. Further, as a result of the pattern matching being performed four times in FIG. 5, the image recognition apparatus 10 performs “output 0.6”, “output 0.9”, “output 0.8”, and “output 0.8”. "6", "9", "8", and "8" are added to a part of the area from which "is derived" and "31" is counted.

ここで、図6を改めて検討すると、まず、図6は、入力画像について、2箇所に、認識対象となる物体(実施例1においては『人』)が存在する可能性があることを示唆しているといえる。その上で、例えば、左の箇所に着目すると、認識対象である『人』は、『6』の値が書き込まれているあたりから、『8』の値が書き込まれているあたりまでを取り囲む広い領域全体のいずれかに存在する可能性があるということになる。この領域全体のいずれかに『人』が存在する可能性がある、という情報だけでは、認識対象である『人』の確からしい位置を検出できているとは言い難い。例えば、車両と歩行者とが衝突するおそれのある緊急事態を想定するならば、『6』の値が書き込まれているあたりに『人』が存在するのか、『8』の値が書き込まれているあたりに『人』が存在するのか、の違いは、大きな差異となるといえる。   Here, considering FIG. 6 again, first, FIG. 6 suggests that there is a possibility that an object to be recognized (“person” in the first embodiment) exists in two places in the input image. It can be said that. On the other hand, for example, when focusing on the left part, the recognition target “person” covers a wide area from the point where the value “6” is written to the point where the value “8” is written. This means that it can exist anywhere in the entire region. It is hard to say that a probable position of the “person” to be recognized can be detected only by the information that there is a possibility that the “person” exists in any one of the entire areas. For example, assuming an emergency situation in which a vehicle and a pedestrian may collide, there will be a “8” value indicating whether there is a “person” around the value “6” written. It can be said that there is a big difference in whether there is a “person” around.

この点、本発明によれば、積算した値が、認識対象である『人』の確からしい位置の検出に貢献することになる。すなわち、図6に示すように、広い領域全体の内の一部の領域については、『31』という大きな値が書き込まれている。積算値が大きいということは、『人』が存在する可能性が特に高いということであり、『31』という値が書き込まれている位置こそが、『人』の確からしい位置といえる。   In this regard, according to the present invention, the integrated value contributes to the detection of a probable position of the “person” to be recognized. That is, as shown in FIG. 6, a large value of “31” is written in a part of the entire wide area. A large integrated value means that there is a particularly high possibility that “person” exists, and the position where the value “31” is written is the most likely position of “person”.

結果出力部18dは、積算された結果を出力部に出力する。具体的には、マッチング度合い積算部18cによって積算された結果を(衝突判定部20、プリクラッシュECU40に制御されるなどして)ディスプレイ43などの出力部に出力する。   The result output unit 18d outputs the integrated result to the output unit. Specifically, the result accumulated by the matching degree accumulation unit 18c is output to an output unit such as the display 43 (by being controlled by the collision determination unit 20 or the pre-crash ECU 40).

例えば、結果出力部18dは、図7に示すように、積算された値に応じてレベル分けされたグラデーションの表現をすることで、結果を画像化してディスプレイ43に出力する。図7の例では、積算された値が大きいほど白に近く、積算された値が小さいほど黒に近いグラデーションの表現(領域については塗りつぶし)がなされている。すなわち、図7に示すように、画像認識装置10の出力は、積算された値が大きい部分が特に強調して表示されるものである(図7において、白く塗りつぶされた部分が強調して表示された部分である)。ここで、積算された値が大きい部分とは、『人である』と識別された値が大きい部分ということであり、その中でも、複数回分の度合いを積算して積算された値が大きい部分ということは、『人』が存在する可能性が特に高い部分ということである(図6の『31』の値が書き込まれている位置に相当する)。『人』が存在する可能性が特に高い部分が特に強調して表示されれば、例えば、このような出力によって通知を受けるユーザは、認識対象である『人』の確からしい位置を認識することが可能になる。   For example, as shown in FIG. 7, the result output unit 18 d converts the level into a gradation according to the accumulated value, thereby imaging the result and outputting it to the display 43. In the example of FIG. 7, a gradation expression (area is filled) is closer to white as the integrated value is larger and closer to black as the integrated value is smaller. That is, as shown in FIG. 7, the output of the image recognition apparatus 10 is displayed with a particularly emphasized portion where the integrated value is large (in FIG. 7, the white-painted portion is highlighted and displayed). Part). Here, the portion where the accumulated value is large is a portion where the value identified as “person” is large, and among them, the portion where the accumulated value is accumulated by integrating the degree of multiple times This means that the possibility that “person” exists is particularly high (corresponding to the position where the value “31” in FIG. 6 is written). If the part that is most likely to have a “person” is displayed with particular emphasis, for example, the user who is notified by such output recognizes the probable position of the “person” to be recognized. Is possible.

なお、実施例1における結果出力部18dは、積算値の内、所定の閾値(例えば、『5』(出力でいうと『0.5』に相当する))を満たさない値については、画像化された結果が全て同レベルの表現(例えば、黒く塗りつぶされた部分)となるように出力している。また、実施例1における結果出力部18dは、積算値の内、所定の閾値以上(例えば、『30』以上)の値については、画像化された結果が全て同レベルの表現(例えば、白く塗りつぶされた部分)となるように出力している。もっとも、本発明は、このような出力に限定されるものではなく、様々な出力のバリエーションに対応することができる。   It should be noted that the result output unit 18d according to the first embodiment converts the integrated value into a value that does not satisfy a predetermined threshold (for example, “5” (corresponding to “0.5” in terms of output)). All the results are output so as to be the same level of expression (for example, a blacked-out portion). In addition, the result output unit 18d according to the first exemplary embodiment expresses the imaged result all at the same level (for example, white-filled) for a value that is equal to or greater than a predetermined threshold (for example, “30” or greater) among the integrated values. Output). However, the present invention is not limited to such an output, and can cope with various output variations.

例えば、結果出力部18dは、図8に示すように、積算された値に応じてレベルわけされた色分けの表現をすることで、結果を画像化してディスプレイ43に出力してもよい。図8の例では、積算された値が所定の閾値以上(例えば、『30』以上)であれば『赤』で、次の値(もしくは値の範囲)については『黄』、次の値(もしくは値の範囲)については『緑』、その他、積算された値が所定の閾値(例えば、『5』)を満たさなければ『青』で表現するなどされている。すなわち、図8に示すように、画像認識装置10の出力は、積算された値が大きい部分が特に強調して表示されるものである(図8において、赤く塗りつぶされた部分(凡例を参照)が強調して表示された部分である)。   For example, as shown in FIG. 8, the result output unit 18 d may display the result as an image by expressing the color classification divided into levels according to the integrated values and output the result to the display 43. In the example of FIG. 8, if the integrated value is equal to or greater than a predetermined threshold (for example, “30” or greater), it is “red”, the next value (or range of values) is “yellow”, and the next value ( Alternatively, the value range is expressed in “green”, and in addition, if the integrated value does not satisfy a predetermined threshold (for example, “5”), it is expressed in “blue”. That is, as shown in FIG. 8, the output of the image recognition device 10 is displayed with a particularly emphasized portion where the integrated value is large (in FIG. 8, the portion painted in red (see legend)). Is the highlighted part).

また、例えば、結果出力部18dは、画像化された結果と入力画像とを重ね合わせて出力してもよい。すなわち、図9に示すように、入力画像を背景とし、その上に、図9に示すような出力を透過処理を施して重ねるなどした上で、ディスプレイ43に出力してもよい。また、例えば、結果出力部18dは、画像化された結果と入力画像とを短時間に交互に出力してもよい。すなわち、図10に示すように、画像化された結果を入力画像の後に挿入し、いわゆるパラパラ漫画のように連続してディスプレイ43に出力してもよい。この場合には、ユーザにおける残像を利用することで、ユーザは、入力画像と確からしい位置との関係を把握することができる。   Further, for example, the result output unit 18d may output the imaged result and the input image in a superimposed manner. That is, as shown in FIG. 9, an input image may be used as a background, and an output as shown in FIG. Further, for example, the result output unit 18d may alternately output the imaged result and the input image in a short time. That is, as shown in FIG. 10, the imaged result may be inserted after the input image and continuously output to the display 43 like a so-called flip book. In this case, the user can grasp the relationship between the input image and the probable position by using the afterimage of the user.

衝突判定部20は、車両認識部16、白線認識部17、および歩行者認識部18による認識結果、レーダ33による検知結果およびナビゲーション装置30が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。   The collision determination unit 20 uses the recognition results obtained by the vehicle recognition unit 16, the white line recognition unit 17, and the pedestrian recognition unit 18, the detection results obtained by the radar 33, and the position information output from the navigation device 30 to detect pedestrians and other vehicles. The collision risk with the own vehicle is determined.

具体的には、衝突判定部20は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいて、ディスプレイ43に対する情報表示指示、スピーカ44に対する警告音声出力指示、ブレーキ制御指示やEFI制御指示などを、プリクラッシュECU40に対して出力する。   Specifically, the collision determination unit 20 determines the probability that a collision with a pedestrian or another vehicle will occur, the collision time, the distance to the collision position, the collision angle, etc., and based on the determination result, An information display instruction for the display 43, a warning sound output instruction for the speaker 44, a brake control instruction, an EFI control instruction, and the like are output to the pre-crash ECU 40.

なお、実施例1における衝突判定部20は、歩行者認識部18の結果出力部18dから結果の出力指示を受け取ると、例えば、出力結果に所定の閾値以上の値が含まれていると判定することで衝突の判定を行うなどして、プリクラッシュECU40に伝達し、プリクラッシュECU40を介してディスプレイ43に結果を出力するなどしている。   When the collision determination unit 20 according to the first embodiment receives a result output instruction from the result output unit 18d of the pedestrian recognition unit 18, for example, the collision determination unit 20 determines that the output result includes a value equal to or greater than a predetermined threshold. Thus, the collision is determined and transmitted to the pre-crash ECU 40, and the result is output to the display 43 via the pre-crash ECU 40.

[実施例1に係る画像認識装置の処理の手順]
次に、図11および図12を用いて、実施例1に係る画像認識装置による処理を説明する。図11は、画像認識装置の処理(全体)の流れについて示すフローチャートであり、図12は、歩行者認識部の処理の流れについて示すフローチャートである。
[Processing Procedure of Image Recognition Device According to First Embodiment]
Next, processing performed by the image recognition apparatus according to the first embodiment will be described with reference to FIGS. 11 and 12. FIG. 11 is a flowchart illustrating the flow of processing (whole) of the image recognition apparatus, and FIG. 12 is a flowchart illustrating the flow of processing of the pedestrian recognition unit.

[画像認識装置の処理(全体)]
図11に示すフローチャートは、電源スイッチ(イグニッションスイッチなどと連動していてもよい)がオンされ、カメラ31が画像を撮影した場合に開始され、画像フレームの処理ごと(例えば、数msecごと)に繰り返し実行される処理である。
[Processing of image recognition device (overall)]
The flowchart shown in FIG. 11 is started when a power switch (which may be interlocked with an ignition switch or the like) is turned on and the camera 31 captures an image, and for each processing of an image frame (for example, every several milliseconds). This process is repeatedly executed.

まず、画像認識装置10は、カメラ31が撮影した画像に対して、前処理部11によるフィルタリング、エッジ検出、輪郭抽出などの処理を施す(ステップS101)。次に、画像認識装置10は、白線認識部17による白線認識処理(ステップS102)および車両認識部16による車両認識処理(ステップS103)を実行する。   First, the image recognition apparatus 10 performs processing such as filtering, edge detection, and contour extraction by the preprocessing unit 11 on the image captured by the camera 31 (step S101). Next, the image recognition device 10 executes white line recognition processing (step S102) by the white line recognition unit 17 and vehicle recognition processing (step S103) by the vehicle recognition unit 16.

その後、歩行者認識部18が歩行者認識を実行し(ステップS104)、衝突判定部20が衝突判定を行って(ステップS105)、判定結果をプリクラッシュECU40に出力し(ステップS106)、処理を終了する。   Thereafter, the pedestrian recognition unit 18 performs pedestrian recognition (step S104), the collision determination unit 20 performs a collision determination (step S105), and outputs the determination result to the pre-crash ECU 40 (step S106). finish.

[歩行者認識部の処理]
次に、図12に示すフローチャートについて説明すると、まず、マッチング実行部18bが、図示しないデータベースから、Y座標に応じた適切な選択と考え得る探索窓の大きさに関する情報を取得し、適切な探索窓を取得する(ステップS201)。
[Processing of pedestrian recognition unit]
Next, the flowchart shown in FIG. 12 will be described. First, the matching execution unit 18b acquires information on the size of a search window that can be considered as an appropriate selection according to the Y coordinate from a database (not shown), and performs an appropriate search. A window is acquired (step S201).

次に、マッチング実行部18bが探索窓を移動し、探索窓で入力画像の領域を切り出すと、マッチング度合い導出部18aが、パターンマッチングを実行し、パターンマッチングの度合いを導出する(ステップS202)。   Next, when the matching execution unit 18b moves the search window and cuts out an input image area in the search window, the matching degree deriving unit 18a executes pattern matching and derives the degree of pattern matching (step S202).

続いて、マッチング度合い導出部18aは、導出したパターンマッチングの度合いが、所定の閾値(例えば、『出力0.5』)を満たすか否かを判定する(ステップS203)。ここで、度合いが閾値を満たさない場合には(ステップS203否定)、マッチング度合い導出部18aは、『人』ではないと識別し、導出した度合いをマッチング度合い積算部18cに送信せず、そのままステップS205の処理へと移行する。   Subsequently, the matching degree deriving unit 18a determines whether or not the derived pattern matching degree satisfies a predetermined threshold (for example, “output 0.5”) (step S203). Here, when the degree does not satisfy the threshold (No at Step S203), the matching degree deriving unit 18a identifies that it is not “person”, and does not transmit the derived degree to the matching degree integrating unit 18c, and does not perform the step. The process proceeds to S205.

一方、度合いが閾値を満たす場合には(ステップS203肯定)、マッチング度合い導出部18aが、導出した度合いをマッチング度合い積算部18cに送信し、マッチング度合い積算部18cが、導出された度合いを積算する(ステップS204)。この時、マッチング度合い積算部18cは、マッチング度合い導出部18aから送信された度合いを領域の度合いとして計上するとともに、複数回重複してパターンマッチングが実行された領域の一部については、積算する。   On the other hand, when the degree satisfies the threshold (Yes at Step S203), the matching degree deriving unit 18a transmits the derived degree to the matching degree integrating unit 18c, and the matching degree integrating unit 18c integrates the derived degree. (Step S204). At this time, the matching degree accumulating unit 18c counts the degree transmitted from the matching degree deriving unit 18a as the degree of the area, and also accumulates a part of the area where the pattern matching is executed a plurality of times.

そして、マッチング実行部18bが、当該探索窓によるパターンマッチングが終了したか否かを判定し(ステップS205)、終了していない場合には(ステップS205否定)、探索窓を移動して(ステップS206)、再び、パターンマッチングの実行処理へと移行する(ステップS202)。このステップS206において、マッチング実行部18bは、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように、探索窓を移動させる。   And the matching execution part 18b determines whether the pattern matching by the said search window was complete | finished (step S205), and when not complete | finished (step S205 negative), moves a search window (step S206). ) Again, the process proceeds to the pattern matching execution process (step S202). In step S206, the matching execution unit 18b moves the search window so that the areas cut out by the search window partially overlap each of the areas.

一方、ステップS205において、マッチング実行部18bが、当該探索窓によるパターンマッチングが終了したと判定すると(ステップS205肯定)、マッチング実行部18bは、探索窓が終了したか否かを判定し(ステップS207)、探索窓が終了していない場合には(ステップS207否定)、マッチング実行部18bは、再び、探索窓の取得を行う(ステップS201)。探索窓が終了した場合には(ステップS207肯定)、マッチング実行部18bは、積算された結果を結果出力部18dに送信し、結果出力部18dが、画像化した結果をディスプレイに出力するなどする(ステップS208)。   On the other hand, when the matching execution unit 18b determines in step S205 that the pattern matching by the search window has ended (Yes in step S205), the matching execution unit 18b determines whether or not the search window has ended (step S207). ) If the search window has not ended (No at Step S207), the matching execution unit 18b acquires the search window again (Step S201). When the search window ends (Yes at Step S207), the matching execution unit 18b transmits the integrated result to the result output unit 18d, and the result output unit 18d outputs the imaged result to the display. (Step S208).

[実施例1の効果]
上記してきたように、実施例1によれば、探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出し、探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、パターンマッチングを複数回実行させ、導出された度合いを前記領域の度合いとして計上するとともに、パターンマッチングが複数回実行された結果、複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算し、積算された結果を所定の出力部に出力するので、認識対象の確からしい位置を検出することが可能になる。
[Effect of Example 1]
As described above, according to the first embodiment, predetermined pattern matching is performed on the area of the input image cut out by the search window, the degree of the pattern matching is derived, and each of the areas cut out by the search window is selected. While moving the search window so as to partially overlap that region, pattern matching is performed a plurality of times, the derived degree is counted as the region degree, and the result of the pattern matching being performed a plurality of times, For a part of the region where pattern matching has been performed multiple times, the degree derived by each pattern matching is integrated several times as a part of the region, and the integrated result is determined as a predetermined value. Since the data is output to the output unit, it is possible to detect a likely position of the recognition target.

また、本発明に係る画像認識装置は、位置ずれに強く、認識対象の確からしい位置を検出することが可能になる結果、ひいては、誤検出を低減することも可能になる。   In addition, the image recognition apparatus according to the present invention is resistant to misalignment and can detect a likely position of the recognition target. As a result, erroneous detection can be reduced.

また、実施例1によれば、結果を画像化して出力するので、例えば、車両の運転者などに、認識対象の確からしい位置を通知することが可能になる。   In addition, according to the first embodiment, since the result is imaged and output, for example, it is possible to notify the driver of the vehicle or the like of the likely position of the recognition target.

また、実施例1によれば、画像化された結果と入力画像とを重ね合わせて出力したり、画像化された結果と入力画像とを短時間に交互に出力するので、認識対象の確からしい位置を適切に通知することが可能になる。   In addition, according to the first embodiment, the imaged result and the input image are superimposed and output, or the imaged result and the input image are alternately output in a short time. It becomes possible to notify the position appropriately.

また、実施例1によれば、積算された値に応じてレベル分けされた色分けの表現やグラデーションの表現をすることで、結果を画像化して出力するので、認識対象の確からしい位置を、レベル分けした上で通知することが可能になる。
また、色分けの表現をする際に、枠ではなく、領域(例えば、矩形領域)の塗りつぶしにすることで、通知された者(車両の運転者等)の見落としを少なくすることも可能になる。
In addition, according to the first embodiment, the result is imaged and output by expressing the color classification or gradation classified according to the integrated value, so that the probable position of the recognition target can be It becomes possible to notify after dividing.
In addition, when expressing color coding, it is possible to reduce oversight of a notified person (such as a driver of a vehicle) by filling an area (for example, a rectangular area) instead of a frame.

また、実施例1によれば、積算された値の内、所定の閾値を満たさない値については、画像化された結果が全て同レベルの表現となるように出力し、所定の閾値以上の値については、画像化された結果が全て同レベルの表現となるように出力するので、認識対象の確からしい位置を、効率的に通知することが可能になる。   Further, according to the first embodiment, for the values that do not satisfy the predetermined threshold value among the integrated values, the imaged result is output so that all the results are expressed at the same level, and the value is equal to or greater than the predetermined threshold value. With respect to, since all the imaged results are output so as to have the same level of expression, it is possible to efficiently notify the likely position of the recognition target.

[他の実施例]
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
[Other embodiments]
Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above.

実施例1においては、本発明に係る画像認識装置が、車両に搭載され、認識対象である物体が『人である』のか否かを識別する事例について説明したが、本発明はこれに限られるものではない。画像を認識し、認識対象の確からしい位置を検出する画像認識装置として、その他の事例にも適用することが可能である。   In the first embodiment, the example in which the image recognition apparatus according to the present invention is mounted on a vehicle and the object to be recognized is identified as “human” has been described. However, the present invention is not limited thereto. It is not a thing. The present invention can be applied to other cases as an image recognition apparatus that recognizes an image and detects a likely position of a recognition target.

また、実施例1においては、ニューラルネットによる識別器を利用するパターンマッチングを行う手法を想定したが、本発明はこれに限られるものではない。例えば、画像認識装置が、パターンデータベースに一つまたは複数の基準パターンを記憶し、マッチング度合い導出部が、探索窓で切り出される入力画像の領域とパターンデータベースに記憶されている基準パターンとの間の相互相関係数を利用してパターンマッチングを行う手法にも、本発明を同様に適用することができる。   In the first embodiment, a method of performing pattern matching using a classifier using a neural network is assumed, but the present invention is not limited to this. For example, the image recognition apparatus stores one or a plurality of reference patterns in the pattern database, and the matching degree derivation unit determines whether the input image area extracted by the search window is between the reference pattern stored in the pattern database. The present invention can be similarly applied to a method of performing pattern matching using a cross-correlation coefficient.

また、この手法によった場合に、画像認識装置は、基準パターンとして『大人』のパターンや『子供』のパターンを記憶し、『大人』のパターンでパターンマッチングを実行した結果を積算した積算結果、『子供』のパターンでパターンマッチングを実行した結果を積算した積算結果などを、各々個別のプレーン(個別のプレーンは、例えば、1枚の出力画像に対応する)で管理してもよい。すなわち、例えば、マッチング度合い積算部が、『大人』のパターンによる積算結果、『子供』のパターンによる積算結果を個別のプレーンで管理するとともに、これらを合計した積算結果をも他のプレーンで管理し、結果出力部が、必要に応じて、合計の積算結果を出力したり、『子供』のパターンによる積算結果のみを出力してもよい。   In addition, when this method is used, the image recognition device stores an “adult” pattern or a “children” pattern as a reference pattern, and integrates the results of performing pattern matching with the “adult” pattern. Further, the integration result obtained by integrating the results of performing the pattern matching with the “child” pattern may be managed by individual planes (individual planes correspond to, for example, one output image). That is, for example, the matching degree integration unit manages the integration results based on the “adult” pattern and the integration results based on the “child” pattern on separate planes, and also manages the total integration results on other planes. The result output unit may output the total integration result or output only the integration result based on the “child” pattern as necessary.

このように、積算結果を、1プレーンではなく複数プレーンで管理する手法は、ニューラルネットによる識別器を利用する場合にも適用することができる。すなわち、例えば、ニューラルネットによる識別器が、『人である』か否かを識別する識別器と『動物である』か否かを識別する識別器とに分類されて複数存在すれば、マッチング度合い積算部は、『人』の識別器による積算結果、『動物』の識別器による積算結果を個別のプレーンで管理するとともに、これらを合計した積算結果をも他のプレーンで管理し、結果出力部が、必要に応じて、合計の積算結果を出力したり、『人』のパターンによる積算結果のみを出力してもよい。なお、各プレーンは、探索窓別に積算結果を管理するものであってもよい。   As described above, the method of managing the integration results with a plurality of planes instead of one plane can be applied to the case where a classifier using a neural network is used. That is, for example, if there are a plurality of classifiers classified into neural network classifiers that identify whether or not they are “people” and classifiers that identify whether or not they are “animals”, the degree of matching The integration unit manages the integration results from the “person” classifier and the integration results from the “animal” classifier on separate planes, and also manages the totalized result on other planes, resulting in a result output unit. However, if necessary, the total integration result may be output, or only the integration result based on the “person” pattern may be output. Each plane may manage the integration result for each search window.

また、実施例1においては、出力結果を画像化してディスプレイに表示する手法について説明したが、本発明はこれに限られるものではない。例えば、画像処理装置は、検出した確からしい位置を示すデータとして、X座標やY座標などを出力し、これを衝突判定部に入力することで、衝突判定部による適切な制御に任せてもよい。   In the first embodiment, the method of imaging the output result and displaying it on the display has been described. However, the present invention is not limited to this. For example, the image processing apparatus may output the X coordinate, the Y coordinate, etc. as data indicating the likely position detected, and input this to the collision determination unit, thereby leaving it to appropriate control by the collision determination unit. .

[システム構成等]
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[System configuration, etc.]
In addition, among the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示(例えば、図2など)の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated (for example, FIG. 2). In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.

なお、本実施例で説明した画像認識方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。   The image recognition method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD and being read from the recording medium by the computer.

以上のように、本発明に係る画像認識装置、画像認識方法および電子制御装置は、探索窓で切り出される入力画像の領域についてパターンマッチングを実行することで、入力画像における認識対象を認識することに有用であり、特に、認識対象の確からしい位置を検出することに適する。   As described above, the image recognition device, the image recognition method, and the electronic control device according to the present invention recognize the recognition target in the input image by performing pattern matching on the region of the input image cut out by the search window. This is useful, and is particularly suitable for detecting a probable position of the recognition target.

実施例1に係る画像認識装置の概要および特徴を説明するための図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram for explaining an overview and features of an image recognition apparatus according to a first embodiment. 実施例1に係る画像認識装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image recognition apparatus according to a first embodiment. 入力画像について説明するための図である。It is a figure for demonstrating an input image. 探索窓について説明するための図である。It is a figure for demonstrating a search window. マッチング実行部について説明するための図である。It is a figure for demonstrating a matching execution part. マッチング度合い積算部について説明するための図である。It is a figure for demonstrating a matching degree integrating | accumulating part. 結果出力部(グラデーション)について説明するための図である。It is a figure for demonstrating a result output part (gradation). 結果出力部(色分け)について説明するための図である。It is a figure for demonstrating a result output part (color classification). 結果出力部(重ね合わせ)について説明するための図である。It is a figure for demonstrating a result output part (superposition). 結果出力部(残像)について説明するための図である。It is a figure for demonstrating a result output part (afterimage). 画像認識装置の処理(全体)の流れについて示すフローチャートである。It is a flowchart shown about the flow of a process (whole) of an image recognition apparatus. 歩行者認識部の処理の流れについて示すフローチャートである。It is a flowchart shown about the flow of a process of a pedestrian recognition part. 従来技術について説明するための図である。It is a figure for demonstrating a prior art.

符号の説明Explanation of symbols

10 画像認識装置
10a マイコン
11 前処理部
16 車両認識部
17 白線認識部
18 歩行者認識部
18a マッチング度合い導出部
18b マッチング実行部
18c マッチング度合い積算部
18d 結果出力部
19 パターンデータベース
20 衝突判定部
30 ナビゲーション装置
30a 地図データ
31 カメラ
33 レーダ
40 プリクラッシュECU
41 ブレーキ
42 EFI
43 ディスプレイ
44 スピーカ
DESCRIPTION OF SYMBOLS 10 Image recognition apparatus 10a Microcomputer 11 Pre-processing part 16 Vehicle recognition part 17 White line recognition part 18 Pedestrian recognition part 18a Matching degree deriving part 18b Matching execution part 18c Matching degree accumulation part 18d Result output part 19 Pattern database 20 Collision judgment part 30 Navigation Device 30a Map data 31 Camera 33 Radar 40 Pre-crash ECU
41 Brake 42 EFI
43 Display 44 Speaker

Claims (7)

探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出手段と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出手段によるパターンマッチングを複数回実行させる実行手段と、
前記度合い導出手段によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行手段によってパターンマッチングが複数回実行された結果、前記度合い導出手段によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算手段と、
を備えたことを特徴とする画像認識装置。
A degree deriving unit that performs predetermined pattern matching on an input image region cut out in the search window and derives a degree of the pattern matching;
Execution means for performing pattern matching by the degree deriving means a plurality of times while moving the search window so that the areas cut out by the search window partially overlap each other, and
A region where the degree derived by the degree deriving unit is counted as the degree of the region, and the pattern matching is performed a plurality of times by the degree deriving unit as a result of the pattern matching being performed a plurality of times by the executing unit. For a part of, the integration means for integrating the degree derived by pattern matching for each time as a part of the region for a plurality of times,
An image recognition apparatus comprising:
前記積算手段によって積算された値に応じてレベル分けされた色分けの表現をすることで、当該積算手段によって積算された結果を画像化して所定の出力部に出力する出力手段をさらに備えたことを特徴とする請求項1に記載の画像認識装置。   It further comprises output means for imaging the result of integration by the integration means and outputting it to a predetermined output unit by expressing the color classification leveled according to the value integrated by the integration means. The image recognition apparatus according to claim 1. 前記積算手段によって積算された値に応じてレベル分けされたグラデーションの表現をすることで、当該積算手段によって積算された結果を画像化して所定の出力部に出力する出力手段をさらに備えたことを特徴とする請求項1に記載の画像認識装置。   The image processing apparatus further includes an output unit configured to express gradations divided into levels according to the values integrated by the integration unit, thereby imaging the result integrated by the integration unit and outputting the result to a predetermined output unit. The image recognition apparatus according to claim 1. 前記出力手段は、前記積算手段によって積算された値の内、所定の閾値を満たさない値については、画像化された結果が全て同レベルの前記表現となるように出力することを特徴とする請求項2または3に記載の画像認識装置。   The output means outputs a value that does not satisfy a predetermined threshold among the values integrated by the integration means so that all of the imaged results are the expression of the same level. Item 4. The image recognition device according to Item 2 or 3. 前記出力手段は、前記積算手段によって積算された値の内、所定の閾値以上の値については、画像化された結果が全て同レベルの前記表現となるように出力することを特徴とする請求項2〜4のいずれか一つに記載の画像認識装置。   The output means outputs, for a value that is equal to or greater than a predetermined threshold value among the values accumulated by the accumulation means, so that all of the imaged results are the expression at the same level. The image recognition apparatus as described in any one of 2-4. 探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出工程と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出工程によるパターンマッチングを複数回実行させる実行工程と、
前記度合い導出工程によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行工程によってパターンマッチングが複数回実行された結果、前記度合い導出工程によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算工程と、
を含んだことを特徴とする画像認識方法。
A degree derivation step of performing predetermined pattern matching on an input image region cut out in the search window and deriving the degree of pattern matching;
An execution step of performing pattern matching by the degree derivation step a plurality of times while moving the search window so that the regions cut out in the search window partially overlap each other, and
Area where the degree derived by the degree derivation step is counted as the degree of the region, and pattern matching is executed multiple times by the degree derivation step as a result of pattern matching being executed multiple times by the execution step For a part of, the integration step of integrating a plurality of times as the degree of a part of the region, the degree derived by pattern matching for each time,
An image recognition method comprising:
探索窓で切り出される入力画像の領域について所定のパターンマッチングを実行し、当該パターンマッチングの度合いを導出する度合い導出手段と、
探索窓で切り出される領域同士が各々いずれかの領域と一部重複するように当該探索窓を移動させながら、前記度合い導出手段によるパターンマッチングを複数回実行させる実行手段と、
前記度合い導出手段によって導出された度合いを前記領域の度合いとして計上するとともに、前記実行手段によってパターンマッチングが複数回実行された結果、前記度合い導出手段によって複数回重複してパターンマッチングが実行された領域の一部については、一回ごとのパターンマッチングで導出された度合いを前記領域の一部の度合いとして複数回分積算する積算手段と、
前記積算手段によって積算された結果に基づいて、物体との衝突が予測された場合に、車両の動作制御および/または運転者に対する通知制御を行う制御手段と、
を備えたことを特徴とする電子制御装置。
A degree deriving unit that performs predetermined pattern matching on an input image region cut out in the search window and derives a degree of the pattern matching;
Execution means for performing pattern matching by the degree deriving means a plurality of times while moving the search window so that the areas cut out by the search window partially overlap each other, and
A region where the degree derived by the degree deriving unit is counted as the degree of the region, and the pattern matching is performed a plurality of times by the degree deriving unit as a result of the pattern matching being performed a plurality of times by the executing unit. For a part of, the integration means for integrating the degree derived by pattern matching for each time as a part of the region for a plurality of times,
Control means for performing vehicle operation control and / or notification control for the driver when a collision with an object is predicted based on the result accumulated by the accumulation means;
An electronic control device comprising:
JP2007241103A 2007-09-18 2007-09-18 Image recognition device, image recognition method, and electronic control device Withdrawn JP2009070344A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007241103A JP2009070344A (en) 2007-09-18 2007-09-18 Image recognition device, image recognition method, and electronic control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007241103A JP2009070344A (en) 2007-09-18 2007-09-18 Image recognition device, image recognition method, and electronic control device

Publications (1)

Publication Number Publication Date
JP2009070344A true JP2009070344A (en) 2009-04-02

Family

ID=40606487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007241103A Withdrawn JP2009070344A (en) 2007-09-18 2007-09-18 Image recognition device, image recognition method, and electronic control device

Country Status (1)

Country Link
JP (1) JP2009070344A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039255A (en) * 2010-08-04 2012-02-23 Olympus Corp Image processing apparatus, image processing method, imaging apparatus and program
JP2012216946A (en) * 2011-03-31 2012-11-08 Sony Computer Entertainment Inc Information processing device, information processing method, and positional information data structure
WO2013035445A1 (en) 2011-09-09 2013-03-14 株式会社メガチップス Object detection device
EP2784721A2 (en) 2013-03-26 2014-10-01 MegaChips Corporation Object detection apparatus
JP2014191470A (en) * 2013-03-26 2014-10-06 Mega Chips Corp Object detection device
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
US20150262363A1 (en) * 2014-03-13 2015-09-17 Megachips Corporation Object detection apparatus
JP2016040705A (en) * 2014-08-13 2016-03-24 セコム株式会社 Object detection device
JP2016085633A (en) * 2014-10-27 2016-05-19 株式会社デンソー Object identification unit, driving assist system, and vehicle and object identification method
US9652677B2 (en) 2012-03-30 2017-05-16 Megachips Corporation Object detection device for recognizing an object in an input frame image using past frame image information

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724015B2 (en) 2010-08-04 2014-05-13 Olympus Corporation Image processing apparatus, image processing method, imaging apparatus, and information storage medium
JP2012039255A (en) * 2010-08-04 2012-02-23 Olympus Corp Image processing apparatus, image processing method, imaging apparatus and program
JP2012216946A (en) * 2011-03-31 2012-11-08 Sony Computer Entertainment Inc Information processing device, information processing method, and positional information data structure
US9699432B2 (en) 2011-03-31 2017-07-04 Sony Corporation Information processing apparatus, information processing method, and data structure of position information
WO2013035445A1 (en) 2011-09-09 2013-03-14 株式会社メガチップス Object detection device
JP2013058160A (en) * 2011-09-09 2013-03-28 Mega Chips Corp Object detection device
US9373027B2 (en) 2011-09-09 2016-06-21 Megachips Corporation Object detection device
US9977967B2 (en) 2012-03-30 2018-05-22 Megachips Corporation Object detection device for recognizing an object in an input frame image using detection history information
US9652677B2 (en) 2012-03-30 2017-05-16 Megachips Corporation Object detection device for recognizing an object in an input frame image using past frame image information
JP2014191470A (en) * 2013-03-26 2014-10-06 Mega Chips Corp Object detection device
US10223583B2 (en) 2013-03-26 2019-03-05 Megachips Corporation Object detection apparatus
EP2784721A2 (en) 2013-03-26 2014-10-01 MegaChips Corporation Object detection apparatus
US9536137B2 (en) 2013-03-26 2017-01-03 Megachips Corporation Object detection apparatus
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
US20150262363A1 (en) * 2014-03-13 2015-09-17 Megachips Corporation Object detection apparatus
US9477882B2 (en) 2014-03-13 2016-10-25 Megachips Corporation Object detection apparatus
JP2016040705A (en) * 2014-08-13 2016-03-24 セコム株式会社 Object detection device
US9809227B2 (en) 2014-10-27 2017-11-07 Denso Corporation Apparatus and method for identifying target object
JP2016085633A (en) * 2014-10-27 2016-05-19 株式会社デンソー Object identification unit, driving assist system, and vehicle and object identification method

Similar Documents

Publication Publication Date Title
JP2009070344A (en) Image recognition device, image recognition method, and electronic control device
CN106647776B (en) Method and device for judging lane changing trend of vehicle and computer storage medium
JP6888950B2 (en) Image processing device, external world recognition device
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US10235768B2 (en) Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
US8379924B2 (en) Real time environment model generation system
US7418112B2 (en) Pedestrian detection apparatus
KR102099265B1 (en) System and method for pedestrian-vehicle collision warning based on pedestrian state
KR101382873B1 (en) Forward Collision Warning System and Forward Collision Warning Method
US9659497B2 (en) Lane departure warning system and lane departure warning method
EP3217318A2 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP2007188417A (en) Image recognition device, image recognition method, and image recognition program
EP2919159A2 (en) Image processing device and image processing method
JP2007148835A (en) Object distinction device, notification controller, object distinction method and object distinction program
JP2009037622A (en) Method and device for evaluating image
JP4322913B2 (en) Image recognition apparatus, image recognition method, and electronic control apparatus
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
JP2008181423A (en) Pedestrian recognition device and pedestrian recognition method
JP2005316607A (en) Image processor and image processing method
JP2009237898A (en) Image recognition device
JP2009194542A (en) Vehicle surrounding monitoring device, vehicle, and vehicle surrounding monitoring program
JP2009237897A (en) Image recognition device
CN109147387A (en) Information processing unit and program
JPWO2018190362A1 (en) Method and apparatus for detecting pedestrians around a vehicle
JP2008310440A (en) Pedestrian detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100820

A072 Dismissal of procedure

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20111227

A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120110