JP2007058751A - Apparatus, method, and program for discriminating object - Google Patents

Apparatus, method, and program for discriminating object Download PDF

Info

Publication number
JP2007058751A
JP2007058751A JP2005245950A JP2005245950A JP2007058751A JP 2007058751 A JP2007058751 A JP 2007058751A JP 2005245950 A JP2005245950 A JP 2005245950A JP 2005245950 A JP2005245950 A JP 2005245950A JP 2007058751 A JP2007058751 A JP 2007058751A
Authority
JP
Japan
Prior art keywords
object
determination
image
result
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005245950A
Other languages
Japanese (ja)
Inventor
Minoru Fujioka
Yoshinori Ishii
Katsumi Sakata
Koji Yamashita
浩嗣 山下
美紀 石井
稔 藤岡
克己 阪田
Original Assignee
Fujitsu Ten Ltd
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ten Ltd, 富士通テン株式会社 filed Critical Fujitsu Ten Ltd
Priority to JP2005245950A priority Critical patent/JP2007058751A/en
Publication of JP2007058751A publication Critical patent/JP2007058751A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To prevent the reduction of accuracy in the case of discriminating an object in an image by an object discrimination apparatus. <P>SOLUTION: The object discrimination apparatus includes a synthetic discrimination table for leading out a final object discrimination result. In order to lead out the final object discrimination result by using the synthetic discrimination table, a candidate object to be discriminated is detected from an image at first. Then the candidate object detected from the image is discriminated. For instance, when both of discrimination results transmitted from a pattern matching means and a neural network means are "a prescribed object" (e.g. a pedestrian) as shown in Fig.1, a synthetic discrimination result that the object is finally discriminated as the "prescribed object" (e.g. pedestrian) is led out while collating it with the synthetic discrimination table. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、物体判別装置、物体判別方法および物体判別プログラムに関する。 The present invention, object determination device, an object determination method and the object determination program.

従来より、例えば、車両走行の障害となりうる物体を検出し、その物体との衝突を回避する技術が開発されてきている。 Conventionally, for example, to detect an object that may be an obstacle to vehicle travel, to avoid collision with the object technology has been developed. そこで、そのような車両周辺にある障害物となるような物体を検出するために、カメラなどを用いて車両周辺を撮影しておき、撮像した画像を処理する技術が存在する。 Therefore, in order to detect an object, such as an obstacle in such a vehicle periphery in advance by photographing the surroundings of the vehicle by using a camera, there is a technique to process the image captured. その画像内に映し出された物体を検出方法として、例えば、背景差分法がある。 As the object detection methods displayed in the image, for example, there is a background difference method. このような、背景差分法では、現入力されている現画像とその直前に入力されていた直前画像との各画素を比較し、差分が抽出された領域に直前画像では見られなかった物体が存在するものとし、その物体を走行障害の候補になるものとして画像内から検出している。 Such, the background subtraction method, comparing each pixel of the immediately preceding image that has been input and the current image that is the current input immediately before, the object was not seen in the previous image in the area where the difference is extracted shall present, is detected from the image as comprising that object candidate traveling disorders. このような方法を用いれば、走行障害の候補となる物体は検出されるが、検出された物体がどのようなものであるかが未だ判明しない。 The use of such a method, the candidate to become the object of driving failure is detected, or the detected object is of any type is not yet known.

そこで、画像内から検出された走行障害の候補となる物体に対し、その物体が何であるかを判別する代表的な画像処理手法として、パターンマッチングやニューラルネットワーク(Neural Network:神経回路網)がある(例えば、特許文献1、2参照)。 Therefore, to become candidates object traveling failure detected from the image, as a typical image processing techniques to determine whether the object is what, pattern matching and neural networks: it is (Neural Network neural network) (e.g., see Patent documents 1 and 2). そして、一般的にこれらの物体判別手法のいずれか一つを用いて画像内の物体判別が行われている。 The general object determination in the image using any one of these object determination method is performed.

このうち、このパターンマッチング方法では、画像内から検出された走行障害の候補となる物体に全てのテンプレートをあてはめて、その物体が特定の物体(例えば、歩行者)であるか否かをテンプレートと候補物体との一致度合によって判別する画像処理を行っている。 Among them, in the pattern matching method, by applying all the template to the object that are candidates for running failure detected from the image, and the object is a specific object (e.g., a pedestrian) whether the template and performing image processing of determining the degree of matching between the candidate object.

また、ニューラルネットワークとは、人間の脳の構造を真似て作成した情報処理機構であり、人間の脳の中に張り巡らされた「ニューロン」と呼ばれる神経細胞の複雑な組合せ構造を応用したネットワークを構成することで、人間の得意とする物体判別を情報処理機構に取り入れて実現する方法である。 Further, the neural network is an information processing mechanism created to mimic the structure of the human brain, by applying a complex combination structure of nerve cells called was spread around in the human brain "neurons" and the network by configuring a method for realizing incorporating object determination to human good in the information processing mechanism. 具体的には、あらかじめ学習して記憶している物体のパターンと画像内から検出された走行障害の候補となる物体と照らし合わせて、その物体が特定の物体(例えば、歩行者)であるか否か判別する画像処理を行っている。 Or specifically a against the candidate to become the object of running failure detected from the object pattern image stored in advance learning, the object is a specific object (e.g., a pedestrian) and performing image processing to determine whether.

特開昭59−226981号公報 JP-A-59-226981 JP 特開平6−231258号公報 JP-6-231258 discloses

ところで、上記した従来の技術は、以下に説明するように、物体判別の精度低下が考えられる場合があるという問題があった。 Incidentally, the techniques conventionally described above, as described below, there is a problem that there are cases where reduction of accuracy object determination can be considered.

すなわち、画像内に映し出された物体を判別する手法としてパターンマッチングを用いた場合には、あらかじめ所持するテンプレートを画像の全領域にあてはめる処理を行っていたので、一定間隔で入力される画像に対して処理が間に合わずに、結果的に物体判別の精度の低下につながる場合もあることが考えられるという問題があった。 That is, in the case of using the pattern matching as a method of discriminating an object projected on the image, so has been performed the process of applying the template to advance possessed the entire area of ​​the image, the image input in fixed intervals too late treatment Te, that result in some cases lead to a reduction in the accuracy of object determination there is a problem that is considered.

また、ニューラルネットワークを用いた場合は、物体判別を行う際の処理速度はテンプレートマッチングに比べ早いが、物体判別の精度が天候に左右されやすく、テンプレートマッチングと同様に物体判別の精度が低下する場合もあることが考えられるという問題があった。 In the case of using a neural network, if the processing speed when performing object determination is faster than in the template matching, the accuracy of the object determination is easily affected by the weather, the template matching as well as the accuracy of the object determination is reduced there is a problem that can also be considered.

したがって、これらの物体判別手法のいずれか一つを用いて画像内の物体判別を行っていたのでは、常に精度よく画像内の物体を判別できるわけではない。 Therefore, had performed object determination in the image using any one of these object determination technique is not always possible to determine an object in high precision images.

なお、車載用の監視カメラなどにおいて物体判別を行う場合に、その判別の精度が低下する場合もあることが考えられるのでは、車両運転中に危険を予測し、いち早く危険を回避する上でも問題がある。 In the case of performing object determination in such surveillance camera for vehicle, than the accuracy of the determination it is conceivable that in some cases decreases, prediction of the risk during vehicle operation, even in avoiding early risk issues there is.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、画像内の物体を判別する際の精度低下を防止することが可能な物体判別装置、物体判別方法および物体判別プログラムを提供することを目的とする。 Accordingly, the present invention has been made to solve the problems in the conventional technology, an object determination device capable of preventing a reduction of accuracy when determining the object in an image, object determination method and the object and to provide a discrimination program.

上述した課題を解決し、目的を達成するため、請求項1に係る発明は、画像内の物体を判別する物体判別装置において、複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別手段と、前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別手段と、を備えたことを特徴とする。 To solve the above problems and achieve the object, the invention according to claim 1, in the object determination apparatus for determining an object in an image, the detected object within the image by using a plurality of object determination technique It comprises a first object determining means for determining for each object determination method, and a second object determination means for deriving one of determination results for the object on the image from the judgment result of the first object determination means characterized in that was.

また、請求項2に係る発明は、上記の発明において、前記第二の物体判別手段は、前記第一の物体判別手段による各判別結果の全てが前記画像上の物体を所定の物体であると判別するものである場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする。 The invention according to claim 2, in the above invention, the second object determination unit, when all of the determination result of the first object determination means is the object on the image at a predetermined object If it is intended to determine it is characterized by deriving one of determination results to the object on the image is a predetermined object.

また、請求項3に係る発明は、上記の発明において、前記第二の物体判別手段は、前記第一の物体判別手段による各判別結果のうち一つでも前記画像上の物体を所定の物体であると判別するものがある場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする。 The invention according to claim 3, in the above invention, the second object determination means, the object on the image in one of the determination result by said first object determining means at a predetermined object if there is to determine that there is characterized in that derive one determination result to the object on the image is a predetermined object.

また、請求項4に係る発明は、上記の発明において、前記第一の物体判別手段は、前記画像上の物体の判別値を算出するものであって、前記第二の物体判別手段は、前記第一の物体判別手段による各判別値をそれぞれ所定の値に換算した後に、それぞれ足し合わせた判別値の合計値が所定の閾値を超えている場合には、前記画像上の物体を所定の物体であるとする一つの判別結果を導き出すことを特徴とする。 The invention according to claim 4, in the above invention, the first object determination means is for calculating a discrimination value of the object on the image, the second object determination means, wherein after converting the respective discrimination values ​​to each predetermined value by the first object determination means, if the total value of the discriminant value sum respectively exceeds a predetermined threshold, predetermined object the object on the image and wherein the deriving the one determination result to be.

また、請求項5に係る発明は、上記の発明において、前記第二の物体判別手段は、前記画像上の所定の距離範囲内の物体については、前記第一物体判別手段による各判別結果の全てが前記画像上の物体を所定の物体であると判別するものである場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出し、また、前記画像上の所定の距離範囲外の物体については、前記第一物体判別手段による各判別結果のうち一つでも前記画像上の物体を所定の物体であると判別するものがある場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする。 The invention according to claim 5, in the above invention, the second object determination means, for the object within a predetermined distance range on the image, all of the discrimination result by said first object determining means There if one intends to determine the object on the image as a predetermined object derives one determination result to the object on the image is a predetermined object, also given on the image the distance range of the object, wherein when the at one of the determination result by the first object determination unit is intended to determine the object on the image as a predetermined object, the object on the image and wherein the deriving the one determination result to a predetermined object.

また、請求項6に係る発明は、上記の発明において、前記第二の物体判別手段は、天候に応じて、前記第一物体判別手段による各判別結果から一つの判別結果を導き出すことを特徴とする。 The invention according to claim 6, in the above invention, the second object determination means includes characterized in that depending on the weather, derive one determination result from the determination result by said first object determining means to.

また、請求項7に係る発明は、上記の発明において、前記第二の物体判別手段は、処理負荷に応じて、前記第一物体判別手段による各判別結果から一つの判別結果を導き出すことを特徴とする。 The feature invention according to claim 7, in the above invention, the second object determination means according to the processing load, that derive one determination result from the determination result by said first object determining means to.

また、請求項8に係る発明は、上記の発明において、前記第二の物体判別手段による各判別結果に応じて、車両を制御する車両制御手段をさらに備えたことを特徴とする。 The invention according to claim 8, in the above invention, according to the judgment result of the second object determination means, and further comprising a vehicle control unit for controlling the vehicle.

また、請求項9に係る発明は、上記の発明において、前記第二の判別手段による各判別結果に応じて、前記車両に対して警告を報知する警告報知手段をさらに備えたことを特徴とする。 The invention according to claim 9, in the above invention, according to the determination result by said second discriminating means, and further comprising a warning informing means for informing a warning to the vehicle .

また、請求項10に係る発明は、上記の発明において、画像内の物体を判別する物体判別方法において、複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別工程と、前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別工程と、を含んだことを特徴とする。 The invention according to claim 10, in the above invention, the object determination method of determining an object in an image, the detected object within the image by using a plurality of object determination method for each object determination technique a first object determination step of determining, and characterized by including a second object determination step of deriving one determination result for the object on the image from the judgment result of the first object determination means .

また、請求項11に係る発明は、上記の発明において、画像内の物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別手順と、前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別手順と、をコンピュータに実行させることを特徴とする。 The invention according to claim 11, in the above invention, the object determination program for executing the method of determining an object in an image to a computer, the objects detected in the image by using a plurality of object determination technique a first object determination procedure to determine for each object determination method, and a second object determination procedures to derive one determination result for the object on the image from the judgment result of the first object determination unit computer characterized in that to execute the.

請求項1、10および11の発明によれば、この物体判別装置は、複数の物体判別手法よる各物体判別結果から、一つの判別結果を導き出すことで画像内の物体を判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 According to the invention of claim 1, 10 and 11, the object determination device, from the object determination result by the plurality of object determination method, since it is determined objects in the image by deriving one determination result, one of the its accuracy can be prevented from decreasing as compared to determine the object in an image using object determination technique.

また、請求項2の発明によれば、この物体判別装置は、複数の物体判別手法による各物体判別結果の全てが、画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 Further, according to the invention of claim 2, the object determination device, when all of the object determination result by the plurality of object determination technique is for the object in an image as a predetermined object, since object determination by deriving the discrimination result of the object in an image as a predetermined object, prevent its accuracy decreases compared to determine the object in an image using one of the object determination method it is possible to become.

また、請求項3の発明によれば、この物体判別装置は、複数の物体判別手法による各物体判別結果のうちいずれか一つでも画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、画像内の物体を判別できることが考えられ、結果的に物体判別の精度が低下するのを防止することが可能となる。 Also, when according to the invention of claim 3, the object determination device is an object in an image in one of the object determination result by the plurality of object determination technique in which a is a predetermined object the since object determination by deriving the discrimination result of the object in an image as a predetermined object, compared to determine the object in an image using one of the object determination technique, objects in the image it is believed that can determine the accuracy of the result, the object determination it is possible to prevent degradation.

また、請求項4の発明によれば、この物体判別装置は、複数の物体検出手法により算出された判別値を足し合わせて、その足し合わせた判別値が所定の閾値を超えていれば画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 Further, according to the invention of claim 4, the object determination device is adding the discriminant value calculated by the plurality of object detection method, the sum combined discriminant value image if more than a predetermined threshold value since the object performing object determination by deriving the discrimination results to a predetermined object, its accuracy can be prevented from decreasing as compared to determine the object in an image using one of the object determination method it becomes possible.

また、請求項5の発明によれば、この物体判別装置は、画像内の所定の距離範囲内にある物体については、複数の物体判別手法による各物体判別結果の全てが、画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出し、画像内の所定の距離範囲外にある物体については、複数の物体判別手法による各物体判別結果のうちいずれか一つでも画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、物体判別の必要性の高い近距離に位置する物体の判別については、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 Further, according to the invention of claim 5, the object determination device, for objects that are within a predetermined distance range in the image, all of the object determination result by the plurality of object determination technique, an object in an image If it is an a predetermined object derives a determination result of the object in an image as a predetermined object, the object is outside the predetermined distance range in the image, a plurality of object determination technique If an object in an image in one of the object determination result is intended to be a predetermined object by the object by deriving the discrimination result of the object in an image as a predetermined object since determine, for object determination of which is located a short distance highly necessary for object determination, the accuracy can be prevented from decreasing as compared to determine the object in an image using one of the object determination method it becomes possible.

また、請求項6の発明によれば、この物体判別装置は、天候に応じて、複数の物体検出手法による各物体判別結果から一つの判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、天候によりその精度が低下するのを防止することが可能となる。 Further, according to the invention of claim 6, the object determination device, depending on the weather, since the object determination by deriving one determination result from the object determination result by the plurality of object detection techniques, one object compared to determine the object in an image by using a discrimination method, the accuracy weather becomes possible to prevent degradation.

また、請求項7の発明によれば、この物体判別装置は、処理負荷に応じて、複数の物体検出手法による各物体判別結果から一つの判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、処理負荷によりその精度が低下するのを防止することが可能となる。 Further, according to the invention of claim 7, the object determination device in accordance with the processing load, since the object determination by deriving one determination result from the object determination result by the plurality of object detection techniques, one of compared to determine the object in an image using object determination technique, the accuracy processing load can be prevented from being lowered.

また、請求項8の発明によれば、この物体判別装置は、複数の物体検出手法による各物体判別結果に応じて車両の制御を行うので、一つの物体判別手法による物体判別結果に応じて車両制御を行うのに比べて、より適切に車両制御を行うことが可能となる。 Further, according to the invention of claim 8, the object determination device, since the control of the vehicle in accordance with the object determination result by the plurality of object detection method according to object determination result by one object discrimination method vehicle compared to perform control, it is possible to perform more appropriate vehicle control.

また、請求項9の発明によれば、この物体判別装置は、複数の物体検出手法による各物体判別結果に応じて警告の報知を行うので、一つの物体判別手法による物体判別結果に応じて警告の報知を行うのに比べて、より適切に警告の報知を行うことが可能となる。 Further, according to the invention of claim 9, the object determination device, since the notification of the alert according to each object determination result by the plurality of object detection method according to object determination result by one object discrimination method Warning compared to for reporting, it is possible to perform notification of better warning.

以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。 With reference to the accompanying drawings, object determination device according to the present invention, an embodiment of the object determination method and the object determination program in detail. なお、以下の実施例では、車載の撮像装置で画像内に撮像された物体を判別する場合について説明する。 In the following embodiments, the case to determine the object captured in the image in the vehicle-mounted imaging apparatus.

以下の実施例1では、実施例1に係る物体判別装置の概要および特徴、物体判別装置の構成および処理の流れを順に説明し、最後に実施例1による効果を説明する。 In the following Examples 1, outline and features of the object determination device according to a first embodiment, describes the configuration and process flow of the object determination device in order, followed by a description of an effect of the first embodiment. なお、以下の実施例1では、車載の撮像装置を用いて撮像された画像内の物体を判別する場合について説明する。 In Example 1 below, the case of discriminating an object in an image captured using the vehicle of the imaging device.

[概要および特徴(実施例1)] Outline and features (Example 1)
まず最初に、図1を用いて、実施例1に係る物体判別装置の概要および特徴を説明する。 First, with reference to FIG. 1, an outline and characteristics of the object determination device according to the first embodiment will be described first. 図1は、実施例1に係る物体判別装置の概要を説明するための図である。 Figure 1 is a diagram for explaining the outline of the object determination device according to the first embodiment. 同図に示すように、実施例1に係る物体判別装置は、画像内の物体を判別することを概要とするものであるが、複数の物体判別手法を用いて画像内の物体を判別する点に主たる特徴があり、これにより、画像内の物体を判別する際の精度低下を防止できるようにしている。 As shown in the figure, object determination apparatus according to the first embodiment, but is intended to outline to determine the objects in the image, the point to determine the object in an image using a plurality of object determination technique mainly it is characterized, This makes it possible to prevent a reduction in accuracy of time of discriminating an object in an image.

この主たる特徴について簡単に説明すると、この物体判別装置は、最終的な物体判別結果を導き出すための総合判別テーブルを所持する。 Briefly this main characteristic, the object determination device, carrying the overall determination table to derive the final object determination result. そして、この総合判別テーブルを用いて最終的な物体判別結果を導き出すために、まず、画像内から判別の対象となる候補物体の検出を行う。 Then, in order to derive the final object determination results using this complex determination table, first, the detection of the candidate object to be determined from the image. この候補物体の検出は、背景差分法や顕著性算出法などを用いた画像処理により行う。 Detection of the candidate object is carried out by image processing using such as a background difference method or the saliency calculation method.

次に、画像内から検出した候補物体の判別を行う。 Next, the determination of the candidate object detected from the image. この判別は、パターンマッチング手法およびニューラルネットワーク手法を用いて行う。 This determination is performed using a pattern matching technique and neural network techniques. そして、各手法による各物体判別結果を総合判別テーブルに照らし合わせて最終的に一つの物体判別結果を導き出す。 Then, finally derive one object discrimination result against the comprehensive determination table each object determination results of each method. 例えば、図1に示すように、パターンマッチング手法およびニューラルネットワーク手法による各判別結果がともに「歩行者」であるとするものであった場合には、総合判別テーブルに照らし合わせて最終的に「歩行者」とする判別結果を導き出す。 For example, as shown in FIG. 1, in each case the discrimination result by the pattern matching technique and neural network techniques were those both assumed to be "pedestrian" is finally "walking in the light of overall determination table derive the discrimination results to the user. " その一方、パターンマッチング手法およびニューラルネットワーク手法による各判別結果がともに「歩行者ではない」とするものであった場合には、総合判別テーブルに照らし合わせて最終的に「歩行者ではない」とする判別結果を導き出す。 On the other hand, when the determination result by the pattern matching technique and neural network techniques were those both as "non-pedestrian" is finally a "non-pedestrian" in light of the overall determination table derive the discrimination results.

このように、この物体判別装置は、複数の物体判別手法よる各物体判別結果から、一つの判別結果を導き出すことで画像内の物体を判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 Thus, the object determination device, from the object determination result by the plurality of object determination method, since it is determined objects in the image by deriving one determination result, the image of using one of the object determination method its accuracy can be prevented from decreasing as compared to determine the object.

[物体判別装置の構成(実施例1)] Configuration of object determination device (Example 1)
次に、図2を用いて、図1に示した物体判別装置30の構成を説明する。 Next, with reference to FIG. 2, the structure of the object determination device 30 shown in FIG. 図2は、物体判別装置30の構成を示すブロック図である。 Figure 2 is a block diagram showing the configuration of an object determination device 30. 同図に示すように、この物体判別装置30は、ナビ部11、レーダ部12、前処理部13、物体検出装置14、衝突危険度判定部15に接続される。 As shown in the figure, the object determination device 30, the navigation unit 11, the radar unit 12, the preprocessing section 13, the object detection apparatus 14 is connected to a collision risk judging section 15. また、物体判別装置30は、記憶部31と、制御部32とから構成される。 Further, the object determination device 30 includes a storage unit 31, and a control unit 32..

このうち、ナビ(ナビゲーション)部11は、GPS(Global Positioning System)人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。 Of these, navigation (navigation) 11, GPS communicates with (Global Positioning System) satellite is a means for setting and induction of the traveling path from the position and the map data of a motor vehicle identified. また、ナビ部11は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を運転者に供給する。 The navigation unit 11 supplies position information and the road shape of the car, the road width, the various useful information to the vehicle driving operation such as tilting the driver.

レーダ部12は、レーダ(例えば、76.5GHzのミリ波)を照射して、前方の車両や障害物との距離や速度、方向などを測定する手段である。 The radar unit 12, a radar (e.g., millimeter wave 76.5 GHz) was irradiated with a means for measuring the distance and the speed, direction of the front of the vehicle and obstacles. 前処理部13は、撮像装置10(例えば、可視光カメラ、単眼カメラ、ステレオカメラ)から送信されてくる画像に前処理を行う処理部であり、フィルタ部13aと輪郭抽出部13bとから構成される。 Preprocessing section 13, the imaging device 10 (e.g., visible light camera, a monocular camera, a stereo camera) is a processing unit that performs pre-processing on the image transmitted from the made up of a filter unit 13a and the contour extracting unit 13b that. このうち、フィルタ部13aは、画像内に映し出された物体の輪郭を強調するための前処理(例えば、シャープネス、コントラスト調整、彩度調整)を行う手段である。 Among them, the filter unit 13a, pretreatment for enhancing edges of an object displayed in the image (e.g., sharpness, contrast adjustment, color saturation adjustment) is a means for performing. また、輪郭抽出部13bは、フィルタ部13aによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。 Furthermore, the contour extraction unit 13b, based on the filtering applied by the filter unit 13a, a means for extracting a contour of an object in an image.

物体検出装置14は、撮像装置10から前処理部13を介して受け付けた画像から物体を検出する(画像内の領域を絞り込む)装置である。 Object detection apparatus 14 (Filter area in the image) for detecting an object from the image received via the preprocessing unit 13 from the imaging device 10 is a device. 例えば、背景差分法(フレーム間差分法)あるいは顕著性算出方法を用いた画像処理により画像内に映し出された物体が占める領域を検出する(テンプレートをあてはめる領域を絞り込む)。 For example, (Filter area fit a template) for detecting a region in which the object occupies, which is projected in the image by image processing using the background subtraction method (inter-frame difference method) or saliency calculation method. そして、この領域に対して、後述する物体判別装置30は、テンプレートマッチング手法およびニューラルネットワーク手法を用いた画像処理を行う。 Then, for this region, the object determination device 30 to be described later, performs image processing using the template matching technique and neural network techniques. なお、物体検出装置14は、物体検出処理結果を物体判別装置30および衝突危険度判定部15に送信する。 Incidentally, the object detection apparatus 14 transmits the object detection processing result to the object determination device 30 and the collision risk judging section 15.

衝突危険度判定部15は、物体検出装置14および物体判別装置30の総合判別部32cから受け付けた処理結果に基づいて、画像から検出された物体との衝突危険度を予測して判定する処理部である。 Collision risk determining unit 15 based on the processing result received from the total determination unit 32c of the object detection apparatus 14 and the object determination device 30 determines processing unit predicts a collision risk between the detected object from the image it is. 例えば、物体判別装置30により検出された物体が歩行者であり、画像内の位置から車両の近くを移動中である場合や、物体判別装置30による判定結果が子供である場合には衝突危険度は高いと判定する。 For example, an object is a pedestrian detected by the object determination device 30, when it is moving near the position in the image of the vehicle and, when the determination result by the object determination device 30 is a child collision risk determined that high. また、物体検出装置14によって画像内から検出された物体が歩行者であり、車両から離れた位置に静止中である場合には、衝突危険度は低いと判定する。 Furthermore, the object detected from the image by the object detecting device 14 is a pedestrian, when it is at rest at a position away from the vehicle, collision risk is determined to be low. なお、この衝突危険度判定部15による処理結果は、車両制御部16および報知制御部17に送信される。 Incidentally, a result processed by the collision risk judging section 15 is transmitted to the vehicle control unit 16 and notification control unit 17.

このうち、車両制御部16は、衝突危険度判定処理部15から受け付けた処理結果に基づいて、車両制御を行う処理部である。 Among them, the vehicle control unit 16 based on the processing result received from the collision risk judging section 15 is a processing unit that performs vehicle control. 例えば、衝突危険度判定処理部15から、物体検出装置14によって画像内から検出された物体と衝突する危険度が高いという判定結果を受け付けた場合には、車両を停止する制御を行う(例えば、運転者がブレーキを踏まなくとも、自動的に車両制御に介入して安全に車両を停止させる)。 For example, from the collision risk judging section 15, when receiving the determination result that high risk of collision with the object detected from the image by the object detection unit 14 performs control to stop the vehicle (e.g., even the driver the trouble of going to brake, to automatically safely stop the vehicle by intervening in a vehicle control). また、衝突危険度判定処理部15から、物体検出装置30によって画像内から検出された物体と衝突する危険度が低いという判定結果を受け付けた場合には、車両を減速する制御または車両制御のアシスト(例えば、ブレーキのあそびを少なくして、車両の制動準備をする)を行う。 Further, from the collision risk judging section 15, when the risk of collision with the object detected from the image by the object detection apparatus 30 has received the determination result that low, control or vehicle control to decelerate the vehicle assist (e.g., with less play of the brake, the braking preparation of the vehicle) is performed.

報知制御部17は、衝突危険度判定処理部15から受け付けた処理結果に基づいて、警告の報知を行う処理部である。 Notification control unit 17, based on the processing result received from the collision risk judging section 15, a processing section for informing a warning. 例えば、衝突危険度判定処理部15から、物体検出装置14によって画像内から検出された物体と衝突する危険度が高いという判定結果を受け付けた場合には、車内通知部18からアラーム音や音声などにより警告を報知する。 For example, from the collision risk judging section 15, when the risk of collision with the object detected from the image by the object detection apparatus 14 has received the determination result that high, from the vehicle interior notification section 18 alarm sound or voice etc. It gives a warning by. また、衝突危険度判定部15から、物体検出装置30によって画像内から検出された物体と衝突する危険度が低いという判定結果を受け付けた場合には、車内通知部18から音声や画像によって注意を促す。 Further, from the collision risk judging section 15, when the risk of collision with the object detected from the image by the object detection apparatus 30 has received the determination result that low, attention by voice or image from the vehicle interior notification unit 18 prompt.

車内通知部18は、ナビ部11や報知制御部17からの情報を通知する手段であり、ディスプレイやスピーカなどで構成される。 Vehicle notification unit 18 is means for notifying the information from the navigation unit 11 and notification control unit 17, and the like in a display or a speaker. 例えば、ディスプレイの一部を点滅させて運転者の注意を促したり、スピーカからメッセージやアラーム音を流すことにより運転者に対して警告を行ったりする。 For example, to alert the driver by flashing a portion of the display, or a warning to the driver by passing messages or alarm sound from the speaker.

物体判別装置30の記憶部31は、制御部32による各種処理に必要なデータおよびプログラムを格納する格納手段(記憶手段)であり、例えば、後述するパターンマッチング実行部32aにおいて用いられるテンプレートなども記憶している。 Storage unit 31 of the object determination device 30 is a storage means for storing data and programs necessary for various processes performed by the control unit 32 (storage means), for example, stores well as templates used in the pattern matching execution unit 32a to be described later doing. そして、特に本発明に密接に関連するものとしては、総合判別テーブル31aを備える。 Then, as those closely related to the present invention comprises a comprehensive determination table 31a.

この総合判別テーブル31aは、最終的な物体判別に関する各種の情報を記憶する手段であり、具体的には、図3に例示するように、パターンマッチングおよびニューラルネットワークによる各判別結果の全てが所定の物体であるとするものである場合には、最終的な総合判別結果を「所定の物体である」とするように規定し、また、それ以外(各判別結果のいずれか一つまたは全てが所定の物体ではないとするもの)である場合には、最終的な総合判別結果を「所定の物体ではない」とするように規定して構成される。 The overall determination table 31a is a means for storing various information about the final object determination, specifically, as illustrated in FIG. 3, all of the discrimination result of the pattern matching and neural networks is given If it is an an object, a final comprehensive determination result is defined to be a "is a predetermined object", also one or all or of the other (the determination result is given If it is the one that is not the object) is configured to final comprehensive determination results specified so as to "not predetermined object."

物体判別装置30の制御部32は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、パターンマッチング実行部32aと、ニューラルネットワーク実行部32bと、総合判別部32cとを備える。 Control unit 32 of the object determination device 30 includes an internal memory for storing programs and necessary data defines such as a predetermined control program, various processing routines and uses them there in the processing unit to execute various processes , in particular as those closely related to the present invention includes a pattern matching execution unit 32a, and the neural network execution unit 32b, and a total discrimination section 32c. なお、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは、特許請求の範囲に記載の「第一の物体判別手段」に対応し、総合判別部32cは同じく「第二の物体判別手段」に対応する。 The pattern matching execution unit 32a and the neural network execution unit 32b, corresponds to corresponds to the "first object discriminating means" comprehensive determination unit 32c is also a "second object determination means" in the claims to.

このうち、パターンマッチング実行部32aは、画像内の物体を判別する処理部であり、具体的には、物体検出装置14によって画像内から検出された候補物体が、その画像内において位置する領域にテンプレートをあてはめることによって、候補物体の各画素とテンプレートの各画素とのマッチングの程度から、その候補物体を「所定の物体である」とする判別結果を導き出す。 Of these, the pattern matching execution unit 32a, a processing unit for determining an object in an image, specifically, the candidate object detected from the image by the object detection unit 14, a region located within the image by fitting the template, from the degree of matching with each pixel of each pixel and the template of the candidate object, deriving the discrimination results for the candidate object to be "predetermined object." 例えば、候補物体の各画素と歩行者用のテンプレートの画素と所定の程度マッチングが得られるならば、候補物体を「歩行者」とする判別結果を導き出す。 For example, if the pixel with a predetermined degree matching templates for pedestrians and each pixel of the candidate object is obtained, deriving the discrimination results for the candidate object and the "pedestrian".

つまり、パターンマッチングでは、画像内に現れた候補物体に対し、その画像上の位置で歩行者の形に応じたいくつかのテンプレートを当てはめ、その候補物体の形と比較して、形の一致性(度)を見て歩行者か否かの判別結果を導き出すものである。 That is, in the pattern matching with respect to candidate objects appearing in the image, fit a number of templates corresponding to the shape of the pedestrian at a location on the image, as compared with the shape of the candidate object, the shape of consistency (degrees) is intended to derive the pedestrian determination of whether or not the result watches. そして、当てはめの結果、完全一致により「歩行者」判別してもよいが、相似比較で所定の以上の一致度で「歩行者」と判別してもよい。 As a result of the fitting may determine "pedestrian" by exact match, but may be determined as "pedestrian" at a predetermined or higher degree of coincidence with similar comparison. なお、パターンマッチング実行部32aは物体判別結果を総合判別部32cに送信する。 The pattern matching execution unit 32a transmits the object determination result to the comprehensive determination unit 32c.

ニューラルネットワーク実行部32bは、パターンマッチング実行部32aと同様に画像内の物体を判別する処理部であり、具体的には、物体検出装置14によって画像内から検出された候補物体を、あらかじめ学習して記憶している物体のパターンに照らし合わせて、「所定の物体である」とする判別結果を導き出す。 Neural network execution unit 32b is a processing unit for determining the object in an image similar to the pattern matching execution unit 32a, specifically, a candidate object detected from the image by the object detection unit 14, and learned in advance against the pattern of an object stored Te, derive determination result to "a predetermined object." 例えば、あらかじめ学習して記憶している物体のパターンから候補物体を「歩行者」であるとする判別結果を導き出す。 For example, it derives the determination result to be "pedestrian" a candidate object from the pattern of the object that is stored in advance learning.

つまり、ニューラルネットワークは、歩行者の形や動きを学習しておき、その学習結果により画像内における実際の候補物体の形や動きを見ながら判別結果を導き出すものである。 In other words, neural network in advance by learning the shape and movement of a pedestrian, in which deriving the discrimination result while looking at the actual candidate object shapes and movements in the image by the learning result. なお、ニューラルネットワーク実行部32bは、物体判別結果を総合判別部32cに送信する。 Incidentally, the neural network execution unit 32b transmits the object determination result to the comprehensive determination unit 32c.

総合判別部32cは、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから送信されてくる各物体判別結果と総合判別テーブル31aとを照らし合わせて、最終的な物体判別結果を導き出す処理部である。 Overall judgment unit 32c is against a comprehensive determination table 31a and the object determination result transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b, a processing unit to derive a final object determination result.

具体的には、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「所定の物体である」とする判別結果であるか否かの判定を行う。 Specifically, it is determined whether the determination result for the both candidate object is the determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b to be "predetermined object" . その判定の結果、上記各判別結果がともに「所定の物体である」とするものである場合には、総合判別部32cは、総合判別テーブル31a(図3参照)に照らし合わせて、画像内の物体を「所定の物体である」とする最終的な総合判別結果を導き出す。 Result of the determination, when each judgment result is that both the "a predetermined object" is a general determination unit 32c is in the light of overall determination table 31a (see FIG. 3), image of derive the final comprehensive determination result of the object to be "predetermined object."

一方、上記判定の結果、上記各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体ではない」とするものである場合には、総合判別部32cは、総合判別テーブル31a(図3参照)に照らし合わせて、画像内の物体を「所定の物体ではない」とする最終的な総合判別結果を導き出す。 On the other hand, the determination result, if one intends above any one or all of the determination result of the candidate objects as "not a predetermined object" is a general determination unit 32c is a comprehensive determination table 31a (FIG. 3 reference) in against the object in an image deriving final comprehensive determination result is "not a predetermined object."

例えば、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「歩行者である」とするものである場合には、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「歩行者」とする最終的な総合判別結果を導き出す。 For example, if the both candidate object is the determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b is intended to be "a pedestrian" is a general determination unit 32c is a comprehensive determination against the table 31a, the object in an image deriving final comprehensive determination result is "pedestrian". 一方、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「歩行者ではない」とするものである場合には、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「歩行者ではない」とする最終的な総合判別結果を導き出す。 On the other hand, if it is intended to all any one or of each determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b is "not a pedestrian" candidate object, comprehensive determination part 32c is in light of the overall determination table 31a, derive the final comprehensive determination result of the object in the image is "not a pedestrian."

[物体判別装置による処理(実施例1)] Process according to object determination device (Example 1)
次に、図4を用いて、実施例1に係る物体判別装置の処理の流れを説明する。 Next, with reference to FIG. 4, a process flow of the object determination device according to the first embodiment will be described. 図4は、実施例1に係る物体判別装置の処理の流れを示すフローチャートである。 Figure 4 is a flowchart showing a process flow of the object determination device according to the first embodiment.

同図に示すように、画像の入力を受け付けると(ステップS401)、物体検出装置14は、画像内から判別の対象となる候補物体の検出を行う(ステップS402)。 As shown in the figure, when receiving an input image (step S401), the object detection apparatus 14 detects a candidate object of interest of the determination from the image (step S402). その結果、物体検出装置14において画像内から判別の対象となる候補物体が検出された場合には(ステップS403肯定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは、候補物体の判別を行って判別結果を導き出す(ステップS404)。 As a result, when the subject to candidate objects of determination from the image is detected in the object detection device 14 (step S403: Yes), the pattern matching execution unit 32a and the neural network execution unit 32b, subjected to discrimination of candidate object deriving the discrimination results Te (step S404).

具体的には、パターンマッチングは、画像内に現れた候補物体に対し、その画像上の位置で歩行者の形に応じたいくつかのテンプレートを当てはめ、その候補物体の形と比較して、形の一致性(度)を見て歩行者か否かの判別結果を導き出すものである。 Specifically, the pattern matching with respect to the candidate object appearing in the image, fit a number of templates corresponding to the shape of the pedestrian at a location on the image, as compared with the shape of the candidate object, form look at the matching (degree) is intended to derive a pedestrian whether determination result. そして、当てはめの結果、完全一致により「歩行者」判別してもよいが、相似比較で所定の以上の一致度で「歩行者」と判別してもよい。 As a result of the fitting may determine "pedestrian" by exact match, but may be determined as "pedestrian" at a predetermined or higher degree of coincidence with similar comparison. また、ニューラルネットワークは、歩行者の形や動きを学習しておき、その学習結果により画像内における実際の候補物体の形や動きを見ながら判別結果を導き出すものである。 Further, the neural network in advance by learning the shape and movement of a pedestrian, in which deriving the discrimination result while looking at the actual candidate object shapes and movements in the image by the learning result.

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは、各判別結果(例えば、候補物体を「歩行者である」または「歩行者ではない」とする判別結果)を総合判別部32cに対して送信する。 Then, the pattern matching execution unit 32a and the neural network execution unit 32b, the determination result (for example, a candidate object discrimination result as "a pedestrian" or "non-pedestrian") to the total determination unit 32c the Send. ここで、ステップS403の説明に戻ると、物体検出装置14おいて画像内から候補物体を検出されなかった場合には(ステップS403否定)、物体判別装置30は、次の画像入力を待つ。 Referring back to the description of step S403, if not detected candidate object from the object detecting device 14 Oite image (step S403 negative), the object discriminating apparatus 30 waits for the next image input.

パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから各判別結果の送信を受けて、総合判別部32cは、最終的な総合判別結果を導き出す(ステップS405〜S407)。 From the pattern matching execution unit 32a and the neural network execution unit 32b receives the transmission of each discrimination result, comprehensive determination unit 32c derives the final comprehensive determination result (step S405 to S407). 具体的には、まず、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから送信されてきた各判別結果がともに候補物体を「所定の物体である」とする判別結果であるか否かの判定を行う(ステップS405)。 Specifically, first, a determination of whether the determination result for the both candidate object is the determination result transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b to be "predetermined object" (step S405).

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「所定の物体である」(例えば、「歩行者である」)とするものである場合には(ステップS405肯定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体である」(例えば、「歩行者である」)とする最終的な総合判別結果を導き出す(ステップS406)。 Each determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b is "a predetermined object" together candidate object (e.g., "a pedestrian") if it is an the (step S405: Yes), the total determination unit 32c is in the light of overall determination table 31a, the object in an image "is a predetermined object" (eg, "a pedestrian") final to derive a comprehensive determination result (step S406).

また、ここで、ステップS405の説明に戻ると、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体ではない」(例えば、「歩行者ではない」)とするものである場合には(ステップS405否定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体ではない」(例えば、「歩行者ではない」)とする最終的な総合判別結果を導き出す(ステップS407)。 Also, here, referring back to the description of step S405, not any one or all of the candidate object of the determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b at a "predetermined object "(e.g.," non-pedestrian ") if it is an (step S405 negative), the total determination unit 32c is in the light of overall determination table 31a, the object in an image" at a predetermined object no "(for example," is not a pedestrian ") derive the final comprehensive determination result to (step S407).

[実施例1の効果] Effects of First Embodiment
上述してきたように、実施例1によれば、この物体判別装置30は、複数の物体判別手法よる各物体判別結果から、一つの判別結果を導き出すことで画像内の物体を判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 As described above, according to the first embodiment, the object determination device 30, from the object determination result by the plurality of object determination method, since it is determined objects in the image by deriving one determination result, one its accuracy than to determine the object in the image can be prevented from decreasing by using the One object discrimination method.

また、実施例1によれば、この物体判別装置30は、複数の物体判別手法による各物体判別結果の全てが、画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 Furthermore, according to the first embodiment, the object determination device 30, when all of the object determination result by the plurality of object determination technique is for the object in an image as a predetermined object image since object determination by deriving the discrimination result of the object of the inner as the predetermined object, its accuracy can be prevented from decreasing as compared to determine the object in an image using one of the object determination method it becomes possible.

また、実施例1によれば、この物体判別装置30は、複数の物体検出手法による各物体判別結果に応じて車両の制御を行うので、一つの物体判別手法による物体判別結果に応じて車両制御を行うのに比べて、より適切に車両制御を行うことが可能となる。 Furthermore, according to the first embodiment, the object determination device 30, since the control of the vehicle in accordance with the object determination result by the plurality of object detection method, the vehicle control according to object determination result by one object discrimination method compared to perform, it is possible to perform more appropriate vehicle control.

また、実施例1によれば、この物体判別装置30は、複数の物体検出手法による各物体判別結果に応じて警告の報知を行うので、一つの物体判別手法による物体判別結果に応じて警告の報知を行うのに比べて、より適切に警告の報知を行うことが可能となる。 Furthermore, according to the first embodiment, the object determination device 30, since the notification of the alert according to each object determination result by the plurality of object detection technique, the warning in response to object determination result by one object discrimination method compared to perform notification, it is possible to perform notification of better warning.

ところで、上記の実施例では、複数の物体判別手法による各物体判別結果の全てが歩行者である場合には、歩行者と判別する場合について説明したが、本発明はこれに限定されるものではなく、複数の物体判別手法による各物体判別結果のうちいずれか一つでも画像内の物体を歩行者であるとするものである場合には、歩行者と判別するようにしてもよい。 Incidentally, in the above embodiment, when all of the object determination result by the plurality of object determination technique is a pedestrian has been described for the case of determining that a pedestrian, but the present invention is not limited to this no, if it is an according plurality of object determination technique is a pedestrian objects in images even in one of the object determination result may be determined that a pedestrian. そこで、以下の実施例2では、図5および図6を用いて、この場合の物体判別装置の処理の流れについて説明し、最後に実施例2の効果を説明する。 Therefore, in Example 2 below, with reference to FIGS. 5 and 6, a description of the flow of processing object determination device in this case, followed by a description of an effect of the second embodiment. 図5は、実施例2に係る物体判別装置の処理の流れを示すフローチャートである。 Figure 5 is a flowchart showing a process flow of the object determination device according to the second embodiment. 図6は、実施例2に係る総合判別テーブルの構成例を示す図である。 Figure 6 is a diagram showing a configuration example of a comprehensive determination table according to the second embodiment.

図5に示すように、画像の入力を受け付けると(ステップS501)、物体検出装置14は、画像内から判別の対象となる候補物体の検出を行う(ステップS502)。 As shown in FIG. 5, when receiving an input image (step S501), the object detection apparatus 14 detects a candidate object of interest of the determination from the image (step S502). その結果、物体検出装置14において画像内から判別の対象となる候補物体が検出された場合には(ステップS503肯定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは、候補物体の判別を行って判別結果を導き出す(ステップS504)。 As a result, when the subject to candidate objects of determination from the image is detected in the object detection device 14 (step S503: Yes), the pattern matching execution unit 32a and the neural network execution unit 32b, subjected to discrimination of candidate object deriving the discrimination results Te (step S504).

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは各判別結果(例えば、候補物体を「歩行者である」または「歩行者ではない」とする判別結果)を総合判別部32cに対して送信する。 Then, the pattern matching execution unit 32a and the neural network execution unit 32b each determination result (for example, a candidate object discrimination result as "a pedestrian" or "non-pedestrian") transmitted to the total determination unit 32c the to. ここで、ステップS503の説明に戻ると、物体検出装置14において画像内から候補物体を検出されなかった場合には(ステップS503否定)、この物体判別装置は、次の画像入力を待つ。 Referring back to the description of step S503, if not detected candidate objects from the image within the object detection device 14 (step S503 negative), the object determination device waits for the next image input.

パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから各判別結果の送信を受けて、総合判別部32cは、最終的な総合判別結果を導き出す(ステップS505〜S507)。 From the pattern matching execution unit 32a and the neural network execution unit 32b receives the transmission of each discrimination result, comprehensive determination unit 32c derives the final comprehensive determination result (step S505~S507). 具体的には、まず、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体である」とする判別結果であるか否かの判定を行う(ステップS505)。 Specifically, first, in the determination result of any one of the determination result transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b or all the candidate objects as "a predetermined object" it is determined whether the (step S505).

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体である」(例えば、「歩行者である」)とするものである場合には(ステップS505肯定)、総合判別部32cは、総合判別テーブル31a(図6参照)に照らし合わせて、画像内の物体を「所定の物体である」(例えば、「歩行者である」)とする最終的な総合判別結果を導き出す(ステップS506)。 Then, any one or all of the determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b is "a predetermined object" a candidate object (e.g., "a pedestrian") If it is an (Yes at step S505), the overall determination section 32c is in the light of overall determination table 31a (see FIG. 6), "a predetermined object" an object in an image (e.g., " derive a final overall result of discrimination and is a pedestrian ") (step S506).

また、ここで、ステップS505の説明に戻ると、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「所定の物体ではない」(例えば、「歩行者ではない」)とするものである場合には(ステップS505否定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体ではない」(例えば、「歩行者ではない」)とする最終的な総合判別結果を導き出す(ステップS507)。 Also, here, referring back to the description of step S505, "not a predetermined object" each determination results are both candidate objects that have been transmitted from the pattern matching execution unit 32a and the neural network execution unit 32 b (e.g., "walking in the case it is an not ") is user (no at step S505), the overall determination section 32c is in the light of overall determination table 31a, not the objects in the image in the" predetermined object "(e.g.," walking is not a person ") and the final derive a comprehensive determination result (step S507).

[実施例2の効果] Effects of Second Embodiment
上述してきたように、実施例2によれば、この物体判別装置は、複数の物体判別手法による各物体判別結果のうちいずれか一つでも画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、画像内の物体を判別できることが考えられ、結果的に物体判別の精度が低下するのを防止することが可能となる。 As described above, according to the second embodiment, the object determination device, also by a plurality of object determination method in any one of the object determination result as to the object in an image as a predetermined object in some cases, since the object determination by deriving the discrimination result of the object in an image as a predetermined object, compared to determine the object in an image using one of the object determination method, image it is believed that can determine an object, the accuracy of the result, the object determination it is possible to prevent degradation.

また、上記の実施例では、複数の物体判別手法による各判別結果をそのまま用いて画像内の物体を判別する場合について説明したが、本発明はこれに限定されるものではなく、複数の物体判別手法による各判別結果からそれぞれ所定の判別値を求めて、それらの判別値を足し合わせた値が所定の閾値を超えているか否かによって画像内の物体を判別するようにしてもよい。 In the above embodiment has described the case to determine the object in an image as it is with the discrimination result by the plurality of object determination technique, the present invention is not limited thereto, a plurality of object determination from each judgment result by methods seeking predetermined discrimination value may be determined object in an image by a value obtained by adding their determination value whether exceeds a predetermined threshold.

そこで、以下の実施例3では、図7〜図10を用いて、この場合の物体判別装置の構成および処理の流れについて順に説明し、最後に実施例3の効果を説明する。 In the following third embodiment, with reference to FIGS. 7-10, the flow of a configuration and processing of the object determination device in this case is described in order to explain the effect of the last third embodiment. 図7は、実施例3に係る物体判別装置の構成を示すブロック図である。 Figure 7 is a block diagram showing the configuration of an object determination device according to the third embodiment. 図8は、実施例3に係る重み規定テーブルの構成例を示す図である。 Figure 8 is a diagram showing a configuration example of the weight specified table according to the third embodiment. 図9は、実施例3に係る閾値テーブルの構成例を示す図である。 Figure 9 is a diagram showing a configuration example of a threshold value table according to the third embodiment. 図10は、実施例3に係る物体判別装置の処理の流れを示すフローチャートである。 Figure 10 is a flowchart showing a process flow of the object determination device according to the third embodiment.

[物体判別装置の構成(実施例3)] Configuration of object determination device (Embodiment 3)]
図7に示すように、この物体判別装置は、ナビ部11、レーダ部12、前処理部13、物体検出装置14、衝突危険度判定部15に接続される。 As shown in FIG. 7, the object determination device, the navigation unit 11, the radar unit 12, the preprocessing section 13, the object detection apparatus 14 is connected to a collision risk judging section 15. また、物体判別装置40は、記憶部41と、制御部42とから構成される。 Further, the object determination device 40 includes a storage unit 41, a control unit 42. ナビ部11、レーダ部12、前処理部13、物体検出装置14、衝突危険度判定部15、車両制御部16、報知制御部17および車内通知部18については、上記の実施例と同様であるので説明を割愛する。 Navigation unit 11, the radar unit 12, the preprocessing section 13, the object detection apparatus 14, the collision risk judging section 15, the vehicle control unit 16, a notification control unit 17 and the vehicle notifying unit 18 is the same as the above Example since the description thereof will be omitted.

物体検出装置40の記憶部41は、制御部42による各種処理に必要なデータおよびプログラムを格納する格納手段(記憶手段)であり、例えば、後述するパターンマッチング実行部42aにおいて用いられるテンプレートなども記憶している。 Storage unit 41 of the object detecting device 40 is a storage means for storing data and programs necessary for various processes performed by the control unit 42 (storage means), for example, stores well as templates used in the pattern matching execution unit 42a to be described later doing. そして、特に本発明に密接に関連するものとしては、重み規定テーブル41aおよび閾値規定テーブル41bを備える。 Then, as those closely related to the present invention includes a weight specified table 41a and the threshold defined table 41b.

このうち、重み規定テーブル41aは、後述するパターンマッチング実行部42aおよびニューラルネットワーク実行部42bにおいて画像内の物体を判別する際に求められる所定の値から、総合判別部42cにおいて判別値を算出するために必要な情報を記憶する記憶手段であり、具体的には、図8に例示するように、画像内の物体に対する判別値を算出する際に必要な重み(例えば、パターンマッチング0.8、ニューラルネットワーク0.6)を各物体判別手法ごとに規定して構成される。 Of these, the weights specified table 41a from a predetermined value calculated in determining the object in an image in the pattern matching execution unit 42a and the neural network execution unit 42b will be described later, for calculating the discriminant value in the overall determination section 42c a storage means for storing information necessary for, specifically, as illustrated in FIG. 8, the weights necessary for calculating a discrimination value for objects in the image (e.g., pattern matching 0.8, neural configured network 0.6) defines for each object determination technique. なお、この重みは、パターンマッチングおよびニューラルネットワークの判別実験データに基づいて規定するなど、ユーザーフレンドリーに適宜変更可能とするようにしてもよい。 Incidentally, this weight is such as defined on the basis of discrimination experimental data of the pattern matching and a neural network may be a suitably changeable user friendly.

閾値規定テーブル41bは、後述する総合判別部42cにおいて最終的に画像内の物体を判別するために用いられる情報を記憶する記憶手段であり、具体的には、図9に例示するように、総合判別部42cにおいて算出された判別値から画像内の物体を最終的に判別するために必要な閾値(例えば、0.7)を記憶して構成される。 Threshold defining table 41b is a storage unit that stores information used to determine an object in the final image in the comprehensive determination unit 42c to be described later, specifically, as illustrated in FIG. 9, General required from the determination value calculated in the determination unit 42c to determine the object in an image finally threshold (e.g., 0.7) configured to store the. なお、この閾値も適宜変更可能とするようにしてもよい。 It should be noted that this threshold may also be set as the can be properly changed.

物体判別装置40の制御部42は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、パターンマッチング実行部42aと、ニューラルネットワーク実行部42bと、総合判別部42cとを備える。 Control unit 42 of the object determination device 40 includes an internal memory for storing programs and necessary data defines such as a predetermined control program, various processing routines and uses them there in the processing unit to execute various processes , in particular as those closely related to the present invention includes a pattern matching execution unit 42a, and the neural network execution unit 42b, and a total discrimination section 42c.

このうち、パターンマッチング実行部42aおよびニューラルネットワーク42bは、画像内の物体を判別する処理部であり、画像内の物体の判別結果を所定の値として算出する。 Of these, the pattern matching execution unit 42a and neural network 42b is a processing unit for determining the object in an image, calculating a discrimination result of the object in the image as the predetermined value. 例えば、パターンマッチング実行部42aは、画像内に映し出された物体の画素値とテンプレートの画素値との適合数から、いわゆるマッチング数と呼ばれる所定の値を算出する。 For example, the pattern matching execution unit 42a, from the number of matches between the pixel value of the projected the object pixel value and the template in the image, calculates a predetermined value, so-called matching number.

総合判別部42cは、最終的な物体判別結果を導き出す処理部であり、具体的には、パターンマッチング実行部42aおよびニューラルネットワーク42bでそれぞれ算出された所定の値を0〜1の値に正規化(例えば、完全一致なら“1”、不一致なら“0”、近似しているなら“0.5”など)した後に、重み規定テーブル41aにそれぞれ規定されている重み(0.8)を掛け合わせて判別値を算出する。 Overall determination unit 42c is a processing unit to derive a final object determination results, specifically, normalized predetermined value calculated respectively by the pattern matching execution unit 42a and the neural network 42b to a value of 0 to 1 (e.g., exact if "1", if the mismatch "0", and if "0.5" approximate) after multiplies the weight (0.8) defined respectively in the weight prescription table 41a calculating a discrimination value each. そして、これらの判別値を足し合わせた値が閾値規定テーブル41bに規定された総合判別閾値(例えば、0.7)を超えているか否かによって最終的な物体判別を行い、この閾値を超えていれば画像内の物体は所定の物体(例えば、歩行者)であると最終的に判別する。 And these discriminant value adding the combined value threshold specified table 41b to a defined overall determination threshold value (e.g., 0.7) have ultimate object determined by whether or not exceeded, has exceeded the threshold value objects in the image are predetermined object (e.g., a pedestrian) if Re eventually determined to be in.

[物体判別装置による処理(実施例3)] Process according to object determination device (Embodiment 3)]
次に、図10を用いて、実施例3に係るこの物体判別装置40による処理の流れを詳細に説明する。 Next, with reference to FIG. 10, the flow of processing by the object determination device 40 according to the third embodiment will be described in detail.

同図に示すように、画像が入力を受け付けると(ステップS1001肯定)、物体検出装置14は、画像内から判別の対象となる候補物体の検出を行う(ステップS1002)。 As shown in the figure, when the image receives an input (step S1001, Yes), the object detection apparatus 14 detects a candidate object of interest of the determination from the image (step S1002). その結果、物体検出装置14において画像内から判別の対象となる候補物体が検出され場合には(ステップS1003肯定)、パターンマッチング実行部42aおよびニューラルネットワーク実行部42bは、候補物体の判別を行って判別結果を導き出す(ステップS1004)。 As a result, if the detected subject to candidate objects of determination from the image in the object detection device 14 (step S1003: Yes), the pattern matching execution unit 42a and the neural network execution unit 42b performs the determination of the candidate object derive determination result (step S1004).

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは各判別結果として算出した所定の値を総合判別部32cに対してそれぞれ送信する。 Then, the pattern matching execution unit 32a and the neural network execution unit 32b respectively transmit the predetermined value calculated as the determination result to the comprehensive determination unit 32c. ここで、ステップS1003の説明に戻ると、物体検出装置14おいて画像内から候補物体を検出されなかった場合には(ステップS1003否定)、物体判別装置40は、次の画像入力を待つ。 Referring back to the description of step S1003, if not detected candidate object from the object detecting device 14 Oite image (step S1003: NO), the object determination device 40 waits for the next image input.

パターンマッチング実行部42aおよびニューラルネットワーク実行部42bから各判別結果として算出された所定の値の送信を受けて、総合判別部32cは、判別値の算出を行う。 In response to transmission of a predetermined value which is calculated as the determination result from the pattern matching execution unit 42a and the neural network execution unit 42b, comprehensive determination unit 32c performs the calculation of the discriminant value. ここで、判別値は、パターンマッチング実行部42aおよびニューラルネットワーク42bでそれぞれ算出された所定の値を0〜1の値に正規化した後に、重み規定テーブル41a(図8参照)にそれぞれ規定されている重み(パターンマッチング:0.8、ニューラルネットワーク:0.6)を掛け合わせて判別値を算出する。 Here, determination value, the predetermined value calculated respectively by the pattern matching execution unit 42a and the neural network 42b after normalizing to the value of 0 to 1, are defined respectively in the weight prescribed table 41a (see FIG. 8) weights are (pattern matching: 0.8, neural network: 0.6) by multiplying the calculated discriminant value. そして、これらの判別値を足し合わせる(ステップS1005)。 The sums of these discriminant value (step S1005).

続いて、総合判別部32cは、これらの各判別値を足し合わせた和を閾値規定テーブル42bに照らし合わせて、最終的な判別結果を導き出すために判定を行う。 Subsequently, total determination unit 32c is against the sum obtained by adding each of these discriminating value to the threshold value defined table 42b, a determination to derive the final determination result. 具体的には、各判別値を足し合わせた和が所定の閾値(図9参照)を超えている場合には(ステップS1006肯定)、総合判別部42cは、画像内の物体を「所定の物体である」(例えば、「歩行者である」)とする最終的な総合判別結果を導き出す(ステップS1007)。 Specifically, if the sum obtained by adding the determination value exceeds a predetermined threshold value (see FIG. 9) (step S1006: Yes), the total determination unit 42c is "predetermined object the object in an image in a "(e.g.," a pedestrian ") derive the final comprehensive determination results (step S1007).

つまり、例えば、パターンマッチングでの一致度が高ければ、ニューラルネットワークによる判別値(精度)が多少低くても、総合的な判別値(精度)は高くなり、歩行者と判定される。 That is, for example, the higher the degree of coincidence with the pattern matching, determination value by Neural Network (accuracy) be slightly lower, the overall discrimination value (accuracy) is increased, it is determined that the pedestrian. 従って、ニューラルネットワークで検出しにくくても、パターンマッチングにより補完することができる。 Therefore, even if difficult to detect in the neural network, it can be complemented by pattern matching.

ここで、ステップS1006の説明に戻ると、各判別値を足し合わせた和が所定の閾値を超えていない場合には(ステップS1006否定)、総合判別部42cは、画像内の物体を「所定の物体ではない」(例えば、「歩行者ではない」)と判別する(ステップS1008)。 Referring back to the description of step S1006, if the sum obtained by adding the determination value does not exceed the predetermined threshold (step S1006: NO), total determination unit 42c is an object in an image "predetermined not an object "(e.g.," non-pedestrian ") determined (step S1008).

[実施例3の効果] [Effect of Embodiment 3]
上述してきたように、実施例3によれば、この物体判別装置40は、複数の物体検出手法により算出された判別値を足し合わせて、その足し合わせた判別値が所定の閾値を超えていれば画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能となる。 As described above, according to the third embodiment, the object determination device 40 is adding the discriminant value calculated by the plurality of object detection method, the determination value obtained by adding exceeds the predetermined threshold value since the object determination by deriving the discrimination result of the object in an image as a predetermined object if, the accuracy is lower than that to determine the object in an image using one of the object determination method it is possible to prevent.

また、上記の実施例では、画像内の物体までの距離に関係なく、複数の物体検出手法による各物体判別結果から画像内の物体を判別する場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離を考慮した上で複数の物体検出手法による各物体判別結果から画像内の物体を判別するようにしてもよい。 In the above embodiments, regardless of the distance to the object in the image, has been described to determine the object in an image from each object determination result by the plurality of object detection method, the present invention is not limited thereto rather than shall be from the object determination result by the plurality of object detection method in consideration of the distance to the object in the image so as to determine the objects in the image. そこで、以下の実施例4では、図11を用いて、この場合の物体判別装置の処理の流れを説明し、最後に実施例4による効果を説明する。 Therefore, in Example 4 below, with reference to FIG. 11, describes the processing flow of the object determination device in this case will be described the effects of the end to the fourth embodiment. 図11は、実施例4に係る物体判別装置の処理の流れを説明するフローチャートである。 Figure 11 is a flowchart for explaining the flow of processing of the object determination device according to the fourth embodiment.

同図に示すように、画像の入力を受け付けると(ステップS1101)、物体検出装置14は、画像内から判別の対象となる候補物体の検出を行う(ステップS1102)。 As shown in the figure, when receiving an input image (step S1101), the object detection apparatus 14 detects a candidate object of interest of the determination from the image (step S1102). その結果、物体検出装置14において画像内から判別の対象となる候補物体を検出された場合には(ステップS1103肯定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは、候補物体の判別を行って判別結果を導き出す(ステップS1104)。 As a result, in the case where the subject to candidate objects of determination from the image is detected in the object detection device 14 (Yes at step S1103), the pattern matching execution unit 32a and the neural network execution unit 32b, subjected to discrimination of candidate object deriving the discrimination results Te (step S1104).

そして、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bは各判別結果を総合判別部32cに対して送信する。 Then, the pattern matching execution unit 32a and the neural network execution unit 32b sends each determination result to the comprehensive determination unit 32c. ここで、ステップS1103の説明に戻ると、物体検出装置14において画像内から候補物体が検出されなかった場合には(ステップS1103否定)、この物体判別装置は、次の画像入力を待つ。 Referring back to the description of step S1103, if the candidate object from the image is not detected in the object detection device 14 (step S1103: NO), the object determination device waits for the next image input.

パターンマッチング実行部32aおよびニューラルネットワーク実行部32bから各判別結果の送信を受けて、総合判別部32cは、まず、画像内の候補物体までの距離を測定する(ステップS1105)。 In response to transmission of each determination result from the pattern matching execution unit 32a and the neural network execution unit 32b, comprehensive determination unit 32c, first, for measuring a distance to a candidate object in an image (step S1105). ここで、候補物体までの距離は、例えば、物体検出装置14において検出された候補物体の画像内の縦位置(画素数)から測定する。 Here, the distance to the candidate object, for example, measured from a vertical position in the image of the detected candidate objects in the object detecting device 14 (the number of pixels).

そして、候補物体までの距離が所定の距離範囲内であって(ステップS1106肯定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「所定の物体である」(例えば、「歩行者である」)とするものである場合には(ステップS1107肯定)、総合判別部32cは、総合判別テーブル31a(図12参照)に照らし合わせて、画像内の物体を「所定の物体である」(例えば、「歩行者である」)とする最終的な総合判別結果を導き出す(ステップS1108)。 Then, the distance to the candidate object is within a predetermined distance range (step S1106: Yes), the determination result transmitted from each of the pattern matching execution unit 32a and the neural network execution unit 32b is a candidate object "predetermined both it is an object "(eg," a pedestrian ") if it is an (step S1107: Yes), the total determination unit 32c is in the light of overall determination table 31a (see FIG. 12), image of "a predetermined object" an object (e.g., "a pedestrian") derive the final comprehensive determination results (step S1108).

ここで、ステップS1107の説明の戻ると、候補物体までの距離が所定の距離範囲内であって(ステップS1106肯定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体ではない」(例えば、「歩行者ではない」)とするものである場合には(ステップS1107否定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体ではない」(例えば、「歩行者ではない」)とする最終的な総合判別結果を導き出す(ステップS1109)。 Referring back of the description of step S1107, the distance to the candidate object is within a predetermined distance range (step S1106: Yes), the determination that has been transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b results any one or all of the candidate object of "not predetermined object" (e.g., "non-pedestrian") if it is an (step S1107: nO), total determination unit 32c is overall against the determination table 31a, "not a predetermined object" an object in an image (e.g., "non-pedestrian") derive the final comprehensive determination results (step S1109).

また、ここで、ステップS1106の説明に戻ると、候補物体までの距離が所定の距離範囲外であって(ステップS1106否定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果のいずれか一つまたはすべてが候補物体を「所定の物体ではある」(例えば、「歩行者である」)とするものである場合には(ステップS1110肯定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体である」(例えば、「歩行者である」)とする最終的な総合判別結果を導き出す(ステップS1111)。 Also, here, Returning to the explanation of step S1106, a outside distance range distance is given to the candidate object (step S1106: NO), it has been transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b each determination result any one or all of the "is a predetermined object" a candidate object (e.g., "a pedestrian") if it is an (step S1110: Yes), the total determination unit 32c is , in the light of overall determination table 31a, the object in an image "is a predetermined object" (eg, "a pedestrian") derive the final comprehensive determination results (step S1111).

また、ここで、ステップS1110の説明に戻ると、候補物体までの距離が所定の距離範囲外であって(ステップS1106否定)、パターンマッチング実行部32aおよびニューラルネットワーク実行部32bからそれぞれ送信されてきた各判別結果がともに候補物体を「所定の物体ではない」(例えば、「歩行者ではない」)とするものである場合には(ステップS1110否定)、総合判別部32cは、総合判別テーブル31aに照らし合わせて、画像内の物体を「所定の物体ではない」(例えば、「歩行者ではない」)とする最終的な総合判別結果を導き出す(ステップS1112)。 Also, here, Returning to the explanation of step S1110, a outside distance range distance is given to the candidate object (step S1106: NO), it has been transmitted from the pattern matching execution unit 32a and the neural network execution unit 32b each determination result is "not a predetermined object" both candidate object (e.g., "non-pedestrian") if it is an (step S1110: nO), total determination unit 32c is a comprehensive determination table 31a against, "not a predetermined object" an object in an image (e.g., "non-pedestrian") derive the final comprehensive determination results (step S1112).

[実施例4の効果] [Effect of Embodiment 4]
上述してきたように、実施例4によれば、この物体検出装置は、画像内の所定の距離範囲内にある物体については、複数の物体判別手法による各物体判別結果の全てが、画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出し、画像内の所定の距離範囲外にある物体については、複数の物体判別手法による各物体判別結果のうちいずれか一つでも画像内の物体を所定の物体であるとするものである場合には、画像内の物体を所定の物体であるとする判別結果を導き出すことで物体判別するので、物体判別の必要性の高い近距離に位置する物体の判別については、一つの物体判別手法を用いて画像内の物体を判別するのに比べてその精度が低下するのを防止することが可能とな As described above, according to the fourth embodiment, the object detection apparatus, the object is within a predetermined distance range in the image, all of the object determination result by the plurality of object determination technique, the image of if one intends to an object to be predetermined object derives a determination result of the object in an image as a predetermined object, the object is outside the predetermined distance range in the image, a plurality of objects If an object in an image in one of the object determination result by the discrimination method is intended to be a predetermined object is to derive a discrimination result of the object in an image as a predetermined object in since the object determination, for object determination of which is located a short distance highly necessary for object determination, that the accuracy is reduced as compared to determine the object in an image using one of the object determination method it is possible to prevent .

さて、これまで実施例1〜4にかかる物体判別装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 Now, have been described object determination device according to Examples 1-4, the present invention other than the embodiments described above, but that may be implemented in various different forms. そこで、以下では実施例5として、種々の異なる実施例を(1)〜(4)に区分けして説明する。 In the following Example 5 As will be described with divided various different embodiments in (1) to (4).

(1)天候に応じた物体判別 上記の実施例において、天候を考慮したうえで、複数の物体判別手法による物体判別結果から画像内の物体を判別するようにしてもよい。 (1) In the object determination above embodiment depending on the weather, in consideration of the weather, it may be from the object determination result by the plurality of object determination technique to determine the objects in the image. これにより、この物体判別装置は、天候に応じて、複数の物体検出手法による各物体判別結果から一つの判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、天候によりその精度が低下するのを防止することが可能となる。 Thus, the object determination device, depending on the weather, since the object determination by deriving one determination result from the object determination result by the plurality of object detection technique, image of using one of the object determination method compared to determine the object, its accuracy weather becomes possible to prevent degradation.

(2)処理負荷に応じた物体判別 上記の実施例において、処理負荷を考慮したうえで、複数の物体判別手法による物体判別結果から画像内の物体を判別するようにしてもよい。 (2) In the object determination above example in accordance with the processing load, in consideration of the processing load may be from the object determination result by the plurality of object determination technique to determine the objects in the image. これにより、この物体判別装置は、処理負荷に応じて、複数の物体検出手法による各物体判別結果から一つの判別結果を導き出すことで物体判別を行うので、一つの物体判別手法を用いて画像内の物体を判別するのに比べて、処理負荷によりその精度が低下するのを防止することが可能となる。 Accordingly, the object determination device, the process according to the load, since the object determination by deriving one determination result from the object determination result by the plurality of object detection method, image using one of the object determination method compared to determine the object, its accuracy processing load can be prevented from being lowered.

(3)装置構成 図2に示した物体判別装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。 (3) the components of the object determination device shown in apparatus configuration diagram 2 is conceptual in function, and that it is not necessarily physically configured as depicted. すなわち、物体判別装置30の分散・統合の具体的形態は図示のものに限られず、例えば、物体検出装置14と物体判別装置30を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 In other words, the specific mode of dispersion and integration of the object determination device 30 is not limited to the illustrated, for example, to integrate the object detection device 14 and the object determination device 30, in whole or in part, various loads or use etc. depending on the situation, it can be functionally or physically distributed or integrated in arbitrary units. さらに、物体判別装置30にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, the processing functions performed by object determination device 30 are entirely or partially realized by a program analyzed and executed by CPU and the CPU, it realized as hardware by wired logic obtain.

(4)物体判別プログラム ところで、上記の実施例1で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。 (4) object determination program Incidentally, the various processes described in Example 1 above, can be realized by executing a prepared program in a computer system such as a personal computer or a workstation. そこで、以下では、図13を用いて、上記の実施例1と同様の機能を有する物体判別プログラムを実行するコンピュータの一例を説明する。 In the following, with reference to FIG. 13, an example of a computer that executes the object determination program having the same function as in the first embodiment described above. 図13は、物体判別プログラムを実行するコンピュータを示す図である。 Figure 13 is a diagram illustrating a computer that executes the object determination program.

同図に示すように、物体判別装置としてのコンピュータ50は、HDD51、RAM52、ROM53およびCPU54をバス60で接続して構成される。 As shown in the figure, the computer 50 as the object determination device is configured to HDD 51, RAM 52, ROM 53 and CPU54 connected by bus 60.

そして、ROM53には、上記の実施例1に示した物体判別装置30と同様の機能を発揮する物体判別プログラム、つまり、図13に示すように、パターンマッチング実行プログラム53a、ニューラルネットワーク実行プログラム53bおよび総合判別プログラム53cがあらかじめ記憶されている。 Then, the ROM 53, the object determination program having the same function as the object determination device 30 shown in the first embodiment, that is, as shown in FIG. 13, the pattern matching execution program 53a, the neural network execution program 53b and General determination program 53c are stored in advance. なお、これらのプログラム53a、53bおよび53cは、図2に示した物体判別装置30の各構成要素と同様、適宜統合または分散してもよい。 Note that these programs 53a, 53b and 53c are similar to the components of the object determination device 30 shown in FIG. 2, may be appropriately integrated or distributed. なお、ROM53は、不揮発性の「RAM」でもよい。 It should be noted, ROM53 is, may be a "RAM" in the non-volatile.

そして、CPU54が、これらのプログラム53a、53bおよび53cをROM53から読み出して実行することで、図13に示すように、これらのプログラム53a、53bおよび53cは、パターンマッチング実行プロセス54a、ニューラルネットワーク実行プロセス54bおよび総合判別プロセス54cとして機能するようになる。 Then, CPU 54 is, these programs 53a, and 53b and 53c and executes read from ROM 53, as shown in FIG. 13, these programs 53a, 53b and 53c, the pattern matching execution process 54a, a neural network execution process It will function as 54b and comprehensive determination process 54c. なお、これらのプロセス54a、54bおよび54cは、図2に示したパターンマッチング実行部32a、ニューラルネットワーク実行部32bおよび総合判別部32cにそれぞれ対応する。 Incidentally, these processes 54a, 54b and 54c respectively correspond to the pattern matching execution unit 32a, the neural network execution unit 32b and the total determination unit 32c shown in FIG.

また、HDD51には、図13に示すように、総合判別テーブル51aが設けられる。 Further, the HDD 51, as shown in FIG. 13, the total determination table 51a is provided. この総合判別テーブル51aは、図2に示した総合判別テーブル31aに対応する。 The overall determination table 51a corresponds to the overall determination table 31a shown in FIG. そして、CPU54は総合判別テーブル51aから、総合判別データ52aを読み出してRAM52に格納し、RAM52に格納された総合判別データ52aに基づいて物体検出処理を実行する。 Then, CPU 54 from the comprehensive determination table 51a, and stores in RAM 52 reads out the overall discrimination data 52a, executes the object detection processing based on the comprehensive determination data 52a stored in the RAM 52.

なお、上記したプログラム53a、53bおよび53cについては、必ずしも最初からROM53に記憶させておく必要はなく、例えば、コンピュータ50に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータ50の内外に備えられるHDDなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ50に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ50がこれらから各プログラムを読み出して実行するようにしてもよい。 The program 53a described above, the 53b and 53c are not necessarily need to store the first ROM 53, for example, a flexible disk 50 (FD), CD-ROM, MO disk, DVD disk, magneto-optical disks, "physical medium Portability" such as an IC card, or a "fixed physical medium" such as an HDD provided inside or outside the computer 50, and further, via a public line, Internet, LAN, WAN, etc. it may be stored with the programs and the like are connected to the computer 50 "another computer (or server)" Te, the computer 50 may read and execute the programs therefrom.

また、上記の実施例では、車載の撮像装置で撮像された画像内の物体を検出する場合について説明したが、本発明はこれに限定されるものではなく、固定式の撮像装置(例えば、交差点に取り付けられた交通流監視カメラ)で撮像された物体を画像内から検出するようにしてもよい。 In the above embodiment has described the case of detecting an object in an image captured by the vehicle-mounted imaging apparatus, the present invention is not limited thereto, an imaging apparatus fixed (e.g., an intersection an object captured by the traffic flow monitor camera) that is attached to may be detected from the image.

以上のように、本発明に係る物体判別装置、物体判別方法および物体判別プログラムは、画像内の物体を判別する場合に有用であり、特に、画像内の物体を判別する際の精度低下を防止することに適する。 As described above, the object determination device according to the present invention, object determination method and the object determination program is useful for determining the object in an image, in particular, prevent reduction of accuracy when determining the object in an image suitable to be.

実施例1に係る物体判別装置の概要を説明するための図である。 It is a diagram for explaining the outline of the object determination device according to the first embodiment. 実施例1に係る物体判別装置の構成を示すブロック図である。 Is a block diagram showing the configuration of an object determination apparatus according to a first embodiment. 実施例1に係る総合判別テーブルの構成例を示す図である。 It is a diagram illustrating a configuration example of a comprehensive determination table according to the first embodiment. 実施例1に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the first embodiment. 実施例2に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the second embodiment. 実施例2に係る総合判別テーブルの構成例を示す図である。 It is a diagram illustrating a configuration example of a comprehensive determination table according to the second embodiment. 実施例3に係る物体判別装置の構成を示すブロック図である。 Is a block diagram showing the configuration of an object determination device according to the third embodiment. 実施例3に係る重み規定テーブルの構成例を示す図である。 It is a diagram illustrating a configuration example of the weight specified table according to the third embodiment. 実施例3に係るし閾値テーブルの構成例を示す図である。 It is a diagram illustrating a configuration example of a threshold table Shi according to the third embodiment. 実施例3に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the third embodiment. 実施例4に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the fourth embodiment. 実施例5に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the fifth embodiment. 物体判別プログラムを実行するコンピュータを示す図である。 It is a diagram illustrating a computer that executes the object determination program.

符号の説明 DESCRIPTION OF SYMBOLS

10 撮像装置 11 ナビ(ナビゲーション)部 12 レーダ部 13 前処理部 13a フィルタ部 13b 輪郭抽出部 14 物体判別装置 15 衝突危険度判定部 16 車両制御部 17 報知制御部 18 車内通知部 30 物体判別装置 31 記憶部 31a 総合判別テーブル 32 制御部 32a パターンマッチング実行部 32b ニューラルネットワーク実行部 32c 総合判別部 40 物体判別装置 41 記憶部 41a 重み規定テーブル 41b 閾値規定テーブル 42 制御部 42a パターンマッチング実行部 42b ニューラルネットワーク実行部 42c 総合判別部 50 コンピュータ 51 HDD(Hard disk drive) 10 imaging device 11 Navigation (Navigation) 12 radar unit 13 pre-processing unit 13a filter portion 13b contour extraction unit 14 object determination device 15 the collision risk judging section 16 vehicle controller 17 notification control section 18 interior notifying unit 30 object determination device 31 storage unit 31a Overall determination table 32 control unit 32a pattern matching execution unit 32b neural network execution unit 32c comprehensive determination unit 40 object determination device 41 storage unit 41a weight prescription table 41b threshold defining table 42 control unit 42a pattern matching execution unit 42b neural network execution part 42c comprehensive determination unit 50 computer 51 HDD (Hard disk drive)
52 RAM(Random Access Memory) 52 RAM (Random Access Memory)
53 ROM(Read Only Memory) 53 ROM (Read Only Memory)
54 CPU(Central Processing Unit) 54 CPU (Central Processing Unit)
60 バス 60 bus

Claims (11)

  1. 画像内の物体を判別する物体判別装置において、 In object determination apparatus for determining an object in an image,
    複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別手段と、 A first object determining means for determining the detected object within the image by using a plurality of object determination method for each object determination technique,
    前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別手段と、 A second object determination means for deriving one of determination results for the object on the image from the judgment result of the first object determination means,
    を備えたことを特徴とする物体判別装置。 Object determination apparatus characterized by comprising a.
  2. 前記第二の物体判別手段は、前記第一の物体判別手段による各判別結果の全てが前記画像上の物体を所定の物体であると判別するものである場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 It said second object determination unit, when all of the determination result by said first object determining means is intended to determine the object on the image as a predetermined object, the object on the image object determination device according to claim 1, wherein the deriving the one determination result to a predetermined object.
  3. 前記第二の物体判別手段は、前記第一の物体判別手段による各判別結果のうち一つでも前記画像上の物体を所定の物体であると判別するものがある場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 Said second object determining means, wherein, when the object on the image in one of the first the determination result by the object determination means are those determined to be in the predetermined object, on the image object object determination device according to claim 1, wherein the deriving the one determination result to a predetermined object.
  4. 前記第一の物体判別手段は、前記画像上の物体の判別値を算出するものであって、 Said first object determination means is for calculating a discrimination value of an object on said image,
    前記第二の物体判別手段は、前記第一の物体判別手段による各判別値をそれぞれ所定の値に換算した後に、それぞれ足し合わせた判別値の合計値が所定の閾値を超えている場合には、前記画像上の物体を所定の物体であるとする一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 Said second object determining means, each discriminant value by the first object discriminating means after each converted into a predetermined value, if the total value of the discriminant value sum respectively exceeds a predetermined threshold , the object determination device according to claim 1, wherein the deriving the one discrimination result of the object on the image as a predetermined object.
  5. 前記第二の物体判別手段は、前記画像上の所定の距離範囲内の物体については、前記第一物体判別手段による各判別結果の全てが前記画像上の物体を所定の物体であると判別するものである場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出し、また、前記画像上の所定の距離範囲外の物体については、前記第一物体判別手段による各判別結果のうち一つでも前記画像上の物体を所定の物体であると判別するものがある場合には、前記画像上の物体は所定の物体であるとする一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 It said second object determination means, for the object within a predetermined distance range on the image, all of the discrimination result of the first object determination means determines the object on the image as a predetermined object If those derives one determination result to the object on the image is a predetermined object, also for objects outside a predetermined distance range on the image by the first object determination means if even one of the respective judgment results are those to determine the object on the image as a predetermined object, that derive a discrimination result of the object on the image is a predetermined object object determination device according to claim 1, wherein.
  6. 前記第二の物体判別手段は、天候に応じて、前記第一物体判別手段による各判別結果から一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 Said second object determining means, depending on the weather, the object determination device according to claim 1, wherein the deriving the one determination result from the determination result by said first object determining means.
  7. 前記第二の物体判別手段は、処理負荷に応じて、前記第一物体判別手段による各判別結果から一つの判別結果を導き出すことを特徴とする請求項1に記載の物体判別装置。 It said second object determination means, the processing in accordance with the load, the object determination device according to claim 1, wherein the deriving the one determination result from the determination result by said first object determining means.
  8. 前記第二の物体判別手段による各判別結果に応じて、車両を制御する車両制御手段をさらに備えたことを特徴とする請求項1に記載の物体判別装置。 Wherein in accordance with each judgment result of the second object determination unit, an object determination device according to claim 1, further comprising a vehicle control unit for controlling the vehicle.
  9. 前記第二の判別手段による各判別結果に応じて、前記車両に対して警告を報知する警告報知手段をさらに備えたことを特徴とする請求項1に記載の物体判別装置。 In response to said second discriminating the discrimination result by the means, object determination device according to claim 1, further comprising a warning informing means for informing a warning to the vehicle.
  10. 画像内の物体を判別する物体判別方法において、 In object determination method of determining an object in an image,
    複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別工程と、 A first object determination step of determining the detected object within the image by using a plurality of object determination method for each object determination technique,
    前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別工程と、 A second object determination step of deriving one determination result for the object on the image from the judgment result of the first object determination means,
    を含んだことを特徴とする物体判別方法。 Object determination method characterized by including the.
  11. 画像内の物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、 In object determination program for executing the method of determining an object in an image to a computer,
    複数の物体判別手法を用いて前記画像内で検出された物体を各物体判別手法ごとに判別する第一の物体判別手順と、 A first object determination procedure for determining the detected object within the image by using a plurality of object determination method for each object determination technique,
    前記第一の物体判別手段による各判別結果から前記画像上の物体について一つの判別結果を導き出す第二の物体判別手順と、 A second object determination procedures to derive one determination result for the object on the image from the judgment result of the first object determination means,
    をコンピュータに実行させることを特徴とする物体判別プログラム。 Object determination program for causing a computer to execute the.
JP2005245950A 2005-08-26 2005-08-26 Apparatus, method, and program for discriminating object Pending JP2007058751A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005245950A JP2007058751A (en) 2005-08-26 2005-08-26 Apparatus, method, and program for discriminating object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005245950A JP2007058751A (en) 2005-08-26 2005-08-26 Apparatus, method, and program for discriminating object

Publications (1)

Publication Number Publication Date
JP2007058751A true JP2007058751A (en) 2007-03-08

Family

ID=37922162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005245950A Pending JP2007058751A (en) 2005-08-26 2005-08-26 Apparatus, method, and program for discriminating object

Country Status (1)

Country Link
JP (1) JP2007058751A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237884A (en) * 2010-05-06 2011-11-24 Nomura Research Institute Ltd Object detection size calculation system and object detection size calculation program
US8538902B2 (en) 2007-08-27 2013-09-17 Toyota Jidosha Kabushiki Kaisha Behavior predicting device that predicts the behavior of an object based on characteristic values of the object
CN104050620A (en) * 2013-03-13 2014-09-17 株式会社电装 Object detection apparatus

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (en) * 1993-04-20 1994-11-04 Fujitsu Ltd Pattern recognizing device based upon multidiscriminator
JPH07160822A (en) * 1993-12-07 1995-06-23 Ricoh Co Ltd Pattern recognizing method
JPH07271956A (en) * 1994-03-31 1995-10-20 Babcock Hitachi Kk Method and device for automatic measurement of traffic flow
JPH0822592A (en) * 1994-07-11 1996-01-23 Matsushita Electric Ind Co Ltd Method and device for detecting unexpected event
JP2000105835A (en) * 1998-07-28 2000-04-11 Hitachi Denshi Ltd Object recognizing method and object tracking and monitoring device
JP2003237509A (en) * 2002-02-13 2003-08-27 Nissan Motor Co Ltd Outside acknowledging device for vehicle
JP2004192552A (en) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd Eye opening/closing determining apparatus
JP2005044330A (en) * 2003-07-24 2005-02-17 Sony Corp Weak hypothesis generation device and method, learning device and method, detection device and method, expression learning device and method, expression recognition device and method, and robot device
JP2005157679A (en) * 2003-11-25 2005-06-16 Sony Corp Object detecting device and method and group learning device and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309464A (en) * 1993-04-20 1994-11-04 Fujitsu Ltd Pattern recognizing device based upon multidiscriminator
JPH07160822A (en) * 1993-12-07 1995-06-23 Ricoh Co Ltd Pattern recognizing method
JPH07271956A (en) * 1994-03-31 1995-10-20 Babcock Hitachi Kk Method and device for automatic measurement of traffic flow
JPH0822592A (en) * 1994-07-11 1996-01-23 Matsushita Electric Ind Co Ltd Method and device for detecting unexpected event
JP2000105835A (en) * 1998-07-28 2000-04-11 Hitachi Denshi Ltd Object recognizing method and object tracking and monitoring device
JP2003237509A (en) * 2002-02-13 2003-08-27 Nissan Motor Co Ltd Outside acknowledging device for vehicle
JP2004192552A (en) * 2002-12-13 2004-07-08 Nissan Motor Co Ltd Eye opening/closing determining apparatus
JP2005044330A (en) * 2003-07-24 2005-02-17 Sony Corp Weak hypothesis generation device and method, learning device and method, detection device and method, expression learning device and method, expression recognition device and method, and robot device
JP2005157679A (en) * 2003-11-25 2005-06-16 Sony Corp Object detecting device and method and group learning device and method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538902B2 (en) 2007-08-27 2013-09-17 Toyota Jidosha Kabushiki Kaisha Behavior predicting device that predicts the behavior of an object based on characteristic values of the object
JP2011237884A (en) * 2010-05-06 2011-11-24 Nomura Research Institute Ltd Object detection size calculation system and object detection size calculation program
CN104050620A (en) * 2013-03-13 2014-09-17 株式会社电装 Object detection apparatus
JP2014178736A (en) * 2013-03-13 2014-09-25 Denso Corp Object detection device
CN104050620B (en) * 2013-03-13 2018-02-13 株式会社电装 Object detection equipment

Similar Documents

Publication Publication Date Title
JP4723582B2 (en) Traffic sign detection method
JP4624594B2 (en) Object recognition method and object recognition apparatus
JP5036814B2 (en) Method and apparatus for determination and analysis of visual attention locations
CN1915725B (en) Driver assistance system
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US7642922B2 (en) Drive support apparatus for a movable body
DE112008002030B4 (en) Information providing device in vehicle
EP2107503A1 (en) Method and device for generating a real time environment model for vehicles
CN102598083B (en) Driving support device
JP4207088B2 (en) Vehicle traveling estimation device
CN102362301B (en) Information providing device for vehicle
Alonso et al. Lane-change decision aid system based on motion-driven vehicle tracking
JP4416020B2 (en) The travel plan generation device
Wang et al. Applying fuzzy method to vision-based lane detection and departure warning system
US8354932B2 (en) Method and device for driver assistance
WO2010072195A2 (en) Method for determining the probability of a collision of a vehicle with a living being
JP2008123462A (en) Object detector
JP2003168197A (en) Method and device for recognizing traveling circumstance
JP2010198552A (en) Driving state monitoring device
JP2009037622A (en) Method and device for evaluating image
US7817848B2 (en) Apparatus, method, and computer product for discriminating object
US10217343B2 (en) Alert generation correlating between head mounted imaging data and external device
JP4708124B2 (en) Image processing apparatus
JP2009015548A (en) Drive assisting device and method, and program
EP1553516A2 (en) Pedestrian extracting apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110719