JP2007072665A - Object discrimination device, object discrimination method and object discrimination program - Google Patents

Object discrimination device, object discrimination method and object discrimination program Download PDF

Info

Publication number
JP2007072665A
JP2007072665A JP2005257721A JP2005257721A JP2007072665A JP 2007072665 A JP2007072665 A JP 2007072665A JP 2005257721 A JP2005257721 A JP 2005257721A JP 2005257721 A JP2005257721 A JP 2005257721A JP 2007072665 A JP2007072665 A JP 2007072665A
Authority
JP
Japan
Prior art keywords
object
template
distance
image
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005257721A
Other languages
Japanese (ja)
Other versions
JP2007072665A5 (en
Inventor
Minoru Fujioka
Katsumi Sakata
Koji Yamashita
浩嗣 山下
稔 藤岡
克己 阪田
Original Assignee
Fujitsu Ten Ltd
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ten Ltd, 富士通テン株式会社 filed Critical Fujitsu Ten Ltd
Priority to JP2005257721A priority Critical patent/JP2007072665A/en
Publication of JP2007072665A publication Critical patent/JP2007072665A/en
Publication of JP2007072665A5 publication Critical patent/JP2007072665A5/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently discriminate an object by a pattern matching method. <P>SOLUTION: This object discrimination device stores a plurality of templates for each distance to an object to be discriminated. Then, when detecting the object to be discriminated from an image by a background difference method or a conspicuous calculation method, the object discrimination device detects the distance to the object, and selects the template corresponding to the distance. Then, the object discrimination device discriminates the object by applying the template to the object detected from the image as the object to be discriminated. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、画像内の所定の領域にテンプレートをあてはめて当該領域内の物体を判別する物体判別装置、物体判別方法および物体判別プログラムに関する。 The present invention, the object discriminating apparatus by applying the template to a predetermined region in an image to determine an object of the region, to object determination method and the object determination program.

従来より、例えば、車両走行の障害となりうる物体を検出し、その物体との衝突を回避する技術が開発されてきている。 Conventionally, for example, to detect an object that may be an obstacle to vehicle travel, to avoid collision with the object technology has been developed. そこで、そのような車両周辺にある障害物となるような物体を検出するために、カメラなどを用いて車両周辺を撮影しておき、撮像した画像を処理する技術が存在する。 Therefore, in order to detect an object, such as an obstacle in such a vehicle periphery in advance by photographing the surroundings of the vehicle by using a camera, there is a technique to process the image captured. その画像内に映し出された物体を検出する方法として、例えば、背景差分法がある。 As a method for detecting an object that is displayed in the image, for example, there is a background difference method. このような、背景差分法では、現入力されている現画像とその直前に入力されていた直前画像との各画素を比較し、差分が抽出された領域に直前画像では見られなかった物体が存在するものとし、その物体を走行障害の候補になるものとして画像内から検出している。 Such, the background subtraction method, comparing each pixel of the immediately preceding image that has been input and the current image that is the current input immediately before, the object was not seen in the previous image in the area where the difference is extracted shall present, is detected from the image as comprising that object candidate traveling disorders. このような方法を用いれば、走行障害の候補となる物体は検出されるが、検出された物体がどのようなものであるかが未だ判明しない。 The use of such a method, the candidate to become the object of driving failure is detected, or the detected object is of any type is not yet known.

そこで、画像内から検出された走行障害の候補となる物体に対し、その物体が何であるかを判別する画像処理手法としてパターンマッチング手法(テンプレートマッチング手法)がある(例えば、特許文献1参照)。 Therefore, to become candidates object traveling failure detected from the image, there is a pattern matching method (template matching method) as an image processing method for determining whether the object is what (e.g., see Patent Document 1). このパターンマッチング方法では、画像内から検出された走行障害の候補となる物体にテンプレートをあてはめて、その物体が特定の物体(例えば、歩行者)であるか否かをテンプレートと候補物体との一致度合によって判別する画像処理を行っている。 In the pattern matching method, by applying the template to the object that are candidates for running failure detected from the image, the object is a specific object (e.g., a pedestrian) match with a whether the template and candidate objects are and performing image processing to determine the degree.

特開昭59−226981号公報 JP-A-59-226981 JP 特開2002−99997号公報 JP 2002-99997 JP

ところで、上記した従来の技術は、以下に説明するように、パターンマッチング手法による物体判別の効率性に問題がある。 However, the conventional techniques described above, as described below, there is a problem with the efficiency of the object determination by pattern matching technique.

すなわち、上記した従来の技術であるパターンマッチング手法では、あらかじめ記憶しているテンプレートの中から、判別の対象となる物体までの距離に合わせてテンプレートを選択することなく、全てのテンプレートをあてはめて判別を行っていたので、その効率性に問題がある。 That is, in the pattern matching technique is a conventional technology described above, among the templates stored in advance, without selecting a template in accordance with the distance to the object to be determined, by applying all templates determination since the had done, there is a problem in their efficiency.

なお、車載用の監視カメラなどで撮像された画像内に映し出された物体をパターンマッチング手法によって判別する場合に、一定間隔で入力される画像に対して物体判別を効率的に行えないのでは、画像内の物体判別が間に合わない場合も考えられ、車両運転中に危険を予測し、いち早く危険を回避する上でも問題がある。 In the case of discriminating an object which is displayed like in the picked-up image by the monitoring camera for vehicle by pattern matching method, it is no permits efficient object determination to the image input at regular intervals, If object determination in the image is not in time also considered, prediction of the risk during vehicle operation, even there is a problem in avoiding early danger.

また、道路上の歩行者などをテンプレートマッチングで認識する技術も存在する(例えば、特許文献2参照)。 There is also a technique for recognizing pedestrians on the road in template matching (for example, see Patent Document 2). これによれば、画像内で認識された道路を所定の領域に分割し、その領域ごとに見合ったテンプレートをあてはめるようにする技術が開示されている。 According to this, by dividing the recognized road image in the predetermined region, technology that fit a template appropriate to each its area is disclosed.

しかしながら、このような手法では、道路領域を検出することが前提であるため、例えば、駐車場や夜間などでは、画像内で道路領域を検出するのが困難であるため、結局そのような場合、道路領域に応じたテンプレートマッチングができないという問題点がある。 However, in this method, since it is assumed to detect the road area, for example, in the parking lot and at night, since it is difficult to detect the road area in the image, if such end, there is a problem that can not be template matching in accordance with the road area. さらに、画像内に物体が存在しなくてもテンプレートマッチングを行うので、処理が非効率になるという問題点もある。 Furthermore, since the template matching even in the absence of an object in the image, there is also a problem that processing becomes inefficient.

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、パターンマッチング手法による物体判別を効率的に行うことが可能な物体判別装置、物体判別方法および物体判別プログラムを提供することを目的とする。 Accordingly, the present invention has been made to solve the problems in the conventional technology, efficiently capable object determination device that performs object determination by pattern matching technique, the object determination method and the object determination program an object of the present invention is to provide.

上述した課題を解決し、目的を達成するため、請求項1に係る発明は、画像内にテンプレートをあてはめて、検出された物体を判別する物体判別装置において、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手段と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手段と、を備えたことを特徴とする。 To solve the above problems and achieve the object, the invention according to claim 1, by applying the template to the image, the object determination device for determining a detected object, to the object of interest of the determination a template storage means for storing a plurality of templates for each distance, from among the template storage means the stored template, and the template selecting means for selecting and detecting the distance to the object, corresponding to the distance template, the template selected by the template selecting unit, characterized by comprising a an object discriminating means for discriminating the object fitting into the image.

また、請求項2に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の種別ごとに複数のテンプレートを記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記画像内の物体までの距離を検出し、当該距離に対応したテンプレートを前記物体の種別ごとに選択し、前記物体判別手段は、前記テンプレート選択手段によって選択された各種別のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。 The invention according to claim 2, in the above invention, the template storage means stores a plurality of templates for each type of distance and the object to the object of interest of the determination, the template selection means, from among the template storage means the stored template to detect the distance to the object in the image, and select the template that corresponds to the distance for each type of the object, said object determining means, said selected template various different template selected by means, and discriminates the object fitting into the image.

また、請求項3に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離および大きさを検出し、当該距離および大きさに対応したテンプレートを選択し、前記物体判別手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。 The invention according to claim 3, in the above invention, the template storage means stores a plurality of templates for each size of the distance and the object to the object of interest of the determination, the template selection means , from among the template storage means the stored template to detect the distance and size to the object, select a template corresponding to the distance and size, said object determining means, by the template selecting means the selected template, and discriminates the object fitting into the image.

また、請求項4に係る発明は、上記の発明において、前記テンプレート記憶手段は、前記判別の対象となる物体について態様の異なる一群のテンプレートを所定の距離ごとに記憶し、前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応した前記態様の異なる一群のテンプレートを選択し、前記物体判別手段は、前記テンプレート選択手段によって選択された前記態様の異なる一群のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする。 The invention according to claim 4, in the above invention, the template storage means, the set of templates with different embodiments for subject to object determination stored for each predetermined distance, the template selection means, from among the template storage means the stored template to detect the distance to the object, select a different set of templates of the mode corresponding to the distance, the object determination unit, selected by the template selecting means the aspects different set of templates, characterized in that to determine the object by applying in the image.

また、請求項5に係る発明は、上記の発明において、前記画像内に前記判別の対象となる複数の物体がそれぞれ存在する場合に、いずれの物体から順次優先的に前記テンプレートをあてはめるかを規定した優先情報と、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記画像内で順次優先的にあてはめるように制御する優先制御手段と、をさらに備えたことを特徴とする。 The invention according to claim 5, defined in the above invention, when a plurality of objects to be the determination in the image exists, respectively, or apply sequentially preferentially the template from any of the object and the priority information, the template selected by the template selecting means, based on said priority information, characterized in that a priority control means for controlling to apply sequentially preferentially within the image, further comprising a .

また、請求項6に係る発明は、上記の発明において、前記優先情報は、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的に前記テンプレートをあてはめる旨を規定し、前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的にあてはめるように制御することを特徴とする。 The invention according to claim 6, in the above invention, the priority information defines the fact that the distance to the object of interest of the determination is fit sequentially preferentially the template from the object is minimal, said priority control means, the template selected by the template selecting unit, based on the priority information, the distance to the object of interest of the determination is controlled to sequentially apply preferentially from the object is minimum it is characterized in.

また、請求項7に係る発明は、上記の発明において、前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、次画像が入力されるまで、前記優先情報に基づいて、前記画像内の所定の領域にあてはめるように制御することを特徴とする。 The invention according to claim 7, in the above invention, the priority control means, the template selected by the template selecting means, until the next image is input, based on the priority information, the image and controlling the so fit in a predetermined area.

また、請求項8に係る発明は、上記の発明において、画像内にテンプレートをあてはめて、検出された物体を判別する物体判別方法において、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶工程と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択工程と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別工程と、を備えたことを特徴とする。 The invention according to claim 8, in the above invention, by applying the template to the image, the object determination method of determining a detected object, a plurality of templates for each distance to the object of interest of the determination a template storage step for storing, from among the template storage means the stored template, and the template selecting step of selecting and detects the distance to the object, corresponding to the distance template selected by the template selecting means the template, characterized in that and a object determination step of determining the object fitting into the image.

また、請求項9に係る発明は、上記の発明において、画像内にテンプレートをあてはめて、検出された物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手順と、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手順と、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手順と、をコンピュータに実行させることを特徴とする。 The invention according to claim 9, in the above invention, by applying the template to the image, the object determination program for executing the method of determining the detected object in the computer, to the object of interest of the determination a template storage procedure for storing a plurality of templates for each distance, from among the template storage means the stored template, the template selection procedure for detecting the distance to the object, you select a template corresponding to the distance, the template selected by the template selecting means, characterized in that to execute the object determination procedure for determining the object by applying in the image, to the computer.

請求項1、8および9の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。 According to the invention of claim 1, 8 and 9, the object determination device stores a plurality of templates for each distance to the object in the image to be determined, the distance to the object projected on the image detect, select the template tailored to the distance, since the object determination by fitting the template, it is possible to perform the object determination by pattern matching technique efficiently. さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。 Furthermore, the object determination device detects an object in an image, since the pattern matching based on the distance to the detected object, it is possible to efficiently perform template matching without be specified road area, the object There it is possible to improve the processing efficiency than to perform the template matching regardless of whether it has been detected.

また、請求項2の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離および物体の種別ごとに複数のテンプレート(例えば、人を判別するテンプレートとして子供用や大人用テンプレート)記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを種類別に選択してから、それらのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を種別の異なるものについても効率的に行うことが可能となる。 Further, according to the invention of claim 2, the object determination device, a plurality of templates for each type of distance and the object to the object in the image to be determined (e.g., Ya children as a template to determine the human and adult template) stored to detect the distance to the object projected on the image, select a template tailored to the distance by type, since the object determination by fitting those templates, pattern matching it is possible to perform efficiently also an object discrimination of kind different by technique.

また、請求項3の発明によれば、この物体判別装置は、判別の対象となる画像内の物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、画像内に映し出された物体までの距離および大きさを検出し、その距離および大きさに合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を物体の大きさも考慮してより効率的に行うことが可能となる。 Further, according to the invention of claim 3, the object determination device stores a plurality of templates for each size of the distance and the object to the object in the image to be determined, projected on the image within the object detecting the distance and size to, select the template tailored to their distance and size, since the object determination by fitting the template, the object determination by pattern matching technique also considering the size of the object be carried out more efficiently Te becomes possible.

また、請求項4の発明によれば、この物体判別装置は、判別の対象となる物体について態様の異なる一群のテンプレート(例えば、立ち止まっている人を判別するテンプレートや走っている人を判別するテンプレート)を判別の対象となる画像内の物体までの距離ごとに記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせてこれら態様の異なる一群のテンプレートを選択してから、これら一群のテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を物体の態様も踏まえて効率的に行うことが可能となる。 Further, according to the invention of claim 4, the object determination device determines different embodiments for subject to object group of template determination (e.g., a person who is a template and running to determine who are stopped Template ) is stored for each distance to the object in the subject to image the determined, detects a distance to the object projected on the image, select different set of templates of these modes in accordance with the distance , since the object determination by fitting these set of templates, it becomes possible to perform efficient in light aspects of the object the object determination by pattern matching technique.

また、請求項5の発明によれば、この物体判別装置は、画像内に判別の対象となる物体が複数存在する場合に、いずれの領域から優先的にテンプレートをあてはめて物体判別を行うかを規定した優先情報(例えば、優先テーブル)に基づいて、順次優先的に上記のような様々な要因(例えば、物体までの距離や物体の大きさ)に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、優先的に物体判別を行うべき画像内の領域からテンプレートをあてはめて物体判別を行うことができ、物体判別をより効率的に行うことが可能となる。 Further, according to the invention of claim 5, the object determination device, when subject to object determination in the image there are a plurality, or by applying the preferentially template from any region performing object determination defining the priority information (e.g., priority table) based on the object determined by fitting sequential preferentially above-described various factors (e.g., the size of the distance and the object to the object) was selected to fit the template since the, by fitting the template from the area of ​​preferentially within the image to be subjected to object determination can be performed object determination, it is possible to perform the object determination more efficiently.

また、請求項6の発明によれば、この物体判別装置は、画像内に判別の対象となる物体が複数存在する場合に、物体までの距離が最小である物体から優先的にテンプレートをあてはめて物体判別を行うように規定した優先情報に基づいて、順次優先的にテンプレートをあてはめて物体判別を行うので、物体判別の必要性の高い近距離の物体からより効率的に物体判別を行うことが可能となる。 Further, according to the invention of claim 6, the object determination device, when subject to object determination in the image there are a plurality, by applying the preferentially template from the object distance to the object is minimized in accordance with the provisions and priority information to perform object determination, since the object determination by applying sequentially preferentially template, be performed more efficiently object determination from the object of much-needed short-distance object determination It can become.

また、請求項7の発明によれば、この物体判別装置は、次の画像が入力されるまで、優先情報に基づいて、順次優先的に上記のような様々な要因(例えば、物体までの距離や物体の大きさ)に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、現時点で行っている処理より優先すべき次の画像に対して物体判別を開始することが可能となる。 Further, according to the invention of claim 7, the object determination device, until the next image is input, based on the priority information, a variety of factors such as the sequential preferentially above (e.g., distance to the object since the object determination by fitting the template selected in accordance with the and size of the object), it is possible to start the object determination against currently performed operation being next image to be precedence over.

以下に添付図面を参照して、この発明に係る物体判別装置、物体判別方法および物体判別プログラムの実施例を詳細に説明する。 With reference to the accompanying drawings, object determination device according to the present invention, an embodiment of the object determination method and the object determination program in detail.

以下の実施例1では、実施例1に係る物体判別装置の概要および特徴、物体判別装置の構成および処理の流れを順に説明し、最後に実施例1による効果を説明する。 In the following Examples 1, outline and features of the object determination device according to a first embodiment, describes the configuration and process flow of the object determination device in order, followed by a description of an effect of the first embodiment. なお、以下では、車載の撮像装置によって撮像された画像内の物体を判別する場合の実施例について説明する。 In the following description, a description will be given of an embodiment of a case of discriminating an object in an image captured by a vehicle-mounted imaging apparatus.

[物体判別装置の概要および特徴(実施例1)] Summary of the object determination device and characterized (Example 1)
まず最初に、図1を用いて、実施例1に係る物体判別装置の概要および特徴を説明する。 First, with reference to FIG. 1, an outline and characteristics of the object determination device according to the first embodiment will be described first. 図1は、実施例1に係る物体判別装置の概要を説明するための図である。 Figure 1 is a diagram for explaining the outline of the object determination device according to the first embodiment. 同図に示すように、実施例1に係る物体判別装置は、画像内にテンプレートをあてはめて、検出された物体を判別するものであるが、画像内から判別の対象として検出された物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う点に主たる特徴があり、これにより物体判別を効率的に行うことができるようにしている。 As shown in the figure, the object determination device according to the first embodiment, by applying the template to the image, but is intended to determine the detected object, from the image to the detected object as an object of determination distance detects, there is mainly characterized in that performing object determination by applying the selected template to suit the distance, thereby to be able to carry out the object determination efficiently.

この主たる特徴について簡単に説明すると、例えば、図1に例示するように、この物体判別装置は、判別の対象となり得る物体までの距離ごと(例えば、1mごと)に複数のテンプレートを記憶している。 Briefly described this main characteristic, for example, as illustrated in FIG. 1, the object determination device, for each distance to the object can be an object of discrimination (e.g., every 1m) stores a plurality of templates . また、現フレーム画像から判別の対象となる物体を検出する(図1の(1)参照)。 Further, to detect objects to be determined from the current frame image (see (1) in FIG. 1). ここで、現フレーム画像から判別の対象となる物体を検出する際には、背景差分法(フレーム間差分法)あるいは顕著性算出法により行う。 Here, when detecting the object to be determined from the current frame image is performed by the background difference method (inter-frame difference method) or saliency calculation method.

背景差分法とは、現に入力されている画像における各画素とその直前に入力されていた画像における各画素とを比較して差分を抽出する処理を行い、画像内から候補物体(走行障害の候補となる物体)を検出する方法をいう。 The background subtraction method, currently performs processing for extracting a difference by comparing the pixels in the image that has been input pixels and immediately before the image is input, the image of the candidate object (running fault candidates It refers to a method of detecting an object) to be. これによれば、微小な画素変化に左右されないので、過度に反応することを防止することができる。 According to this, since it is not dependent on small pixel changes, it is possible to prevent to react excessively.

また、顕著性算出方法とは、画像各部の明度や彩度、線方向等の部分的な変位量を各部の特徴として予め学習しておき、学習しておいたバックグラウンドには見られない顕著な特徴(例えば、線方向等)が現画像で現れているかどうかに基づいて候補物体が画像内に位置する領域を検出する方法をいう。 In addition, the saliency calculation method, an image each portion of the lightness and saturation, previously learned partial displacement of such a line direction as a feature of each part, not seen in the background that had been learned significantly a feature (e.g., a line direction, etc.) of candidate objects based on whether appearing in the current image refers to a method of detecting a region located in the image. これによれば、画素値の変化が少なくても、線方向(例えば、ベクトル)等で特異なものがあれば、顕著な特徴が現れているので、候補物体として検出できる。 According to this, even with a small change in pixel values, the line direction (e.g., vector) If any specific in such, since hallmark has appeared can be detected as the candidate object.

続いて、この物体判別装置は、上記した方法により現フレーム画像から判別の対象となる物体を検出すると、その物体までの距離を求める(図1の(2)参照)。 Subsequently, the object determination device detects the object to be determined from the current frame image by the method described above, obtains the distance to the object (see (2) in FIG. 1). ここで、物体までの距離は、各種測距方式(ステレオ方式、単眼方式、アクティブセンサ方式)により求めるか、あるいは、現フレーム画像における各画素の物体の縦位置(例えば、画像上の間隔あるいは画素数)からおおよその距離を予測して求める。 Here, the distance to the object, various distance measuring method (stereo, monocular systems, active sensor method) by either finding or vertical position (e.g., interval or pixels on the image of the object for each pixel in the current frame image It seeks to predict the approximate distance from number).

そして、この物体判別装置は、先ほど求めた物体までの距離に対応したテンプレートを記憶している複数のテンプレートの中から選択する(例えば、物体までの距離が10mであれば、10mに対応したテンプレートを選択する)。 Then, the template the object determination device is selected from a plurality of templates that stores templates corresponding to the distance to the object determined previously (e.g., the distance to the object is if 10m, corresponding to 10m to select a). そして、現フレーム画像内から判別対象として検出された物体が、その画像内において位置する領域に対してこのテンプレートをあてはめて物体判別を行う(図1の(3)参照)。 The object detected as the determination target from the current frame image, performing object determination by applying the template to a region located within the image (see (3) in Figure 1).

このように、この物体判別装置は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。 Thus, the template the object determination device stores a plurality of templates for each distance to the object in the image to be determined, to detect the distance to the object projected on the image, tailored to the distance select a, since the object determination by fitting the template, it is possible to perform the object determination by pattern matching technique efficiently. さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。 Furthermore, the object determination device detects an object in an image, since the pattern matching based on the distance to the detected object, it is possible to efficiently perform template matching without be specified road area, the object There it is possible to improve the processing efficiency than to perform the template matching regardless of whether it has been detected.

[物体判別装置の構成(実施例1)] Configuration of object determination device (Example 1)
次に、図2を用いて、図1を用いて概要を説明した物体判別装置30の構成を説明する。 Next, with reference to FIG. 2, the structure of the object determination device 30 outlined with reference to FIG. 図2は、実施例1に係る物体判別装置30の構成を示すブロック図である。 Figure 2 is a block diagram showing the configuration of an object determination device 30 according to the first embodiment. 同図に示すように、この物体判別装置30は、ナビ部11、レーダ部12、前処理部13、物体検出装置14、衝突危険度判定部15に接続される。 As shown in the figure, the object determination device 30, the navigation unit 11, the radar unit 12, the preprocessing section 13, the object detection apparatus 14 is connected to a collision risk judging section 15. また、物体判別装置30は、記憶部31と、制御部32とから構成される。 Further, the object determination device 30 includes a storage unit 31, and a control unit 32..

このうち、ナビ(ナビゲーション)部11は、GPS(Global Positioning System)人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。 Of these, navigation (navigation) 11, GPS communicates with (Global Positioning System) satellite is a means for setting and induction of the traveling path from the position and the map data of a motor vehicle identified. また、ナビ部11は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を運転者に供給する。 The navigation unit 11 supplies position information and the road shape of the car, the road width, the various useful information to the vehicle driving operation such as tilting the driver.

レーダ部12は、レーダ(例えば、76.5GHzのミリ波)を照射して、前方の車両や障害物との距離や速度、方向などを測定する手段である。 The radar unit 12, a radar (e.g., millimeter wave 76.5 GHz) was irradiated with a means for measuring the distance and the speed, direction of the front of the vehicle and obstacles. 前処理部13は、撮像装置10(例えば、可視光カメラ、単眼カメラ、ステレオカメラ)から送信されてくる画像に前処理を行う処理部であり、フィルタ部13aと輪郭抽出部13bとから構成される。 Preprocessing section 13, the imaging device 10 (e.g., visible light camera, a monocular camera, a stereo camera) is a processing unit that performs pre-processing on the image transmitted from the made up of a filter unit 13a and the contour extracting unit 13b that. このうち、フィルタ部13aは、画像内に映し出された物体の輪郭を強調するための前処理(例えば、シャープネス、コントラスト調整、彩度調整)を行う手段である。 Among them, the filter unit 13a, pretreatment for enhancing edges of an object displayed in the image (e.g., sharpness, contrast adjustment, color saturation adjustment) is a means for performing. また、輪郭抽出部13bは、フィルタ部13aによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。 Furthermore, the contour extraction unit 13b, based on the filtering applied by the filter unit 13a, a means for extracting a contour of an object in an image.

物体検出装置14は、撮像装置10から前処理部13を介して受け付けた画像から物体を検出する(画像内の領域を絞り込む)装置である。 Object detection apparatus 14 (Filter area in the image) for detecting an object from the image received via the preprocessing unit 13 from the imaging device 10 is a device. 例えば、背景差分法(フレーム間差分法)あるいは顕著性算出方法を用いた画像処理により画像内に映し出された物体が占める領域を検出する(テンプレートをあてはめる領域を絞り込む)。 For example, (Filter area fit a template) for detecting a region in which the object occupies, which is projected in the image by image processing using the background subtraction method (inter-frame difference method) or saliency calculation method. そして、この領域に対して、後述する物体判別装置30は、テンプレートマッチング手法を用いた画像処理を行う。 Then, for this region, the object determination device 30 to be described later, performs image processing using the template matching technique. なお、物体検出装置14による処理結果は、物体判別装置30および衝突危険度判定部15に送信される。 Incidentally, a result processed by the object detection unit 14 is transmitted to the object determination device 30 and the collision risk judging section 15.

衝突危険度判定部15は、物体検出装置14および物体判別装置30から受け付けた処理結果に基づいて、画像から検出された物体との衝突危険度を予測して判定する処理部である。 Collision risk determining unit 15 based on the processing result received from the object detection device 14 and the object determination device 30, a determining section predicts a collision risk between the detected object from an image. 例えば、物体判別装置30により検出された物体が歩行者であると判定され、画像内の位置から車両の近くを移動中である場合や、物体判別装置30による判定結果が子供の場合には衝突危険度は高いと判定し、車両から離れた位置に静止中の場合には衝突危険度は低いと判定する。 For example, it is determined that the object detected by the object determination device 30 is a pedestrian, and when it is moving near the position of the vehicle in the image, the collision when the determination result by the object determination device 30 children risk is judged to be high, it is determined that when at rest at a position away from the vehicle low collision risk. なお、この衝突危険度判定部15による処理結果は、車両制御部16および報知制御部17に送信される。 Incidentally, a result processed by the collision risk judging section 15 is transmitted to the vehicle control unit 16 and notification control unit 17.

このうち、車両制御部16は、衝突危険度判定処理部15から受け付けた処理結果に基づいて、車両制御を行う処理部である。 Among them, the vehicle control unit 16 based on the processing result received from the collision risk judging section 15 is a processing unit that performs vehicle control. 例えば、物体検出装置14により検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車両を停止する制御を行う(例えば、運転者がブレーキを踏まなくとも、自動的に車両制御に介入して安全に車両を停止させる)。 For example, when receiving a determination result that there is a high collision risk between the detected object by the object detection unit 14 performs control to stop the vehicle (e.g., even the driver the trouble of going to brake, automatically intervene in vehicle control safely stopping the vehicle on). また、物体検出装置14により検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車両を減速する制御または車両制御のアシスト(例えば、ブレーキのあそびを少なくして、車両の制動準備をする)を行う。 Also, when a collision risk between the detected object by the object detection apparatus 14 has received the determination result of the low, control or vehicle control to decelerate the vehicle assist (e.g., with less play of the brake, perform to) the braking preparation of the vehicle.

報知制御部17は、衝突危険度判定処理部15から受け付けた処理結果に基づいて、警告の報知を行う処理部である。 Notification control unit 17, based on the processing result received from the collision risk judging section 15, a processing section for informing a warning. 例えば、物体検出装置14により検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車内通知部18からアラーム音や音声などにより警告を報知する。 For example, when receiving a determination result that there is a high collision risk between the detected object by the object detection device 14, it gives a warning by an alarm sound or voice from the vehicle interior notification unit 18. また、物体検出装置14により検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車内通知部18から音声や画像により注意を促す。 Also, when a collision risk between the detected object by the object detection apparatus 14 has received the determination result of the low, attention by voice or image from the vehicle interior notification unit 18.

車内通知部18は、ナビ部11や報知制御部17からの情報を通知する手段であり、ディスプレイやスピーカなどで構成される。 Vehicle notification unit 18 is means for notifying the information from the navigation unit 11 and notification control unit 17, and the like in a display or a speaker. 例えば、ディスプレイの一部を点滅させて運転者の注意を促したり、スピーカからメッセージやアラーム音を流すことにより運転者に対して警告を行ったりする。 For example, to alert the driver by flashing a portion of the display, or a warning to the driver by passing messages or alarm sound from the speaker.

物体判別装置30の記憶部31は、制御部32による各種処理に必要なデータおよびプログラムを格納する格納手段(記憶手段)であり、特に本発明に密接に関連するものとしては、テンプレート記憶部31aを備える。 Storage unit 31 of the object determination device 30 is a storage means for storing data and programs necessary for various processes performed by the control unit 32 (storage means), in particular as those closely related to the present invention, the template storage unit 31a equipped with a.

このテンプレート記憶部31aは、画像内から物体検出装置14によって検出された物体にあてはめるテンプレートに関する各種の情報を記憶する手段であり、具体的には、図3に例示するように、画像内から判別の対象として検出された(絞込まれた)物体までの距離(即ち、自車両先端から物体までの距離)ごとに複数のテンプレートを記憶して構成される。 The template storage unit 31a is a unit that stores various kinds of information about the template fitting to be the object detected by the object detecting device 14 from the image, specifically, as illustrated in FIG. 3, determines the image distance is detected as an object (as incorporated down) to an object (i.e., the distance from the vehicle front end to an object) configured to store a plurality of templates for each. なお、図3では、このテンプレート記憶部31aは1mごとにテンプレートを記憶して構成されているが、1mごとに限らず数mあるいは数cmごとにテンプレートを記憶して構成するようにしてもよい。 In FIG. 3, but the template storage unit 31a is configured to store the template for each 1m, it may be configured to store a template for each number m or a few cm is not limited to each 1m .

物体判別装置30の制御部32は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、テンプレート選択部32aと、物体判別部32bとを備える。 Control unit 32 of the object determination device 30 includes an internal memory for storing programs and necessary data defines such as a predetermined control program, various processing routines and uses them there in the processing unit to execute various processes , in particular as those closely related to the present invention includes a template selecting section 32a, and a object determination section 32b.

このうち、テンプレート選択部32aは、テンプレート記憶部31aからテンプレート選択する処理部であり、具体的には、物体検出装置14によって画像内から判別の対象として検出された物体までの距離を、各種測距方式(ステレオ方式、単眼方式、アクティブセンサ)や画像内における物体の縦位置からの予測によって求め、その距離に対応したテンプレートをテンプレート記憶部31aから選択する。 Of these, the template selecting unit 32a is a processing unit that selects a template from the template storage unit 31a, specifically, the distance from the image by the object detection apparatus 14 until the detected object as the object of determination, various measurement AE formula (stereo system, a monocular system, active sensor) obtained by the prediction from the vertical position of the object in or image, selects a template corresponding to the distance from the template storage unit 31a.

この場合、例えば、画像上の下端から画像内の物体までの画像上の間隔に基づき、実際の自車両先端から物体までの距離を求めるようにしてもよいし、レーダ(例えば、ミリ波レーダ)により自車両先端から物体までの距離を求めるようにしてもよい。 In this case, for example, based on the lower end of the image to the interval of the image to the object in the image, it may be calculated the distance from the actual vehicle tip to the object, the radar (e.g., a millimeter wave radar) the may be obtained the distance from the vehicle front end to an object.

物体判別部32bは、画像内から判別の対象として検出された物体にテンプレートをあてはめて、その物体が何であるかを判別する処理部であり、具体的には、物体検出装置14によって画像内から判別の対象として検出された物体に、テンプレート選択部32aによってテンプレート記憶部31aから選択されたテンプレートをあてはめる。 Object determination unit 32b, by applying the template to the detected object as the target of discrimination from the image, a processing unit for determining whether the object is what, specifically, from the image by the object detection device 14 the detected object as the target of discrimination, fitting the selected template from the template storage unit 31a by the template selecting unit 32a. そして、テンプレートと物体のマッチングの有無からその物体がテンプレートに示す物体であるか否かを判別する(例えば、照合度が所定の閾値より高いか低いかにより判別)。 Then, the object from the presence of the template and the object of matching is determined whether or not the object shown in the template (e.g., determined by either the matching degree is higher or lower than a predetermined threshold). その際、照合度が所定の閾値より低ければ不一致として、次に優先度の低い大きさのテンプレートをあてはめるようにして順次優先度の高いものから照合していく。 At that time, as a mismatch when matching degree is lower than a predetermined threshold, continue to match from those sequentially higher priority then to apply a template lower priority size.

[物体判別装置による処理(実施例1)] Process according to object determination device (Example 1)
次に、図4を用いて、実施例1に係る物体判別装置による処理を説明する。 Next, with reference to FIG. 4, the processing by the object determination device according to the first embodiment will be described. 図4は、実施例1に係る物体判別装置の処理の流れを示すフローチャートである。 Figure 4 is a flowchart showing a process flow of the object determination device according to the first embodiment. 同図に示すように、画像の入力を受け付けると(ステップS401肯定)、物体検出装置14は、現フレーム画像内から物体の検出を実行する(ステップS402)。 As shown in the figure, when receiving an input image (step S401: Yes), the object detection apparatus 14 performs the detection of objects from the current frame image (step S402).

その結果、現フレーム画像内から判別の対象となる物体を検出すると(ステップS403肯定)、テンプレート選択部32aは、その物体までの距離を求める(ステップS404)。 As a result, when detecting an object to be discriminated from the current frame image (step S403: YES), the template selecting unit 32a determines the distance to the object (step S404). ここで、物体までの距離は、各種測距方式(ステレオ方式、単眼方式、アクティブセンサ方式)により求めるか、あるいは、現フレーム画像における物体の縦位置からおおよその距離を予測して求める。 Here, the distance to the object, various distance measuring method (stereo, monocular systems, active sensor systems) or obtained by, or determined by predicting the approximate distance from the vertical position of the object in the current frame image.

続いて、テンプレート選択部32aは、判別の対象となる物体までの距離に対応したテンプレートをテンプレート記憶部31aから選択する(ステップS405)。 Subsequently, the template selecting unit 32a selects a template corresponding to the distance to the object to be determined from the template storage unit 31a (step S405). そして、このテンプレートを物体判別部32bに送る。 Then, it sends the template to the object determination unit 32b.

テンプレート選択部32aからテンプレートを受け付けた物体判別部32bは、現フレーム画像から検出された判別対象となる物体に、このテンプレートをあてはめて物体判別処理を実行する(ステップS406)。 Object determination unit 32b that has received the template from the template selecting unit 32a, to an object as a determination target has been detected from the current frame image, executes the object determination process by applying this template (Step S406).

ここで、ステップS403の説明に戻ると、物体検出装置14によって、現フレーム画像内から判別の対象となる物体を検出されなければ(ステップS403否定)、次の画像が入力されるのを待つ。 Referring back to the description of step S403, the object detecting device 14, is not detected the object to be discriminated from the current frame image (step S403 negative), wait for the next image is input.

なお、以上に説明した処理は、画像の入力がある限り繰り返し行われ、画像の入力がなければ、物体判別装置30は処理を終了する。 Note that the processing described above, the input image is performed repeatedly as long as, if the input image is not, object determination device 30 ends the process. また、物体判別処理(テンプレートのあてはめ)の途中で次の画像が入力された場合には、物体判別処理を中止し次の画像に対して処理を開始する。 Further, when the next image is input in the middle of the object determination processing (fitting template) stops the object determination process starts processing for the next image.

[実施例1の効果] Effects of First Embodiment
上述してきたように、実施例1によれば、この物体判別装置30は、判別の対象となる画像内の物体までの距離ごとに複数のテンプレート記憶し、画像内に映し出された物体までの距離を検出し、その距離に合わせたテンプレートを選択してから、そのテンプレートをあてはめることにより物体判別を行うので、パターンマッチング手法による物体判別を効率的に行うことが可能となる。 As described above, according to the first embodiment, the object determination device 30 may store a plurality of templates for each distance to the object in the image to be determined, the distance to the object projected on the image detects, select a template tailored to the distance, since the object determination by fitting the template, it is possible to perform the object determination by pattern matching technique efficiently. さらに、この物体判別装置は、画像内の物体を検出し、検出された物体までの距離に基づいてパターンマッチングを行うので、道路領域が特定できなくとも効率よくテンプレートマッチングを行うことができ、物体が検出されたかどうかに関わらずテンプレートマッチングを行うのに比べ処理効率をよくすることが可能となる。 Furthermore, the object determination device detects an object in an image, since the pattern matching based on the distance to the detected object, it is possible to efficiently perform template matching without be specified road area, the object There it is possible to improve the processing efficiency than to perform the template matching regardless of whether it has been detected.

また、実施例1によれば、この物体判別装置は、次の画像が入力されるまで、優先テーブルに基づいて、様々な要因(例えば、物体までの距離や物体の大きさ)に合わせて選択したテンプレートを順にあてはめることにより物体判別を行うので、現時点で行っている処理より優先すべき次の画像に対して物体判別を開始することが可能となる。 Furthermore, according to the first embodiment, the object determination device, until the next image is input, based on the priority table, for a variety of factors (e.g., the size of the distance and the object to the object) selected since the object determination by fitting the template turn makes it possible to start the object determination against currently performed operation being next image to be precedence over.

さて、これまで実施例1に係る物体判別装置について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。 Now, have been described object determination device according to the first embodiment, the present invention other than the embodiments described above, but that may be implemented in various different forms. そこで、以下では実施例2として、種々の異なる実施例を(1)〜(6)に区分けして説明する。 In the following the second embodiment will be described with divided various different embodiments in (1) to (6).

(1)テンプレートの種別 上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離および種別ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせたテンプレートを種類別に選択して、これらのテンプレートをあてはめて物体判別を行うようにしてもよい。 In the classification above embodiment of (1) a template, stores a plurality of templates for each distance to the object in the image, detects a distance to an object, the object determination by applying the template selected in accordance with the distance there has been described a case where the present invention is not limited thereto, and stores a plurality of templates for each distance and type to the object in the image, detects the distance to the object, tailored to the distance select a template by type, it may be fitted to these templates to perform the object determination. 以下に、この場合の物体判別装置について説明する。 The following describes object determination device in this case.

具体的には、図5に例示するように、この物体判別装置は、画像内の物体までの距離および種別(子供用および大人用)ごとに複数のテンプレートを記憶する。 Specifically, as illustrated in FIG. 5, the object determination device stores a plurality of templates for each distance and type to the object in the image (for children and for adults). そして、この物体判別装置は、画像内の物体までの距離(例えば、10m)を検出し、その距離に合わせて子供用および大人用のテンプレートを選択し、判別の対象として検出された物体に両者のテンプレートをあてはめて物体判別を行う。 Then, both the object determination device, distance to the object in the image (e.g., 10 m) is detected and the object for children and select a template for adults, was detected as a target of determination in accordance with the distance performing object determination by applying a template. これにより、パターンマッチング手法による物体判別を種別の異なるものについても効率的に行うことが可能となる。 Thus, it becomes possible to perform efficient even for those different types of object discrimination by pattern matching technique.

(2)物体の大きさに合わせたテンプレート 上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離および物体の大きさごとに複数のテンプレート記憶し、物体までの距離および物体の大きさを検出し、その距離および大きさに合わせて選択したテンプレートを、判別の対象として検出された物体にあてはめて物体判別を行うようにしてもよい。 The template above embodiment according to the size of (2) the object, stores a plurality of templates for each distance to the object in the image, detects a distance to an object, the template selected in accordance with the distance there has been described a case where the object determination by fitting, the present invention is not limited thereto, and stores a plurality of templates for each of the distance and the object to the object in the image size, distance and the object to the object of detecting the size, the template selected in accordance with the distance and size, may be fitted to the detected object to perform the object determination as an object of discrimination. 以下に、この場合の物体判別装置について説明する。 The following describes object determination device in this case.

具体的には、図6に例示するように、この物体判別装置は、画像内の物体までの距離および物体の大きさ(例えば、160cmあるいは180cm)ごとに複数のテンプレートを記憶する。 Specifically, as illustrated in FIG. 6, the object determination device, the size of the distance and the object to the object in the image (e.g., 160cm or 180cm) stores a plurality of templates for each. そして、この物体判別装置は、画像内の物体までの距離(例えば、10m)および大きさ(例えば、180cm、画像内の物体までの距離および画像内に撮像されているその物体の縦方向の画像上の間隔、あるいは、画素数からテンプレート選択部が割り出す)を検出し、その距離および大きさに合わせてテンプレートを選択し、判別の対象として検出された物体にこのテンプレートをあてはめて物体判別を行う。 Then, the object determination device, distance to the object in the image (e.g., 10 m) and size (e.g., 180cm, the longitudinal direction of the image of the object being imaged in the distance and the image to the object in the image distance above or to detect the indexing template selecting section) from the number of pixels, and select a template to fit the distance and size, performing object determination by fitting the template to the detected object as an object of determination . これにより、パターンマッチング手法による物体判別をより効率的に行うことが可能となる。 Thus, it is possible to perform object discrimination by pattern matching techniques more efficiently.

(3)テンプレートの態様 上記の実施例では、画像内の物体までの距離ごとに複数のテンプレートを記憶し、物体までの距離を検出し、その距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内の物体までの距離ごとに態様の異なる一群のテンプレートを記憶し、画像内の物体までの距離を検出し、その距離に合わせて選択した態様の異なる一群のテンプレートをあてはめて物体判別を行うようにしてもよい。 In aspects above embodiment of (3) the template, stores a plurality of templates for each distance to the object in the image, it detects a distance to an object, the object determination by applying the template selected in accordance with the distance there has been described a case where the present invention is not limited thereto, and stores a group of templates having different aspect for each distance to the object in the image, and detects the distance to objects in the image, its distance may be performed object determination by applying a different set of templates of selected embodiments in accordance with the. 以下にこの場合の物体判別装置について説明する。 The following explains object determination device in this case.

具体的には、図7に例示するように、この物体判別装置は、画像内の物体までの距離ごとに態様の異なる一群のテンプレート(例えば、立っている人を判別するテンプレートや走っている人を判別するテンプレートなど)を記憶する。 Human Specifically, as illustrated in FIG. 7, the object determination device, different embodiments for each distance to the object class of the template in the image (for example, running templates and to determine the person standing storing template, etc.) to determine. そして、この物体判別装置は、画像内までの距離(例えば、10m)を検出し、その距離に合わせてこれら態様の異なる一群のテンプレートを選択し、判別の対象として検出された物体にこれら一群のテンプレートをあてはめて物体判別を行う。 Then, the object determination device, the distance to the image (e.g., 10 m) is detected and then select a different set of templates of these modes in accordance with the distance, a group of these detected objects as target discrimination performing object determination by fitting the template. これにより、パターンマッチング手法による物体判別を物体の態様も踏まえて効率的に行うことが可能となる。 Thus, it becomes possible to perform efficient in light aspects of the object the object determination by pattern matching technique.

なお、上記の(1)〜(3)において、物体までの距離および物体の種別ごとにテンプレートを記憶する場合、物体までの距離および物体の大きさごとにテンプレートを記憶する場合、あるいは、物体までの距離ごとに態様の異なる一群のテンプレートを記憶する場合について説明したが、本発明はこれに限定されるものではなく、具体的には、この物体判別装置は、図8に例示するように、物体までの距離、物体の種別、物体の大きさおよび物体の態様に合わせてテンプレート記憶するようにしてもよい。 Note that in the above (1) to (3), when storing the template for each type of distance and the object to the object, when storing the template for each size of the distance and the object to the object, or to the object has been described for storing the aspects different set of templates for each distance, the present invention is not limited thereto, specifically, the object determination device, as illustrated in FIG. 8, distance to an object, the object type, may be combined with the template stored in the aspects of the object size and object. これにより、物体判別を様々な状況を踏まえてより効率的に行うことが可能となる。 Thus, it becomes possible to perform more efficiently the object determination in light of different situations.

(4)テンプレートをあてはめの優先制御 上記の実施例では、画像内から物体を検出すると、物体までの距離に合わせて選択したテンプレートをあてはめて物体判別を行う場合について説明したが、本発明はこれに限定されるものではなく、画像内から判別の対象となる物体が複数検出された場合に、いずれの物体から優先的に判別を行うかを制御するようにしてもよい。 (4) In the embodiment of the priority control above fit the template, when detecting an object from the image, there has been described a case where the object determination by applying the template selected in accordance with the distance to the object, the present invention will now it is not limited to, when subject to object determination from the image is more detected, may be controlled whether to preferentially determine from any object. 以下に、この場合の物体判別装置について説明する。 The following describes object determination device in this case.

具体的には、図9に例示するように、この物体判別装置は、現フレーム画像から判別の対象となる物体の検出を行う(図9の(1)参照)。 Specifically, as illustrated in FIG. 9, the object determination device performs detection of an object to be determined from the current frame image (see (1) in FIG. 9). 続いて、この物体判別装置は、画像内から検出された物体までの距離を求めて、物体までの距離の近い順にラベリングを行う(図9の(2)参照)。 Subsequently, the object determination device, seeking distance to the object detected from the image, performs labeling in order of closeness of the distance to the object (see (2) in FIG. 9). ここで、ラベリングは、図10に例示すような優先テーブルに基づいて行う。 Here, the labeling is performed based on the priority table shown example in FIG. 10. この優先テーブルは、画像内に判別の対象となる物体が複数存在する場合に、いずれの領域から順次優先的にテンプレートあてはめるかを規定し、例えば、テンプレートあてはめる順番(距離が近いものから遠い順に)を記憶して構成される。 The priority table, if subject to object determination in the image there are multiple, define whether sequentially preferentially fit template from any region, for example, (the farthest from what distance is short) sequence fitting template configured to store. そして、この物体判別装置は、画像内の物体までの距離に応じたテンプレートを選択して、画像内の物体にラベリング順にそのテンプレートをあてはめて物体判別を行う(図9の(3)参照)。 Then, the object determination device selects a template corresponding to the distance to the object in the image, it performs object determination by fitting the template to the labeling order of objects in the image (see (3) in FIG. 9).

このように、物体が検出されたいずれの領域から優先的にテンプレートをあてはめて物体判別を行うかを規定した優先テーブルに基づいて、順次優先的に様々な要因(例えば、物体までの距離や物体の大きさ)に合わせて選択したテンプレートをあてはめることにより物体判別を行うので、優先的に物体判別を行うべき画像内の領域からテンプレートをあてはめて物体判別を行うことができ、物体判別をより効率的に行うことが可能となる。 Thus, based on the priority table defining whether to object determination by applying the preferentially template from any region where the object is detected, sequentially preferentially various factors (e.g., distance and the object to the object since the object determination by fitting the selected template according to the size), preferentially can perform space object determination by applying a template from within the image to be subjected to object determination, and more the object determination efficiency it is possible to perform the specific. また、画像内の物体までの距離が最小である領域から優先的にテンプレートのあてはめを行うように規定した優先テーブルに基づいて、順次優先的にテンプレートをあてはめて物体判別を行うので、物体判別の必要性の高い近距離の物体からより効率的に物体判別を行うことが可能となる。 Further, based on the priority table in which the distance to the object in the image is defined to perform the fitting of preferentially template from the area is minimal, since the object determination by applying sequentially preferentially template, the object determination it is possible to perform more efficiently object determination from the object of much-needed short distance.

(5)装置構成 図2に示した物体判別装置30の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。 (5) the components of the object determination device 30 shown in apparatus configuration diagram 2 is conceptual in function, and that it is not necessarily physically configured as depicted. すなわち、物体判別装置30の分散・統合の具体的形態は図示のものに限られず、例えば、テンプレート選択部32aと物体判別部32bを統合し、あるいは、物体検出装置14と物体判別装置30を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 In other words, the specific mode of dispersion and integration of the object determination device 30 is not limited to the illustrated, for example, to integrate the template selecting section 32a and the object determination unit 32b, or the object detecting device 14 and the object determination device 30 integrates to such, in whole or in part, in accordance with various loads or use conditions may be functionally or physically distributed or integrated in arbitrary units. さらに、物体判別装置30にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, the processing functions performed by object determination device 30 are entirely or partially realized by a program analyzed and executed by CPU and the CPU, it realized as hardware by wired logic obtain.

(6)物体判別プログラム ところで、上記の実施例1で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーション(例えば、車載用のコンピュータ)などのコンピュータシステムで実行することによって実現することができる。 (6) object determination program Incidentally, the various processes described in the above Example 1, realized by executing a previously prepared program a personal computer or a work station (e.g., computer-vehicle) in a computer system, such as can do. そこで、以下では、図10を用いて、上記の実施例1と同様の機能を有する物体判別プログラムを実行するコンピュータの一例を説明する。 In the following, with reference to FIG. 10, an example of a computer that executes the object determination program having the same function as in the first embodiment described above. 図11は、物体判別プログラムを実行するコンピュータを示す図である。 Figure 11 is a diagram illustrating a computer that executes the object determination program.

同図に示すように、物体判別装置としてのコンピュータ40は、HDD41、RAM42、ROM43およびCPU44をバス50で接続して構成される。 As shown in the figure, the computer 40 as the object determination device is constructed by connecting a HDD 41, RAM 42, ROM 43 and CPU44 bus 50.

そして、ROM43には、上記の実施例1に示した物体判別装置30と同様の機能を発揮する物体判別プログラム、つまり、図11に示すように、テンプレート選択プログラム43aおよび物体判別プログラム43bがあらかじめ記憶されている。 Then, the ROM 43, the object determination program having the same function as the object determination device 30 shown in the first embodiment, that is, as shown in FIG. 11, the template selection program 43a and the object determination program 43b is stored in advance It is. なお、これらのプログラム43aおよび43bについては、図2に示した物体判別装置30の各構成要素と同様、適宜統合または分散してもよい。 These programs 43a and 43 b, similar to the components of the object determination device 30 shown in FIG. 2, may be appropriately integrated or distributed. なお、ROM43は、不揮発性の「RAM」でもよい。 It should be noted, ROM43 is, may be a "RAM" in the non-volatile.

そして、CPU44が、これらのプログラム43aおよび43bをROM43から読み出して実行することで、図11に示すように、各プログラム43aおよび43bは、テンプレート選択プロセス44aおよび物体判別プロセス44bとして機能するようになる。 Then, CPU 44 is, these programs 43a and 43b that reads and executes the ROM 43, as shown in FIG. 11, the programs 43a and 43b are made to function as a template selection process 44a and the object determination process 44b . なお、各プロセス44aおよび44bは、図2に示したテンプレート選択部32aおよび物体判別部32bにそれぞれ対応する。 The processes 44a and 44b correspond respectively to the template selecting unit 32a and the object determination unit 32b shown in FIG.

また、HDD41には、図11に示すように、テンプレートテーブル41aが設けられる。 Further, the HDD 41, as shown in FIG. 11, the template table 41a is provided. このテンプレートテーブル41aは、図2に示したテンプレート記憶部31aに対応する。 The template table 41a corresponds to the template storage unit 31a shown in FIG. そして、CPU44はテンプレートテーブル41aから、テンプレートデータ42aを読み出してRAM42に格納し、RAM42に格納されたテンプレートデータ42aに基づいて物体判別処理を実行する。 Then, CPU 44 from the template table 41a, and stores in RAM 42 reads out the template data 42a, executes the object determination process based on the template data 42a stored in the RAM 42.

なお、上記した各プログラム43aおよび43bについては、必ずしも最初からROM43に記憶させておく必要はなく、例えば、コンピュータ40に挿入されるフレキシブルディスク(FD)、CD−ROM、MOディスク、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータ40の内外に備えられるHDDなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ40に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ40がこれらから各プログラムを読み出して実行するようにしてもよい。 Note that the programs 43a and 43b described above is not necessarily stored initially in ROM 43, for example, a flexible disk 40 (FD), CD-ROM, MO disk, DVD disk, optical magnetic disks, "physical medium Portability" such as an IC card, or a "fixed physical medium" such as an HDD provided inside or outside the computer 40, and further, via public line, Internet, LAN, WAN, etc. may be stored with each program, etc. "another computer (or server)" connected to the computer 40, the computer 40 may read and execute the programs therefrom.

また、上記の実施例では、車載の撮像装置で撮像された画像内の物体を判別する場合について説明したが、本発明はこれに限定されるものではなく、固定式の撮像装置(例えば、交差点に取り付けられた交通流監視カメラ)で撮像された物体を判別するようにしてもよい。 In the above embodiment has described the case to determine the object in an image captured by the vehicle-mounted imaging apparatus, the present invention is not limited thereto, an imaging apparatus fixed (e.g., an intersection may be judged the imaged object in the traffic flow monitor camera) that it is attached to.

以上のように、本発明に係る物体判別装置、物体判別方法および物体判別プログラムは、画像内の所定の領域にテンプレートをあてはめて当該領域内の物体を判別する場合に有用であり、特に、パターンマッチング手法による物体判別を効率的に行うことに適する。 As described above, the object determination device according to the present invention, object determination method and the object determination program, by applying the template to a predetermined region in an image is useful for determining the object of the region, in particular, the pattern suitable to perform the object determination by matching technique efficiently.

実施例1に係る物体判別装置の概要を説明するための図である。 It is a diagram for explaining the outline of the object determination device according to the first embodiment. 実施例1に係る物体判別装置の構成を示すブロック図である。 Is a block diagram showing the configuration of an object determination apparatus according to a first embodiment. 実施例1に係るテンプレートの構成例を示す図である。 It is a diagram illustrating a configuration example of a template according to the first embodiment. 実施例1に係る物体判別装置の処理の流れを示すフローチャートである。 It is a flowchart showing a process flow of the object determination device according to the first embodiment. 実施例2に係る物体の種別を考慮した記憶したテンプレートの構成例を示す図である。 It is a diagram illustrating a configuration example of a template stored in consideration of the type of an object according to the second embodiment. 実施例2に係る物体の大きさを考慮した記憶したテンプレート構成例を示す図である。 It is a diagram illustrating a template configuration example stored considering the size of the object according to the second embodiment. 実施例2に係る物体の態様を考慮した記憶したテンプレートの構成例を示す図である。 It is a diagram illustrating a configuration example of a template stored considering aspects of the object according to the second embodiment. 実施例2に係る種々の要因を考慮した記憶したテンプレートの構成例を示す図である。 It is a diagram illustrating a configuration example of a template stored considering various factors according to the second embodiment. 実施例2に係る判別の対象となる複数の領域に対してテンプレートをあてはめる順番を制御する場合の概要を説明するための図である。 It is a diagram for explaining the outline of the case of controlling the order of applying the template to a plurality of areas to be determined according to the second embodiment. 実施例2に係る優先テーブルの構成例を示す図である。 It is a diagram illustrating a configuration example of a priority table according to the second embodiment. 物体判別プログラムを実行するコンピュータを示す図である。 It is a diagram illustrating a computer that executes the object determination program.

符号の説明 DESCRIPTION OF SYMBOLS

10 撮像装置 11 ナビ(ナビゲーション)部 12 レーダ部 13 前処理部 13a フィルタ部 13b 輪郭抽出部 14 物体検出装置 15 衝突危険度判定部 16 車両制御部 17 報知制御部 18 車内通知部 30 物体判別装置 31 記憶部 31a テンプレート記憶部 32 制御部 32a テンプレート選択部 32b 物体判別部 40 コンピュータ 41 HDD(Hard disk drive) 10 imaging device 11 Navigation (Navigation) 12 radar unit 13 pre-processing unit 13a filter portion 13b contour extraction unit 14 object detection device 15 the collision risk judging section 16 vehicle controller 17 notification control section 18 interior notifying unit 30 object determination device 31 storage unit 31a the template storage unit 32 control unit 32a template selecting unit 32b object determination unit 40 computer 41 HDD (Hard disk drive)
42 RAM(Random Access Memory) 42 RAM (Random Access Memory)
43 ROM(Read Only Memory) 43 ROM (Read Only Memory)
44 CPU(Central Processing Unit) 44 CPU (Central Processing Unit)
50 バス 50 bus

Claims (9)

  1. 画像内にテンプレートをあてはめて、検出された物体を判別する物体判別装置において、 By applying a template to the image, the object determination device for determining a detected object,
    前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手段と、 A template storage means for storing a plurality of templates for each distance to the object of interest of the determination,
    前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手段と、 From among the template storage means the stored template, and the template selecting means for selecting and detecting the distance to the object, corresponding to the distance template,
    前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手段と、 The template selected by the template selecting unit, the object discriminating means for discriminating the object by applying to the said image,
    を備えたことを特徴とする物体判別装置。 Object determination apparatus characterized by comprising a.
  2. 前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の種別ごとに複数のテンプレートを記憶し、 The template storing means stores a plurality of templates for each type of distance and the object to the object of interest of the determination,
    前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記画像内の物体までの距離を検出し、当該距離に対応したテンプレートを前記物体の種別ごとに選択し、 The template selecting unit, from among the template storage means the stored template to detect the distance to the object in the image, and select the template that corresponds to the distance for each type of the object,
    前記物体判別手段は、前記テンプレート選択手段によって選択された各種別のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項1に記載の物体判別装置。 It said object determining means, the object determination device according to claim 1, the template selection means each type of template selected by, and discriminates the object fitting into the image.
  3. 前記テンプレート記憶手段は、前記判別の対象となる物体までの距離および物体の大きさごとに複数のテンプレートを記憶し、 The template storing means stores a plurality of templates for each size of the distance and the object to the object of interest of the determination,
    前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離および大きさを検出し、当該距離および大きさに対応したテンプレートを選択し、 The template selecting unit, from among the template storage means the stored template to detect the distance and size to the object, select a template corresponding to the distance and size,
    前記物体判別手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項1に記載の物体判別装置。 It said object determining means, object determination device according to the template selected by the template selecting means, to claim 1, characterized in that to determine the object by applying in the image.
  4. 前記テンプレート記憶手段は、前記判別の対象となる物体について態様の異なる一群のテンプレートを所定の距離ごとに記憶し、 The template storing means stores the set of templates with different embodiments for subject to object determination for each predetermined distance,
    前記テンプレート選択手段は、前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応した前記態様の異なる一群のテンプレートを選択し、 The template selecting unit, from among the template storage means the stored template to detect the distance to the object, select a different set of templates of the mode corresponding to the distance,
    前記物体判別手段は、前記テンプレート選択手段によって選択された前記態様の異なる一群のテンプレートを、前記画像内にあてはめて前記物体を判別することを特徴とする請求項2または3に記載の物体判別装置。 Said object determining means, the object determination device according to claim 2 or 3, characterized in that the different set of templates of the embodiments selected by the template selecting means determines said object by applying in the image .
  5. 前記画像内に前記判別の対象となる複数の物体がそれぞれ存在する場合に、いずれの物体から順次優先的に前記テンプレートをあてはめるかを規定した優先情報と、 When a plurality of objects to be the determination in the image exists, respectively, and the priority information defining whether fitted sequentially preferentially the template from any of the object,
    前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記画像内で順次優先的にあてはめるように制御する優先制御手段と、 The template selected by the template selecting unit, and a priority control means on the basis of the priority information, it controls to apply sequentially preferentially within the image,
    をさらに備えたことを特徴とする請求項1に記載の物体判別装置。 Object determination device according to claim 1, further comprising a.
  6. 前記優先情報は、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的に前記テンプレートをあてはめる旨を規定し、 The priority information defines the fact that the distance to the object of interest of the determination is fit sequentially preferentially the template from the object is minimal,
    前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、前記優先情報に基づいて、前記判別の対象となる物体までの距離が最小である当該物体から順次優先的にあてはめるように制御することを特徴とする請求項5に記載の物体判別装置。 Said priority control means, the template selected by the template selecting unit, based on the priority information, the distance to the object of interest of the determination is controlled to sequentially apply preferentially from the object is minimum object determination device according to claim 5, characterized in that.
  7. 前記優先制御手段は、前記テンプレート選択手段によって選択されたテンプレートを、次画像が入力されるまで、前記優先情報に基づいて、前記画像内の所定の領域にあてはめるように制御することを特徴とする請求項5に記載の物体判別装置。 Said priority control means, the template selected by the template selecting means, until the next image is input, based on the priority information, and controls so as to apply a predetermined region in the image object determination device according to claim 5.
  8. 画像内にテンプレートをあてはめて、検出された物体を判別する物体判別方法において、 By applying a template to the image, the object determination method of determining the detected object,
    前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶工程と、 A template storage step of storing a plurality of templates for each distance to the object of interest of the determination,
    前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択工程と、 From among the template storage means the stored template, and the template selecting step of selecting and detects the distance to the object, corresponding to the distance template,
    前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別工程と、 And an object determination step that the template selected by the template selecting means determines the object by applying to the said image,
    を備えたことを特徴とする物体判別方法。 Object determination method characterized by comprising a.
  9. 画像内にテンプレートをあてはめて、検出された物体を判別する方法をコンピュータに実行させる物体判別プログラムにおいて、 By applying a template to the image, the object determination program for executing the method of determining the detected object in the computer,
    前記判別の対象となる物体までの距離ごとに複数のテンプレートを記憶するテンプレート記憶手順と、 A template storage procedure for storing a plurality of templates for each distance to the object of interest of the determination,
    前記テンプレート記憶手段に記憶されたテンプレートの中から、前記物体までの距離を検出し、当該距離に対応したテンプレートを選択するテンプレート選択手順と、 From among the template storage means the stored template, the template selection procedure for detecting the distance to the object, you select a template corresponding to the distance,
    前記テンプレート選択手段によって選択されたテンプレートを、前記画像内にあてはめて前記物体を判別する物体判別手順と、 The template selected by the template selecting unit, and the object determination procedure for determining the object by applying to the said image,
    をコンピュータに実行させることを特徴とする物体判別プログラム。 Object determination program for causing a computer to execute the.
JP2005257721A 2005-09-06 2005-09-06 Object discrimination device, object discrimination method and object discrimination program Pending JP2007072665A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005257721A JP2007072665A (en) 2005-09-06 2005-09-06 Object discrimination device, object discrimination method and object discrimination program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005257721A JP2007072665A (en) 2005-09-06 2005-09-06 Object discrimination device, object discrimination method and object discrimination program

Publications (2)

Publication Number Publication Date
JP2007072665A true JP2007072665A (en) 2007-03-22
JP2007072665A5 JP2007072665A5 (en) 2008-08-28

Family

ID=37934057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005257721A Pending JP2007072665A (en) 2005-09-06 2005-09-06 Object discrimination device, object discrimination method and object discrimination program

Country Status (1)

Country Link
JP (1) JP2007072665A (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269073A (en) * 2007-04-17 2008-11-06 Denso Corp Object detector for vehicle
JP2009169776A (en) * 2008-01-18 2009-07-30 Hitachi Ltd Detector
JP2009176087A (en) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd Vehicle environment recognizing system
JP2009282592A (en) * 2008-05-20 2009-12-03 Hitachi Ltd Vehicular outside world recognition device and vehicle system
JP2009289189A (en) * 2008-05-30 2009-12-10 Denso Corp Apparatus and program for creating learning model, and apparatus and program for detecting object
JP2009301494A (en) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd Image processing unit and image processing method
KR101003362B1 (en) * 2008-09-09 2010-12-22 전자부품연구원 Apparatus for determining size template
JP2011027457A (en) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd Object detecting device, information processing method and information processing system
EP2487647A1 (en) * 2009-10-09 2012-08-15 Clarion Co., Ltd. Pedestrian detection system
JP2012181660A (en) * 2011-03-01 2012-09-20 Nippon Telegr & Teleph Corp <Ntt> Detector, load reduction method and program
JP2012191399A (en) * 2011-03-10 2012-10-04 Nikon Corp Image tracking device
DE102011078615A1 (en) 2011-07-04 2013-01-10 Toyota Jidosha K.K. Object detector for detecting pedestrian in surrounding area of vehicle, has pedestrian identification portion for identifying whether window image is image depicting object, and identification model selected to identify object
EP2570963A2 (en) 2011-09-15 2013-03-20 Clarion Co., Ltd. Systems, devices, and methods for recognizing objects as perceived from a vehicle
JP2013540984A (en) * 2010-07-15 2013-11-07 ジ ヨーロピアン アトミック エネジー コミュニティ(ユーラトム),リプレゼンテッド バイ ジ ヨーロピアン コミッション How safely identify the moving object
JP2014092975A (en) * 2012-11-05 2014-05-19 Toshiba Tec Corp Commodity recognition device and commodity recognition program
JP2014215808A (en) * 2013-04-25 2014-11-17 東芝テック株式会社 Recognition dictionary creation device and recognition dictionary creation program
US20150063637A1 (en) * 2013-08-27 2015-03-05 Toyota Jidosha Kabushiki Kaisha Image recognition method and robot
US8994823B2 (en) 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
JP2015132969A (en) * 2014-01-14 2015-07-23 株式会社デンソー Movable body detector and movable body detection method
JP2016207114A (en) * 2015-04-28 2016-12-08 マツダ株式会社 Pedestrian movement estimation method and the estimation device
JP2017142600A (en) * 2016-02-09 2017-08-17 株式会社デンソー Collision prediction apparatus
WO2018062335A1 (en) * 2016-10-02 2018-04-05 一 笠原 Location information identifying method, location information identifying device, and location information identifying program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129898A (en) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc Obstacle detecting device
JPH1032751A (en) * 1996-07-17 1998-02-03 Canon Inc Image pickup device and image processor
JPH1097627A (en) * 1996-09-24 1998-04-14 Komatsu Ltd Pattern matching method/device and movement control method/device
JP2002099997A (en) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp Detection device for moving object
JP2004030629A (en) * 2002-05-10 2004-01-29 Sony Corp Face detection apparatus, face detection method, robotic device, program, and recording medium
JP2004178229A (en) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd Location detector of personal, detection method and autonomous moving device using the detector

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129898A (en) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc Obstacle detecting device
JPH1032751A (en) * 1996-07-17 1998-02-03 Canon Inc Image pickup device and image processor
JPH1097627A (en) * 1996-09-24 1998-04-14 Komatsu Ltd Pattern matching method/device and movement control method/device
JP2002099997A (en) * 2000-09-26 2002-04-05 Mitsubishi Motors Corp Detection device for moving object
JP2004030629A (en) * 2002-05-10 2004-01-29 Sony Corp Face detection apparatus, face detection method, robotic device, program, and recording medium
JP2004178229A (en) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd Location detector of personal, detection method and autonomous moving device using the detector

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269073A (en) * 2007-04-17 2008-11-06 Denso Corp Object detector for vehicle
JP2009169776A (en) * 2008-01-18 2009-07-30 Hitachi Ltd Detector
JP2009176087A (en) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd Vehicle environment recognizing system
JP2009282592A (en) * 2008-05-20 2009-12-03 Hitachi Ltd Vehicular outside world recognition device and vehicle system
JP2009289189A (en) * 2008-05-30 2009-12-10 Denso Corp Apparatus and program for creating learning model, and apparatus and program for detecting object
JP2009301494A (en) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd Image processing unit and image processing method
KR101003362B1 (en) * 2008-09-09 2010-12-22 전자부품연구원 Apparatus for determining size template
JP2011027457A (en) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd Object detecting device, information processing method and information processing system
EP2487647A1 (en) * 2009-10-09 2012-08-15 Clarion Co., Ltd. Pedestrian detection system
EP2487647A4 (en) * 2009-10-09 2015-01-07 Clarion Co Ltd Pedestrian detection system
JP2013540984A (en) * 2010-07-15 2013-11-07 ジ ヨーロピアン アトミック エネジー コミュニティ(ユーラトム),リプレゼンテッド バイ ジ ヨーロピアン コミッション How safely identify the moving object
JP2012181660A (en) * 2011-03-01 2012-09-20 Nippon Telegr & Teleph Corp <Ntt> Detector, load reduction method and program
JP2012191399A (en) * 2011-03-10 2012-10-04 Nikon Corp Image tracking device
DE102011078615A1 (en) 2011-07-04 2013-01-10 Toyota Jidosha K.K. Object detector for detecting pedestrian in surrounding area of vehicle, has pedestrian identification portion for identifying whether window image is image depicting object, and identification model selected to identify object
US8994823B2 (en) 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
CN102997900A (en) * 2011-09-15 2013-03-27 歌乐株式会社 Vehicle systems, devices, and methods for recognizing external worlds
EP2570963A2 (en) 2011-09-15 2013-03-20 Clarion Co., Ltd. Systems, devices, and methods for recognizing objects as perceived from a vehicle
CN103810468A (en) * 2012-11-05 2014-05-21 东芝泰格有限公司 Commodity recognition apparatus and commodity recognition method
JP2014092975A (en) * 2012-11-05 2014-05-19 Toshiba Tec Corp Commodity recognition device and commodity recognition program
US9269026B2 (en) 2013-04-25 2016-02-23 Toshiba Tec Kabushiki Kaisha Recognition dictionary creation apparatus and recognition dictionary creation method
JP2014215808A (en) * 2013-04-25 2014-11-17 東芝テック株式会社 Recognition dictionary creation device and recognition dictionary creation program
US20150063637A1 (en) * 2013-08-27 2015-03-05 Toyota Jidosha Kabushiki Kaisha Image recognition method and robot
JP2015045919A (en) * 2013-08-27 2015-03-12 トヨタ自動車株式会社 Image recognition method and robot
WO2015107877A1 (en) * 2014-01-14 2015-07-23 株式会社デンソー Moving object detection device and moving object detection method
JP2015132969A (en) * 2014-01-14 2015-07-23 株式会社デンソー Movable body detector and movable body detection method
JP2016207114A (en) * 2015-04-28 2016-12-08 マツダ株式会社 Pedestrian movement estimation method and the estimation device
JP2017142600A (en) * 2016-02-09 2017-08-17 株式会社デンソー Collision prediction apparatus
WO2017138329A1 (en) * 2016-02-09 2017-08-17 株式会社デンソー Collision prediction device
WO2018062335A1 (en) * 2016-10-02 2018-04-05 一 笠原 Location information identifying method, location information identifying device, and location information identifying program

Similar Documents

Publication Publication Date Title
JP5316698B2 (en) Driving support system
JP4624594B2 (en) Object recognition method and object recognition apparatus
JP4420011B2 (en) Object detecting device
US20150344028A1 (en) Parking assist system with annotated map generation
JP3846494B2 (en) Moving obstacle detection device
JP2008219063A (en) Apparatus and method for monitoring vehicle&#39;s surrounding
JP2005345251A (en) Obstacle recognition device
JP2010198552A (en) Driving state monitoring device
JP2005189983A (en) Vehicle operation supporting device
JP2014106854A (en) Automatic driving vehicle control apparatus and method
JP2011118482A (en) In-vehicle device and recognition support system
JP4043416B2 (en) Safe movement support apparatus
JP2009020577A (en) Detection device and method, and program
EP2369552B1 (en) Approaching object detection system
JP2008205914A (en) Image processor
JP4790454B2 (en) Image recognition device, a vehicle control device, an image recognition method and a vehicle control method
CN102779430B (en) After night vision-based collision warning system, controller and method of operation
US7817848B2 (en) Apparatus, method, and computer product for discriminating object
JP2007065924A (en) Image processor
JP5867273B2 (en) Approaching object detection device, the approaching object detection method and the approaching object detection computer program
JP2002308030A (en) Periphery monitoring system for vehicle
JP4935795B2 (en) Pedestrian jumped prediction device and program
JP2006033264A (en) Inter-vehicle communication control system, vehicle-mounted communication system, and communication state display
JP4604691B2 (en) Vehicle alarm system, the method of warning a vehicle surroundings
JP2010086269A (en) Vehicle identification device and drive support device using the same

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110712