JP2007329762A - Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller - Google Patents

Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller Download PDF

Info

Publication number
JP2007329762A
JP2007329762A JP2006160147A JP2006160147A JP2007329762A JP 2007329762 A JP2007329762 A JP 2007329762A JP 2006160147 A JP2006160147 A JP 2006160147A JP 2006160147 A JP2006160147 A JP 2006160147A JP 2007329762 A JP2007329762 A JP 2007329762A
Authority
JP
Japan
Prior art keywords
vehicle
pedestrian
candidate region
reference pattern
object candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006160147A
Other languages
Japanese (ja)
Inventor
Minoru Fujioka
Yoshikazu Hashimoto
Katsumi Sakata
Koji Yamashita
浩嗣 山下
欣和 橋本
稔 藤岡
克己 阪田
Original Assignee
Fujitsu Ltd
Fujitsu Ten Ltd
富士通テン株式会社
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Ten Ltd, 富士通テン株式会社, 富士通株式会社 filed Critical Fujitsu Ltd
Priority to JP2006160147A priority Critical patent/JP2007329762A/en
Publication of JP2007329762A publication Critical patent/JP2007329762A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To highly accurately detect an area having possibility of object existence from images of an on-vehicle camera. <P>SOLUTION: A reference pattern database 15 stores a plurality of reference patterns for each peripheral environment and a scene judgment part 12 judges an environment around its own vehicle by using outputs from a navigation device 30, a camera 31, an illuminance sensor 32, a timer 33, a light switch 34, a wiper switch 35, a raindrop sensor 36, an external communication device 37, and a VICS receiver 38. A reference pattern selection part 14 selects a reference pattern corresponding to the environment by using the result of the judgment made by the scene judgment part 12. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、車載カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置、物体候補領域検出方法、かかる物体候補領域検出を用いた歩行者認識装置、歩行者認識結果を用いた車両制御装置に関する。 The present invention, object candidate region detection device for detecting an area of ​​the input image vehicle camera has photographed likely that a particular object is present as an object candidate area, object candidate region detection method, using such object candidate region detection pedestrian recognition device, a vehicle control system with pedestrian recognition result.

従来、カメラが撮影した画像に対する画像認識によって、歩行者などを検出する技術が考案されている。 Conventionally, the camera by the image recognition of the photographed image, a technique for detecting a pedestrian has been devised. 例えば、特許文献1は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術を開示している。 For example, Patent Document 1, the image is fixed point camera fixed to a particular location taken, discloses a technique for recognizing pedestrians and vehicles.

また、かかる画像認識の具体的な手法としては、予め背景パターンを学習し、入力画像と背景パターンとの差異を顕著性として算出する顕著性算出手法(顕著性アルゴリズム)が適用可能である。 As the specific method of such image recognition, to learn in advance the background pattern, saliency calculation method (saliency algorithm) for calculating the difference as saliency between the input image and the background pattern are possible applications.

特開2002−190012号公報 JP 2002-190012 JP 特開2001−236508号公報 JP 2001-236508 JP

ところで近年、車両にカメラなどを搭載し、車載カメラからの映像によって歩行者などを認識することで運転を支援し、事故を防止する技術の実現が重要な課題となっている。 In recent years, such as a camera mounted on a vehicle, to support the operation by recognizing the pedestrian or the like by the image from the vehicle-mounted camera, realization of a technique to prevent the accident it has become an important issue.

しかしながら車載カメラなど移動体から撮影した画像では、その移動によって背景画像が常に変化する。 However, in the photographed image from the mobile, such as in-vehicle camera body, constantly changing the background image by the movement. そのため、上述した顕著性算出手法を使用しても、背景パターンの設定のために学習する必要のある事象が大きくなり、検出精度が低下するという問題点があった。 Therefore, the use of saliency calculation method described above, an event that needs to be learned is increased for setting the background pattern, the detection accuracy is lowered.

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、車載カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置、物体候補領域検出方法、および、高精度に歩行者を認識する歩行者認識装置を提供することを目的とする。 The present invention is to solve the problems of the conventional arts mentioned above, it has been made to solve the problems, an object candidate region to detect a region where there is a possibility that an object from the image of the vehicle-mounted camera with high precision is present detector, object candidate region detection method, and aims to provide a recognizing pedestrian recognition device pedestrian with high accuracy.

上述した課題を解決し、目的を達成するため、請求項1の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、自車両周辺の環境を判定する環境判定手段と、前記環境判定手段の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択手段と、現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。 To solve the above problems and achieve an object, object candidate region detection device according to a first aspect of the invention, the region where the camera is likely to contain a specific object from the input image taken as an object candidate area a object candidate region detection device for detecting a reference pattern storage means for previously storing a reference pattern different images for each environment around the vehicle, and environment determining means for determining a vehicle surroundings, the environment based on the determination result of the determining means, among the plurality of reference patterns, a reference pattern selecting means for selecting a reference pattern corresponding to the environment around the vehicle, and the determination area of ​​the input image to which the current camera shot, the by comparison with a selected reference patterns, of the determination target region, characterized by comprising a detecting means for detecting the object candidate region.

この請求項1の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出する。 The object candidate region detection device according to the first aspect of the invention, reference patterns camera and all or the determination region extracted from the input image of the input image photographed and selected from a plurality of reference patterns based on the surrounding environment detecting an object candidate region by comparison.

また、請求項2の発明に係る物体候補領域検出装置は、請求項1に記載の発明において、前記環境判定手段は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線のうち少なくともいずれか一つを判定することを特徴とする。 Also, object candidate region detection apparatus according to the invention of claim 2, in the invention described in claim 1, wherein the environment judgment unit, views of the nearby vehicles, traffic conditions, a specific road, construction status, accident status , and judging the surrounding brightness, weather, time information, the number of lanes of the traveling, at least one of the traffic lane of the vehicle.

この請求項2の発明によれば物体候補領域検出装置は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線などから物体候補領域の検出に使用する基準パターンを選択する。 Object candidate region detection device according to the invention as claimed in claim 2, views of the nearby vehicles, traffic conditions, a specific road, construction status, accident status, the surrounding brightness, weather, time information, the traveling road the number of lanes, selects a reference pattern to be used from such traffic lane of the vehicle to the detection of an object candidate area.

また、請求項3の発明に係る物体候補領域検出装置は、請求項1または2に記載の発明において、前記環境判定手段は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識のうち、少なくとも何れか一つを用いて前記自車両周辺の環境を判定することを特徴とする。 Also, object candidate region detection device according to the invention of claim 3 is the invention according to claim 1 or 2, wherein the environment judgment unit, position information of the own vehicle, a map of the information, communication with the outside, raindrops the output of the sensor, the operation state of the wiper switch, light switch operation condition, out of the image recognition, and judging the vehicle surrounding environment using at least any one.

この請求項3の発明によれば物体候補領域検出装置は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識などによって自車両の環境を判定し、環境に適した基準パターンを用いて物体候補領域を検出する。 The object candidate region detection device according to the third aspect of the present invention, the position information of the own vehicle, a map of the information, communication with the outside, the output of the raindrop sensor, the wiper switch operation state, the operation state of the light switch, the image recognized by such judges environment of the vehicle, it detects the object candidate region using a reference pattern suitable for the environment.

また、請求項4の発明に係る物体候補領域検出装置は、請求項1,2または3に記載の発明において、前記環境判定結果に基づいて前記検出手段による検出感度を変更する検出感度設定手段をさらに備えたことを特徴とする。 Also, object candidate region detection apparatus according to the invention of claim 4, in the invention described in claim 1, 2 or 3, the detection sensitivity setting means for changing the detection sensitivity by the detection unit based on the environment determination result further characterized by comprising.

この請求項4の発明によれば物体候補領域検出装置は、周辺環境に基づいて物体候補領域の検出に使用する基準パターンと、検出感度を変更する。 According to the invention of the claim 4 object candidate region detection apparatus, a reference pattern used in the detection of an object candidate region based on the surrounding environment to change the detection sensitivity.

また、請求項5の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、背景の種類ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、現在カメラが撮影した入力画像の被判定領域と、前記複数の基準パターンのそれぞれとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。 Also, object candidate region detection device according to the invention of claim 5, the region where the camera is likely to contain a specific object from the input image obtained by imaging a object candidate region detection device for detecting as an object candidate area, a reference pattern storage means for previously storing the reference patterns of each type to different images of the background, and the determination area of ​​the input image to which the current camera shot, by comparison with each of the plurality of reference patterns, the object to be determined in the region, characterized by comprising a detecting means for detecting the object candidate region.

この請求項5の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、背景の種類ごとに異なる複数の基準パターンのそれぞれとの比較によって物体候補領域を検出する。 Object candidate region detection device according to the invention of claim 5 is the determination target region camera cut out from the whole or the input image of the input image taken, with each of the plurality of reference patterns different for each type of background detecting an object candidate region by comparison.

また、請求項6の発明に係る物体候補領域検出装置は、請求項5に記載の発明において、前記検出手段は、前記複数の基準パターンのいずれに対しても差異がある領域を前記物体候補領域として検出することを特徴とする。 Also, object candidate region detection device according to the invention of claim 6 is the invention according to claim 5, wherein the detecting means, the object candidate region an area where there is a difference for any of the plurality of reference patterns and detecting as.

この請求項6の発明によれば物体候補領域検出装置は、被判定領域と、背景の種類ごとに異なる複数の基準パターンとを比較し、複数の基準パターンのいずれに対しても差異がある領域を物体候補領域として検出する。 Region The object candidate region detection device according to the invention of claim 6 compares the determination target region, and a plurality of reference patterns different for each type of background, there is a difference for any of the plurality of reference patterns the detected as an object candidate area.

また、請求項7の発明に係る物体候補領域検出装置は、請求項5または6に記載の発明において、前記背景の種類は、路面、空、建物、田畑、樹木のうち少なくともいずれか一つを含むことを特徴とする。 Also, object candidate region detection device according to the invention of claim 7 is the invention according to claim 5 or 6, the type of the background, the road surface, the sky, buildings, fields, at least one of trees characterized in that it contains.

この請求項7の発明によれば物体候補領域検出装置は、路面、空、建物、田畑、樹木などに対応する基準パターンを用いて物体候補領域の検出を行なう。 The object candidate region detection device according to the invention of claim 7 is carried out road, sky, buildings, fields, object detection candidate region using a reference pattern corresponding like trees.

また、請求項8の発明に係る物体候補領域検出方法は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶工程と、自車両周辺の環境を判定する環境判定工程と、前記環境判定工程の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択工程と、現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出工程と、を含んだことを特徴とする。 Also, object candidate region detection method according to the invention of claim 8, the area where the camera is likely to contain a specific object from the input image obtained by imaging a object candidate region detection method for detecting as an object candidate area, a reference pattern storage step of previously storing a reference pattern different images for each environment around the vehicle, and environment determination step of determining the vehicle surrounding environment, based on a determination result of the environment determination step, said plurality of the reference pattern, the reference pattern selection step of selecting a reference pattern corresponding to the environment around the vehicle, and the determination area of ​​the input image to which the current camera shot, by comparison with the selected reference pattern, wherein of the determination area, characterized in that including a detection step of detecting said object candidate region.

この請求項8の発明によれば物体候補領域検出方法は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出する。 Reference pattern object candidate region detection method according to the invention as claimed in claim 8, in which the camera and the whole or the determination region extracted from the input image of the input image photographed was selected based on the surrounding environment from the plurality of reference patterns detecting an object candidate region by comparison.

また、請求項9の発明に係る歩行者認識装置は、車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、を備えたことを特徴とする。 Moreover, the pedestrian recognition apparatus according to the invention of claim 9 is the pedestrian recognition device recognizes a pedestrian from an input image vehicle camera captured, storing a plurality of reference patterns different for each environment around the vehicle a reference pattern storage means for the determination target region extracted from the input image, the pedestrian candidate region an area that may be present pedestrian by comparison with a reference pattern selected according to the environment around the host vehicle detection means for detecting as, the pedestrian candidate region is characterized by comprising, a pedestrian discrimination means for discriminating whether or not corresponding to the pedestrian.

この請求項9の発明によれば歩行者認識装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別する。 The pedestrian recognition apparatus according to the invention of claim 9, the pedestrian candidate regions that may be present pedestrian by comparison with a reference pattern selected according to the environment around the host vehicle and the object to be determined area detected, the walker candidate region it is determined whether or not a pedestrian by pattern matching and neuro judgment for the pedestrian candidate region.

また、請求項10の発明に係る車両制御装置は、自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および/または車両の走行状態を制御する走行制御を実行する制御手段と、を備えたことを特徴とする。 The vehicle control device according to the invention of claim 10 includes a reference pattern storage means for storing a plurality of reference patterns different for each environment around the vehicle, and the determination target region extracted from the input image, around the host vehicle detecting means for detecting an area that may be present pedestrian by comparison with a reference pattern selected in accordance with the environment as a pedestrian candidate region, whether the pedestrian candidate region corresponds to a pedestrian a pedestrian determining means for determining, when the pedestrian is recognized by the pedestrian determining means, notification control for notifying the existence of a pedestrian, and / or control means for executing the running control which controls the running state of the vehicle characterized by comprising a and.

この請求項10の発明によれば車両制御装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行する。 The vehicle control device according to the invention as claimed in claim 10, detects a pedestrian candidate regions that may be present pedestrian by comparison with a reference pattern selected depending on the environment of the vehicle and surrounding the determination area and, when the walker candidate region is a pedestrian executes operation control of the notification control or vehicle for notifying its presence to the driver.

請求項1の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出するので、環境の変化を利用してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Object candidate region detection device according to the first aspect of the present invention, the whole or the determination region extracted from the input image of the input image by the camera is taken, a reference pattern selected on the basis of the environment from a plurality of reference patterns and it detects an object candidate region by comparison of the effect that it is possible to obtain an object candidate region detection device for detecting an area where there may be an object using a change in environment from a camera image with high precision unlikely to.

また、請求項2の発明によれば物体候補領域検出装置は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線などから物体候補領域の検出に使用する基準パターンを選択するので、各種環境に対応してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the invention of claim 2, views of the nearby vehicles, traffic conditions, a specific road, construction status, accident status, surrounding brightness, weather, time information, traveling the number of lanes, so selecting the reference pattern to be used from such traffic lane of the vehicle to the detection of an object candidate region, in response to various environmental areas where there is a possibility that the object from the camera's image with high accuracy exists an effect that can be obtained object candidate region detection device for detecting.

また、請求項3の発明によれば物体候補領域検出装置は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識などによって自車両の環境を判定し、環境に適した基準パターンを用いて物体候補領域を検出するので、各種車載機器を利用してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the third aspect of the present invention, the position information of the own vehicle, a map of the information, communication with the outside, the output of the raindrop sensor, the operation state of the wiper switch, the light switch operation condition, determining an environment vehicle by an image recognition, and detects an object candidate region using a reference pattern suitable for the environment, the possibility of the object from the camera's image with high accuracy exists by using the various in-vehicle equipment an effect that can be obtained object candidate region detector for detecting a region.

また、請求項4の発明によれば物体候補領域検出装置は、周辺環境に基づいて物体候補領域の検出に使用する基準パターンと、検出感度を変更するので、環境に適応し、物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the fourth aspect of the present invention, a reference pattern used in the detection of an object candidate region based on the surrounding environment, so to change the detection sensitivity, and adapt to the environment, there is an object an effect that possibly there can be obtained an object candidate region detection device for detecting the area.

また、請求項5の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、背景の種類ごとに異なる複数の基準パターンのそれぞれとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する、簡易な構成の物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the invention of claim 5 includes a whole or the determination region extracted from the input image of the input image by the camera is taken, and each of the plurality of reference patterns different for each type of background and it detects an object candidate region by comparison, detects an area where there is a possibility that the object from the camera's image with high accuracy there is an effect that it is possible to obtain the object candidate region detection apparatus with a simple structure.

また、請求項6の発明によれば物体候補領域検出装置は、被判定領域と、背景の種類ごとに異なる複数の基準パターンとを比較し、複数の基準パターンのいずれに対しても差異がある領域を物体候補領域として検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the invention of claim 6 compares the determination target region, and a plurality of reference patterns different for each type of background, there is a difference for any of the plurality of reference patterns and detects an area as an object candidate area, an effect that can be obtained object candidate region detection device for detecting an area where there is a possibility that the object from the camera's image with high precision exist.

また、請求項7の発明によれば物体候補領域検出装置は、路面、空、建物、田畑、樹木などに対応する基準パターンを用いて物体候補領域の検出を行なうので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。 Also, object candidate region detection device according to the invention of claim 7, the road surface, the sky, buildings, fields, because the detection of an object candidate region using a reference pattern corresponding like trees, high accuracy from camera images an effect that can be obtained object candidate region detection device for detecting an area where there may be an object to.

また、請求項8の発明によれば物体候補領域検出方法は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出方法を得ることができるという効果を奏する。 Also, object candidate region detection method according to the invention of claim 8, the reference camera and the whole or the determination region extracted from the input image of the input image photographed was selected based on the surrounding environment from the plurality of reference patterns and it detects an object candidate region by comparison with the pattern, an effect that can be obtained object candidate region detection method for detecting an area where there is a possibility that the object from the camera's image with high precision exist.

また、請求項9の発明によれば歩行者認識装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別するので、車載カメラの画像から高精度に歩行者を認識する歩行者認識装置を得ることができるという効果を奏する。 Moreover, the pedestrian recognition device according to the invention of claim 9, the pedestrian candidate region which may be present pedestrian by comparison with a reference pattern selected depending on the environment of the vehicle and surrounding the determination area detecting a pedestrian since the pedestrian candidate region by pattern matching and neuro determined for the candidate region is determined whether or not the pedestrian, recognizing the pedestrian recognition apparatus pedestrians from the image of the vehicle-mounted camera with high precision an effect that can be obtained.

また、請求項10の発明によれば車両制御装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行するので、歩行者を高精度に認識してその安全を確保する車両制御装置を得ることができるという効果を奏する。 The vehicle control device according to the invention of claim 10, the pedestrian candidate regions that may be present pedestrian by comparison with a reference pattern selected according to the environment around the host vehicle and the object to be determined area detecting, when the walker candidate region is a pedestrian, since executes operation control of the notification control or vehicle for notifying its presence to the driver, ensure its safety recognizes the pedestrian with high precision to an effect that it is possible to obtain a vehicle control device.

以下に添付図面を参照して、この発明に係る物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置の好適な実施例について詳細に説明する。 With reference to the accompanying drawings, object candidate region detection apparatus according to the present invention, the object candidate region detection method will be described in detail preferred embodiments of the pedestrian recognition device and a vehicle control device.

図1は、本発明の実施例1である車載用の画像認識装置10の概要構成を示す概要構成図である。 Figure 1 is a schematic configuration diagram showing an outline configuration of an image recognition apparatus 10 of the vehicle according to a first embodiment of the present invention. 車両は以下の構成を有している。 Vehicle has the following configuration. 同図に示すように、画像認識装置10は、ナビゲーション装置30、カメラ31、照度センサ32、タイマ33、ライトスイッチ34、ワイパースイッチ35、雨滴センサ36、外部通信装置37、VICS(Vehicle Information and Communication System)受信装置38、プリクラッシュECU40と接続している。 As shown in the figure, the image recognition device 10, the navigation device 30, a camera 31, the illumination sensor 32, timer 33, light switch 34, a wiper switch 35, a raindrop sensor 36, the external communication device 37, VICS (Vehicle Information and Communication system) receiving device 38, it is connected to the pre-crash ECU 40.

ナビゲーション装置30は、GPS(Global Positioning System)人工衛星と通信して特定した自車両の位置と、記憶する地図データ30aとを利用して走行経路の設定および誘導を行なう車載装置である。 The navigation device 30 is a GPS (Global Positioning System) vehicle device performs the position of the vehicle identified by communicating with satellites, the setting and induction of the traveling route by using the map data 30a to be stored. また、ナビゲーション装置30は、画像認識装置10に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。 The navigation apparatus 30, position information or a map of information of its own vehicle with respect to the image recognition apparatus 10, to provide such information about the road.

カメラ31は、自車両周辺を撮影し、撮影結果を画像認識装置10に入力する。 The camera 31 captures an nearby vehicles, and inputs the photographed result in the image recognition apparatus 10. 照度センサ32は、自車両周辺の明るさ(照度)を測定するセンサであり、タイマ33は時間情報すなわち時刻や日付を管理する装置である。 Illuminance sensor 32 is a sensor for measuring the brightness around the vehicle (illuminance), the timer 33 is a device for managing time information or time and date.

ライトスイッチ34は、運転者によって操作され、各種車載灯具(ヘッドランプ、スモールランプなど)の灯火状態を変更するスイッチであり、灯火状態を画像認識措置10に通知する。 Light switch 34 is operated by a driver, various in-vehicle lamp (headlamp, small lamp, etc.) is a switch for changing the lighting state of notifying the lighting state in image recognition measures 10. 同様に、ワイパースイッチ34は、運転者によって操作され、ワイパーの動作を制御するスイッチであり、その動作状態を画像認識装置10に通知する。 Similarly, the wiper switch 34 is operated by a driver, a switch for controlling the operation of the wiper, and notifies the operation state to the image recognition apparatus 10.

さらに、雨滴センサ36は、雨などの水滴を検知するセンサであり、外部通信装置37は車両外部との通信を行なう通信装置、VICS受信装置38は、事故や渋滞などの情報を受信する受信機である。 Furthermore, the raindrop sensor 36 is a sensor for detecting the water droplets such as rain, external communication device 37 is a communication apparatus that communicates with outside the vehicle, VICS receiving device 38 includes a receiver for receiving information, such as accidents and traffic jams it is.

プリクラッシュECU40は、画像認識部10が自車両の衝突を予測した場合に、ディスプレイ43やスピーカ44による乗員への通知や、ブレーキ41、エンジン制御装置(EFI)42による車両の動作制御を実行する電子制御装置であり、車両制御装置として機能する。 Pre-crash ECU40, when the image recognition unit 10 predicts a collision of the vehicle, the notification or the passenger by the display 43 and the speaker 44, the brake 41, executes the operation control of the vehicle by the engine control unit (EFI) 42 an electronic control unit, functions as a vehicle controller.

画像認識装置10は、その内部に前処理部11、シーン判定部12、検出感度設定部13、基準パターン選択部14、基準パターンデータベース15、車両認識部16、白線認識部17、歩行者認識部18、歩行者候補領域検出部19および衝突判定部20を有する。 Image recognition device 10, the pre-processing unit 11 therein, the scene determination unit 12, the detection sensitivity setting unit 13, the reference pattern selection unit 14, a reference pattern database 15, the vehicle recognizing section 16, the white line recognition unit 17, the pedestrian recognition unit 18, has a pedestrian candidate region detection unit 19 and the collision determination unit 20. ここで、シーン判定部12、検出感度設定部13、基準パターン選択部14、基準パターンデータベース15、車両認識部16、白線認識部17、歩行者認識部18、歩行者候補領域検出部19および衝突判定部20は、例えば単一のマイコン10a(CPU、ROM、RAMの組み合わせからなる演算処理ユニット)などによって実現することが好適である。 Here, the scene determination unit 12, the detection sensitivity setting unit 13, the reference pattern selection unit 14, a reference pattern database 15, the vehicle recognizing section 16, the white line recognition unit 17, the pedestrian recognition unit 18, the pedestrian candidate region detection unit 19 and the collision determination unit 20, for example, a single microcomputer 10a (CPU, ROM, arithmetic processing unit comprising a combination of RAM) it is preferred to realize the like.

前処理部11は、カメラ31が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部16、白線認識部17および歩行者候補領域検出部19に出力する。 Preprocessing unit 11, filtering and edge detection on the image captured with the camera 31, after being subjected to processing such as contour extraction, and outputs the vehicle recognizing section 16, the white line recognition unit 17 and the pedestrian candidate region detection unit 19 .

車両認識部16は、前処理部11が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部20に出力する。 Vehicle recognizing section 16, the preprocessing unit 11 by performing pattern matching with respect to the output image to recognize the vehicle, and outputs the recognition result to the collision judging unit 20. また、白線認識部18も同様に、前処理部11が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部20に出力する。 Similarly, the white line detection unit 18, the preprocessing unit 11 by performing pattern matching with respect to the output image to recognize the white line, and outputs the recognition result to the collision judging unit 20.

一方、歩行者候補領域検出部19は、顕著性アルゴリズムを用いて、前処理部11が出力した画像から歩行者が存在する可能性のある領域を検出し、検出結果を歩行者認識部18に出力する。 On the other hand, the pedestrian candidate region detection unit 19 uses the saliency algorithm, pre-processing unit 11 detects an area that might pedestrian is present from the output image, the pedestrian recognition unit 18 a detection result Output. その後、歩行者認識部18が歩行者候補領域に対してパターンマッチングやニューラルネットワークによるニューロ判定処理を施して歩行者を認識し、衝突判定部20に出力する。 Thereafter, the pedestrian recognition unit 18 performs the neuro determination processing by pattern matching and a neural network for pedestrian candidate region recognized the pedestrian, and outputs the collision determining section 20. そして、歩行者を認識した場合には歩行者までの距離を画像処理などで算出し、歩行者情報としてその距離も衝突判定部20に出力する。 Then, when recognizing a pedestrian calculates the distance to the pedestrian image processing, etc., that distance is also output to the collision determination unit 20 as the pedestrian information.

衝突判定部20は、車両認識部16、白線認識部17、歩行者認識部18による認識結果およびナビゲーション装置30が出力する位置情報を用いて、歩行者や他車両と自車両との衝突を予測し、予測結果をプリクラッシュECU40に出力する。 Collision determination unit 20, the vehicle recognizing section 16, the white line recognition unit 17, using the recognition result and the position information by the navigation device 30 is output by the pedestrian recognition unit 18, predicts a collision with a pedestrian or another vehicle and the subject vehicle , and it outputs the prediction result to the pre-crash ECU 40. 一方、プリクラッシュECU40は予測結果(歩行者が前方に存在し、距離が数mに近づいているなど)に基づき、衝突の可能性があれば運転者にディスプレイ43やスピーカ44などにより報知制御を行なうと共に、衝突の危険度によっては車両の走行制御(ブレーキ制御、アクセル制御など)を行なう。 On the other hand, (and in front pedestrian, distance and the like is approaching the number m) pre-crash ECU40 is predicted results based on, the driver if there is the possibility of a collision notification controlled by such as a display 43 and a speaker 44 with performing, by the risk of collision performing running control of the vehicle (brake control, the accelerator control, etc.).

ここで、車両や白線など形状のバリエーションの少ないものを認識する場合には、前処理部11が出力した画像に対して直接パターンマッチングを行なうが、歩行者のように形状の変化が激しい物体を認識する場合には、顕著性アルゴリズムによって予め候補領域を検出することによって検出精度の向上と処理負荷の軽減を図る。 Here, when recognizing with less variation in shape such as a vehicle and a white line, the pre-processing unit 11 performs the direct pattern-matching the output image, but the object changes shape fierce as pedestrians when recognized, achieving a reduction in improving the processing load of the detection accuracy by detecting the advance candidate region by saliency algorithm.

顕著性アルゴリズムによる候補領域の検出について図2を参照して説明する。 Detection of candidate region by saliency algorithm will be described with reference to FIG. 同図に示すように、顕著性アルゴリズムは、まず学習プロセスによって基準パターンを作成し、歩行者候補領域検出プロセスでは入力画像と基準パターンとの比較によって顕著性を算出する。 As shown in the figure, salience algorithm creates a reference pattern by first learning process, the pedestrian candidate region detection process for calculating a saliency by comparing the input image with the reference pattern.

学習プロセスでは、本装置を使用する前に予め複数の学習用の画像を入力し、学習用画像から学習領域を切り出す。 In the learning process, and inputs the image for the pre plurality of learning Before using the device, it cuts out learning region from the learning image. この学習領域は、画像内における歩行者のサイズに合わせ、例えば20×20ピクセルのサイズで切り出す。 The learning region, according to the size of the pedestrian in the image, for example, cut out in a size of 20 × 20 pixels. 学習用の画像は、歩行者などターゲットを含まない道路などの背景画像である。 Image for learning is a background image, such as a road that does not include a target such as a pedestrian.

この切り出した学習領域をN次元(Nは画素数であり、20×20ピクセルであれば400次元)のベクトルとして扱い、全ての学習領域についてN次元の主成分分析を行なって、特徴ベクトル(N次元ベクトルの主成分)を算出する。 The N-dimensional learning region extracted (N is the number of pixels, 20 × 20 if the pixel 400-dimensional) treated as a vector of, by performing principal component analysis of the N-dimensional for all of the learning areas, feature vectors (N for calculating the principal component) dimension vector. この特徴ベクトルの算出を全ての学習画像に対して実行し、共通するベクトル成分を基準パターンとする。 The calculation of the feature vector and executed for all of the learning image and the reference pattern common vector components.

歩行者候補領域検出プロセスでは、カメラが撮影した入力画像から学習領域のサイズと同一サイズの被判定領域を切り出す。 The pedestrian candidate region detection process, the camera cut out the discriminating region of the same size as a learning area from the input image obtained by imaging. そして、この切り出した被判定領域をN次元ベクトルとし、基準パターンで展開する(内積をとる)。 Then, the to-be-determined areas cut a N-dimensional vector, developed with the reference pattern (taking the inner product).

この展開によって、被判定領域のうち基準パターンと類似のベクトル成分が得られるので、展開して得られたベクトルと被判定領域のベクトルとの残差を顕著性(基準パターンからの乖離度を示す値)として算出し、顕著性の高い領域のみを歩行者候補領域として残した結果画像を出力する。 This expansion, since similar vector component with the reference pattern of the determination area is obtained, showing a discrepancy of saliency (reference pattern residuals with Vector and the determination area obtained by expanding It was calculated as a value), and outputs the resulting image leaving only the most salient region as pedestrian candidate region.

ところが、入力する学習用画像によっては、適切な基準パターンが得られず、候補領域の検出精度が低下することがある。 However, the learning image to be input is not appropriate reference pattern is obtained, the detection accuracy of the candidate region may be reduced. 学習用画像として多様な画像を使用すると、各学習用画像が異なる主成分を有するために、そこから得られる基準パターンは多くの方向を有することとなり、歩行者との残差を得ることが困難になる。 Using a variety of images as learning image, in order to have a main component of the learning images are different, the reference pattern obtained therefrom becomes to have many directions, it is difficult to obtain a residual of a pedestrian become. すなわち、歩行者の特徴が背景に埋もれてしまい、顕著性なしと判断される。 That is, the feature of the pedestrian buried in the background, it is determined that no salience.

また、顕著性が少ないところまで閾値を下げ、少しでも顕著性があれば歩行者候補として検出するようにすると、歩行者以外でも顕著性有りとして検出してしまい、逆に検出精度が低くなる。 Furthermore, lowering the threshold until it is small saliency, when detected as pedestrian candidates if any saliency even slightly, will be detected as there saliency other than a pedestrian, the detection accuracy conversely decreases. 例えば、図3に示すように、入力画像から樹木と建物以外の物体を検知すべく、樹木と建物を学習用画像として入力すると、樹木の特徴と建物の特徴が混合した基準パターンが作成される。 For example, as shown in FIG. 3, in order to detect objects other than trees and buildings from the input image, by entering the trees and buildings as the learning image, the reference pattern feature and Building the trees are mixed is prepared .

その結果、樹木の画像を判定した場合も建物の画像を判定した場合も、基準パターンと異なる、すなわち「顕著性あり」と判定される可能性がある。 As a result, even if the case where it is determined the image of trees was determined image of the building different from the reference pattern, i.e. it may be judged that "there salience".

このように、学習プロセスにおいて入力する事象が大きい(学習用画像間の共通性が低く、多岐にわたる)場合には、適切な基準パターンが得られず、顕著性の検出精度が低くなり、歩行者の検出漏れが発生したり、多数の領域が「顕著性のある歩行者候補領域」として出力されることなる。 Thus, events that enter in the learning process is large when the (low commonality among learning image, diverse) is not obtained appropriate reference pattern, the lower the salience of the detection accuracy, pedestrian detecting leakage or occurrence of, made possible a number of regions is output as "pedestrian candidate regions of saliency". その結果、歩行者認識部18での処理負荷上昇と認識精度低下が引き起こされる。 As a result, the processing load increases with the recognition accuracy decreases with pedestrian recognition unit 18 is caused.

そこで、画像認識装置10は、自車両周辺の物理的な環境に対応して基準パターンを使い分けることで、歩行者候補領域の検出精度を向上している。 Therefore, the image recognition apparatus 10, by selectively using the reference pattern corresponding to the physical environment around the vehicle, and improve the detection accuracy of the pedestrian candidate region. 今までは例えば雨、晴、昼、夜に関係なく全て学習していたので、実際に人が居ても学習画像に埋もれる可能性があるが、本件では特定の環境の学習画像のみを使用するので環境変化による認識精度低下を防止することができる。 , For example rain until now, sunny, daytime, because we all, regardless of learning to night, there is a possibility that even if actually stay the person buried in the learning image, use only the learning image of the particular environment in this matter it is possible to prevent the recognition accuracy decreases due to an environmental change.

具体的には、基準パターンデータベース15が、周辺の環境別に複数の基準パターンを記憶し、シーン判定部12がナビゲーション装置30、カメラ31、照度センサ32、タイマ33、ライトスイッチ34、ワイパースイッチ35、雨滴センサ36、外部通信装置37、VICS受信装置38の出力を用いて自車両周辺の環境を判定する。 Specifically, the reference pattern database 15 stores a plurality of reference patterns by the surrounding environment, the scene determination unit 12 is a navigation device 30, a camera 31, the illumination sensor 32, timer 33, light switch 34, a wiper switch 35, raindrop sensor 36 determines the vehicle surrounding environment using the output of the external communication device 37, VICS receiver 38.

そして基準パターン選択部14は、シーン判定部12の判定結果を用いて環境に対応する基準パターンを選択する処理を行なう。 The reference pattern selection unit 14 performs a process of selecting a reference pattern corresponding to the environment using the determination result of the scene determination unit 12. また、検出感度設定部13は、シーン判定部12の判定結果に応じて歩行者候補領域検出部19が使用する検出閾値を設定する処理を行なう。 The detection sensitivity setting unit 13 performs the process of setting the detection threshold used by the pedestrian candidate region detection unit 19 in accordance with the determination result of the scene determination unit 12.

シーン判定部12によるシーンの判定の具体例について図4を参照して説明する。 Referring to FIG. 4 illustrating a specific example of the determination of the scene by the scene determination unit 12. 同図では、シーン判定部12は、周辺の景色、交通状態、特定の場所であるか否か、工事・事故・イベントなどが発生しているか否か、周囲の明るさ、天候、季節、車線数・走行車線をそれぞれ判定する。 In the figure, the scene determining section 12, the periphery of the scenery, traffic conditions, whether or not a particular location, whether or not such as construction, accidents, and the event has occurred, the ambient brightness, weather, season, lane determining the number and running lane, respectively.

周辺の景色は、例えば市街地、郊外、山道などであり、ナビゲーション装置30からの位置情報や地図情報によって判定することができる。 Views of the surrounding, for example urban, suburban, Trail, etc., can be determined by the position information and map information from the navigation device 30. また、例えば画像処理によって、画像内の緑色の成分が所定量以上の場合には山道を走行中である、などのように判定しても良い。 Further, for example, by image processing, the green component in the image is running a mountain road in the case of a predetermined amount or more, it may be determined, such as.

また、交通状態は、例えば渋滞の有無などであり、VICS受信装置38によるVICS放送の受信や、外部通信装置37による外部のサーバとの通信によって判定することができる。 Moreover, traffic conditions is, for example, presence or absence of a traffic jam, it is possible to determine reception of VICS broadcast by the VICS receiving unit 38, by communicating with the external server by the external communication device 37.

また、特定の場所とは、例えばトンネルや橋、高速道路など、特有の景色となる場所であり、ナビゲーション装置30からの位置情報や地図情報によって判定することができる。 Also, the specific location, for example, tunnels, bridges, highway, a place where a specific landscape, can be determined by the position information and map information from the navigation device 30.

工事・事故・イベントなどについても、周辺の景色が独特の変化をきたす。 For such as be construction work, accidents, events, views of the surrounding is causing a distinctive change. 例えば、工事中の看板や、事故車両、イベントに関係する物体や人物などが画像内に映る。 For example, signs and during construction, accident vehicle, such as an object or a person related to events reflected in the image. これらの有無についても、VICS受信装置38によるVICS放送の受信や、外部通信装置37による外部のサーバとの通信によって判定することができる。 For even these presence, it can be determined reception of VICS broadcast by the VICS receiving unit 38, by communicating with the external server by the external communication device 37.

周囲の明るさは、例えば昼と夜と区別、さらに昼であれば日射量、夜であれば街灯などの照明の量であり、照度センサ32の出力や、タイマ33が出力する時刻情報、ライトスイッチ34が出力する灯火状態に基づいて判定することができる。 The ambient brightness is, for example, distinction between day and night, if further daytime solar radiation is the amount of illumination such as street lights if night, the output and the illuminance sensor 32, the time information of the timer 33 is output, write it can be determined based on the lamp state where the switch 34 outputs.

天候は、例えば晴天,曇天,降雨、降雪、積雪などであり、VICS受信装置38によるVICS放送の受信や、外部通信装置37による外部のサーバとの通信、また降雨や降雪であれば雨滴センサ36やワイパースイッチ35の出力によって判定することができる。 Weather is, for example, clear sky, cloudy, rain, snow, snow, etc., reception of VICS broadcast by the VICS receiving unit 38, communication with an external server by the external communication device 37, also raindrop sensor 36 if rainfall or snowfall it can be determined by the output of and the wiper switch 35.

また、季節についてはタイマ33から時間情報を取得することによって判定することができ、車線数や自車両の走行車線は、白線認識部17による認識結果を用いて判定することができる。 Also, the season can be determined by acquiring time information from the timer 33, the traffic lane of the number of lanes and the vehicle can be determined using the recognition result by the white line detection unit 17.

つづいて、画像認識装置10による歩行者候補領域検出について、走行中の場所に基づく周辺景色の変化を例に説明を行なう。 Subsequently, the pedestrian candidate region detection by the image recognition apparatus 10 will be described as an example a change in the surrounding landscape based on location during travel. 図5は、走行中の場所に基づく周辺景色の変化に対応する歩行者候補領域検出を説明する説明図である。 Figure 5 is an explanatory view illustrating a pedestrian candidate region detection corresponding to changes in the surrounding landscape based on location during travel.

同図では、まず学習プロセスにおいて学習用画像をシーンごとに「市街走行中の背景画像」、「山道走行中の背景画像」、「高速道路走行中の背景画像」に分類している。 In the figure, the learning image to each scene in the first learning process "background image in the city running", has been classified as "background image in a mountain road running", "background image in highway driving." そして、「市街走行中の背景画像」から「市街用基準パターン」、「山道走行中の背景画像」から「山道用基準パターン」、「高速道路走行中の背景画像」から「高速道路用基準パターン」のように、シーン毎に基準パターンを作成している。 Then, "the city for the reference pattern" from the "background image in the city running", "mountain road reference pattern" from the "background image in a mountain road running", the reference for the "high-speed road from the" background image in highway driving "pattern as in ", it has created a reference pattern on a scene-by-scene basis.

これらは、車両走行実験などにより予めシーン(環境)毎にカメラの画像を解析しておき、記憶させているものである。 It leaves analyzing the camera image in advance for each scene (environment) due vehicle running test, those that are stored. そして、歩行者候補領域検出プロセスにおいて使用する基準パターンを、その時点で走行中の場所に応じて選択するようにしている。 Then, a reference pattern used in the pedestrian candidate region detection process, and to be selected depending on the location of the running at that time.

つぎに、マイコン10aによる歩行者認識の処理動作について図6に示すフローチャートを参照して説明する。 It will now be described with reference to the flowchart shown in FIG. 6 the processing operation of the pedestrian recognition by the microcomputer 10a. なお、この処理フローは、IGオンによりマイコン10aに電源が供給されてスタートし、画像処理装置10が画像認識を実行中である場合に、画像フレームの処理ごと(例えば数msecごと)に繰り返し実行される処理である。 This process flow, power is supplied to the microcomputer 10a to start the IG ON, when the image processing apparatus 10 is executing the image recognition, repeatedly executed for each processing of an image frame (e.g., every several msec) it is a process that is. また、マイコン10aは白線認識や車両認識も行うが、本処理フローでは説明を省略している。 The microcomputer 10a is also performs white line recognition and vehicle recognition, in the present process flow is omitted.

同図では、まず、シーン判定部12がナビゲーション装置30から位置情報を取得する(ステップS101)。 In the figure, first, the scene determination unit 12 acquires the position information from the navigation apparatus 30 (step S101). そして、取得した位置情報によって、自車両が高速道路を走行中であると判定した場合(ステップS102,Yes)、基準パターン選択部14は、「高速道路用基準パターン」を選択する(ステップS105)。 Then, the obtained position information, when the vehicle is determined to be traveling on a highway (step S102, Yes), the reference pattern selection unit 14 selects the "highway reference pattern" (step S105) .

一方、自車両が高速道路を走行中ではなく(ステップS102,No)、山道を走行中であると判定した場合(ステップS103,Yes)、基準パターン選択部14は、「山道用基準パターン」を選択する(ステップS106)。 On the other hand, the vehicle is not in traveling on a highway (step S102, No), when it is determined that the vehicle is traveling mountain road (step S103, Yes), the reference pattern selection unit 14, the "mountain path reference pattern" selecting (step S106). そして、山道を走行中ではない場合(ステップS103,No)には、基準パターン選択部14は、「市街用基準パターン」を選択する(ステップS104)。 Then, if it is not traveling on a mountain road (step S103, No), the reference pattern selection unit 14 selects the "city reference pattern" (step S104).

基準パターンの選択(ステップS104,S105,S106)の後、歩行者候補領域選択部19は、選択された基準パターンと切り出された被判定領域とを比較し(ステップS107)、顕著性があるか否かを判定する(ステップS108)。 Or after the selection of the reference pattern (step S104, S105, S106), the pedestrian candidate region selection unit 19 compares the target determination region cut out the selected reference pattern (step S107), there is a salient determines whether (step S108).

その結果、顕著性が無ければ(ステップS108,No)そのまま処理を終了し、顕著性があるならば(ステップS108,Yes)、歩行者認識部18がパターンマッチングやニューロ判定処理によって歩行者であるか否かを判定し(ステップS109)、歩行者であるならば(ステップS109,Yes)歩行者情報と歩行者までの距離を衝突判定部20に出力して(ステップS110)、処理を終了する。 As a result, if there is no saliency (step S108, No) as it terminates the process, if there is a saliency (step S108, Yes), there pedestrian pedestrian recognition unit 18 by the pattern matching and neuro determination process or not (step S109), if a pedestrian and outputs the distance (step S109, Yes) pedestrian information from the pedestrian to the collision determination unit 20 (step S110), and ends the process .

なお、ここでは説明を簡明にするため、位置情報のみによって「市街」「山道」「高速道路」の何れかの基準パターンを選択する場合を例に説明を行なったが、既に述べたような各種のシーンとその組み合わせによって、最適な基準パターンを選択することが望ましい。 Here, for simplicity of explanation, the case of selecting one of the reference pattern of "city", "mountain road", "highway" only by the location information it has been explained as an example, as earlier described various the scene and their combinations, it is desirable to select the optimum reference pattern.

この場合、例えば図7に示すように複数のシーンの組み合わせ(同図では明るさと、天候と、周辺の景色)に対してそれぞれ個別の基準パターンを作成しても良いし、シーン間に優先順位を設定して使用する基準パターンを選択するようにしてもよい。 In this case, for example (and is bright in the figure, the weather, view of the surrounding) a combination of a plurality of scenes, as shown in FIG. 7, respectively may be to create a separate reference pattern relative priority between scenes it may be selected reference patterns to be used by setting.

つぎに、プリクラッシュECU40の処理動作について図8のフローチャートを参照して説明する。 It will now be described with reference to the flowchart of FIG processing operation of the pre-crash ECU 40. なお、この処理フローは、IGオンなどにより電源が供給されてスタートし、繰り返し実行される処理である。 This process flow is executed by the power source due IG ON is started is supplied, it is repeatedly executed.

まず、プリクラッシュECU40は、画像認識装置10から画像認識の結果を示すデータを受信する(ステップS201)。 First, pre-crash ECU40 receives data indicating the result of image recognition from the image recognition device 10 (step S201). そして、歩行者などと衝突の危険性が高い場合には(ステップS202,Yes)、スピーカ44によるブザーなどの警告音出力やディスプレイ43による表示出力によって運転者に報知し(ステップS203)、ブレーキ41やEFI42による車両制御を実行して(ステップS204)、処理を終了する。 When pedestrian and a high risk of collision (step S202, Yes), and notifies the driver by the display output by a warning sound output or a display 43 such as a buzzer by the speaker 44 (step S203), the brake 41 run the vehicle control with or EFI42 (step S204), and ends the process.

上述してきたように、本実施例1にかかる画像認識装置1は、シーン(環境)ごとに基準パターンを作成し、自車両周辺の環境によって使い分けることで、顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。 As described above, the image recognition apparatus 1 according to the first embodiment, to create a reference pattern for each scene (environment), by selectively by the vehicle surrounding environment, the detection of the pedestrian candidate region by saliency algorithm and to improve the accuracy.

なお、シーンに合わせて基準パターンを選択する他、検出感度設定部13がシーンに合わせて閾値を設定し、歩行者候補領域の検出感度を変更する。 Incidentally, in addition to selecting a reference pattern according to the scene, the detection sensitivity setting unit 13 sets the threshold value according to the scene, changing the detection sensitivity of the pedestrian candidate region. そのため、たとえば市街地、特に学校近辺など歩行者との交通事故が多発する場所では検出感度を上げ、高速道路など歩行者が居る可能性の小さい場所では検出感度を下げて処理負荷を軽減するなど、危険度に応じた歩行者候補領域の検出を行なうことができる。 Therefore, for example, the city, such as in particular to increase the detection sensitivity in places where traffic accidents occur frequently with a pedestrian, such as around schools, to reduce the processing load by lowering the detection sensitivity is a possibility of small location such as a high-speed road pedestrian is present, it is possible to detect the pedestrian candidate region in accordance with the degree of risk.

上述した実施例1では、環境に対応した複数の基準パターンを使い分ける構成について説明を行なったが、本実施例2では、画像内の背景の種類ごとに作成した複数の基準パターンを使用する構成について説明する。 In the first embodiment described above has been performed explanation of the structure to selectively use a plurality of reference patterns corresponding to the environment in the second embodiment, a configuration that uses a plurality of reference patterns created for each type of a background in an image explain.

図9は、本発明の実施例2である車載用の画像認識装置50の概要構成を示す概要構成図である。 Figure 9 is a schematic configuration diagram showing an outline configuration of an image recognition apparatus 50 of the vehicle according to a second embodiment of the present invention. 同図に示すように、画像認識装置50は、ナビゲーション装置30、カメラ31、プリクラッシュECU40と接続し、その内部に前処理部11、基準パターンデータベース51、車両認識部16、白線認識部17、歩行者認識部18、歩行者候補領域検出部52および衝突判定部20を有する。 As shown in the figure, the image recognition apparatus 50, navigation apparatus 30, a camera 31, connected to the pre-crash ECU 40, the pre-processing unit 11 therein, a reference pattern database 51, the vehicle recognizing section 16, the white line recognition unit 17, pedestrian recognition unit 18 has a pedestrian candidate region detection unit 52 and the collision determination unit 20.

基準パターンデータベース51は、図10に示すように画像内の背景の種類ごと、例えば「空」、「建物」、「樹木」、「田畑」、「路面」などに対応した複数の基準パターンを記憶している。 Reference pattern database 51, each type of the background of the image as shown in FIG. 10, for example, "sky", "building", "trees", "fields", stores a plurality of reference patterns corresponding to such as "road" doing.

歩行者候補領域検出部52は、その内部に基準パターンの数に対応した複数の顕著性算出部とAND処理部52aを有する。 Pedestrian candidate region detection unit 52 includes a plurality of saliency calculating section and the AND processing section 52a corresponding to the number of reference patterns therein. そして、前処理部11が出力した画像に対し、全ての基準パターンで顕著性算出を行ない、各算出結果をANDして出力する。 Then, over the previous image processing unit 11 has output performs saliency calculation on all of the reference patterns, and outputs the AND of the respective calculation results.

すなわち、入力画像から切り出した被判定領域に対し、ある基準パターンでの顕著性算出結果が「顕著性無し」であれば、他の基準パターンでの算出結果が「顕著性有り」であったとしても、その被判定領域は歩行者候補領域にはならない。 That is, with respect to the determination target region extracted from the input image, if the saliency calculation result at a certain reference pattern "no saliency", the calculation result of the other reference pattern is "Yes salience" also, the determination region that is not a pedestrian candidate region.

そして、全ての基準パターンでの算出結果が「顕著性有り」であった場合(図10の例では、被判定領域が「空」「建物」「樹木」「田畑」「路面」のいずれでもない場合)に、その被判定領域を歩行者候補領域として、歩行者認識部19に出力する。 Then, in the example of the case (FIG. 10 by the calculation results for all of the reference pattern was "there salience", neither the determination region is "empty", "building", "trees", "Tabata", "road surface" If), the determination target area as a pedestrian candidate region, and outputs the pedestrian recognition unit 19.

その他の構成および動作については、実施例1に示した画像認識装置10と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。 Since the other configurations and operations are the same as those of the image recognition apparatus 10 shown in the first embodiment, the same components will not be described are denoted by the same reference numerals.

上述してきたように、本実施例2にかかる画像認識装置10は、画像内の背景の種類ごとに作成した複数の基準パターンを使用し、各基準パターンでの算出結果のアンドを取ることで、簡易な構成で顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。 As described above, the image recognition apparatus 10 according to the second embodiment uses a plurality of reference patterns created for each type of a background in an image, by taking the AND of calculation results for each reference pattern, It has improved the detection accuracy of the pedestrian candidate region by saliency algorithm with a simple structure.

なお、本発明は、実施例1および実施例2に示した構成に限定されること無く、任意構成によって実施することができるものである。 The present invention is not limited to the structure shown in Example 1 and Example 2, in which can be implemented by any configuration. たとえば、実施例1に示した構成と、実施例2に示した構成とを組み合わせ、各シーンに対して背景の種類ごとの複数の基準パターンを設けて、自車両周辺のシーンに対応した複数の基準パターンの全てを用いて顕著性算出を行なう構成によって本発明を実施しても良い。 For example, the configuration shown in Example 1, combining the structure shown in Example 2, with a plurality of reference patterns for each type of background for each scene provided, a plurality of corresponding to the scene around the vehicle it may implement the present invention by the structure for calculating saliency with all reference patterns. また、本実施例では顕著性算出を適用したが、これに限らず背景画像を基準パターンとして記憶し、現在画像との差分により、候補画を抽出する背景差分法を適用しても良い。 Although applying the calculated saliency in the present embodiment, and stored as a reference pattern background image is not limited to this, the difference between the current image may be applied to the background difference method for extracting a candidate image.

以上のように、本発明にかかる物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置は、車両における画像認識に有用であり、特に歩行者候補領域の検出精度向上に適している。 As described above, the object candidate region detection apparatus according to the present invention, the object candidate region detection method, the pedestrian recognition device, and a vehicle control system is useful in image recognition in the vehicle, in particular the detection accuracy of the pedestrian candidate region It is suitable for.

本発明の実施例1にかかる画像認識装置の概要構成を示す概要構成図である。 It is a schematic configuration diagram showing an outline configuration of an image recognition apparatus according to a first embodiment of the present invention. 顕著性アルゴリズムによる候補領域の検出について説明する説明図である。 Is an explanatory view illustrating the detection of the candidate region by saliency algorithm. 候補領域の検出精度低下について説明する説明図である。 Is an explanatory view illustrating the detection accuracy decrease of the candidate region. シーン判定の具体例を説明する説明図である。 It is a diagram showing a specific example of scene determination. 走行中の場所に基づく周辺景色の変化に対応する歩行者候補領域検出を説明する説明図である。 To changes in the surrounding landscape based on the location of running an explanatory diagram for explaining a to the pedestrian candidate region detection corresponding. 歩行者認識の処理動作について説明するフローチャートである。 Is a flowchart explaining processing operations of the pedestrian recognition. 複数のシーンの組み合わせ例について説明する説明図である。 It is an explanatory view illustrating a combination example of a plurality of scenes. 図1に示したプリクラッシュECUの処理動作について説明するフローチャートである。 It is a flowchart explaining processing operations with a pre-crash ECU shown in FIG. 本発明の実施例2にかかる画像認識装置の概要構成を示す概要構成図である。 It is a schematic configuration diagram showing an outline configuration of an image recognition apparatus according to the second embodiment of the present invention. 背景の種類に対応した基準パターンについて説明する説明図である。 Is an explanatory view illustrating the reference pattern corresponding to the type of background.

符号の説明 DESCRIPTION OF SYMBOLS

10,50 画像認識装置 10a,50a マイコン 11 前処理部 12 シーン判定部 13 検出感度設定部 14 基準パターン選択部 15,51 基準パターンデータベース 16 車両認識部 17 白線認識部 18 歩行者認識部 19,52 歩行者候補領域検出部 20 衝突判定部 30 ナビゲーション装置 30a 地図データ 31 カメラ 32 照度センサ 33 タイマ 34 ライトスイッチ 35 ワイパースイッチ 36 雨滴センサ 37 外部通信装置 38 VICS受信装置 10,50 image recognition apparatus 10a, 50a microcomputer 11 preprocessing unit 12 scene determination unit 13 detection sensitivity setting unit 14 reference pattern selector 15 and 51 the reference pattern database 16 a vehicle recognizing section 17 white line recognition unit 18 pedestrian recognition unit 19,52 pedestrian candidate region detection unit 20 the collision determination unit 30 navigation device 30a map data 31 camera 32 illumination sensor 33 timer 34 light switch 35 wiper switch 36 raindrop sensor 37 external communication device 38 VICS receiving device

Claims (10)

  1. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、 An area of ​​the input image by the camera is taken potentially a particular object exists a object candidate region detection device for detecting as an object candidate area,
    自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、 A reference pattern storage means for previously storing a reference pattern different images for each environment around the vehicle,
    自車両周辺の環境を判定する環境判定手段と、 And environment determination means for determining environment around the host vehicle,
    前記環境判定手段の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択手段と、 Based on the determination result of the environment determination means, among the plurality of reference patterns, a reference pattern selecting means for selecting a reference pattern corresponding to the environment around the vehicle,
    現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、 And the determination target region of the input image to which the current camera shot, by comparison with the selected reference patterns, of the determination target region, and detecting means for detecting the object candidate area,
    を備えたことを特徴とする物体候補領域検出装置。 Object candidate region detection apparatus characterized by comprising a.
  2. 前記環境判定手段は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線のうち少なくともいずれか一つを判定することを特徴とする請求項1に記載の物体候補領域検出装置。 The environment determination means scenery around the host vehicle, traffic conditions, a specific road, construction status, accident status, surrounding brightness, weather, time information, the number of lanes of the traveling, the traveling lane of the vehicle of object candidate region detection device according to claim 1, characterized in that to determine at least any one.
  3. 前記環境判定手段は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識のうち、少なくとも何れか一つを用いて前記自車両周辺の環境を判定することを特徴とする請求項1または2に記載の物体候補領域検出装置。 The environment judgment unit, position information of the own vehicle, a map of the information, communication with the outside, the output of the raindrop sensor, the operation state of the wiper switch, light switch operation condition, out of the image recognition, at least any one object candidate region detection device according to claim 1 or 2, characterized in that to determine the environment around the vehicle using.
  4. 前記環境判定結果に基づいて前記検出手段による検出感度を変更する検出感度設定手段をさらに備えたことを特徴とする請求項1,2または3に記載の物体候補領域検出装置。 Object candidate region detection device according to claim 1, 2 or 3, further comprising a detection sensitivity setting means for changing the detection sensitivity by the detection unit based on the environment determination result.
  5. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、 An area of ​​the input image by the camera is taken potentially a particular object exists a object candidate region detection device for detecting as an object candidate area,
    背景の種類ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、 A reference pattern storage means for previously storing a reference pattern different images for each type of background,
    現在カメラが撮影した入力画像の被判定領域と、前記複数の基準パターンのそれぞれとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、 And the determination target region in the input image by the camera is captured currently, by comparison with each of the plurality of reference patterns, of the determination target region, and detecting means for detecting the object candidate area,
    を備えたことを特徴とする物体候補領域検出装置。 Object candidate region detection apparatus characterized by comprising a.
  6. 前記検出手段は、前記複数の基準パターンのいずれに対しても差異がある領域を前記物体候補領域として検出することを特徴とする請求項5に記載の物体候補領域検出装置。 Said detecting means, object candidate region detection device according to region there is a difference for any of the plurality of reference patterns to claim 5, characterized in that the detection as the object candidate region.
  7. 前記背景の種類は、路面、空、建物、田畑、樹木のうち少なくともいずれか一つを含むことを特徴とする請求項5または6に記載の物体候補領域検出装置。 Type of the background, the road surface, the sky, buildings, fields, object candidate region detection device according to claim 5 or 6, characterized in that it comprises at least one of the trees.
  8. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、 An area of ​​the input image by the camera is taken potentially a particular object exists a object candidate region detection method for detecting as an object candidate area,
    自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶工程と、 A reference pattern storage step of previously storing a reference pattern different images for each environment around the vehicle,
    自車両周辺の環境を判定する環境判定工程と、 And the environment determination step of determining an environment around the host vehicle,
    前記環境判定工程の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択工程と、 Based on the determination result of the environment determination step, among the plurality of reference patterns, a reference pattern selection step of selecting a reference pattern corresponding to the environment around the vehicle,
    現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出工程と、 And the determination target region in the input image by the camera currently taken, by comparison with the selected reference patterns, of the determination target region, a detection step of detecting the object candidate area,
    を含んだことを特徴とする物体候補領域検出方法。 Object candidate region detection method characterized by including the.
  9. 車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、 A pedestrian recognition device that recognizes a pedestrian from the input image the vehicle-mounted camera was taken,
    自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、 A reference pattern storage means for storing a plurality of reference patterns different for each environment around the vehicle,
    前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、 And the determination target region extracted from the input image, detecting means for detecting an area that may be present pedestrian by comparison with the selected reference pattern according to the environment around the host vehicle as a pedestrian candidate region,
    当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、 A pedestrian determining means for the walker candidate region to determine whether corresponding to pedestrians,
    を備えたことを特徴とする歩行者認識装置。 Pedestrian recognition apparatus characterized by comprising a.
  10. 自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、 A reference pattern storage means for storing a plurality of reference patterns different for each environment around the vehicle,
    前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、 And the determination target region extracted from the input image, detecting means for detecting an area that may be present pedestrian by comparison with the selected reference pattern according to the environment around the host vehicle as a pedestrian candidate region,
    当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、 A pedestrian determining means for the walker candidate region to determine whether corresponding to pedestrians,
    前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および/または車両の走行状態を制御する走行制御を実行する制御手段と、 When the pedestrian is recognized by the pedestrian determining means, and a control means for performing running control which controls the running state of the notification control, and / or vehicle for notifying the existence of a pedestrian,
    を備えたことを特徴とする車両制御装置。 Vehicle control apparatus characterized by comprising a.
JP2006160147A 2006-06-08 2006-06-08 Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller Pending JP2007329762A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006160147A JP2007329762A (en) 2006-06-08 2006-06-08 Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006160147A JP2007329762A (en) 2006-06-08 2006-06-08 Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller

Publications (1)

Publication Number Publication Date
JP2007329762A true JP2007329762A (en) 2007-12-20

Family

ID=38929925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006160147A Pending JP2007329762A (en) 2006-06-08 2006-06-08 Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller

Country Status (1)

Country Link
JP (1) JP2007329762A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066815A (en) * 2008-09-08 2010-03-25 Denso Corp Person detecting device, person detecting program, operation controller, and collision mitigation device
JP2011059810A (en) * 2009-09-07 2011-03-24 Denso Corp Image recognition system
KR101050687B1 (en) 2008-06-04 2011-07-20 주식회사 만도 Pedestrian recognition device and pedestrian protection device using the same methods and using the posterior probability
JP2013172224A (en) * 2012-02-20 2013-09-02 Hitachi Consumer Electronics Co Ltd Video processing device and video display device
JP2013186655A (en) * 2012-03-07 2013-09-19 Toyota Central R&D Labs Inc Road sign detection device and program
WO2014207991A1 (en) * 2013-06-28 2014-12-31 日本電気株式会社 Teaching data generating device, method, and program, and crowd state recognition device, method, and program
WO2015141559A1 (en) * 2014-03-18 2015-09-24 富士通株式会社 Road surface degradation detection method, information processing device, and program
JP2015535204A (en) * 2012-09-20 2015-12-10 グーグル インコーポレイテッド Road weather conditions detection
CN106062844A (en) * 2014-03-18 2016-10-26 富士通株式会社 Road surface state measurement method, road surface deterioration site identification method, information processing device, and program
US9495873B2 (en) 2011-06-09 2016-11-15 Toyota Jidosha Kabushiki Kaisha Other-vehicle detection device and other-vehicle detection method
US9626868B2 (en) 2009-07-10 2017-04-18 Toyota Jidosha Kabushiki Kaisha Object detection device
WO2017159334A1 (en) * 2016-03-14 2017-09-21 ソニー株式会社 Information processing device, information processing method, program, and vehicle
KR101875517B1 (en) * 2016-12-16 2018-07-09 (주)넥스트칩 Method and apparatus for processing a image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091794A (en) * 1996-09-12 1998-04-10 Tokyo Electric Power Co Inc:The Image feature value decision device and method and dictionary pattern production method
JP2002083301A (en) * 2000-09-06 2002-03-22 Mitsubishi Electric Corp Traffic monitoring device
JP2002157676A (en) * 2000-11-21 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit Road surface state discriminating method of visible image type road surface state grasping device
JP2002366959A (en) * 2001-06-08 2002-12-20 Mitsubishi Electric Corp Image processor and method for processing image
JP2003009140A (en) * 2001-06-26 2003-01-10 Mitsubishi Motors Corp Pedestrian detector
JP2004318618A (en) * 2003-04-17 2004-11-11 Nissan Motor Co Ltd Traffic lane recognition device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091794A (en) * 1996-09-12 1998-04-10 Tokyo Electric Power Co Inc:The Image feature value decision device and method and dictionary pattern production method
JP2002083301A (en) * 2000-09-06 2002-03-22 Mitsubishi Electric Corp Traffic monitoring device
JP2002157676A (en) * 2000-11-21 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit Road surface state discriminating method of visible image type road surface state grasping device
JP2002366959A (en) * 2001-06-08 2002-12-20 Mitsubishi Electric Corp Image processor and method for processing image
JP2003009140A (en) * 2001-06-26 2003-01-10 Mitsubishi Motors Corp Pedestrian detector
JP2004318618A (en) * 2003-04-17 2004-11-11 Nissan Motor Co Ltd Traffic lane recognition device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050687B1 (en) 2008-06-04 2011-07-20 주식회사 만도 Pedestrian recognition device and pedestrian protection device using the same methods and using the posterior probability
JP4683096B2 (en) * 2008-09-08 2011-05-11 株式会社デンソー Human detection device, the person detecting program, operation controller, and a shock absorbing device
JP2010066815A (en) * 2008-09-08 2010-03-25 Denso Corp Person detecting device, person detecting program, operation controller, and collision mitigation device
US9626868B2 (en) 2009-07-10 2017-04-18 Toyota Jidosha Kabushiki Kaisha Object detection device
JP2011059810A (en) * 2009-09-07 2011-03-24 Denso Corp Image recognition system
US9495873B2 (en) 2011-06-09 2016-11-15 Toyota Jidosha Kabushiki Kaisha Other-vehicle detection device and other-vehicle detection method
JP2013172224A (en) * 2012-02-20 2013-09-02 Hitachi Consumer Electronics Co Ltd Video processing device and video display device
JP2013186655A (en) * 2012-03-07 2013-09-19 Toyota Central R&D Labs Inc Road sign detection device and program
JP2015535204A (en) * 2012-09-20 2015-12-10 グーグル インコーポレイテッド Road weather conditions detection
WO2014207991A1 (en) * 2013-06-28 2014-12-31 日本電気株式会社 Teaching data generating device, method, and program, and crowd state recognition device, method, and program
US10223620B2 (en) 2013-06-28 2019-03-05 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
US9875431B2 (en) 2013-06-28 2018-01-23 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
JP6008045B2 (en) * 2013-06-28 2016-10-19 日本電気株式会社 Tutor data generating apparatus, a method, a program, and the crowd state recognition device, method, program
CN106062844A (en) * 2014-03-18 2016-10-26 富士通株式会社 Road surface state measurement method, road surface deterioration site identification method, information processing device, and program
CN106062843A (en) * 2014-03-18 2016-10-26 富士通株式会社 Road surface degradation detection method, information processing device, and program
JP2015178702A (en) * 2014-03-18 2015-10-08 富士通株式会社 Road surface deterioration detection method, information processing equipment, and program
US10011960B2 (en) 2014-03-18 2018-07-03 Fujitsu Limited Method of detecting road surface degradation, information process apparatus, and non-transitory computer-readable recording medium
WO2015141559A1 (en) * 2014-03-18 2015-09-24 富士通株式会社 Road surface degradation detection method, information processing device, and program
WO2017159334A1 (en) * 2016-03-14 2017-09-21 ソニー株式会社 Information processing device, information processing method, program, and vehicle
EP3432292A4 (en) * 2016-03-14 2019-04-24 Sony Corporation Information processing device, information processing method, program, and vehicle
KR101875517B1 (en) * 2016-12-16 2018-07-09 (주)넥스트칩 Method and apparatus for processing a image

Similar Documents

Publication Publication Date Title
Bertozzi et al. Vision-based intelligent vehicles: State of the art and perspectives
US7994936B2 (en) Traffic environment recognition method and system for carrying out the same
JP3619628B2 (en) Traveling environment recognition device
US10328932B2 (en) Parking assist system with annotated map generation
US7668341B2 (en) Image recognition apparatus and image recognition method
US8054201B2 (en) Surroundings monitoring device for vehicle
JP5468108B2 (en) Method and system for detecting for the driver assistance system, the road terrain
US7804980B2 (en) Environment recognition device
EP2510510B1 (en) Method for supporting the driver of a road-bound vehicle in guiding the vehicle
JP4255906B2 (en) Driving support system
EP1179803B1 (en) Method and apparatus for object recognition
JP5022609B2 (en) Imaging environment recognition device
US8346706B2 (en) Method and device for identifying traffic-relevant information
WO2015156146A1 (en) Travel control device, onboard display device, and travel control system
US20120300078A1 (en) Environment recognizing device for vehicle
US20100030474A1 (en) Driving support apparatus for vehicle
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US8615109B2 (en) Moving object trajectory estimating device
JP4871909B2 (en) Object recognition apparatus, and an object recognition method
EP2015276A2 (en) Surroundings detecting device, method and program
US8995723B2 (en) Detecting and recognizing traffic signs
JP2006208223A (en) Vehicle position recognition device and vehicle position recognition method
US20120296539A1 (en) Driver assistance system
CN106462727A (en) Systems and methods for lane end recognition
JP2002193025A (en) Vehicular head lamp device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090316

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018