JP2008045974A - Object-detecting apparatus - Google Patents

Object-detecting apparatus Download PDF

Info

Publication number
JP2008045974A
JP2008045974A JP2006221111A JP2006221111A JP2008045974A JP 2008045974 A JP2008045974 A JP 2008045974A JP 2006221111 A JP2006221111 A JP 2006221111A JP 2006221111 A JP2006221111 A JP 2006221111A JP 2008045974 A JP2008045974 A JP 2008045974A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
object
distance
detection
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006221111A
Other languages
Japanese (ja)
Other versions
JP5127182B2 (en )
Inventor
Noboru Morimitsu
登 森光
Original Assignee
Fuji Heavy Ind Ltd
富士重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect two or more kinds of objects with high accuracy. <P>SOLUTION: A distance distribution creating section 4 calculates respective distance representative values for two or more segments that are set on a distance image, based on the histogram of distance values existing the segments. A first object detecting section 5a views the two or more segments as identical objects and groups them, based on a first detecting condition that is set according to the size of the preceding vehicle and the distance representative value of each segment, and detects the preceding vehicle on the distance image. A second object detecting section 5b regards the two or more segments as being the identical object and groups them, based on a second detecting condition being set according to the size of a pedestrian and a distance representative value of each segment, and detects the pedestrian on the distance image. A reliability evaluating section 6 evaluates both the reliability values of the preceding vehicle and of the pedestrian, based on a prescribed evaluation rule in order to select one of them. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ステレオ画像処理によって生成された距離画像上において、複数種の物体を検出する物体検出装置に関する。 The present invention, in the distance image generated by the stereo image processing relates to an object detecting device for detecting a plurality of types of objects.

例えば、特許文献1には、ステレオ画像処理によって生成された距離画像上において先行車を検出する手法が開示されている。 For example, Patent Document 1, a technique for detecting discloses preceding vehicle on the distance image generated by the stereo image processing. 具体的には、まず、距離画像を分割することによって、距離画像上に複数の区分が設定される。 Specifically, first, by dividing the distance image, a plurality of sections are set on the range image. それぞれの区分について、一つの区分内に存在する距離値のヒストグラムが算出され、その最頻値が距離代表値として特定される。 For each segment, the calculated histogram distance values ​​existing in one segment, is identified the mode value as the distance representative value. そして、検出対象である先行車のサイズに応じて設定された検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化することで、距離画像上において先行車が検出される。 Then, a detection condition set according to the size of the preceding vehicle to be detected, on the basis of the distance representative value of each segment, by grouping regarded as the same object a plurality of sections, on the range image the preceding vehicle is detected.
特開平5−265547号公報 JP-5-265547 discloses

しかしながら、上述した特許文献1は、先行車という単一物体の検出に関するものであり、複数種の物体、例えば、車と人とを区別して検出するといった点については何ら開示・示唆されていない。 However, Patent Document 1 described above is related to the detection of a single object called a preceding vehicle, a plurality of types of objects, for example, does not disclose, it suggests a point that detection distinguishes between car and human. ここで、自車両前方の状況を監視するシステムを想定した場合、1台の先行車が走行している状況と、2人の歩行者(或いは2台のバイク等)が併走している状況とでは、得られる距離画像が互いに類似することがある。 Here, assuming a system for monitoring the condition of the vehicle ahead, the situation and the situation where one of the preceding vehicle is traveling, 2 pedestrians (or two motorcycles, etc.) are side by side So may be obtained distance image are similar to each other. そのため、距離画像ベースで車と人の双方を検出しようとした場合、システム上、誤って物体を検出してしまう可能性がある。 Therefore, the distance image basis if you try to detect both cars and people, the system on, there is a possibility that detects an object by mistake. 例えば、1台の先行車が走行している状況を2人の歩行者とみなしてしまったり、2人の歩行者が併走している状況を1台の先行車とみなしてしまうといった如くである。 For example, some in as such would be considered a situation in which one preceding vehicle is traveling or gone regarded as two of the pedestrian, the situations in which pedestrians are side by side with one of the preceding vehicle .

本発明は、かかる事情に鑑みてなされたものであり、その目的は、複数種の物体を精度よく検出することである。 The present invention has been made in view of such circumstances, and its object is to detect a plurality of types of objects with high accuracy.

かかる課題を解決すべく、本発明は、ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置を提供する。 To solve such problems, the present invention is produced by the stereo image processing, using the distance image as a set of distance values ​​associated with the position on the image plane, to provide an object detecting apparatus for detecting an object . この物体検出装置は、距離分布生成部と、第1の物体検出部と、第2の物体検出部と、信頼性評価部とを有する。 The object detection apparatus includes a distance distribution generating unit, and the first object detecting unit, and the second object detecting unit, and a reliability evaluation unit. 距離分布生成部は、距離画上に設定された複数の区分のそれぞれについて、この区分内に存在する距離値のヒストグラムに基づいて距離代表値を算出する。 Distance distribution generating unit, for each of the plurality of sections are set on the distance image, and calculates the distance representative value based on the histogram of the distance values ​​present in the in-section. 第1の物体検出部は、検出対象である第1の物体のサイズに応じて設定された第1の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において第1の物体を検出する。 First object detecting unit regards the first detection condition set according to the size of the first object to be detected, on the basis of the distance representative value of each segment, a plurality of sections with the same object groups Te, detects the first object on the distance image. 第2の物体検出部は、第1の物体とは異なる検出対象である第2の物体のサイズに応じて設定された第2の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において第2の物体を検出する。 The second object detecting unit, based a second detection condition set according to the size of the second object to the first object is a different detection target, the distance representative value of each segment, a plurality grouping segment are regarded as the same object, detecting a second object on the distance image. 信頼性評価部は、第1の物体検出部によって検出された第1の物体および第2の物体検出部によって検出された第2の物体のいずれかを選択するために、所定の評価規則に基づいて、第1の物体の信頼性と第2の物体の信頼性とを評価する。 Reliability evaluation unit in order to select one of the second object detected by the first object and the second object detecting unit detected by the first object detecting unit, based on a predetermined evaluation rule Te, assessing the reliability of the reliability and the second object of the first object.

ここで、本発明において、信頼性評価部は、物体の検出状態の経時的な安定性を所定の評価基準として用いることにより、第1の物体の検出状態の経時的な安定性と、第2の物体の検出状態の経時的な安定性とを評価してもよい。 In the present invention, the reliability evaluation unit, by using the temporal stability of the detection state of an object as a predetermined criterion, and stability over time of the detected state of the first object, the second the stability over time of the detected state of the object may be evaluated.

また、本発明において、信頼性評価部は、距離画像上における物体の輪郭形状の安定性を所定の評価基準として用いることにより、距離画像上における第1の物体の輪郭形状の安定性と、距離画像上における第2の物体の輪郭形状の安定性とを評価してもよい。 Further, in the present invention, the reliability evaluation unit, by using the stability of the object contour on the distance image as the predetermined evaluation criterion, and stability of the first object contour on the distance image, the distance and stability of the contour of the second object on the image may be evaluated.

また、本発明において、ステレオ画像処理の入力となる一対の画像を撮像するステレオカメラとは異なる物理現象を用いたセンサによって検出された物体と、第1の物体検出部によって検出された第1の物体とが同一であるか否かを判定する同一物体判定部をさらに設けてもよい。 Further, in the present invention, the object detected by the sensor using a different physical phenomena stereo camera for imaging the pair of images as an input of the stereo image processing, first detected by the first object detecting unit object and may be further provided with the same object determination unit determines whether or not the same. この場合、信頼性評価部は、同一物体判定部における判定結果が同一の場合、第1の物体の信頼性を補正することが好ましい。 In this case, the reliability evaluation unit, when the judgment result in the same object determination unit is the same, it is preferable to correct the reliability of the first object. 典型的には、このセンサは、ミリ波レーダであることが好ましい。 Typically, the sensor is preferably a millimeter wave radar. この場合、第1の物体は、例えば先行車のように、ミリ波レーダにて検出可能な物体であり、第2の物体は、例えば歩行者のように、ミリ波レーダでは第1の物体に比べて検出しにくい物体であってもよい。 In this case, the first object, for example, as the preceding vehicle, a detectable object in millimeter-wave radar, a second object, for example, as a pedestrian, the first object in the millimeter-wave radar it may be difficult to detect an object in comparison.

また、本発明において、第1の検出条件および第2の検出条件は、同一物体とみなす代表距離値の範囲および複数の区分の幅に関して、互いに異なる条件を規定していることが好ましい。 In the present invention, the first detection condition and the second detection condition is, with respect to the width of the range and a plurality of sections of the representative distance value regarded as the same object, it is preferable that define different conditions.

また、本発明において、第1の物体検出部および第2の物体検出部は、別個のユニットであり、第1の物体の検出および第2の物体の検出を並行的に行ってもよい。 In the present invention, the first object detecting unit and the second object detecting unit is a separate unit, the detection of detection and the second object of the first object may be performed in parallel. または、第1の物体検出部および第2の物体検出部は、同一のユニットであり、第1の検出条件および第2の検出条件を切り替えて、第1の物体の検出および第2の物体の検出を逐次的に行ってもよい。 Or, the first object detecting unit and the second object detecting unit has the same unit, by switching the first detection condition and the second detection condition, the detection and the second object of the first object detection may be carried out in sequential.

本発明によれば、第1の物体検出部によって第1の物体を検出するとともに、第2の物体検出部によって第2の物体を検出している。 According to the present invention detects a first object by the first object detecting unit, detects the second object by the second object detecting unit. これにより、ある距離画像上において複数種の物体を検出することができる。 Thus, it is possible to detect a plurality of types of objects on a distance image. その際、検出された物体の信頼性も併せて評価している。 At that time, it has been evaluated in conjunction reliability of the detected object. これにより、距離画像ベースでは検出対象の区別がつきにくい状況下でも、信頼性の高い方の物体を選択するといった対応をとることができるので、検出精度の向上を図ることができる。 Thus, in the distance image based in that under difficult circumstances distinction between the detection object, it is possible to take a measure such selects an object having the higher reliability, it is possible to improve the detection accuracy.

(第1の実施形態) (First Embodiment)
図1は、第1の実施形態に係る物体検出装置のブロック構成図である。 Figure 1 is a block diagram of the object detection apparatus according to the first embodiment. この物体検出装置は、自動車等の車両に搭載され、自車両前方に存在する複数類の物体、本実施形態では先行車と、歩行者(人が運転する自転車やバイク等も歩行者の範疇に含まれる)とを区別して検出する。 The object detection apparatus is mounted on a vehicle such as an automobile, an object of the plurality such that exists ahead of the vehicle, and the preceding vehicle in the present embodiment, the scope of the pedestrian (bicycle or motorcycle or the like which a person operating even pedestrians included) detected by distinguishing between. 物体検出装置は、ステレオカメラ1と、距離画像生成部2と、地面検出部3と、距離分布生成部4と、物体検出部5と、信頼性評価部6と、物体選択部7とを主体に構成されている。 Principal object detecting apparatus includes a stereo camera 1, the distance image generation unit 2, the ground detecting unit 3, the distance distribution generating unit 4, the object detection unit 5, the reliability evaluation unit 6, and a object selection section 7 It is configured.

ステレオカメラ1は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を所定の間隔で時系列的に撮像することによって、一対の撮像画像をステレオ画像として随時出力する。 The stereo camera 1 is mounted in the vicinity car room mirror, by chronological order imaging landscapes a predetermined distance ahead of the vehicle, and outputs any time a pair of the captured image as a stereo image. 距離画像生成部2は、時系列的に撮像されたステレオ画像のそれぞれに対してステレオ画像処理を随時施し、距離画像を随時生成する。 Distance image generating unit 2, time-series manner at any time subjected to the stereo image processing for each of the captured stereo image to generate a distance image from time to time. 距離画像は、画像平面上の位置に対応付けされた距離値(視差)の集合として定義される。 Range image is defined as a set of associated distance value at a position on the image plane (parallax). 図2に示すように、距離値の算出単位は、ステレオカメラ1を構成する一方のカメラ(例えば右カメラ)からの撮像画像を縦横に分割することによって得られる単一の画素ブロックPBijである。 As shown in FIG. 2, the calculation unit of the distance values ​​is a single pixel block PBij obtained by dividing the captured image from one camera constituting the stereo camera 1 (e.g., the right camera) vertically and horizontally. 一例として図示したように、基準画像が512×200画素で構成されている場合、一フレーム相当の撮像画像から、最大で画素ブロックPBijの個数相当(128×50個)の視差群が算出される。 As illustrated by way of example, if the reference image is composed of 512 × 200 pixels, from a frame corresponding to the captured image, the parallax groups of up to substantial number of pixel blocks PBij (128 × 50 pieces) is calculated . 実空間上の距離と等価である視差dは、その算出単位である画素ブロックPBijに関する水平方向のずれ量であり、画素ブロックPBijに写し出された対象物までの距離と大きな相関がある。 Parallax d is equivalent to the distance in the real space is a displacement amount in the horizontal direction about the pixel blocks PBij its calculation unit, there is a large correlation with the distance to the target object projected on the pixel block PBij. すなわち、画素ブロックPBij内に写し出されている対象物がステレオカメラ1に近いほど、この画素ブロックPBijの視差dは大きくなり、対象物が遠いほど視差dは小さくなる(無限に遠い場合、視差dは0になる)。 That is, if the object is projected into the pixel block PBij is closer to the stereo camera 1, the parallax d of the pixel block PBij increases, the disparity d as the object is far decreases (infinitely distant, the disparity d It becomes zero). ある画素ブロックPBij(相関元)に関する視差dを算出する場合、この画素ブロックPBijの輝度特性と相関を有する領域(相関先)を比較画像(ステレオカメラ1を構成する他方のカメラ(例えば左カメラ)の撮像画像)において特定する。 When calculating the parallax d concerning certain pixel block PBij (correlation source), other camera constituting the comparison image (stereo camera 1 region (correlated destination) having a correlation with brightness properties of the pixel block PBij (e.g. left camera) identifying the captured image). 上述したように、ステレオカメラ1から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。 As described above, the distance from the stereo camera 1 to the object appears as the deviation amount in the horizontal direction between the reference image and the comparative image. したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックPBijのj座標と同じ水平線(エピポーラライン)上を探索すればよい。 Therefore, when searching for a correlated destination in the comparison image may be searched the same horizontal line (epipolar line) above and j coordinates of a pixel block PBij as the correlation source. 距離画像生成部2は、相関元のi座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する(ステレオマッチング)。 Distance image generating unit 2 within a predetermined search range set on the basis of the correlation source i coordinates, while shifted on the epipolar line pixel by pixel, the correlation between the candidate correlation destination and the correlation source sequentially evaluation (stereo matching). 2つの画素ブロックの相関は、例えば、輝度差絶対和または輝度差自乗和といった周知の相関評価手法を用いて評価することができる。 Correlation between two pixel blocks, for example, can be evaluated using well-known correlation evaluation techniques such absolute sum or brightness difference square sum luminance difference. そして、原則として、最も相関が高いと判断される相関先(相関先の候補の内のいずれか)の水平方向のずれ量が、その画素ブロックPBijの視差dとなる。 Then, in principle, the deviation amount in the horizontal direction (one of the correlation destination candidate) most correlated destination correlation is judged to be higher becomes the parallax d of the pixel block PBij. 画素ブロックPBij内に写し出された対象物の実空間上の位置(X,Y,Z)は、この画素ブロックPBijの画像平面上の座標(i,J)と、その視差dとを入力とした座標変換によって一義的に特定される。 Position in the real space of the object being projected into the pixel block PBij (X, Y, Z) is the coordinate on the image plane of this pixel block PBij (i, J), was entered and its disparity d It is uniquely identified by a coordinate transformation.

地面検出部3は、地面上に存在する物体と、そうでない物体との切り分けを行う際の位置的な基準を与えるべく、実空間上における地面の形状(X,Y,Z)を検出する。 Ground detector 3, to provide a positional reference when performing the object present on the ground, the isolation between the object not, detects the shape of the ground in the real space (X, Y, Z). 周知のように、地面形状は、例えば道路モデルとして表現することができるが、このモデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。 As is well known, the ground shape, can be expressed for example as a road model, this model, in the coordinate system of the real space, the linear equation in the horizontal direction, and is specified by the vertical linear equation. この直線式は、道路上の自車線を、設定した距離によって複数個の領域に分け、領域毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することによって算出される。 The linear equation is calculated by the own lane on the road, divided into a plurality of regions by a distance that is set, the white line or the like of the left and right for each region is approximated by the linear equation of the three-dimensional coupling on the polygonal line . なお、地面検出部3よりも後段の処理では、基本的に、地面検出部3によって検出された地面よりも上方に存在する距離値が用いられる。 In the subsequent process than ground detector 3, basically, the distance value present above the ground is detected by the ground detector 3 is used.

図3に示すように、距離分布生成部4は、距離画像生成部2によって距離画像が生成される毎に、この距離画像上に複数の区分S1〜Snを設定する。 As shown in FIG. 3, the distance distribution generating unit 4 by the distance image generation unit 2 each time the distance image is generated, it sets a plurality of division S1~Sn on this distance image. 区分S1〜Snのそれぞれは、距離画像を横方向に分割することによって得られる縦短冊形状を有し、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。 Each segment S1 to Sn, has a longitudinal rectangular shape obtained by dividing the distance image in the lateral direction, defined as the region except an image lower the ground proximity is projected, and an image upward air is projected It is. なお、同図は、理解を容易にするために、本来の距離値の集合(距離画像)ではなく、便宜上、自車両前方の状況を図示している点に留意されたい。 Note that this figure, for ease of understanding, the set of original distance value (range image) without convenience, it should be noted that illustrates the status of the vehicle ahead. つぎに、距離分布生成部4は、図4に示すように、個々の区分S(SはS1〜Snの一つを指す)に関して、その内部に存在する距離値のヒストグラムを生成する。 Then, the distance distribution generating unit 4, as shown in FIG. 4, with respect to individual sections S (S refers to one S1 to Sn), and generates a histogram of the distance values ​​present therein. 距離Zを所定の区間毎に区切った上で、ある区分S内に存在するすべての距離値を該当する区間に投票していく。 The distance Z on separated for each predetermined section, continue to vote period corresponding to all of the distance values ​​present in a certain segment S. そして、出現頻度が最大かつ所定のしきい値Th以上である距離値(区間の代表値または区間内に存在する距離値の平均値)を距離代表値Zrとして特定する。 The frequency of occurrence to identify the maximum and the distance value is equal to or larger than a predetermined threshold value Th (average value of the distance values ​​present in the representative value or the interval of the interval) as the distance representative value Zr. 例えば、図示したように、ある区分S内に先行車が写し出されている場合、先行車までの距離に相当する区間の出現頻度が最大となるので、この区分Sについて算出された距離代表値Zrは先行車までの距離とほぼ一致する。 For example, as shown, it is the case where in the segment S preceding vehicle is projected, since the occurrence frequency of the interval corresponding to the distance to the preceding vehicle becomes maximum distance representative value Zr calculated for this indicator S is substantially consistent with the distance to the preceding vehicle.

物体検出部5は、第1の物体検出部5aと、第2の物体検出部5bとを有し、複数種の物体を検出する。 The object detection unit 5 includes a first object detection unit 5a, and a second object detection unit 5b, detects a plurality of types of objects. 第1の物体検出部5aは、検出対象である先行車のサイズに応じて設定された第1の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において先行車を検出する。 First object detecting unit 5a includes a first detection condition set according to the size of the preceding vehicle to be detected, on the basis of the distance representative value of each segment, a plurality of sections regarded as the same object grouped, for detecting a preceding vehicle on the range image. 一方、第2の物体検出部5bは、第1の物体とは異なる種類の検出対象である歩行者のサイズに応じて設定された第2の検出条件と、区分毎の距離代表値とに基づいて、複数の区分を同一物体とみなしてグループ化し、距離画像上において歩行者を検出する。 On the other hand, the second object detection unit 5b, the basis of the second detection condition is a first object set in accordance with the size of the different types of a detected pedestrian, the distance representative value of each category Te, group multiple classification are regarded as the same object, to detect a pedestrian on the range image. なお、物体検出部5は、ハードウェアおよびソフトウェアのどちらで構成してもよい。 Incidentally, the object detection unit 5 may be constituted by either hardware and software. ハードウェア構成とした場合には、図1に示したように、第1の物体検出部5aと第2の物体検出部5bとを並列に設け、これらを並列処理させることで、処理の高速化を図ることができる。 In case of the hardware configuration, as shown in FIG. 1, provided with a first object detecting unit 5a and the second object detecting unit 5b in parallel, by these parallel processing, high-speed processing it can be achieved. 一方、ソフトウェア構成とした場合には、これらの物体検出部5a,5bは同一のユニットによる逐次処理となり、第1の検出条件および第2の検出条件を切り替えながら、先行車の検出と歩行者の検出とが逐次的に行われる。 On the other hand, if it is a software configuration, these object detection unit 5a, 5b becomes sequential treatment with the same unit, while switching the first detection condition and the second detection condition of the preceding vehicle detection and pedestrian detection and is performed sequentially.

信頼性評価部6は、所定の評価規則に基づいて、検出された先行車の信頼性と、検出された歩行者の信頼性とを評価する。 Reliability evaluation unit 6, based on a predetermined evaluation rule evaluates the reliability of the detected preceding vehicle, and a reliability of the detected pedestrian. 物体選択部7は、信頼性評価部6の評価結果に基づいて、先行車および歩行者のいずれかを検出結果として選択し、その物体に関するデータ(実空間上の位置を含む)を出力する。 Object selection unit 7, based on the evaluation result of the reliability evaluation unit 6 is selected as a detection result of any of the preceding vehicle and a pedestrian, and outputs the data (including the position in the real space) for that object. そして、これを受けた後段のシステム(図示せず)によって、各種の車両制御やドライバーへの警告等が必要に応じて行われる。 Then, the subsequent system which receives the (not shown), a warning or the like to a variety of vehicle control or the driver is performed as necessary.

図5は、物体検出部5、信頼性評価部6および物体選択部7による物体検出の手順を示すフローチャートである。 Figure 5 is a flowchart illustrating a procedure of object detection by the object detection unit 5, the reliability evaluation unit 6 and the object selection unit 7. このフローチャートに示す処理は、距離分布生成部4の処理と同期して、所定のサイクルで繰り返し実行される。 This flowchart illustrating processing is synchronized with the distance distribution process generating unit 4 is repeatedly executed at a predetermined cycle. この一連の処理においては、まず第1の物体検出部5aによる先行車の検出が行われ、その後に、第2の物体検出部5bによる歩行者の検出が行われる。 In this series of processes, the preceding vehicle detection by the first object detecting unit 5a is first performed, and thereafter, the pedestrian detection by the second object detecting unit 5b is performed.

ステップ1において、最初の検出対象である先行車を検出する際に用いられる第1の検出条件が設定される。 In step 1, a first detection conditions used in detecting the preceding vehicle is the first detection target is set. この第1の検出条件は、同一の先行車とみなせる区分Sをグループ化するために適用され、代表距離値Zrの範囲および複数の区分Sの幅に関する条件を規定している。 The first detection condition is applied to group classification S which can be regarded as the same preceding vehicle, so as to specify a condition about the width of the range and a plurality of sections S of the representative distance value Zr. その具体的な内容は、先行車のサイズに応じて適宜設定されるが、以下にその一例を示す。 The specific content is appropriately set in accordance with the preceding vehicle size, an example of which is shown below.

[第1の検出条件] First of detection conditions]
(1)代表距離値Zrの範囲 一般的な自動車の車長(奥行き方向のサイズ)に鑑み、同一物体とみなす代表距離値Zrの許容範囲をしきい値Zth1(例えば6m程度)で規定する。 (1) In view of the range typical vehicle length of the car of the representative distance value Zr (size in the depth direction), to define the permissible range of the representative distance value Zr regarded as the same object in the threshold Zth1 (for example, about 6 m). また、隣接した区分S間における代表距離値Zrの許容変化量(絶対値)をしきい値Zth2で規定する。 Also defines the allowable variation of the representative distance value Zr between adjacent segment S (absolute value) in the threshold Zth2.
(2)複数の区分Sの幅 一般的な自動車の車幅(幅方向のサイズ)に鑑み、同一物体とみなす複数の区分Sの許容幅をしきい値Xth1(例えば3m程度)で規定する。 (2) In view of the plurality of interval width common automotive vehicle width of S (size in the width direction), to define the tolerance of a plurality of sections S regarded as the same object in the threshold Xth1 (for example, about 3m). また、別グループを同一物体とみなしてマージする際に用いられる、隣り合っていない区分S間の最大すき間区分数をしきい値Xth2(例えば1m程度)で規定する。 Also used when merging different groups are regarded as the same object, to define the maximum gap number division between each other by not classified S to next by the threshold Xth2 (for example, about 1 m).

ステップ2において、第1の物体検出部5aは、第1の検出条件に基づいて、区分Sのグループ化による物体(先行車)の検出を行う。 In Step 2, the first object detecting unit 5a is based on the first detection condition to detect the object (the preceding vehicle) by a group of segment S. 図6は、区分Sのグループ化の説明図である。 Figure 6 is an illustration of a group of segment S. まず、前回のサイクルにおける検出結果から、今回のサイクルにおける先行車の位置が推測され、この位置の周りに検出ウインドウWが設定される。 First, from the detection result in the preceding cycle, is inferred preceding vehicle position in the current cycle, the detection window W is set around the position. この検出ウインドウWは、自動車のサイズ(車長および車幅)に相当する二次元領域であり、車長Zth1と車幅Xth1とによって規定される。 The detection window W is a two-dimensional area corresponding to the size of an automobile (vehicle length and vehicle width) is defined by the vehicle length Zth1 the vehicle width Xth1.

つぎに、距離画像上における最左端の区分Sから右に向かって順に調べて、代表距離値Zrが検出ウインドウWの内部にはじめてプロットされるものが検出開始点として設定される。 Next, examine in order from the leftmost segment S on the distance image to the right, that representative distance value Zr is first plotted in the interior of the detection window W is set as the detection start point. そして、この検出開始点を起点として右方向に順次隣接する区分Sの代表距離値Zrを調べて、(1)隣接する2つの区分Sの代表距離値Zrの差|ΔZr|がしきい値Zth2以内で、かつ、(2)双方の代表距離値Zrが検出ウインドウWの内部にプロットされる場合には、これらの区分Sを同一の物体グループに属すると判断する。 Then, check the representative distance value Zr of the segment S sequentially adjacent to the right of this detection start point as the starting point, (1) the difference between the representative distance value Zr of the two adjacent sections S |? ZR | threshold Zth2 within, and (2) if both the representative distance value Zr is plotted within the detection window W is determined to belong to these sections S in the same object group. この場合、このグループに属する区分Sにおける距離値の平均値(これに代えて代表距離値Zrでもよい)を物体の距離とする。 In this case, the average value of the distance values ​​in the segment S belonging to this group (or the representative distance value Zr instead of this) and the object distance. ここで、同一物体に属しない区分Sがあった場合には、順次右の区分Sを調べて、代表距離値Zrおよび検出ウインドウWに関する上記(1),(2)の条件を満たす区分Sを探索する。 Here, when there is a segment S that do not belong to the same object by examining the sequential right segment S, the related representative distance value Zr and detection window W (1), satisfying the condition division S (2) Explore. この探索は、最大すき間区分数に相当するしきい値Xth2の範囲内まで探索しても同一物体に属する区分Sが見つからなかった場合、或いは、距離画像の最右端の区分Sに到達した場合に打ち切られる。 This search, when be searched to within the threshold Xth2 corresponding to the maximum gap number segment is not found segment S belonging to the same object, or when it reaches the rightmost segment S of the range image aborted. このしきい値Xth2は、実空間上における車幅方向のすき間の長さとして規定され、自動車の場合には、例えば1m以上のすき間があったら、そこが物体の切れ目であると判断される。 The threshold Xth2 is defined as the length of the gap in the vehicle width direction in the real space, in the case of an automobile, for example, if there is more clearance 1 m, which is determined to be a break of the object. また、このしきい値Xth2は、物体の距離に応じた区分数に換算される。 Further, the threshold Xth2 is converted to the number classified in accordance with the object distance. このようなグループ化によって、例えば図6に示したケースでは、区分S3−S6間の距離がしきい値Xth2以下であることを条件として、8つの区分S1〜S8が同一物体のグループに属するものと判断される。 Such grouping, for example, in the case shown in FIG. 6, on condition that the distance between the segment S3-S6 is the threshold Xth2 less, those eight sections S1~S8 belonging to the group of the same object It is determined to be.

なお、前回検出されたすべての先行車について検出を終えた後においても、所属するグループが未だ決まっていない区分Sの代表距離値Zrが残り得る。 Even after the completion of the detection of all of the preceding vehicle that was previously detected, the representative distance value Zr of the segment S that group membership is not yet decided may remain. そこで、残った区分Sを今回のサイクルにおける新たな検出物体としてグループ化するために、区分Sを左から右へ順次調べていく。 Therefore, in order to group the remaining segment S as a new detected object in the current cycle, to find out segment S sequentially from left to right. そして、隣接する区分Sに関して、上述したような手法により、区分Sのグループ化と、互いに離間したグループ同士のマージとが行われる。 Then, with respect to segment S adjacent, by the method described above, the grouping segment S, and merging groups each other spaced apart are performed.

図7は、一例として、先行車が走行する状況下での距離画像を示す図である。 7, as an example, a diagram showing a distance image in situations where the preceding vehicle is traveling. 黒い領域(上述した画素ブロックPBijと同サイズ)は、距離値(有効とみなせるもの)を有する領域である。 Black areas (above pixel block PBij same size) is a region having a distance value (effective and considered one). ステレオマッチングの特性上、有効な距離値は、先行車の左右エッジ、テールライト、または、ピラーとリアウインドとの境界といったように、水平方向の輝度変化が大きな領域に集中する傾向がある。 The nature of the stereo matching, effective distance value is the preceding vehicle of the left and right edges, tail light or, as such boundary between the pillar and the rear window, there is a tendency that the luminance change in the horizontal direction is concentrated on large areas. また、図8は、このような状況下での代表距離値Zrの分布図である。 8 is a distribution diagram of a representative distance value Zr under such circumstances. 代表距離値Zrは、先行車の左右端で密になり、中央部分で粗になる傾向があるが、上述した第1の検出条件によれば、最大すき間区分数がしきい値Xth2(先行車サイズ用)として設定されているので、左右のグループがマージされ、結果的に1台の先行車として検出される。 Representative distance value Zr becomes dense at the right and left ends of the preceding vehicle, there is a tendency to become coarse in the central part, according to the first detection condition as described above, the maximum gap segment number threshold Xth2 (preceding vehicle because it is set as) for size, left and right groups are merged, is detected as a result, the one preceding vehicle.

このようにして、第1の物体検出部5aは、区分Sの距離分布をグループ化して先行車を検出し、検出された先行車の中央位置、左右端の位置、左右端の区分番号、先行車の幅、位置の時間変化より特定される移動速度等を算出する。 Thus, the first object detecting unit 5a detects the preceding vehicle by grouping the distance distribution of the segment S, the center position of the detected preceding vehicle, the position of the left and right ends, the left and right end section number, preceding car width, and calculates the movement speed or the like which is specified from the time change of the position. 算出されたこれらのデータは、物体データとして、第1の物体検出部5aが備える記憶部に格納される。 The calculated these data is, as an object data is stored in the storage unit by the first object detecting unit 5a is provided. なお、距離のバラツキの影響による速度変動を抑制すべく、移動速度は、一次遅れフィルタや移動平均などにより平滑化することが好ましい。 Incidentally, in order to suppress the speed fluctuation due to the influence of variations in the distance, moving speed, it is preferable to smooth the like first-order lag filter or moving average.

ステップ3において、検出対象が最後であるか否かが判断される。 In Step 3, the detection target is whether the last or not. 本実施形態では、先行車の検出処理に続いて歩行者の検出が行われることになっている。 In the present embodiment, following the preceding vehicle detection process pedestrian detection are to be performed. したがって、この場合には、ステップ3の否定判定を経て、検出対象を歩行者に変更した後に(ステップ4)、再びステップ1に戻る。 Therefore, in this case, through a negative determination in step 3, after changing the detection target in the pedestrian (Step 4), returns to step 1.

ステップ1において、先行車とは異なる検出対象としての歩行者を検出する際に用いられる第2の検出条件が設定される。 In Step 1, a second detection condition which is used to detect the pedestrian as different detected the preceding vehicle is set. この第2の検出条件は、上述した第1の検出条件とは異なり、同一の歩行者とみなせる区分Sをグループ化するために適用され、代表距離値Zrの範囲および複数の区分Sの幅に関する条件を規定している。 The second detection condition is different from the first detection condition as described above, is applied to group classification S which can be regarded as the same pedestrian, in the width of the range and a plurality of sections S of the representative distance value Zr so as to specify a condition. その具体的な内容は、歩行者のサイズに応じて適宜設定されるが、以下にその一例を示す。 The specific content is appropriately set according to the size of the pedestrian, an example of which is shown below.

[第2の検出条件] [Second detecting conditions]
(1)代表距離値Zrの範囲 一般的な歩行者の奥行き方向のサイズに鑑み、同一物体とみなす代表距離値Zrの許容範囲をしきい値Zth1(例えば2m程度)で規定する。 (1) In view of the representative distance value range typical pedestrian depth direction size of Zr, defining the allowable range of the representative distance value Zr regarded as the same object in the threshold Zth1 (for example, about 2m). また、隣接した区分S間における代表距離値Zrの許容変化量(絶対値)をしきい値Zth2で規定する。 Also defines the allowable variation of the representative distance value Zr between adjacent segment S (absolute value) in the threshold Zth2.
(2)複数の区分Sの幅 一般的な歩行者の幅方向のサイズに鑑み、同一物体とみなす複数の区分Sの許容幅をしきい値Xth1(例えば1m程度)で規定する。 (2) In view of the plurality of interval width widthwise size of a typical pedestrian S, it defines the allowable width of the plurality of sections S regarded as the same object in the threshold Xth1 (for example, about 1 m). また、別グループを同一物体とみなしてマージする際に用いられる、隣り合っていない区分S間の最大すき間区分数をしきい値Xth2(例えば0.3m程度)で規定する。 Also, specified by the used when merging different groups are regarded as the same object, the threshold for maximum clearance number division between partition not adjacent S Xth2 (for example, about 0.3 m).

続くステップ2において、第2の物体検出部5bは、第2の検出条件に基づいて、区分Sのグループ化による物体(歩行者)の検出を行う。 In subsequent step 2, the second object detection unit 5b, based on the second detection condition to detect the object (pedestrian) by a group of segment S. この歩行者検出は、適用される検出条件が異なる点を除いて、上述した先行車の検出と同様の処理が行われる。 The pedestrian detection, except the applied detection conditions are different, the same processing as the preceding vehicle detection described above is carried out. すなわち、第2の検出条件と、区分S毎の距離代表値とに基づいて、複数の区分が同一物体とみなしてグループ化され、距離画像上において歩行者が検出される。 That is, the second detection condition, on the basis of the distance representative value of each segment S, a plurality of partition are grouped regarded as the same object, the pedestrian is detected on the range image.

図9は、一例として、歩行者が併走する状況下での距離画像を示す図である。 9, as an example, the pedestrian is a diagram showing a distance image in situations that travel together. このケースにおいて、有効な距離値は、歩行者の左右エッジに集中する傾向がある。 In this case, the effective distance value, tend to concentrate on the left and right edges of the pedestrian. また、図10は、このような状況下での代表距離値Zrの分布図である。 Further, FIG. 10 is a distribution diagram of a representative distance value Zr under such circumstances. 代表距離値Zrは、2人の歩行者が存在する領域で密になり、両者の間は粗になる傾向があるが、上述した第2の検出条件によれば、最大すき間区分数がしきい値Xth2(歩行者サイズ用でこの値は先行車のそれよりも小さい)として設定されているので、左右のグループはそれぞれ独立しているとみなされて、結果的に2人の歩行者として検出される。 Representative distance value Zr becomes dense in the region where two pedestrians are present, although both during tends to be coarse, according to the second detection condition as described above, the maximum gap segment number threshold since (this value is a pedestrian size it than smaller of the preceding vehicle) value Xth2 is set as, it is considered the left and right groups are each independently, resulting in detection as two pedestrians It is.

そして、検出された歩行者の中央位置、左右端の位置、左右端の区分番号、歩行者の幅、および位置の時間変化より特定される移動速度等が算出され、これらのデータが、物体データとして、第2の物体検出部5bが備える記憶部に格納される。 Then, the center position of the detected pedestrian, the position of the left and right ends, the partition number of the left and right ends, pedestrian width, and the moving speed or the like which is specified from the time change of position is calculated, these data, object data as it is stored in the storage unit in which the second object detecting unit 5b is provided. 歩行者は最後の検出物体なので、ステップ3の判定結果が肯定となり、ステップ5の物体の信頼性評価に進む。 Since the pedestrian is the last detected object, the decision result in the step 3 is affirmative, the process proceeds to the reliability evaluation of the object in step 5.

ステップ5において、信頼性評価部6は、先のステップ2で算出された物体データに基づいて、個々の物体(先行車および歩行者が検出された場合には両方)の信頼性を評価する。 In step 5, the reliability evaluation unit 6, based on the object data calculated in the previous step 2, to evaluate the reliability of the (both when the preceding vehicle and a pedestrian is detected) individual objects. 信頼性の評価規則としては、典型的には、(1)物体の検出状態の経時的な安定性を評価する手法と、(2)距離画像上における物体の輪郭形状の安定性を評価する手法とが考えられ、どちらか一方を用いてもよいが、双方を適宜併用することも可能である。 Method The reliability evaluation rules, typically, to evaluate the method of evaluating the stability over time of the detected state of (1) the object, the stability of the object contour on (2) a distance image DOO are contemplated and may be used either, but can be appropriately used in combination of both.

(1)物体の検出状態の経時的な安定性を評価する手法 個々の物体が正確に検出されている場合には、物体の幅や位置変化等を含む検出状態は、経時的に安定する傾向がある(時間が推移してもあまり変化しない)。 (1) When the time approaches individual objects for evaluating the stability of the detection state of the object is accurately detected, the detection state including an object having a width and position change or the like, tend to stable over time there (do not change much even if the transition time). しかしながら、サイズの大きな1台の先行車が存在する本来の状況を、それよりもサイズの小さな複数の歩行者として分割検出してしまった場合には、検出状態(分割検出の分け方を含む)が不安定となる。 However, the original situation where there is the size of the large one of the preceding vehicle, when it accidentally split detection as a small plurality of pedestrians size than, (including how divided split detection) detection state It becomes unstable. その結果、検出物体の幅や位置の経時的な変化が大きくなったり、不規則になるといった傾向がある。 As a result, the time-dependent change increases the width and position of the detected object, tends like becomes irregular. このような誤検出時における傾向は、サイズの小さな複数の歩行者が併存する本来の状況を、それよりもサイズの大きな1台の先行車としてマージ検出してしまった場合においても、同様に該当する。 Trend at the time of such erroneous detection, the original situation in which a plurality of small pedestrian size coexist, even if you've merged detected as the size of the large one of the preceding vehicle than similarly applicable to. このことから、先行車および歩行者の双方が重複して検出された場合、物体の検出状態が安定している方が信頼性が高いとみなすことができる。 Therefore, if both of the preceding vehicle and a pedestrian is detected in duplicate, can be better detected state of the object is stable considers reliable.

以上の知得より、信頼性評価部6は、物体の検出状態の経時的な安定性を評価基準として用いることにより、第1の物体検出部5aによって検出された先行車の経時的な安定性と、第2の物体検出部5bによって検出された歩行者の経時的な安定性とを評価する。 The above Chitoku, reliability evaluation unit 6, by using the stability over time of the detected state of the object as an evaluation criterion, the preceding vehicle stability over time detected by the first object detecting unit 5a When, for evaluating the stability over time of the pedestrian detected by the second object detecting unit 5b. 検出状態の安定性を示す具体的に評価値としては、例えば検出された物体の幅に関する今回のサイクルでの検出値と、前回のサイクルでの検出値との差(絶対値)の移動平均値や一次遅れフィルタ値を用いることができる。 Specific evaluation value indicating the stability of the detection state, for example, the detected detection value at the current cycle in the width of the object, the moving average of the difference between the detected value in the previous cycle (absolute value) and it can be used first-order lag filter value. また、評価値として、検出された物体の幅を区分数に換算した値の変化や物体の速度の変化率等を用いてもよい。 Further, as an evaluation value may be used changes or object velocity rate of change of the values ​​obtained by converting the width of the detected objects to the number of classification or the like. さらに、今回のサイクルで検出された物体の位置と、前回のサイクルで算出された物体の予測位置との差を用いてもよい。 Further, it may be used and the position of the object detected in the current cycle, the difference between the predicted position of the object calculated in the previous cycle. この場合、今回のサイクルで予測位置にて検出された物体は最も確からしく、そこから離れるにしたがって疑わしいという意味で、信頼性を評価する際の評価値として用いることができる。 In this case, the detected object at the predicted position in the current cycle is plausible indeed, in the sense that suspicious with distance therefrom, can be used as an evaluation value for evaluating the reliability. 例示した評価値はいずれも、その値が大きいほど信頼性が低く、値が小さいほど信頼性が高いという特性を有する。 Both exemplified evaluation value, the larger the value of reliability is low, has a characteristic of high reliability smaller value.

(2)距離画像上における物体の輪郭形状の安定性を評価する手法 同一物体とみなすのが適当か否かは、距離画像上におけるその物体の輪郭形状より評価することができる。 (2) the distance or appropriate or not is to regard the method same object for evaluating the stability of the object contour in the image can be evaluated from the contour shape of the object on the distance image. ある物体が検出された場合、図7や図9に示した距離画像上でその物体の輪郭形状を調べてみると、ある傾向があるのが分かる。 If an object is detected, Examining the distance image on the contour of the object shown in FIGS. 7 and 9, it is seen there is a tendency. 図11は、一つの物体とみなすのが適当な輪郭形状を示し、同図(a)は先行車、同図(b)は歩行者に関するものである。 Figure 11 shows a suitable profile shape that is regarded as one object, FIG (a) is the preceding vehicle, and FIG. (B) relates to a pedestrian. また、図12は、一つの物体とみなすのが適当ではない輪郭形状を示し、同図(a)は先行車、同図(b)は歩行者に関するものである。 Further, FIG. 12 shows a contour is not appropriate to regarded as one object, FIG (a) is the preceding vehicle, and FIG. (B) relates to a pedestrian. 図11に示すようなケースでは、輪郭形状が比較的滑らかなので(丸みを帯びている)、個々の物体を一つの物体として正しく検出している可能性が高い。 In the case shown in FIG. 11, since the contour shape is relatively smooth (rounded), it is likely to be correctly detected individual objects as one object. これに対して、図12に示すようなケースでは、輪郭形状が複雑(いびつ)なので、本来一つにまとめるべき物体を誤って分割検出している可能性が高い。 In contrast, in the case shown in FIG. 12, since complicated contour (distorted), are likely to be divided falsely detecting objects to bring together the original.

以上の知得より、信頼性評価部6は、距離画像上における物体の輪郭形状の安定性を評価基準として用いることにより、距離画像上における先行車の輪郭形状の安定性と、距離画像上における歩行者の輪郭形状の安定性とを評価する。 The above Chitoku, reliability evaluation unit 6, by using as a criterion the stability of the object contour on the distance image, and stability of the preceding vehicle contour on the distance image, on the range image to evaluate the stability of the pedestrian contour. 輪郭形状の安定性を示す具体的な評価手法としては、例えば以下のような処理が考えられる。 Specific evaluation method shows the stability of the contour shape, for example, processing such as are contemplated below.

まず、物体番号マップを準備する。 First, to prepare the object number map. このマップには、距離画像を構成する各ブロックについて、そのブロックが所属する物体の番号が格納され、初期的には「所属なし」に設定される。 This map for each block that constitutes a distance image, is stored the number of objects that block belongs, is initially set to "no affiliation". また、郭形状バッファを用意する。 Also, providing a Guo shape buffer. このバッファは、個々の物体の輪郭として、ブロック行毎に物体左端の位置と、右端の位置とが格納され、初期的には「検出なし」に設定される。 This buffer is a contour of each object is stored and the position of the object left in each block row, and right positions, the initially set to "no detection". そして、すべての物体について、物体を一つずつ取り出して以下の処理を行う。 Then, for all the objects, the following process is performed is taken out one by one object.

距離画像を構成する全てのブロックについて、そのブロックが割り付けられている区分Sが注目する物体に所属しているか否かが判断される。 For all the blocks constituting the range image, whether belonging to an object classification S is noted that the block is assigned is determined. 区分Sが注目する物体に所属している場合、さらに以下の条件の全てを具備するか否かが判断される。 If the indicator S belongs to an object of interest, further whether comprising all of the following conditions is determined.
(条件1)ブロックの距離値が地面検出部3によって検出された地面により上方にあること(条件2)ブロックの距離値と、これが属する区分Sで検出された距離(代表距離値Zr)との差(絶対値)が所定のしきい値(例えば先行車の場合には3〜4m程度、歩行者の場合には1〜2m程度)以内であること (Condition 1) that the distance value of the block is above the ground detected by the ground detector 3 (Condition 2) and the distance value of the block, and the distance that it is detected by the segment S belongs (representative distance value Zr) the difference that (absolute value) (about 3~4m in the case of for example a preceding vehicle, when the pedestrian is about 1 to 2 m) a predetermined threshold value is within

これらの条件を具備する場合には、ブロックは注目する物体に所属すると判定され、物体番号マップにおける、注目する物体に所属すると判定されたブロックに対応する箇所に、その物体の番号が記入される。 In the case comprising these conditions, the block is determined to belong to the object of interest, the object number map, at a position corresponding to the determined block and belonging to an object of interest, the number of the object is entered .

以上の処理により、注目する物体に関して、どのブロックがどの物体に所属しているのかが物体番号マップに記載されることになる。 By the above processing, with regard object of interest, what block belongs to which object is to be described in the object number map. つぎに、物体番号マップを行毎にサーチして、各行において、注目する物体番号が出現する左端の位置と、右端の位置とが検出される。 Then, by searching the object number map for each row, in each row, and left position where the object number of interest appears, and the right end of the position is detected. 検出できた場合には、輪郭形状バッファの該当箇所にその旨を記入する。 When detected, fill to that effect in the appropriate place in the contour buffer. この記入処理は、全ての行に対して実施される。 The fill process is performed for all the rows. このような処理を全ての物体について実施することで、各物体の輪郭形状が検出され、それが輪郭形状バッファに格納される。 By performing such processing for all the objects, the contour shape of each object is detected, it is stored in the contour buffer. 上述した輪郭形状のデータ化は、先行車および歩行者のそれぞれについて実施される。 Data of the above-described contour is performed for each of the preceding vehicles and pedestrians.

輪郭形状を評価する手法としては、周知の様々な手法を用いることができる。 As a method for evaluating the contour shape, it is possible to use various known techniques. 例えば、輪郭形状に凹部が少なく形状が単純(丸みを帯びている)なほど、個々の物体の全体像が正しく含まれている可能性が高い。 For example, as the recess in the contour shape less shape simple (rounded), it is likely that the overall picture of the individual objects are properly included. その場合、輪郭の周長の二乗と面積との比などで、形状の単純さを評価することができる。 In this case, like the ratio of the square and the area of ​​the circumferential length of the contour, it is possible to evaluate the simplicity of shape. また、例えば、検出された物体の幅中央の鉛直線に対して左右対称であるほど、個々の物体の全体像が含まれている可能性が高い。 Further, for example, the more symmetrical with respect to the width center of the vertical line of the detected object is likely to contain the entire image of the individual objects. この場合には、輪郭内の面積において、物体中央に関するモーメントを面積の大きさで正規化した値を用いることができる。 In this case, the area within the contour, it is possible to use a normalized value of the moments about the object center the size of the area. さらに、特定の輪郭形状モデルとのパターンマッチングを行い、それとの一致度の高いものに高得点を付与し、それとともにマッチしたモデルに分類するといった手法を用いてもよい。 Furthermore, performs pattern matching with a specific contour model, a high score is given to a high degree of coincidence with it, it may be used techniques such classifies the matched model with it.

ここで、一例として、左右対称性を用いた評価値の算出手法について具体的に説明する。 Here, as an example, it will be specifically described the method of calculating the evaluation value using the left-right symmetry. まず、検出された各物体について、物体の存在する区分範囲の中央となる区分位置を基準位置として算出するとともに、モーメント積算値をゼロにリセットする。 First, each detected object was, it calculates the division position where the middle of the segment range in the presence of an object as a reference position, to reset the moment integrated value to zero. つぎに、物体番号マップの全ての行について、輪郭形状バッファから、該当する行の左端位置と右端位置とが読み出される。 Next, all rows of the object number map, from the contour shape buffer, and left position and right position of the corresponding row is read. そして、注目している物体の番号が記入されたブロックがあれば、そのブロックのモーメントをモーメント積算値に加算する。 Then, if the number of the objects of interest are entered block, adds the moment of the block to the moment integrated value. それと同時に、注目している物体の番号が一つでも見つかったならば、行番号の最大値と最小値とを更新していく。 At the same time, if the number of the object of interest is found in one, continue to update the maximum value and the minimum value of the line number. このような処理を全ての行について実施した結果、モーメント積算値と、物体の存在する行範囲(すなわち、物体の画面上の高さ)とが得られる。 Such processing results performed for all rows, and moments integrated value, existing rows range of the object (i.e., the height on the object screen) are obtained. ただし、このままでは輪郭が大きい物体ほどモーメントの値が大きくなってしまうので、それを解消すべく、輪郭の大きさで正規化する(評価値=モーメント積算値/(物体の幅×高さ)。なお、物体の幅は区分数(ブロック数)、高さは行数としてそれぞれ表される。この評価値は、その値が小さいほど左右対称性が高くなるので、物体の信頼性としては高くなり、これとは逆に、その値が大きいほど左右対称性が低くなるので、物体の信頼性としては低くなる。以上のような一連の処理を全ての物体について実行することで、全ての物体の信頼性を評価することができる。 However, the value of this state at the moment as the object outline is large becomes large, to solve it, normalized by the size of the contour (evaluation value = moment integrated value / (object width × height). Incidentally, the width of the object classification number (number of blocks), represented the heights as the number of rows. the evaluation value, since the value is higher symmetry increases small becomes higher as the object of reliability on the contrary, since the symmetry greater the value is lower, by executing made. above series of processes, such as low as object reliability for all objects, all objects it is possible to evaluate the reliability.

再び図5を参照して、ステップ5の物体の信頼性評価が終了すると、ステップ6の物体の選択が行われる。 Referring again to FIG. 5, the reliability evaluation of the object of step 5 is completed, the selection of objects in step 6 is performed. 物体検出部5は、第1の物体検出部5aの検出結果と、第2の物体検出部5bの検出結果と、信頼性評価部6の評価結果とに基づいて出力すべき物体を選択し、選択された物体に関する物体データを出力する。 The object detection unit 5 selects the detection result of the first object detecting unit 5a, and the detection result of the second object detection unit 5b, the object to be output based on the evaluation result of the reliability evaluation unit 6, and it outputs the object data for the selected object. なお、同一対象に関して、先行車および歩行者の双方が重複検出された場合には、信頼性の高い方が最終的な検出対象として選択される。 Incidentally, for the same subject, both of the preceding vehicle and pedestrians if it is duplicate detection, higher reliability is selected as the final detected. 具体的な物体選択の手法としては、まず、先行車および歩行者を含む個々の物体に関するデータとして選択フラグを用意し、全ての選択フラグを「0」(未処理)にリセットする。 As a concrete method of object selection, first, the preceding vehicle and providing a selection flag as the data for the individual object including the pedestrian, to reset all the selected flag to "0" (untreated).

つぎに、先行車として検出された物体(以下、「先行車物体」という)に対して以下の処理が実施される。 Then, the detected object as a preceding vehicle (hereinafter, referred to as "leading vehicle object") following processing is performed on. 歩行者として検出された物体(以下、「歩行者物体」という)を調べる。 It detected objects as a pedestrian (hereinafter, referred to as "pedestrian objects") examined. 先行車物体と歩行者物体との検出された区分範囲が重複しており、かつ、重複した部分の幅が歩行者物体の区分範囲幅の半分以上である歩行者物体を全て抽出する。 Preceding vehicle object and the detected divided ranges are overlapping with a pedestrian object, and the width of the overlapping portion to extract all the pedestrian object is more than half the segment range width of the pedestrian object. 抽出された歩行者物体がない場合、これに対応する先行車物体の選択フラグを「2」(処理済=選択)にセットする。 If there is no extracted pedestrian object, it sets the selection flag of the preceding vehicle object corresponding to the "2" (processed = selected). 一方、抽出された歩行者物体の数が1以上の場合、抽出された歩行者物体の評価値(平均値)と、これに対応する先行車物体の評価値とを比較し、信頼性の高い方の選択フラグを「2」にセットし、信頼性の低い方の選択フラグを「1」(処理済=非選択)にセットする。 On the other hand, if the number of the extracted pedestrian object is 1 or more, compared extracted evaluation value of the pedestrian object (average value), and evaluation value of the preceding vehicle object corresponding thereto, reliable set square of the selection flag to "2", and sets the selection flag of unreliable people to "1" (processed = unselected). その後、全ての歩行者物体を調べて、選択フラグが「0」のまま残っているものについては、その選択フラグを「2」にセットする。 Then, by examining all the pedestrian object, for which the selection flag has remained "0", it sets the selection flag to "2". 全ての先行車物体および歩行者物体のうち、選択フラグが「2」のものを選択し、これらの物体データを最終的な検出対象として出力する。 Of all of the preceding vehicle object and pedestrian object selection flag is selected as "2", and outputs these objects data as the final detected.

このように、本実施形態によれば、第1の物体検出部5aによって先行車を検出するとともに、第2の物体検出部5bによって歩行者を検出している。 Thus, according to this embodiment detects a preceding vehicle by the first object detecting unit 5a, detects the pedestrian by the second object detecting unit 5b. これにより、ある距離画像ベースで複数種の物体を検出することができる。 Thus, it is possible to detect a plurality of kinds of objects at a certain distance image based. その際、信頼性評価部6において、検出された物体の信頼性も併せて評価している。 At that time, the reliability evaluation unit 6, and evaluated together reliability of the detected object. これにより、例えば、図8および図10に例示したように、距離画像ベースでは検出対象の区別がつきにくい状況下でも、信頼性の高い方の物体を選択するといった対応をとることができるので、検出精度の向上を図ることができる。 Thus, for example, as illustrated in FIGS. 8 and 10, the distance image basis in that under difficult circumstances distinction between the detection object, it is possible to take a measure such selecting objects with higher reliability, it is possible to improve the detection accuracy.

また、本実施形態において、第1の物体検出部5aおよび第2の物体検出部5bを別個のユニットとして構成し、これらを並列動作させた場合には、物体検出処理の一層の高速化を図ることができる。 Further, in the present embodiment, when the first object detecting unit 5a and the second object detecting unit 5b configured as a separate unit, and these are arranged in parallel operation, achieving higher speed of object detection process be able to.

さらに、本実施形態によれば、それぞれの区分Sが所属する物体の番号を記入した物体番号マップを用いることにより、このマップを参照するだけで、区分Sに対応する物体を容易に特定することができる。 Further, according to this embodiment, by each category S uses an object number map that enter the number of objects belonging, only by referring to this map, easily identified by the object corresponding to the segment S can. その結果、物体検出処理の一層の高速化を図ることができる。 As a result, it is possible to further speed up the object detection process.

(第2の実施形態) (Second Embodiment)
図13は、第2の実施形態に係る物体検出装置のブロック構成図である。 Figure 13 is a block diagram of the object detection apparatus according to the second embodiment. 本実施形態が、第1の実施形態と異なるのは、ミリ波レーダ8と同一物体判定部9を追加した点にある。 This embodiment is different from the first embodiment is that adding a millimeter wave radar 8 identical object determination unit 9. したがって、図1と同様のブロックについては、同一の符号を付してここでの説明を省略する。 Thus, the same block as the block shown in FIG. 1, the description thereof is omitted here denoted by the same reference numerals.

ミリ波レーダ8は、自車両前方の状況を検出可能な位置に取り付けられており、ステレオカメラ1とは異なる物理現象を用いて前方状況に存在する物体を検出する。 Millimeter wave radar 8 is attached to a detectable position the status of the vehicle ahead, detecting an object existing ahead situation with different physical phenomena stereo camera 1. このミリ波レーダ8は、検出範囲内に存在する車両を検出することは可能だが、歩行者等を有効に検出することは困難である。 The millimeter-wave radar 8 Although it is possible to detect a vehicle present in the detection range, it is difficult to effectively detect the pedestrians and the like. 同一物体判定部9は、ミリ波レーダ8によって検出された先行車と、第1の物体検出部5aによって検出された先行車とが同一であるか否かを判定する。 Identical object determination unit 9 determines a preceding vehicle detected by the millimeter-wave radar 8, whether the preceding vehicle and which is detected by the first object detecting unit 5a are identical. そして、信頼性評価部6は、同一物体判定部9における判定結果が同一の場合、先行車の信頼性を補正する。 The reliability evaluation unit 6, when the result of the determination in the same object determination unit 9 are the same, to correct the preceding vehicle reliability. ステレオカメラ1およびミリ波レーダ8の双方で先行車が検出された場合、物体が先行車である蓋然性は極めて高いと判断できる。 If the preceding vehicle is detected in both of the stereo camera 1 and the millimeter wave radar 8, probability object is a preceding vehicle it can be determined as very high. したがって、この場合には、先行車の信頼性を高めるような補正が行われる。 Therefore, in this case, the preceding vehicle reliability increase such correction. なお、ミリ波レーダ8での検出回数が複数回に及ぶ場合には、その回数に応じて信頼性を高める度合いを変化させてもよい。 In the case where the number of detection times in the millimeter-wave radar 8 spans multiple times, it may vary the degree of increasing the reliability in accordance with the count. 例えば、検出回数の増大にしたがって、信頼性を高める度合いも大きくするといった如くである。 For example, with increasing number of times of detection, it is as such also to increase the degree of increasing the reliability. また、信頼性を高める度合いを、ミリ波レーダ8が受信した反射強度にしたがって変化させてもよい。 Moreover, the degree of increasing the reliability may be changed according to the reflected intensity millimeter wave radar 8 receives. 例えば、反射強度の増大にしたがって、信頼性を高める度合いも大きくするといった如くである。 For example, with increasing the reflection intensity, it is as such also to increase the degree of increasing the reliability.

このように、本実施形態によれば、上述した第1の実施形態と同様の効果を有するほか、第1の物体検出部5aおよびミリ波レーダ8の併用によって、走行車の検出精度を著しく高めることが可能になる。 Thus, according to this embodiment, in addition to the same effects as the first embodiment described above, the combination of the first object detecting unit 5a and the millimeter wave radar 8, significantly increases the detection accuracy of the vehicle it becomes possible.

なお、本実施形態では、物体(例えば先行車)の検出精度を高めるためのセンサとして、ミリ波レーダ8を用いているが、本発明はこれに限定されるものではなく、同様の趣旨で適用可能なそれ以外のセンサを用いてもよい。 Incidentally, application in the present embodiment, as a sensor for enhancing the detection accuracy of an object (e.g. a preceding vehicle), but using a millimeter wave radar 8, the present invention is not limited thereto, in the same spirit it may be used sensors otherwise possible.

また、上述した各実施形態では、検出対象となる物体の例として、先行車および歩行者(人が運転する自転車やバイク等も歩行者の範疇に含まれる)を例に説明したが、本発明はこれに限定されるものではなく、例えば、固定監視カメラでは人と建物といったように、サイズが異なる各種の物体に適用することが可能である。 In each embodiment described above, as an example of an object to be detected, although the preceding vehicle and pedestrian (bicycle or motorcycle or the like which a person driving is also included in the scope of the pedestrian) is described as an example, the present invention is not limited to this, for example, in fixed surveillance camera as such people and buildings, it can be applied to various objects of different sizes.

第1の実施形態に係る物体検出装置のブロック構成図 Block diagram of the object detection apparatus according to a first embodiment 画像平面上に設定される画素ブロックの説明図 Illustration of pixel blocks set on the image plane 区分設定の説明図 Illustration of interval settings 距離値ヒストグラムの説明図 Illustration of the distance histogram 物体検出の手順を示すフローチャート Flowchart illustrating a procedure of object detection 区分グループ化の説明図 Illustration of a classification grouping 先行車が走行する状況下での距離画像を示す図 It shows a distance image in situations where the preceding vehicle is traveling 先行車が走行する状況下での代表距離値の分布図 Distribution map of the representative distance value in a situation where the preceding vehicle is traveling 歩行者が併走する状況下での距離画像を示す図 Figure pedestrian showing a distance image in situations that travel together 歩行者が併走する状況下での代表狂距離値の分布図 Distribution diagram of a representative enthusiasts distance value in situations where pedestrians are run side by side 一つの物体とみなすのが適当な輪郭形状を示す図 It shows a suitable profile shape that is regarded as one object 一つの物体とみなすのが適当でない輪郭形状を示す図 It shows a contour not appropriate to regarded as one object 第2の実施形態に係る物体検出装置のブロック構成図 Block diagram of the object detection apparatus according to the second embodiment

符号の説明 DESCRIPTION OF SYMBOLS

1 ステレオカメラ 2 距離画像生成部 3 地面検出部 4 距離分布生成部 5 物体検出部 5a 第1の物体検出部 5b 第2の物体検出部 6 信頼性評価部 7 物体選択部 8 ミリ波レーダ 9 同一物体判定部 1 stereo camera 2 distance image generation unit 3 ground detector 4 distance distribution generating unit 5 the object detection unit 5a first object detection unit 5b the second object detecting unit 6 reliability evaluating portion 7 object selection unit 8 millimeter wave radar 9 identical object determination unit

Claims (8)

  1. ステレオ画像処理によって生成され、画像平面上の位置に対応付けされた距離値の集合としての距離画像を用いて、物体を検出する物体検出装置において、 Generated by the stereo image processing, using the distance image as a collection of associated distance value at a position on the image plane, the object detecting apparatus for detecting an object,
    前記距離画像上に設定された複数の区分のそれぞれについて、当該区分内に存在する距離値のヒストグラムに基づいて距離代表値を算出する距離分布生成部と、 For each of a plurality of sections set on the distance image, and the distance distribution generating unit for calculating a distance representative value based on the histogram of the distance values ​​present in the segment,
    検出対象である第1の物体のサイズに応じて設定された第1の検出条件と、前記区分毎の距離代表値とに基づいて、前記複数の区分を同一物体とみなしてグループ化し、前記距離画像上において前記第1の物体を検出する第1の物体検出部と、 First detection condition set according to the size of the first object to be detected, on the basis of the distance representative value of said segment each, grouped regarded as the same object the plurality of sections, said distance a first object detecting unit that detects the first object in the image,
    前記第1の物体とは異なる検出対象である第2の物体のサイズに応じて設定された第2の検出条件と、前記区分毎の距離代表値とに基づいて、前記複数の区分を同一物体とみなしてグループ化し、前記距離画像上において前記第2の物体を検出する第2の物体検出部と、 Wherein the second detection condition set according to the size of the second object to the first object is a different detection target, based on the distance representative value of said segment each, same object the plurality of sections a second object detecting unit that grouped, for detecting a second object on the distance image is regarded as,
    前記第1の物体検出部によって検出された前記第1の物体および前記第2の物体検出部によって検出された前記第2の物体のいずれかを選択するために、所定の評価規則に基づいて、前記第1の物体の信頼性と、前記第2の物体の信頼性とを評価する信頼性評価部とを有することを特徴とする物体検出装置。 To select one of the first said detected by the object detection unit of the first object and the second object detected by the second object detecting unit, based on a predetermined evaluation rule, object detecting apparatus comprising: the reliability of the first object, and a reliability evaluation unit for evaluating the reliability of the second object.
  2. 前記信頼性評価部は、物体の検出状態の経時的な安定性を前記所定の評価基準として用いることにより、前記第1の物体の検出状態の経時的な安定性と、前記第2の物体の検出状態の経時的な安定性とを評価することを特徴とする請求項1に記載された物体検出装置。 The reliability evaluation unit, by using the stability over time of the detected state of the object as said predetermined evaluation criterion, and stability over time of the detected state of the first object, the second object object detection apparatus according to claim 1, characterized in that to evaluate the stability over time of the detected state.
  3. 前記信頼性評価部は、前記距離画像上における物体の輪郭形状の安定性を前記所定の評価基準として用いることにより、前記距離画像上における前記第1の物体の輪郭形状の安定性と、前記距離画像上における前記第2の物体の輪郭形状の安定性とを評価することを特徴とする請求項1に記載された物体検出装置。 The reliability evaluation unit, by using the stability of the object contour on the distance image as the predetermined evaluation criterion, and stability of the contour shape of the first object on the distance image, the distance and an object detecting apparatus according to claim 1, characterized in that to evaluate the stability of the contour of the second object in the image.
  4. 前記ステレオ画像処理の入力となる一対の画像を撮像するステレオカメラとは異なる物理現象を用いたセンサによって検出された物体と、前記第1の物体検出部によって検出された前記第1の物体とが同一であるか否かを判定する同一物体判定部をさらに有し、 Wherein the object detected by the sensor using a different physical phenomena stereo camera for imaging the pair of images as an input of the stereo image processing, and the first said detected by the object detection unit of the first object further comprising a same object determination unit determines whether or not the same,
    前記信頼性評価部は、前記同一物体判定部における判定結果が同一の場合、前記第1の物体の信頼性を補正することを特徴とする請求項1から3のいずれかに記載された物体検出装置。 The reliability evaluation unit, when the determination result in the same object determination unit is the same, have been object detection according to any one of claims 1 to 3, characterized in that to correct the reliability of the first object apparatus.
  5. 前記センサは、ミリ波レーダであって、 It said sensor is a millimeter wave radar,
    前記第1の物体は、前記ミリ波レーダにて検出可能な物体であり、 It said first object is a detectable object in the millimeter-wave radar,
    前記第2の物体は、前記ミリ波レーダでは前記第1の物体に比べて検出しにくい物体であることを特徴とする請求項4に記載された物体検出装置。 The second object, is an object detecting device according to claim 4, wherein the at millimeter wave radar is difficult to detect the object than the first object.
  6. 前記第1の検出条件および前記第2の検出条件は、同一物体とみなす前記代表距離値の範囲および前記複数の区分の幅に関して、互いに異なる条件を規定していることを特徴とする請求項1から5のいずれかに記載された物体検出装置。 The first detection condition and the second detection condition is, claim 1, with respect to the representative distance value of the range and the width of the plurality of segments regarded as the same object, characterized in that it defines different conditions object detection apparatus according to any of the 5.
  7. 前記第1の物体検出部および前記第2の物体検出部は、別個のユニットであり、前記第1の物体の検出および前記第2の物体の検出を並行的に行うことを特徴とする請求項1から6のいずれかに記載された物体検出装置。 The first object detecting unit and the second object detecting unit is a separate unit, claims, characterized in that for detection of detection and the second object of the first object in parallel object detection apparatus according to any one of 1 to 6.
  8. 前記第1の物体検出部および前記第2の物体検出部は、同一のユニットであり、前記第1の検出条件および前記第2の検出条件を切り替えて、前記第1の物体の検出および前記第2の物体の検出を逐次的に行うことを特徴とする請求項1から6のいずれかに記載された物体検出装置。 The first object detecting unit and the second object detecting unit has the same unit, by switching the first detection condition and the second detection condition, the detection and the said first object first and an object detecting apparatus according to claim 1, wherein 6 to carry out detection of the two objects sequentially.
JP2006221111A 2006-08-14 2006-08-14 Object detecting device Active JP5127182B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006221111A JP5127182B2 (en) 2006-08-14 2006-08-14 Object detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006221111A JP5127182B2 (en) 2006-08-14 2006-08-14 Object detecting device

Publications (2)

Publication Number Publication Date
JP2008045974A true true JP2008045974A (en) 2008-02-28
JP5127182B2 JP5127182B2 (en) 2013-01-23

Family

ID=39179860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006221111A Active JP5127182B2 (en) 2006-08-14 2006-08-14 Object detecting device

Country Status (1)

Country Link
JP (1) JP5127182B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224936A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Object detection device
JP2010224925A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Environment recognition device
JP2010237810A (en) * 2009-03-30 2010-10-21 Mazda Motor Corp System and method for detecting moving object
WO2010140613A1 (en) * 2009-06-03 2010-12-09 学校法人中部大学 Object detection device
WO2011099189A1 (en) * 2010-02-10 2011-08-18 日立オートモティブシステムズ株式会社 Vehicle-mounted image processing apparatus
JP2012078942A (en) * 2010-09-30 2012-04-19 Toshiba Corp Depth correction device and method
WO2012120856A1 (en) * 2011-03-10 2012-09-13 パナソニック株式会社 Object detection device and object detection method
WO2013136495A1 (en) * 2012-03-15 2013-09-19 トヨタ自動車株式会社 Vehicle travel control apparatus
JP2014062877A (en) * 2012-09-24 2014-04-10 Honda Motor Co Ltd Object recognition device
WO2014132748A1 (en) * 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 Imaging device, and vehicle control device
DE102014112797A1 (en) 2013-09-27 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Vehicle exterior environment recognition device
US20150145963A1 (en) * 2012-06-28 2015-05-28 Hitachi Automotive Systems, Ltd. Stereo Camera
JP2015520433A (en) * 2012-03-26 2015-07-16 ティーケー ホールディングス インコーポレーテッド Range queue type object segmentation system and method
WO2015119301A1 (en) * 2014-02-05 2015-08-13 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium
JP2015156120A (en) * 2014-02-20 2015-08-27 富士重工業株式会社 Pedestrian recognition device
JP2016024160A (en) * 2014-07-24 2016-02-08 株式会社日本自動車部品総合研究所 Three-dimensional object recognition device
WO2016031523A1 (en) * 2014-08-26 2016-03-03 日立オートモティブシステムズ株式会社 Object recognition device and vehicle control system
CN106463060A (en) * 2014-05-19 2017-02-22 株式会社理光 Processing apparatus, processing system, processing program, and processing method

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010224925A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Environment recognition device
JP2010224936A (en) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd Object detection device
JP2010237810A (en) * 2009-03-30 2010-10-21 Mazda Motor Corp System and method for detecting moving object
US8611604B2 (en) 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
WO2010140613A1 (en) * 2009-06-03 2010-12-09 学校法人中部大学 Object detection device
JP5500559B2 (en) * 2009-06-03 2014-05-21 学校法人中部大学 Object detecting device
CN102803991A (en) * 2009-06-03 2012-11-28 学校法人中部大学 Object detection device
WO2011099189A1 (en) * 2010-02-10 2011-08-18 日立オートモティブシステムズ株式会社 Vehicle-mounted image processing apparatus
JP2011164982A (en) * 2010-02-10 2011-08-25 Hitachi Automotive Systems Ltd In-vehicle image processor
JP2012078942A (en) * 2010-09-30 2012-04-19 Toshiba Corp Depth correction device and method
US8761492B2 (en) 2010-09-30 2014-06-24 Kabushiki Kaisha Toshiba Depth correction apparatus and method
JP2012189445A (en) * 2011-03-10 2012-10-04 Panasonic Corp Object detection device and object detection method
WO2012120856A1 (en) * 2011-03-10 2012-09-13 パナソニック株式会社 Object detection device and object detection method
US9041588B2 (en) 2011-03-10 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Object detection device and object detection method
JPWO2013136495A1 (en) * 2012-03-15 2015-08-03 トヨタ自動車株式会社 The vehicle running control system
WO2013136495A1 (en) * 2012-03-15 2013-09-19 トヨタ自動車株式会社 Vehicle travel control apparatus
US9610950B2 (en) 2012-03-15 2017-04-04 Toyota Jidosha Kabushiki Kaisha Vehicle travel control apparatus
JP2015520433A (en) * 2012-03-26 2015-07-16 ティーケー ホールディングス インコーポレーテッド Range queue type object segmentation system and method
US20150145963A1 (en) * 2012-06-28 2015-05-28 Hitachi Automotive Systems, Ltd. Stereo Camera
JP2014062877A (en) * 2012-09-24 2014-04-10 Honda Motor Co Ltd Object recognition device
WO2014132748A1 (en) * 2013-02-27 2014-09-04 日立オートモティブシステムズ株式会社 Imaging device, and vehicle control device
JP6072892B2 (en) * 2013-02-27 2017-02-01 日立オートモティブシステムズ株式会社 Imaging apparatus and a vehicle control device
US9280900B2 (en) 2013-09-27 2016-03-08 Fuji Jukogyo Kabushiki Kaisha Vehicle external environment recognition device
DE102014112797A1 (en) 2013-09-27 2015-04-02 Fuji Jukogyo Kabushiki Kaisha Vehicle exterior environment recognition device
WO2015119301A1 (en) * 2014-02-05 2015-08-13 Ricoh Company, Limited Image processing device, device control system, and computer-readable storage medium
EP3103107A4 (en) * 2014-02-05 2017-02-22 Ricoh Company, Ltd. Image processing device, device control system, and computer-readable storage medium
JP2015156120A (en) * 2014-02-20 2015-08-27 富士重工業株式会社 Pedestrian recognition device
CN106463060A (en) * 2014-05-19 2017-02-22 株式会社理光 Processing apparatus, processing system, processing program, and processing method
JP2016024160A (en) * 2014-07-24 2016-02-08 株式会社日本自動車部品総合研究所 Three-dimensional object recognition device
JP2016045903A (en) * 2014-08-26 2016-04-04 日立オートモティブシステムズ株式会社 Object recognition device and vehicle control system
WO2016031523A1 (en) * 2014-08-26 2016-03-03 日立オートモティブシステムズ株式会社 Object recognition device and vehicle control system

Also Published As

Publication number Publication date Type
JP5127182B2 (en) 2013-01-23 grant

Similar Documents

Publication Publication Date Title
US20060215903A1 (en) Image processing apparatus and method
US6317057B1 (en) Method for detecting lane deviation of vehicle
US20040057599A1 (en) Image processing apparatus and method
US20130028473A1 (en) System and method for periodic lane marker identification and tracking
JP2006072495A (en) Three-dimensional object monitoring device
US20120300078A1 (en) Environment recognizing device for vehicle
JPH10283461A (en) Outer-vehicle monitoring device
Bertozzi et al. Low-level pedestrian detection by means of visible and far infra-red tetra-vision
CN102542843A (en) Early warning method for preventing vehicle collision and device
JP2003067752A (en) Vehicle periphery monitoring device
Reisman et al. Crowd detection in video sequences
US20100259609A1 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
JP2008242571A (en) Object detection device
JP2009294842A (en) Pedestrian detection apparatus and pedestrian detection method
JP2000039306A (en) Device and method for vehicle system area detection
JP2004037239A (en) Identical object judging method and system, and misregistration correcting method and system
JP2000331148A (en) Obstacle detector
US20130128001A1 (en) Method and system for detecting object on a road
JP2009009209A (en) Image recognition device and image recognition processing method
JP2004013400A (en) Object recognition device and object recognition method
JPH1114346A (en) Vehicular obstacle detecting device
JP2007188417A (en) Image recognition device, image recognition method, and image recognition program
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US20130229520A1 (en) Vehicle surroundings monitoring apparatus
JP2005011097A (en) Face existence determining device and face existence determining program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090409

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121030

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250