JP2006010652A - Object-detecting device - Google Patents

Object-detecting device Download PDF

Info

Publication number
JP2006010652A
JP2006010652A JP2004192197A JP2004192197A JP2006010652A JP 2006010652 A JP2006010652 A JP 2006010652A JP 2004192197 A JP2004192197 A JP 2004192197A JP 2004192197 A JP2004192197 A JP 2004192197A JP 2006010652 A JP2006010652 A JP 2006010652A
Authority
JP
Japan
Prior art keywords
image
detection target
pedestrian
target object
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004192197A
Other languages
Japanese (ja)
Inventor
Junichi Mori
純一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2004192197A priority Critical patent/JP2006010652A/en
Publication of JP2006010652A publication Critical patent/JP2006010652A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object-detecting device for separating objects to be detected which are overlapped on an image and capable of recognizing each of the objects to be detected, in detecting the objects from the still image. <P>SOLUTION: The object-detecting device 1 is provided with cameras 10 and 11 for photographing the images; a detection part 30 for extracting a search area, containing a candidate image of a pedestrian from the images photographed by the cameras 10 and 11 and for outputting the coordinate values of the search area and the evaluation value of the search area, according to the similarity of the pedestrian candidates included in the search area with the pedestrians; a separation processing part 42 for separating the search area for each pedestrian, on the basis of the coordinate values of the search area outputted from the detection part 30; and a representative value preparing part 43 for calculating the position of the pedestrians by taking the weighted average of the coordinate values of the search area for each pedestrian separated by the separation processing part 42, according to the evaluation value. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、物体検出装置に関する。   The present invention relates to an object detection device.

カメラで撮影した画像から検出対象である物体(例えば、歩行者、自転車、車両など)を検出するときに複数の検出対象物体が画像上で重なっていることが有る。検出対象物体の数や検出対象物体それぞれの位置情報等が必要なときには、重複している各検出対象物体を分離して検出対象物体それぞれを個別に認識する必要がある。   When detecting an object (for example, a pedestrian, a bicycle, a vehicle, or the like) that is a detection target from an image captured by a camera, a plurality of detection target objects may overlap on the image. When the number of detection target objects, position information of each detection target object, and the like are necessary, it is necessary to separate each detection target object and recognize each detection target object individually.

このような検出結果の重複を除去する技術が特許文献1に記載されている。特許文献1記載の技術では、まず、入力画像データと、それより1つ前に入力された画像データとの差分がとられ、差分画像が生成される。さらに過去mフレーム分(mは2以上の整数)の差分画像が加算され平均がとられる事によって、統合差分画像が得られる。統合差分画像は、動きのない領域の画素値が0で、動きのある領域ほど画素値が大きい値を取る。統合差分画像が得られると、まず動き領域の有無が調べられる。動き領域がない場合には人物数がゼロとされる。動き領域がある場合、例えば統合差分画像上部領域における動き領域幅の最大値があるしきい値よりも小さいときは1人、大きいときには2人とされる。人物数が2人のときは、統合差分領域が2つの部分領域に分割される。なお3人以上検出された場合には、分割数が増やされる。
特開2000−222576号公報
A technique for removing such duplication of detection results is described in Patent Document 1. In the technique described in Patent Document 1, first, a difference between input image data and image data input immediately before is obtained, and a difference image is generated. Furthermore, the difference image of past m frames (m is an integer of 2 or more) is added and averaged to obtain an integrated difference image. The integrated difference image has a pixel value of 0 in a non-motion area, and a larger pixel value in a motion area. When an integrated difference image is obtained, first, the presence / absence of a motion region is checked. When there is no moving area, the number of persons is zero. When there is a motion region, for example, one person is assigned when the maximum value of the motion region width in the upper region of the integrated differential image is smaller than a certain threshold value, and two people when the maximum value is greater. When the number of persons is two, the integrated difference area is divided into two partial areas. When three or more people are detected, the number of divisions is increased.
JP 2000-222576 A

特許文献1記載の技術では、画像を人物の数に応じて分割する場合、mフレーム分の画像データを取得して処理する必要がある。したがって、1フレームのみの静止画像において抽出結果の重複を除去する場合には、特許文献1記載の技術を適用することができない。   In the technique described in Patent Document 1, when an image is divided according to the number of persons, it is necessary to acquire and process image data for m frames. Therefore, the technique described in Patent Document 1 cannot be applied when removing duplicated extraction results from still images of only one frame.

本発明は、上記問題点を解消する為になされたものであり、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することができる物体検出装置を提供することを目的とする。   The present invention has been made to solve the above-described problems. When an object is detected from a still image, the detection target object overlapping in the image is separated and each detection target object is recognized. It is an object to provide an object detection device capable of

本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により分別された検出対象物体ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより、検出対象物体の位置を算出する物体位置算出手段とを備えることを特徴とする。   An object detection apparatus according to the present invention extracts an image area including a candidate image of a detection target object from an image picked up by an image pickup means for picking up an image, and the image picked up by the image pickup means. An extraction means for outputting an evaluation value of the image area corresponding to the degree of similarity between the detection target object candidate and the detection target object included in the image, and the detection of the image area based on the coordinate value of the image area output from the extraction means An object for calculating the position of the detection target object by taking a weighted average according to the evaluation value with respect to the coordinate value of the image area for each detection target object classified by the classification means and the classification means for classification for each object And a position calculating means.

本発明に係る物体検出装置によれば、例えば、複数の検出対象物体それぞれについて複数の検出対象物体候補が抽出された場合、まず、画像領域の座標値に基づいて、複数の画像領域に含まれる検出対象物体候補が同一の検出対象物体に対応するものであるか異なる検出対象物体に対応するものであるかが判断されることにより、複数の画像領域が検出対象物体ごとに分けられる。そして、同一の検出対象物体に属する画像領域の座標値が評価値に応じて重み付き平均されて検出対象物体の位置が算出される。そのため、画像上で重複している検出対象物体を分離すると共に、検出対象物体それぞれの位置を精度良く特定することが可能となる。   According to the object detection device of the present invention, for example, when a plurality of detection target object candidates are extracted for each of a plurality of detection target objects, first, they are included in the plurality of image regions based on the coordinate values of the image regions. By determining whether the detection target object candidates correspond to the same detection target object or different detection target objects, a plurality of image regions are divided for each detection target object. Then, the coordinate values of the image areas belonging to the same detection target object are weighted and averaged according to the evaluation value to calculate the position of the detection target object. Therefore, it is possible to separate the detection target objects overlapping on the image and to specify the positions of the detection target objects with high accuracy.

本発明に係る物体検出装置は、画像を撮像する撮像手段と、撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、画像領域の座標値、及び、画像領域に含まれる検出対象物体候補と検出対象物体との類似度に応じた画像領域の評価値を出力する抽出手段と、抽出手段から出力された画像領域の座標値に基づいて、画像領域を検出対象物体ごとに分別する分別手段と、分別手段により検出対象物体ごとに分別された画像領域のうち評価値が最大である画像領域の座標値から検出対象物体の位置を算出する物体位置算出手段とを備えることを特徴とする。   An object detection apparatus according to the present invention extracts an image area including a candidate image of a detection target object from an image picked up by an image pickup means for picking up an image, and the image picked up by the image pickup means. An extraction means for outputting an evaluation value of the image area corresponding to the degree of similarity between the detection target object candidate and the detection target object included in the image, and the detection of the image area based on the coordinate value of the image area output from the extraction means Classification means for classifying each object, and object position calculation means for calculating the position of the detection target object from the coordinate value of the image area having the maximum evaluation value among the image areas classified for each detection target object by the classification means It is characterized by providing.

評価値が最大である画像領域の座標値から検出対象物体の位置を算出する場合、重み付き平均をとる場合と比較して、処理工数が低減されるので、処理を高速化することができる。   When the position of the detection target object is calculated from the coordinate value of the image area having the maximum evaluation value, the processing man-hour is reduced as compared with the case where the weighted average is taken, so that the processing can be speeded up.

また、本発明に係る物体検出装置は、画像領域が複数抽出された場合、抽出された複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が複数であるか否かを判断する物体数判断手段をさらに備え、物体数判断手段によって検出対象物体の数が複数であると判断された場合に、分別手段が、複数の画像領域を検出対象物体ごとに分別することが好ましい。   In addition, when a plurality of image regions are extracted, the object detection device according to the present invention determines whether or not the number of detection target objects is a plurality based on the horizontal deviation of the plurality of extracted image regions. It is preferable that the image forming apparatus further includes an object number determination unit, and when the object number determination unit determines that there are a plurality of detection target objects, the classification unit separates the plurality of image regions for each detection target object.

この場合、複数の画像領域の水平方向の偏差に基づいて検出対象物体の数が求められる。例えば、水平方向の偏差が所定値以下である場合には、検出対象物体が1つであると判断され、偏差が所定値より大きい場合には検出対象物体が複数あると判断される。そして、検出対象物体の数が複数である場合に、画像領域が検出対象物体ごとに分けられる。そのため、重複している検出対象物を効率良く分離することが可能となる。   In this case, the number of detection target objects is obtained based on the horizontal deviation of the plurality of image regions. For example, when the horizontal deviation is less than or equal to a predetermined value, it is determined that there is one detection target object, and when the deviation is greater than the predetermined value, it is determined that there are a plurality of detection target objects. When there are a plurality of detection target objects, the image area is divided for each detection target object. Therefore, it is possible to efficiently separate overlapping detection objects.

本発明によれば、静止画像から物体を検出するときに、画像上で重複している検出対象物体を分離し、検出対象物体それぞれを認識することが可能となる。   According to the present invention, when an object is detected from a still image, it is possible to separate detection target objects that overlap in the image and recognize each detection target object.

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the figure, the same reference numerals are used for the same or corresponding parts.

(第1実施形態)
まず、図1を用いて、第1実施形態に係る物体検出装置1の全体構成について説明する。図1は、第1実施形態に係る物体検出装置1の全体構成を示すブロック図である。物体検出装置1は、車両前方の風景を撮像して画像データを取得するカメラ(撮像手段)10,11と、該画像データに対して画像処理を施すことにより、例えば歩行者や車両などの物体を抽出し、その位置情報等を算出する物体検出用電子制御装置(以下「物体検出ECU」という)13とを備えている。以下、歩行者を検出対象物体として検出する場合を例にして説明する。
(First embodiment)
First, the overall configuration of the object detection apparatus 1 according to the first embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing an overall configuration of an object detection apparatus 1 according to the first embodiment. The object detection apparatus 1 includes cameras (imaging means) 10 and 11 that capture an image of a landscape in front of a vehicle and acquire image data, and performs image processing on the image data, thereby, for example, an object such as a pedestrian or a vehicle. And an object detection electronic control device (hereinafter referred to as “object detection ECU”) 13 for calculating the position information and the like. Hereinafter, a case where a pedestrian is detected as a detection target object will be described as an example.

カメラ10及びカメラ11それぞれは、例えばCCDカメラであり、自車両のフロントウィンドウ上部(例えば、バックミラーの裏側)に前方を向いて設置されている。両カメラの光軸は互いに平行(実質的に平行であればよい)で、かつ撮像面の水平軸が同一線上に揃うように配置されている。カメラ10,11それぞれは、車両前方の風景を撮像して画像データを取得する。カメラ10,11により取得された画像データは、物体検出ECU13に出力される。なお、カメラ10,11の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像を撮像することができる場所であれば、車体のどの位置に設けてもよい。   Each of the camera 10 and the camera 11 is a CCD camera, for example, and is installed facing the front at the upper part of the front window of the host vehicle (for example, the back side of the rearview mirror). The optical axes of the two cameras are parallel to each other (which may be substantially parallel), and the horizontal axes of the imaging surfaces are arranged on the same line. Each of the cameras 10 and 11 captures a landscape in front of the vehicle and acquires image data. Image data acquired by the cameras 10 and 11 is output to the object detection ECU 13. In addition, the installation location of the cameras 10 and 11 is not limited to the upper part of the front window, and may be provided at any position on the vehicle body as long as it can capture an image in front of the vehicle.

物体検出ECU13は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するROM、演算結果などの各種データを記憶するRAM及び12Vバッテリによってその記憶内容が保持されるバックアップRAM等により構成されている。   The object detection ECU 13 includes a microprocessor that performs calculations, a ROM that stores a program for causing the microprocessor to execute each process, a RAM that stores various data such as calculation results, and a backup in which the stored contents are held by a 12V battery. It is comprised by RAM etc.

物体検出ECU13は、カメラ10,11により取得された画像データから歩行者が存在する可能性の高い候補領域を取得する候補領域算出部20、候補領域算出部20で取得された候補領域において検出対象物体(歩行者)候補の抽出及び識別を行う検出部30、検出部30で抽出された歩行者候補の重複を除去する重複除去部40、及び、重複除去部40で認識された歩行者それぞれの位置情報等を出力する検出結果出力部50とを備えて構成されている。   The object detection ECU 13 is a detection target in the candidate area calculation unit 20 that acquires a candidate area where a pedestrian is likely to exist from the image data acquired by the cameras 10 and 11, and the candidate area acquired by the candidate area calculation unit 20. A detection unit 30 that extracts and identifies object (pedestrian) candidates, a duplication removal unit 40 that removes duplication of pedestrian candidates extracted by the detection unit 30, and a pedestrian recognized by the duplication removal unit 40, respectively. And a detection result output unit 50 that outputs position information and the like.

候補領域算出部20は、カメラ10,11から入力された画像データに基づいて、歩行者が存在する可能性の高い画像上の候補領域(図4参照)の位置とカメラ10,11から該候補領域までの距離とを算出し、検出部30に出力するものである。候補領域算出部20は、距離計算部21及び候補算出部22を有して構成されている。   Based on the image data input from the cameras 10 and 11, the candidate area calculation unit 20 determines the position of the candidate area (see FIG. 4) on the image where a pedestrian is likely to exist and the candidates from the cameras 10 and 11. The distance to the area is calculated and output to the detection unit 30. The candidate area calculation unit 20 includes a distance calculation unit 21 and a candidate calculation unit 22.

距離計算部21は、カメラ10から入力された画像データとカメラ11から入力された画像データとの差異に基づいて自車両から画像上に撮像されている物体までの距離を算出する。物体までの距離の算出は、例えばステレオ視の画像データを用い、三角測量の原理で求めることができる。距離の算出方法の一例について簡単に説明する。   The distance calculation unit 21 calculates the distance from the host vehicle to the object imaged on the image based on the difference between the image data input from the camera 10 and the image data input from the camera 11. The distance to the object can be calculated based on the principle of triangulation using, for example, stereo vision image data. An example of a distance calculation method will be briefly described.

物体が自車の前方にいる場合、カメラ10から得られた画像とカメラ11から得られた画像とを重ね合わせると、物体が水平方向にずれた位置になる。そこで、片方の画像を1画素づつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をnとする。また、カメラ10又は11を構成するレンズの焦点距離をf,左右のカメラ10,11の光軸間の距離をL、画素ピッチをdとすると、自車から物体までの距離Rは、次式により計算できる。
R=(f・L)/(n・d) ・・・(1)
When the object is in front of the host vehicle, when the image obtained from the camera 10 and the image obtained from the camera 11 are superimposed, the object is shifted in the horizontal direction. Therefore, the most overlapping position is obtained while shifting one image pixel by pixel. The number of pixels shifted at this time is n. If the focal length of the lens constituting the camera 10 or 11 is f, the distance between the optical axes of the left and right cameras 10 and 11 is L, and the pixel pitch is d, the distance R from the vehicle to the object is Can be calculated by
R = (f · L) / (n · d) (1)

候補算出部22は、まず、距離計算部21で算出された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ(例えば横幅)等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得する。取得された候補領域情報は検出部30に出力される。   First, the candidate calculation unit 22 determines, for example, the difference in distance between the object part and the background part, the variation in distance, and the size of the object part (for example, the width) from the distance information calculated by the distance calculation unit 21. ) Etc. are calculated. Next, based on the calculated information, a candidate area on an image in which an object having a high possibility of a pedestrian is captured is acquired. The acquired candidate area information is output to the detection unit 30.

検出部30は、探索領域(図4参照)の設定等を行う探索制御部31、例えば画像データから特徴部分を抽出する特徴抽出部32、及び歩行者パターンを用いて歩行者を抽出する歩行者検出部33を有して構成されている。   The detection unit 30 includes a search control unit 31 that sets a search area (see FIG. 4), a feature extraction unit 32 that extracts a feature portion from image data, and a pedestrian that extracts a pedestrian using a pedestrian pattern. A detection unit 33 is included.

探索制御部31では、候補領域算出部20により取得された候補領域それぞれにおいて歩行者を探索する探索領域が設定される。なお、探索領域は候補領域よりも小さく設定される。また、探査領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。さらに、探査領域が順次シフトされて、候補領域全域において歩行者の抽出が行われる。   In the search control unit 31, a search region for searching for a pedestrian is set in each candidate region acquired by the candidate region calculation unit 20. The search area is set smaller than the candidate area. Further, the size of the exploration area is set according to, for example, the size of the pedestrian and the distance from the host vehicle. Further, the exploration area is sequentially shifted, and pedestrians are extracted in the entire candidate area.

特徴抽出部32及び歩行者検出部33では、設定された探索領域内において、歩行者候補のパターンによる抽出及び識別を行う。歩行者候補の抽出や識別には、例えば、ニューラルネットワーク、SVM(Support Vector Machine)、テンプレートマッチングなどの技術が用いられる。   The feature extraction unit 32 and the pedestrian detection unit 33 perform extraction and identification based on pedestrian candidate patterns within the set search region. For example, techniques such as neural network, SVM (Support Vector Machine), and template matching are used to extract and identify pedestrian candidates.

歩行者候補が抽出された探索領域(画像領域)の情報、及び、画像上の歩行者候補と歩行者パターンとの類似度に応じた評価値を含む検出データは、重複除去部40に出力される。すなわち、検出部30は抽出手段として機能する。なお、探索領域情報としては、例えば、自車両からの距離、境界線及び探索領域の左上と右下の座標値などが挙げられる。また、評価値は類似度が高いほど、すなわち歩行者である可能性が高いほど大きくなる。   Information on the search region (image region) from which the pedestrian candidate is extracted and detection data including an evaluation value corresponding to the similarity between the pedestrian candidate and the pedestrian pattern on the image are output to the duplication removal unit 40. The That is, the detection unit 30 functions as an extraction unit. The search area information includes, for example, the distance from the host vehicle, the boundary line, and the upper left and lower right coordinate values of the search area. The evaluation value increases as the degree of similarity increases, that is, as the possibility of being a pedestrian increases.

ここで、カメラ10,11で撮像された画像と歩行者のパターンとを比較することにより歩行者を抽出するパターンマッチングでは、歩行者の画像が探索領域の中心に無い場合や、大きさの変動がある場合等を考慮して、そのような場合にも歩行者を検出することができるように調整されている。そのため、候補領域内において探査領域が順次シフトされ歩行者の抽出が行われた場合、同一の歩行者に対して複数の重複した検出結果が出力され得る。   Here, in pattern matching in which pedestrians are extracted by comparing images captured by the cameras 10 and 11 with pedestrian patterns, the pedestrian image is not at the center of the search area, or the size varies. In consideration of the case where there is a pedestrian, the pedestrian is adjusted so that the pedestrian can be detected. Therefore, when the search area is sequentially shifted in the candidate area and pedestrians are extracted, a plurality of overlapping detection results can be output for the same pedestrian.

重複除去部40は、検出部30から出力された同一歩行者の重複した抽出結果を除去すると共に、複数の歩行者に対する抽出結果の中で、画像上で重複している抽出結果をそれぞれ分離して認識するものである。重複除去部40は、人数推定部41、分別処理部42、及び代表値作成部43を有して構成されている。   The duplication removal unit 40 removes duplicate extraction results of the same pedestrian output from the detection unit 30 and separates the extraction results that are duplicated on the image from the extraction results for a plurality of pedestrians. To recognize. The duplicate removal unit 40 includes a number estimation unit 41, a classification processing unit 42, and a representative value creation unit 43.

人数推定部41は、候補領域における歩行者の抽出結果に基づいて、当該候補領域に含まれる歩行者数を推定するものである。人数推定部41では、評価値の上位データに対して、該上位データそれぞれの座標値の水平方向偏差と歩行者の横幅を基準にしたしきい値とに基づいて歩行者の人数が推定される。すなわち、人数推定部41は、物体数判断手段として機能する。歩行者の推定結果は分別処理部42に出力される。   The number estimating unit 41 estimates the number of pedestrians included in the candidate area based on the extraction result of pedestrians in the candidate area. The number-of-people estimation unit 41 estimates the number of pedestrians based on the horizontal deviation of the coordinate values of each of the higher order data and the threshold value based on the lateral width of the pedestrian with respect to the higher order data of the evaluation value. . That is, the number estimation unit 41 functions as an object number determination unit. The estimation result of the pedestrian is output to the classification processing unit 42.

分別処理部42は、人数推定部41により推定された歩行者数が複数である場合に、探索領域の座標値と歩行者の横幅とに基づいて、歩行者が抽出された探索領域情報等を歩行者ごとに分別する。すなわち、分別処理部42は、分別手段として機能する。分別された結果は代表値作成部43に出力される。   When there are a plurality of pedestrians estimated by the number estimating unit 41, the classification processing unit 42 obtains search area information or the like from which pedestrians are extracted based on the coordinate value of the search area and the width of the pedestrian. Sort by pedestrian. That is, the classification processing unit 42 functions as a classification unit. The sorted result is output to the representative value creation unit 43.

代表値作成部43は、歩行者ごとに分けられた探索領域の座標値に対して、評価値に応じて重み付き平均をとることによって、歩行者の位置に対応した代表値を算出するものである。すなわち、代表値作成部43は、物体位置算出手段として機能する。算出された代表値は検出結果出力部50に出力される。   The representative value creation unit 43 calculates a representative value corresponding to the position of the pedestrian by taking a weighted average according to the evaluation value for the coordinate value of the search area divided for each pedestrian. is there. That is, the representative value creation unit 43 functions as an object position calculation unit. The calculated representative value is output to the detection result output unit 50.

検出結果出力部50は、重複除去部40の出力結果を運転者が必要とする形式に変換して出力するものである。   The detection result output part 50 converts the output result of the duplication removal part 40 into the format which a driver | operator requires, and outputs it.

次に、図2、3を参照して、物体検出装置1の動作について説明する。図2は、物体検出装置1による歩行者抽出処理の処理手順を示すフローチャートである。図3は、物体検出装置1による重複除去処理の処理手順を示すフローチャートである。なお、本処理は所定時間毎に繰り返して実行される。始めに、図2を参照して、歩行者抽出処理について説明する。   Next, the operation of the object detection device 1 will be described with reference to FIGS. FIG. 2 is a flowchart showing a processing procedure of pedestrian extraction processing by the object detection device 1. FIG. 3 is a flowchart showing a processing procedure of the duplicate removal processing by the object detection device 1. This process is repeatedly executed every predetermined time. First, the pedestrian extraction process will be described with reference to FIG.

ステップS100では、候補領域算出部20により取得された矩形の候補領域のうちの一つが選択される。続くステップS102では、ステップS100で選択された候補領域内において、歩行者の抽出を行う矩形の探索領域が設定される。この探索領域の大きさは、例えば、歩行者の大きさ及び自車両からの距離に応じて設定される。   In step S100, one of the rectangular candidate areas acquired by the candidate area calculating unit 20 is selected. In subsequent step S102, a rectangular search region for extracting pedestrians is set in the candidate region selected in step S100. The size of this search area is set according to the size of the pedestrian and the distance from the host vehicle, for example.

ステップS104では、ステップS102で設定された探索領域において、画像データの特徴抽出が行われる。続くステップS106では、特徴抽出が行われた画像データに対してパターンマッチングが行われることにより、歩行者の抽出が行われる。そして、歩行者が抽出された探索領域の座標値及び類似度に応じた評価値等の検出データが作成される。   In step S104, feature extraction of the image data is performed in the search area set in step S102. In subsequent step S106, pedestrians are extracted by performing pattern matching on the image data on which the feature extraction has been performed. And detection data, such as an evaluation value according to the coordinate value and similarity of the search area | region where the pedestrian was extracted, are produced.

ステップS108では、選択された候補領域内における全探索領域において歩行者の抽出処理が終了したか否かについて判断が行われる。ここで、全探索領域で歩行者の抽出処理が終了している場合には、ステップS110に処理が移行する。一方、歩行者の抽出処理が行われていない探索領域がある場合には、ステップS102に処理が移行する。そして、ステップS102において、次の探査領域が設定され、ステップS104、S106の処理が実行される。ステップS104、S106の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このようにステップS102〜S108の処理が繰り返し実行されることにより、ステップS100で選択された候補領域の全領域において歩行者の抽出処理が行われる。   In step S108, a determination is made as to whether or not the pedestrian extraction process has been completed in all search areas within the selected candidate area. If the pedestrian extraction process has been completed in all search areas, the process proceeds to step S110. On the other hand, when there is a search area where the pedestrian extraction process is not performed, the process proceeds to step S102. In step S102, the next search area is set, and the processes in steps S104 and S106 are executed. Since the processing content of steps S104 and S106 is the same as the processing content described above, description thereof is omitted here. As described above, the processes in steps S102 to S108 are repeatedly executed, so that the pedestrian extraction process is performed in all the candidate areas selected in step S100.

ステップS110では、候補領域算出部20により取得された全ての候補領域において歩行者の抽出処理が行われたか否かについての判断が行われる。ここで、全候補領域で抽出処理が終了している場合には本処理から一旦抜ける。一方、抽出処理が行われていない候補領域が残っている場合には、ステップS100に処理が移行する。そして、ステップS100において、次の候補領域が選択され、ステップS102〜S108の処理が実行される。ステップS102〜S108の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS100〜S110の処理が繰り返し実行されることにより、候補領域算出部20により取得された全ての候補領域において歩行者の抽出処理が行われる。   In step S110, a determination is made as to whether or not pedestrian extraction processing has been performed in all candidate regions acquired by the candidate region calculation unit 20. Here, if the extraction process is completed for all candidate areas, the process temporarily exits. On the other hand, if there remains a candidate area for which extraction processing has not been performed, the processing moves to step S100. In step S100, the next candidate area is selected, and the processes in steps S102 to S108 are executed. Since the processing content of steps S102 to S108 is the same as the processing content described above, the description thereof is omitted here. As described above, the processes of steps S100 to S110 are repeatedly performed, so that the pedestrian extraction process is performed in all candidate areas acquired by the candidate area calculation unit 20.

次に、図3を参照して、重複除去処理について説明する。まず、ステップS200では、重複除去処理が行われる候補領域が選択される。   Next, the deduplication processing will be described with reference to FIG. First, in step S200, a candidate area to be subjected to deduplication processing is selected.

続くステップS202では、選択された候補領域内の歩行者の人数が人数推定部41により推定される。ここで、ステップS202において実行される人数推定のアルゴリズムについて説明する。   In the subsequent step S202, the number of pedestrians in the selected candidate area is estimated by the number estimating unit 41. Here, the algorithm for estimating the number of people executed in step S202 will be described.

まず、選択されている候補領域内の検出データを評価値の大きい方から順番にソートする。次に、ソート後の上位NUMBER_HIGHVAL_DATA個の検出データを取り出す。本実施形態では、NUMBER_HIGHVAL_DATAを10とした。すなわち、歩行者の可能性が高い10の検出データが取得される。次に、取得された検出データの探索領域の水平方向の偏差σxを求める。判断基準値dwを設定する。ここでdwとして、探索領域の横幅に所定値RATIO_HUMAN_WIDTHを乗算した値を用いた。本実施形態では、判断基準値dwがほぼ歩行者の横幅程度の大きさになるように、RATIO_HUMAN_WIDTHの値を0.33とした。これは、歩行者が隣接する場合、それぞれの歩行者の中心を通る線分間の距離が、人の幅程度になることを考慮したものである。そして、偏差σxと判断基準値dwとを比較し、σx≦dwであれば、歩行者は一人であるとし、σx>dwの場合には歩行者が複数であると判断する。   First, the detection data in the selected candidate area is sorted in order from the largest evaluation value. Next, the sorted NUMBER_HIGHVAL_DATA pieces of detected data are extracted. In this embodiment, NUMBER_HIGHVAL_DATA is set to 10. That is, ten detection data with a high possibility of a pedestrian are acquired. Next, a horizontal deviation σx of the search area of the acquired detection data is obtained. A judgment reference value dw is set. Here, a value obtained by multiplying the horizontal width of the search area by a predetermined value RATIO_HUMAN_WIDTH is used as dw. In the present embodiment, the value of RATIO_HUMAN_WIDTH is set to 0.33 so that the determination reference value dw is approximately the width of the pedestrian. This is because when the pedestrians are adjacent to each other, the distance between the line segments passing through the centers of the respective pedestrians is about the width of the person. Then, the deviation σx is compared with the determination reference value dw. If σx ≦ dw, it is determined that there is one pedestrian, and if σx> dw, it is determined that there are a plurality of pedestrians.

次に、ステップS204では、ステップS202で推定された歩行者の数が一人であるか否かについての判断が行われる。ここで、歩行者の数が一人である場合には、ステップS208に処理が移行する。一方、歩行者の数が複数である場合には、ステップS206に処理が移行する。   Next, in step S204, a determination is made as to whether or not the number of pedestrians estimated in step S202 is one. Here, when the number of pedestrians is one, the process proceeds to step S208. On the other hand, when the number of pedestrians is plural, the process proceeds to step S206.

歩行者が複数人であると判断された場合、ステップS206では、検出データを歩行者ごとに分別する分別処理が分別処理部42により行われる。ここで、ステップS206において実行される分別処理のアルゴリズムについて説明する。   When it is determined that there are a plurality of pedestrians, in step S206, the classification processing unit 42 performs a classification process for classifying the detection data for each pedestrian. Here, the algorithm of the classification process executed in step S206 will be described.

歩行者が抽出された探索領域の中心のxy座標に応じて、例えばisodata(iterative self organizing data analysis techniques A)アルゴリズム等を適用してクラスタリングを行うことにより、探索領域を歩行者ごとに分別する。   Depending on the xy coordinates of the center of the search area from which the pedestrian has been extracted, for example, an isodata (iterative self organizing data analysis techniques A) algorithm is applied to classify the search area for each pedestrian.

クラスタ中心と該クラスタに所属する探索領域との距離の偏差σを求める。偏差σのもっとも大きいクラスタについて、偏差σが例えば判断基準値dwの1/2より大きければ、該クラスタは複数の人数を含んでいるとし、分割処理を行う。本実施形態において、しきい値をdw/2としたのは、互いの距離が歩行者の横幅の約半分より離れている場合には、別々の歩行者であると判断するためである。   A deviation σ of the distance between the cluster center and the search area belonging to the cluster is obtained. For the cluster having the largest deviation σ, if the deviation σ is larger than ½ of the criterion value dw, for example, the cluster is assumed to include a plurality of persons, and division processing is performed. In the present embodiment, the threshold value is set to dw / 2 in order to determine that they are separate pedestrians when the distance between them is more than about half of the lateral width of the pedestrian.

また、クラスタ中心間の距離を求め、最小の距離が、例えば、所定のしきい値dw/4より小さい場合には、同一のクラスタとみなして両クラスタを融合する。クラスタ中心間の距離が判断基準値dwの1/4より小さい場合には、同一人物であると判断するためである。   Further, the distance between the cluster centers is obtained, and if the minimum distance is smaller than a predetermined threshold value dw / 4, for example, the two clusters are merged with the same cluster. This is because when the distance between the cluster centers is smaller than 1/4 of the determination reference value dw, it is determined that they are the same person.

新旧のクラスタ中心間の距離が1以下となったときにクラスタリングを終了する。本実施形態では、0.1となったときにクラスタリングを終了した。これは、クラスタ中心が画素値として動かなくなればよいとの考えに基づくものである。このようにして、複数の探索領域がクラスタごと、すなわち歩行者ごとに分別される。   When the distance between the old and new cluster centers becomes 1 or less, the clustering is terminated. In the present embodiment, the clustering is finished when it reaches 0.1. This is based on the idea that the cluster center does not have to move as a pixel value. In this way, a plurality of search areas are classified for each cluster, that is, for each pedestrian.

次に、ステップS208において、代表値の算出が代表値作成部43により行われる。ステップS208では、各歩行者に分別された探索領域うち評価値が上位の探索領域を対象にして、歩行者ごとの探索領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。   Next, in step S208, the representative value is calculated by the representative value creating unit 43. In step S208, by taking the weighted average according to the evaluation value for the coordinate value of the search area for each pedestrian, the search area with the highest evaluation value among the search areas classified by each pedestrian is taken as a target. The coordinates of each pedestrian, that is, the position of each pedestrian is specified.

続くステップS210では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップS200に処理が移行する。そして、ステップS200において、次の候補領域が選択され、ステップS202〜S208の処理が実行される。ステップS202〜S208の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS200〜S210の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。   In subsequent step S210, a determination is made as to whether or not pedestrian classification processing has been performed in all candidate regions. Here, when the classification process has been completed for all candidate areas, the process temporarily exits. On the other hand, if there remains a candidate area for which the separation process has not been performed, the process proceeds to step S200. In step S200, the next candidate area is selected, and the processes in steps S202 to S208 are executed. Since the processing content of steps S202 to S208 is the same as the processing content described above, description thereof is omitted here. As described above, the processes of steps S200 to S210 are repeatedly executed, so that the pedestrian classification process is performed in all candidate areas.

このように、物体検出装置1によれば、複数の歩行者それぞれについて歩行者画像を含む複数の探索領域が抽出された場合、まず、探査領域の座標値に基づいて、探査領域に含まれる歩行者が同一の歩行者に対応するものであるか異なる歩行者に対応するものであるかが判断されることにより、複数の探索領域が歩行者ごとに分けられる。そして、同一の歩行者に属する探索領域の座標値が評価値に応じて重み付き平均されて歩行者の位置が算出される。このように、画像上で重複している歩行者を分離することができるので、歩行者それぞれを認識することが可能となる。   Thus, according to the object detection device 1, when a plurality of search areas including pedestrian images are extracted for each of a plurality of pedestrians, first, walking included in the search area based on the coordinate values of the search area. By determining whether a person corresponds to the same pedestrian or a different pedestrian, a plurality of search areas are divided for each pedestrian. Then, the coordinate values of the search areas belonging to the same pedestrian are averaged with a weight according to the evaluation value, and the position of the pedestrian is calculated. Thus, since the pedestrian which overlaps on an image can be isolate | separated, it becomes possible to recognize each pedestrian.

また、本実施形態によれば、複数の探索領域の水平方向の偏差σxに基づいて候補領域内の歩行者の数が求められる。そして、歩行者の数が複数である場合に、探索領域が歩行者ごとに分けられる。そのため、重複している歩行者を効率良く分離することが可能となる。   Further, according to the present embodiment, the number of pedestrians in the candidate area is obtained based on the horizontal deviation σx of the plurality of search areas. And when there are a plurality of pedestrians, the search area is divided for each pedestrian. As a result, overlapping pedestrians can be separated efficiently.

ここで、検出部30による歩行者の抽出結果の一例を図4に示す。破線の矩形枠が候補領域であり、一点鎖線の矩形枠が探索領域である。図4に示されるように、一人の歩行者に対して複数の探索領域が検出されている。また、各探索領域が重複して検出されている。   Here, an example of the extraction result of the pedestrian by the detection part 30 is shown in FIG. A broken-line rectangular frame is a candidate area, and a dashed-dotted rectangular frame is a search area. As shown in FIG. 4, a plurality of search areas are detected for one pedestrian. In addition, each search area is detected in an overlapping manner.

重複除去部40による重複除去結果の一例を図5に示す。図5に示されるように、重複して検出されていた各探索領域の重複が除去されている。以上のことから、本実施形態の有効性が確認された。   An example of the duplicate removal result by the duplicate removal unit 40 is shown in FIG. As shown in FIG. 5, duplication of each search area that has been detected in duplicate is removed. From the above, the effectiveness of the present embodiment was confirmed.

(第2実施形態)
次に、図6を用いて、第2実施形態に係る物体検出装置2の全体構成について説明する。図6は、第2実施形態に係る物体検出装置2の全体構成を示すブロック図である。なお、図6において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Second Embodiment)
Next, the overall configuration of the object detection apparatus 2 according to the second embodiment will be described with reference to FIG. FIG. 6 is a block diagram showing the overall configuration of the object detection apparatus 2 according to the second embodiment. In FIG. 6, the same or equivalent components as those in the first embodiment are denoted by the same reference numerals.

本実施形態が第1実施形態と異なるのは、代表値作成部43に代えて代表値作成部43Aを備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。   The present embodiment differs from the first embodiment in that a representative value creation unit 43A is provided instead of the representative value creation unit 43. Other configurations are the same as or similar to those of the first embodiment, and thus description thereof is omitted here.

代表値作成部43Aは、分別手段により歩行者ごとに分別された画像領域のうち評価値が最大である画像領域、すなわちもっとも類似度が高い画像データを含む画像領域の座標値から歩行者の位置を特定する。   The representative value creating unit 43A determines the position of the pedestrian from the coordinate value of the image area having the maximum evaluation value, that is, the image area including the image data having the highest similarity, among the image areas classified for each pedestrian by the classification unit. Is identified.

本実施形態によれば、評価値が最大である画像領域の座標値から歩行者の位置が算出されるので、重み付き平均をとる場合と比較して、処理工数を低減することができる。その結果、処理を高速化することが可能となる。   According to the present embodiment, since the position of the pedestrian is calculated from the coordinate value of the image area having the maximum evaluation value, it is possible to reduce the processing man-hour compared with the case where the weighted average is taken. As a result, the processing can be speeded up.

重み付き平均は、画像領域の中心座標を用いて演算される。そのため、重み付き平均処理を行う前後で、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がある。本実施形態によれば、矩形の画像領域の左上、右下の座標から中心の座標への変換及び逆変換を行う必要がなく、検出データをそのまま代表値として出力することができる。   The weighted average is calculated using the center coordinates of the image area. Therefore, before and after performing the weighted averaging process, it is necessary to perform conversion from the upper left and lower right coordinates of the rectangular image region to the center coordinates and reverse conversion. According to the present embodiment, it is not necessary to perform conversion and reverse conversion from the upper left and lower right coordinates of the rectangular image region to the center coordinates, and the detection data can be output as a representative value as it is.

(第3実施形態)
次に、図7を用いて、第3実施形態に係る物体検出装置3の全体構成について説明する。図7は、第3実施形態に係る物体検出装置3の全体構成を示すブロック図である。なお、図7において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Third embodiment)
Next, the overall configuration of the object detection apparatus 3 according to the third embodiment will be described with reference to FIG. FIG. 7 is a block diagram showing the overall configuration of the object detection device 3 according to the third embodiment. In FIG. 7, the same or equivalent components as those in the first embodiment are denoted by the same reference numerals.

本実施形態が第1実施形態と異なるのは、分別処理部42に代えて分別処理部42Aを備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。   This embodiment is different from the first embodiment in that a separation processing unit 42A is provided instead of the separation processing unit 42. Other configurations are the same as or similar to those of the first embodiment, and thus description thereof is omitted here.

分別処理部42Aは、探索領域の中心の座標値x,yに、距離z及び評価値vのいずれか一方又は双方を加えた検出データに基づいてクラスタリングを行うことにより、探索領域を歩行者ごとに分別するものである。   The classification processing unit 42A performs clustering on the basis of detection data obtained by adding one or both of the distance z and the evaluation value v to the coordinate values x and y of the center of the search area. It is something to sort into.

ただし、座標値x,y、距離z、評価値vそれぞれは、値の取り得る範囲や分散等が異なるため、正規化する必要がある。座標値x,y及び距離zについては、例えば、次式により正規化することができる。
=(x−m)/σ ・・・(2)
=(y−m)/σ ・・・(3)
=(z−m)/σ ・・・(4)
ここで、mは平均値、σは標準偏差である。
However, each of the coordinate values x, y, the distance z, and the evaluation value v needs to be normalized because the range, variance, and the like that the value can take are different. The coordinate values x, y and the distance z can be normalized by the following equation, for example.
x n = (x−m x ) / σ x (2)
y n = (y−m y ) / σ y (3)
z n = (z−m z ) / σ z (4)
Here, m is an average value, and σ is a standard deviation.

また、評価値vについては、例えば、次式に示されるようなlogistic関数を用いることにより、評価値vの定義域[0,∞)をfの値域[0,1)の範囲に正規化することができる。
f(x)=1/(1+e−kv) ・・・(5)
ここで、kはvの出力値に応じてfの変化を決定するパラメータである。例えば、k=3とすることができる。
For the evaluation value v, for example, by using a logistic function as shown in the following equation, the domain [0, ∞) of the evaluation value v is normalized to the range of the value range [0,1) of f. be able to.
f (x) = 1 / (1 + e −kv ) (5)
Here, k is a parameter that determines the change of f according to the output value of v. For example, k = 3.

なお、クラスタリング処理は、上記ステップS206における処理と同一又は同様であるので、ここでは説明を省略する。   Note that the clustering process is the same as or similar to the process in step S206, and thus the description thereof is omitted here.

本実施形態によれば、探索領域の中心の座標値x,yに、距離zや評価値vを加えたデータに基づいてクラスタリングがおこなわれるので、分別処理の精度を向上することが可能となる。   According to the present embodiment, since the clustering is performed based on the data obtained by adding the distance z and the evaluation value v to the coordinate values x and y of the center of the search area, it is possible to improve the accuracy of the classification process. .

(第4実施形態)
次に、図8を用いて、第4実施形態に係る物体検出装置4の全体構成について説明する。図8は、第4実施形態に係る物体検出装置4の全体構成を示すブロック図である。なお、図8において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Fourth embodiment)
Next, the overall configuration of the object detection device 4 according to the fourth embodiment will be described with reference to FIG. FIG. 8 is a block diagram illustrating an overall configuration of the object detection device 4 according to the fourth embodiment. In FIG. 8, the same or equivalent components as those in the first embodiment are denoted by the same reference numerals.

本実施形態が第1実施形態と異なるのは、カメラ11に代えて自車両からの距離を測定する測距装置12を備えている点、及び、距離計算部21,候補算出部22に代えてセンサ座標系候補算出部23及び画像座標系候補対応部24を備えている点である。その他の構成については、第1実施形態と同一又は同様であるので、ここでは説明を省略する。   This embodiment is different from the first embodiment in that a distance measuring device 12 that measures the distance from the host vehicle is provided instead of the camera 11, and the distance calculation unit 21 and the candidate calculation unit 22 are replaced. The sensor coordinate system candidate calculation unit 23 and the image coordinate system candidate correspondence unit 24 are provided. Other configurations are the same as or similar to those of the first embodiment, and thus description thereof is omitted here.

測距装置12は、自車両から、前方にある歩行者などの物体までの距離を測定するものであり、例えば、ミリ波レーダやレーザレーダ等が好適に用いられる。   The distance measuring device 12 measures a distance from the host vehicle to an object such as a pedestrian ahead, and for example, a millimeter wave radar or a laser radar is preferably used.

センサ座標系候補算出部23は、測距装置12によって測定された物体までの距離情報から、例えば、物体部分と背景部分との距離の差、距離のばらつき、及び、物体部分の大きさ(例えば横幅)等を算出する。次に、算出されたこれらの情報に基づいて、歩行者の可能性が高い物体が撮像されている画像上の候補領域を取得するものである。取得された候補領域情報は検出部30に出力される。   From the distance information to the object measured by the distance measuring device 12, the sensor coordinate system candidate calculation unit 23, for example, the difference in distance between the object part and the background part, the variation in distance, and the size of the object part (for example, (Width) and the like are calculated. Next, based on the calculated information, a candidate area on an image in which an object having a high possibility of a pedestrian is captured is acquired. The acquired candidate area information is output to the detection unit 30.

画像座標系候補対応部24は、センサの座標系とカメラの座標系の対応を取る処理を行うものである。   The image coordinate system candidate corresponding unit 24 performs processing for taking correspondence between the sensor coordinate system and the camera coordinate system.

物体検出装置4によれば、測距装置12によって自車両から歩行者までの距離を直接測定することができるので、ステレオカメラを用いた距離算出処理が不要となる。   According to the object detection device 4, since the distance from the own vehicle to the pedestrian can be directly measured by the distance measurement device 12, a distance calculation process using a stereo camera becomes unnecessary.

(第5実施形態)
次に、図9を用いて、第5実施形態に係る物体検出装置5の全体構成について説明する。図9は、第5実施形態に係る物体検出装置5の全体構成を示すブロック図である。なお、図9において第1実施形態と同一又は同等の構成要素については同一の符号が付されている。
(Fifth embodiment)
Next, the overall configuration of the object detection apparatus 5 according to the fifth embodiment will be described with reference to FIG. FIG. 9 is a block diagram showing the overall configuration of the object detection apparatus 5 according to the fifth embodiment. In FIG. 9, the same or equivalent components as those in the first embodiment are denoted by the same reference numerals.

本実施形態が第1実施形態と異なるのは、人数推定部41を備えていない点である。   This embodiment is different from the first embodiment in that the number-of-people estimation unit 41 is not provided.

図10を参照して、物体検出装置3の動作について説明する。図10は、物体検出装置5による重複除去処理の処理手順を示すフローチャートである。   The operation of the object detection device 3 will be described with reference to FIG. FIG. 10 is a flowchart illustrating the processing procedure of the duplicate removal processing by the object detection device 5.

ステップS300では、重複除去処理が行われる候補領域が選択される。続くステップS302では、検出データを歩行者ごとに分別する分別処理が行われる。ステップS302における分別処理は、上記ステップS206における処理と同一であるので、ここでは説明を省略する。   In step S300, a candidate area to be subjected to deduplication processing is selected. In subsequent step S302, a classification process is performed in which the detection data is classified for each pedestrian. Since the classification process in step S302 is the same as the process in step S206, description thereof is omitted here.

続いて、ステップS304では、代表値の算出が行われる。ステップS304では、各歩行者に分別された検出データうち評価値が上位の検出データを対象にして、歩行者ごとの画像領域の座標値に対して評価値に応じた重み付き平均をとることにより各歩行者の座標、すなわち各歩行者の位置が特定される。   Subsequently, in step S304, a representative value is calculated. In step S304, by taking the weighted average according to the evaluation value for the coordinate value of the image area for each pedestrian, the detection data with the highest evaluation value among the detection data classified for each pedestrian is used as a target. The coordinates of each pedestrian, that is, the position of each pedestrian is specified.

続くステップS306では、全ての候補領域において歩行者の分別処理が行われたか否かについての判断が行われる。ここで、全候補領域で分別処理が終了している場合には本処理から一旦抜ける。一方、分別処理が行われていない候補領域が残っている場合には、ステップS300に処理が移行する。そして、ステップS300において、次の候補領域が選択され、ステップS302,S304の処理が実行される。ステップS302,S304の処理内容は上述した処理内容と同一であるので、ここでは説明を省略する。このように、ステップS300〜S306の処理が繰り返し実行されることにより、全ての候補領域において歩行者の分別処理が行われる。   In subsequent step S306, a determination is made as to whether or not pedestrian classification processing has been performed in all candidate regions. Here, when the classification process has been completed for all candidate areas, the process temporarily exits. On the other hand, if there remains a candidate area for which the separation process has not been performed, the process proceeds to step S300. In step S300, the next candidate area is selected, and the processes in steps S302 and S304 are executed. Since the processing content of steps S302 and S304 is the same as the processing content described above, description thereof is omitted here. As described above, the processes of steps S300 to S306 are repeatedly executed, so that the pedestrian classification process is performed in all candidate areas.

本実施形態では、人数推定処理が行われることなく、直接クラスタリングが行われる。本実施形態によれば、人数推定処理を省略することができるので、処理速度をより高速化することが可能になる。   In the present embodiment, direct clustering is performed without performing the number of people estimation process. According to the present embodiment, since the number of persons estimation process can be omitted, the processing speed can be further increased.

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、物体検出装置1を構成する物体検出ECU13の各処理部の機能分担等は上記実施形態に限られるものではない。   Although the embodiment of the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made. For example, the function sharing of each processing unit of the object detection ECU 13 constituting the object detection device 1 is not limited to the above embodiment.

また、上記実施形態の説明では物体検出装置1を車両に搭載した場合について説明したが、例えば、物体検出装置1をロボット等に搭載することもできる。さらに、屋内での人の検出や監視等に使用することもできる。   Moreover, although the case where the object detection apparatus 1 was mounted in the vehicle was demonstrated in description of the said embodiment, the object detection apparatus 1 can also be mounted in a robot etc., for example. Furthermore, it can also be used for indoor detection and monitoring of people.

第1実施形態に係る物体検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the object detection apparatus which concerns on 1st Embodiment. 第1実施形態に係る物体検出装置による歩行者候補抽出処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the pedestrian candidate extraction process by the object detection apparatus which concerns on 1st Embodiment. 第1実施形態に係る物体検出装置による重複除去処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the duplication removal process by the object detection apparatus which concerns on 1st Embodiment. 検出部による歩行者抽出結果の一例を示す図である。It is a figure which shows an example of the pedestrian extraction result by a detection part. 重複除去部による重複除去結果の一例を示す図である。It is a figure which shows an example of the duplication removal result by a duplication removal part. 第2実施形態に係る物体検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the object detection apparatus which concerns on 2nd Embodiment. 第3実施形態に係る物体検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the object detection apparatus which concerns on 3rd Embodiment. 第4実施形態に係る物体検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the object detection apparatus which concerns on 4th Embodiment. 第5実施形態に係る物体検出装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the object detection apparatus which concerns on 5th Embodiment. 第5実施形態に係る物体検出装置による重複除去処理の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the duplication removal process by the object detection apparatus which concerns on 5th Embodiment.

符号の説明Explanation of symbols

1…物体検出装置、10,11…カメラ、12…測距装置、13…物体検出ECU、20…候補領域算出部、30…検出部、40…重複除去部、41…人数推定部、42…分別処理部、43…代表値作成部、50…検出結果出力部。   DESCRIPTION OF SYMBOLS 1 ... Object detection apparatus, 10, 11 ... Camera, 12 ... Distance measuring device, 13 ... Object detection ECU, 20 ... Candidate area | region calculation part, 30 ... Detection part, 40 ... Duplication removal part, 41 ... Number-of-person estimation part, 42 ... Classification processing unit, 43 ... representative value creation unit, 50 ... detection result output unit.

Claims (3)

画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
前記分別手段により分別された前記検出対象物体ごとの前記画像領域の座標値に対して前記評価値に応じた重み付き平均をとることにより、前記検出対象物体の位置を算出する物体位置算出手段と、を備えることを特徴とする物体検出装置。
An imaging means for capturing an image;
An image region including a candidate image of the detection target object is extracted from the image captured by the imaging unit, and the coordinate value of the image region and the detection target object candidate included in the image region and the detection target object are extracted. Extraction means for outputting an evaluation value of the image area according to the similarity,
Sorting means for classifying the image area for each detection target object based on the coordinate values of the image area output from the extraction means;
Object position calculating means for calculating the position of the detection target object by taking a weighted average according to the evaluation value for the coordinate value of the image region for each detection target object classified by the classification means; An object detection apparatus comprising:
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から検出対象物体の候補画像が含まれる画像領域を抽出し、前記画像領域の座標値、及び、前記画像領域に含まれる検出対象物体候補と前記検出対象物体との類似度に応じた前記画像領域の評価値を出力する抽出手段と、
前記抽出手段から出力された前記画像領域の前記座標値に基づいて、前記画像領域を前記検出対象物体ごとに分別する分別手段と、
前記分別手段により前記検出対象物体ごとに分別された前記画像領域のうち前記評価値が最大である前記画像領域の座標値から前記検出対象物体の位置を算出する物体位置算出手段と、を備えることを特徴とする物体検出装置。
An imaging means for capturing an image;
An image region including a candidate image of the detection target object is extracted from the image captured by the imaging unit, and the coordinate value of the image region and the detection target object candidate included in the image region and the detection target object are extracted. Extraction means for outputting an evaluation value of the image area according to the similarity,
Sorting means for classifying the image area for each detection target object based on the coordinate values of the image area output from the extraction means;
Object position calculation means for calculating the position of the detection target object from the coordinate value of the image area having the maximum evaluation value among the image areas classified by the classification means for each detection target object. An object detection device characterized by.
前記画像領域が複数抽出された場合、抽出された複数の前記画像領域の水平方向の偏差に基づいて前記検出対象物体の数が複数であるか否かを判断する物体数判断手段をさらに備え、
前記分別手段は、前記物体数判断手段によって前記検出対象物体の数が複数であると判断された場合に、複数の前記画像領域を前記検出対象物体ごとに分別することを特徴とする請求項1又は2に記載の物体検出装置。
When a plurality of the image areas are extracted, further comprising an object number determination means for determining whether or not the number of the detection target objects is a plurality based on a horizontal deviation of the plurality of extracted image areas,
The said classification | category means classify | categorizes the said several image area | region for every said detection target object, when it is judged by the said object number determination means that the number of the said detection target objects is plural. Or the object detection apparatus of 2.
JP2004192197A 2004-06-29 2004-06-29 Object-detecting device Pending JP2006010652A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004192197A JP2006010652A (en) 2004-06-29 2004-06-29 Object-detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004192197A JP2006010652A (en) 2004-06-29 2004-06-29 Object-detecting device

Publications (1)

Publication Number Publication Date
JP2006010652A true JP2006010652A (en) 2006-01-12

Family

ID=35778056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004192197A Pending JP2006010652A (en) 2004-06-29 2004-06-29 Object-detecting device

Country Status (1)

Country Link
JP (1) JP2006010652A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152672A (en) * 2006-12-19 2008-07-03 Fujitsu Ten Ltd Image recognition apparatus, image recognition method and electronic control apparatus
KR100865531B1 (en) 2007-06-04 2008-10-29 (주)유디피 Method for separating individual pedestrians by clustering foreground pixels
JP2014191400A (en) * 2013-03-26 2014-10-06 Mega Chips Corp Image detection apparatus, control program, and image detection method
KR101543105B1 (en) 2013-12-09 2015-08-07 현대자동차주식회사 Method And Device for Recognizing a Pedestrian and Vehicle supporting the same
JP2019049918A (en) * 2017-09-12 2019-03-28 日立建機株式会社 Obstacle detection system for heavy equipment
JP2020518076A (en) * 2017-04-28 2020-06-18 トヨタ モーター ヨーロッパ System and method for detecting objects in digital images, and system and method for rescoring object detection
WO2021005898A1 (en) * 2019-07-11 2021-01-14 コニカミノルタ株式会社 Object detection device, object detection method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152672A (en) * 2006-12-19 2008-07-03 Fujitsu Ten Ltd Image recognition apparatus, image recognition method and electronic control apparatus
US8090147B2 (en) 2006-12-19 2012-01-03 Fujitsu Ten Limited Matching object and reference pattern images using search window size widths and heights to predict object collision
KR100865531B1 (en) 2007-06-04 2008-10-29 (주)유디피 Method for separating individual pedestrians by clustering foreground pixels
JP2014191400A (en) * 2013-03-26 2014-10-06 Mega Chips Corp Image detection apparatus, control program, and image detection method
KR101543105B1 (en) 2013-12-09 2015-08-07 현대자동차주식회사 Method And Device for Recognizing a Pedestrian and Vehicle supporting the same
JP2020518076A (en) * 2017-04-28 2020-06-18 トヨタ モーター ヨーロッパ System and method for detecting objects in digital images, and system and method for rescoring object detection
JP2019049918A (en) * 2017-09-12 2019-03-28 日立建機株式会社 Obstacle detection system for heavy equipment
WO2021005898A1 (en) * 2019-07-11 2021-01-14 コニカミノルタ株式会社 Object detection device, object detection method, and program

Similar Documents

Publication Publication Date Title
CN107431786B (en) Image processing apparatus, image processing system, and image processing method
CN109034047B (en) Lane line detection method and device
JP6144656B2 (en) System and method for warning a driver that visual recognition of a pedestrian may be difficult
JP4429298B2 (en) Object number detection device and object number detection method
JP5297078B2 (en) Method for detecting moving object in blind spot of vehicle, and blind spot detection device
US7660436B2 (en) Stereo-vision based imminent collision detection
US20130195364A1 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
JP4123138B2 (en) Vehicle detection method and vehicle detection device
JP2006268097A (en) On-vehicle object detecting device, and object detecting method
CN108645375B (en) Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system
JP2006010652A (en) Object-detecting device
JP2008286725A (en) Person detector and detection method
JP2012174117A (en) Mobile object detection device
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
JPH1166319A (en) Method and device for detecting traveling object, method and device for recognizing traveling object, and method and device for detecting person
Santos et al. Car recognition based on back lights and rear view features
JP2007310480A (en) Recognition device and recognition means
JP5107154B2 (en) Motion estimation device
Ng et al. Low latency deep learning based parking occupancy detection by exploiting structural similarity
CN101383005A (en) Method for separating passenger target image and background by auxiliary regular veins
JP4918615B2 (en) Object number detection device and object number detection method
JP2005140754A (en) Method of detecting person, monitoring system, and computer program
JP2006172063A (en) Image processing system and image processing method
KR100853267B1 (en) Multiple People Tracking Method Using Stereo Vision and System Thereof
JP2006113738A (en) Device and method for detecting object