JP2009230229A - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP2009230229A
JP2009230229A JP2008071896A JP2008071896A JP2009230229A JP 2009230229 A JP2009230229 A JP 2009230229A JP 2008071896 A JP2008071896 A JP 2008071896A JP 2008071896 A JP2008071896 A JP 2008071896A JP 2009230229 A JP2009230229 A JP 2009230229A
Authority
JP
Japan
Prior art keywords
candidate
distance information
image
movement amount
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008071896A
Other languages
Japanese (ja)
Inventor
Tatsuya Shiraishi
達也 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008071896A priority Critical patent/JP2009230229A/en
Priority to PCT/IB2009/005180 priority patent/WO2009115918A1/en
Publication of JP2009230229A publication Critical patent/JP2009230229A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detection device for detecting an object by easily separating the background of an image and the object. <P>SOLUTION: This object detection device 1 for detecting an object based on an image obtained by repeatedly imaging the periphery of a vehicle 4 includes: a moving amount acquisition part 22 for acquiring the moving amounts of an object candidate from an image; and an object detection part 24 for detecting an object candidate as an object when the scale of the moving amount is equal to or more than a prescribed value, and configured to obtain an object candidate (background) existing at a spot far from the vehicle 4 and the optical flow of an object candidate (object) existing at a spot close to the vehicle 4, and to detect the object when the scale of the acquired optical flow is equal to or more than a prescribed value. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、物体を検出する物体検出装置に関するものである。   The present invention relates to an object detection device that detects an object.

従来、物体を検出する装置として、例えば、撮像した画像情報に基づいて物体を検知するものが知られている（例えば、特許文献１参照）。この装置は、画像中の各点の動きを表す動きベクトル（オプティカルフロー）を抽出し、移動物体の動きの消失点と、移動観測系の自己移動による動きの消失点との位置が異なることを利用して、背景とは独立して移動する移動物体と背景とを分離する装置である。
特開２００４−２２００５９号公報 Conventionally, as an apparatus for detecting an object, for example, an apparatus that detects an object based on captured image information is known (see, for example, Patent Document 1). This device extracts a motion vector (optical flow) representing the motion of each point in the image, and confirms that the position of the vanishing point of the moving object and the vanishing point of the motion due to the self-movement of the moving observation system are different. A device that uses and separates a moving object that moves independently of the background and the background.
Japanese Patent Laid-Open No. 2004-220059

しかしながら、従来の物体検出装置にあっては、例えば静止物体である場合には、オプティカルフローが背景と同様となるため、物体であるのか背景であるのかを認識することができない。   However, in the case of a conventional object detection device, for example, when the object is a stationary object, the optical flow is the same as that of the background, and thus it cannot be recognized whether the object is the background or the background.

そこで、本発明はこのような技術課題を解決するためになされたものであって、画像の背景と物体とを容易に分離して検出することができる物体検出装置を提供することを目的とする。   Accordingly, the present invention has been made to solve such a technical problem, and an object thereof is to provide an object detection device that can easily separate and detect an image background and an object. .

すなわち、本発明に係る物体検出装置は、車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、前記画像から物体候補の移動量を取得する移動量取得手段と、前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段とを備えて構成される。   That is, the object detection device according to the present invention is an object detection device that detects an object based on an image obtained by repeatedly imaging the periphery of a vehicle, and includes a movement amount acquisition unit that acquires a movement amount of an object candidate from the image, In the case where the magnitude of the movement amount is equal to or larger than a predetermined value, the object detection unit is configured to detect the object candidate as an object.

この発明によれば、物体候補の移動量、例えば単位時間当たりの移動ベクトル（オプティカルフロー）を取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。   According to the present invention, a movement amount of an object candidate, for example, a movement vector (optical flow) per unit time is acquired, and when the magnitude is a predetermined value or more, it is detected as an object. The optical flow of the object candidate indicating the background tends to be small because it exists at a distant point, while the optical flow of the object candidate indicating the object tends to be large because it exists at a close point. Therefore, the object and the background can be easily separated and detected based on the size of the optical flow of the object candidate.

ここで、物体検出装置は、車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、を備え、前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないことが好適である。   Here, the object detection device transmits a radio wave around the vehicle, receives a reflected wave and acquires distance information of the object, and distance of the object candidate from the amount of movement of the object candidate Distance information estimation means for estimating information, and the object detection means compares the distance information acquired by the distance information acquisition means with the distance information estimated by the distance estimation means, and the difference is large It is preferable not to detect as an object.

このように、物体候補のオプティカルフローから推定される距離情報と、測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。   As described above, the distance information estimated from the optical flow of the object candidate is compared with the distance information of the measured object candidate, and when the difference is large, the detection is not performed as an object. The reliability of information can be confirmed. For this reason, it becomes possible to isolate | separate an object and a background more correctly.

また、物体検出装置において、前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出することが好適である。   In the object detection apparatus, it is preferable that the object candidate information extraction unit extracts a detection region from the image and extracts a movement amount of the object candidate in a region below the detection region.

このよう構成することで、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体情報は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体情報は近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域の下方領域にある物体候補のオプティカルフローに基づいて物体を検出することにより、さらに容易に物体と背景とを分離して検出することができる。   With this configuration, a detection area can be extracted from an image, and object detection can be performed using the optical flow of object candidates in the area below the extracted detection area. Object information indicating the background tends to concentrate only in the upper area of the image because it exists at a distant point, while object information indicating the object exists in the lower area as well as the upper area of the image because it exists in a nearby point. Tend to. For this reason, by detecting an object based on the optical flow of the object candidate in the area below the detection area, the object and the background can be more easily separated and detected.

本発明によれば、画像の背景と物体とを容易に分離して検出することができる。   According to the present invention, the background of an image and an object can be easily separated and detected.

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, in each figure, the same code | symbol is attached | subjected to the same or an equivalent part, and the overlapping description is abbreviate | omitted.

本実施形態に係る物体検出装置は、車両周辺の物体を検出する装置であって、例えば、プリクラッシュセーフティシステムやＡＣＣ（Adaptive Cruise Control）等、走行の安全性を向上させる運転支援システムを搭載した車両に好適に採用されるものである。   The object detection device according to the present embodiment is a device that detects an object around the vehicle, and is equipped with a driving support system that improves driving safety, such as a pre-crash safety system or ACC (Adaptive Cruise Control), for example. It is suitably used for a vehicle.

最初に、本実施形態に係る物体検出装置の構成を説明する。図１は本発明の実施形態に係る物体検出装置を備えた車両の構成を示すブロック図である。   First, the configuration of the object detection device according to the present embodiment will be described. FIG. 1 is a block diagram illustrating a configuration of a vehicle including an object detection device according to an embodiment of the present invention.

車両４は、画像センサ３０、測距センサ（距離情報取得手段）３１、ＥＣＵ（Electronic Control Unit）２及び運転支援システム４０を備えている。ここで、ＥＣＵとは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（CentralProcessing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び入出力インターフェイスなどを備えて構成されている。   The vehicle 4 includes an image sensor 30, a distance measurement sensor (distance information acquisition means) 31, an ECU (Electronic Control Unit) 2, and a driving support system 40. Here, the ECU is a computer of an electronically controlled automobile device, and includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input / output interface, and the like.

画像センサ３０は、車両４の周辺の画像を取得する機能を有している。画像センサ３０として、例えば単眼カメラが用いられる。画像センサ３０は、取得した画像の画像情報をＥＣＵ２へ出力する機能を有している。   The image sensor 30 has a function of acquiring an image around the vehicle 4. For example, a monocular camera is used as the image sensor 30. The image sensor 30 has a function of outputting image information of the acquired image to the ECU 2.

測距センサ３１は、車両４の周辺に存在する物体候補までの距離を取得する機能を有している。例えば、車両４の周辺に電磁波を発信し反射波を受信して、車両４周辺の物体候補の有無を検知し、検知した物体候補までの距離情報、物体候補の幅情報、車両４と物体候補との相対速度等を取得する機能を有している。測距センサ３１として、例えばミリ波センサが用いられる。そして、測距センサ３１は、取得した情報をＥＣＵ２へ出力する機能を有している。   The distance measuring sensor 31 has a function of acquiring a distance to an object candidate existing around the vehicle 4. For example, an electromagnetic wave is transmitted around the vehicle 4 and a reflected wave is received to detect the presence or absence of an object candidate around the vehicle 4, distance information to the detected object candidate, width information of the object candidate, the vehicle 4 and the object candidate It has a function to acquire relative speed and the like. For example, a millimeter wave sensor is used as the distance measuring sensor 31. The distance measuring sensor 31 has a function of outputting the acquired information to the ECU 2.

ＥＣＵ２は、領域抽出部２１、移動量取得部（移動量取得手段）２２、距離情報推定部（距離情報推定手段）２３及び物体検出部（物体検出手段）２４を備えており、移動量取得部２２、距離情報推定部２３及び物体検出部２４によって物体検出装置１が構成されている。   The ECU 2 includes a region extraction unit 21, a movement amount acquisition unit (movement amount acquisition unit) 22, a distance information estimation unit (distance information estimation unit) 23, and an object detection unit (object detection unit) 24, and a movement amount acquisition unit. 22, the distance information estimation unit 23 and the object detection unit 24 constitute the object detection device 1.

領域抽出部２１は、画像センサ３０により出力された画像から検出領域を抽出する機能を有している。領域抽出部２１は、例えば、測距センサ３１により出力された物体検知情報及び物体位置情報に基づいて、測距センサ３１により検知された物体候補が画像のどの領域に位置するのかを特定し、特定した領域（検出領域）を画像から抽出する機能を有している。この検出領域は、画像センサ３０により出力された画像全体又はその一部の領域である。そして、領域抽出部２１は、抽出した検出領域の画像を移動量取得部２２へ出力する機能を有している。   The area extraction unit 21 has a function of extracting a detection area from the image output by the image sensor 30. For example, the region extraction unit 21 specifies in which region of the image the object candidate detected by the distance measuring sensor 31 is located based on the object detection information and the object position information output by the distance measuring sensor 31. It has a function of extracting the specified region (detection region) from the image. This detection area is the entire image output by the image sensor 30 or a partial area thereof. The area extraction unit 21 has a function of outputting the extracted image of the detection area to the movement amount acquisition unit 22.

移動量取得部２２は、領域抽出部２１により出力された検出領域の画像に基づいて、物体候補のオプティカルフローを取得する機能を有している。例えば、移動量取得部２２は、連続的な検出領域の画像（フレーム）を取得し、二つのフレーム間における物体候補上の各点（各画素）の単位時間当たりの移動ベクトルを取得する機能を有している。さらに、移動量取得部２２は、検出領域全体の画素についてオプティカルフローを取得するのではなく、検出領域のうち下方領域の各画素についてオプティカルフローを取得する機能を有している。ここで、検出領域における下方領域とは、例えば、上下方向の中心位置が検出領域の上下方向の中心位置よりも下となる領域である。また、移動量取得部２２は、取得した物体候補の単位時間当たりの移動量（オプティカルフローの大きさ）を距離情報推定部２３及び物体検出部２４へ出力する機能を有している。   The movement amount acquisition unit 22 has a function of acquiring the optical flow of the object candidate based on the image of the detection region output by the region extraction unit 21. For example, the movement amount acquisition unit 22 has a function of acquiring images (frames) of a continuous detection region and acquiring a movement vector per unit time of each point (each pixel) on the object candidate between two frames. Have. Furthermore, the movement amount acquisition unit 22 has a function of acquiring an optical flow for each pixel in the lower region of the detection region, instead of acquiring an optical flow for the pixels in the entire detection region. Here, the lower region in the detection region is, for example, a region in which the vertical center position is lower than the vertical center position of the detection region. Further, the movement amount acquisition unit 22 has a function of outputting the movement amount (the magnitude of the optical flow) per unit time of the acquired object candidate to the distance information estimation unit 23 and the object detection unit 24.

距離情報推定部２３は、移動量取得部２２により出力されたオプティカルフローの大きさから物体候補の移動量を算出し、物体候補の移動量と車両４の移動距離とに基づいて、車両４から物体候補までの距離情報を推定する機能を有している。また、距離情報推定部２３は、推定した物体候補までの推定距離情報を物体検出部２４へ出力する機能を有している。   The distance information estimation unit 23 calculates the movement amount of the object candidate from the magnitude of the optical flow output by the movement amount acquisition unit 22, and from the vehicle 4 based on the movement amount of the object candidate and the movement distance of the vehicle 4. It has a function of estimating distance information to an object candidate. The distance information estimation unit 23 has a function of outputting estimated distance information to the estimated object candidate to the object detection unit 24.

物体検出部２４は、移動量取得部２２により出力されたオプティカルフローの大きさに基づいて物体を検出する機能を有している。例えば、物体検出部２４は、物体候補のオプティカルフローの大きさが所定値より大きい場合には、物体候補を物体として検出する機能を有している。また、物体検出部２４は、画像情報から推定される物体候補までの距離情報と、実測の距離情報とを比較して画像から得られた情報の信頼性を確認する機能を有している。例えば、距離情報推定部２３により出力された推定距離情報と、測距センサ３１により出力された距離情報との差が所定値よりも大きい場合には、物体として検出しない機能を有している。そして、物体検出部２４は、認識結果を運転支援システム４０へ出力する機能を有している。   The object detection unit 24 has a function of detecting an object based on the magnitude of the optical flow output by the movement amount acquisition unit 22. For example, the object detection unit 24 has a function of detecting an object candidate as an object when the size of the optical flow of the object candidate is larger than a predetermined value. The object detection unit 24 has a function of comparing the distance information from the image information to the estimated object candidate and the actually measured distance information to confirm the reliability of the information obtained from the image. For example, when the difference between the estimated distance information output by the distance information estimation unit 23 and the distance information output by the distance measuring sensor 31 is larger than a predetermined value, the function of not detecting the object is provided. The object detection unit 24 has a function of outputting the recognition result to the driving support system 40.

運転支援システム４０は、例えば警報装置、車両制御装置、乗員保護装置等を備えている。運転支援システム４０は、物体検出部２４が出力した物体検知情報に基づいて、例えば車両制御や警報等を行う運転支援機能を有している。   The driving support system 40 includes, for example, an alarm device, a vehicle control device, an occupant protection device, and the like. The driving support system 40 has a driving support function for performing, for example, vehicle control and warning based on the object detection information output by the object detection unit 24.

次に、本実施形態に係る物体検出装置１の動作について図２を用いて説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。また、図３は、本実施形態に係る物体検出装置１の動作を説明するための概要図である。なお、以下では、説明理解の容易性を考慮し、車両４が走行しながら物体検知する場合において、検出する物体を歩行者Ｐとした場合を説明する。   Next, the operation of the object detection apparatus 1 according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart showing the operation of the object detection apparatus 1 according to this embodiment. FIG. 3 is a schematic diagram for explaining the operation of the object detection apparatus 1 according to the present embodiment. In the following, considering ease of understanding of the explanation, a case where the object to be detected is a pedestrian P when the vehicle 4 detects an object while traveling will be described.

図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングで繰り返し実行される。図２に示す制御処理が開始されると、物体検出装置１は、情報入力処理を開始する（Ｓ１０）。Ｓ１０の処理は、領域抽出部２１が実行し、例えば、画像センサ３０により出力された図３の（ａ）に示す画像を入力すると共に、測距センサ３１が出力した物体候補の情報を入力する処理である。Ｓ１０の処理が終了すると、領域抽出処理へ移行する（Ｓ１２）。   The control process shown in FIG. 2 is repeatedly executed at a predetermined timing after the ignition is turned on, for example. When the control process shown in FIG. 2 is started, the object detection apparatus 1 starts an information input process (S10). The processing of S10 is executed by the region extraction unit 21, and for example, the image shown in FIG. 3A output by the image sensor 30 is input and the object candidate information output by the distance measuring sensor 31 is input. It is processing. When the processing of S10 is completed, the process proceeds to region extraction processing (S12).

Ｓ１２の処理は、領域抽出部２１が実行し、Ｓ１０の処理で入力した画像情報から画像領域を抽出する処理である。領域抽出部２１は、例えば、Ｓ１０の処理で入力した物体候補の情報に基づいて、測距センサ３１により物体候補が存在すると判定された領域周辺を検出領域として抽出する。例えば、図３の（ａ）に示す画像内において、測距センサ３１により物体候補Ｐ，Ｑ１，Ｑ２が存在すると判定された場合には、物体候補Ｐ，Ｑ１，Ｑ２の周辺の画像領域（検出領域）Ｄ１を抽出する。検出領域Ｄ１として、例えば図３の（ｂ）に示す領域が抽出される。ここで、領域抽出部２１が抽出する検出領域Ｄ１の大きさは、予め定めた大きさの領域であってもよいし、測距センサ３１が出力した物体の幅情報に応じて設定してもよい。Ｓ１２の処理が終了すると、移動量算出処理へ移行する（Ｓ１４）。   The process of S12 is a process executed by the area extraction unit 21 to extract an image area from the image information input in the process of S10. For example, the area extraction unit 21 extracts, as a detection area, a periphery of an area determined by the distance measuring sensor 31 as an object candidate based on the information on the object candidate input in the process of S10. For example, in the image shown in FIG. 3A, when it is determined by the distance measuring sensor 31 that the object candidates P, Q1, and Q2 exist, the image areas around the object candidates P, Q1, and Q2 (detection) Region) D1 is extracted. As the detection area D1, for example, an area shown in FIG. 3B is extracted. Here, the size of the detection region D1 extracted by the region extraction unit 21 may be a region having a predetermined size, or may be set according to the object width information output by the distance measuring sensor 31. Good. When the process of S12 ends, the process proceeds to a movement amount calculation process (S14).

Ｓ１４の処理は、移動量取得部２２が実行し、Ｓ１２の処理で抽出した検出領域Ｄ１の下方領域Ｄ２における物体候補の移動量を取得する処理である。まず、移動量取得部２２は、検出領域Ｄ１の下方領域Ｄ２を、その中心が検出領域Ｄ１の中心よりも下方になるように設定する。下方領域Ｄ２の詳細位置や大きさは、例えばＳ１０の処理で入力した物体候補までの距離情報に応じて設定する。例えば、物体候補までの距離が遠い程、物体と背景との区別がつきにくくなるので、より下方となる領域を下方領域Ｄ２として設定する。その後、移動量取得部２２は、時間的に連続する検出領域Ｄ１の下方領域Ｄ２の画像を入力し、例えば照合法や勾配法等により、各物体候補のオプティカルフローを算出する。例えば、図３の（ｂ）に示すように、物体候補Ｐ，Ｑ１，Ｑ２のそれぞれに対してオプティカルフローを算出する。Ｓ１４の処理が終了すると、距離情報推定処理へ移行する（Ｓ１６）。   The process of S14 is a process that is executed by the movement amount acquisition unit 22 and acquires the movement amount of the object candidate in the area D2 below the detection area D1 extracted in the process of S12. First, the movement amount acquisition unit 22 sets the lower region D2 of the detection region D1 so that the center thereof is below the center of the detection region D1. The detailed position and size of the lower area D2 are set according to the distance information to the object candidate input in the process of S10, for example. For example, the farther the distance to the object candidate is, the more difficult it is to distinguish between the object and the background, so the lower area is set as the lower area D2. Thereafter, the movement amount acquisition unit 22 inputs an image of the lower region D2 of the detection region D1 that is temporally continuous, and calculates the optical flow of each object candidate by, for example, a matching method or a gradient method. For example, as shown in FIG. 3B, an optical flow is calculated for each of the object candidates P, Q1, and Q2. When the process of S14 ends, the process proceeds to a distance information estimation process (S16).

Ｓ１６の処理は、距離情報推定部２３が実行し、Ｓ１４の処理で生成した物体候補のオプティカルフローに基づいて、車両４から物体候補までの距離情報を推定する処理である。例えば、距離情報推定部２３は、物体候補のオプティカルフローと、車両４の単位時間当たりの移動量とを用いて三角測量等により物体候補までの距離を推定する。Ｓ１６の処理が終了すると、物体検出処理へ移行する（Ｓ１８）。   The process of S16 is a process of estimating distance information from the vehicle 4 to the object candidate based on the optical flow of the object candidate generated by the distance information estimation unit 23 and generated in the process of S14. For example, the distance information estimation unit 23 estimates the distance to the object candidate by triangulation or the like using the optical flow of the object candidate and the movement amount per unit time of the vehicle 4. When the process of S16 ends, the process proceeds to an object detection process (S18).

Ｓ１８の処理は、物体検出部２４が実行し、Ｓ１４の処理で生成したオプティカルフローの大きさに基づいて物体を検知する処理である。背景を示す物体候補のオプティカルフローは、車両４から遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補のオプティカルフローは、車両４から近い地点に存在するため大きくなる傾向にある。このため、物体検出部２４は、各物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさが所定値よりも大きいか否かをそれぞれ判定し、所定値よりも大きい物体候補の場合には、その物体候補を物体として検出する。他方、所定値よりも大きくない場合には、その物体候補を物体としては検出せず、背景として認識する。判定に用いる所定値は、測距センサ３１により取得した物体候補までの距離情報や車両４の速度等に基づいて適宜設定すればよい。   The process of S18 is a process of detecting an object based on the magnitude of the optical flow generated by the object detection unit 24 and generated in the process of S14. The optical flow of the object candidate indicating the background tends to be small because it exists at a point far from the vehicle 4, while the optical flow of the object candidate indicating the object tends to be large because it exists at a point close to the vehicle 4. is there. Therefore, the object detection unit 24 determines whether or not the size of the optical flow of each of the object candidates P, Q1, and Q2 is larger than a predetermined value, and if the object candidate is larger than the predetermined value, An object candidate is detected as an object. On the other hand, if it is not larger than the predetermined value, the object candidate is not detected as an object but is recognized as a background. The predetermined value used for the determination may be appropriately set based on the distance information to the object candidate acquired by the distance measuring sensor 31, the speed of the vehicle 4, and the like.

また、物体検出部２４は、画像から得られた情報の信頼性を確認するために、Ｓ１６の処理で取得した物体候補までの推定距離情報と、測距センサ３１により取得した物体候補までの距離情報とを比較する。比較により、ある物体候補について、推定距離情報と測定距離情報とに大きな差がある場合（例えば、差が１０％以上の場合等）には、画像から得られた情報の信頼性が低いものとして、当該物体候補を物体としては検知せず、背景として認識する。Ｓ１８の処理が終了すると、図２に示す制御処理を終了する。   The object detection unit 24 also confirms the estimated distance information to the object candidate acquired in the process of S16 and the distance to the object candidate acquired by the distance measuring sensor 31 in order to confirm the reliability of the information obtained from the image. Compare with information. By comparison, when there is a large difference between the estimated distance information and the measured distance information for a certain object candidate (for example, when the difference is 10% or more), the reliability of the information obtained from the image is assumed to be low. The object candidate is not detected as an object but is recognized as a background. When the process of S18 ends, the control process shown in FIG. 2 ends.

以上で物体検出装置１の動作の説明を終了する。図２に示す制御処理を行うことで、物体検出装置１は、物体候補のオプティカルフローの大きさを用いて物体であるか否かを判定することができるので、画像の背景と物体とを容易に分離して検出することができる。   Above, description of operation | movement of the object detection apparatus 1 is complete | finished. By performing the control processing shown in FIG. 2, the object detection apparatus 1 can determine whether the object is an object using the size of the optical flow of the object candidate, so that the background and the object of the image can be easily obtained. Can be detected separately.

従来であれば、例えば、図４に示すように、画像情報を取得し（図４の（ａ））、検出領域Ｄ１を抽出し（図４の（ｂ））、抽出した検出領域Ｄ１のエッジ画像からエッジヒストグラムを生成し（図４の（ｃ））、生成したエッジヒストグラムに基づいて物体検知を行う。しかしながら、エッジ情報のみでは、静止又は低速移動している歩行者Ｐと背景Ｑ１，Ｑ２とを区別することが困難である。また、オプティカルフローを用いて物体検出する際にも、ベクトル（向き）情報を特徴量として検出しているため、静止又は低速移動している歩行者Ｐは背景Ｑ１，Ｑ２と同様のベクトル情報となることから背景と物体とを分離することが困難である。   Conventionally, for example, as shown in FIG. 4, image information is acquired ((a) of FIG. 4), a detection area D1 is extracted ((b) of FIG. 4), and an edge of the extracted detection area D1 is obtained. An edge histogram is generated from the image ((c) in FIG. 4), and object detection is performed based on the generated edge histogram. However, it is difficult to distinguish between the pedestrian P that is stationary or moving at a low speed and the backgrounds Q1 and Q2 only by the edge information. Also, when detecting an object using optical flow, since vector (orientation) information is detected as a feature quantity, a pedestrian P that is stationary or moving at a low speed has the same vector information as the backgrounds Q1 and Q2. Therefore, it is difficult to separate the background and the object.

これに対して、物体検出装置１は、物体候補までの距離の違いがオプティカルフローの大きさに表れる点に着目して物体検出する。物体候補のうち、静止又は低速移動している歩行者Ｐと、その歩行者Ｐ周辺に存在する背景Ｑ１，Ｑ２とは距離が離れているため、歩行者Ｐと背景Ｑ１，Ｑ２とでは所定期間の移動量が大きく異なる。よって、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローの大きさに基づいて、歩行者Ｐを正確に物体として検出することができる。よって、正確な物体検出情報に基づいて運転支援システム４０が運転支援することにより、より走行の安全性を向上させることができる。   On the other hand, the object detection device 1 detects an object by paying attention to the point that the difference in distance to the object candidate appears in the size of the optical flow. Among the object candidates, the pedestrian P that is stationary or moving at a low speed and the backgrounds Q1 and Q2 existing around the pedestrian P are separated from each other. Therefore, the pedestrian P and the backgrounds Q1 and Q2 have a predetermined period. The amount of movement differs greatly. Therefore, the pedestrian P can be accurately detected as an object based on the size of the optical flow of the object candidates P, Q1, and Q2. Therefore, the driving assistance system 40 provides driving assistance based on accurate object detection information, so that driving safety can be further improved.

上述した通り、本実施形態の物体検出装置１によれば、オプティカルフローを取得し、その大きさが所定値以上の場合には物体として検出する。背景を示す物体候補Ｑ１，Ｑ２のオプティカルフローは、遠い地点に存在するため小さくなる傾向にあり、他方、物体を示す物体候補Ｐのオプティカルフローは、近い地点に存在するため大きくなる傾向にある。このため、物体候補のオプティカルフローの大きさに基づいて、容易に物体と背景とを分離して検出することができる。   As described above, according to the object detection device 1 of the present embodiment, an optical flow is acquired and detected as an object when the magnitude is greater than or equal to a predetermined value. The optical flows of the object candidates Q1 and Q2 indicating the background tend to be small because they exist at distant points, while the optical flow of the object candidate P indicating the object tends to be large because they exist at close points. Therefore, the object and the background can be easily separated and detected based on the size of the optical flow of the object candidate.

また、本実施形態の物体検出装置１によれば、物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローから推定される距離情報と、測距センサ３１で測定した物体候補の距離情報とを比較し、差が大きい場合には物体として検出しない構成とすることで、画像から得られた情報の信頼性を確認することができる。このため、より正確に物体と背景とを分離することが可能となる。   Further, according to the object detection apparatus 1 of the present embodiment, the distance information estimated from the optical flows of the object candidates P, Q1, and Q2 is compared with the distance information of the object candidate measured by the distance measuring sensor 31, and the difference is calculated. When the value is large, the reliability of the information obtained from the image can be confirmed by adopting a configuration in which it is not detected as an object. For this reason, it becomes possible to isolate | separate an object and a background more correctly.

さらに、本実施形態の物体検出装置１によれば、画像から検出領域を抽出し、抽出した検出領域の下方領域の物体候補のオプティカルフローを用いて物体検出をすることができる。背景を示す物体候補Ｑ１，Ｑ２は遠い地点に存在するため画像の上方領域のみに集中する傾向にあり、他方、物体を示す物体候補Ｐは近い地点に存在するため画像の上方領域のみならず下方領域にも存在する傾向にある。このため、検出領域Ｄ１の下方領域Ｄ２にある物体候補Ｐ，Ｑ１，Ｑ２のオプティカルフローに基づいて物体を検出することにより、背景の影響が少ない領域を処理対象とすることができるので、より正確に物体と背景とを分離することが可能となる。さらに、処理対象の領域を限定することにより、少ない計算量で物体と背景とを分離して検出することができる。   Furthermore, according to the object detection apparatus 1 of the present embodiment, a detection region can be extracted from an image, and object detection can be performed using an optical flow of object candidates in a region below the extracted detection region. The object candidates Q1 and Q2 indicating the background tend to concentrate only in the upper area of the image because they exist at distant points. On the other hand, the object candidate P indicating the object exists not only in the upper area of the image but also in the lower area. It tends to exist in the region. For this reason, by detecting an object based on the optical flow of the object candidates P, Q1, and Q2 in the lower region D2 of the detection region D1, it is possible to target a region with less influence of the background, and thus more accurate. It is possible to separate the object and the background. Furthermore, by limiting the region to be processed, the object and the background can be detected separately with a small amount of calculation.

なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。   The above-described embodiment shows an example of the object detection apparatus according to the present invention. The object detection device according to the present invention is not limited to the object detection device according to this embodiment, and the object detection device according to the embodiment may be modified or otherwise changed without changing the gist described in each claim. It may be applied to the above.

例えば、上記実施形態では、画像情報の信頼性を確認するために距離情報推定部２３を備えた例を説明したが、距離情報推定部２３は必ずしも備える必要は無く、車両に要求される性能を考慮して、個々の車両ごとに適宜備えればよい。   For example, in the above embodiment, the example in which the distance information estimation unit 23 is provided in order to confirm the reliability of the image information has been described. However, the distance information estimation unit 23 is not necessarily provided, and performance required for the vehicle is improved. In view of this, it may be provided as appropriate for each individual vehicle.

また、上記実施形態では、検出領域Ｄ１の下方領域Ｄ２における物体候補についてオプティカルフローを算出する例を説明したが、検出領域Ｄ１の全体領域における物体候補についてオプティカルフローを算出する構成としてもよい。   In the above-described embodiment, the example in which the optical flow is calculated for the object candidates in the lower region D2 of the detection region D1 has been described. However, the optical flow may be calculated for the object candidates in the entire region of the detection region D1.

本実施形態に係る物体検出装置を備えた車両の構成概要を示すブロック図である。It is a block diagram which shows the structure outline | summary of the vehicle provided with the object detection apparatus which concerns on this embodiment. 図１の物体検出装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the object detection apparatus of FIG. 図１の物体検出装置の動作を説明する概要図である。It is a schematic diagram explaining operation | movement of the object detection apparatus of FIG. 従来の物体検出装置の動作を説明する概要図である。It is a schematic diagram explaining operation | movement of the conventional object detection apparatus.

符号の説明Explanation of symbols

１…物体検出装置、２…ＥＣＵ、２１…領域抽出部、２２…移動量取得部（移動量取得手段）、２３…距離情報推定部（距離情報推定手段）、２４…物体検出部（物体検出手段）、３０…画像センサ、３１…測距センサ、４…車両、４０…運転支援システム。 DESCRIPTION OF SYMBOLS 1 ... Object detection apparatus, 2 ... ECU, 21 ... Area extraction part, 22 ... Movement amount acquisition part (movement amount acquisition means), 23 ... Distance information estimation part (distance information estimation means), 24 ... Object detection part (Object detection) Means), 30 ... Image sensor, 31 ... Ranging sensor, 4 ... Vehicle, 40 ... Driving support system.

Claims (4)

車両周辺を繰り返し撮像した画像に基づいて物体を検出する物体検出装置であって、
前記画像から物体候補の移動量を取得する移動量取得手段と、
前記移動量の大きさが所定値以上の場合には、前記物体候補を物体として検出する物体検出手段と、
を備えることを特徴とする物体検出装置。 An object detection device that detects an object based on images obtained by repeatedly imaging the periphery of a vehicle,
A movement amount acquisition means for acquiring a movement amount of the object candidate from the image;
When the magnitude of the movement amount is a predetermined value or more, object detection means for detecting the object candidate as an object;
An object detection apparatus comprising: 車両周辺に電波を発信し、反射波を受信して物体の距離情報を取得する距離情報取得手段と、
前記物体候補の移動量の大きさから前記物体候補の距離情報を推定する距離情報推定手段と、
を備え、
前記物体検出手段は、前記距離情報取得手段により取得した距離情報と前記距離推定手段により推定した距離情報とを比較して、その差が大きい場合には物体として検出しないこと、
を特徴とする請求項１に記載の物体検出装置。 Distance information acquisition means for transmitting radio waves around the vehicle and receiving reflected waves to acquire distance information of objects;
Distance information estimating means for estimating distance information of the object candidate from the magnitude of the movement amount of the object candidate;
With
The object detection means compares the distance information acquired by the distance information acquisition means with the distance information estimated by the distance estimation means, and if the difference is large, does not detect as an object;
The object detection apparatus according to claim 1. 前記物体候補情報抽出手段は、前記画像から検出領域を抽出し、前記検出領域の下方領域の前記物体候補の移動量を抽出すること、
を特徴とする請求項１又は２に記載の物体検出装置。 The object candidate information extracting means extracts a detection region from the image, and extracts a movement amount of the object candidate in a region below the detection region;
The object detection device according to claim 1, wherein: 前記移動量取得手段は、前記物体候補のオプティカルフローを取得することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。   The object detection apparatus according to claim 1, wherein the movement amount acquisition unit acquires an optical flow of the object candidate.
JP2008071896A 2008-03-19 2008-03-19 Object detection device Pending JP2009230229A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008071896A JP2009230229A (en) 2008-03-19 2008-03-19 Object detection device
PCT/IB2009/005180 WO2009115918A1 (en) 2008-03-19 2009-03-18 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008071896A JP2009230229A (en) 2008-03-19 2008-03-19 Object detection device

Publications (1)

Publication Number Publication Date
JP2009230229A true JP2009230229A (en) 2009-10-08

Family

ID=40941442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071896A Pending JP2009230229A (en) 2008-03-19 2008-03-19 Object detection device

Country Status (2)

Country Link
JP (1) JP2009230229A (en)
WO (1) WO2009115918A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208601A1 (en) * 2016-05-31 2017-12-07 クラリオン株式会社 Image processing device and external recognition device
CN110072749A (en) * 2016-12-29 2019-07-30 英特尔公司 The detection of traffic dynamic and link change in autonomous driving

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5320331B2 (en) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 In-vehicle environment recognition device and in-vehicle environment recognition system
DE102019120022A1 (en) * 2019-07-24 2021-01-28 Jungheinrich Aktiengesellschaft Industrial truck with object recognition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstruction detecting device
JP2000242797A (en) * 1999-02-18 2000-09-08 Toyota Motor Corp Method for detecting movement of image and object detecting device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
JP2002189075A (en) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd Method for detecting stationary on-road object
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08156723A (en) * 1994-12-06 1996-06-18 Nissan Motor Co Ltd Vehicle obstruction detecting device
JP2000242797A (en) * 1999-02-18 2000-09-08 Toyota Motor Corp Method for detecting movement of image and object detecting device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208601A1 (en) * 2016-05-31 2017-12-07 クラリオン株式会社 Image processing device and external recognition device
JP2017215743A (en) * 2016-05-31 2017-12-07 クラリオン株式会社 Image processing device, and external world recognition device
CN110072749A (en) * 2016-12-29 2019-07-30 英特尔公司 The detection of traffic dynamic and link change in autonomous driving

Also Published As

Publication number Publication date
WO2009115918A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
US7817848B2 (en) Apparatus, method, and computer product for discriminating object
JP5407898B2 (en) Object detection apparatus and program
US8610620B2 (en) Object detecting apparatus and object detecting method
CN111103594A (en) Device and method for distinguishing false target in vehicle and vehicle comprising device and method
EP2787496B1 (en) Object detection device
CN107750213B (en) Front vehicle collision warning device and warning method
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
EP2919159A2 (en) Image processing device and image processing method
US20170227634A1 (en) Object recognition apparatus using a plurality of object detecting means
JP2008276689A (en) Obstacle-recognition device for vehicle
JP2010039634A (en) Image processor
KR20150112656A (en) Method to calibrate camera and apparatus therefor
JP5986949B2 (en) Boundary line recognition device
EP3282389A1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JP2011048485A (en) Device and method for detecting target
US20180246187A1 (en) Object detection apparatus and object detection method
JP2018048949A (en) Object recognition device
JP2009230229A (en) Object detection device
JP2011103058A (en) Erroneous recognition prevention device
EP3410345A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP5717416B2 (en) Driving support control device
EP3287948A1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
JP6459752B2 (en) Moving object tracking device on image
JP4151631B2 (en) Object detection device
JP6677142B2 (en) Parking frame recognition device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100615