JP2021051348A - Object distance estimation apparatus and object distance estimation method - Google Patents

Object distance estimation apparatus and object distance estimation method Download PDF

Info

Publication number
JP2021051348A
JP2021051348A JP2019172012A JP2019172012A JP2021051348A JP 2021051348 A JP2021051348 A JP 2021051348A JP 2019172012 A JP2019172012 A JP 2019172012A JP 2019172012 A JP2019172012 A JP 2019172012A JP 2021051348 A JP2021051348 A JP 2021051348A
Authority
JP
Japan
Prior art keywords
distance
unit
region
distance estimation
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019172012A
Other languages
Japanese (ja)
Inventor
原　英之
Hideyuki Hara
英之 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2019172012A priority Critical patent/JP2021051348A/en
Publication of JP2021051348A publication Critical patent/JP2021051348A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

To accurately estimate a distance to an object to be detected.SOLUTION: An object distance estimation apparatus 1 includes: a region division unit 122 that divides a picked-up image picked up by a picked-up apparatus 2 into a plurality of regions including an object region indicating an object to be detected; an object detection unit 123 that detects a rectangular region indicating the object from the picked-up image; a distance estimation unit 124 that estimates, with regard to a plurality of pixels constituting the picked-up image, a distance between a subject corresponding to the pixel and the picked-up apparatus 2; a region identification unit 125 that identifies an object region included in the rectangular region detected by the object detection unit 123; an object detection estimation unit 126 that estimates a distance from the picked-up apparatus 2 to the object based on the distance estimated by the distance estimation unit 124 to the pixel corresponding to the object region identified by the region identified unit 125; and an output unit 127 that outputs object detection information including information indicating the distance estimated by the object distance estimation unit 126 to the object.SELECTED DRAWING: Figure 2

Description

本発明は、物体距離推定装置及び物体距離推定方法に関する。 The present invention relates to an object distance estimation device and an object distance estimation method.

従来、カメラで撮像した画像データに基づいて、物体の距離を推定することが行われている（例えば、特許文献１参照）。 Conventionally, the distance of an object has been estimated based on the image data captured by the camera (see, for example, Patent Document 1).

特開２００８−４５９７４号公報Japanese Unexamined Patent Publication No. 2008-45974

ところで、ステレオカメラに基づいて撮像装置から画像に映る物体までの距離を示す距離画像を生成するとともに、検出対象の物体を示す矩形領域を検出し、これらの結果を統合することにより、検出対象の物体の距離を推定することが行われている。具体的には、距離画像を構成する複数の画素のうち、矩形領域内の画素を特定し、特定した画素に対応する距離に基づいて、検出対象の物体の距離を推定することが行われている。 By the way, by generating a distance image showing the distance from the image pickup device to the object reflected in the image based on the stereo camera, detecting a rectangular area showing the object to be detected, and integrating these results, the detection target can be detected. Estimating the distance of an object is being done. Specifically, among a plurality of pixels constituting the distance image, the pixels in the rectangular region are specified, and the distance of the object to be detected is estimated based on the distance corresponding to the specified pixels. There is.

しかしながら、矩形領域には、検出対象の物体とは異なる物体も含まれていることから、矩形領域内の画素には、検出対象の物体とは異なる物体に対応する画素も含まれている。したがって、矩形領域内の画素に対応する距離に基づいて、検出対象の物体の距離を推定すると、検出対象の物体とは異なる物体に対応する距離も反映されてしまい、精度が悪化するという問題が発生する。 However, since the rectangular region includes an object different from the object to be detected, the pixels in the rectangular region also include pixels corresponding to an object different from the object to be detected. Therefore, if the distance of the object to be detected is estimated based on the distance corresponding to the pixels in the rectangular region, the distance corresponding to the object different from the object to be detected is also reflected, and the accuracy is deteriorated. Occur.

そこで、本発明はこれらの点に鑑みてなされたものであり、検出対象の物体までの距離を精度良く推定することができる物体距離推定装置及び物体距離推定方法を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide an object distance estimation device and an object distance estimation method capable of accurately estimating the distance to an object to be detected.

本発明の第１の態様に係る物体距離推定装置は、撮像装置が撮像した撮像画像を、検出対象の物体を示す物体領域と、前記物体領域とは異なる領域である非物体領域とを含む複数の領域に分割する領域分割部と、前記撮像画像から、前記物体を示す矩形領域を検出する物体検出部と、前記撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、前記撮像装置との距離を推定する距離推定部と、前記物体検出部が検出した前記矩形領域に含まれる前記物体領域を特定する領域特定部と、前記領域特定部が特定した前記物体領域に対応する画素に対して前記距離推定部が推定した距離に基づいて、前記撮像装置から前記物体までの距離を推定する物体距離推定部と、前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、を備える。 The object distance estimation device according to the first aspect of the present invention includes a plurality of captured images captured by the imaging device, including an object region indicating an object to be detected and a non-object region which is a region different from the object region. An area division unit that divides into the area, an object detection unit that detects a rectangular area indicating the object from the captured image, and a subject corresponding to the pixel for each of a plurality of pixels constituting the captured image. Corresponds to the distance estimation unit that estimates the distance to the image pickup device, the area identification unit that specifies the object area included in the rectangular area detected by the object detection unit, and the object area specified by the area identification unit. An object distance estimation unit that estimates the distance from the image pickup apparatus to the object and a distance estimated by the object distance estimation unit with respect to the object based on the distance estimated by the distance estimation unit with respect to the pixels to be used. It includes an output unit that includes the information to be indicated and outputs object detection information indicating that the object has been detected.

前記物体距離推定部は、前記領域特定部が特定した前記物体領域に対応する複数の画素のそれぞれに対して前記距離推定部が推定した複数の距離に基づいて、前記撮像装置から前記物体までの距離を推定してもよい。 The object distance estimation unit from the image pickup apparatus to the object based on a plurality of distances estimated by the distance estimation unit for each of a plurality of pixels corresponding to the object region specified by the region identification unit. The distance may be estimated.

前記出力部は、前記領域特定部が前記矩形領域に含まれる前記物体領域を特定できない場合、前記物体検出情報を出力しないように制御してもよい。 The output unit may be controlled so as not to output the object detection information when the region identification unit cannot specify the object region included in the rectangular region.

本発明の第２の態様に係る物体距離推定方法は、コンピュータが実行する、撮像装置が撮像した撮像画像を、検出対象の物体を示す物体領域と、前記物体領域とは異なる領域である非物体領域とを含む複数の領域に分割するステップと、前記撮像画像から、前記物体を示す矩形領域を検出するステップと、前記撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、前記撮像装置との距離を推定するステップと、検出された前記矩形領域に含まれる前記物体領域を特定するステップと、特定された前記物体領域に対応する画素に対して推定された前記距離に基づいて、前記撮像装置から前記物体までの距離を推定するステップと、前記物体に対して推定された距離を示す情報を含む検出情報を出力するステップと、を備える。 In the object distance estimation method according to the second aspect of the present invention, an image captured by an imaging device, which is executed by a computer, has an object region showing an object to be detected and a non-object region different from the object region. A step of dividing into a plurality of regions including a region, a step of detecting a rectangular region indicating the object from the captured image, and a subject corresponding to the pixel for each of the plurality of pixels constituting the captured image. , The step of estimating the distance to the imaging device, the step of specifying the object region included in the detected rectangular region, and the estimated distance with respect to the pixel corresponding to the identified object region. Based on this, it includes a step of estimating the distance from the image pickup apparatus to the object, and a step of outputting detection information including information indicating the estimated distance to the object.

本発明によれば、検出対象の物体までの距離を精度良く推定することができるという効果を奏する。 According to the present invention, there is an effect that the distance to the object to be detected can be estimated with high accuracy.

本実施形態に係る物体距離推定装置の概要を説明する図である。It is a figure explaining the outline of the object distance estimation apparatus which concerns on this embodiment. 本実施形態に係る物体距離推定装置の構成を示す図である。It is a figure which shows the structure of the object distance estimation apparatus which concerns on this embodiment. 本実施形態に係る物体距離推定装置における処理の流れを示すフローチャートである。It is a flowchart which shows the flow of processing in the object distance estimation apparatus which concerns on this embodiment.

図１は、本実施形態に係る物体距離推定装置の概要を説明する図である。物体距離推定装置は、例えば、乗用車、バス、トラック等の車両に搭載されるコンピュータである。物体距離推定装置は、同じく車両に搭載され、車両の前方を撮像する撮像装置から撮像画像を取得し、撮像装置から撮像画像に映る検出対象の物体までの距離を示す情報を含む物体検出情報を出力する装置である。ここで、検出対象の物体は、物体距離推定装置が搭載される車両の周辺を走行する他の車両や、当該車両の周辺に存在する障害物等である。 FIG. 1 is a diagram illustrating an outline of an object distance estimation device according to the present embodiment. The object distance estimation device is, for example, a computer mounted on a vehicle such as a passenger car, a bus, or a truck. The object distance estimation device is also mounted on the vehicle, acquires an image taken from an image pickup device that images the front of the vehicle, and obtains object detection information including information indicating the distance from the image pickup device to the object to be detected reflected in the image pickup image. It is a device that outputs. Here, the object to be detected is another vehicle traveling around the vehicle on which the object distance estimation device is mounted, an obstacle existing around the vehicle, or the like.

物体距離推定装置は、撮像画像を取得すると、領域分割処理、物体検出処理、及び距離推定処理を実行する。領域分割処理は、撮像画像の表示領域を、検出対象の物体を示す物体領域と、当該物体領域とは異なる領域である非物体領域とを含む複数の領域に分割する処理である。図１に示す例では、黒色の領域が、物体領域を示している。 When the object distance estimation device acquires the captured image, the object distance estimation device executes a region division process, an object detection process, and a distance estimation process. The area division process is a process of dividing the display area of the captured image into a plurality of areas including an object area indicating an object to be detected and a non-object area which is a region different from the object area. In the example shown in FIG. 1, the black region indicates the object region.

物体検出処理は、撮像画像から、検出対象の物体の少なくとも一部を囲む矩形領域を検出する処理である。図１に示す例では、矩形領域として、３つの矩形領域Ｏｂｊ１〜Ｏｂｊ３が検出されている。距離推定処理は、撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、撮像装置との距離を推定する処理である。 The object detection process is a process of detecting a rectangular area surrounding at least a part of the object to be detected from the captured image. In the example shown in FIG. 1, three rectangular regions Obj1 to Obj3 are detected as rectangular regions. The distance estimation process is a process of estimating the distance between the subject corresponding to the pixel and the image pickup apparatus for each of the plurality of pixels constituting the captured image.

物体距離推定装置は、領域分割処理において分割された領域のうち、物体検出処理において検出した一以上の矩形領域のそれぞれについて、矩形領域に含まれる、検出対象の物体を示す物体領域を特定する。図１に示す例では、物体距離推定装置が、矩形領域Ｏｂｊ３に対応する物体領域を特定する例を示している。図１に示すように、矩形領域Ｏｂｊ３に対応して、矩形領域の大きさに対し、およそ半分の広さの物体領域が特定されていることが確認できる。物体距離推定装置は、特定した物体領域に対応する画素に対して距離推定処理において推定された距離に基づいて、撮像装置から物体までの距離を推定する。 The object distance estimation device specifies an object region indicating an object to be detected included in each of the one or more rectangular regions detected in the object detection process among the regions divided in the region division process. In the example shown in FIG. 1, an example in which the object distance estimation device specifies an object region corresponding to the rectangular region Obj3 is shown. As shown in FIG. 1, it can be confirmed that the object region having a size of about half the size of the rectangular region is specified corresponding to the rectangular region Obj3. The object distance estimation device estimates the distance from the image pickup device to the object based on the distance estimated in the distance estimation process for the pixels corresponding to the specified object region.

このようにすることで、物体距離推定装置は、検出対象の物体とは異なる物体の距離が、検出対象の物体の距離の算出に影響することを抑制し、撮像装置から検出対象の物体までの距離を精度良く推定することができる。
続いて、物体距離推定装置の詳細な説明を行う。 By doing so, the object distance estimation device suppresses that the distance of the object different from the object to be detected affects the calculation of the distance of the object to be detected, and the object from the image pickup device to the object to be detected. The distance can be estimated accurately.
Subsequently, the object distance estimation device will be described in detail.

［物体距離推定装置１の構成］
図２は、本実施形態に係る物体距離推定装置１の構成を示す図である。物体距離推定装置１は、記憶部１１と、制御部１２とを備えている。 [Configuration of object distance estimation device 1]
FIG. 2 is a diagram showing a configuration of an object distance estimation device 1 according to the present embodiment. The object distance estimation device 1 includes a storage unit 11 and a control unit 12.

記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。記憶部１１は、制御部１２を、取得部１２１、領域分割部１２２、物体検出部１２３、距離推定部１２４、領域特定部１２５、物体距離推定部１２６及び出力部１２７として機能させる物体距離推定プログラムを記憶する。 The storage unit 11 is, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory). The storage unit 11 stores various programs for operating the control unit 12. The storage unit 11 is an object distance estimation program that causes the control unit 12 to function as the acquisition unit 121, the area division unit 122, the object detection unit 123, the distance estimation unit 124, the area identification unit 125, the object distance estimation unit 126, and the output unit 127. Remember.

制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されている物体距離推定プログラムを実行することにより、取得部１２１、領域分割部１２２、物体検出部１２３、距離推定部１２４、領域特定部１２５、物体距離推定部１２６及び出力部１２７として機能する。 The control unit 12 is a calculation resource including a processor such as a CPU (Central Processing Unit) (not shown). By executing the object distance estimation program stored in the storage unit 11, the control unit 12 executes the acquisition unit 121, the area division unit 122, the object detection unit 123, the distance estimation unit 124, the area identification unit 125, and the object distance estimation. It functions as a unit 126 and an output unit 127.

取得部１２１は、撮像装置２が撮像した撮像画像を取得する。撮像装置２は、例えば、複数のレンズ及び複数の撮像手段を備えるステレオカメラである。取得部１２１は、撮像装置２が同時刻において第１の撮像手段により生成した第１撮像画像と、第２の撮像手段により生成した第２撮像画像とを予め定められたタイムステップが経過するごとに取得する。 The acquisition unit 121 acquires the captured image captured by the imaging device 2. The image pickup device 2 is, for example, a stereo camera including a plurality of lenses and a plurality of image pickup means. The acquisition unit 121 receives each time a predetermined time step elapses between the first captured image generated by the first imaging means and the second captured image generated by the second imaging means by the imaging device 2 at the same time. To get to.

領域分割部１２２は、取得部１２１が同時刻に取得した第１撮像画像及び第２撮像画像のうち、一つの撮像画像について領域分割処理を実行することにより、撮像装置２が撮像し、取得部１２１が取得した撮像画像を、検出対象の物体を示す物体領域を含む複数の領域に分割する。領域分割部１２２は、撮像画像を構成する複数の画素のそれぞれに対して、対応する領域を示す情報を関連付けた分割領域情報を領域特定部１２５に出力する。ここで、複数の領域には、検出対象の物体を示す物体領域の他に、当該物体領域とは異なる非物体領域として、例えば、車両が走行可能な道路を示す道路領域、道路上の白線を示す白線領域、歩道を示す歩道領域、風景を示す風景領域などが含まれる。 The region division unit 122 is imaged by the image pickup apparatus 2 by executing the region division processing for one of the first captured image and the second captured image acquired by the acquisition unit 121 at the same time. The captured image acquired by 121 is divided into a plurality of regions including an object region indicating an object to be detected. The area dividing unit 122 outputs the divided area information in which the information indicating the corresponding area is associated with each of the plurality of pixels constituting the captured image to the area specifying unit 125. Here, in the plurality of areas, in addition to the object area indicating the object to be detected, as a non-object area different from the object area, for example, a road area indicating a road on which a vehicle can travel and a white line on the road are used. It includes a white line area to show, a sidewalk area to show a sidewalk, and a landscape area to show a landscape.

物体検出部１２３は、取得部１２１が同時刻に取得した第１撮像画像及び第２撮像画像のうち、一つの撮像画像について物体検出処理を実行することにより、取得部１２１が取得した撮像画像から、検出対象の物体を示す矩形領域を検出する。物体検出部１２３は、撮像画像に検出対象の物体が複数映っている場合には、複数の当該物体のそれぞれを示す複数の矩形領域を検出する。物体検出部１２３は、検出した一以上の矩形領域のそれぞれについて、矩形領域が示す矩形の四つの頂点に対応する座標を示す矩形領域情報を領域特定部１２５に出力する。 The object detection unit 123 uses the captured image acquired by the acquisition unit 121 by executing the object detection process for one of the first captured image and the second captured image acquired by the acquisition unit 121 at the same time. , Detects a rectangular area indicating an object to be detected. When a plurality of objects to be detected are reflected in the captured image, the object detection unit 123 detects a plurality of rectangular regions indicating each of the plurality of the objects. The object detection unit 123 outputs rectangular area information indicating coordinates corresponding to the four vertices of the rectangle indicated by the rectangular area to the area identification unit 125 for each of the detected one or more rectangular areas.

ここで、矩形領域は、検出対象の物体の少なくとも一部を囲む領域である。検出対象の物体は、完全な矩形形状を有していないことから、矩形領域には検出対象の物体とは異なる物体が含まれる。 Here, the rectangular area is an area surrounding at least a part of the object to be detected. Since the object to be detected does not have a perfect rectangular shape, the rectangular area includes an object different from the object to be detected.

距離推定部１２４は、取得部１２１が取得した撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、撮像装置２との距離を推定する。具体的には、まず、距離推定部１２４は、取得部１２１が同時刻に取得した第１撮像画像に含まれる各画素と、第２撮像画像に含まれる各画素とを比較し、視差の大きさを特定する。そして、距離推定部１２４は、特定した視差の大きさに基づいて、撮像装置２から、各画素に対応する被写体までの距離を推定することにより、画素値が被写体と撮像装置２との距離を示す距離画像を生成する。距離推定部１２４は、生成した距離画像を物体距離推定部１２６に出力する。 The distance estimation unit 124 estimates the distance between the subject corresponding to the pixel and the image pickup device 2 for each of the plurality of pixels constituting the captured image acquired by the acquisition unit 121. Specifically, first, the distance estimation unit 124 compares each pixel included in the first captured image acquired by the acquisition unit 121 at the same time with each pixel included in the second captured image, and the parallax is large. Identify the image. Then, the distance estimation unit 124 estimates the distance from the image pickup device 2 to the subject corresponding to each pixel based on the magnitude of the specified parallax, so that the pixel value determines the distance between the subject and the image pickup device 2. Generate a distance image to show. The distance estimation unit 124 outputs the generated distance image to the object distance estimation unit 126.

なお、距離推定部１２４は、撮像装置２が同じ時刻に撮像した二つの撮像画像に基づいて距離画像を生成することとしたが、これに限らない。例えば、車両がＬｉＤＡＲ（Light Detection and Ranging）を備えている場合には、ＬｉＤＡＲにより、撮像画像を構成する複数の画素のそれぞれに対応する被写体と、撮像装置２（ＬｉＤＡＲ）との距離を推定してもよい。また、距離推定部１２４は、一つの撮像画像の入力に対して距離画像を生成する学習モデルを用いて距離画像を生成してもよい。この場合、撮像装置２は、ステレオカメラではなく、一つの撮像手段を備える単眼カメラであってもよい。 The distance estimation unit 124 has decided to generate a distance image based on two captured images captured by the imaging device 2 at the same time, but the present invention is not limited to this. For example, when the vehicle is equipped with LiDAR (Light Detection and Ranging), the distance between the subject corresponding to each of the plurality of pixels constituting the captured image and the image pickup device 2 (LiDAR) is estimated by LiDAR. You may. Further, the distance estimation unit 124 may generate a distance image using a learning model that generates a distance image with respect to the input of one captured image. In this case, the image pickup device 2 may be a monocular camera provided with one imaging means instead of a stereo camera.

領域特定部１２５は、物体検出部１２３が検出した矩形領域に含まれる検出対象の物体を示す物体領域を特定する。例えば、領域特定部１２５は、領域分割部１２２から入力された領域情報と、物体検出部１２３から入力された矩形領域情報とに基づいて、矩形領域情報が示す矩形領域に含まれる画素のうち、検出対象の物体を示す物体領域に対応する画素を特定することにより、当該矩形領域に含まれる物体領域を特定する。領域特定部１２５は、物体領域に対応する画素を示す情報を物体距離推定部１２６に出力する。なお、矩形領域に一部が含まれている物体領域も、矩形領域に含まれる物体領域に該当するものとする。 The area identification unit 125 identifies an object area indicating an object to be detected included in the rectangular area detected by the object detection unit 123. For example, the area specifying unit 125 is among the pixels included in the rectangular area indicated by the rectangular area information based on the area information input from the area dividing unit 122 and the rectangular area information input from the object detection unit 123. By specifying the pixel corresponding to the object area indicating the object to be detected, the object area included in the rectangular area is specified. The area identification unit 125 outputs information indicating the pixels corresponding to the object area to the object distance estimation unit 126. It should be noted that the object area in which a part is included in the rectangular area also corresponds to the object area included in the rectangular area.

物体距離推定部１２６は、領域特定部１２５が特定した物体領域に対応する画素に対して距離推定部１２４が推定した距離に基づいて、撮像装置２から検出対象の物体までの距離を推定する。領域特定部１２５が特定した物体領域に対応する複数の画素のそれぞれに対して距離推定部１２４が推定した複数の距離に基づいて、撮像装置２から検出対象の物体までの距離を推定する。 The object distance estimation unit 126 estimates the distance from the image pickup apparatus 2 to the object to be detected based on the distance estimated by the distance estimation unit 124 with respect to the pixels corresponding to the object region specified by the area identification unit 125. The distance from the image pickup apparatus 2 to the object to be detected is estimated based on the plurality of distances estimated by the distance estimation unit 124 for each of the plurality of pixels corresponding to the object region specified by the region identification unit 125.

例えば、物体距離推定部１２６は、領域特定部１２５から入力された物体領域に対応する画素を示す情報と、距離推定部１２４から入力された距離画像とに基づいて、物体領域に対応する複数の画素のそれぞれに対応する複数の距離を特定する。そして、物体距離推定部１２６は、特定した複数の距離のうち、中心点となる距離を、検出対象の物体に対応する距離として推定する。なお、物体距離推定部１２６は、物体領域に対応する複数の画素のそれぞれに対応する複数の距離についてヒストグラムを生成し、最も出現頻度が高い距離を検出対象の物体に対応する距離として推定してもよいし、ロバスト推定を用いることにより、検出対象の物体に対応する距離を推定してもよい。 For example, the object distance estimation unit 126 has a plurality of information corresponding to the object area based on the information indicating the pixels corresponding to the object area input from the area identification unit 125 and the distance image input from the distance estimation unit 124. Identify multiple distances corresponding to each of the pixels. Then, the object distance estimation unit 126 estimates the distance that becomes the center point among the specified plurality of distances as the distance corresponding to the object to be detected. The object distance estimation unit 126 generates histograms for a plurality of distances corresponding to each of the plurality of pixels corresponding to the object region, and estimates the most frequently occurring distance as the distance corresponding to the object to be detected. Alternatively, the distance corresponding to the object to be detected may be estimated by using the robust estimation.

出力部１２７は、物体距離推定部１２６が検出対象の物体に対して推定した距離を示す情報を含み、検出対象の物体を検出したことを示す物体検出情報を出力する。具体的には、出力部１２７は、物体検出部１２３が検出した物体に対応する矩形領域情報と、物体距離推定部１２６が当該物体に対して推定した距離を示す情報とを関連付けた物体検出情報を出力する。なお、出力部１２７は、領域特定部１２５が矩形領域に含まれる物体領域を特定できない場合、物体検出情報を出力しないように制御してもよい。このようにすることで、物体距離推定装置１は、物体検出部１２３において誤検出した物体に対応する物体検出情報が出力されることを防止することができる。 The output unit 127 includes information indicating the distance estimated by the object distance estimation unit 126 with respect to the object to be detected, and outputs the object detection information indicating that the object to be detected has been detected. Specifically, the output unit 127 associates the rectangular area information corresponding to the object detected by the object detection unit 123 with the information indicating the distance estimated by the object distance estimation unit 126 with respect to the object. Is output. The output unit 127 may be controlled so as not to output the object detection information when the area specifying unit 125 cannot specify the object area included in the rectangular area. By doing so, the object distance estimation device 1 can prevent the object detection information corresponding to the erroneously detected object in the object detection unit 123 from being output.

［物体距離推定装置１における処理の流れ］
続いて、物体距離推定装置１における処理の流れについて説明する。図３は、本実施形態に係る物体距離推定装置１における処理の流れを示すフローチャートである。なお、物体距離推定装置１は、各タイムステップにおいて本フローチャートに係る処理を実行するものとする。 [Process flow in object distance estimation device 1]
Subsequently, the flow of processing in the object distance estimation device 1 will be described. FIG. 3 is a flowchart showing a processing flow in the object distance estimation device 1 according to the present embodiment. The object distance estimation device 1 shall execute the process related to this flowchart at each time step.

まず、取得部１２１は、撮像装置２から撮像画像を取得する（Ｓ１）。本実施形態では、撮像装置２において同時刻に撮像された二つの撮像画像を取得するものとする。
続いて、領域分割部１２２は、Ｓ１において取得された二つの撮像画像のうち、一方の撮像画像を、検出対象の物体を示す物体領域を含む複数の領域に分割する（Ｓ２）。 First, the acquisition unit 121 acquires an captured image from the imaging device 2 (S1). In the present embodiment, it is assumed that two captured images captured at the same time by the imaging device 2 are acquired.
Subsequently, the region dividing unit 122 divides one of the two captured images acquired in S1 into a plurality of regions including an object region indicating an object to be detected (S2).

物体検出部１２３は、Ｓ１において取得された二つの撮像画像のうち、一方の撮像画像から、検出対象の物体を示す矩形領域を検出する（Ｓ３）。
続いて、距離推定部１２４は、Ｓ１において取得された二つの撮像画像に基づいて、撮像画像を構成する複数の画素のそれぞれに対応する被写体と、撮像装置２との距離を推定する（Ｓ４）。
なお、Ｓ２からＳ４における処理は、図３に示す順番とは異なる順番で実行されてもよいし、並列して実行されてもよい。 The object detection unit 123 detects a rectangular region indicating an object to be detected from one of the two captured images acquired in S1 (S3).
Subsequently, the distance estimation unit 124 estimates the distance between the subject corresponding to each of the plurality of pixels constituting the captured image and the imaging device 2 based on the two captured images acquired in S1 (S4). ..
The processes in S2 to S4 may be executed in an order different from the order shown in FIG. 3, or may be executed in parallel.

続いて、領域特定部１２５は、Ｓ３において行われた矩形領域の検出に係る処理において、矩形領域が検出されたか否かを判定する（Ｓ５）。領域特定部１２５は、矩形領域が検出されたと判定すると、Ｓ６に処理を移し、矩形領域が検出されないと判定すると、本フローチャートに係る処理を終了する。 Subsequently, the area specifying unit 125 determines whether or not the rectangular area is detected in the process related to the detection of the rectangular area performed in S3 (S5). When it is determined that the rectangular area is detected, the area specifying unit 125 shifts the process to S6, and when it is determined that the rectangular area is not detected, the area specifying unit 125 ends the process according to this flowchart.

続いて、領域特定部１２５は、Ｓ３において検出された一以上の矩形領域のうち、一つの矩形領域を選択する（Ｓ６）。
続いて、領域特定部１２５は、Ｓ６において選択された矩形領域に含まれる、検出対象の物体を示す物体領域を特定する（Ｓ７）。 Subsequently, the area specifying unit 125 selects one rectangular area from the one or more rectangular areas detected in S3 (S6).
Subsequently, the area specifying unit 125 identifies an object area indicating an object to be detected, which is included in the rectangular area selected in S6 (S7).

続いて、物体距離推定部１２６は、Ｓ７において、物体領域を特定できたか否かを判定する（Ｓ８）。物体距離推定部１２６は、物体領域を特定できたと判定すると、Ｓ９に処理を移し、物体領域を特定できないと判定すると、Ｓ１１に処理を移す。これにより、領域特定部１２５が矩形領域に含まれる物体領域が特定できない場合、物体検出情報が出力されないように制御される。 Subsequently, the object distance estimation unit 126 determines in S7 whether or not the object region can be specified (S8). When the object distance estimation unit 126 determines that the object area can be specified, the process is transferred to S9, and when it is determined that the object area cannot be specified, the process is transferred to S11. As a result, when the area specifying unit 125 cannot specify the object area included in the rectangular area, the object detection information is controlled so as not to be output.

物体距離推定部１２６は、Ｓ７において特定された物体領域に対応する画素に対して、Ｓ４において推定された距離に基づいて、撮像装置２から、検出対象の物体までの距離を推定する（Ｓ９）。 The object distance estimation unit 126 estimates the distance from the image pickup apparatus 2 to the object to be detected with respect to the pixel corresponding to the object region specified in S7, based on the distance estimated in S4 (S9). ..

続いて、出力部１２７は、Ｓ６において選択された矩形領域に対応する矩形領域情報と、Ｓ９において推定された検出対象の物体までの距離を示す情報とを関連付けた物体検出情報を出力する（Ｓ１０）。 Subsequently, the output unit 127 outputs the object detection information in which the rectangular area information corresponding to the rectangular area selected in S6 and the information indicating the distance to the object to be detected estimated in S9 are associated with each other (S10). ).

続いて、領域特定部１２５は、Ｓ３において検出された一以上の矩形領域のうち、全ての矩形領域を選択済であるか否かを判定する（Ｓ１１）。領域特定部１２５は、全ての矩形領域を選択済であると判定すると、本フローチャートに係る処理を終了し、全ての矩形領域を選択済ではないと判定すると、Ｓ６に処理を移す。 Subsequently, the area specifying unit 125 determines whether or not all the rectangular areas have been selected from the one or more rectangular areas detected in S3 (S11). When the area specifying unit 125 determines that all the rectangular areas have been selected, it ends the process according to this flowchart, and when it determines that all the rectangular areas have not been selected, it shifts the process to S6.

なお、物体距離推定装置１は、本フローチャートに示すように、各タイムステップにおいて、Ｓ２に示す領域分割に係る処理、及びＳ４に示す被写体と撮像装置２との距離を推定する処理を行ったが、これに限らない。物体距離推定装置１は、Ｓ３に係る処理において矩形領域が検出されたことに応じて、Ｓ２及びＳ４に係る処理を実行するようにしてもよい。 As shown in this flowchart, the object distance estimation device 1 has performed the processing related to the region division shown in S2 and the processing for estimating the distance between the subject and the imaging device 2 shown in S4 in each time step. , Not limited to this. The object distance estimation device 1 may execute the processes related to S2 and S4 in response to the detection of the rectangular region in the process related to S3.

［本実施形態の効果］
以上説明したように、本実施形態に係る物体距離推定装置１は、撮像装置２が撮像した撮像画像を、検出対象の物体を示す物体領域を含む複数の領域に分割し、当該撮像画像から、物体を示す矩形領域を検出し、撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、撮像装置２との距離を推定する。物体距離推定装置１は、検出対象の物体を示す矩形領域に含まれる物体領域を特定し、当該物体領域に対応する画素に対して推定された距離に基づいて、撮像装置２から物体までの距離を推定し、当該距離を示す情報を含む物体検出情報を出力する。このようにすることで、物体距離推定装置１は、検出対象の物体までの距離を精度良く推定することができる。 [Effect of this embodiment]
As described above, the object distance estimation device 1 according to the present embodiment divides the captured image captured by the imaging device 2 into a plurality of regions including an object region indicating the object to be detected, and from the captured image, A rectangular region indicating an object is detected, and the distance between the subject corresponding to the pixel and the imaging device 2 is estimated for each of the plurality of pixels constituting the captured image. The object distance estimation device 1 identifies an object area included in a rectangular area indicating an object to be detected, and the distance from the image pickup device 2 to the object based on the estimated distance with respect to the pixels corresponding to the object area. Is estimated, and object detection information including information indicating the distance is output. By doing so, the object distance estimation device 1 can accurately estimate the distance to the object to be detected.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、上述の実施の形態では、物体距離推定装置１が乗用車、バス、トラック等の車両に設けられるものとしたが、これに限らない。物体距離推定装置１は、これらの車両に限らず、二輪車、電車等の、障害物との距離を推定することが必要な移動体に設けられてもよい。また、物体距離推定装置１は、車両の前方を撮像する撮像装置が撮像した撮像画像に基づいて、撮像装置と、車両の前方の検出対象の物体との距離を推定したが、これに限らない。例えば、撮像装置が車両の後方を撮像するものであってもよく、物体距離推定装置１は、撮像装置と、車両の後方の検出対象の物体との距離を推定してもよい。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. is there. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Further, in the above-described embodiment, the object distance estimation device 1 is provided in a vehicle such as a passenger car, a bus, or a truck, but the present invention is not limited to this. The object distance estimation device 1 is not limited to these vehicles, and may be provided on a moving body such as a two-wheeled vehicle or a train that needs to estimate the distance to an obstacle. Further, the object distance estimation device 1 estimates the distance between the image pickup device and the object to be detected in front of the vehicle based on the image captured by the image pickup device that images the front of the vehicle, but is not limited to this. .. For example, the image pickup device may image the rear of the vehicle, and the object distance estimation device 1 may estimate the distance between the image pickup device and the object to be detected behind the vehicle.

また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.

１ 物体距離推定装置
１１ 記憶部
１２ 制御部
１２１ 取得部
１２２ 領域分割部
１２３ 物体検出部
１２４ 距離推定部
１２５ 領域特定部
１２６ 物体距離推定部
１２７ 出力部
２ 撮像装置
1 Object distance estimation device 11 Storage unit 12 Control unit 121 Acquisition unit 122 Area division unit 123 Object detection unit 124 Distance estimation unit 125 Area identification unit 126 Object distance estimation unit 127 Output unit 2 Imaging device

Claims (4)

撮像装置が撮像した撮像画像を、検出対象の物体を示す物体領域と、前記物体領域とは異なる領域である非物体領域とを含む複数の領域に分割する領域分割部と、
前記撮像画像から、前記物体を示す矩形領域を検出する物体検出部と、
前記撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、前記撮像装置との距離を推定する距離推定部と、
前記物体検出部が検出した前記矩形領域に含まれる前記物体領域を特定する領域特定部と、
前記領域特定部が特定した前記物体領域に対応する画素に対して前記距離推定部が推定した距離に基づいて、前記撮像装置から前記物体までの距離を推定する物体距離推定部と、
前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、
を備える物体距離推定装置。 A region division unit that divides an image captured by an imaging device into a plurality of regions including an object region indicating an object to be detected and a non-object region that is a region different from the object region.
An object detection unit that detects a rectangular area indicating the object from the captured image,
For each of the plurality of pixels constituting the captured image, a distance estimation unit that estimates the distance between the subject corresponding to the pixel and the imaging device.
An area specifying unit that specifies the object area included in the rectangular area detected by the object detecting unit, and a region specifying unit.
An object distance estimation unit that estimates the distance from the image pickup apparatus to the object based on the distance estimated by the distance estimation unit with respect to the pixels corresponding to the object region specified by the region identification unit.
An output unit that includes information indicating the distance estimated by the object distance estimation unit with respect to the object and outputs object detection information indicating that the object has been detected.
An object distance estimation device including. 前記物体距離推定部は、前記領域特定部が特定した前記物体領域に対応する複数の画素のそれぞれに対して前記距離推定部が推定した複数の距離に基づいて、前記撮像装置から前記物体までの距離を推定する、
請求項１に記載の物体距離推定装置。 The object distance estimation unit from the image pickup apparatus to the object based on a plurality of distances estimated by the distance estimation unit for each of a plurality of pixels corresponding to the object region specified by the region identification unit. Estimate the distance,
The object distance estimation device according to claim 1. 前記出力部は、前記領域特定部が前記矩形領域に含まれる前記物体領域を特定できない場合、前記物体検出情報を出力しないように制御する、
請求項１又は２に記載の物体距離推定装置。 The output unit controls so that the object detection information is not output when the area specifying unit cannot specify the object area included in the rectangular area.
The object distance estimation device according to claim 1 or 2. コンピュータが実行する、
撮像装置が撮像した撮像画像を、検出対象の物体を示す物体領域と、前記物体領域とは異なる領域である非物体領域とを含む複数の領域に分割するステップと、
前記撮像画像から、前記物体を示す矩形領域を検出するステップと、
前記撮像画像を構成する複数の画素のそれぞれについて、当該画素に対応する被写体と、前記撮像装置との距離を推定するステップと、
検出された前記矩形領域に含まれる前記物体領域を特定するステップと、
特定された前記物体領域に対応する画素に対して推定された前記距離に基づいて、前記撮像装置から前記物体までの距離を推定するステップと、
前記物体に対して推定された距離を示す情報を含む検出情報を出力するステップと、
を備える物体距離推定方法。

Computer runs,
A step of dividing an image captured by an imaging device into a plurality of regions including an object region indicating an object to be detected and a non-object region which is a region different from the object region.
A step of detecting a rectangular region showing the object from the captured image,
For each of the plurality of pixels constituting the captured image, a step of estimating the distance between the subject corresponding to the pixel and the imaging device.
A step of identifying the object area included in the detected rectangular area, and
A step of estimating the distance from the image pickup apparatus to the object based on the distance estimated for the pixel corresponding to the specified object region.
A step of outputting detection information including information indicating an estimated distance to the object, and
An object distance estimation method comprising.
JP2019172012A 2019-09-20 2019-09-20 Object distance estimation apparatus and object distance estimation method Pending JP2021051348A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019172012A JP2021051348A (en) 2019-09-20 2019-09-20 Object distance estimation apparatus and object distance estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172012A JP2021051348A (en) 2019-09-20 2019-09-20 Object distance estimation apparatus and object distance estimation method

Publications (1)

Publication Number Publication Date
JP2021051348A true JP2021051348A (en) 2021-04-01

Family

ID=75157862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172012A Pending JP2021051348A (en) 2019-09-20 2019-09-20 Object distance estimation apparatus and object distance estimation method

Country Status (1)

Country Link
JP (1) JP2021051348A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036803A1 (en) * 2022-08-18 2024-02-22 中煤科工开采研究院有限公司 Method and system for quantitatively pushing hydraulic support

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024036803A1 (en) * 2022-08-18 2024-02-22 中煤科工开采研究院有限公司 Method and system for quantitatively pushing hydraulic support

Similar Documents

Publication Publication Date Title
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
JP2019096072A (en) Object detection device, object detection method and program
US10180318B2 (en) Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium
KR20170135952A (en) A method for displaying a peripheral area of a vehicle
JP2008262333A (en) Road surface discrimination device and road surface discrimination method
JP6327115B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP2018073275A (en) Image recognition device
EP2927869A2 (en) Movement amount estimation device, movement amount estimation method, and movement amount estimation program
JP2021051348A (en) Object distance estimation apparatus and object distance estimation method
KR102003387B1 (en) Method for detecting and locating traffic participants using bird's-eye view image, computer-readerble recording medium storing traffic participants detecting and locating program
JP2021051347A (en) Distance image generation apparatus and distance image generation method
JP6032141B2 (en) Travel road marking detection device and travel road marking detection method
JP5773334B2 (en) Optical flow processing apparatus and display radius map generation apparatus
JPWO2017090097A1 (en) Vehicle external recognition device
JP2021043141A (en) Object distance estimating device and object distance estimating method
JP2017211765A (en) Object recognition device
CN112364693A (en) Barrier identification method, device and equipment based on binocular vision and storage medium
JP4598011B2 (en) Vehicle display device
JP2021060720A (en) Object detection device
CN115063772B (en) Method for detecting vehicles after formation of vehicles, terminal equipment and storage medium
US20230191998A1 (en) Method for displaying a virtual view of the area surrounding a vehicle, computer program, control unit, and vehicle
JP2019020171A (en) Vehicle width detector, vehicle width detection method, and program
JP2011131740A (en) Driving support device of vehicle
WO2016002418A1 (en) Information processing device
JP5699497B2 (en) Image processing apparatus and image processing program