JP2021043141A - Object distance estimating device and object distance estimating method - Google Patents
Object distance estimating device and object distance estimating method Download PDFInfo
- Publication number
- JP2021043141A JP2021043141A JP2019167243A JP2019167243A JP2021043141A JP 2021043141 A JP2021043141 A JP 2021043141A JP 2019167243 A JP2019167243 A JP 2019167243A JP 2019167243 A JP2019167243 A JP 2019167243A JP 2021043141 A JP2021043141 A JP 2021043141A
- Authority
- JP
- Japan
- Prior art keywords
- ground
- region
- unit
- contact
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体距離推定装置及び物体距離推定方法に関する。 The present invention relates to an object distance estimation device and an object distance estimation method.
従来、物体の下端領域が地面に接していると仮定して撮像装置から検出された物体までの距離を推定することが行われている（例えば、特許文献１を参照）。 Conventionally, the distance from the image pickup apparatus to the detected object is estimated on the assumption that the lower end region of the object is in contact with the ground (see, for example, Patent Document 1).
検出された物体の下端が実際には地面に接していない場合、当該下端に基づいて推定された撮像装置から当該物体までの距離と、実際の距離との誤差が大きいという問題が生じる。 When the lower end of the detected object does not actually touch the ground, there arises a problem that the error between the distance from the image pickup device estimated based on the lower end to the object and the actual distance is large.
そこで、本発明はこれらの点に鑑みてなされたものであり、検出対象の物体までの距離を精度良く推定することができる物体距離推定装置及び物体距離推定方法を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide an object distance estimation device and an object distance estimation method capable of accurately estimating the distance to an object to be detected.
本発明の第１の態様に係る物体距離推定装置は、撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割する領域分割部と、前記撮像画像から検出対象の物体を示す矩形領域を検出する物体検出部と、前記物体検出部が検出した前記矩形領域の下端位置と、前記領域分割部により分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定する判定部と、前記物体が地面に接していると前記判定部が判定すると、当該物体と前記撮像装置との距離を推定する物体距離推定部と、前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、を備える。 The object distance estimation device according to the first aspect of the present invention divides the captured image captured by the imaging device into a plurality of regions including a ground region showing the ground and one or more regions different from the ground region. The area division unit, the object detection unit that detects a rectangular area indicating the object to be detected from the captured image, the lower end position of the rectangular area detected by the object detection unit, and the ground divided by the area division unit. A determination unit that determines whether the object corresponding to the rectangular region is in contact with the ground based on the relationship with the position of the region, and a determination unit that determines that the object is in contact with the ground. An output that includes an object distance estimation unit that estimates the distance to the image pickup device and information indicating the distance estimated by the object distance estimation unit with respect to the object, and outputs object detection information indicating that the object has been detected. It has a part and.
前記判定部は、前記矩形領域の下端位置から上下の所定範囲内に前記地面領域が含まれる割合に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定してもよい。 The determination unit may determine whether the object corresponding to the rectangular region is in contact with the ground based on the ratio of the ground region included in a predetermined range above and below the lower end position of the rectangular region.
前記領域分割部は、前記撮像画像を、前記地面領域と、前記物体を示す領域である物体領域とを含む前記複数の領域に分割し、前記物体距離推定装置は、前記物体が地面に接していると前記判定部が判定すると、前記矩形領域の下端位置から上下の所定範囲内に含まれている前記物体領域の位置に基づいて、前記物体が地面に接している接地位置を特定する接地位置特定部をさらに備え、前記物体距離推定部は、前記接地位置特定部が特定した前記物体の前記接地位置に基づいて、当該物体と前記撮像装置との距離を推定してもよい。 The region dividing unit divides the captured image into a plurality of regions including the ground region and an object region which is a region showing the object, and the object distance estimation device causes the object to come into contact with the ground. When the determination unit determines that the object is present, the ground contact position for specifying the ground contact position where the object is in contact with the ground is based on the position of the object region included in a predetermined range above and below the lower end position of the rectangular region. The object distance estimation unit may further include a specific unit, and may estimate the distance between the object and the image pickup device based on the ground contact position of the object specified by the ground contact position specifying unit.
前記出力部は、前記物体が地面に接していないと前記判定部が判定すると、前記物体が地面に接していないことを示す情報を含む前記物体検出情報を出力してもよい。 When the determination unit determines that the object is not in contact with the ground, the output unit may output the object detection information including information indicating that the object is not in contact with the ground.
本発明の第２の態様に係る物体距離推定方法は、コンピュータが実行する、撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割するステップと、前記撮像画像から検出対象の物体を示す矩形領域を検出するステップと、検出された前記矩形領域の下端位置と、分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定するステップと、前記判定するステップにおいて前記物体が地面に接していると判定されると、当該物体と前記撮像装置との距離を推定するステップと、前記物体に対して推定された距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力するステップと、を備える。 The object distance estimation method according to the second aspect of the present invention includes a plurality of captured images captured by an imaging device, which are executed by a computer, including a ground region indicating the ground and one or more regions different from the ground region. Based on the relationship between the step of dividing into the regions, the step of detecting the rectangular region indicating the object to be detected from the captured image, the lower end position of the detected rectangular region, and the position of the divided ground region. When it is determined in the step of determining whether the object corresponding to the rectangular region is in contact with the ground and the step of determining whether the object is in contact with the ground, the distance between the object and the imaging device is determined. The step includes a step of estimating the object, and a step of outputting the object detection information indicating that the object has been detected, including the information indicating the estimated distance to the object.
本発明によれば、検出対象の物体までの距離を精度良く推定することができるという効果を奏する。 According to the present invention, there is an effect that the distance to the object to be detected can be estimated with high accuracy.
図１は、本実施形態に係る物体距離推定装置の概要を説明する図である。物体距離推定装置は、例えば、乗用車、バス、トラック等の車両に搭載されるコンピュータである。物体距離推定装置は、同じく車両に搭載され、車両の前方を撮像する撮像装置から撮像画像を取得し、撮像装置から撮像画像に映る検出対象の物体までの距離を示す情報を含む物体検出情報を出力する装置である。ここで、検出対象の物体は、物体距離推定装置が搭載される車両の周辺を走行する他の車両や、当該車両の周辺に存在する障害物等である。また、撮像画像において、横方向は光軸方向に対し垂直、かつ、地面に対して平行となる方向を示し、縦方向は、地面からの高さ方向を示すものとする。 FIG. 1 is a diagram illustrating an outline of an object distance estimation device according to the present embodiment. The object distance estimation device is, for example, a computer mounted on a vehicle such as a passenger car, a bus, or a truck. The object distance estimation device is also mounted on the vehicle, acquires an image taken from an image pickup device that images the front of the vehicle, and obtains object detection information including information indicating the distance from the image pickup device to the object to be detected reflected in the image pickup image. It is a device that outputs. Here, the object to be detected is another vehicle traveling around the vehicle on which the object distance estimation device is mounted, an obstacle existing around the vehicle, or the like. Further, in the captured image, the horizontal direction indicates a direction perpendicular to the optical axis direction and parallel to the ground, and the vertical direction indicates a height direction from the ground.
物体距離推定装置は、撮像画像を取得すると、領域分割処理及び物体検出処理を実行する。領域分割処理は、撮像画像の表示領域を、検出対象の物体を示す物体領域と、地面を示す地面領域と、当該物体領域及び地面領域とは異なる領域とを含む複数の領域に分割する処理である。図１に示す例では、領域Ｃが、物体領域を示しており、領域Ｇが地面領域を示している。 When the object distance estimation device acquires the captured image, the object distance estimation device executes the area division process and the object detection process. The area division process is a process of dividing the display area of the captured image into a plurality of areas including an object area indicating an object to be detected, a ground area indicating the ground, and an area different from the object area and the ground area. is there. In the example shown in FIG. 1, the area C indicates an object area, and the area G indicates a ground area.
物体検出処理は、撮像画像から、検出対象の物体の少なくとも一部を囲む矩形領域を検出する処理である。図１に示す例では、矩形領域として、３つの矩形領域Ｏｂｊ１〜Ｏｂｊ３が検出されている。 The object detection process is a process of detecting a rectangular area surrounding at least a part of the object to be detected from the captured image. In the example shown in FIG. 1, three rectangular regions Obj1 to Obj3 are detected as rectangular regions.
物体距離推定装置は、物体検出処理により検出された矩形領域に対応する物体の距離を推定する。具体的には、物体距離推定装置は、矩形領域の下端位置と、領域分割部により分割された地面領域の位置との関係に基づいて、当該矩形領域に対応する物体が地面に接しているかを判定する接地判定処理を行う。 The object distance estimation device estimates the distance of an object corresponding to the rectangular area detected by the object detection process. Specifically, the object distance estimation device determines whether the object corresponding to the rectangular area is in contact with the ground based on the relationship between the lower end position of the rectangular area and the position of the ground area divided by the area dividing portion. Judgment Performs grounding judgment processing.
物体距離推定装置は、矩形領域に対応する物体が地面に接していると判定すると、当該物体の接地位置を特定し、当該接地位置と撮像装置との距離を、物体と撮像装置との距離として推定する。このように、地面と接していると判定した物体に限定して当該物体と撮像装置との距離を推定するので、物体距離推定装置は、誤差の大きい地面と接していない物体の距離の推定を回避し、検出対象の物体までの距離を精度良く推定することができる。
続いて、物体距離推定装置の詳細な説明を行う。
When the object distance estimation device determines that the object corresponding to the rectangular area is in contact with the ground, the object distance estimation device identifies the ground contact position of the object, and sets the distance between the ground contact position and the image pickup device as the distance between the object and the image pickup device. presume. In this way, since the distance between the object and the image pickup device is estimated only for the object determined to be in contact with the ground, the object distance estimation device estimates the distance of the object not in contact with the ground having a large error. This can be avoided and the distance to the object to be detected can be estimated accurately.
Subsequently, the object distance estimation device will be described in detail.
［物体距離推定装置１の構成］
図２は、本実施形態に係る物体距離推定装置１の構成を示す図である。物体距離推定装置１は、記憶部１１と、制御部１２とを備えている。
[Configuration of object distance estimation device 1]
FIG. 2 is a diagram showing a configuration of an object distance estimation device 1 according to the present embodiment. The object distance estimation device 1 includes a storage unit 11 and a control unit 12.
記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。記憶部１１は、制御部１２を、取得部１２１、領域分割部１２２、物体検出部１２３、判定部１２４、接地位置特定部１２５、物体距離推定部１２６及び出力部１２７として機能させる物体距離推定プログラムを記憶する。 The storage unit 11 is, for example, a ROM (Read Only Memory) or a RAM (Random Access Memory). The storage unit 11 stores various programs for operating the control unit 12. The storage unit 11 is an object distance estimation program that causes the control unit 12 to function as an acquisition unit 121, a region division unit 122, an object detection unit 123, a determination unit 124, a grounding position identification unit 125, an object distance estimation unit 126, and an output unit 127. Remember.
制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されている物体距離推定プログラムを実行することにより、取得部１２１、領域分割部１２２、物体検出部１２３、判定部１２４、接地位置特定部１２５、物体距離推定部１２６及び出力部１２７として機能する。 The control unit 12 is a calculation resource including a processor such as a CPU (Central Processing Unit) (not shown). By executing the object distance estimation program stored in the storage unit 11, the control unit 12 executes the acquisition unit 121, the area division unit 122, the object detection unit 123, the determination unit 124, the ground contact position identification unit 125, and the object distance estimation. It functions as a unit 126 and an output unit 127.
取得部１２１は、撮像装置２が撮像した撮像画像を取得する。本実施形態において、撮像装置２は、一つの撮像手段を備える単眼カメラである。取得部１２１は、撮像装置２が生成した撮像画像を予め定められたタイムステップが経過するごとに取得する。 The acquisition unit 121 acquires the captured image captured by the imaging device 2. In the present embodiment, the image pickup apparatus 2 is a monocular camera including one imaging means. The acquisition unit 121 acquires the captured image generated by the image pickup device 2 every time a predetermined time step elapses.
領域分割部１２２は、取得部１２１が取得した撮像画像について領域分割処理を実行することにより、当該撮像画像を、地面を示す地面領域と、検出対象の物体を示す物体領域と、地面領域及び物体領域とは異なる一以上の領域とを含む複数の領域に分割する。具体的には、領域分割部１２２は、撮像画像を構成する複数の画素のそれぞれに対して、対応する領域を示す情報を関連付けた分割領域情報を生成する。ここで、複数の領域には、検出対象の物体を示す物体領域と、地面を示す地面領域との他に、例えば、風景を示す風景領域が少なくとも含まれてもよい。なお、白線領域、歩道領域は、地面領域の一種とみなしてもよい。 The region division unit 122 executes the region division processing on the captured image acquired by the acquisition unit 121 to obtain the captured image, the ground region indicating the ground, the object region indicating the object to be detected, the ground region, and the object. It is divided into a plurality of areas including one or more areas different from the area. Specifically, the region dividing unit 122 generates divided region information in which information indicating the corresponding region is associated with each of the plurality of pixels constituting the captured image. Here, the plurality of regions may include at least a landscape region indicating a landscape, for example, in addition to an object region indicating an object to be detected and a ground region indicating the ground. The white line area and the sidewalk area may be regarded as a kind of ground area.
物体検出部１２３は、取得部１２１が取得した撮像画像について物体検出処理を実行することにより、当該撮像画像から、検出対象の物体の位置及び大きさを示す矩形領域を検出する。物体検出部１２３は、撮像画像に検出対象の物体が複数映っている場合には、複数の当該物体のそれぞれを示す複数の矩形領域を検出する。物体検出部１２３は、検出した一以上の矩形領域のそれぞれについて、矩形領域が示す矩形の四つの頂点に対応する座標を示す矩形領域情報を生成する。 The object detection unit 123 detects a rectangular region indicating the position and size of the object to be detected from the captured image by executing the object detection process on the captured image acquired by the acquisition unit 121. When a plurality of objects to be detected are reflected in the captured image, the object detection unit 123 detects a plurality of rectangular regions indicating each of the plurality of the objects. The object detection unit 123 generates rectangular area information indicating coordinates corresponding to the four vertices of the rectangle indicated by the rectangular area for each of the detected one or more rectangular areas.
ここで、矩形領域は、検出対象の物体の少なくとも一部を囲む領域である。矩形領域の位置には誤差が含まれることから、必ずしも検出対象全体を囲わず、矩形領域から検出対象の物体の下端を示す部分がはみ出ることがある。 Here, the rectangular area is an area surrounding at least a part of the object to be detected. Since the position of the rectangular region includes an error, it does not necessarily surround the entire detection target, and the portion indicating the lower end of the object to be detected may protrude from the rectangular region.
判定部１２４は、物体検出部１２３が検出した一以上の矩形領域のそれぞれについて、矩形領域の下端位置と、領域分割部１２２により分割された地面領域の位置との関係に基づいて、矩形領域に対応する物体が地面に接しているか否かを判定する。 For each of the one or more rectangular areas detected by the object detection unit 123, the determination unit 124 creates a rectangular area based on the relationship between the lower end position of the rectangular area and the position of the ground area divided by the area division unit 122. Determine if the corresponding object is in contact with the ground.
具体的には、判定部１２４は、矩形領域の下端位置から上下の所定範囲内に地面領域が含まれる割合に基づいて、当該矩形領域に対応する物体が地面に接しているか否かを判定する。 Specifically, the determination unit 124 determines whether or not the object corresponding to the rectangular region is in contact with the ground based on the ratio of the ground region included in a predetermined range above and below the lower end position of the rectangular region. ..
例えば、判定部１２４は、矩形領域の下端位置から上下の所定範囲内の全画素数を特定するとともに、当該所定範囲内において、地面領域に分類されている画素の数を特定する。そして、判定部１２４は、所定範囲内の全画素数に対する、地面領域に分類されている画素の数が所定の割合（例えば５０％）以上である場合に、矩形領域に対応する物体が地面に接していると判定する。また、判定部１２４は、所定範囲内の全画素数に対する地面領域に分類されている画素の数が所定の割合未満である場合に、矩形領域に対応する物体が地面に接していないと判定する。 For example, the determination unit 124 specifies the total number of pixels in a predetermined range above and below the lower end position of the rectangular region, and also specifies the number of pixels classified in the ground region within the predetermined range. Then, when the number of pixels classified in the ground area is equal to or more than a predetermined ratio (for example, 50%) with respect to the total number of pixels in the predetermined range, the determination unit 124 places an object corresponding to the rectangular area on the ground. Judge that they are in contact. Further, the determination unit 124 determines that the object corresponding to the rectangular region is not in contact with the ground when the number of pixels classified in the ground region is less than a predetermined ratio with respect to the total number of pixels in the predetermined range. ..
接地位置特定部１２５は、矩形領域に対応する物体が地面に接していると判定部１２４が判定すると、当該矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体が地面に接している接地位置を特定する。例えば、接地位置特定部１２５は、矩形領域の下端位置から上下の所定範囲に対応する画素のうち、物体領域に分類されている画素を特定する。そして、接地位置特定部１２５は、物体領域に分類されている画素のうち、最も下方向に位置している画素の位置を、物体の接地位置と特定する。 When the determination unit 124 determines that the object corresponding to the rectangular region is in contact with the ground, the ground contact position specifying unit 125 is based on the position of the object region included within a predetermined range above and below the lower end position of the rectangular region. To identify the ground contact position where the object is in contact with the ground. For example, the grounding position specifying unit 125 identifies the pixels classified in the object region among the pixels corresponding to the predetermined ranges above and below the lower end position of the rectangular region. Then, the grounding position specifying unit 125 identifies the position of the pixel located in the lowermost direction among the pixels classified in the object region as the grounding position of the object.
なお、接地位置特定部１２５は、物体の接地位置の特定範囲を矩形領域の下端位置よりも下であって、当該下端位置から所定範囲内に限定し、当該所定範囲に含まれている物体領域の位置に基づいて、物体の接地位置を特定してもよい。この場合、接地位置特定部１２５は、矩形領域の下端位置よりも下の所定範囲内に物体領域が存在しない場合、矩形領域の下端位置を物体の接地位置として特定してもよい。 The grounding position specifying unit 125 limits the specific range of the grounding position of the object below the lower end position of the rectangular region to a predetermined range from the lower end position, and the object region included in the predetermined range. The ground contact position of the object may be specified based on the position of. In this case, the grounding position specifying unit 125 may specify the lower end position of the rectangular region as the grounding position of the object when the object region does not exist within a predetermined range below the lower end position of the rectangular region.
物体距離推定部１２６は、矩形領域に対応する物体が地面に接していると判定部１２４が判定すると、当該物体と撮像装置２との距離を推定する。物体距離推定部１２６は、接地位置特定部１２５が特定した物体の接地位置に基づいて、当該物体と撮像装置２との距離を推定する。例えば、物体距離推定部１２６は、実空間座標系において、特定した接地位置における高さが０であるとする制約条件の下で透視投影モデルにより距離を算出することで、物体と撮像装置２との距離を推定する。 When the determination unit 124 determines that the object corresponding to the rectangular region is in contact with the ground, the object distance estimation unit 126 estimates the distance between the object and the image pickup device 2. The object distance estimation unit 126 estimates the distance between the object and the image pickup device 2 based on the ground contact position of the object specified by the ground contact position specifying unit 125. For example, the object distance estimation unit 126 can use the perspective projection model to calculate the distance in the real space coordinate system under the constraint that the height at the specified ground contact position is 0, thereby causing the object and the image pickup device 2. Estimate the distance of.
出力部１２７は、物体距離推定部１２６が検出対象の物体に対して推定した距離を示す情報を含み、検出対象の物体を検出したことを示す物体検出情報を出力する。具体的には、出力部１２７は、物体検出部１２３が検出した物体に対応する矩形領域情報と、物体距離推定部１２６が当該物体に対して推定した距離を示す情報とを関連付けた物体検出情報を出力する。 The output unit 127 includes information indicating the distance estimated by the object distance estimation unit 126 with respect to the object to be detected, and outputs the object detection information indicating that the object to be detected has been detected. Specifically, the output unit 127 associates the rectangular area information corresponding to the object detected by the object detection unit 123 with the information indicating the distance estimated by the object distance estimation unit 126 with respect to the object. Is output.
また、出力部１２７は、物体が地面に接していないと判定部１２４が判定すると、距離を示す情報を含まずに、物体検出部１２３が検出した物体に対応する矩形領域情報と、物体が地面に接していないことを示す情報とを関連付けた物体検出情報を出力する。このようにすることで、物体距離推定装置１は、地面に接していないと判定された物体について、当該物体が誤った位置に存在するとみなされることを防止することができる。 Further, when the determination unit 124 determines that the object is not in contact with the ground, the output unit 127 does not include the information indicating the distance, but includes the rectangular area information corresponding to the object detected by the object detection unit 123 and the object is on the ground. Outputs object detection information associated with information indicating that it is not in contact with. By doing so, the object distance estimation device 1 can prevent the object determined not to be in contact with the ground from being regarded as being present at an erroneous position.
［物体距離推定装置１における処理の流れ］
続いて、物体距離推定装置１における処理の流れについて説明する。図３は、本実施形態に係る物体距離推定装置１における処理の流れを示すフローチャートである。なお、物体距離推定装置１は、各タイムステップにおいて本フローチャートに係る処理を実行するものとする。
[Process flow in object distance estimation device 1]
Subsequently, the flow of processing in the object distance estimation device 1 will be described. FIG. 3 is a flowchart showing a processing flow in the object distance estimation device 1 according to the present embodiment. The object distance estimation device 1 shall execute the process related to this flowchart at each time step.
まず、取得部１２１は、撮像装置２から撮像画像を取得する（Ｓ１）。
続いて、領域分割部１２２は、Ｓ１において取得された撮像画像を、地面を示す地面領域及び検出対象の物体を示す物体領域を含む複数の領域に分割する（Ｓ２）。
First, the acquisition unit 121 acquires an captured image from the imaging device 2 (S1).
Subsequently, the region dividing unit 122 divides the captured image acquired in S1 into a plurality of regions including a ground region indicating the ground and an object region indicating an object to be detected (S2).
物体検出部１２３は、Ｓ１において取得された撮像画像から、検出対象の物体を示す矩形領域を検出する（Ｓ３）。
なお、Ｓ２及びＳ３における処理は、図３に示す順番とは異なる順番で実行されてもよいし、並列して実行されてもよい。
The object detection unit 123 detects a rectangular region indicating an object to be detected from the captured image acquired in S1 (S3).
The processes in S2 and S3 may be executed in an order different from the order shown in FIG. 3, or may be executed in parallel.
続いて、判定部１２４は、Ｓ３において行われた矩形領域の検出に係る処理において、矩形領域が検出されたか否かを判定する（Ｓ４）。判定部１２４は、矩形領域が検出されたと判定すると、Ｓ５に処理を移し、矩形領域が検出されないと判定すると、本フローチャートに係る処理を終了する。 Subsequently, the determination unit 124 determines whether or not the rectangular region is detected in the process related to the detection of the rectangular region performed in S3 (S4). When the determination unit 124 determines that the rectangular area is detected, the process is transferred to S5, and when it is determined that the rectangular area is not detected, the determination unit 124 ends the process according to this flowchart.
続いて、判定部１２４は、Ｓ３において検出された一以上の矩形領域のうち、一つの矩形領域を選択する（Ｓ５）。
続いて、判定部１２４は、Ｓ５において選択した矩形領域の下端位置と、Ｓ２において分割された地面領域の位置との関係に基づいて、当該矩形領域に対応する物体が地面に接しているか否かを判定する（Ｓ６）。判定部１２４は、物体が地面に接していると判定するとＳ７に処理を移し、物体が地面に接していないと判定するとＳ９に処理を移す。
Subsequently, the determination unit 124 selects one rectangular area from the one or more rectangular areas detected in S3 (S5).
Subsequently, the determination unit 124 determines whether or not the object corresponding to the rectangular area is in contact with the ground based on the relationship between the lower end position of the rectangular area selected in S5 and the position of the ground area divided in S2. Is determined (S6). When the determination unit 124 determines that the object is in contact with the ground, the process is transferred to S7, and when it is determined that the object is not in contact with the ground, the process is transferred to S9.
続いて、接地位置特定部１２５は、Ｓ５において選択されている矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体の接地位置を特定する（Ｓ７）。
続いて、物体距離推定部１２６は、Ｓ７において特定された接地位置に基づいて、撮像装置２から、Ｓ５において選択された矩形領域に対応する物体までの距離を推定する（Ｓ８）。
Subsequently, the ground contact position specifying unit 125 identifies the ground contact position of the object based on the position of the object region included within a predetermined range above and below the lower end position of the rectangular region selected in S5 (S7). ..
Subsequently, the object distance estimation unit 126 estimates the distance from the image pickup apparatus 2 to the object corresponding to the rectangular region selected in S5 based on the ground contact position specified in S7 (S8).
続いて、出力部１２７は、Ｓ５において選択された矩形領域に対応する矩形領域情報と、Ｓ８において推定された検出対象の物体までの距離を示す情報とを関連付けた物体検出情報を出力する（Ｓ９）。なお、出力部１２７は、Ｓ６において、物体が地面に接していないと判定すると、Ｓ５において選択された矩形領域に対応する矩形領域情報と、物体が地面に接していないことを示す情報とを関連付けた物体検出情報を出力する。 Subsequently, the output unit 127 outputs the object detection information in which the rectangular area information corresponding to the rectangular area selected in S5 is associated with the information indicating the distance to the object to be detected estimated in S8 (S9). ). When the output unit 127 determines in S6 that the object is not in contact with the ground, the output unit 127 associates the rectangular area information corresponding to the rectangular area selected in S5 with the information indicating that the object is not in contact with the ground. Outputs the object detection information.
続いて、判定部１２４は、Ｓ３において検出された一以上の矩形領域のうち、全ての矩形領域を選択済であるか否かを判定する（Ｓ１０）。判定部１２４は、全ての矩形領域を選択済であると判定すると、本フローチャートに係る処理を終了し、全ての矩形領域を選択済ではないと判定すると、Ｓ５に処理を移す。 Subsequently, the determination unit 124 determines whether or not all the rectangular regions have been selected from the one or more rectangular regions detected in S3 (S10). When the determination unit 124 determines that all the rectangular areas have been selected, it ends the process according to this flowchart, and when it determines that all the rectangular areas have not been selected, it shifts the process to S5.
なお、物体距離推定装置１は、本フローチャートに示すように、各タイムステップにおいて、Ｓ２に示す領域分割に係る処理を行ったが、これに限らない。物体距離推定装置１は、Ｓ３に係る処理において矩形領域が検出されたことに応じて、Ｓ２に係る処理を実行するようにしてもよい。 As shown in this flowchart, the object distance estimation device 1 performs the process related to the region division shown in S2 in each time step, but the present invention is not limited to this. The object distance estimation device 1 may execute the process related to S2 in response to the detection of the rectangular region in the process related to S3.
［本実施形態の効果］
以上説明したように、本実施形態に係る物体距離推定装置１は、撮像装置２が撮像した撮像画像を、地面を示す地面領域と、地面領域とは異なる一以上の領域とを含む複数の領域に分割し、撮像画像から検出対象の物体を示す矩形領域を検出し、検出した矩形領域の下端位置と、分割された地面領域の位置との関係に基づいて、矩形領域に対応する物体が地面に接しているかを判定する。そして、物体距離推定装置１は、物体が地面に接していると判定すると、当該物体と撮像装置２との距離を推定し、当該距離を示す情報を含み、物体を検出したことを示す物体検出情報を出力する。このようにすることで、物体距離推定装置１は、地面に接している検出対象に限定して、物体までの距離を推定することができる。
[Effect of this embodiment]
As described above, the object distance estimation device 1 according to the present embodiment captures an image captured by the image pickup device 2 in a plurality of regions including a ground region indicating the ground and one or more regions different from the ground region. The rectangular area indicating the object to be detected is detected from the captured image, and the object corresponding to the rectangular area is the ground based on the relationship between the lower end position of the detected rectangular area and the position of the divided ground area. Determine if it is in contact with. Then, when the object distance estimation device 1 determines that the object is in contact with the ground, it estimates the distance between the object and the image pickup device 2, includes information indicating the distance, and detects an object indicating that the object has been detected. Output information. By doing so, the object distance estimation device 1 can estimate the distance to the object only for the detection target in contact with the ground.
また、物体距離推定装置１は、矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体が地面に接している接地位置を特定し、当該接地位置に基づいて、当該物体と撮像装置との距離を推定するので、検出対象の物体までの距離の精度をさらに高めることができる。 Further, the object distance estimation device 1 identifies the ground contact position where the object is in contact with the ground based on the position of the object region included in a predetermined range above and below the lower end position of the rectangular region, and sets the ground contact position. Since the distance between the object and the image pickup device is estimated based on the above, the accuracy of the distance to the object to be detected can be further improved.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、上述の実施の形態では、物体距離推定装置１が乗用車、バス、トラック等の車両に設けられるものとしたが、これに限らない。物体距離推定装置１は、これらの車両に限らず、二輪車、電車等の、障害物との距離を推定することが必要な移動体に設けられてもよい。また、物体距離推定装置１は、車両の前方を撮像する撮像装置が撮像した撮像画像に基づいて、撮像装置と、車両の前方の検出対象の物体との距離を推定したが、これに限らない。例えば、撮像装置が車両の後方を撮像するものであってもよく、物体距離推定装置１は、撮像装置と、車両の後方の検出対象の物体との距離を推定してもよい。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. is there. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Further, in the above-described embodiment, the object distance estimation device 1 is provided in a vehicle such as a passenger car, a bus, or a truck, but the present invention is not limited to this. The object distance estimation device 1 is not limited to these vehicles, and may be provided on a moving body such as a two-wheeled vehicle or a train that needs to estimate the distance to an obstacle. Further, the object distance estimation device 1 estimates the distance between the image pickup device and the object to be detected in front of the vehicle based on the image captured by the image pickup device that images the front of the vehicle, but is not limited to this. .. For example, the image pickup device may image the rear of the vehicle, and the object distance estimation device 1 may estimate the distance between the image pickup device and the object to be detected behind the vehicle.
また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.
１ 物体距離推定装置
１１ 記憶部
１２ 制御部
１２１ 取得部
１２２ 領域分割部
１２３ 物体検出部
１２４ 判定部
１２５ 接地位置特定部
１２６ 物体距離推定部
１２７ 出力部
２ 撮像装置
1 Object distance estimation device 11 Storage unit 12 Control unit 121 Acquisition unit 122 Area division unit 123 Object detection unit 124 Judgment unit 125 Grounding position identification unit 126 Object distance estimation unit 127 Output unit 2 Imaging device
Claims (5)
前記撮像画像から検出対象の物体を示す矩形領域を検出する物体検出部と、
前記物体検出部が検出した前記矩形領域の下端位置と、前記領域分割部により分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定する判定部と、
前記物体が地面に接していると前記判定部が判定すると、当該物体と前記撮像装置との距離を推定する物体距離推定部と、
前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、
を備える物体距離推定装置。 A region dividing portion that divides an image captured by an imaging device into a plurality of regions including a ground region indicating the ground and one or more regions different from the ground region.
An object detection unit that detects a rectangular area indicating an object to be detected from the captured image, and an object detection unit.
Based on the relationship between the lower end position of the rectangular region detected by the object detection unit and the position of the ground region divided by the region division portion, whether or not the object corresponding to the rectangular region is in contact with the ground is determined. Judgment unit and
When the determination unit determines that the object is in contact with the ground, the object distance estimation unit that estimates the distance between the object and the image pickup device, and the object distance estimation unit.
An output unit that includes information indicating the distance estimated by the object distance estimation unit with respect to the object and outputs object detection information indicating that the object has been detected.
An object distance estimation device including.
請求項１に記載の物体距離推定装置。 The determination unit determines whether or not the object corresponding to the rectangular area is in contact with the ground based on the ratio of the ground area included in a predetermined range above and below the lower end position of the rectangular area.
The object distance estimation device according to claim 1.
前記物体が地面に接していると前記判定部が判定すると、前記矩形領域の下端位置から上下の所定範囲内に含まれている前記物体領域の位置に基づいて、前記物体が地面に接している接地位置を特定する接地位置特定部をさらに備え、
前記物体距離推定部は、前記接地位置特定部が特定した前記物体の前記接地位置に基づいて、当該物体と前記撮像装置との距離を推定する、
請求項１又は２に記載の物体距離推定装置。 The region division portion divides the captured image into the plurality of regions including the ground region and the object region which is a region showing the object.
When the determination unit determines that the object is in contact with the ground, the object is in contact with the ground based on the position of the object region included within a predetermined range above and below the lower end position of the rectangular region. It also has a grounding position identification part that identifies the grounding position.
The object distance estimation unit estimates the distance between the object and the imaging device based on the grounding position of the object specified by the grounding position specifying unit.
The object distance estimation device according to claim 1 or 2.
請求項１から３のいずれか１項に記載の物体距離推定装置。 When the determination unit determines that the object is not in contact with the ground, the output unit outputs the object detection information including information indicating that the object is not in contact with the ground.
The object distance estimation device according to any one of claims 1 to 3.
撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割するステップと、
前記撮像画像から検出対象の物体を示す矩形領域を検出するステップと、
検出された前記矩形領域の下端位置と、分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定するステップと、
前記判定するステップにおいて前記物体が地面に接していると判定されると、当該物体と前記撮像装置との距離を推定するステップと、
前記物体に対して推定された距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力するステップと、
を備える物体距離推定方法。 Computer runs,
A step of dividing an image captured by an imaging device into a plurality of regions including a ground region indicating the ground and one or more regions different from the ground region.
A step of detecting a rectangular area indicating an object to be detected from the captured image, and
A step of determining whether or not the object corresponding to the rectangular area is in contact with the ground based on the relationship between the detected lower end position of the rectangular area and the position of the divided ground area.
When it is determined that the object is in contact with the ground in the determination step, a step of estimating the distance between the object and the image pickup device and
A step of outputting object detection information indicating that the object has been detected, including information indicating an estimated distance to the object, and
An object distance estimation method comprising.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019167243A JP2021043141A (en) | 2019-09-13 | 2019-09-13 | Object distance estimating device and object distance estimating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019167243A JP2021043141A (en) | 2019-09-13 | 2019-09-13 | Object distance estimating device and object distance estimating method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021043141A true JP2021043141A (en) | 2021-03-18 |
Family
ID=74863954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019167243A Pending JP2021043141A (en) | 2019-09-13 | 2019-09-13 | Object distance estimating device and object distance estimating method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021043141A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023095403A1 (en) * | 2021-11-26 | 2023-06-01 | 日立Astemo株式会社 | External environment recognition device |
-
2019
- 2019-09-13 JP JP2019167243A patent/JP2021043141A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023095403A1 (en) * | 2021-11-26 | 2023-06-01 | 日立Astemo株式会社 | External environment recognition device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363863B2 (en) | Information processing apparatus and information processing method | |
| JP5754470B2 (en) | Road surface shape estimation device | |
| WO2015125298A1 (en) | Local location computation device and local location computation method | |
| JP6239186B2 (en) | Display control apparatus, display control method, and display control program | |
| JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5299296B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| US10339396B2 (en) | Vehicle accessibility determination device | |
| JP6237875B2 (en) | Self-position calculation device and self-position calculation method | |
| JP5710752B2 (en) | Detection apparatus, method and program | |
| WO2018235300A1 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| JP6237874B2 (en) | Self-position calculation device and self-position calculation method | |
| WO2015125301A1 (en) | Local location computation device and local location computation method | |
| WO2015125300A1 (en) | Local location computation device and local location computation method | |
| JP2008262333A (en) | Road surface discrimination device and road surface discrimination method | |
| JP2019091169A (en) | Image processor, method of controlling image processor, and program | |
| JP2021043141A (en) | Object distance estimating device and object distance estimating method | |
| JP6398218B2 (en) | Self-position calculation device and self-position calculation method | |
| EP3879810A1 (en) | Imaging device | |
| JP2021051348A (en) | Object distance estimation apparatus and object distance estimation method | |
| JP5330341B2 (en) | Ranging device using in-vehicle camera | |
| JP6734136B2 (en) | Image processing device | |
| JP6867766B2 (en) | Information processing device and its control method, program | |
| JP2009070097A (en) | Vehicle length measuring device and vehicle model determination device | |
| CN112417924B (en) | Space coordinate acquisition method and device for marker post | |
| JP5964093B2 (en) | Vehicle size measuring device, vehicle size measuring method, and program |