JP2018132477A - Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program - Google Patents
Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program Download PDFInfo
- Publication number
- JP2018132477A JP2018132477A JP2017027755A JP2017027755A JP2018132477A JP 2018132477 A JP2018132477 A JP 2018132477A JP 2017027755 A JP2017027755 A JP 2017027755A JP 2017027755 A JP2017027755 A JP 2017027755A JP 2018132477 A JP2018132477 A JP 2018132477A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- dimension
- input image
- estimated
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、入力画像に写る物体の実空間上での寸法を推定するための深度推定装置、寸法推定装置、深度推定方法、寸法推定方法、及びプログラムに関する。 The present invention relates to a depth estimation device, a size estimation device, a depth estimation method, a size estimation method, and a program for estimating the size of an object shown in an input image in real space.
１枚の入力画像から、その画像に写る物体の寸法を測定するためには、撮影条件等を整えて画像内の画素と実世界での寸法を対応付ける必要がある。また、撮影条件を予め設定することなく、任意に撮影された画像内の寸法を推定する方法としては画像内の一部分の寸法を既知の情報として与えることで、寸法が既知である箇所との関係性によって対象箇所の寸法を推定する手法が存在している。 In order to measure the size of an object appearing in an input image from a single input image, it is necessary to adjust the shooting conditions and associate the pixels in the image with the dimensions in the real world. In addition, as a method of estimating the size in an arbitrarily shot image without setting shooting conditions in advance, the relationship with a location where the size is known can be obtained by giving the size of a part of the image as known information. There is a method for estimating the size of a target location based on the property.
上述した方法を用いると、寸法が既知である物体と対象物体とのカメラからの距離が等しければ画素値の比がそのまま実空間上の寸法の比となるため、容易に推定を行うことができる。 When the above-described method is used, if the distance between the object having a known size and the target object from the camera is equal, the ratio of the pixel values becomes the ratio of the size in the real space as it is, so that the estimation can be easily performed. .
例えば非特許文献１では、画像の消失点を用いて地面等の画像に写る平面上での深度変化とそれに応じた画像上での大きさの変化をモデル化することで、推定対象物体の寸法を推定する手法が提案されている。これにより、寸法が既知の参照物体と推定対象物体とが異なる深度に存在していた場合でも、寸法を推定することができる。 For example, in Non-Patent Document 1, by using a vanishing point of an image to model a change in depth on a plane reflected in an image such as the ground and a change in size on the image according to the model, the size of the estimation target object is modeled. A method for estimating the value has been proposed. Thereby, even when the reference object whose dimension is known and the estimation target object exist at different depths, the dimension can be estimated.
一方、画像情報に加えて深度センサを用いた深度情報を用いることができれば対象物体の三次元形状を得ることができるため当然寸法を求めることも容易となる。 On the other hand, if the depth information using the depth sensor can be used in addition to the image information, the three-dimensional shape of the target object can be obtained, so that the size can be easily obtained.
例えば非特許文献２では、１枚の画像のみから深度を推定する手法が提案されている。これを用いて深度情報を得ることで、深度を考慮した三次元空間上での寸法を計算することができる。 For example, Non-Patent Document 2 proposes a method for estimating the depth from only one image. By using this to obtain depth information, it is possible to calculate dimensions in a three-dimensional space in consideration of depth.
上記特許文献１で提案されている手法では、画像から消失点を正しく求める必要があり、また参照物体と推定対象物体が同一の平面上に存在している必要があるため、適用範囲が限られている。このような限定条件を設けることなく多様なシーンにおいて画像１枚から実空間上の寸法を推定することが望ましい。 In the method proposed in Patent Document 1, it is necessary to correctly obtain the vanishing point from the image, and the reference object and the estimation target object must exist on the same plane, so the applicable range is limited. ing. It is desirable to estimate the size in real space from one image in various scenes without providing such a limiting condition.
また、非特許文献２で提案されている手法によって推定される深度は、実際には、撮影するシーンによって大きな誤差が発生する傾向があり、推定された深度を深度センサで得られる深度の代わりに用いることは難しい。 In addition, the depth estimated by the method proposed in Non-Patent Document 2 tends to cause a large error depending on the scene to be photographed, and the estimated depth is used instead of the depth obtained by the depth sensor. It is difficult to use.
本発明は、以上のような事情に鑑みてなされたものであり、入力画像に写る物体の深度を精度良く推定することができる深度推定装置、深度推定方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a depth estimation device, a depth estimation method, and a program that can accurately estimate the depth of an object shown in an input image. To do.
また、入力画像に写る物体の実空間上での寸法を精度良く推定することができる寸法推定装置、寸法推定方法、及びプログラムを提供することを目的とする。 It is another object of the present invention to provide a size estimation device, a size estimation method, and a program that can accurately estimate the size of an object shown in an input image in real space.
上記目的を達成するために、本発明の深度推定装置は、入力画像について、予め学習された、深度を推定するための深度推定モデルに基づいて前記入力画像の各画素の深度を推定する深度推定部と、前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出する深度修正パラメータ算出部と、を含む。 In order to achieve the above object, the depth estimation apparatus of the present invention estimates the depth of each pixel of the input image based on a depth estimation model for estimating the depth learned in advance for the input image. And a depth of each of the pixels corresponding to the portion of the dimensional information estimated by the depth estimation unit, receiving an input of dimensional information of a portion of the input image having a known size in real space A depth correction parameter calculation unit that calculates a parameter of a depth correction model for correcting the depth of each pixel of the input image estimated by the depth estimation unit using the dimension information.
なお、前記寸法情報は、前記入力画像中の２点間の寸法であり、前記深度修正パラメータ算出部は、前記寸法情報の２点に対応する２つの画素の各々の深度を、前記深度修正モデルにより修正したときの、前記２つの画素間の実空間上の寸法と、前記寸法情報の寸法とが等しいことを表す方程式を解くことにより、前記深度修正モデルのパラメータを算出するようにしても良い。 The dimension information is a dimension between two points in the input image, and the depth correction parameter calculation unit calculates the depth of each of two pixels corresponding to the two points of the dimension information as the depth correction model. The parameter of the depth correction model may be calculated by solving an equation indicating that the dimension in the real space between the two pixels and the dimension of the dimension information are equal when corrected by .
また、前記深度修正パラメータ算出部は、２つ以上の前記寸法情報の入力を受け付け、前記寸法情報の各々に対する、前記入力画像を撮像したカメラの焦点距離を示すパラメータを含む前記方程式を解くことにより、前記焦点距離を示すパラメータ、及び前記深度修正モデルのパラメータを算出するようにしても良い。 Further, the depth correction parameter calculation unit accepts input of two or more pieces of the dimension information, and solves the equation including a parameter indicating a focal length of a camera that has captured the input image for each of the dimension information. The parameter indicating the focal length and the parameter of the depth correction model may be calculated.
上記目的を達成するために、本発明の寸法推定装置は、請求項１〜３の何れか１項記載の深度推定装置と、前記入力画像中の、寸法を推定したい部分の両端の指定を受け付け、前記深度推定装置の前記深度推定部により推定された、前記寸法を推定したい部分の両端に対応する画素の各々の深度と、前記深度修正パラメータ算出部により算出された前記深度修正モデルのパラメータと、前記両端に対応する画素の各々の座標とを用いて、前記寸法を推定したい部分の両端の実空間上の寸法を推定する寸法推定部と、を含む。 In order to achieve the above object, a size estimation device according to the present invention receives the depth estimation device according to any one of claims 1 to 3 and designation of both ends of a portion of the input image whose size is to be estimated. , The depth of each pixel corresponding to both ends of the portion whose size is to be estimated, estimated by the depth estimation unit of the depth estimation device, and the parameter of the depth correction model calculated by the depth correction parameter calculation unit, And a size estimation unit that estimates the size in real space at both ends of the portion whose size is to be estimated using the coordinates of the pixels corresponding to the both ends.
上記目的を達成するために、本発明の深度推定方法は、深度推定部、及び深度修正パラメータ算出部を有する深度推定装置における深度推定方法であって、前記深度推定部が、入力画像について、予め学習された、深度を推定するための深度推定モデルに基づいて前記入力画像の各画素の深度を推定するステップと、前記深度修正パラメータ算出部が、前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出するステップと、を含む。 In order to achieve the above object, a depth estimation method of the present invention is a depth estimation method in a depth estimation apparatus having a depth estimation unit and a depth correction parameter calculation unit, and the depth estimation unit The step of estimating the depth of each pixel of the input image based on the learned depth estimation model for estimating the depth, and the depth correction parameter calculation unit, the dimension in the real space in the input image Estimated by the depth estimation unit using the depth information of each of the pixels corresponding to the portion of the dimension information, which is estimated by the depth estimation unit, and received by the depth estimation unit. Calculating a depth correction model parameter for correcting the depth of each pixel of the input image.
上記目的を達成するために、本発明の寸法推定方法は、深度推定部、及び深度修正パラメータ算出部を有する深度推定装置と、寸法推定部と、を有する寸法推定装置における寸法推定方法であって、前記深度推定部が、入力画像について、予め学習された、深度を推定するための深度推定モデルに基づいて前記入力画像の各画素の深度を推定するステップと、前記深度修正パラメータ算出部が、前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出するステップと、前記寸法推定部が、前記入力画像中の、寸法を推定したい部分の両端の指定を受け付け、前記深度推定装置の前記深度推定部により推定された、前記寸法を推定したい部分の両端に対応する画像の各々の深度と、前記深度修正パラメータ算出部により算出された前記深度修正モデルのパラメータとを用いて、前記寸法を推定したい部分の両端の実空間上の寸法を推定するステップと、を含む。 In order to achieve the above object, a dimension estimation method of the present invention is a dimension estimation method in a dimension estimation apparatus having a depth estimation unit and a depth estimation parameter calculation unit, and a dimension estimation unit. The depth estimation unit is configured to estimate the depth of each pixel of the input image based on a depth estimation model for estimating the depth that has been learned in advance for the input image; and the depth correction parameter calculation unit, The depth of each of the pixels corresponding to the portion of the dimension information, which is estimated by the depth estimation unit, is received by the input of the dimension information of the portion of the input image whose dimension in the real space is known, and the size Calculating a parameter of a depth correction model for correcting the depth of each pixel of the input image estimated by the depth estimation unit using the information, and the size estimation Receives the designation of both ends of the portion whose size is to be estimated in the input image and is estimated by the depth estimation unit of the depth estimation device, and the depth of each of the images corresponding to both ends of the portion whose size is to be estimated And estimating a size in real space at both ends of a portion where the dimension is to be estimated using the depth correction model parameter calculated by the depth correction parameter calculation unit.
上記目的を達成するために、本発明のプログラムは、コンピュータを、上記深度推定装置及び上記寸法推定装置の各部として機能させるためのプログラムである。 In order to achieve the above object, a program of the present invention is a program for causing a computer to function as each part of the depth estimation apparatus and the dimension estimation apparatus.
本発明に係る深度推定装置、深度推定方法、及びプログラムによれば、入力画像に写る物体の深度を精度良く推定することができることが可能となる。 According to the depth estimation device, the depth estimation method, and the program according to the present invention, it is possible to accurately estimate the depth of an object shown in an input image.
本発明に係る寸法推定装置、寸法推定方法、及びプログラムによれば、入力画像に写る物体の寸法を精度良く推定することが可能となる。 According to the size estimation apparatus, the size estimation method, and the program according to the present invention, it is possible to accurately estimate the size of an object shown in an input image.
以下、本実施形態について図面を用いて説明する。 Hereinafter, the present embodiment will be described with reference to the drawings.
本実施形態に係る寸法推定装置は、上記非特許文献２で提案されている、画像１枚を入力として深度を推定する手法を活用して、推定された深度に基づいて、入力画像に写る物体の実空間上での寸法、又は入力画像における寸法を推定したい部分の寸法を推定する。ただし、上記非特許文献２で提案されている手法には、上述したように、撮影シーンによっては大きな誤差が発生するという欠点がある。そこで、本実施形態では、入力画像の各画素について推定された深度の誤差を修正することにより、推定された深度を実空間における深度マップに近付けると共に、修正した深度を用いて、入力画像における寸法を推定したい部分の寸法を推定することで、入力画像に対応する任意箇所の実空間における寸法を精度良く推定する。 The size estimation apparatus according to the present embodiment utilizes the technique proposed in Non-Patent Document 2 described above to estimate the depth using one image as an input, and an object that appears in the input image based on the estimated depth The size in the real space or the size of the portion for which the size in the input image is to be estimated is estimated. However, the method proposed in Non-Patent Document 2 has a drawback that a large error occurs depending on the shooting scene as described above. Therefore, in the present embodiment, by correcting the estimated depth error for each pixel of the input image, the estimated depth is brought close to the depth map in the real space, and the dimension in the input image is used using the corrected depth. By estimating the size of the part where it is desired to estimate the size, the size of the arbitrary space corresponding to the input image in the real space is accurately estimated.
まず、深度を推定するための深度推定モデルに基づいて推定された各画素の深度（誤差を含む各画素の深度）をｚとし、実空間上の各画素の深度（実際の深度）を
としたとする。この場合において、両者には、パラメータａを有する
で示されるような比例の関係が存在していることを仮定する。
First, the depth of each pixel estimated based on the depth estimation model for estimating the depth (depth of each pixel including an error) is set to z, and the depth of each pixel in the real space (actual depth) is set to z.
Suppose that. In this case, both have a parameter a.
Assume that there is a proportional relationship as shown in.
このような比例の関係に加えて、入力画像における既知の寸法情報（実空間上の寸法情報）を用いると、パラメータａを求める方程式が得られる。 In addition to such a proportional relationship, using known dimensional information (dimensional information in real space) in the input image, an equation for obtaining the parameter a can be obtained.
すなわち、入力画像における寸法を推定したい部分の寸法を求める際に必要となる、カメラの焦点距離を示すパラメータｆが未知のパラメータであることを考慮すると、入力画像における寸法を推定したい部分の寸法を求めるためには、パラメータａ及びパラメータｆの２つの未知のパラメータを求める必要がある。 That is, in consideration of the fact that the parameter f indicating the focal length of the camera, which is necessary for obtaining the size of the portion of the input image to be estimated, is an unknown parameter, the size of the portion of the input image to be estimated is determined. In order to obtain, it is necessary to obtain two unknown parameters, parameter a and parameter f.
そこで、本実施形態では、上述した比例の関係に、入力画像における２箇所の寸法情報を与えて、２つの連立方程式を作成し、これらの２つの連立方程式を解くことによって、パラメータａ、及びパラメータｆを求める。また、求めたパラメータａによって誤差が修正された各画素の深度と、推定対象物の寸法の両端に対応する各々の画素の座標を用いることで、推定対象物の実空間上での寸法を三次元的に算出する。 Therefore, in the present embodiment, two simultaneous equations are created by giving dimensional information of two locations in the input image to the proportional relationship described above, and the parameters a and the parameters are solved by solving these two simultaneous equations. Find f. Further, by using the depth of each pixel in which the error is corrected by the obtained parameter a and the coordinates of each pixel corresponding to both ends of the size of the estimation object, the size of the estimation object in the real space can be converted into a third order. Calculate based on the original.
図１は、本実施形態に係る寸法推定装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る寸法推定装置１０は、深度推定装置１１、及び、寸法推定部１８を備えている。また、深度推定装置１１は、深度推定部１２、深度推定モデル記憶部１４、及び、深度修正パラメータ算出部１６を備えている。 FIG. 1 is a block diagram illustrating a functional configuration of a size estimation apparatus 10 according to the present embodiment. As shown in FIG. 1, the dimension estimation apparatus 10 according to the first embodiment includes a depth estimation apparatus 11 and a dimension estimation unit 18. The depth estimation apparatus 11 includes a depth estimation unit 12, a depth estimation model storage unit 14, and a depth correction parameter calculation unit 16.
なお、本実施形態に係る寸法推定装置１０は、入力画像２０を示す画像情報、入力画像２０に対応する、実空間上の寸法が既知な部分の寸法情報２２、及び、寸法を推定したい推定対象部分の両端の位置情報２４を入力として、寸法を推定したい部分の実空間上での寸法情報２６を出力とする。 Note that the dimension estimation apparatus 10 according to the present embodiment includes image information indicating the input image 20, dimension information 22 of a part corresponding to the input image 20 whose dimensions in the real space are known, and an estimation target for which a dimension is to be estimated. The position information 24 at both ends of the part is input, and the dimension information 26 in the real space of the part whose dimensions are to be estimated is output.
深度推定部１２は、上記非特許文献１で提案されている深度推定手法を用いて、入力画像２０の各画素の深度を推定する。本実施形態では、入力画像２０に対応する、深度を推定するための深度推定モデルが予め学習され、学習された深度推定モデルが深度推定モデル記憶部１４に予め記憶されている。深度推定部１２は、深度推定モデルを用いて、入力画像２０の各画素の深度を推定する。ここでは、入力画像２０の各画素の深度をｚで表し、入力画像２０の画素ｉの深度をｚｉで表す。 The depth estimation unit 12 estimates the depth of each pixel of the input image 20 using the depth estimation method proposed in Non-Patent Document 1. In the present embodiment, a depth estimation model for estimating the depth corresponding to the input image 20 is learned in advance, and the learned depth estimation model is stored in the depth estimation model storage unit 14 in advance. The depth estimation unit 12 estimates the depth of each pixel of the input image 20 using a depth estimation model. Here, the depth of each pixel of the input image 20 is represented by z, and the depth of the pixel i of the input image 20 is represented by z i .
深度修正パラメータ算出部１６は、推定された深度ｚに対して、実空間上での深度に対する誤差を打ち消すような修正を行う。 The depth correction parameter calculation unit 16 corrects the estimated depth z so as to cancel an error with respect to the depth in the real space.
まず、深度修正パラメータ算出部１６は、入力画像２０上で寸法が既知である２箇所の指定を受け付け、指定された２箇所の寸法の入力を受け付ける。寸法情報の入力は、一例として図２に示すように、箇所毎に、入力画像２０上の２点３０、３２を指定すると共に、２点３０、３２間の実空間上の距離を入力することで行う。 First, the depth correction parameter calculation unit 16 accepts designation of two locations whose dimensions are known on the input image 20, and accepts input of the designated two locations. As an example, the dimension information is input by specifying two points 30 and 32 on the input image 20 and inputting a distance in the real space between the two points 30 and 32 for each part as shown in FIG. To do.
ここで、指定された箇所の画素の座標と、深度推定部１２により推定された各画素の深度ｚを用いると、深度ｚにおける寸法を算出することができるが、上記非特許文献１の深度推定手法によって推定される深度ｚは誤差を含むことが知られており、推定された深度ｚをそのまま用いると、指定された箇所の寸法を精度良く求めることができない。 Here, if the coordinates of the pixel at the designated location and the depth z of each pixel estimated by the depth estimation unit 12 are used, the dimension at the depth z can be calculated. It is known that the depth z estimated by the method includes an error, and if the estimated depth z is used as it is, the dimension of the designated location cannot be obtained with high accuracy.
そこで、本実施形態では、実際の深度
が、推定された深度ｚに基づく関数ｇ（ｚ）で表されると仮定し、既知の寸法情報を用いて関数ｇ（ｚ）が有するパラメータを求めることで、入力画像２０の画素ｉの深度ｚｉの誤差の修正を行う。 Is represented by a function g (z) based on the estimated depth z, and the parameters of the function g (z) are obtained using known dimensional information, whereby the depth of the pixel i of the input image 20 is determined. Correct the error of z i .
なお、関数ｇ（ｚ）としては、下記（１）式乃至（４）式に示すような、様々な関数を用いることができる。本実施形態では、下記（１）式で表現した関数ｇ（ｚ）を、深度修正モデルとして用い、推定された深度を修正する際に必要となるパラメータを、パラメータａのみとした場合について説明する。 As the function g (z), various functions as shown in the following formulas (1) to (4) can be used. In the present embodiment, a case will be described in which the function g (z) expressed by the following equation (1) is used as a depth correction model, and the parameter necessary for correcting the estimated depth is only the parameter a. .
＜深度修正モデルとする関数ｇ（ｚ）の例＞
…（１）
…（２）
…（３）
…（４）
なお、ｅは自然対数である。
<Example of function g (z) as depth correction model>
... (1)
... (2)
... (3)
... (4)
Note that e is a natural logarithm.
また、入力画像２０上の（ｘ，ｙ）座標と、各画素の深度ｚとを用いて、実空間の三次元座標を求めるためには、カメラの焦点距離を示すパラメータｆを求める必要がある。そこで、本実施形態では、深度修正パラメータ算出部１６は、２箇所の既知の寸法情報を用いて２つの連立方程式を作成し、２つの連立方程式を解くことにより、関数ｇ（ｚ）のパラメータａ及びパラメータｆの値を求める。 Further, in order to obtain the three-dimensional coordinates in the real space using the (x, y) coordinates on the input image 20 and the depth z of each pixel, it is necessary to obtain a parameter f indicating the focal length of the camera. . Therefore, in the present embodiment, the depth correction parameter calculation unit 16 creates two simultaneous equations using known dimensional information at two locations, and solves the two simultaneous equations, thereby obtaining the parameter a of the function g (z). And the value of the parameter f is obtained.
指定された２箇所のうちの一方の箇所の両端の２点の画素をｉ、ｊとすると、２点間を結ぶ距離ｌは、パラメータａ及びパラメータｆを用いて下記（５）式のように表される。また、他方の箇所の両端の２点の画素をｉ’、ｊ’とすると、２点間を結ぶ距離ｌ’は、パラメータａ及びパラメータｆを用いて下記（６）式のように表される。このように、２箇所の既知の寸法情報を用いて、２つの画素間の実空間上の寸法と、寸法情報の寸法とが等しいことを表す２つの等式が得られる。 If two pixels at both ends of one of the two designated locations are i and j, the distance l connecting the two points is expressed by the following equation (5) using the parameter a and the parameter f. expressed. If the two pixels at both ends of the other part are i ′ and j ′, the distance l ′ connecting the two points is expressed by the following equation (6) using the parameter a and the parameter f. . In this way, using two known dimensional information, two equations representing that the actual space dimension between the two pixels and the dimension information dimension are equal are obtained.
…（５）
... (5)
…（６）
(6)
パラメータａ及びパラメータｆの２つの未知のパラメータに対して、２つの等式が存在するため、これらを連立させてパラメータａ及びパラメータｆを下記（７）式及び下記（８）式のように求めることができる。 Since there are two equations for two unknown parameters, parameter a and parameter f, these parameters are combined to obtain parameter a and parameter f as shown in the following equations (7) and (8). be able to.
…（７）
... (7)
…（８）
(8)
ここで、Ａ、Ａ’、Ｂ、Ｂ’は、下記（９）式乃至下記（１２）式に示すように定められる。 Here, A, A ′, B, and B ′ are determined as shown in the following formulas (9) to (12).
…（９）
…（１０）
…（１１）
…（１２）
... (9)
(10)
... (11)
(12)
寸法推定部１８は、深度修正パラメータ算出部１６により算出されたパラメータａ及びパラメータｆと、入力画像２０における寸法を推定したい部分の両端に対応する画素の各々の座標と、深度推定部１２によって推定された、入力画像２０における寸法を推定したい部分の両端に対応する画素の各々の深度とを、上記（５）式に代入し、推定対象物の寸法を推定する。 The size estimation unit 18 estimates the parameters a and f calculated by the depth correction parameter calculation unit 16, the coordinates of the pixels corresponding to both ends of the portion whose size is to be estimated in the input image 20, and the depth estimation unit 12. The depths of the pixels corresponding to both ends of the portion of the input image 20 whose dimensions are to be estimated are substituted into the above equation (5), and the size of the estimation object is estimated.
なお、深度修正パラメータ算出部１６において、指定した値によっては必ずしもパラメータａ及びパラメータｆの値が正しく求まらない場合がある。そのような場合には、以下の場合分けによって適切な処理を行う。 Note that the depth correction parameter calculation unit 16 may not always obtain the values of the parameter a and the parameter f correctly depending on the specified values. In such a case, appropriate processing is performed according to the following cases.
（Ａ）Ｂ＝Ｂ’＝０の場合 (A) When B = B ′ = 0
この場合、上記（３）式によってパラメータａを求めることができないため、適切なパラメータを求めることができない。しかし、上記（５）式を用いてａ／ｆを下記（１３）式のように求めることができる。 In this case, since the parameter a cannot be obtained by the above equation (3), an appropriate parameter cannot be obtained. However, a / f can be obtained by the following equation (13) using the above equation (5).
…（１３）
... (13)
そして、寸法推定部１８で入力される推定対象物の両端の画素ｉ＊、ｊ＊が、ｚｉ＊＝ｚｊ＊を満たしている場合は、上記（５）式により、ａ／ｆと、寸法を推定したi
部分の両端に対応する画素の各々の座標と、寸法を推定したい部分の両端に対応する画素の各々の深さとを用いて、寸法を算出することができるため、算出された値を出力する。
When the pixels i * and j * at both ends of the estimation object input by the dimension estimation unit 18 satisfy z i * = z j * , a / f is obtained by the above equation (5), Dimension estimated i
Since the dimensions can be calculated using the coordinates of the pixels corresponding to both ends of the portion and the depths of the pixels corresponding to both ends of the portion whose size is to be estimated, the calculated values are output.
一方、ｚｉ＊＝ｚｊ＊を満たさない場合は、適切な寸法を算出することができないため、利用者が既知の寸法情報を再入力する等して、パラメータ推定を行う必要がある。 On the other hand, if z i * = z j * is not satisfied, an appropriate dimension cannot be calculated. Therefore, the user needs to perform parameter estimation by re-inputting known dimension information.
（Ｂ）上記（Ａ）以外で上記（７）式によってａが求まらない場合 (B) In cases other than (A) above, a cannot be determined by the above equation (7)
この場合は、入力された既知寸法情報が不適切であるために正しいパラメータを算出することができていない。そのため、利用者により正確な既知の寸法情報を入力するように促す等により、適切な寸法情報の取得を試る。 In this case, the correct parameter cannot be calculated because the input known dimension information is inappropriate. Therefore, acquisition of appropriate dimensional information is tried, for example, by prompting the user to input accurate known dimensional information.
また、カメラの焦点距離を示すパラメータｆについては、カメラ固有のパラメータである。そのため、同一カメラで撮影された画像を用いて再度寸法推定を行う場合には、パラメータｆを使い回すことができる。その場合、既知のパラメータｆ及び上記（５）式を用いることにより、１箇所の既知寸法情報を入力とするだけで、パラメータａを求めることができる。 The parameter f indicating the focal length of the camera is a parameter unique to the camera. For this reason, the parameter f can be reused when size estimation is performed again using images taken by the same camera. In that case, by using the known parameter f and the above equation (5), the parameter a can be obtained only by inputting the known dimension information at one place.
なお、本実施形態に係る寸法推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、寸法推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。 Note that the size estimation apparatus 10 according to the present embodiment is configured by a computer apparatus including, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) that stores various programs. Moreover, the computer which comprises the dimension estimation apparatus 10 may be provided with memory | storage parts, such as a hard disk drive and a non-volatile memory. In the present embodiment, the CPU reads and executes a program stored in a storage unit such as a ROM or a hard disk, whereby the hardware resources and the program cooperate to realize the above-described function.
本実施形態に係る寸法推定装置１０による寸法推定処理の流れを、図３に示すフローチャートを用いて説明する。本実施形態では、寸法推定装置１０に、寸法推定処理の実行を開始するための予め定めた情報が入力されたタイミングで寸法推定処理が開始されるが、寸法推定処理が開始されるタイミングはこれに限らず、例えば、入力画像が入力されたタイミングで寸法推定処理が開始されても良い。 The flow of the dimension estimation process by the dimension estimation apparatus 10 according to the present embodiment will be described using the flowchart shown in FIG. In the present embodiment, the dimension estimation process is started at a timing when predetermined information for starting the execution of the dimension estimation process is input to the dimension estimation apparatus 10, but the timing at which the dimension estimation process is started is this. For example, the dimension estimation process may be started at the timing when the input image is input.
ステップＳ１０１では、深度推定部１２が、入力画像２０を示す画像情報を入力することにより、入力画像２０を取得する。 In step S <b> 101, the depth estimation unit 12 acquires the input image 20 by inputting image information indicating the input image 20.
ステップＳ１０３では、深度推定部１２が、深度推定モデル記憶部１４に記憶されている深度推定モデルを読み出すことにより、深度推定モデルを取得する。 In step S <b> 103, the depth estimation unit 12 reads the depth estimation model stored in the depth estimation model storage unit 14 to acquire a depth estimation model.
ステップＳ１０４では、深度推定部１２が、深度推定モデルを用いて、入力画像２０の各画素の深度を推定する。 In step S104, the depth estimation unit 12 estimates the depth of each pixel of the input image 20 using the depth estimation model.
ステップＳ１０５では、深度修正パラメータ算出部１６が、入力画像２０における、実空間上の寸法が既知な部分の寸法情報の入力を促し、入力された寸法情報を取得する。 In step S <b> 105, the depth correction parameter calculation unit 16 prompts input of dimension information of a part of the input image 20 whose dimension in the real space is known, and acquires the input dimension information.
ステップＳ１０７では、深度修正パラメータ算出部１６が、入力された寸法情報の寸法と、推定された画素の深度と、寸法情報に対応する画素の各々の座標と、上記（５）式及び（６）式とを用いて、深度修正モデルのパラメータを算出する。本実施形態では、深度修正パラメータ算出部１６は、パラメータａ及びパラメータｆを算出する。 In step S107, the depth correction parameter calculation unit 16 calculates the dimensions of the input dimension information, the estimated pixel depth, the coordinates of each pixel corresponding to the dimension information, the above formulas (5) and (6). The parameters of the depth correction model are calculated using the equation. In the present embodiment, the depth correction parameter calculation unit 16 calculates the parameter a and the parameter f.
ステップＳ１０９では、寸法推定部１８が、例えば、利用者に、入力画像２０における寸法を推定したい部分の両端の座標を示す位置情報の入力を促すと共に、利用者により入力された位置を指定位置とすることにより、寸法を推定したい部分の両端の位置を取得する。 In step S109, for example, the dimension estimation unit 18 prompts the user to input position information indicating the coordinates of both ends of the portion of the input image 20 where the dimension is to be estimated, and the position input by the user is set as the designated position. By doing so, the positions of both ends of the part whose dimensions are to be estimated are acquired.
ステップＳ１１１では、寸法推定部１８が、入力画像２０における寸法を推定したい部分の両端の座標と、入力画像２０における寸法を推定したい部分の両端に対応する画素の各々の深度と、算出されたパラメータａ及びパラメータｆとを、上記（５）式に代入することにより、入力画像２０における寸法を推定したい部分の寸法を推定する。 In step S111, the size estimation unit 18 determines the coordinates of both ends of the portion of the input image 20 whose size is to be estimated, the depths of the pixels corresponding to both ends of the portion of the input image 20 whose size is to be estimated, and the calculated parameters. By substituting a and the parameter f into the above equation (5), the size of the portion of the input image 20 for which the size is to be estimated is estimated.
ステップＳ１１３では、寸法推定部１８が、推定された寸法を示す寸法情報を出力し、本寸法推定処理のプログラムの実行を終了する。なお、本実施形態では、推定された寸法をディスプレイ等の表示手段に表示させたり、推定された寸法を示すデータを記憶手段に記憶させたりすることにより、寸法情報を出力する。 In step S113, the dimension estimation unit 18 outputs dimension information indicating the estimated dimension, and the execution of the program for the dimension estimation process is terminated. In the present embodiment, the estimated dimension is displayed on display means such as a display, or the dimension information is output by storing data indicating the estimated dimension in the storage means.
このように、本実施形態では、入力画像２０について、予め学習された、深度を推定するための深度推定モデルに基づいて入力画像２０の各画素の深度を推定する。また、入力画像２０中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、推定された、寸法情報の部分に対応する画素の各々の深度と、寸法情報とを用いて、推定された入力画像２０の各画素の深度を修正するための深度修正モデルのパラメータを算出する。 Thus, in the present embodiment, the depth of each pixel of the input image 20 is estimated based on the depth estimation model for estimating the depth of the input image 20 that has been learned in advance. Further, the input of the dimension information of the part of the input image 20 whose dimension in the real space is known is received, and the estimated depth of each pixel corresponding to the part of the dimension information and the dimension information are used. A parameter of the depth correction model for correcting the estimated depth of each pixel of the input image 20 is calculated.
また、入力画像２０中の、寸法を推定したい部分の両端の指定を受け付け、推定された、寸法を推定したい部分の両端に対応する画素の各々の深度と、算出された深度修正モデルのパラメータと、寸法を推定したい部分の両端に対応する画素の各々の座標とを用いて、寸法を推定したい部分の両端の実空間上の寸法を推定する。 In addition, it accepts designation of both ends of the portion whose size is to be estimated in the input image 20, and estimates the respective depths of the pixels corresponding to both ends of the portion whose size is to be estimated, the calculated depth correction model parameters, Then, using the coordinates of the pixels corresponding to both ends of the portion whose size is to be estimated, the size in the real space at both ends of the portion whose size is to be estimated is estimated.
なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、寸法推定装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。 In the present embodiment, the operation of the components of the functions shown in FIG. 1 is constructed as a program, and is installed and executed on a computer used as the dimension estimation apparatus 10, but is not limited thereto, and is distributed via a network. You may let them.
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。 Further, the constructed program may be stored in a portable storage medium such as a hard disk or a CD-ROM, and installed in a computer or distributed.
１０ 寸法推定装置
１１ 深度推定装置
１２ 深度推定部
１４ 深度推定モデル記憶部
１６ 深度修正パラメータ算出部
１８ 寸法推定部
２０ 入力画像
２２ 既知の寸法情報
２４ 推定対象の位置情報
２６ 寸法情報
DESCRIPTION OF SYMBOLS 10 Dimension estimation apparatus 11 Depth estimation apparatus 12 Depth estimation part 14 Depth estimation model memory | storage part 16 Depth correction parameter calculation part 18 Dimension estimation part 20 Input image 22 Known dimension information 24 Position information 26 of estimation object Dimension information
Claims (7)
前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出する深度修正パラメータ算出部と、
を含む深度推定装置。 A depth estimation unit that estimates the depth of each pixel of the input image based on a depth estimation model for estimating the depth, which is learned in advance for the input image;
The depth of each of the pixels corresponding to the portion of the dimension information, which is estimated by the depth estimation unit, is received by the input of the dimension information of the portion of the input image whose dimension in the real space is known, and the size A depth correction parameter calculation unit that calculates a parameter of a depth correction model for correcting the depth of each pixel of the input image estimated by the depth estimation unit using the information,
A depth estimation device including:
前記深度修正パラメータ算出部は、前記寸法情報の２点に対応する２つの画素の各々の深度を、前記深度修正モデルにより修正したときの、前記２つの画素間の実空間上の寸法と、前記寸法情報の寸法とが等しいことを表す方程式を解くことにより、前記深度修正モデルのパラメータを算出する
請求項１記載の深度推定装置。 The dimension information is a dimension between two points in the input image,
The depth correction parameter calculation unit, when the depth of each of two pixels corresponding to two points of the dimension information is corrected by the depth correction model, the dimension in the real space between the two pixels, The depth estimation device according to claim 1, wherein a parameter of the depth correction model is calculated by solving an equation indicating that the dimension of the dimension information is equal.
前記寸法情報の各々に対する、前記入力画像を撮像したカメラの焦点距離を示すパラメータを含む前記方程式を解くことにより、前記焦点距離を示すパラメータ、及び前記深度修正モデルのパラメータを算出する
請求項２記載の深度推定装置。 The depth correction parameter calculation unit accepts input of two or more of the dimension information,
The parameter indicating the focal length and the parameter of the depth correction model are calculated by solving the equation including the parameter indicating the focal length of the camera that captured the input image for each of the dimension information. Depth estimation device.
前記入力画像中の、寸法を推定したい部分の両端の指定を受け付け、前記深度推定装置の前記深度推定部により推定された、前記寸法を推定したい部分の両端に対応する画素の各々の深度と、前記深度修正パラメータ算出部により算出された前記深度修正モデルのパラメータと、前記両端に対応する画素の各々の座標とを用いて、前記寸法を推定したい部分の両端の実空間上の寸法を推定する寸法推定部と、
を含む寸法推定装置。 The depth estimation apparatus according to any one of claims 1 to 3,
In the input image, accepting designation of both ends of a portion whose size is to be estimated, estimated by the depth estimation unit of the depth estimation device, and the depth of each of the pixels corresponding to both ends of the portion whose size is to be estimated, Using the parameters of the depth correction model calculated by the depth correction parameter calculation unit and the coordinates of the pixels corresponding to the both ends, the dimensions in the real space at both ends of the portion where the dimensions are to be estimated are estimated. A dimension estimation unit;
A size estimation device including:
前記深度推定部が、入力画像について、予め学習された、深度を推定するための深度推定モデルに基づいて前記入力画像の各画素の深度を推定するステップと、
前記深度修正パラメータ算出部が、前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出するステップと、
を含む深度推定方法。 A depth estimation method in a depth estimation device having a depth estimation unit and a depth correction parameter calculation unit,
The depth estimation unit estimating a depth of each pixel of the input image based on a depth estimation model for estimating a depth, which is learned in advance for the input image;
The depth correction parameter calculation unit receives input of dimensional information of a part of the input image whose dimension in the real space is known, and the pixel corresponding to the part of the dimensional information estimated by the depth estimation unit Calculating a parameter of a depth correction model for correcting the depth of each pixel of the input image estimated by the depth estimation unit using each of the depth and the dimension information;
Depth estimation method including
前記深度推定部が、入力画像について、予め学習された、深度を推定するための深度推定モデルに基づいて前記入力画像の各画素の深度を推定するステップと、
前記深度修正パラメータ算出部が、前記入力画像中の、実空間上の寸法が既知な部分の寸法情報の入力を受け付け、前記深度推定部により推定された、前記寸法情報の部分に対応する前記画素の各々の深度と、前記寸法情報とを用いて、前記深度推定部により推定された前記入力画像の各画素の深度を修正するための深度修正モデルのパラメータを算出するステップと、
前記寸法推定部が、前記入力画像中の、寸法を推定したい部分の両端の指定を受け付け、前記深度推定装置の前記深度推定部により推定された、前記寸法を推定したい部分の両端に対応する画像の各々の深度と、前記深度修正パラメータ算出部により算出された前記深度修正モデルのパラメータとを用いて、前記寸法を推定したい部分の両端の実空間上の寸法を推定するステップと、
を含む寸法推定方法。 A depth estimation unit, a depth estimation device having a depth correction parameter calculation unit, and a size estimation unit, a size estimation method in a size estimation device,
The depth estimation unit estimating a depth of each pixel of the input image based on a depth estimation model for estimating a depth, which is learned in advance for the input image;
The depth correction parameter calculation unit receives input of dimensional information of a part of the input image whose dimension in the real space is known, and the pixel corresponding to the part of the dimensional information estimated by the depth estimation unit Calculating a parameter of a depth correction model for correcting the depth of each pixel of the input image estimated by the depth estimation unit using each of the depth and the dimension information;
The dimension estimation unit accepts designation of both ends of a portion whose size is to be estimated in the input image, and is an image corresponding to both ends of the portion whose size is to be estimated, estimated by the depth estimation unit of the depth estimation device Estimating the dimensions in real space at both ends of the portion where the dimension is to be estimated, using the depth of each of the parameters and the parameters of the depth correction model calculated by the depth correction parameter calculation unit;
A dimension estimation method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017027755A JP2018132477A (en) | 2017-02-17 | 2017-02-17 | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017027755A JP2018132477A (en) | 2017-02-17 | 2017-02-17 | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018132477A true JP2018132477A (en) | 2018-08-23 |
Family
ID=63249597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017027755A Pending JP2018132477A (en) | 2017-02-17 | 2017-02-17 | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018132477A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020177381A (en) * | 2019-04-17 | 2020-10-29 | アルパイン株式会社 | Depth calculation system |
| JP2021165944A (en) * | 2020-04-07 | 2021-10-14 | 株式会社東芝 | Learning method, program, and image processing apparatus |
| WO2023095489A1 (en) * | 2021-11-26 | 2023-06-01 | 日立Astemo株式会社 | External environment recognition device |
| JP7459452B2 (en) | 2020-11-23 | 2024-04-02 | ソニーグループ株式会社 | Neural network model-based depth estimation |
-
2017
- 2017-02-17 JP JP2017027755A patent/JP2018132477A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020177381A (en) * | 2019-04-17 | 2020-10-29 | アルパイン株式会社 | Depth calculation system |
| JP7290454B2 (en) | 2019-04-17 | 2023-06-13 | アルパイン株式会社 | Depth calculation system |
| JP2021165944A (en) * | 2020-04-07 | 2021-10-14 | 株式会社東芝 | Learning method, program, and image processing apparatus |
| JP7370922B2 (en) | 2020-04-07 | 2023-10-30 | 株式会社東芝 | Learning method, program and image processing device |
| JP7459452B2 (en) | 2020-11-23 | 2024-04-02 | ソニーグループ株式会社 | Neural network model-based depth estimation |
| WO2023095489A1 (en) * | 2021-11-26 | 2023-06-01 | 日立Astemo株式会社 | External environment recognition device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8405742B2 (en) | Processing images having different focus | |
| US7813543B2 (en) | Computer modeling of physical scenes | |
| US20120114175A1 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
| JP2018132477A (en) | Depth estimation device, dimension estimation device, depth estimation method, dimension estimation method, and program | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| JP6464938B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6334927B2 (en) | Additional information display device and additional information display program | |
| GB2565354A (en) | Method and corresponding device for generating a point cloud representing a 3D object | |
| JP6573196B2 (en) | Distance information correction apparatus, distance information correction method, and distance information correction program | |
| KR101662407B1 (en) | Method for vignetting correction of image and apparatus therefor | |
| WO2012133371A1 (en) | Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program | |
| JP2018009927A (en) | Image processing device, image processing method and program | |
| US11475629B2 (en) | Method for 3D reconstruction of an object | |
| JP7334516B2 (en) | Three-dimensional shape model generation device, three-dimensional shape model generation method, and program | |
| KR102265081B1 (en) | System for determining position and attitude of camera using the inner product of vectors and three-dimensional coordinate transformation | |
| US9581439B1 (en) | Image capture device with a calibration function and calibration method of an image capture device | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| CN109389032B (en) | Picture authenticity determining method and device, electronic equipment and readable storage medium | |
| JP6861592B2 (en) | Data thinning device, surveying device, surveying system and data thinning method | |
| US10552975B2 (en) | Ranking target dimensions | |
| CN111145268A (en) | Video registration method and device | |
| JP2018156442A (en) | Estimator learning device, normal line direction estimation device, method and program | |
| JP4081553B2 (en) | Distance estimation device | |
| CN110319776B (en) | SLAM-based three-dimensional space distance measuring method and device | |
| JP2014175782A (en) | Camera parameter estimation apparatus, camera parameter estimation method and camera parameter estimation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170222 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170315 |