JP2011145143A - Distance measuring device and distance measuring method - Google Patents
Distance measuring device and distance measuring method Download PDFInfo
- Publication number
- JP2011145143A JP2011145143A JP2010005577A JP2010005577A JP2011145143A JP 2011145143 A JP2011145143 A JP 2011145143A JP 2010005577 A JP2010005577 A JP 2010005577A JP 2010005577 A JP2010005577 A JP 2010005577A JP 2011145143 A JP2011145143 A JP 2011145143A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- baseline length
- base line
- length
- line length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、ステレオカメラを用いて物体までの距離や物体の位置を測定する距離測定装置及び距離測定方法に関する。 The present invention relates to a distance measuring apparatus and a distance measuring method for measuring a distance to an object and a position of the object using a stereo camera.
ステレオカメラを用いた距離測定装置は、異なる視点位置から同じ物体を撮影すると、センサ画像上での結像点が物体までの距離によって変化することを利用して、物体までの距離や物体の位置を測定する装置である。
近年、環境認識へのニーズが高まっており、例えば、自動車にステレオカメラを搭載して、運転者に周囲の歩行者の有無などの情報を提供し、運転支援をするシステムが実用化されつつある。
A distance measurement device using a stereo camera takes advantage of the fact that when the same object is photographed from different viewpoint positions, the imaging point on the sensor image changes depending on the distance to the object. It is a device that measures.
In recent years, there has been an increasing need for environmental recognition. For example, a system that supports driving by providing a vehicle with a stereo camera and providing information such as the presence or absence of a pedestrian to the driver is being put into practical use. .
図1にステレオカメラの原理を示す。ステレオカメラ(カメラaとカメラb)において、基線長B(カメラ間の距離)と、焦点距離fと、視差d(視点による物体の結像点の位置の差)と、物体までの距離Zは、Z/B=f/dの関係にある。この関係を利用して物体までの距離Zを算出することができる。
ステレオカメラでは遠くの物体ほど視差dが小さくなるため、測定誤差が大きくなってしまう。遠くの物体の距離を測定する場合、基線長Bを長くすれば視差dが大きくなり測定精度を高くできるが、図2に示されるように、対応点が離れてしまうため対応点の探索に時間が掛かる。また、物体の見え方が変わるため、対応点の探索が難しくなるという問題がある。なお、図2はステレオカメラのカメラ位置による物体の見え方の違いを示しており、(a)は基線長が短い場合、(b)は基線長が長い場合である。
そのため、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式や、短基線長の時に対応点を探索し、撮像装置を個々に移動させながら対応点を追跡して、物体が写る範囲内で基線長を最大まで延長する方式が提案されている。
FIG. 1 shows the principle of a stereo camera. In a stereo camera (camera a and camera b), the base line length B (distance between cameras), focal length f, parallax d (difference in the position of the image point of the object from the viewpoint), and the distance Z to the object are: , Z / B = f / d. The distance Z to the object can be calculated using this relationship.
In the stereo camera, the disparity d becomes smaller as the object is farther away, so that the measurement error becomes large. When measuring the distance of a distant object, increasing the baseline length B can increase the parallax d and increase the measurement accuracy. However, as shown in FIG. It takes. In addition, since the appearance of the object changes, there is a problem that it is difficult to search for corresponding points. 2A and 2B show the difference in the appearance of the object depending on the camera position of the stereo camera. FIG. 2A shows a case where the base line length is short, and FIG. 2B shows a case where the base line length is long.
For this reason, a method that combines a stereo camera with a long baseline length and a stereo camera with a short baseline length, or searches for corresponding points when the baseline length is short, and tracks the corresponding points while moving the imaging device individually, and the range in which the object appears A method for extending the base line length to the maximum is proposed.
しかし、長基線長のステレオカメラと短基線長のステレオカメラを組み合わせる方式では、カメラの台数を増やさなければならないため、コストが高くなってしまうという問題がある。
また、基線長を延長させる方式では、カメラを移動させている間に対応点を探索し続ける必要があるため、計算負荷が高くなる。さらに、物体が両方のカメラに写る限界まで基線長を延長するため、必要以上に基線長を延長してしまう可能性があり、カメラの移動時間が長くなり、不必要に測定時間が掛かってしまうという問題がある。
However, the method of combining a long base length stereo camera and a short base length stereo camera has a problem that the number of cameras has to be increased, resulting in an increase in cost.
Further, in the method of extending the base line length, it is necessary to continue searching for corresponding points while moving the camera, so that the calculation load increases. Furthermore, since the baseline length is extended to the limit where an object can be seen in both cameras, the baseline length may be extended more than necessary, which increases the camera movement time and unnecessarily takes measurement time. There is a problem.
特開2004−93457号公報(「画像処理装置、及び画像処理方法」、特許文献1)には、物体までの距離を高精度に測定することを目的として、撮像部(撮像装置)の基線長を延長するカメラ制御部(位置制御手段)をもつ距離測定装置が開示されている。
この従来の距離測定装置は、図6に示されるように、2台のステレオカメラ31a、31bを有する撮像部31と、一対の画像の中から対応点を探索する対応点探索部32と、2台のステレオカメラ31a、31bを移動させるカメラ制御部33と、2台のステレオカメラ31a、31bが移動したとき各対応点を追跡する対応点追跡部34と、物体までの距離を算出する距離計算部35を備えている。
Japanese Unexamined Patent Application Publication No. 2004-93457 (“Image Processing Device and Image Processing Method”, Patent Document 1) discloses a baseline length of an imaging unit (imaging device) for the purpose of measuring the distance to an object with high accuracy. A distance measuring device having a camera control unit (position control means) for extending the distance is disclosed.
As shown in FIG. 6, the conventional distance measuring apparatus includes an
上記従来の距離測定装置では、図7に示されるように、初めにカメラ制御部33によりステレオカメラ31a、31b間の基線長を短く設定する(ステップS21)。次に、撮像部31により物体を撮影し(ステップS22)、対応点探索部32により前記ステップS22で撮影された一対の画像の中から対応点を探索する(ステップS23)。続いて、対応点追跡部34により撮像面内に写像された対応点を追跡しながら、カメラ制御部33により2台のステレオカメラ31a、31bを等速で逆方向に等距離移動させる(ステップS24)。ステレオカメラ31a、31bが移動した結果、各対応点が撮像面の端部に到達したか否かを判定する(ステップS25)。各対応点が撮像面の端部に到達すれば、延長された基線長を維持して、対応点探索部32により、上記ステップS22で撮影された一対の画像の中から追跡された対応点を再度探索する(ステップS26)。最後に、距離計算部35により、追跡及び再探索された対応点と、上記ステップS22で撮影された一対の画像とを用いて、物体までの距離を算出する(ステップS27)。
In the conventional distance measuring apparatus, as shown in FIG. 7, first, the base length between the
このように、上記特許文献1に記載された従来の距離測定装置は、初めに短基線長で物体を高精度に認識して、次に対応点を追跡しながら、2台のステレオカメラが物体を同時に撮影可能な範囲内で基線長を延長し、物体までの距離を測定するものである。
しかし、この距離測定装置では、上述した従来例と同様に、計算負荷が高く測定時間が長いという問題を有しており、従来からの問題点は解決されていない。
As described above, the conventional distance measuring device described in Patent Document 1 recognizes an object with high accuracy at a short baseline length first, and then tracks the corresponding points so that two stereo cameras can detect the object. Is used to measure the distance to the object by extending the baseline length within the range that can be photographed simultaneously.
However, this distance measuring device has the problem that the calculation load is high and the measurement time is long, as in the conventional example described above, and the conventional problems are not solved.
そこで、本発明の課題は、上述した問題点を解決するために、カメラの台数を増やさないように、2つの画像を比較して対応点を探索するための計算負荷が高くならないように、また基線長を延長する時にカメラの移動時間が長くならないようにすることによって、要求精度を満たす距離測定を短時間で効率的に行うことができる距離測定装置を低コストで提供することである。 Therefore, in order to solve the above-described problems, the object of the present invention is not to increase the number of cameras, so that the calculation load for searching corresponding points by comparing two images is not increased, and It is to provide a distance measuring apparatus that can efficiently perform distance measurement that satisfies the required accuracy in a short time by making the movement time of the camera not long when extending the base line length.
以下に、上記課題を解決するために講じた技術的手段を作用とともに説明する。
(1) 本発明に係る距離測定装置(請求項1に対応)は、物体を撮影する複数の撮像手段と、
前記撮像手段のうち2つ以上の撮像手段からの画像により、物体までの距離を算出する距離計算手段と、
前記撮像手段の位置を制御する位置制御手段と、
前記距離計算手段により算出された距離によって、要求精度を達成するために必要な基線長を算出する基線長計算手段と、
前記基線長計算手段が算出した基線長を記憶する基線長記憶手段と、を備えることである。
Below, the technical means taken in order to solve the said subject are demonstrated with an effect | action.
(1) A distance measuring device according to the present invention (corresponding to claim 1) includes a plurality of imaging means for imaging an object,
Distance calculating means for calculating a distance to an object from images from two or more imaging means of the imaging means;
Position control means for controlling the position of the imaging means;
Baseline length calculation means for calculating a baseline length necessary to achieve the required accuracy by the distance calculated by the distance calculation means;
Baseline length storage means for storing the baseline length calculated by the baseline length calculation means.
このように構成することによって、複数の撮像手段で物体を撮影し、この撮影画像から距離計算手段で物体までの距離を算出し、算出された距離によって要求精度を満たすために必要な基線長を基線長計算手段で算出する。そして、距離を測定する基線長を算出された基線長まで位置制御手段で延長し、この延長された基線長の状態で複数の撮像手段で物体を撮影し、この撮影画像から距離計算手段で物体までの距離を算出する。
このように、初めに、距離測定での要求精度を満たすために必要な基線長を算出し、次に、この算出された基線長の状態で距離測定を行うことにより、多くのカメラ位置で距離測定をする必要がないため、計算負荷や測定時間を減らすことができる。
By configuring in this way, an object is photographed by a plurality of imaging means, the distance to the object is calculated from the photographed image by the distance calculating means, and the baseline length necessary to satisfy the required accuracy is calculated by the calculated distance. It is calculated by the baseline length calculation means. Then, the base line length for measuring the distance is extended to the calculated base line length by the position control means, and an object is photographed by the plurality of image pick-up means in the state of the extended base line length, and the object is obtained from the photographed image by the distance calculation means. The distance to is calculated.
In this way, first, the base line length necessary to satisfy the required accuracy in distance measurement is calculated, and then distance measurement is performed in the state of the calculated base line length, so that distances can be obtained at many camera positions. Since there is no need to perform measurement, calculation load and measurement time can be reduced.
(2) また、上記(1)の距離測定装置において、各撮像手段の移動量を記憶する移動量記憶手段を有していてもよい。(請求項2に対応)
このような構成によって、移動量記憶手段により撮像手段の移動量を記憶することができるので、撮像手段の基線長方向の位置や基線長を正確に検出することができる。
(2) The distance measuring device according to (1) may further include a movement amount storage unit that stores a movement amount of each imaging unit. (Corresponding to claim 2)
With such a configuration, the movement amount of the imaging unit can be stored by the movement amount storage unit, so that the position of the imaging unit in the baseline length direction and the baseline length can be accurately detected.
(3) また、上記(1)又は(2)の距離測定装置において、各撮像手段の位置を検出できる位置検出手段を有していてもよい。(請求項3に対応)
このような構成によって、位置検出手段で各撮像手段の位置を検出することにより、基線長を検出することができるため、撮像手段の位置についてフィードバック制御が可能となり、より精度の高い距離測定を行うことができる。
(3) Further, the distance measuring device according to the above (1) or (2) may have a position detecting means capable of detecting the position of each imaging means. (Corresponding to claim 3)
With such a configuration, since the baseline length can be detected by detecting the position of each imaging means by the position detection means, feedback control is possible for the position of the imaging means, and more accurate distance measurement is performed. be able to.
(4) また、上記(1)〜(3)のいずれかの距離測定装置において、複数の撮像手段のうち、少なくとも1つの撮像手段は、位置制御手段を有していなくてもよい。(請求項4に対応)
このような構成によって、必要となる距離測定装置や位置検出手段を少なくすることができるため、構成が簡単になり製作コストを低減することができる。
(4) In the distance measuring device according to any one of (1) to (3), at least one of the plurality of imaging units may not include the position control unit. (Corresponding to claim 4)
With such a configuration, it is possible to reduce the number of distance measuring devices and position detecting means that are required, so that the configuration is simplified and the manufacturing cost can be reduced.
(5) また、上記(1)〜(3)のいずれかの距離測定装置において、基線長を変更する際に、視差画像を作る2つの撮像手段が同じ移動量となるように駆動されてもよい。(請求項5に対応)
このような構成によって、2つの撮像手段の移動量が等しくなるようにすると、測定可能範囲(測定対象が両方のカメラに写り込む範囲)の中心が基線長の中心になるため、例えば、自動車の中央に距離測定装置を搭載した時に、自動車を中心とした範囲で距離を測定することができる。このように、2つの撮像手段の移動量が等しいと、2つの画像の対応点の移動量も等しくなるため、対応点の探索が容易になる。
(5) Further, in the distance measuring device according to any one of the above (1) to (3), when the base line length is changed, even if the two imaging means for creating the parallax image are driven so as to have the same movement amount. Good. (Corresponding to claim 5)
When the movement amounts of the two image pickup means are made equal by such a configuration, the center of the measurable range (the range in which the measurement target is reflected in both cameras) becomes the center of the baseline length. When the distance measuring device is mounted in the center, the distance can be measured in a range centered on the automobile. In this way, if the movement amounts of the two image pickup means are equal, the movement amounts of the corresponding points of the two images are also equal, so that the corresponding points can be easily searched.
(6) また、上記(1)〜(3)のいずれかの距離測定装置において、基線長を変更する際に、測定対象の物体が、視差画像を作る2つの撮像手段の両方に写るように駆動されてもよい。(請求項6に対応)
このような構成によって、測定対象の距離に対して適切な基線長をとることによって近距離から遠距離まで距離測定を行うことができる。
(6) Further, in the distance measuring device according to any one of the above (1) to (3), when the baseline length is changed, the object to be measured is reflected in both of the two imaging units that create the parallax image. It may be driven. (Corresponding to claim 6)
With such a configuration, distance measurement can be performed from a short distance to a long distance by taking an appropriate baseline length with respect to the distance to be measured.
(7) また、上記(1)〜(6)のいずれかの距離測定装置において、基線長計算手段が算出した基線長を前記位置制御手段により設定できない場合に、警告メッセージを出力してもよい。(請求項7に対応)
このような構成によって、基線長計算手段で算出された基線長が位置制御手段により設定できない場合は、測定された物体までの距離が要求精度を満たしていないことになるので、これを警告メッセージにより報知することができる。
(7) In the distance measuring device according to any one of (1) to (6), a warning message may be output when the base line length calculated by the base line length calculating unit cannot be set by the position control unit. . (Corresponding to claim 7)
With such a configuration, if the baseline length calculated by the baseline length calculation means cannot be set by the position control means, the measured distance to the object does not satisfy the required accuracy, so this is indicated by a warning message. Can be notified.
(8) 本発明に係る距離測定方法(請求項8に対応)は、複数の撮像手段を用いて複数の視点位置から物体を撮影し、この撮影画像から物体までの距離を算出する距離測定法であって、
第1の基線長において距離測定を行い、
この測定した距離によって、要求精度を達成するために必要な第2の基線長を算出し、
前記第1の基線長が第2の基線長よりも短い場合、前記撮像手段間の距離を第2の基線長に延長して、距離測定を行うことである。
(8) A distance measuring method according to the present invention (corresponding to claim 8) is a distance measuring method of photographing an object from a plurality of viewpoint positions using a plurality of imaging means and calculating a distance from the photographed image to the object. Because
Perform distance measurement at the first baseline length,
Based on this measured distance, the second baseline length required to achieve the required accuracy is calculated,
When the first baseline length is shorter than the second baseline length, the distance measurement is performed by extending the distance between the imaging means to the second baseline length.
このように構成することによって、第1の基線長が第2の基線長よりも短い場合は、第1の基線長の状態で測定した距離は要求精度を満たしていないので、撮像手段間の距離を第2の基線長に延長した状態で距離測定を行い、それを物体までの距離とする。
なお、第1の基線長が第2の基線長と同等か、又はそれよりも長い場合は、第1の基線長の状態で測定した距離が、要求精度を満たしている物体までの距離となる。
このように、初めに、距離測定での要求精度を満たすために必要な基線長を算出し、次に、この算出された基線長の状態で距離測定を行うことにより、多くのカメラ位置で距離測定をする必要がないため、計算負荷や測定時間を減らすことができる。
With this configuration, when the first baseline length is shorter than the second baseline length, the distance measured in the first baseline length state does not satisfy the required accuracy, so the distance between the imaging means The distance is measured in a state in which is extended to the second baseline length, and is set as the distance to the object.
When the first baseline length is equal to or longer than the second baseline length, the distance measured in the first baseline length state is the distance to the object that satisfies the required accuracy. .
In this way, first, the base line length necessary to satisfy the required accuracy in distance measurement is calculated, and then distance measurement is performed in the state of the calculated base line length, so that distances can be obtained at many camera positions. Since there is no need to perform measurement, calculation load and measurement time can be reduced.
本発明の効果を整理すると次のとおりである。
初めに、測定した物体までの距離によって、距離測定での要求精度を満たすために必要な基線長を算出し、次に、基線長を前記算出された基線長に延長した状態で距離測定を行うことにより、多くのカメラ位置で距離測定をする必要がないため、計算負荷や測定時間を減らすことができる。
また、基線長を算出された基線長まで延長するので、不必要に基線長を延ばすことがなく、要求精度を満たす距離測定を短時間で効率的に行うことができる。
The effects of the present invention are summarized as follows.
First, a baseline length necessary to satisfy the required accuracy in distance measurement is calculated according to the measured distance to the object, and then distance measurement is performed with the baseline length extended to the calculated baseline length. This eliminates the need to measure distances at many camera positions, thereby reducing calculation load and measurement time.
Further, since the base line length is extended to the calculated base line length, the base line length is not unnecessarily extended, and distance measurement that satisfies the required accuracy can be efficiently performed in a short time.
本発明は、要求精度を満たす距離測定を短時間で効率的に行うという目的を、初めに測定した物体までの距離に基づいて、距離測定での要求精度を満たすのに必要な基線長を算出し、基線長を上記算出した基線長に延長して距離測定を行うことより、計算負荷や製作コストを高くすることなしに実現することである。
以下に、本発明による実施例1及び実施例2について、図1〜図5を用いて説明する。
The purpose of the present invention is to calculate the baseline length necessary to satisfy the required accuracy in distance measurement based on the distance to the object first measured for the purpose of efficiently performing distance measurement that satisfies the required accuracy in a short time. Then, the distance is measured by extending the base line length to the calculated base line length, so that the calculation load and manufacturing cost are not increased.
Below, Example 1 and Example 2 by this invention are demonstrated using FIGS.
本発明の実施例1による距離測定装置について、図3及び図4を参照しながら説明する。図3は距離測定装置の機能的な構成を説明するブロック図であり、図4は距離測定処理の手順を説明するフロー図である。
本実施例1の距離測定装置は、第1のカメラ10aと第2のカメラ10bを備え、この2台のカメラ10a、10bからの画像を用いて物体までの距離を測定をする。
上記第2のカメラ10bには、位置を変更する位置制御部18と移動量記憶部19が設けられており、この位置制御部18は第2のカメラ10bの位置を基線長方向にのみ移動させることができる。また、上記移動量記憶部19は、装置組み付け時の初期位置からの移動量、即ち、第2のカメラ10bの絶対移動量ubを記憶する。
このように、第1及び第2のカメラ10a、10bの基線長を変更する手段が簡易な構成であるため、低コスト化を図ることができる。
A distance measuring apparatus according to Embodiment 1 of the present invention will be described with reference to FIGS. FIG. 3 is a block diagram illustrating the functional configuration of the distance measuring apparatus, and FIG. 4 is a flowchart illustrating the procedure of the distance measuring process.
The distance measuring apparatus according to the first embodiment includes a
The
Thus, since the means for changing the base line length of the first and
また、上記距離測定装置は、第1及び第2のカメラ10a、10bからの画像を補正する画像処理部11と、2つの画像の対応点の視差を算出する視差算出部12と、物体までの距離を算出する距離計算部13、及び算出された距離を記憶する距離記憶部14と、要求される精度を達成するために必要な基線長を算出する基線長計算部15、及び算出された基線長を記憶する基線長記憶部16と、第2のカメラ10bの移動量を算出する移動量計算部17と、上記距離計算部13で算出した物体までの距離を出力する出力部20を備えている。
In addition, the distance measuring device includes an
次に、本実施例1の距離測定装置による距離測定の処理について、図4に基づいて説明する。
先ず、基線長がB1の状態において(ステップS1)、第1のカメラ10aと第2のカメラ10bから画像を取り込む(ステップS2)。それぞれのカメラ10a、10bからの画像は、理想ピンホールモデルで得る画像に変換するために、画像処理部11で補正される(ステップS3)。この画像処理部11では、例えば倍率補正、画像中心補正、又は歪補正が行われる。
Next, distance measurement processing by the distance measuring apparatus according to the first embodiment will be described with reference to FIG.
First, in a state where the base line length is B1 (step S1), images are captured from the
上記視差算出部12では、上記画像処理部11から出力されるそれぞれの補正画像を比較して、2つの画像の対応点を検出し、視差d1を算出する(ステップS4)。また、上記距離計算部13では、視差d1と、第2のカメラ10bの絶対移動量ubと、初期基線長B0と、理想ピンホールモデルの焦点距離fとを用いて、物体までの距離Z1を算出する(ステップS5)。
上記第1及び第2のカメラ10a、10bの間隔(基線長)B1は、B1=B0+ubであるから、物体までの距離Z1は次式で算出される。
Z1/B1=f/d1
上記距離計算部13で算出された物体までの距離Z1は、距離記憶部14に記憶される。
The
Since the distance (base line length) B1 between the first and
Z1 / B1 = f / d1
The distance Z1 to the object calculated by the
次に、基線長計算部15が、距離測定の精度が要求精度を満たすために必要な基線長B2を算出することについて説明する。
視差dには様々な要因により誤差Δdが乗ってくる。距離測定において満たさなければならない精度がZ±ΔZであるとすると、視差誤差の許容値Δdmaxは、
An error Δd is added to the parallax d due to various factors. If the accuracy that must be satisfied in the distance measurement is Z ± ΔZ, the allowable value Δdmax of the parallax error is
視差誤差Δdが検出分解能によってのみ発生するとした場合は、視差算出部12における対応点の検出分解能をaとすると、視差誤差Δdは最大で2aとなる。ここで、画像の分解能とは画像処理を含めての分解能を指す。例えば、ピクセルサイズ10μmのセンサでの撮像画像を画像処理で5分の1画素まで検出できるとすると、検出分解能aは2μmとなる。
このとき基線長Bが、
Z=Z1(基線長B1で測定した距離)を使って、式(2)より距離測定の精度が要求精度を満たす基線長B2を算出する(ステップS6)。また、基線長B1における距離測定の誤差ΔZ1を見積もり、Z=Z1+△Z1として基線長B2を算出してもよい。基線長計算部15で算出された基線長B2は、基線長記憶部16に記憶される。
When the parallax error Δd is generated only by the detection resolution, the parallax error Δd is 2a at the maximum if the detection resolution of the corresponding point in the
At this time, the baseline length B is
Using Z = Z1 (distance measured with the baseline length B1), a baseline length B2 that satisfies the required accuracy of distance measurement is calculated from the equation (2) (step S6). Alternatively, the distance measurement error ΔZ1 in the baseline length B1 may be estimated, and the baseline length B2 may be calculated as Z = Z1 + ΔZ1. The baseline length B2 calculated by the baseline
基線長B2>基線長B1である場合は、基線長B1の状態で測定した距離Z1は要求精度を満たしていないことになる(ステップS7)。
要求精度以上で距離測定を行うためには、基線長をB2に延長する必要がある。
移動量計算部17は、基線長をB2に延長するために必要な第2のカメラ10bの移動量を算出する。第2のカメラ10bの移動量はB2−B1である。B2−B1だけ第2のカメラ10bを移動するときに、その可動範囲や測定対象を撮影できる位置を超えている場合は、距離測定装置が警告を出す手段を備えていてもよい。また、基線長をB2にするために、必要な移動量と、第2のカメラ10bの可動範囲と、測定対象を撮影できる第2のカメラ10bの位置の範囲を比較して、相対移動量を算出してもよい。
When the baseline length B2> baseline length B1, the distance Z1 measured in the state of the baseline length B1 does not satisfy the required accuracy (step S7).
In order to perform distance measurement with the required accuracy or more, it is necessary to extend the baseline length to B2.
The movement
位置制御部18は、ステッピングモーターとモーター制御部を備えており、このモーター制御部は移動量計算部17で計算された移動量に対応するパルス数の駆動パルスを出力し、ステッピングモーターを駆動して基線長をB2に延長する(ステップS8)。このとき、移動量記憶部19は第2のカメラ10bの移動量を更新する。
上記位置制御部18により基線長をB2に延長した状態で、第1及び第2のカメラ10a、10bで物体を撮影し画像を取り込み(ステップS9)、画像処理部11で画像処理をした後、視差算出部12において2つの画像の対応点を検出し視差d2の算出を行う。この視差d2の算出を行う際に、第1のカメラ10aの画像は変化していないが、第2のカメラ10bの画像は変化しているため、対応点の探索をする必要がある。この対応点の探索では、既に距離計算部13で算出された距離Z1と第2のカメラ10bの移動量から、対応点の位置を予測することができるため、予測位置を中心に対応点の探索を行うことにより計算負荷を減らすことができる。
The
In a state where the base line length is extended to B2 by the
距離計算部13では、上述の距離Z1を算出する場合と同様に、算出した視差d2と、基線長B2と、理想ピンホールモデルの焦点距離fとを用いて、物体までの距離Z2を算出する(ステップS10)。基線長がB2に延長されたときに算出される距離Z2は、要求精度を満たしている。
このように、距離測定の精度が要求精度を満たすのに必要な基線長B2を算出することにより、多くのカメラ位置で距離測定をする必要がないため、計算負荷や測定時間を減らすことができる。
The
In this way, by calculating the baseline length B2 necessary for the distance measurement accuracy to meet the required accuracy, it is not necessary to measure distances at many camera positions, so the calculation load and measurement time can be reduced. .
出力部20は、算出した物体までの距離Zを数値として出力するか、又は測定対象の距離が色などで特徴付けられた距離画像を生成し、それを出力する(ステップS11)。基線長をB2まで延長できなかった場合は、要求精度を保証できないことを示すための警告ランプを備えていてもよい。また、距離画像上において、要求精度を保証できない物体に対してマーカーを表示するようにしてもよい。
このように、出力部20には距離計算部13で算出された物体までの距離Zが出力されるが、上記ステップS7において、基線長B2>基線長B1である場合には、基線長B1の状態で測定した距離Z1は要求精度を満たしていないことになるので、上記ステップ10において算出された距離Z2が物体までの距離Zとして出力される。一方、基線長B2>基線長B1でない場合(基線長B2≦基線長B1の場合)には、基線長B1の状態で測定した距離Z1は要求精度を満たしていることになるので、上記ステップ5において算出された距離Z1が物体までの距離Zとして出力される。
The
In this way, the distance Z to the object calculated by the
上記位置制御部18は、1つの測定対象に対する距離測定が終了した時、又は距離測定装置の起動時や終了時に、基線長を最短基線長(初期基線長)B0に短縮するのがよい。これにより、一度目の距離算出時の基線長が最短基線長B0となるため、2つの画像の対応点の認識精度が高くなる。また、基線長B0となる第2のカメラ10bの位置に、ストッパを取り付けてもよい。これにより、ストッパに当たる位置まで移動させて第2のカメラ位置を初期化することができるので、位置制御部18の繰り返し精度を向上させることができる。
The
本発明の実施例2による距離測定装置について、図5を参照しながら説明する。図5は距離測定装置の機能的な構成を説明するブロック図である。
本実施例2の距離測定装置は、第1のカメラ10aと第2のカメラ10bを備え、この2台のカメラ10a、10bからの画像を用いて物体までの距離を測定をする。
上記第1及び第2のカメラ10a、10bは、それぞれの位置を変更する位置制御部18a、18bと、それぞれの位置を検出するための位置検出部18c、18dを備えている。この位置制御部18a、18bは、それぞれのカメラ10a、10bを基線長方向に移動させることができる。また、上記位置検出部18c、18dはそれぞれのカメラ10a、10bの位置を検出することができるので、基線長を正確に知ることができる。
そして、本実施例2の距離測定装置は、上記実施例1のものと同様に、画像処理部11、視差算出部12、距離計算部13、距離記憶部14、基線長計算部15、基線長記憶部16、移動量計算部17、及び出力部20を備えている。
A distance measuring apparatus according to Embodiment 2 of the present invention will be described with reference to FIG. FIG. 5 is a block diagram illustrating a functional configuration of the distance measuring apparatus.
The distance measuring apparatus according to the second embodiment includes a
The first and
The distance measurement apparatus according to the second embodiment is similar to that of the first embodiment, in that the
次に、本実施例2の距離測定装置による距離測定の処理について、図4を参照しながら説明する。本実施例2においても、上記実施例1と同様の測定手順により物体までの距離を測定する。
先ず、基線長がB1の状態において(ステップS1)、第1及び第2のカメラ10a、10bから画像を取り込む(ステップS2)。それぞれのカメラ10a、10bからの画像は、理想ピンホールモデルで得る画像に変換するために、画像処理部11で補正される(ステップS3)。この画像処理部11では、例えば倍率補正、画像中心補正、又は歪補正が行われる。
Next, distance measurement processing by the distance measuring apparatus according to the second embodiment will be described with reference to FIG. Also in the second embodiment, the distance to the object is measured by the same measurement procedure as in the first embodiment.
First, in a state where the base line length is B1 (step S1), images are captured from the first and
上記視差算出部12では、上記画像補正部11から出力されるそれぞれの補正画像を比較して、2つの画像の対応点を検出し、視差d1を算出する(ステップS4)。また、上記距離計算部13では、視差算出部12が算出する視差d1と、それぞれの位置検出部18c、18dが検出する同一の基準点から各カメラ10a、10bまでの基線長方向の距離xa、xbと、理想ピンホールモデルの焦点距離fを用いて、物体までの距離Z1を算出する(ステップS5)。
上記第1及び第2のカメラ10a、10bの間隔(基線長)B1は、B1=xa−xbであるから、物体までの距離Z1は次式で算出される。
Z1/B1=f/d1
上記距離計算部13で算出された物体までの距離Z1は、距離記憶部14に記憶される。
The
Since the distance (baseline length) B1 between the first and
Z1 / B1 = f / d1
The distance Z1 to the object calculated by the
次に、基線長計算部15が、上記実施例1の場合と同様に、測定距離の精度が要求精度を満たすために必要な基線長B2を算出する(ステップS6)。この基線長計算部15で算出された基線長B2は、基線長記憶部16に記憶される。
基線長B2>基線長B1の場合は、基線長B1の状態で測定した距離Z1は要求精度を満たしていないことになり(ステップS7)、基線長をB2に延長して距離測定を行う必要があるので、移動量算出部17は第1及び第2のカメラ10a、10bの各移動量を算出する。第1及び第2のカメラ10a、10bの相対的な移動量はB2−B1である。それぞれのカメラ10a、10bを移動するとき、上記実施例1と同様に、各カメラ10a、10bの可動範囲や測定対象を撮影できる位置を超えている場合は、距離測定装置が警告を出す手段を備えていてもよい。また、基線長をB2にするために、必要な移動量と、各カメラ10a、10bの可動範囲と、測定対象を撮影できる各カメラ10a、10bの位置の範囲を比較して、各カメラ10a、10bの移動量を算出してもよい。
Next, as in the case of the first embodiment, the base line
When the baseline length B2> baseline length B1, the distance Z1 measured in the baseline length B1 state does not satisfy the required accuracy (step S7), and it is necessary to perform the distance measurement by extending the baseline length to B2. Therefore, the movement
上記第1及び第2のカメラ10a、10bの移動量を算出するとき、それぞれのカメラ10a、10bの移動量が等しくなるようにすると、測定可能範囲(測定対象が両方のカメラに写り込む範囲)の中心が基線長の中心になるため、例えば、自動車の中央に距離測定装置を搭載した際に、自動車を中心とした範囲で距離を測定することができる。このように、各カメラ10a、10bの移動量が等しいと、2つの画像の対応点の移動量も等しくなるため、対応点の探索が容易になる。
また、上記第1及び第2のカメラ10a、10bの移動量を算出するとき、測定対象が測定可能範囲に収まるように、それぞれのカメラ10a、10bの移動量が違っていてもよい。測定対象がそれぞれのカメラ10a、10bの可動範囲の中心から離れていても、基線長を延長することができる。
When the movement amounts of the first and
Further, when calculating the movement amounts of the first and
そして、第1及び第2のカメラ10a、10bに設けられたそれぞれの位置制御部18a、18bは、上記実施例1の場合と同様に、移動量計算部17で算出された移動量に応じて各カメラ10a、10bを移動して、基線長をB2に延長する(ステップS8)。このとき、上記位置検出部18c、18dは各カメラ10a、10bの位置をそれぞれのカメラ制御部18a、18bに出力し、このカメラ制御部18a、18bがフィードバック制御を行うことによって、より精度よく基線長を延長することができる。
このように、上記位置制御部18a、18bによって基線長をB2に延長した状態において、上記実施例1の場合と同様に、第1及び第2のカメラ10a、10bで物体を撮影し画像を取り込み(ステップS9)、視差d2を算出する。さらに、距離計算部13において物体までの距離Z2を算出し(ステップS10)、それを出力部20へ出力する(ステップS11)。
And each position control
As described above, in the state where the base line length is extended to B2 by the
10a…第1のカメラ(撮像手段) 10b…第2のカメラ(撮像手段)
11…画像処理部 12…視差算出部
13…距離計算部 14…距離記憶部
15…基線長計算部 16…基線長記憶部
17…移動量計算部 18,18a,18b…位置制御部
18c,18d…位置検出部 19…移動量記憶部
20…出力部
B,B0,B1,B2…基線長 Z,Z1,Z2…物体までの距離
d,d1,d2…視差
10a ... 1st camera (imaging means) 10b ... 2nd camera (imaging means)
DESCRIPTION OF
Claims (8)
前記撮像手段のうち2つ以上の撮像手段からの画像により、物体までの距離を算出する距離計算手段と、
前記撮像手段の位置を制御する位置制御手段と、
前記距離計算手段により算出された距離によって、要求精度を達成するために必要な基線長を算出する基線長計算手段と、
前記基線長計算手段が算出した基線長を記憶する基線長記憶手段と、
を備えることを特徴とする距離測定装置。 A plurality of imaging means for photographing an object;
Distance calculating means for calculating a distance to an object from images from two or more imaging means of the imaging means;
Position control means for controlling the position of the imaging means;
Baseline length calculation means for calculating a baseline length necessary to achieve the required accuracy by the distance calculated by the distance calculation means;
Baseline length storage means for storing the baseline length calculated by the baseline length calculation means;
A distance measuring device comprising:
第1の基線長において距離測定を行い、
この測定した距離によって、要求精度を達成するために必要な第2の基線長を算出し、
前記第1の基線長が第2の基線長よりも短い場合、前記撮像手段間の距離を第2の基線長に延長して、距離測定を行うことを特徴とする距離測定方法。 A distance measurement method for photographing an object from a plurality of viewpoint positions using a plurality of imaging means and calculating a distance from the photographed image to the object,
Perform distance measurement at the first baseline length,
Based on this measured distance, the second baseline length required to achieve the required accuracy is calculated,
When the first baseline length is shorter than the second baseline length, the distance measurement is performed by extending the distance between the imaging units to the second baseline length.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005577A JP5553202B2 (en) | 2010-01-14 | 2010-01-14 | Distance measuring device and distance measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005577A JP5553202B2 (en) | 2010-01-14 | 2010-01-14 | Distance measuring device and distance measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145143A true JP2011145143A (en) | 2011-07-28 |
JP5553202B2 JP5553202B2 (en) | 2014-07-16 |
Family
ID=44460132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005577A Expired - Fee Related JP5553202B2 (en) | 2010-01-14 | 2010-01-14 | Distance measuring device and distance measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5553202B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247518A (en) * | 2012-05-25 | 2013-12-09 | Sharp Corp | Space information calculation system |
CN103776419A (en) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | Binocular-vision distance measurement method capable of widening measurement range |
JP2016224015A (en) * | 2015-06-04 | 2016-12-28 | 株式会社大林組 | Three-dimensional position measurement method, surveying method, three-dimensional position measurement apparatus, and three-dimensional position measurement program |
JP2017505903A (en) * | 2014-12-04 | 2017-02-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Imaging system and method |
JP2017511495A (en) * | 2014-12-31 | 2017-04-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for adjusting a reference line of an imaging system having a microlens array |
JP2021189002A (en) * | 2020-05-28 | 2021-12-13 | 株式会社日立製作所 | Distance measurement system and distance measurement method |
JP2022007134A (en) * | 2020-06-25 | 2022-01-13 | オークマ株式会社 | Three-dimensional coordinate measuring method by monocular imaging device |
WO2022137876A1 (en) * | 2020-12-23 | 2022-06-30 | ソニーグループ株式会社 | Mobile object, control method for mobile object, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09243358A (en) * | 1996-03-12 | 1997-09-19 | Konica Corp | Passive type range finder |
JP2001305681A (en) * | 2000-04-19 | 2001-11-02 | Nippon Signal Co Ltd:The | Stereocamera device |
JP2003345097A (en) * | 2002-05-22 | 2003-12-03 | Canon Inc | Image forming apparatus |
JP2008175635A (en) * | 2007-01-17 | 2008-07-31 | Nikon Corp | Three-dimensional measuring apparatus and measurement program |
JP2008205758A (en) * | 2007-02-20 | 2008-09-04 | Fujifilm Corp | Stereoscopic photographing apparatus, method, and program |
JP2009047496A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Stereoscopic imaging device, control method of stereoscopic imaging device, and program |
-
2010
- 2010-01-14 JP JP2010005577A patent/JP5553202B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09243358A (en) * | 1996-03-12 | 1997-09-19 | Konica Corp | Passive type range finder |
JP2001305681A (en) * | 2000-04-19 | 2001-11-02 | Nippon Signal Co Ltd:The | Stereocamera device |
JP2003345097A (en) * | 2002-05-22 | 2003-12-03 | Canon Inc | Image forming apparatus |
JP2008175635A (en) * | 2007-01-17 | 2008-07-31 | Nikon Corp | Three-dimensional measuring apparatus and measurement program |
JP2008205758A (en) * | 2007-02-20 | 2008-09-04 | Fujifilm Corp | Stereoscopic photographing apparatus, method, and program |
JP2009047496A (en) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | Stereoscopic imaging device, control method of stereoscopic imaging device, and program |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247518A (en) * | 2012-05-25 | 2013-12-09 | Sharp Corp | Space information calculation system |
CN103776419A (en) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | Binocular-vision distance measurement method capable of widening measurement range |
US10728514B2 (en) | 2014-12-04 | 2020-07-28 | SZ DJI Technology Co., Ltd. | Imaging system and method |
JP2017505903A (en) * | 2014-12-04 | 2017-02-23 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Imaging system and method |
US10582188B2 (en) | 2014-12-31 | 2020-03-03 | SZ DJI Technology Co., Ltd. | System and method for adjusting a baseline of an imaging system with microlens array |
US9826217B2 (en) | 2014-12-31 | 2017-11-21 | SZ DJI Technology Co., Ltd. | System and method for adjusting a baseline of an imaging system with microlens array |
JP2017511495A (en) * | 2014-12-31 | 2017-04-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for adjusting a reference line of an imaging system having a microlens array |
JP2016224015A (en) * | 2015-06-04 | 2016-12-28 | 株式会社大林組 | Three-dimensional position measurement method, surveying method, three-dimensional position measurement apparatus, and three-dimensional position measurement program |
JP2021189002A (en) * | 2020-05-28 | 2021-12-13 | 株式会社日立製作所 | Distance measurement system and distance measurement method |
JP7369093B2 (en) | 2020-05-28 | 2023-10-25 | 株式会社日立製作所 | Distance measurement system and distance measurement method |
JP2022007134A (en) * | 2020-06-25 | 2022-01-13 | オークマ株式会社 | Three-dimensional coordinate measuring method by monocular imaging device |
JP7346363B2 (en) | 2020-06-25 | 2023-09-19 | オークマ株式会社 | Three-dimensional coordinate measurement method using a monocular imaging device |
WO2022137876A1 (en) * | 2020-12-23 | 2022-06-30 | ソニーグループ株式会社 | Mobile object, control method for mobile object, and program |
US20240114121A1 (en) * | 2020-12-23 | 2024-04-04 | Sony Group Corporation | Moving body, moving body control method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5553202B2 (en) | 2014-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5553202B2 (en) | Distance measuring device and distance measuring method | |
US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
JP2022001882A (en) | Distance measuring device and movable body | |
JP6044868B2 (en) | Stereo camera calibration apparatus and method, and distance measurement apparatus | |
EP2743889A2 (en) | Stereoscopic camera object detection system and method of aligning the same | |
CN104469169A (en) | Phase ranging camera shooting module and automatic focusing method thereof | |
US8861948B2 (en) | Image pickup apparatus | |
CN107122770B (en) | Multi-camera system, intelligent driving system, automobile, method and storage medium | |
US8908085B2 (en) | Tracking controllable image pickup apparatus | |
JP2010152873A5 (en) | ||
RU2014123677A (en) | DEVICE FOR FOCUS ADJUSTMENT, IMAGE FORMING DEVICE AND LENS | |
US20160093053A1 (en) | Detection method and detection apparatus for detecting three-dimensional position of object | |
JP5845023B2 (en) | FOCUS DETECTION DEVICE, LENS DEVICE HAVING THE SAME, AND IMAGING DEVICE | |
JP2010152026A (en) | Distance measuring device and object moving speed measuring device | |
JP2019061303A (en) | Periphery monitoring apparatus and periphery monitoring method for vehicle | |
US20130342754A1 (en) | Autofocus device and digital camera | |
WO2014073590A1 (en) | Three-dimensional measuring device and three-dimensional measuring method | |
US10921119B2 (en) | Three dimensional image measurement system | |
JP2007017246A (en) | Distance measuring system | |
JP2010282102A (en) | Imaging apparatus and range-finding method | |
JP2014238558A (en) | Imaging device and parallax detection method | |
JP2002072061A (en) | Range finder and camera | |
US10935661B2 (en) | Distance measuring method and apparatus | |
JP2007322759A (en) | Zoom position controller, zoom lens position control method and zoom lens position control program | |
JP2020020667A (en) | Distance measuring device and in-vehicle camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130924 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131004 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140515 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5553202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |