JP2014095631A - 3次元計測装置および3次元計測方法 - Google Patents
3次元計測装置および3次元計測方法 Download PDFInfo
- Publication number
- JP2014095631A JP2014095631A JP2012247512A JP2012247512A JP2014095631A JP 2014095631 A JP2014095631 A JP 2014095631A JP 2012247512 A JP2012247512 A JP 2012247512A JP 2012247512 A JP2012247512 A JP 2012247512A JP 2014095631 A JP2014095631 A JP 2014095631A
- Authority
- JP
- Japan
- Prior art keywords
- cameras
- exposure
- moving body
- light
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】安価なカメラを使用でき、簡単な構成で、移動体の3次元計測を精度よく行うことができる3次元計測装置を提供する。
【解決手段】ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3と、移動体8に向けて光を投光する投光手段4と、移動体8が複数のカメラ2,3によって計測される計測位置に到達したことを検知する検知手段5と、複数のカメラ2,3の全ラインが露光状態となるように複数のカメラ2,3の露光を制御し、複数のカメラ2,3の全ラインが露光状態である期間に光を投光するように投光手段4を制御する制御手段6と、複数のカメラ2,3で撮影された画像に基づいて移動体8の3次元距離を計算する3次元距離計算手段7と、を備える。
【選択図】図1
【解決手段】ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3と、移動体8に向けて光を投光する投光手段4と、移動体8が複数のカメラ2,3によって計測される計測位置に到達したことを検知する検知手段5と、複数のカメラ2,3の全ラインが露光状態となるように複数のカメラ2,3の露光を制御し、複数のカメラ2,3の全ラインが露光状態である期間に光を投光するように投光手段4を制御する制御手段6と、複数のカメラ2,3で撮影された画像に基づいて移動体8の3次元距離を計算する3次元距離計算手段7と、を備える。
【選択図】図1
Description
この発明は、計測対象である移動体の3次元距離を計測する3次元計測装置および3次元計測方法に関する。
非接触式の3次元計測手法は、様々な手法が提案されており、大きく受動的手法と能動的手法の二つに分類することができる。
受動的手法の代表的なものとしては、ステレオ法が挙げられる。ステレオ法は複数のカメラを用いて、複数の異なる視点から撮影した画像をもとに、対象物までの距離情報を計算する方法である。すなわち、得られた左右画像から対応する画素の対、即ち対応点を探索し、左右画像の対応点同士が左右方向にどれだけ離れているか、即ち視差を求め、この視差から三角測量の原理を用いて、対象物までの距離を算出する方法である。
能動的手法の代表的なものとしては、光切断法が挙げられる。光切断法は、対象物に直線状の既知の光パターンを投影し、投影されたパターン形状の変化から対象物の形状を求める方法である。
高速で移動中の移動体の3次元計測を行う場合、光切断法が一般に用いられる。これは、光切断法では細いスリット光の映像を用いるため1回の撮影で利用するデータ量が少なく、高速画像処理に最も適しているためである。
従来、3次元計測装置としては、特開平8−94313号公報(特許文献1)に記載されたものがある。この3次元計測装置では、移動体に帯状光を照射して、検知手段からの情報に基づき、撮像装置で撮像した結果から移動体の形状を算出している。
しかしながら、上記従来の3次元計測装置では、光切断法を用いており、一度の計測で帯状光の照射されるライン上の計測しかできないため、平面全体の計測を行うためには、繰り返し計測を実行する必要がある。平面方向の分解能は、移動体の移動速度とカメラのフレームレートで決定するため、移動体の移動速度を遅くするかもしくはカメラのフレームレートを上げる必要がある。検査ラインでの使用を考えた場合、移動体の速度を遅くすることは、ラインの生産能力を落とすことになるため、現実的でなく、カメラのフレームレートを上げるためには、特殊な撮像素子を用いた高速度カメラを用いなければならないため、高価になるという問題がある。
また、ステレオ法を用いて高速に移動する移動体の3次元形状計測を行うためには、2台のカメラの露光タイミングがずれないよう外部からの同期信号により撮影を実行する機能を有し、かつ全画素エリアを同時に露光可能なグローバルシャッター機能を有し、かつ高速電子シャッター機能を有するカメラを用いる必要がある。このようなカメラは高額であり、かつ、種類が少なく選択の幅が限られる問題がある。
安価なCMOSイメージセンサを用いたカメラの場合、ラインごとに露光タイミングにずれが生じるローリングシャッター方式であるため、高速電子シャッターを用いた方法では、ローリングシャッターに起因する画像歪が発生してしまう。この画像歪は、3次元計測の精度を著しく悪化させるため、安価なCMOSイメージセンサを用いた移動体の3次元計測は困難であった。
そこで、この発明の課題は、安価なカメラを使用でき、簡単な構成で、移動体の3次元計測を精度よく行うことができる3次元計測装置および3次元計測方法を提供することにある。
上記課題を解決するため、この発明の3次元計測装置は、
計測対象である移動体を撮影すると共に、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラと、
上記移動体に向けて光を投光する投光手段と、
上記移動体が上記複数のカメラによって計測される計測位置に到達したことを検知する検知手段と、
上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御し、上記複数のカメラの全ラインが露光状態である期間に光を投光するように上記投光手段を制御する制御手段と、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算手段と
を備えることを特徴としている。
計測対象である移動体を撮影すると共に、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラと、
上記移動体に向けて光を投光する投光手段と、
上記移動体が上記複数のカメラによって計測される計測位置に到達したことを検知する検知手段と、
上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御し、上記複数のカメラの全ラインが露光状態である期間に光を投光するように上記投光手段を制御する制御手段と、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算手段と
を備えることを特徴としている。
また、一実施形態の3次元計測装置では、上記投光手段は、非周期的な明暗パターンを投光するパターン投光機である。
また、一実施形態の3次元計測方法では、
移動体が、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラによって計測される計測位置に、到達したことを、検知手段により検知する移動体検知ステップと、
上記検知手段が上記移動体を検知してから予め設定された時間後に、上記複数のカメラの露光を開始し、上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御する露光ステップと、
上記複数のカメラの全ラインが露光状態である期間に、投光手段から、予め設定された投光時間だけ上記移動体に向けて光を投光する投光ステップと、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算ステップと
を備える。
移動体が、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラによって計測される計測位置に、到達したことを、検知手段により検知する移動体検知ステップと、
上記検知手段が上記移動体を検知してから予め設定された時間後に、上記複数のカメラの露光を開始し、上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御する露光ステップと、
上記複数のカメラの全ラインが露光状態である期間に、投光手段から、予め設定された投光時間だけ上記移動体に向けて光を投光する投光ステップと、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算ステップと
を備える。
また、一実施形態の3次元計測方法では、
上記露光ステップにおいて、予め設定された露光を開始するまでの時間をT、上記複数のカメラのうち、露光開始時刻の最も速いカメラと露光開始時刻の最も遅いカメラとの間に生じる時間の遅れをD、上記複数のカメラにおいて1ライン毎に生じる時間の遅れをR、全ライン数をn、上記複数のカメラのライン毎の露光時間をEとすると、露光時間Eは、少なくとも(D+R×n)以上であり、
上記投光ステップにおいて、上記投光手段による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれる。
上記露光ステップにおいて、予め設定された露光を開始するまでの時間をT、上記複数のカメラのうち、露光開始時刻の最も速いカメラと露光開始時刻の最も遅いカメラとの間に生じる時間の遅れをD、上記複数のカメラにおいて1ライン毎に生じる時間の遅れをR、全ライン数をn、上記複数のカメラのライン毎の露光時間をEとすると、露光時間Eは、少なくとも(D+R×n)以上であり、
上記投光ステップにおいて、上記投光手段による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれる。
また、一実施形態の3次元計測方法では、
上記各カメラの画素ピッチをp、上記各カメラの焦点距離をf、上記各カメラのワーキングディスタンスをw、上記移動体の移動速度をSとすると、
上記投光ステップにおいて、上記投光手段の投光時間Fは、((p×w)/(f×S×2))以下である。
上記各カメラの画素ピッチをp、上記各カメラの焦点距離をf、上記各カメラのワーキングディスタンスをw、上記移動体の移動速度をSとすると、
上記投光ステップにおいて、上記投光手段の投光時間Fは、((p×w)/(f×S×2))以下である。
この発明の3次元計測装置によれば、上記制御手段は、上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御し、上記複数のカメラの全ラインが露光状態である期間に光を投光するように上記投光手段を制御する。これにより、安価なカメラを使用でき、簡単な構成で、移動体の3次元計測を精度よく行うことができる。
この発明の3次元計測方法によれば、上記検知手段が上記移動体を検知してから予め設定された時間後に、上記複数のカメラの露光を開始し、上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御する。そして、上記複数のカメラの全ラインが露光状態である期間に、投光手段から、予め設定された投光時間だけ上記移動体に向けて光を投光する。これにより、安価なカメラを使用でき、簡単な制御ステップで、移動体の3次元計測が可能となる。
以下、この発明を図示の実施の形態により詳細に説明する。
図1は、この発明の一実施形態の3次元計測装置を示す概略構成図である。図1に示すように、3次元計測装置1は、計測対象である移動体8の3次元距離を計測して、移動体8の形状や高さを計測する。移動体8は、搬送ベルトにて搬送される。
上記3次元計測装置1は、第1のカメラ2と、第2のカメラ3と、(投光手段としての)パターン投光機4と、検知手段5と、制御手段6と、3次元距離計算手段7とを備える。
上記第1のカメラ2および上記第2のカメラ3は、(図示しない)撮像素子、レンズおよびレンズ駆動素子から構成されるカメラモジュールである。
上記撮像素子としては、CMOSイメージセンサが用いられる。CMOSイメージセンサを用いる長所としては、安価であること、制御用DSP(Digital Signal Processor)が一体となったCMOSイメージセンサを用いることで、外部に回路を設けることなく撮影画像サイズや焦点距離、露出、ホワイトバランスなどのカメラパラメータを電気的に制御することができることが、挙げられる。ただし、CMOイメージセンサを用いたカメラは、一般的に、ライン(走査線)毎に露光タイミングにずれが生じるローリングシャッター方式を採用しているため、CMOSイメージセンサを用いたカメラで移動中の被写体を高速電子シャッターで撮影した場合、画像に歪が生じる。そのため、移動中の被写体の3次元計測には不向きである。
上記レンズとしては、ガラスレンズ、プラスチックレンズが複数枚組み合わされたレンズ群を使用する。これにより、精度の高い計測が可能となる。
上記レンズ駆動素子として、ボイスコイルモータやステッピングモータを用いる。これにより、近距離から遠距離までフォーカスを調整することが可能となり、計測の対応距離を広くすることが可能である。
上記第1、上記第2のカメラ2,3の画素サイズや設置は、計測したい移動体8のサイズや必要な計測精度によって、選択・設置する必要がある。理論上の計測精度は、カメラの画素ピッチを小さく、焦点距離を長く、2つのカメラ間の距離すなわち基線長を長く、移動体8までの距離を短くすることで向上する。
例えば、150mm程度の移動体8を奥行き方向の分解能0.15mm程度で計測を行うためには、画素ピッチが1.4μm、焦点距離が3mm、基線長が60mm、計測距離が150mmで、計測すればよい。2つのカメラ間の角度、すなわち輻輳角は、移動体8が2つのカメラの画角内に映るように調整すればよく、上記の例では、20度程度に調整すればよい。
上記パターン投光機4は、計測時に移動体8に対し、非周期的な明暗パターンを投影するものであり、(図示しない)光源、ガラスマスク、拡散レンズおよびフォーカスレンズなどから構成される。
上記光源としては、LEDやレーザダイオードが使用可能である。上記ガラスマスクには、ランダム2値ドットパターンが印刷されている。上記拡散レンズとしては、光源の光をガラスマスク全体へ均等に導くためのものである。
上記フォーカスレンズとしては、ガラスマスクを通った光が移動体8の位置で合焦するように集光するレンズである。フォーカスレンズは、ガラスマスクに対して取付位置を変更することで、合焦位置を可変できるようにすることが望ましい。例えば、パターン投光機4の筐体とフォーカスレンズにネジを設け、ねじ込んだり、繰り出したりすることで調整すればよい。もしくは、レンズ駆動素子として、ボイスコイルモータやステッピングモータを設けることで、近距離から遠距離までフォーカスを電気的に調整することが可能となる。
上記パターン投光機4で移動体8に明暗パターンを投影することにより、移動体8に細かい輝度変化が付与される。明暗パターンのランダム性により、これらの輝度変化を左右画像で一対一に対応づけて認識することができる。明暗パターンを投影しない場合であっても、計測は可能であるが、移動体8の表面の特徴点が乏しい場合やコントラストの低い場合であっても、安定した計測が可能になる。
上記パターン投光機4として、市販のプロジェクタを使用してもよい。パターン投光機4の配置は、特に規定はなく、最も計測結果が良好となる場所に配置すれば良い。第1のカメラ2および第2のカメラ3に、正反射光が入る配置とすると、カメラ画像の一部に強烈光が入り明るくなり過ぎる(飽和する)ことがあるため、正反射光が入らないように配置するのが望ましい。
上記検知手段5は、移動体8が、第1、第2のカメラ2,3によって計測される計測位置に到達したことを、検知するためのものである。検知手段5としては、光を利用したものや超音波を利用したものが使用可能であるが、検知する位置にばらつきがあると撮影位置にばらつきがでるため、繰り返し精度の高いセンサを用いた方がよい。検知手段5は、例えば、光を利用したフォトセンサである。
上記制御手段6は、第1、第2のカメラ2,3の露光タイミングおよび露光時間の制御と、パターン投光機4の投光タイミングおよび投光時間の制御とを、行う。
上記第1、上記第2のカメラ2,3の露光タイミングは、外部同期機能の付いたカメラであれば、同期信号を送ることで完全に同時刻に露光を行うことが可能である。安価なCMOSイメージを用いたカメラでは、一般的に外部同期機能がついていない。そこで、CMOSイメージセンサに内蔵されるDSPに制御信号を送ることで、露光タイミングの制御を行う。具体的には、カメラの動作を待機状態とするスタンバイ機能を働かせた状態から、複数のカメラに対して同時に、スタンバイ解除することによって、露光タイミングの制御を行う。また、上記第1、上記第2のカメラ2,3の露光時間についても、DSPに制御信号を送ることで制御を行う。
上記パターン投光機4の投光タイミングおよび投光時間の制御については、パターン投光機4の光源に対して駆動パルス電流を送ることで、制御を行う。制御手段6の制御について詳細は、後述の図2に示す3次元計測の全体的な流れにおいて、記載する。
上記3次元距離計算手段7は、第1、第2のカメラ2,3で撮影された画像に基づいて、3次元距離を計算する。3次元距離計算手段7は、(図示しない)対応点探索部および3次元座標算出部などから構成される。
上記対応点探索部は、第1のカメラ2を基準として、第1のカメラ2の画像上の各画素に対して第2のカメラ3の画像から対応する画素を探索する処理を行う。
上記対応点探索部による対応点探索について述べる。まず、左右画像の輝度差や画像内の局所的な輝度レベルの変動などを吸収するために、プレフィルタとしてエッジ強調処理が施される。プレフィルタとしては、ソベルフィルタやラプラシアンフィルタ等が用いられる。
その後、上記第1のカメラ2の画像の注目する画素を中心として、縦横それぞれp画素の正方形状の「相関窓」と呼ばれる領域を設定する。第2のカメラ3の画像における同一列に、同じ大きさの相関窓を設定し、これを、左右方向にスライドさせながら、両画像の相関窓に含まれる画素間の相関度合いを示す評価量を計算してゆく。この相関度合いを示す評価量としては、例えば、SAD(Sum of Absolute Difference:差分絶対値和)などの画素演算で計算できる量が用いられる。所定の相関探索範囲の端から端まで探索したとき、相関度合いが最も高くなる状態での第2のカメラ3の画像の相関窓の中心点が、第1のカメラ2の画像の注目画素に対する対応点となる。
なお、相関探索範囲の端から端まで探索しても相関度合いが所定の値以上にならない場合は、相関点が存在しないと見なされる。第1のカメラ2からは見えているが第2のカメラ3からは見えない部分(オクルージョン領域)を計測する場合や、移動体8のコントラストが低いときに相関点が存在しなくなることがある。対応点が見出せなかったり対応点を誤って検出したりすると、ノイズが混じることがある。特に、対応点探索時の相関窓サイズが比較的小さい場合、計測精度が高まる代わりにノイズの割合が大きくなる傾向にある。このようなノイズ成分を低減するため、対応点探索結果にポストフィルタを適用してノイズ除去を行う。ポストフィルタとしては、例えばガウシアン、メディアン等の平滑化フィルタや膨張収縮などのモルフォロジー処理が用いられる。
その後、得られた対応点の情報から第1の視差が算出される。視差とは、第1のカメラ2の画像の注目画素と第2のカメラ3の画像の対応画素との距離を、水平方向の画素単位で表したものと定義される。
上記3次元座標算出部では、上記対応点探索部で得られた視差に基づいて、第1のカメラ2の画像の各点につき3次元座標を算出する。
次に、上記構成の3次元計測装置1による3次元計測の流れを、図2、図3、図4を用いて、説明する。図2は、フローチャートであり、図3は、タイミングチャートであり、図4は、投光時間についての説明を補助する図である。
ステップS101では、検知手段5が移動体8を検知する。検知手段5が反射型のフォトセンサである場合、移動体8の通過により、フォトセンサの光源の反射光が、受光部に帰ってくることで、移動体が検知される。移動体の検知位置と第1、第2のカメラ2,3の露光させたい位置とが、異なる場合、制御手段6で露光タイミングを制御することで調整される。図3のTと記載された時間が、調整時間である。露光させたい位置とは、通常、移動体がカメラの撮影範囲の最も中心に到達する時間に設定すればよい。
ステップS102では、検知手段5からの検知信号に基づいて、制御手段6が予め設定された調整時間である時間T後に、第1のカメラ2および第2のカメラ3に同時にスタンバイモードを解除する信号を送ることで、第1のカメラ2および第2のカメラ3の露光を開始する。
この時、第1、第2のカメラ2,3のスタンバイモードの解除は、できる限り同じタイミングで行われることが望ましいが、制御手段6からの制御信号のずれ、および、第1のカメラ2と第2のカメラ3に内蔵されるDSPの処理時間のずれにより、図3のDと記載したようなわずかなずれが生じる。この時間Dは、制御手段6およびカメラのDSPの性能により異なるが、再現性があるため、実際の時間を計測することで、後の制御に使用される。
また、第1のカメラ2および第2のカメラ3は、ライン毎に露光タイミングがずれるローリングシャッター方式の安価なCMOSセンサを採用したカメラであるため、露光開始時刻は、図3に示したように最初のラインであるLINE1と2番目のラインであるLINE2では、Rだけ露光開始時刻にずれが生じる。この露光開始時刻のずれRは、カメラの画素サイズやフレームレートや画像出力形式により異なる。このずれは、ライン毎に積算していき、最後のラインの露光開始時刻は、垂直ライン数をnラインとすると、(R×n)となり、第1のカメラ2と第2のカメラ3で設定を同じにしておけば、共通の値となる。
カメラの露光時間Eは、全てのカメラの全てのラインが露光状態である期間を作るために、少なくとも(D+R×n)よりも長く設定する必要がある。これより長くすることは可能であるが、処理時間が増加につながること、カメラのランダムノイズが増えることからできるだけ短く設定すべきである。露光時間Eは、全てのカメラの全ラインで共通の時間となり、カメラに内蔵のDSPに制御信号を送ることで制御される。
ステップS103では、上記検知手段5からの検知信号に基づいて、上記制御手段6で予め設定された時間後に、上記パターン投光機4の投光が開始される。パターン投光機4の投光可能時間は、ステップS102において、第1のカメラ2および第2のカメラ3の全てのラインが露光状態である期間である必要がある。すなわち、図3に記載されたように、投光可能時間は、検知手段5からの検知信号の立ち上がりから計算して、(T+D+R×n)後から(T+E)後までとなる。
上記パターン投光機4の投光時間Fについて、図4を用いて説明する。パターン投光機4の投光時間Fは、ぶれることなく撮影を行なうために、移動体8の移動距離を、移動体8の位置における第1のカメラ2および(図示しない)第2のカメラ3の1画素あたりの撮影範囲xの半分以下にすればよい。つまり、カメラの画素ピッチをp、カメラの焦点距離をf、カメラのワーキングディスタンス(つまり、カメラの設置位置)をw、移動体8の移動速度をSとすると、投光時間Fは、((p×w)/(f×S×2))以下にすればよい。こうすることで、ローリングシャッターの影響を受けることなく、移動体8の画像がぶれることなく、第1のカメラ2と第2のカメラ3によって、同じタイミングで撮影された画像を得ることが可能となる。
上記パターン投光機4の明るさは、上記投光時間で十分に露光可能な強度にする必要がある。露光が過剰な場合もしくは不足する場合は、カメラのゲインを調整すればよい。なお、パターン投光機4が投光していない期間の外光が計測のノイズとなってしまう場合、計測を暗室で行うか、もしくは、外光を遮断する暗箱を設置するべきであり、そのような環境が準備できない場合は、室内光をさえぎる工夫が必要である。
ステップS104では、第1のカメラ2と第2のカメラ3によって、同じタイミングで撮影された画像が取得される。
ステップS105では、得られた画像をもとに対応点の探索が行われ、視差情報が得られる。
ステップS106では、対応点探索の結果得られた視差情報をもとに、第1のカメラ2の画像の全画素に対して、3次元座標が算出される。
なお、この発明は上述の実施形態に限定されない。上記実施形態では、2つのカメラを搭載し、2枚の画像対から対応点探索を行っていたが、カメラの個数は2つに限らず、3つ以上のカメラを用いてもよい。
また、本発明の3次元計測装置は、移動体の3次元計測装置として、産業用、民生用その他用途に用いることが可能である。
この発明の3次元計測装置は、
計測対象である移動体8を撮影すると共に、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3と、
上記移動体8に向けて光を投光する投光手段4と、
上記移動体8が上記複数のカメラ2,3によって計測される計測位置に到達したことを検知する検知手段5と、
上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御し、上記複数のカメラ2,3の全ラインが露光状態である期間に光を投光するように上記投光手段4を制御する制御手段6と、
上記複数のカメラ2,3で撮影された画像に基づいて上記移動体8の3次元距離を計算する3次元距離計算手段7と
を備えることを特徴としている。
計測対象である移動体8を撮影すると共に、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3と、
上記移動体8に向けて光を投光する投光手段4と、
上記移動体8が上記複数のカメラ2,3によって計測される計測位置に到達したことを検知する検知手段5と、
上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御し、上記複数のカメラ2,3の全ラインが露光状態である期間に光を投光するように上記投光手段4を制御する制御手段6と、
上記複数のカメラ2,3で撮影された画像に基づいて上記移動体8の3次元距離を計算する3次元距離計算手段7と
を備えることを特徴としている。
この発明の3次元計測装置によれば、上記制御手段6は、上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御し、上記複数のカメラ2,3の全ラインが露光状態である期間に光を投光するように上記投光手段4を制御する。
これにより、上記カメラ2,3の上記撮像素子として、例えば、ラインごとに露光タイミングがずれるローリングシャッター方式の安価なCMOSセンサを用いることができ、移動体8の3次元計測を精度よく行うことができる。
また、一実施形態の3次元計測装置では、上記投光手段4は、非周期的な明暗パターンを投光するパターン投光機である。
この実施形態の3次元計測装置によれば、上記投光手段4は、非周期的な明暗パターンを投光するパターン投光機であるので、上記移動体8が、複数のカメラ2,3の画像の対応を取るための特徴となる点が少ない場合であっても、精度よく3次元計測を行うことが可能となる。
また、一実施形態の3次元計測方法では、
移動体8が、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3によって計測される計測位置に、到達したことを、検知手段5により検知する移動体8検知ステップと、
上記検知手段5が上記移動体8を検知してから予め設定された時間後に、上記複数のカメラ2,3の露光を開始し、上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御する露光ステップと、
上記複数のカメラ2,3の全ラインが露光状態である期間に、投光手段4から、予め設定された投光時間だけ上記移動体8に向けて光を投光する投光ステップと、
上記複数のカメラ2,3で撮影された画像に基づいて上記移動体8の3次元距離を計算する3次元距離計算ステップと
を備える。
移動体8が、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラ2,3によって計測される計測位置に、到達したことを、検知手段5により検知する移動体8検知ステップと、
上記検知手段5が上記移動体8を検知してから予め設定された時間後に、上記複数のカメラ2,3の露光を開始し、上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御する露光ステップと、
上記複数のカメラ2,3の全ラインが露光状態である期間に、投光手段4から、予め設定された投光時間だけ上記移動体8に向けて光を投光する投光ステップと、
上記複数のカメラ2,3で撮影された画像に基づいて上記移動体8の3次元距離を計算する3次元距離計算ステップと
を備える。
この実施形態の3次元計測方法によれば、上記検知手段5が上記移動体8を検知してから予め設定された時間後に、上記複数のカメラ2,3の露光を開始し、上記複数のカメラ2,3の全ラインが露光状態となるように上記複数のカメラ2,3の露光を制御する。そして、上記複数のカメラ2,3の全ラインが露光状態である期間に、投光手段4から、予め設定された投光時間だけ上記移動体8に向けて光を投光する。これにより、安価なカメラ2,3を使用でき、簡単な制御ステップで、移動体8の3次元計測が可能となる。
また、一実施形態の3次元計測方法では、
上記露光ステップにおいて、予め設定された露光を開始するまでの時間をT、上記複数のカメラ2,3のうち、露光開始時刻の最も速いカメラ2と露光開始時刻の最も遅いカメラ3との間に生じる時間の遅れをD、上記複数のカメラ2,3において1ライン毎に生じる時間の遅れをR、全ライン数をn、上記複数のカメラ2,3のライン毎の露光時間をEとすると、露光時間Eは、少なくとも(D+R×n)以上であり、
上記投光ステップにおいて、上記投光手段4による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれる。
上記露光ステップにおいて、予め設定された露光を開始するまでの時間をT、上記複数のカメラ2,3のうち、露光開始時刻の最も速いカメラ2と露光開始時刻の最も遅いカメラ3との間に生じる時間の遅れをD、上記複数のカメラ2,3において1ライン毎に生じる時間の遅れをR、全ライン数をn、上記複数のカメラ2,3のライン毎の露光時間をEとすると、露光時間Eは、少なくとも(D+R×n)以上であり、
上記投光ステップにおいて、上記投光手段4による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれる。
この実施形態の3次元計測方法によれば、上記投光ステップにおいて、上記投光手段4による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれる。これにより、例えば、ラインごとに露光タイミングがずれるローリングシャッター方式の安価なCMOSセンサを採用したカメラ2,3を用いて、移動体8の3次元計測を精度よく行うことができる。
また、一実施形態の3次元計測方法では、
上記各カメラ2,3の画素ピッチをp、上記各カメラ2,3の焦点距離をf、上記各カメラ2,3のワーキングディスタンスをw、上記移動体8の移動速度をSとすると、
上記投光ステップにおいて、上記投光手段4の投光時間Fは、((p×w)/(f×S×2))以下である。
上記各カメラ2,3の画素ピッチをp、上記各カメラ2,3の焦点距離をf、上記各カメラ2,3のワーキングディスタンスをw、上記移動体8の移動速度をSとすると、
上記投光ステップにおいて、上記投光手段4の投光時間Fは、((p×w)/(f×S×2))以下である。
この実施形態の3次元計測方法によれば、上記投光ステップにおいて、上記投光手段4の投光時間Fは、((p×w)/(f×S×2))以下である。これにより、計測対象である移動体8をブレなく複数のカメラ2,3で撮影ができ、3次元計測精度を向上させることができる。
1 3次元計測装置
2 第1のカメラ
3 第2のカメラ
4 パターン投光機(投光手段)
5 検知手段
6 制御手段
7 3次元距離計算手段
8 移動体
2 第1のカメラ
3 第2のカメラ
4 パターン投光機(投光手段)
5 検知手段
6 制御手段
7 3次元距離計算手段
8 移動体
Claims (5)
- 計測対象である移動体を撮影すると共に、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラと、
上記移動体に向けて光を投光する投光手段と、
上記移動体が上記複数のカメラによって計測される計測位置に到達したことを検知する検知手段と、
上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御し、上記複数のカメラの全ラインが露光状態である期間に光を投光するように上記投光手段を制御する制御手段と、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算手段と
を備えることを特徴とする3次元計測装置。 - 請求項1に記載の3次元計測装置において、
上記投光手段は、非周期的な明暗パターンを投光するパターン投光機であることを特徴とする3次元計測装置。 - 移動体が、ライン毎に露光タイミングが異なる撮像素子を含む複数のカメラによって計測される計測位置に、到達したことを、検知手段により検知する移動体検知ステップと、
上記検知手段が上記移動体を検知してから予め設定された時間後に、上記複数のカメラの露光を開始し、上記複数のカメラの全ラインが露光状態となるように上記複数のカメラの露光を制御する露光ステップと、
上記複数のカメラの全ラインが露光状態である期間に、投光手段から、予め設定された投光時間だけ上記移動体に向けて光を投光する投光ステップと、
上記複数のカメラで撮影された画像に基づいて上記移動体の3次元距離を計算する3次元距離計算ステップと
を備えることを特徴とする3次元計測方法。 - 請求項3に記載の3次元計測方法において、
上記露光ステップにおいて、予め設定された露光を開始するまでの時間をT、上記複数のカメラのうち、露光開始時刻の最も速いカメラと露光開始時刻の最も遅いカメラとの間に生じる時間の遅れをD、上記複数のカメラにおいて1ライン毎に生じる時間の遅れをR、全ライン数をn、上記複数のカメラのライン毎の露光時間をEとすると、露光時間Eは、少なくとも(D+R×n)以上であり、
上記投光ステップにおいて、上記投光手段による投光は、(T+D+R×n)後から(T+E)後までの間に、行なわれることを特徴とする3次元計測方法。 - 請求項3または4に記載の3次元計測方法において、
上記各カメラの画素ピッチをp、上記各カメラの焦点距離をf、上記各カメラのワーキングディスタンスをw、上記移動体の移動速度をSとすると、
上記投光ステップにおいて、上記投光手段の投光時間Fは、((p×w)/(f×S×2))以下であることを特徴とする3次元計測方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247512A JP2014095631A (ja) | 2012-11-09 | 2012-11-09 | 3次元計測装置および3次元計測方法 |
PCT/JP2013/080073 WO2014073590A1 (ja) | 2012-11-09 | 2013-11-07 | 3次元計測装置および3次元計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247512A JP2014095631A (ja) | 2012-11-09 | 2012-11-09 | 3次元計測装置および3次元計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014095631A true JP2014095631A (ja) | 2014-05-22 |
Family
ID=50684691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012247512A Pending JP2014095631A (ja) | 2012-11-09 | 2012-11-09 | 3次元計測装置および3次元計測方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014095631A (ja) |
WO (1) | WO2014073590A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020045233A (ja) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | 基材処理装置および検出方法 |
WO2024111417A1 (ja) * | 2022-11-22 | 2024-05-30 | オムロン株式会社 | 計測装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7242431B2 (ja) * | 2019-05-31 | 2023-03-20 | 公益財団法人かずさDna研究所 | 三次元計測装置、三次元計測方法および三次元計測用プログラム |
CN111810777A (zh) * | 2020-06-17 | 2020-10-23 | 安徽超清科技股份有限公司 | 一种智能人体特征识别摄像机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004022327A (ja) * | 2002-06-17 | 2004-01-22 | Dainippon Printing Co Ltd | 光源切替機構を有する照明装置 |
JP2008256635A (ja) * | 2007-04-09 | 2008-10-23 | Meidensha Corp | 積雪量計測装置及び方法 |
JP2010154088A (ja) * | 2008-12-24 | 2010-07-08 | Seiko Epson Corp | 位置と画像とを対応付ける画像処理 |
JP2011030985A (ja) * | 2009-08-06 | 2011-02-17 | Hoya Corp | 内視鏡システム、および内視鏡 |
JP2012198075A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | ステレオカメラ装置、画像補整方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004117186A (ja) * | 2002-09-26 | 2004-04-15 | Mitsutoyo Corp | 3次元形状測定装置 |
JP2010527457A (ja) * | 2007-04-18 | 2010-08-12 | 株式会社オプトエレクトロニクス | 移動物体を撮像するための撮像方法及び撮像装置 |
JP2009081808A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 |
JP2009124260A (ja) * | 2007-11-12 | 2009-06-04 | Ricoh Co Ltd | 撮像装置 |
-
2012
- 2012-11-09 JP JP2012247512A patent/JP2014095631A/ja active Pending
-
2013
- 2013-11-07 WO PCT/JP2013/080073 patent/WO2014073590A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004022327A (ja) * | 2002-06-17 | 2004-01-22 | Dainippon Printing Co Ltd | 光源切替機構を有する照明装置 |
JP2008256635A (ja) * | 2007-04-09 | 2008-10-23 | Meidensha Corp | 積雪量計測装置及び方法 |
JP2010154088A (ja) * | 2008-12-24 | 2010-07-08 | Seiko Epson Corp | 位置と画像とを対応付ける画像処理 |
JP2011030985A (ja) * | 2009-08-06 | 2011-02-17 | Hoya Corp | 内視鏡システム、および内視鏡 |
JP2012198075A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | ステレオカメラ装置、画像補整方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020045233A (ja) * | 2018-09-20 | 2020-03-26 | 株式会社Screenホールディングス | 基材処理装置および検出方法 |
JP7198019B2 (ja) | 2018-09-20 | 2022-12-28 | 株式会社Screenホールディングス | 基材処理装置および検出方法 |
WO2024111417A1 (ja) * | 2022-11-22 | 2024-05-30 | オムロン株式会社 | 計測装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2014073590A1 (ja) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10698308B2 (en) | Ranging method, automatic focusing method and device | |
JP5986364B2 (ja) | 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム | |
KR20150101749A (ko) | 객체의 3차원 형상을 산출하는 장치 및 방법 | |
JP2006279546A (ja) | 電子カメラ、画像処理プログラム、および画像処理方法 | |
WO2014073590A1 (ja) | 3次元計測装置および3次元計測方法 | |
JP6152772B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
US9247125B2 (en) | Auxiliary light projection apparatus, flash apparatus, and photographing apparatus | |
JP5023750B2 (ja) | 測距装置および撮像装置 | |
KR101465996B1 (ko) | 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법 | |
JP4598372B2 (ja) | 校正用三次元フィールド、校正用三次元フィールドの撮影方法 | |
JP2010190793A (ja) | 距離計測装置及び距離計測方法 | |
US11616915B2 (en) | Apparatus and method thereof, and storage medium for detecting a change in external light that occurs during shooting an image | |
EP3163369B1 (en) | Auto-focus control in a camera to prevent oscillation | |
JP4696730B2 (ja) | ピント測定装置 | |
JP6193609B2 (ja) | 三次元形状計測装置、三次元形状計測方法 | |
JP2008233389A (ja) | 焦点判定方法、焦点判定装置、および焦点判定プログラム | |
JP6247724B2 (ja) | 計測装置 | |
JP2019007845A (ja) | Mtf測定用チャート、画像処理方法および画像処理装置 | |
KR101505441B1 (ko) | 촬상 장치 | |
JP2009069157A (ja) | 校正用三次元フィールド、校正用三次元フィールドの撮影方法 | |
JP2017073681A (ja) | 撮像装置および撮像処理プログラム | |
JP2022186023A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2021139672A (ja) | 面積計測装置、面積計測方法、及びプログラム | |
JP2015105899A (ja) | 3次元計測装置 | |
JP5932361B2 (ja) | 距離情報検出装置、距離情報検出方法、及びカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170207 |