JP2021173740A - テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法 - Google Patents
テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2021173740A JP2021173740A JP2020097342A JP2020097342A JP2021173740A JP 2021173740 A JP2021173740 A JP 2021173740A JP 2020097342 A JP2020097342 A JP 2020097342A JP 2020097342 A JP2020097342 A JP 2020097342A JP 2021173740 A JP2021173740 A JP 2021173740A
- Authority
- JP
- Japan
- Prior art keywords
- telecentric
- line scan
- camera
- image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000033001 locomotion Effects 0.000 claims description 61
- 238000013507 mapping Methods 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 2
- 239000013598 vector Substances 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004800 variational method Methods 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、概してマシンビジョンシステムに関し、より具体的には物体を2次元画像から3次元再構成することに関する。
3次元再構成の用途
画像からシーン(物体)を効率的かつ正確に再構成することは、数多くのコンピュータビジョンの、特にマシンビジョンの用途において重要である。たとえば、プリント回路基板(printed circuit board:PCB)の、欠落しているまたは間違って配置された電子部品について、PCBの3次元再構成を用いてロバストな検査を実施することができる(Steger et al., 2018, Chapter 3.10.1)。さらに、製造された物体を、3次元で測定することにより、その正しい形状または寸法を、たとえば再構成された表面を基準物と比較することにより、確認することができる(Steger et al., 2018, Chapter 4.13)。もう1つの例は、ピック&プレース用途の物体認識であり、この場合、物体の正確な3次元姿勢(pose)(位置および向き(orientation))を3次元データで判断することにより、この物体をロボットで把持できるようにしなければならない(Steger et al., 2018, Chapter 4.14)。
マシンビジョン産業では、3次元データを返す3次元画像取得装置の多数のさまざまな技術を利用できる。大多数の3次元画像取得装置の背景にある原理は、三角測量である。三角測量に基づく、最もよく知られている代表的な3次元再構成のうちの1つは、ステレオ再構成であり、この場合、シーンを、少なくとも2つのカメラで、異なる位置から観察する(Steger et al., 2018, Chapter 2.5.1)。ある点の3次元座標は、画像中の対応する点を特定し、それぞれに対応付けられた視線を3次元空間内で交差させることによって得られる。もう1つの代表的な3次元再構成は、光シート(sheet of light)原理に基づく3次元再構成であり、レーザ三角測量と呼ばれることも多い(Steger et al., 2018, Chapter 2.5.2)。光シートセンサは、カメラと、レーザ面をシーン上に投影するレーザプロジェクタとで構成される。レーザ面と物体との交差部分を、カメラ画像におけるラインとして抽出する。抽出したライン上の各画像の点は、カメラにおける視線(line of sight)を表し、これを3次元におけるレーザ面と交差させることにより、再構成された点を得る。ある物体の完全な形状を光シートセンサで再構成するには、この物体をセンサに対して相対的に移動させねばならない。三角測量に基づく、第3のカテゴリの3次元センサは、構造化光(structured light)センサである(Steger et al., 2018, Chapter 2.5.3)。このセンサは、カメラと、パターンをシーン上に投影するプロジェクタとで構成される。カメラ画像内のパターンの歪みから、物体の3次元形状を推測することができる。三角測量以外の、普及している第2の3次元再構成原理は、飛行時間(time-of-flight:TOF)測定である。TOFセンサは放射を射出し、放射を射出した時間と、この放射が物体の表面上で反射された後にセンサに返ってきた時間との時間差を測定する(Steger et al., 2018, Chapter 2.5.4)。
本発明はステレオ再構成に注目する。なぜなら、ステレオ再構成は3次元再構成の最もよく知られている原理のうちの1つであるからである。商品化された多数のステレオセンサが入手できるが、典型的には2つのカメラが1つの筐体に含まれている。しかしながら、より柔軟性があるセットアップ(機器構成)は、独立したカメラを2つ以上使用することである。この場合、解決すべきタスクに応じて、最適にハードウェアおよびセットアップを選択するかまたは適合させることができる。たとえば、所定の用途に応じて、センサの解像度およびサイズ、レンズの種類、レンズの焦点深度、ならびに複数カメラの相対オリエンテーション(relative orientation)を、最適に選択することができる。これらのパラメータは、ステレオ再構成の精度、ロバスト性、および視野に影響を与える。
マシンビジョン用途の一部では、パースペクティブレンズの代わりにテレセントリックレンズが使用される。テレセントリックレンズは、物体側においてテレセントリック投影を行う。したがって、テレセントリックレンズは世界を平行に投影して画像にする(Steger et al. 2018, Chapter 2.2.4)。特に測定用途において、テレセントリックレンズを使用すると精度が高まる。なぜなら、射影歪み(perspective distortion)を無くすからである。テレセントリックレンズは、開口絞りが画像側の焦点上に位置するように構成され、これにより、光軸と平行でないすべての光線が取り除かれる(Steger et al. 2018, Chapter 2.2.4)。テレセントリックレンズは、物体空間において平行に投影するので、テレセントリックレンズの直径は、撮像する画像と少なくとも同じ大きさのものを選択しなければならない。
エリアスキャンカメラの汎用カメラモデル、ならびにパースペクティブレンズおよびテレセントリックレンズを備えたカメラの適切な較正手順が提案されている(Steger, 2017)。この較正手順により、(ティルト(tilt)レンズのサポートを含む)パースペクティブカメラおよびテレセントリックカメラの任意の組み合わせのセットアップの較正が可能である。
較正されたカメラセットアップは、ステレオ再構成の前提条件である。以下の説明を簡単にするために、2眼ステレオの場合に、すなわち2つのカメラの場合に限定する。しかしながら、本概念は、3つ以上のカメラに容易に拡張することができる。3次元の点を再構成するためには2つの画像内の対応する点を求めなければならない。第1の画像における所定の点について、第2の画像における対応する点は、いわゆるエピポーラ(epipolar)線上になければならないことは周知である(Steger et al. 2018, Chapter 3.10.1.3)。対応する点の探索の速度を高める一般的な方法は、2つの入力画像をエピポーラ標準幾何学に従う表現に変換することである(Steger et al., 2018, Chapter 3.10.1.4)。この変換はステレオ画像平行化と呼ばれる。この変換のパラメータは、カメラの較正結果から導き出すことができる。平行化後の画像にはレンズ歪みがなく、対応する画像の点は、3つの画像において同一の画像行にある。このように、対応する点の探索を、1つの画像行に限定することができ、よって、非常に効率的に実施することができる。これは、稠密再構成(dense reconstruction)を目的とする用途、すなわち、入力画像内の複数画素の3次元座標が必要な用途には、特に重要である。
画像内の対応する点を求めるプロセスはステレオマッチングと呼ばれている。稠密再構成を得るために、ステレオマッチングは、第1の平行化後の画像における各点(画素)ごとに、第2の平行化後の画像における対応する点を発見しようとする。平行化後の画像内の対応する点は同一の画像行になければならないことがわかっているので、3次元再構成についての関連情報は、平行化後の画像内の対応する点の列座標である。より具体的には、3次元の点の奥行き(すなわちカメラからその点までの距離)は、平行化後の画像内の、その対応する点の列座標の差のみによって決まる。この差は視差(disparity)と呼ばれている(Steger et al., 2018, Chapter 3.10.1.5)。
いくつかのマシンビジョン用途では、エリアスキャンカメラよりもラインスキャンカメラの方が好ましい。ラインスキャンカメラの利点は、エリアスキャンカメラと比較して、価格当たりの解像度がより高いことである。現在、最大16384画素のラインを有するラインスキャンカメラを利用することができる(Steger et al. 2018, Chapter 2.3.4)。ラインスキャンカメラを用いて物体の2次元画像を得るために、この物体に対してカメラを相対的に移動させながら、複数の1次元画像を、ある時間にわたって積み重ねる。よって、得られる画像の高さは実質上無制限である。なぜなら、この高さは、ある時間を経て得られた1次元画像の数に相当するからである。本発明において、物体に対してカメラが相対的に動くことを相対移動と呼ぶ。相対移動は、一般的に、静止している物体に対してカメラを移動させることにより、または、移動している物体の上方にカメラを設置することにより、実現される(Steger et al. 2018, Chapter 2.3.1.1)。ラインスキャンカメラを使用するマシンビジョン用途のほとんどにおいて、定速度の直線的な移動が適用される。相対移動は、たとえば、直線移動スライド、ベルトコンベア、またはその他のリニアアクチュエータによって実現できる。パースペクティブレンズを有するラインスキャンカメラのカメラモデルは(Steger et al., 2018, Chapter 3.9.3)に記載されている。
ステレオ再構成の精度は、当然、画像の解像度によって制限される。したがって、再構成の精度に対する要求が高い用途の場合、ステレオ再構成のためにエリアスキャンカメラの代わりに高解像度のラインスキャンカメラを使用することが極めて望ましい。
本発明は請求項に明記されている。本発明は、テレセントリックレンズを有する少なくとも2つのラインスキャンカメラを用いて3次元シーンを再構成するための方法および装置に向けられている。本発明において、「3次元シーン」、「3次元物体」および「複数の3次元物体」という用語は同義のものとして使用される。本発明はまた、記載されている方法を実行するおよび/または実現するシステムまたは装置に関する。方法は、コンピュータにより実現される。
(a)少なくとも2つのテレセントリックラインスキャンカメラと、
(b)上記3次元物体の、上記テレセントリックラインスキャンカメラに対する相対移動を生じさせるように構成された少なくとも1つの装置と、
(c)コンピュータとを備え、このコンピュータは、
(c1)上記相対移動を生じさせながら、各テレセントリックラインスキャンカメラを用いて、1つ以上の画像を含むテレセントリックラインスキャン較正画像のセットを取得し、
(c2)上記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行し、
(c3)上記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算し、
(c4)上記相対移動を生じさせながら、テレセントリックラインスキャンカメラのペアを用いて上記3次元物体のテレセントリックラインスキャン画像ペアを取得し、
(c5)上記テレセントリック平行化マッピングを用いて、上記3次元物体の上記テレセントリックラインスキャン画像ペアを平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するように、構成されている。
ある実施形態に従うと、カメラ較正を、スパース・レーベンバーグ・マーカートアルゴリズムを適用することによって実行する。
本発明のある好ましい実施形態において、システムは、再構成する3次元物体403の画像を取得するための2つのテレセントリックラインスキャンカメラ401(図4参照)を含む。本発明のある代替実施形態において、このシステムは、少なくとも2つのテレセントリックラインスキャンカメラのマルチビューセットアップを含む。3つ以上のカメラのマルチビューセットアップは、たとえば、世界において再構成可能な領域を拡大するのに役立ち得る。したがって、遮られている物体の部分の比率を最小にすることもできる。これに代えてまたはこれに加えて、カメラの数を多くすることにより、3次元再構成の精度を高めることができ、その理由は、物体の特定部分が複数の方向から観察されるからである。本開示の範囲において、「2つ以上のカメラ」は必ずしも2つ以上の物理的カメラを使用しなければならないことを意味する訳ではない。むしろ、2つ以上のカメラは、1つの物理的カメラを用い、このカメラで異なる視野(perspective)から画像を取得することによって実現することもできる。たとえば、1つのテレセントリックラインスキャンカメラを、異なる複数の予め定められた経路を辿るロボットアームに搭載することにより、複数のカメラを実現することができる。
第1のステップ101において、各テレセントリックラインスキャンカメラで、1つ以上のテレセントリックラインスキャン較正画像を取得する。本発明のある好ましい実施形態において、較正画像は、較正物体の画像である。本発明のある代替実施形態において、較正画像が較正物体を必ずしも含む必要がない非較正ステレオの方法が適用される。較正物体を使用するとき、較正物体の姿勢は、複数の較正画像で異なる。較正物体は、世界単位(世界座標)の既知の3次元座標の複数のコントロールポイントを有する。ある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体が使用される(Steger et al. 2018, Chapter 3.9.4.1)。ある代替実施形態において、チェッカー盤のデザインの平坦な較正物体が使用される。較正物体のその他のデザインは、本発明の範囲から逸脱することなく容易に使用できる。平坦な較正物体を使用する場合、一般的に、すべてのカメラパラメータ(以下を参照)を明確に求めるためには、少なくとも2つのテレセントリックラインスキャン較正画像が必要である。ある代替実施形態において、カメラパラメータのサブセットを求めるために1つのテレセントリックラインスキャン較正画像を使用しつつ、残りのカメラパラメータを固定値に保つ。別の代替実施形態において、3次元較正物体が使用される。平坦な較正物体とは異なり、3次元較正物体のコントロールポイントは共通平面に存在しない。3次元較正物体のデザインに応じて、すべてのカメラパラメータを1つの較正画像で求めることも可能であろう。
第2のステップ(103)において、テレセントリックラインスキャン較正画像に基づいてカメラ較正を実行する。そのために、画像生成プロセスおよびカメラ間の相対姿勢(複数の相対姿勢)を正確に記述することができる適切なカメラモデルを定める。ある好ましい実施形態において、較正物体の目に見えるコントロールポイントの2次元位置が、テレセントリックラインスキャン較正画像(画像座標)において自動的に測定される。さらに、較正物体の、測定した2次元画像の点と、3次元の点との対応関係が、自動的に求められる(Steger et al. 2018, Chapter 3.9.4.1)。ある代替実施形態において、較正画像内で2次元画像の点をユーザが手作業で測定し、ユーザは対応関係も特定する。カメラモデルのパラメータ(カメラパラメータ)を、テレセントリックラインスキャン較正画像における抽出されたコントロールポイントの画像点の2次元座標を、較正物体の対応する点の3次元座標に関連付ける誤差を最小にすることにより、求める。
エリアスキャンカメラのカメラモデルは(Steger 2017, Section 6.1)における記載に基づく。これは、nc個のカメラでマルチビューセットアップをモデル化することができる。カメラを較正するために、較正物体の、姿勢が異なるno個の画像を使用する。較正物体の各姿勢l(l=1,…,no)は、較正物体の座標系から基準カメラrのカメラ座標系への点変換を定める。以下、一般性を失うことなくr=1であると仮定する。なぜなら、カメラの番号は任意に付け直すことができるからである。po=(xo,yo,zo)Tは較正物体の座標系における点を表すものとする。この点の較正物体座標系から基準カメラ座標系への変換は以下のように記述することができる。
次に、点plをカメラκ(κ=l,…,nc)のカメラ座標系に変換する。
続いて、歪み補正後の点(undistorted point)(xu,yu)Tを歪ませて点(xd,yd)Tにする。本発明のある好ましい実施形態において、以下の2つの歪みモデルのうちの一方が適用され(Steger 2017, Section 6.1; Steger et al 2018, Chapter 3.9.1.3)、これらのモデルは、分割モデル(Lenz and Fritsch 1990; Lanser 1997; Blahusch et al. 1999; Fitzgibbon 2001; Steger 2012)および多項式モデル(Brown 1966, 1971)である。
多項式モデルは放射状歪みおよび偏心歪み(decentering distortion)をサポートする。歪み補正後の点は以下によって計算される。
・外部オリエンテーション(no個の画像における較正物体の姿勢のモデル化)の6つのパラメータ:αl,βl,γl,tl,x,tl,y,およびtl,z。
・カメラlに対するnc個のカメラの相対オリエンテーションの6つのパラメータ:ακ,βκ,γκ,tκ,x,tκ,y,およびtκ,z。
・各カメラの内部オリエンテーション(簡略化のためにここでは上付き文字κを省略する):cまたはm;κまたはΚ1,Κ2,Κ3,P1,P2;sx,sy,cx,cy。
上記パラメータ表記は、マシンビジョンユーザにとって非常に直観的である(Steger 2017, Section 6.1)。すべてのパラメータには、理解し易い物理的意味がある。内部オリエンテーションパラメータのおおよその初期値は、カメラ(sxおよびsx)およびレンズ(cまたはm)のデータシートから簡単に読取ることができる、または他のやり方で容易に取得できる(主点の初期値は画像の中心に設定することができ、歪み係数は典型的に0に設定することができる)。さらに、較正結果の妥当性は調べるのが簡単である。
テレセントリックラインスキャンカメラのカメラモデルは、(MVTec Software GmbH 2005a, b)に最初に記載されたエントセントリックラインスキャンカメラのカメラモデルに基づく。したがって、このセクションでは、単一のエントセントリックラインスキャンカメラのカメラモデルについて再考する。エントセントリックラインスキャンカメラのカメラモデルの詳細は、(Steger et al. 2018, Chapter 3.9.3)においても見出すことができる。このカメラモデルは、単一のエントセントリックラインスキャンカメラを想定する。次に、このモデルを単一のテレセントリックラインスキャンカメラに拡張し、続いてテレセントリックラインスキャンカメラのマルチビューセットアップに拡張する。
単一のテレセントリックラインスキャンカメラのカメラモデルの第1の部分は、単一のエントセントリックラインスキャンカメラのカメラモデルの第1の部分と同一である、すなわち、較正物体座標系からの点を(1)および(2)によってカメラ座標系に変換する。点pκを画像に投影するために、エントセントリックラインスキャンカメラと同一の手法を用いる、すなわち、その上で点が移動するラインを、それを投影する点の光線と交差させる。テレセントリックレンズの光線の方程式は以下によって与えられる。
κ=0の場合、次のようになる。
カメラ較正は、カメラパラメータ、すなわち、単一のテレセントリックラインスキャンカメラの場合は内部および外部オリエンテーションのパラメータ、を求めるプロセスである。カメラを、較正物体を用いて較正する。較正物体は、その3次元世界座標がわかっていなければならない、十分な数のコントロールポイントを含む。「発明の背景」のセクションで述べたように、さまざまなタイプの較正物体をこのタスクに使用することができる。本発明のある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体を用いる。この種の較正物体の2つの例が、図5に示されている。以下の記載では、説明のために円形のコントロールポイントを有する平坦な較正物体を使用するが、これに代えて、その他の較正物体を、本発明の範囲から逸脱することなく使用できる。ある代替実施形態において、たとえば、チェッカー盤パターンを有する平坦な較正物体を較正に使用する。別の代替実施形態において、コントロールポイントが1つの面に限定されない3次元較正物体を使用する。
テレセントリックラインスキャンカメラのモデルは、過剰パラメータ化(overparameterize)される。mおよびsxの値を同時に求めることはできない。これは、ユーザが指定した初期値にsxを固定することによって解決できる。さらに、エンセントリックラインスキャンカメラの場合のように、syは、画素における主点を特定するためにだけ使用されるので、ユーザが指定した初期値に固定された状態に保たれる。
テレセントリックレンズを有するラインスキャンカメラを用いてステレオ再構成を実施するためには、少なくとも2つのカメラを備えたステレオセットアップが必要である。そのために、「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクションで説明した単一のテレセントリックラインスキャンカメラのカメラモデルを、マルチビューの場合に拡張する。これは、「エリアスキャンカメラのマルチビューセットアップのカメラモデル」のセクションで説明した、エリアスキャンカメラの場合と同様の方法で行うことができる。結果として、テレセントリックラインスキャンカメラのマルチビューセットアップのカメラモデルは、ステップ104において以下のカメラパラメータを含む。
・外部オリエンテーション(no個の画像における較正物体の姿勢のモデル化)の6つのパラメータ:αl,βl,γl,tl,x,tl,y,およびtl,z。
・カメラlに対するnc個のカメラの相対オリエンテーションの6つのパラメータ:ακ,βκ,γκ,tκ,x,tκ,y,およびtκ,z。
・各カメラの内部オリエンテーション:mκ;κκまたはΚκ,1,Κκ,2,Κκ,3,Pκ,1,Pκ,2;sκ,x,sκ,y,cκ,x,cκ,y,νκ,x,νκ,y,およびνκ,z。
・外部オリエンテーション(no個の画像における較正物体の姿勢のモデル化)の6つのパラメータ:αl,βl,γl,tl,x,tl,y,およびtl,z。
・カメラ1に対するnc個のカメラの相対オリエンテーションの6つのパラメータ:ακ,βκ,γκ,tκ,x,tκ,y,およびtκ,z。
・各カメラの内部オリエンテーション:mκ;κκまたはΚκ,1,Κκ,2,Κκ,3,Pκ,1,Pκ,2;sκ,x,sκ,y,cκ,x,cκ,y。
・基準カメラ1の動きベクトル:νx,νy,およびνz。
テレセントリックラインスキャンカメラのマルチビューセットアップの較正(103)は、「単一のテレセントリックラインスキャンカメラの較正」のセクションで述べた、単一のテレセントリックラインスキャンカメラの較正に基づく。固定された物体に対してカメラが独立して移動する場合、すなわち、各カメラに個別の動きベクトルが割り当てられている場合、テレセントリックラインスキャンカメラのマルチビューセットアップは、たとえば以下の関数を最小にすることによって較正できる。
第3のステップ105において、カメラ較正の結果得られたカメラパラメータに基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化する、テレセントリック平行化マッピング(106)を計算する。したがって、3つ以上のカメラを備えたマルチビューセットアップの場合、ステレオ再構成のためにテレセントリックラインスキャンカメラのペアを選択する。
第4のステップ(201)において、最初の3つのステップで説明した方法で先に較正したセットアップを用いて再構成する3次元物体のテレセントリックラインスキャン画像の取得から、オンライン段階が始まる。3次元再構成の場合少なくとも2つのカメラが必要なので、この好ましい実施形態において、テレセントリックラインスキャン画像ペア(203)を、テレセントリックラインスキャンカメラのペアを用いて取得する。3次元物体の再構成では1つの画像ペアで十分である。これに代わる実施形態では、テレセントリックラインスキャン画像ペア(203)を、3つ以上のテレセントリックラインスキャンカメラのマルチビューセットアップから選択する。各テレセントリックラインスキャン画像を、第1のステップでテレセントリックラインスキャン較正画像の取得中に実行したときと同じやり方で、相対移動を実施することにより、生成する。
第5のステップ204において、再構成する3次元物体の、取得したテレセントリックラインスキャン画像ペアを、テレセントリックラインスキャンカメラのそれぞれのペアについて第3のステップ105で計算したテレセントリック平行化マッピング(106/202)を用いて平行化する。本発明のある好ましい実施形態において、平行化を、第3のステップで計算したLUTを適用することによって効率的に実施する。たとえば、ソフトウェアHALCON(MVTec Software GmbH, 2019)を使用するとき、オペレータ map_image を、テレセントリック平行化マッピングを適用するために使用することができる。結果として、平行化されたテレセントリックラインスキャン画像ペア(205)が得られる。平行化後のテレセントリックラインスキャン画像ペアにおける対応する点は、同じ画像行にある。さらに、得られた平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがない。
第6のステップ206において、結果として得られた平行化後のテレセントリックラインスキャン画像ペア205から、エピポーラ標準幾何学を活用する、利用できるさまざまなステレオマッチング手法のうちの1つにより、視差を計算する(「2眼ステレオ−画像平行化」のセクション参照)。本発明のある好ましい実施形態において、稠密視差推定の手法を適用すると、画定された画素ごとに視差値を含む視差画像が得られる。たとえば遮られた場合または低テクスチャ画像部分において、対応する画素を確実に決定できないときは、画定されない画素が発生する可能性がある。ある代替実施形態において、選択された一組の画素について視差を計算する。ある好ましい実施形態において、テンプレートマッチングに基づく稠密視差推定の手法が適用される(Steger et al., 2018, Chapter 3.10)。別の好ましい実施形態において、変分手法に基づく稠密視差推定方法が適用される。これらのような方法は、たとえ低テクスチャの画像領域であっても視差を計算することができる。本発明で説明する方法はモジュール構造なので、本発明の範囲から逸脱することなく他の代替の視差推定手法を簡単に統合することができる。
第7のステップ209において、第6のステップ206で計算した視差208を、距離に変換する(ステップ210)。この変換のために、第3のステップ105で得られた平行化後のカメラパラメータ(ステップ107/207)を使用する。
Claims (17)
- 3次元物体を再構成する方法であって、前記方法は、テレセントリックラインスキャン画像の取得を可能にする、少なくとも2つのテレセントリックラインスキャンカメラと、前記テレセントリックラインスキャンカメラに対する前記3次元物体の相対移動を生じさせるように構成された少なくとも1つの装置とを用い、
a)各テレセントリックラインスキャンカメラごとに、テレセントリックラインスキャン較正画像のセットを準備するステップを含み、前記セットは1つ以上の画像を含み、
b)前記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行するステップと、
c)前記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算するステップと、
d)前記3次元物体に対して、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを準備するステップと、
e)前記テレセントリックラインスキャン画像ペアを前記テレセントリック平行化マッピングを用いて平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するステップとを含む、方法。 - f)前記平行化されたテレセントリックラインスキャン画像ペアから視差を計算するステップがさらに実行され、前記視差は、再構成された前記3次元物体を表す、請求項1に記載の方法。
- g)前記視差を距離に変換することにより、前記3次元物体を再構成させるステップがさらに実行される、請求項2に記載の方法。
- g)前記視差を3次元座標に変換することにより、前記3次元物体を再構成させるステップがさらに実行される、請求項2に記載の方法。
- 前記相対移動は直線移動である、請求項1〜4のいずれか1項に記載の方法。
- 前記直線移動は定速度である、または、前記直線移動は可変速度であって前記テレセントリックラインスキャン画像の画像取得を適切にトリガすることによって定速度を確保する、請求項5に記載の方法。
- 前記較正画像は較正物体の画像である、請求項1〜6のいずれか1項に記載の方法。
- 前記較正物体は平坦な較正物体である、請求項7に記載の方法。
- 前記較正物体は3次元較正物体である、請求項7に記載の方法。
- 前記カメラ較正においてカメラパラメータを求め、前記カメラパラメータは、前記テレセントリックラインスキャン較正画像の外部オリエンテーションのパラメータと、各テレセントリックラインスキャンカメラごとの、相対オリエンテーションおよび内部オリエンテーションのパラメータとを含む、請求項1〜9のいずれか1項に記載の方法。
- 前記テレセントリック平行化マッピングは、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを、エピポーラ標準幾何学に従って平行化する、請求項1〜10のいずれか1項に記載の方法。
- 前記テレセントリック平行化マッピングはルックアップテーブルに格納される、請求項1〜11のいずれか1項に記載の方法。
- 前記テレセントリックラインスキャン画像ペアを平行化することは、前記ルックアップテーブルを前記テレセントリックラインスキャン画像ペアに適用することを含む、請求項12に記載の方法。
- 前記平行化されたテレセントリックラインスキャンペアから視差を計算することは、視差画像を生成する稠密視差推定を含む、請求項1〜13のいずれか1項に記載の方法。
- 前記視差を距離に変換することは、距離画像を計算することを含む、請求項2〜14のいずれか1項に記載の方法。
- 前記カメラ較正を、スパース・レーベンバーグ・マーカートアルゴリズムを適用することによって実行する、請求項1〜15のいずれか1項に記載の方法。
- 少なくとも2つのラインスキャンカメラを用いて3次元物体を再構成するためのシステムであって、前記システムは、
(d)少なくとも2つのテレセントリックラインスキャンカメラと、
(e)前記3次元物体の、前記テレセントリックラインスキャンカメラに対する相対移動を生じさせるように構成された少なくとも1つの装置と、
(f)コンピュータとを備え、前記コンピュータは、
(f1)前記相対移動を生じさせながら、各テレセントリックラインスキャンカメラを用いて、1つ以上の画像を含む、テレセントリックラインスキャン較正画像のセットを取得し、
(f2)前記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行し、
(f3)前記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算し、
(f4)前記相対移動を生じさせながら、テレセントリックラインスキャンカメラのペアを用いて前記3次元物体のテレセントリックラインスキャン画像ペアを取得し、
(f5)前記テレセントリック平行化マッピングを用いて、前記3次元物体の前記テレセントリックラインスキャン画像ペアを平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成する
ように、構成されている、システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20170097.8 | 2020-04-17 | ||
EP20170097.8A EP3896640B1 (en) | 2020-04-17 | 2020-04-17 | System and method for efficient 3d reconstruction of objects with telecentric line-scan cameras |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021173740A true JP2021173740A (ja) | 2021-11-01 |
JP2021173740A5 JP2021173740A5 (ja) | 2023-05-09 |
JP7486740B2 JP7486740B2 (ja) | 2024-05-20 |
Family
ID=70295025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020097342A Active JP7486740B2 (ja) | 2020-04-17 | 2020-06-04 | テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11328478B2 (ja) |
EP (1) | EP3896640B1 (ja) |
JP (1) | JP7486740B2 (ja) |
KR (1) | KR20210128881A (ja) |
CN (1) | CN113538589A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028281B (zh) * | 2019-10-22 | 2022-10-18 | 清华大学 | 基于光场双目系统的深度信息计算方法及装置 |
US20220264072A1 (en) * | 2021-02-12 | 2022-08-18 | Sony Group Corporation | Auto-calibrating n-configuration volumetric camera capture array |
CN113962853B (zh) * | 2021-12-15 | 2022-03-15 | 武汉大学 | 一种旋转线阵扫描图像位姿自动化精密解算方法 |
CN115289997B (zh) * | 2022-08-01 | 2024-02-20 | 合肥国际应用超导中心 | 一种双目相机三维轮廓扫描仪及其使用方法 |
CN115294233B (zh) * | 2022-10-09 | 2022-12-13 | 天津大学 | 一种基于深度学习的双目大视场成像方法及系统 |
CN115690205B (zh) * | 2022-10-09 | 2023-12-05 | 北京自动化控制设备研究所 | 基于点线综合特征的视觉相对位姿测量误差估计方法 |
CN115619678B (zh) * | 2022-10-31 | 2024-04-19 | 锋睿领创(珠海)科技有限公司 | 一种图像变形的矫正方法、装置、计算机设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6471044B1 (en) * | 1999-04-30 | 2002-10-29 | Siemens Electrocom, L.P. | Hold and release singulator |
US7170592B2 (en) * | 2004-03-10 | 2007-01-30 | Acushnet Company | Method of inspecting a sphere without orienting the sphere |
US8275195B2 (en) * | 2005-11-30 | 2012-09-25 | Telecom Italia S.P.A. | Method for determining scattered disparity fields in stereo vision |
JP2008304225A (ja) | 2007-06-05 | 2008-12-18 | Topcon Corp | 絵画表面計測装置及びその計測方法 |
JP2009168581A (ja) | 2008-01-15 | 2009-07-30 | Saki Corp:Kk | 被検査体の検査装置 |
AU2014295972B2 (en) * | 2013-08-02 | 2018-10-11 | Xactware Solutions, Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
CN103729841B (zh) * | 2013-12-18 | 2016-08-24 | 同济大学 | 一种基于方靶模型和透视投影的相机畸变校正方法 |
US10043282B2 (en) * | 2015-04-13 | 2018-08-07 | Gerard Dirk Smits | Machine vision for ego-motion, segmenting, and classifying objects |
WO2018129201A1 (en) * | 2017-01-04 | 2018-07-12 | Aquifi, Inc. | Systems and methods for shape-based object retrieval |
-
2020
- 2020-04-17 EP EP20170097.8A patent/EP3896640B1/en active Active
- 2020-05-29 US US16/888,228 patent/US11328478B2/en active Active
- 2020-06-04 JP JP2020097342A patent/JP7486740B2/ja active Active
- 2020-06-22 KR KR1020200075592A patent/KR20210128881A/ko not_active Application Discontinuation
- 2020-07-17 CN CN202010692742.0A patent/CN113538589A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7486740B2 (ja) | 2024-05-20 |
CN113538589A (zh) | 2021-10-22 |
KR20210128881A (ko) | 2021-10-27 |
EP3896640B1 (en) | 2022-09-28 |
EP3896640A1 (en) | 2021-10-20 |
US20210327136A1 (en) | 2021-10-21 |
US11328478B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7486740B2 (ja) | テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法 | |
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
CN106595528B (zh) | 一种基于数字散斑的远心显微双目立体视觉测量方法 | |
CN111243002A (zh) | 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 | |
JP5029618B2 (ja) | パターン投影法による3次元形状計測装置、方法およびプログラム | |
JP5393318B2 (ja) | 位置姿勢計測方法及び装置 | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
US20150279016A1 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
JP6282098B2 (ja) | キャリブレーション装置及び方法 | |
JP2012123781A (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
KR20190020087A (ko) | 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법 | |
KR20020035652A (ko) | 3 차원적인 복구를 위한 스트랩다운 시스템 | |
Fernandez et al. | Planar-based camera-projector calibration | |
JP2021193400A (ja) | アーチファクトを測定するための方法 | |
Horbach et al. | 3D reconstruction of specular surfaces using a calibrated projector–camera setup | |
CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
Barone et al. | Structured light stereo catadioptric scanner based on a spherical mirror | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
Siddique et al. | 3d object localization using 2d estimates for computer vision applications | |
Mohan et al. | 3D scanning of object surfaces using structured light and a single camera image | |
KR100379948B1 (ko) | 3차원 형상 측정방법 | |
Li et al. | A method for 3D measurement and reconstruction for active vision | |
JP2015137897A (ja) | 距離計測装置及び距離計測方法 | |
KR102434419B1 (ko) | 다점 마커 및 스테레오 비전을 이용한 정밀 3d 스캔 장치 및 방법 | |
Lu et al. | Calibration of a 3D vision system using pattern projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7486740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |