JP2019516983A

JP2019516983A - ３次元走査システムおよびその走査方法

Info

Publication number: JP2019516983A
Application number: JP2018560017A
Authority: JP
Inventors: 文斌王; 増芸劉; 暁波趙
Original assignee: Shining 3D Technology Co Ltd
Current assignee: Shining 3D Technology Co Ltd
Priority date: 2017-02-24
Filing date: 2017-03-31
Publication date: 2019-06-20
Anticipated expiration: 2037-03-31
Also published as: JP6619893B2; US10810750B1; CA3021967A1; EP3444560A4; US20200334840A1; WO2018152929A1; AU2017400983B2; AU2017400983A8; CN106802138B; KR102248944B1; CN106802138A; EP3444560A1; EP3444560B1; CA3021967C; KR20190121359A; AU2017400983A1

Abstract

本発明は、測定対象物体の３次元ストライプポイントクラウドデータを取得するために用いられる３次元走査システムに関し、前記測定対象物体内に複数のスペックルパターンおよびストライプパターンを交互に投影するための光源と、前記測定対象物体の左右のスペックル画像および左右のストライプ画像を同期収集するための左右のカメラと、前記スペックル画像に従って、スペックル３次元データおよびマーカポイント３次元データを取得するためのスペックルデータおよびマーカポイントデータ再構成モジュールと、前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左、右ストライプ画像ストライプのマッチングをガイドするためのストライプマッチングモジュールと、左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するための３次元再構成モジュールと、を含む。本発明は、３次元走査システムの走査方法をさらに提供する。

Description

本発明は、３次元走査システムおよびその走査方法に関し、特に、ハンドヘルドマルチストライプ３次元走査システムのための３次元デジタルイメージングセンサ、３次元走査システムおよび走査方法に関するものである。

近年、３次元デジタル技術は、国際的に活発な新学際的研究分野であり、リバースエンジニアリング、文化遺産保護、産業検査およびバーチャルリアリティなどの多くの分野で広く利用される。ハンドヘルドポータブル３次元スキャナは、その利便性および柔軟性という利点で３次元走査の分野で広く使用される。既存のハンドヘルド３次元スキャナの原理は、主として、構造光の能動立体視覚方式に基づき、構造光は様々なモードがあり、例えば、赤外線レーザスペックル、ＤＬＰ（ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ）投影スペックル、ＤＬＰ投影のアナログレーザストライプ、レーザストライプなどである。これらの構造光モードのうち、ＤＬＰ投影のアナログレーザストライプ、レーザストライプを構造光とするハンドヘルド３次元スキャナの精度が最も高く、走査詳細が最もよい。

ＤＬＰ投影のアナログレーザストライプ、レーザストライプを構造光とする例の基本的なワークフローは以下のとおりであり、（１）投影されたストライプに対して平面フィッティングを行い、（２）収集されたストライプパターンに従ってマーカポイント抽出およびストライプ中心抽出を行い、（３）ストライプ中心に対して連通領域分割を実行し、平面方程式に従って左右のカメラ画像上のストライプに対して対応するポイントのマッチングを行い、（４）２つのカメラの極限制約関係を使用して左右のカメラ画像上の対応するマーカポイントの中心をルックアップし、（５）走査システムの較正パラメータに従って、３次元再構成アルゴリズムを使用してマッチングされた対応するストライプおよび対応するマーカポイントの中心に対して３次元再構成を行い、（６）マーカポイントのステッチングおよびストライプ３次元ポイント回転によってハンドヘルドハンドヘルド３次元走査を実現する。

しかしながら、該走査プロセス中に左右のカメラ画像上の対応するストライプのマッチングは、主にライトプレーンまたはストライププレーン方程式のガイダンスに基づき、該方法は、ストライプの数が１５より大きい場合、カメラ画像上の対応するストライプのマッチングエラー率は顕著に増大し、さらにノイズを増加させ、走査データの精度を低減させる。ストライプの数が１５より小さい場合、走査効率が効果的に向上されない。したがって、固有の走査フレームレート限界の下で走査効率を向上させる効果的な方法は、ストライプの数を増加させると共にストライプマッチングの精度を向上させることである。また、該走査のステッチングはマーカポイントによって実現される必要があり、２つずつフレーム間に一定の数の共通マーカポイントが必要であり、走査モデル全体に満ちる必要がある。

これを考慮して、既存のハンドヘルド３次元走査システムでは高い走査効率および高い走査データ精度とのバランスを取ることができないという問題を解決し、同時に、走査プロセス中にマーカポイントのステッチングを必要としない、ハンドヘルドマルチストライプ３次元走査システムおよびその走査方法を提供する必要がある。

測定対象物体の３次元ストライプポイントクラウドデータを取得するために用いられる３次元走査システムは、前記測定対象物体に複数のスペックルパターンおよびストライプパターンを交互に投影するための光源と、前記測定対象物体の左右のスペックル画像および左右のストライプ画像を同期収集するための左右のカメラと、前記スペックル画像に従って、スペックル３次元データおよびマーカポイント３次元データを取得するためのスペックルデータおよびマーカポイントデータ再構成モジュールと、前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左、右ストライプ画像ストライプのマッチングをガイドするためのストライプマッチングモジュールと、左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するための３次元再構成モジュールと、を含む。

前記ストライプパターンは、自然なライトストライプパターンである。

前記ストライプパターン中のストライプ数は１５より大きいである。

前記３次元走査システムはハンドヘルド３次元走査システムである。

前記３次元走査システムは、さらに、前後２つのフレームのスペックルデータ共通領域のポイントクラウドを利用してＩＣＰステッチングを行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算するためのスペックルステッチングモジュールを含む。

前記３次元走査システムは、さらに、スペックルステッチングによって得られた回転平行移動行列Ｒ、Ｔに従って、３次元ストライプポイントクラウドデータに適用して融合を行い、それによりストライプ画像の３次元走査を実現するためのデータ融合モジュールを含む。

測定対象物体の３次元ストライプポイントクラウドデータを取得するために用いられる３次元走査システムは、前記測定対象物体内に複数のスペックルパターンおよびストライプパターンを交互に投影するための光源と、前記測定対象物体の左右のスペックル画像および左右のストライプ画像を同期収集するための左右のカメラと、前記スペックル画像に従ってスペックル３次元データおよびマーカポイント３次元データを取得し、同時に前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、さらに左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するためのデータ処理ユニットと、を含む。

３次元走査方法は、（１）２つのカメラと光源からなる３次元デジタルイメージングセンサを構築するデバイス構築と、（２）左右のカメラを較正して較正パラメータを得るシステム較正と、（３）交互にスペックルパターンおよびストライプパターンを生成し、かつ光源を使用して測定対象物体に投影し、前記スペックルパターンおよびストライプパターンは測定対象物体の高さ変調によって変形され、変調後のスペックルパターンおよびストライプパターンを生成し、左右のカメラは同時に変調後のスペックルパターンを収集して左右のスペックル画像を取得し、左右のカメラは、変調後のストライプパターンを同期収集して、左右のストライプ画像を取得する投影および画像取得と、（４）収集された左右のスペックル画像に従って、３次元再構成を行ってスペックル３次元データＰｔＳおよびマーカポイント３次元データＰｔＭを取得するスペックルおよびマーカポイント３次元データ再構成と、（５）前記スペックル３次元データＰｔＳとマーカポイント３次元データＰｔＭを左右のストライプ画像に逆投影し、かつ左右のストライプ画像のマッチングをガイドするストライプマッチングと、（６）左右のカメラの極座標制約関係を使用して、左右のストライプ画像のマッチングされた対応するストライプに対して、対応するストライプの中心線セグメント内の単一ポイントの対応関係をルックアップし、続いて較正パラメータに従って対応するポイントを３次元ストライプポイントクラウドデータに再構成する３次元再構成と、を含む。

前記システム較正は、さらに、左右のカメラを較正してカメラの内部パラメータと外部パラメータとカメラとの間の相対位置に対応する回転平行移動行列Ｍｃを取得するステップを含む。

前記スペックルおよびマーカ３次元データ再構成は、スペックル３次元データ再構成ステップをさらに含み、前記スペックル３次元データ再構成ステップには、収集されたスペックル画像に従って、前記左スペックル画像上のある画像座標点ｐｉにおいて、ｐｉを中心として５ｘ５〜１１ｘ１１の矩形部分グラフを取るステップと、対応する右スペックル画像極座標を較正パラメータに従って計算し、対応する右スペックル画像極座標上のすべての座標点（ｑ１〜ｑｎ）を中心として同じサイズの行列サブグラフを取り、左スペックル画像ｐｉサブグラフと右スペックル画像極座標上のすべてのサブグラフとの間の相関係数Ｃ１〜Ｃｎを計算するステップと、相関係数の大きさを比較し、最大相関係数をＣｍａｘとして定義し、相関係数閾値Ｔを設定し、ＣｍａｘがＴより大きい場合、左カメラのｐｉが右カメラでの唯一の対応するマッチングポイントがｐｒであると判定することができるステップと、左スペックル画像上の全ての画素座標点をトラバースして上記方法に従って右スペックル画像の対応するマッチングポイントをルックアップし、前記較正パラメータに従って、対応するポイントを３次元データＰｔＳに再構成するステップと、を含む。

前記スペックルおよびランドマーク３次元データ再構成は、マーカポイント３次元データの再構成ステップをさらに含み、前記マーカポイント３次元データの再構成ステップは、収集されたスペックル画像に従って左右のスペックル画像上のすべてのマーカポイントの中心を抽出するステップと、極座標制約基準に従って左右のスペックル画像上の対応するマーカポイントの中心対を求めるステップと、続いて、較正パラメータに従って、マーカポイントの対応するポイントをマーカポイント３次元データＰｔＭに再構成するステップと、を含む。

前記ストライプマッチングは、マーカポイントの逆投影オフセット補償ステップをさらに含み、マーカポイントの逆投影オフセット補償ステップは、左右のストライプ画像に対してマーカポイントの中心抽出を行い、そのマーカポイント対ＰｔＭｕｌｔｉＣｏｏｒを記録するステップと、極座標制約基準に従って左右のストライプ画像上の対応するマッチングポイントの中心対を求めるステップと、スペックルパターン上のマーカポイント３次元データＰｔＭを、左右のカメラのそれぞれの較正内部パラメータに従って変調後の左右のストライプ画像に順に逆投影し、その２次元座標対ＰｔＭａｃｔｈＣｏｏｒを記録し、ＰｔＭａｃｔｈＣｏｏｒ上の各対の逆投影マーカポイント画像座標がストライプ画像上に抽出された最も近いマーカポイント中心対での画素座標偏差を計算し、左右のストライプ画像上のそれぞれの偏差の平均値を順に計算し、左ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＬおよび右ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＲを記録するステップと、を含む。

前記３次元マッチングはさらに、スペックル３次元データＰｔＳおよび対応するマーカポイント３次元データＰｔＭを再構成した後、左右のストライプ画像に対して中心線抽出を行うステップと、各中心線の連通領域を分割して複数のセグメントを形成し、続いてスペックル３次元データＰｔＳおよび対応するマーカポイント３次元データＰｔＭを左右のカメラの較正パラメータに従って左右のストライプ画像に逆投影するステップと、前記左右のストライプ画像の逆投影座標に、左ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＬおよび右ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＲを順次加算してオフセット補償を実現するステップと、オフセット補償後の逆投影座標対に番号が付けられ、対応する各ポイントにいずれも対応するシリアル番号があり、ストライプの左右画像座標に対応するルックアップテーブルを形成するステップと、左ストライプ画像上の各ストライプセグメントの各ポイントの対応するシリアル番号をトラバースし、ルックアップテーブルに従って右ストライプ画像にマッチングするストライプセグメントを直接ルックアップすることができ、このようにして左右のストライプ画像セグメントの正確なマッチングを実現することができるステップと、を含む。

前記３次元再構成は、さらに、左右の画像のマッチングされた対応するストライプ中心セグメントに対して、左右のカメラの極座標幾何学的制約関係を用いて、対応するストライプの中心セグメント内の単一ポイントの対応関係をルックアップし、続いてシステムの較正パラメータに従って、対応するポイント対を３次元ストライプポイントクラウドデータに再構成するステップを含む。

さらに、前後２つのフレームのスペックルデータの共通領域のポイントクラウドを用いてｉｃｐステッチング行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算するスペックルステッチングステップを含む。

さらに、スペックルステッチングにより得られた回転平行移動行列Ｒ、Ｔに従って３次元ストライプポイントクラウドデータに適用して融合を行うことにより、ストライプ画像の３次元走査を実現するデータ融合ステップを含む。

従来技術に比べると、本発明の３次元スキャナおよびその走査方法では、測定対象物体のスペックル３次元データおよびマーカポイント３次元データに従って、該スペックル３次元データおよびマーカポイント３次元データを左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、それにより３次元ストライプのポイントクラウドデータを取得する。該３次元スキャナは従来の３次元スキャナに比べて以下の利点を有し、１、ストライプマッチングの精度または正確度が高く、それによりマッチングしたストライプの数の増加によって３次元走査システムの走査効率を向上させることができる。２、マーカポイントを使用せずにリアルタイムのステッチングを実現することができる。３、ストライプのライトプレーンを較正する必要はなく、すなわち、ライトプレーンにより左右の画像のマッチングをガイドする必要はなく、ハードウェアの相対位置への取り付け精度要件が低く、システムコストを低減させる。

上記の説明は、本発明の技術的解決手段の概要のみであり、本発明の技術的解決手段をより明確に理解するために、明細書の内容に従って実行することができ、かつ本発明の上記および他の目的、特徴および利点をより理解しやすいために、以下の特定の実施例は、添付の図面を参照して以下に詳細に記載される。

以下は添付の図面を参照して本発明の実施例を説明する。
図１は本発明の実施例が提供する３次元走査システムの概略図である。図２は図１における３次元スキャナが測定対象物体上に投影した左右のスペックルパターンである。図３は図１における３次元走査システムの左右のカメラが収集した左右のストライプ画像である。図４は図１におけるスペックルパターンに従って３次元再構成を行って得られたスペックル３次元データである。図５はスペックル３次元データおよびマーカポイント３次元データを順次に左右のストライプ画像に逆投影して得られた逆投影である。図６は極座標の幾何学的制約概略図である。

以下、添付の図面に基づいて本発明の具体的な実施例をさらに詳細に説明する。本明細書に記載の具体的な実施例は単なる例示として、本発明の範囲を限定するものではないことを理解されたい。

図１に示すとおり、本発明の実施例は３次元走査システムを提供し、測定対象物体１０５の３次元ストライプポイントクラウドデータを取得または収集するために用いられる。前記３次元走査システムの種類は限定されず、固定式３次元走査システムおよびハンドヘルド式３次元走査システムを含み、好ましくは、前記３次元走査システムはハンドヘルドマルチストライプ型両眼３次元走査システムである。前記３次元走査システムがハンドヘルドマルチストライプ型両眼３次元走査システムである場合、動作プロセス中に、異なる時間で得られた画像はジッタに起因して誤差を有する可能性があることが理解できる。

該３次元走査システムは、光源１０１、左カメラ１０２、右カメラ１０３およびデータ処理ユニット１０４を含む。前記光源１０１、左カメラ１０２、右カメラ１０３との間の相互の位置は限定されず、測定対象物体１０５を投影または収集できれば良い。動作時に、前記光源１０１、左カメラ１０２、右カメラ１０３の位置は相対的に固定される。好ましくは、前記光源１０１は前記左カメラと右カメラの中央に配置される。

前記光源１０１は前記測定対象物体１０５に複数のスペックルパターンおよびストライプパターンを交互に投影するために用いられる。本願の一つの実施例において、順に交互投影することについて、最初の投影パターンがスペックルパターンである場合、前記光源１０１の２枚ずつスペックルパターンの間に１枚のストライプパターン又は複枚のストライプパターンを投影する必要があり、逆に、２枚ずつストライプパターンの間に１枚又は複枚のスペックルパターンを投影する必要があり、かつ最初のパターンはスペックルパターンであることを示す。本願の一つの実施例において、順に交互投影することについて、順に、まず１枚のスペックルパターン又は複枚のスペックルパターンを投影して、１枚のストライプパターン又は複枚のストライプパターンを投影することを示す。前記光源１０１は、レーザ、プロジェクタまたは他の光源を含み、前記光源１０１がプロジェクタである場合、前記プロジェクタはデジタルプロジェクタである。前記ストライプパターンは、アナログレーザストライプパターン、レーザストライプパターンおよび他のストライプパターンを含む。好ましくは、前記光源１０１はプロジェクタであり、かつ前記ストライプパターンは自然なライトストライプパターンである。レーザストライプパターンに比べて、前記自然なライトストライプパターンは、人間の目にはダメージを与えず、かつマーカポイントに投影するとき、黒いエッジ部分はあまり明るくなく、それにより、マーカポイントの中心を正確に抽出することができ、ステッチングの精度を向上させる。前記光源１０１によって投影されるストライプの数は限定されないが、走査効率を向上させるために、一般に１５本以上が必要であり、本実施例では、前記ストライプの数は８０本以上である。

前記左カメラ１０２、右カメラ１０３は、測定対象物体１０５の左右のスペックル画像および左右のストライプ画像を同期取得するために用いられる。前記左右のカメラ１０３、１０４の種類は限定されず、前記測定対象物体１０５の２次元画像を採集できればよい。前記光源１０１が測定対象物体１０５にスペックルパターンおよびストライプパターンを投影するため、測定対象物体１０５の高さ変調が変形され、変調後のスペックルパターンおよびストライプパターンを生成することが理解できる。前記左右のカメラ１０３、１０４は変調後のストライプパターンを収集することにより左右のスペックル画像および左右のストライプパターンを得る。

前記データ処理ユニット１０４は、前記スペックル画像に従ってスペックル３次元データおよびマーカポイント３次元データを得て、同時に前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、さらに左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するために用いられる。

具体的には、前記データ処理ユニット１０４は、スペックルデータおよびマーカポイントデータ再構成モジュール、ストライプマッチングモジュールおよび３次元再構成モジュールを含む。前記スペックルデータおよびマーカポイントデータ再構成モジュールは、前記スペックル画像に従ってスペックル３次元データおよびマーカポイント３次元データを得るために用いられる。前記ストライプマッチングモジュールは、前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左、右ストライプ画像ストライプのマッチングをガイドするために用いられる。前記３次元再構成モジュールは、左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するために用いられる。前記３次元再構成モジュールは、左右のストライプ画像のマッチングされた対応するストライプを、左右２つのカメラの極座標幾何学的制約関係を用いて、対応するストライプの中心セグメント内の単一ポイントの対応関係をルックアップし、続いてシステムの較正パラメータに従って、対応するポイント対を３次元ストライプポイントクラウドデータに再構成するために用いられる。当然ながら、前記３次元再構成モジュールが３次元ストライプポイントクラウドを再構成する方式または技術は限定されず、マッチングされた左右のストライプ画像を３次元ストライプポイントクラウドデータに再構成できればよい。

さらに、前記データ処理ユニット１０４は、スペックルステッチングモジュールおよびデータ融合モジュールをさらに含むことができ、前記スペックルステッチングモジュールは、前後２つのフレームのスペックルデータ共通領域のポイントクラウドを利用してＩＣＰステッチングを行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算するために用いられる。前記データ融合モジュールは、スペックルステッチングによって得られた回転平行移動行列Ｒ、Ｔに従って、３次元ストライプポイントクラウドデータに適用して融合を行い、それによりストライプ画像の３次元走査を実現するために用いられる。

上述の３次元走査システムを用いて測定対象物体１０５の３次元クラウドデータを投影または収集する操作方法は、以下のステップを含む：
（１）デバイス構築：２つのカメラと光源からなる３次元デジタルイメージングセンサを構築する。

（２）システム較正：左右のカメラを較正して較正パラメータを得る。

前記システム較正は、左右のカメラを較正してカメラの内部パラメータと外部パラメータとカメラとの間の相対位置に対応する回転平行移動行列Ｍｃを取得するステップをさらに含む。

（３）投影および画像取得：交互にスペックルパターンおよびストライプパターンを生成し、かつ光源を使用して測定対象物体に投影し、前記スペックルパターンおよびストライプパターンは測定対象物体の高さ変調によって変形され、変調後のスペックルパターンおよびストライプパターンを生成し、左右のカメラは同時に変調後のスペックルパターンを収集して左右のスペックル画像を取得し、左右のカメラは、変調後のストライプパターンを同期収集して、左右のストライプ画像を取得する。

（４）スペックルおよびマーカポイント３次元データ再構成：収集された左右のスペックル画像に従って、３次元再構成を行ってスペックル３次元データＰｔＳおよびマーカポイント３次元データＰｔＭを取得する。

前記スペックル３次元データＰｔＳ再構成は、収集されたスペックル画像に従って、前記左スペックル画像上のある画像座標点ｐｉにおいて、ｐｉを中心として５ｘ５〜１１ｘ１１の矩形部分グラフを取るステップと、対応する右スペックル画像極座標を較正パラメータに従って計算し、対応する右スペックル画像極座標上のすべての座標点（ｑ１〜ｑｎ）を中心として同じサイズの行列サブグラフを取り、左スペックル画像ｐｉサブグラフと右スペックル画像極座標上のすべてのサブグラフとの間の相関係数Ｃ１〜Ｃｎを計算するステップと、相関係数の大きさを比較し、最大相関係数をＣｍａｘとして定義し、相関係数閾値Ｔを設定し、ＣｍａｘがＴより大きい場合、左カメラのｐｉが右カメラでの唯一の対応するマッチングポイントがｐｒであると判定することができるステップと、左スペックル画像上の全ての画素座標点をトラバースして上記方法に従って右スペックル画像の対応するマッチングポイントをルックアップし、前記較正パラメータに従って、対応するポイントを３次元データＰｔＳに再構成するステップと、を含む。

マーカポイント３次元データＰｔＭ再構成は、収集されたスペックル画像に従って左右のスペックル画像上のすべてのマーカポイントの中心を抽出するステップと、極座標制約基準に従って左右のスペックル画像上の対応するマーカポイントの中心対を求めるステップと、続いて、較正パラメータに従って、マーカポイントの対応するポイントをマーカポイント３次元データＰｔＭに再構成するステップと、を含む。

（５）ストライプマッチング：前記スペックル３次元データＰｔＳとマーカポイント３次元データＰｔＭを左右のストライプ画像に逆投影し、かつ左右のストライプ画像のマッチングをガイドする。

前記ストライプマッチングは、マーカポイント逆投影オフセット補償ステップをさらに含み、それは、（ａ）左右のストライプ画像に対してマーカポイントの中心抽出を行い、そのマーカポイント対ＰｔＭｕｌｔｉＣｏｏｒを記録するステップと、（ｂ）極座標制約基準に従って左右のストライプ画像上の対応するマッチングポイントの中心対を求めるステップと、（ｃ）スペックルパターン上のマーカポイント３次元データＰｔＭを、左右のカメラのそれぞれの較正内部パラメータに従って変調後の左右のストライプ画像に順に逆投影し、その２次元座標対ＰｔＭａｃｔｈＣｏｏｒを記録し、ＰｔＭａｃｔｈＣｏｏｒ上の各対の逆投影マーカポイント画像座標がストライプ画像上に抽出された最も近いマーカポイント中心対での画素座標偏差を計算し、左右のストライプ画像上のそれぞれの偏差の平均値を順に計算し、左ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＬおよび右ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＲを記録するステップと、（ｄ）左右のストライプ画像に対して中心線抽出を行い、各中心線の連通領域を分割して複数のセグメントを形成し、続いてスペックル３次元データＰｔＳおよび対応するマーカポイント３次元データＰｔＭを左右のカメラの較正パラメータに従って左右のストライプ画像に逆投影するステップと、（ｅ）前記左右のストライプ画像の逆投影座標に、左ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＬおよび右ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＲを順次加算してオフセット補償を実現するステップと、（ｆ）オフセット補償後の逆投影座標対に番号が付けられ、対応する各ポイントにいずれも対応するシリアル番号があり、ストライプの左右画像座標に対応するルックアップテーブルを形成するステップと、（ｇ）左ストライプ画像上の各ストライプセグメントの各ポイントの対応するシリアル番号をトラバースし、ルックアップテーブルに従って右ストライプ画像にマッチングするストライプセグメントを直接ルックアップすることができ、このようにして左右のストライプ画像セグメントの正確なマッチングを実現することができるステップと、を含む。

（６）３次元再構成：左右のカメラの極座標制約関係を使用して、左右のストライプ画像のマッチングされた対応するストライプに対して、対応するストライプの中心線セグメント内の単一ポイントの対応関係をルックアップし、続いて較正パラメータに従って対応するポイントを３次元ストライプポイントクラウドデータに再構成する。前記３次元再構成は、左右の画像のマッチングされた対応するストライプ中心セグメントに対して、左右のカメラの極座標幾何学的制約関係を用いて、対応するストライプの中心セグメント内の単一ポイントの対応関係をルックアップし、続いてシステムの較正パラメータに従って、対応するポイント対を３次元ストライプポイントクラウドデータに再構成するステップをさらに含む。

前記３次元走査方法は、さらに、（７）スペックルステッチング：前後２つのフレームのスペックルデータの共通領域のポイントクラウドを用いてｉｃｐステッチング行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算すること、（８）データ融合：スペックルステッチングにより得られた回転平行移動行列Ｒ、Ｔに従って３次元ストライプポイントクラウドデータに適用して融合を行うことにより、ストライプ画像の３次元走査を実現することを含む。

従来技術に比べると、本発明の３次元スキャナおよびその走査方法では、測定対象物体のスペックル３次元データおよびマーカポイント３次元データに従って、該スペックル３次元データおよびマーカポイント３次元データを左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、それにより３次元ストライプのポイントクラウドデータを取得する。該３次元スキャナは従来の３次元スキャナに比べて以下の利点を有する：１、ストライプマッチングの精度または正確度が高く、それによりマッチングしたストライプの数の増加によって３次元走査システムの走査効率を向上させることができる。２、マーカポイントを使用せずにリアルタイムのステッチングを実現することができる。３、ストライプのライトプレーンを較正する必要はなく、すなわち、ライトプレーンにより左右の画像のマッチングをガイドする必要はなく、ハードウェアの相対位置への取り付け精度要件が低く、システムコストを低減させる。
本発明の３次元走査システムおよびその走査方法をさらに説明するために、以下は具体的な実施例で説明する。

図１を参照し、実際に設計されたハンドヘルドマルチストライプ型両眼３次元走査システムの構造は図１に示すとおりである。１０１はデジタルプロジェクタであり、１０２はカメラであり、１０３は右カメラであり、１０４はコンピュータ（データ処理ユニット）であり、１０５は測定対象物体である。

較正後の左カメラの内部パラメータは、
Ｋ１＝［２２７１．０８４，０，６４５．６３２，
０，２２６５．１１２，５１１．５５３，
０，０，１］である。
較正後の右カメラの内部パラメータは、
Ｋ２＝［２２７５．１８１，０，６４４．４０５，
０，２２７０．３２１，５１０．０５３，
０，０，１］である。

左カメラと右カメラとの間のシステム構造パラメータは、
Ｒ＝［８．７４９９８１ｅ−００１，６．５４７０５１ｅ−００３，４．８４０８１９ｅ−００１，
−２．９０４０３４ｅ−００３，９．９９９６１５ｅ−００１， −８．２７４９９３ｅ−００３，
−４．８４１１７５ｅ−００１，５．８３４８１３ｅ−００３，８．７４９８３５ｅ−００１］

Ｔ＝［−１．７７８９９５ｅ＋００２， −４．１６２８２１ｅ−００１，５．０７４７３７ｅ＋００１］である。

以上のステップにより、測定対象物体１０５に投影されたデジタルスペックルパターンに対して、左右のカメラ１０２、１０３は、変調後のスペックルパターンを同期収集し、左右のスペックル画像を得ることは図２に示すとおりである。続いてデジタルマルチラインストライプパターンを投影し、左右のカメラ１０２、１０３は、変調後のストライプパターンを同期収集して左右のストライプ画像を得ることは図３に示すとおりである。収集されたデジタルスペックル画像に従って３次元再構成を行ってスペックル３次元データおよびマーカポイント３次元データを得ることは図４に示すとおりであり、同時に、較正パラメータに従って該スペックル３次元データおよびマーカポイント３次元データを順に左右のストライプ画像に逆投影することは図５に示すとおりであり、左右の対応する各ポイントにシリアル番号を付け、シリアル番号ルックアップテーブルを形成する。前記左右のストライプ画像上のストライプ中心を抽出し、かつ連通領域分割を行い、シリアル番号ルックアップテーブルに従ってストライプ対応セグメントのマッチングを行う。マッチングしたセグメント対は左右のカメラの極座標幾何学的制約関係に従って対応するポイントのルックアップを行うことは図６に示すとおりであり、続いて較正パラメータに従って３次元再構成を行い、３次元ストライプポイントクラウドデータを生成する。上記のステップを繰り返し、スペックルデータを用いてリアルタイムステッチングを行い、ステッチング行列を３次元ストライプポイントクラウドデータに適用してストライプ画像のリアルタイム走査を実現する。

従来技術に比べると、本発明の３次元スキャナおよびその走査方法では、測定対象物体のスペックル３次元データおよびマーカポイント３次元データに従って、該スペックル３次元データおよびマーカポイント３次元データを左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、それにより３次元ストライプのポイントクラウドデータを取得する。該３次元スキャナは従来の３次元スキャナに比べて以下の利点を有する：１、ストライプマッチングの精度または正確度が高く、それによりマッチングしたストライプの数の増加によって３次元走査システムの走査効率を向上させることができる。２、マーカポイントを使用せずにリアルタイムのステッチングを実現することができる。３、ストライプのライトプレーンを較正する必要はなく、すなわち、ライトプレーンにより左右の画像のマッチングをガイドする必要はなく、ハードウェアの相対位置への取り付け精度要件が低く、システムコストを低減させる。

上記は本発明の好ましい実施例のみであり、本発明を限定するものではなく、本発明の精神および範囲内で行われた任意の修正、均等な置換および改良は、いずれも本発明の保護範囲内に含まれるべきである。

Claims

測定対象物体の３次元ストライプポイントクラウドデータを取得するための３次元走査システムであって、
前記測定対象物体に複数のスペックルパターンおよびストライプパターンを交互に投影するための光源と、
前記測定対象物体の左右のスペックル画像および左右のストライプ画像を同期収集するための左右のカメラと、
前記スペックル画像に従って、スペックル３次元データおよびマーカポイント３次元データを取得するためのスペックルデータおよびマーカポイントデータ再構成モジュールと、
前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左、右ストライプ画像ストライプのマッチングをガイドするためのストライプマッチングモジュールと、
左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するための３次元再構成モジュールと、を含むことを特徴とする３次元走査システム。
前記ストライプパターンは、自然なライトストライプパターンであることを特徴とする請求項１に記載の３次元走査システム。
前記ストライプパターン中のストライプ数は１５より大きいであることを特徴とする請求項２に記載の３次元走査システム。
前記３次元走査システムはハンドヘルド３次元走査システムであることを特徴とする請求項１に記載の３次元走査システム。
前後２つのフレームのスペックルデータ共通領域のポイントクラウドを利用してＩＣＰステッチングを行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算するためのスペックルステッチングモジュールをさらに含むことを特徴とする請求項１に記載の３次元走査システム。
スペックルステッチングによって得られた回転平行移動行列Ｒ、Ｔに従って、３次元ストライプポイントクラウドデータに適用して融合を行い、それによりストライプ画像の３次元走査を実現するためのデータ融合モジュールをさらに含むことを特徴とする請求項５に記載の３次元走査システム。
測定対象物体の３次元ストライプポイントクラウドデータを取得するための３次元走査システムであって、
前記測定対象物体内に複数のスペックルパターンおよびストライプパターンを交互に投影するための光源と、
前記測定対象物体の左右のスペックル画像および左右のストライプ画像を同期収集するための左右のカメラと、
前記スペックル画像に従ってスペックル３次元データおよびマーカポイント３次元データを取得し、同時に前記スペックル３次元データおよびマーカポイント３次元データに従って左右のストライプ画像に逆投影し、かつ左右のストライプ画像ストライプのマッチングをガイドし、さらに左右のストライプ画像のマッチングされた対応するストライプを３次元ストライプポイントクラウドデータに再構成するためのデータ処理ユニットと、を含むことを特徴とする３次元走査システム。
（１）２つのカメラと光源からなる３次元デジタルイメージングセンサを構築するデバイス構築と、
（２）左右のカメラを較正して較正パラメータを得るシステム較正と、
（３）交互にスペックルパターンおよびストライプパターンを生成し、かつ光源を使用して測定対象物体に投影し、前記スペックルパターンおよびストライプパターンは測定対象物体の高さ変調によって変形され、変調後のスペックルパターンおよびストライプパターンを生成し、左右のカメラは同時に変調後のスペックルパターンを収集して左右のスペックル画像を取得し、左右のカメラは、変調後のストライプパターンを同期収集して、左右のストライプ画像を取得する投影および画像取得と、
（４）収集された左右のスペックル画像に従って、３次元再構成を行ってスペックル３次元データＰｔＳおよびマーカポイント３次元データＰｔＭを取得するスペックルおよびマーカポイント３次元データ再構成と、
（５）前記スペックル３次元データＰｔＳとマーカポイント３次元データＰｔＭを左右のストライプ画像に逆投影し、かつ左右のストライプ画像のマッチングをガイドするストライプマッチングと、
（６）左右のカメラの極座標制約関係を使用して、左右のストライプ画像のマッチングされた対応するストライプに対して、対応するストライプの中心線セグメント内の単一ポイントの対応関係をルックアップし、続いて較正パラメータに従って対応するポイントを３次元ストライプポイントクラウドデータに再構成する３次元再構成と、を含むことを特徴とする３次元走査方法。
前記システム較正は、さらに、左右のカメラを較正してカメラの内部パラメータと外部パラメータとカメラとの間の相対位置に対応する回転平行移動行列Ｍｃを取得するステップを含む、ことを特徴とする請求項８に記載の３次元走査方法。
前記スペックルおよびマーカ３次元データ再構成は、スペックル３次元データ再構成ステップをさらに含み、
前記スペックル３次元データ再構成ステップには、
収集されたスペックル画像に従って、前記左スペックル画像上のある画像座標点ｐｉにおいて、ｐｉを中心として５ｘ５〜１１ｘ１１の矩形部分を取るステップと、
対応する右スペックル画像極座標を較正パラメータに従って計算し、対応する右スペックル画像極座標上のすべての座標点（ｑ１〜ｑｎ）を中心として同じサイズの行列サブグラフを取り、左スペックル画像ｐｉサブグラフと右スペックル画像極座標上のすべてのサブグラフとの間の相関係数Ｃ１〜Ｃｎを計算するステップと、
相関係数の大きさを比較し、最大相関係数をＣｍａｘとして定義し、相関係数閾値Ｔを設定し、ＣｍａｘがＴより大きい場合、左カメラのｐｉが右カメラでの唯一の対応するマッチングポイントがｐｒであると判定することができるステップと、
左スペックル画像上の全ての画素座標点をトラバースして上記方法に従って右スペックル画像の対応するマッチングポイントをルックアップし、前記較正パラメータに従って、対応するポイントを３次元データＰｔＳに再構成するステップと、を含むことを特徴とする請求項８に記載の３次元走査方法。
前記スペックルおよびランドマーク３次元データ再構成は、マーカポイント３次元データの再構成ステップをさらに含み、
前記マーカポイント３次元データの再構成ステップは、
収集されたスペックル画像に従って左右のスペックル画像上のすべてのマーカポイントの中心を抽出するステップと、
極座標制約基準に従って左右のスペックル画像上の対応するマーカポイントの中心対を求めるステップと、
続いて、較正パラメータに従って、マーカポイントの対応するポイントをマーカポイント３次元データＰｔＭに再構成するステップと、を含むことを特徴とする請求項１０に記載の３次元走査方法。
前記ストライプマッチングは、マーカポイントの逆投影オフセット補償ステップをさらに含み、
前記マーカポイントの逆投影オフセット補償ステップは、
左右のストライプ画像に対してマーカポイントの中心抽出を行い、そのマーカポイント対ＰｔＭｕｌｔｉＣｏｏｒを記録するステップと、
極座標制約基準に従って左右のストライプ画像上の対応するマッチングポイントの中心対を求めるステップと、
スペックルパターン上のマーカポイント３次元データＰｔＭを、左右のカメラのそれぞれの較正内部パラメータに従って変調後の左右のストライプ画像に順に逆投影し、その２次元座標対ＰｔＭａｃｔｈＣｏｏｒを記録し、ＰｔＭａｃｔｈＣｏｏｒ上の各対の逆投影マーカポイント画像座標がストライプ画像上に抽出された最も近いマーカポイント中心対での画素座標偏差を計算し、左右のストライプ画像上のそれぞれの偏差の平均値を順に計算し、左ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＬおよび右ストライプ画像の画素偏差平均値ｐｉｘＤｉｖＲを記録するステップと、を含むことを特徴とする請求項１１に記載の３次元走査方法。
前記３次元マッチングは、さらに、
スペックル３次元データＰｔＳおよび対応するマーカポイント３次元データＰｔＭを再構成した後、左右のストライプ画像に対して中心線抽出を行うステップと、
各中心線の連通領域を分割して複数のセグメントを形成し、続いてスペックル３次元データＰｔＳおよび対応するマーカポイント３次元データＰｔＭを左右のカメラの較正パラメータに従って左右のストライプ画像に逆投影するステップと、
前記左右のストライプ画像の逆投影座標に、左ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＬおよび右ストライプ画像画素オフセット平均値ＰｉｘＤｉｖＲを順次加算してオフセット補償を実現するステップと、
オフセット補償後の逆投影座標対に番号が付けられ、対応する各ポイントにいずれも対応するシリアル番号があり、ストライプの左右画像座標に対応するルックアップテーブルを形成するステップと、
左ストライプ画像上の各ストライプセグメントの各ポイントの対応するシリアル番号をトラバースし、ルックアップテーブルに従って右ストライプ画像にマッチングするストライプセグメントを直接ルックアップすることができ、このようにして左右のストライプ画像セグメントの正確なマッチングを実現することができるステップと、を含むことを特徴とする請求項１２に記載の３次元走査方法。
前記３次元再構成は、さらに、左右の画像のマッチングされた対応するストライプ中心セグメントに対して、左右のカメラの極座標幾何学的制約関係を用いて、対応するストライプの中心セグメント内の単一ポイントの対応関係をルックアップし、続いてシステムの較正パラメータに従って、対応するポイント対を３次元ストライプポイントクラウドデータに再構成するステップを含むことを特徴とする請求項８に記載の３次元走査方法。
前後２つのフレームのスペックルデータの共通領域のポイントクラウドを用いてｉｃｐステッチング行い、２つのフレーム間の回転平行移動行列Ｒ、Ｔを計算するスペックルステッチングステップをさらに含むことを特徴とする請求項８に記載の３次元走査方法。
スペックルステッチングにより得られた回転平行移動行列Ｒ、Ｔに従って３次元ストライプポイントクラウドデータに適用して融合を行うことにより、ストライプ画像の３次元走査を実現するデータ融合ステップをさらに含む、ことを特徴とする請求項１５に記載の３次元走査方法。