JP2012518844A - 三次元計測システムのための輝度およびカラー表示 - Google Patents

Abstract

三次元（３Ｄ）計測表面の表示（ディスプレイ）を生成するための方法および装置を開示する。この方法は、点クラウド座標空間においてオブジェクトの表面の３Ｄ点クラウド表現を求めることを含む。オブジェクトの画像が毛米良座標空間で取得され、点クラウド座標空間に変換される。変換された画像が３Ｄ点クラウド表現に写像されてオブジェクトの表面のリアルな表示を生成する。一実施例では、３Ｄ点クラウドを求めるための画像を取得するのに使用する計測カメラは、オブジェクトの画像を取得するのにも使用されるので、座標空間の変換は行われない。表示は、表現におけるピクセルまたは表面エレメントに対するグレイスケールまたはカラーの陰影付けを含む。
【選択図】図７

Description

この発明は、非接触三次元計測(metrology)に関し、より具体的には三次元表面計測データのグレイスケールおよびカラー表示の生成に関する。

この特許出願は、2009年２月２５日になされた「２次元画像の三次元計測システムへのロフティング」と題する米国仮出願61/155,200、2009年２月２５日になされた「三次元計測システムへのトルーカラーイメージングの統合」と題する米国仮出願61/155,260、2009年５月２０日になされた「ダイナミック三次元計測システムにおけるシェイプおよびシェイドトルーカラー表示」と題する米国仮出願61/179,800の利益を主張する。

共焦点撮像法、構成された光投射、縞干渉法に基づく高精度の非接触三次元（３Ｄ）計測技術が、歯科および医療用の３Ｄ撮像の分野などの多様な分野で開発されてきた。一般に、これらの技術は、２次元画像の集合を取得し処理して、被計測オブジェクトの表面上の点を表す点のクラウド（cloud、雲）を生成することに基づいている。モニタに表示される３Ｄ点のクラウドは、ユーザにとって解釈が難しく、特に表示された表面の少なくとも一部分が表示された表面の他の部分の後ろにあるときは解釈が難しい。経験豊富なユーザは、難しい表面レイヤを区別しまたは解釈するために誘導表示モーション(induced display motion)をしばしば用いた。

解釈を向上させるために、人工的な陰影付け(shading)またはカラー付け(coloring)を３Ｄ点のクラウドの各点に行うことができる。代替として、３Ｄ点のクラウドの各３Ｄ点の間、その３つの最も近い点の三角面を創って人工的な表面を生成することができる。この三角面は、解釈を助けるために人工的に陰影付けされまたはカラー付けされることができる。これらの技術は、表示された３Ｄデータを適切に解釈する能力を改善するが、得られる画像は、オブジェクト面の直接観察とはかなり違ったものになる。

この発明は、３Ｄ計測面の表示を生成する方法を提供する。

一面において、この発明の方法は、点クラウドの座標空間においてオブジェクト面の３Ｄ点クラウド表現を求めることを含む。オブジェクトの画像はカメラの座標空間で取得される。この画像が３Ｄ点クラウド表現にマップ（写像）されてオブジェクト面の表示（ディスプレイ）が生成される。一実施例では、画像は、３Ｄ点クラウド表現へのマッピング前に、カメラの座標空間から点クラウド座標空間に変換される。

他の面において、この発明は、３Ｄ計測面の表示を生成する装置を提供する。この装置は、計測システム、撮像システムおよびプロセッサを備える。計測システムは、点クラウド座標空間においてオブジェクト面の３Ｄ点クラウド表現を求める。撮像システムは、カメラ座標空間においてオブジェクト面の画像を取得するよう構成されている。プロセッサは、計測システムおよび撮像システムと連携するよう構成されている。プロセッサは、オブジェクト面の画像を３Ｄ点クラウド表現に写像しオブジェクト面の表示を生成するよう構成されている。

この発明の上記の特徴および利点は、図面を参照する以下の詳細な説明から明らかになるでしょう。図面では、種々の図で同じ参照番号は同じ構造のエレメントまたは事項を示す。図の尺度は必ずしも等倍ではなく、この発明の原理を示すために強調がなされている。

この発明に従う３Ｄ計測面の表示を生成する装置の実施例のブロック図。 この発明に従う３Ｄ計測面の表示を生成する方法の実施例を示すフローチャート。 従来技術で知られている非接触３Ｄ計測システムの構成例の図。 この発明の実施例に従う図１の撮像システムを示す図。 この発明の他の実施例に従う図１の撮像システムを示す図。 この発明に従う３Ｄ計測面の表示を生成する方法の他の実施例のフローチャート。 この発明に従う３Ｄ計測面の表示を生成する装置の他の実施例のブロック図。 この発明に従う３Ｄ計測面の表示を生成する方法の他の実施例のフローチャート。 この発明に従う３Ｄ計測面の表示を生成する方法の他の実施例のフローチャート。

概してこの発明は、３Ｄ計測面の表示を生成するための方法および装置に関する。この方法は、点クラウド座標空間におけるオブジェクト面の３Ｄ点クラウド表現を求める。オブジェクトの画像は、カメラ座標空間で取得され、オブジェクト面の表示（ディスプレイ）を生成するため３Ｄ点クラウド表現に写像される。必要であれば、画像は３Ｄ点クラウド表現に写像する前にカメラ座標空間から点クラウド座標空間に変換される。

この発明を図面に示す例としての実施例に関してより詳細に説明する。種々の実施例および例に関して発明を説明するが、この発明がそれらの実施例に限定されることは意図していない。この発明が種々の代替物、修正、および均等物包含することは、当業者が理解するところである。この発明にアクセスする当業者は追加の実施態様、修正、実施例、および他の用途を認識するであろうが、それらはすべてこの明細書の開示範囲に含まれる。

図１は、この発明に従って３Ｄ計測面の表示を生成するための装置１０の実施例を示す。図２は、３Ｄ計測面の表示を生成する方法１００の実施例のフローチャートを示す。装置１０は、プロセッサ２２と連携する計測システム１４および撮像システム１８を備える。計測システム１４は、計測中のオブジェクト２６の表面の３Ｄ点クラウド表現を求め（ステップ１１０）、撮像システム１８は、オブジェクト２６の表面の２次元（２Ｄ）画像を取得する（ステップ１２０）。画像は、グレイスケールのデータをもつ単色（モノクロ）画像であることができる。代わりに画像は、従来技術で知られているＲＢＧ画像のようなカラー画像であってもよい。画像は、撮像素子のアレイ（たとえばカメラのピクセル）およびアレイ上にオブジェクトの画像を生成する光コンポーネントによって典型的に規定されるカメラ座標空間に関係する。

プロセッサ２２は、計測システム１４から３Ｄ点クラウドのデータを、そして撮像システム１８から画像データを受け取る。プロセッサ２２は、表面の画像をカメラ座標空間から３Ｄ点クラウドの座標空間に変換し（ステップ１３０）、変換された画像を３Ｄ点クラウド表現に写像する（ステップ１４０）。３Ｄ点クラウドおよび写像された画像はディスプレイモジュール３０上でユーザに一つの表示として提供され、ユーザがオブジェクト面の３Ｄ計測データをより容易に解釈することを可能にする。一つの実施例では、プロセッサ２２は、第１および第２のプロセッサを備えている。第１のプロセッサは、カメラ座標空間から３Ｄ点クラウド座標空間への画像の変換を行い（ステップ１３０）、第２のプロセッサは、変換された画像の３Ｄ点クラウド表現への写像を行う（ステップ１４０）。

３Ｄ点クラウドは多様なフォーマットのうちの任意のものでユーザディスプレイに提示されることができる。たとえば、３Ｄ点クラウドはワイヤメッシュ面に提示されることができる。ワイヤメッシュ面は、典型的には３Ｄ点クラウドにおいて各３Ｄ点を近接する３Ｄ点（複数）に接続するラインを描画（レンダリング）することによって創られる。一般に、ワイヤメッシュ面における近接点（単数）とは、３つの最も近い点の一つをいう。他の実施例において、３Ｄ点クラウドは、従来知られているように、３Ｄ点クラウドにおける各点とその３つの近接点との間で三角面をレンダリングすることによって創られる人工的な面として提示される。

３Ｄ点クラウド表現を生成するためには多様なタイプの３Ｄ計測システムを使用することができ、これには共焦点顕微鏡法に基づく計測システム、形、輝度および／または色が変化する構成された光パターンの投影、および干渉縞投影が含まれる。図３は非接触計測システム１４’の一例を示し、従来技術で知られている計測投影源（プロジェクタ）３４、計測カメラ３８、およびプロセッサ４２を備えている。投影源３４およびカメラ３８は、互いに関し位置が固定されており、光軸３６および４０の間の三角形の角度αが正確に維持されている。投影源３４は、シャドウマスクパターンまたは干渉縞パターンのような異なる光パターンでオブジェクト２６を照らすよう構成されている。カメラ３８は、電荷結合デバイス（ＣＣＤ）カメラその他の従来技術で知られているディジタル撮像カメラである。典型的には、３つ以上の２Ｄ画像の集合がカメラ３８によって取得され、各２Ｄ画像は、異なる照射パターン、またはオブジェクト面上の異なる位置または位相で共通の照射パターンに対応する。計測プロセッサ４２は、カメラ３８から画像を受け取りカメラ３８からオブジェクト２６までの距離を各カメラ・ピクセルについて計算する。計算された距離は、３Ｄ点クラウド・データを生成するのに使用され、これにはオブジェクト面上の点に対応する座標における３Ｄ点が含まれる。

一実施例では、計測システム１４’がダイナミック３Ｄ点クラウド表現を生成する。たとえば、計測システム１４’は口内３Ｄ撮像システムの一部であってよく、計測プロセス中に計測中のオブジェクト（たとえば、歯科構造物）に関して移動する。このようなシステムでは２Ｄ画像の多数の組が処理されて一連の部分的に重なる３Ｄ点クラウドが生成される。各３Ｄ点クラウドは、典型的には他の３Ｄ点クラウドのカメラ座標空間とは異なるカメラ座標空間に関連している。計測プロセス４２は、従来技術で知られている３Ｄ相関技術その他の技術を使用して近接３Ｄ点クラウドの重なる領域を登録する。こうしてそれぞれの連続する３Ｄ点クラウドが最初のカメラ位置に対応する座標空間へと縫い合わされる（接続される）。

図４は、図１の撮像システム１８の実施例を示し、カラーカメラ４６、広帯域光源５０、制御モジュール５４を備え、制御モジュール５４はカメラ４６、光源５０およびプロセッサ２２と通信する。広帯域光源５０は、オブジェクト２６の真の色との関係でオブジェクト２６の見栄えをさほど変えることなくオブジェクト２６を照明するに十分はスペクトル分布をもつ光または白色光を生成する。広帯域光源５０は、白色発光ダイオード（ＬＥＤ）であってよい。制御モジュール５４は、計測システム１４の動作に関し広帯域光源５０およびカラーカメラ４６の動作を調和させる。実施例によっては、計測システム１４の投影源がオブジェクト２６を照射するインターバルの間、光源５０を不作動にすることが望ましい。代替実施例では、投影源の状態とは関係なく広帯域光源５０がオブジェクト２６を連続的に照明する。制御モジュール５４が計測システムによって行われる画像取得とカラーカメラ画像取得を同期させるのが好ましい。実施例によっては、制御モジュールは、カラーカメラ４６による画像取得中、広帯域光源５０を働かせ、カラーカメラ４６が画像を取得していないときは広帯域光源を不作動にする。

図５は、図１撮像システム１８の実施例で、制御モジュール５４’、単色（モノクロ）カメラ５８、および複数の照明源６２Ａ、６２Ｂ、６２Ｃ（一般に６２）を備えている。制御モジュール５４’は、単色カメラ５８、照明源６２およびプロセッサ２２と通信する。それぞれの照明源６２は、他の照明源６２の波長分布とは異なる特異の波長分布をもつ光照明を生成する。波長分布は、単一波長（たとえば、レーザー源で生成される光）、狭スペクトル帯域（たとえば、ＬＥＤで生成される光）、またはカラーレンジでより一般的に特徴づけられるより広いスペクトル帯域（たとえば、赤、緑または青の光）であることができる。たとえば、照明源６２は、赤色、青色、緑色で順に計測中のオブジェクトを照明するよう選択的に作動されることができる。一つの好ましい実施例では、照明源６２はＬＥＤである。もう一つの実施例では、照明源６２は、それぞれが特異のカラーフィルタを備え、照明を特異な波長分布にスペクトル的に制限する広帯域光源である。

図６は、３Ｄ計測表面の表示を生成する方法の実施例２００のフローチャートである。図５および６を参照すると、計測システムは、点クラウド座標空間におけるオブジェクトの３Ｄ点クラウド表現を求める（ステップ２１０）。単色カメラ５８が、第１の照明源６２Ａで照明されたオブジェクトの第１のグレイスケール画像を取得する（ステップ２２０）。次いで、単色カメラ５８は、第２の照明源６２Ｂで照明されたオブジェクトの第２のグレイスケール画像を取得し（ステップ２３０）、第３の照明源６２Ｃで照明されたオブジェクトの第３のグレイスケール画像を取得する（ステップ２４０）。照明源６２および単色カメラ５８の較正（キャリブレーション）により、プロセッサ２２（図１）は、すべての照明源６２について得られたグレイスケール画像の組み合わせからカラー画像を計算することが可能になる。プロセッサ２２は、オブジェクトの単一カラー画像を計算し（ステップ２５０）、計算されたカラー画像をカメラ座標空間から３Ｄ点クラウドの座標空間に変換する（ステップ２６０）。変換されたカラー画像は、次いで３Ｄ点クラウド表現に写像される（ステップ２７０）。

３つの照明源が示されているが、異なる数の照明源６２を使うことができ、異なる数のグレイスケール画像が取得されてオブジェクト２６のカラー画像が生成されることができることが認識されねばならない。さらにグレイスケール画像を取得するタイミングは図６に示すものとは異なってもよい。たとえば、カラー画像を計算するためのグレイスケール画像の取得は、３Ｄ点クラウド・データを生成するための計測で使用される計測カメラによる画像の取得とインターリーブ（交互に行う）することができる。

ダイナミック３Ｄ計測システムでは、グレイスケール画像の取得は、計測システムとオブジェクト２６の相対的な動作中に生じることができる。グレイスケール画像またはカラー画像に変換を行って、接合された３Ｄ点クラウドへのカラー画像からのより正確な写像がなされるようにするのが好ましい。この変換は、近接する点クラウドの位置あわせ変換およびシステム・タイミングインターバルの知識で補間されることができる。

図７は、この発明による３Ｄ計測表面の表示を生成するための装置７０の実施例を示し、画像取得は計測システム１４”の単色カメラ７４だけで行われる。オブジェクトの照明は、照明モジュール７８で行われ、これには制御モジュール５４”および図５で説明した複数の照明源６２が含まれる。グレイスケール画像の取得は、図６の方法２００に関し説明したとおりに行われる。一つのカメラですべての画像が取得され、したがって点クラウド座標空間およびカメラ座標空間は同じ座標空間にある。したがって、座標空間の間でのカラー画像の変換（ステップ２６０）は不要である。

図８は、図７の装置７０を使用して行うことができる３Ｄ計測表面の表示を生成する方法のもう一つの実施例３００のフローチャートである。この方法によると、計測投影源３４’だけを使用する「単一照明」に基づいて第１の画像が取得される（ステップ３１０）。例として、計測投影源３４’は縞パターンその他の構成された光パターンでオブジェクトを照らすことができる。次に、オブジェクトが計測投影源３４’および第１の照明源６２Ａによって「同時に照明」されている間に計測中のオブジェクトの第１の２色性の（dichromatic）画像が取得される（ステップ３２０）。こうしてオブジェクトは３Ｄ点クラウド・データを求めるために使用する光と、スペクトル反射率を求めるために使用する光とで同時に照らされる。

方法３００は続いて、計測投影源３４’および第２の照明源６２Ｂによる同時照明中にオブジェクトの第２の２色性の画像を取得する（ステップ３３０）。続いて、計測投影源３４’および第３の照明源６２Ｃによる同時照明中にオブジェクトの第３の２色性の画像が取得される（ステップ３４０）。計測カメラ７４で取得された４つの画像を使用して、照明源６２の３つの波長分布におけるオブジェクトの反射輝度画像が求められ（ステップ３５０）、縞パターンその他の構成された光照射は３つの２色性の画像から分離されることができ、オブジェクトの３Ｄ点クラウド表現を求めるのに使用される（ステップ３６０）。３つの反射画像は、オブジェクトのカラー画像を求めるために使用され（ステップ３７０）、このカラー画像は３Ｄ点クラウド表現に写像される（３８０）。

この技術分野で通常の知識を有する者は、種々の画像を取得する順序は異なってもよいことを認識するであろう。さらに取得される単一照明画像および同時照明画像の数は異なってもよい。

図９は３Ｄ計測表面の表示を生成する方法のもう一つの実施例４００のフローチャートであり、図１の撮像システム１８が計測システム１４に統合された装置を使用して実施することができる。計測プロジェクタ３４（図３）以外の照明源は使用されない。プロジェクタ３４がコヒーレント光放射の２つのビームの干渉によって生成される干渉縞パターンのような縞パターンでオブジェクトを照らす。この縞パターンで照らされたオブジェクトの３つまたはそれ以上の画像の集合が取得される（ステップ４１０）。それぞれの画像は、特異な空間位相でこの縞パターンを含み、この空間位相は３６０度の位相空間内で等しい間隔になっている。この縞画像の画像データから３Ｄ点クラウドが計算される（ステップ４２０）。画像の集合における画像は加算されて（ステップ４３０）、空間的に不変の輝度分布をもつオブジェクトの画像が生成される。たとえば、０度、１２０度、―１２０度の縞位相をもつ３つの縞画像の集合について、３つの画像すべてが加算されてオブジェクトの表面のグレイスケール反射画像が生成される。この反射画像は３Ｄ点クラウド表現に写像されて（ステップ４４０）、表面の単一グレイスケール表示画像が生成される。

この発明を特定の実施例について説明したが、この発明の精神および範囲から逸脱することなく形式および詳細において種々の変更が可能であることを、この分野で通常の知識を有する者は理解するであろう。

Claims (21)

1. 三次元（３Ｄ）計測表面の表示を生成する方法であって、
   点クラウド座標空間においてオブジェクトの表面の３Ｄ点クラウド表現を求めることと、
   カメラ座標空間において前記オブジェクトの画像を取得することと、
   前記オブジェクトの表面の表示を生成するため前記画像を前記３Ｄ点クラウド表現に写像することと、
   を含む方法。
2. 前記画像を前記３Ｄ点クラウド表現に写像する前に、カメラ座標空間から点クラウド座標空間に前記画像を変換することを含む、請求項１に記載の方法。
3. 前記点クラウド座標空間および前記カメラ座標空間が同じ座標空間である、請求項１に記載の方法。
4. 前記オブジェクトの画像がカラー画像である、請求項１に記載の方法。
5. 前記オブジェクトの画像がグレイスケール画像である、請求項１に記載の方法。
6. 前記３Ｄ点クラウド表現が３Ｄ計測システムと前記オブジェクトとの間の相対運動に応じたダイナミックな表現である、請求項１に記載の方法。
7. 前記３Ｄ点クラウド表現が前記オブジェクトの表面のワイヤメッシュ表現である、請求項１に記載の方法。
8. 前記３Ｄ点クラウド表現が前記オブジェクトの表面の人工的な表面表現である、請求項１に記載の方法。
9. 前記カラー画像の取得は、
   前記オブジェクトの複数の単色画像を取得することと、
   前記複数の単色画像からカラー画像を求めることと、
   を含み、それぞれの単色画像が特異の波長分布で前記オブジェクトを照らして取得される、請求項４に記載の方法。
10. 前記カラー画像の取得は、
    前記オブジェクトの２色性の画像を取得することと、
    前記オブジェクトの反射画像から前記カラー画像を求めることと、を含み、
    それぞれの２色性の画像は、照明源および計測源による前記オブジェクトの同時照明での画像データを有し、それぞれの２色性の画像についての照明源の波長分布は他の２色性の画像についての照明源の波長分布とは異なっており、それぞれの２色性の画像の画像データがそれぞれの波長分布についえ前記オブジェクトの前記反射画像を求めるのに使用され、２色性の画像の集合の画像データが前記オブジェクトの表面の３Ｄ点クラウド表現を求めるために使用される、
    請求項４に記載の方法。
11. 三次元（３Ｄ）計測表面の表示を生成する装置であって、
    点クラウド座標空間においてオブジェクトの表面の３Ｄ点クラウド表現を求める計測システムと、
    カメラ座標空間において前記オブジェクトの表面の画像を取得するよう構成された撮像システムと、
    前記計測システムおよび撮像システムと連携し、前記オブジェクトの表面の画像を３Ｄ点クラウド表現に写像して前記オブジェクトの表示を生成するよう構成されたプロセッサと、
    を備える装置。
12. 前記プロセッサは、前記画像を３Ｄ点クラウド表現に写像する前に、画像をカメラ座標空間から点クラウド座標空間に変換するよう構成されている、請求項１１に記載の装置。
13. 前記プロセッサは、
    前記画像をカメラ座標空間から点クラウド座標空間に変換する用構成された第１プロセッサと、
    前記オブジェクトの表面の画像を３Ｄ点クラウド表現に写像するよう構成された第２プロセッサと、
    を備える、請求項１２に記載の装置。
14. 前記撮像システムがカラー撮像システムである、請求項１１に記載の装置。
15. 前記撮像装置がモノクロ撮像システムである、請求項１１に記載の装置。
16. 前記計測システムが口内３Ｄ撮像システムである、請求項１１に記載の装置。
17. 前記３Ｄ点クラウド表現は前記計測システムと前記オブジェクトとの間の相対運動に応じたダイナミック表現である、請求項１１に記載の装置。
18. 前記撮像システムは、
    モノクロ撮像カメラと、
    それぞれが特異な波長分布をもつ複数の照明源と、
    前記プロセッサ、前記撮像カメラ、および前記照明源と連携し、前記照明源のそれぞれを選択的に作動させ、前記照明源のそれぞれによって前記オブジェクトが照らされている間に前記モノクロ撮像カメラが前記オブジェクトの複数のモノクロ画像を取得することを可能にする、制御モジュールと、を備え、
    前記プロセッサは、前記モノクロ画像に基づいて前記オブジェクトの表面のカラー画像を求め、該カラー画像を３Ｄ点クラウド表現に写像して前記オブジェクトの表面のカラー表示を生成する、請求項１１に記載の装置。
19. 前記撮像システムが前記計測システムに統合されており、前記モノクロ撮像カメラが計測カメラである、請求項１８に記載の装置。
20. 前記撮像システムは、
    モノクロ撮像カメラと、
    それぞれが特異な波長分布をもつ複数の照明源と、
    前記プロセッサ、前記モノクロ撮像カメラおよび前記照明源と連携し、計測投影源と同時に前記照明源のそれぞれを選択的に作動させ、前記モノクロ撮像カメラが前記オブジェクトの複数の２色性の画像を取得することを可能にするよう構成され、前記２色性の画像のそれぞれが前記計測投影源および前記照明源の一つによって前記オブジェクトが照らされている間に前記２色性の画像のそれぞれが取得される、制御モジュールと、を備え、
    前記プロセッサは、前記２色性の画像に基づいて前記オブジェクトの表面のカラー画像を求め、該カラー画像を３Ｄ点クラウド表現に写像して前記オブジェクトの表面のカラー表示を生成する、
    請求項１１に記載の装置。
21. 前記撮像システムが前記計測システムに統合され、前記モノクロ撮像カメラが計測カメラである、請求項２０に記載の装置。

Images