JP2009517634A - 符号化された構造光 - Google Patents

Abstract

本発明は、表面の３次元モデルを作り出すシステムおよび方法あって、光源１．２であって、該光源１．２は、表面に連続的な線分のパターンを投影し、各線分は、線分に沿って、固有のパターンで符号化されている、光源と、検出器１．３であって、該検出器１．３は、投影されたパターンを有する表面の画像を記録する、検出器１．３と、投影されたパターンを利用して、画像を表面の３次元モデルに変換するコンピュータとを備えている、システムおよび方法である。

Description

本発明は、符号化された構造光を使用して、表面の３次元モデルを作り出すシステムおよび方法に関する。

出願、すなわち、本出願に引用された全ての特許文献および非特許文献はまた、それらの全体が本明細書によって参考として援用される。

物理的な物体［１．１］のデジタル３次元モデルを生成する方法は、物体の表面に既知の光のパターン［１．２］を投影し、異なる角度（図１）からカメラ［１．３］を用いて投影されたパターンを記録し、次に、記録されたパターンの変形から表面の形状を計算することである。プロジェクタとカメラとの相対位置と内部パラメータとが、既知であるときには、物体の照明された部分の３次元の形状は、三角測量を使用して計算され得る。これは、構造光スキャニングとして公知であり、従来技術において記述されている。

パターンにおける特徴の識別は、既存のシステムにおいて多数の様々な方法で解かれて来た問題を提示する。Ｓａｌｖｉら（２００４）は、既存のパターン符号化方法の広範囲に及ぶ概観を与える。主なカテゴリーは以下のものである。
・単一の線だけを投影すること。（物体の外部照明がないことを想定すると）単一の線だけが投影される場合には、誤った識別のリスクが存在しないが、単一の細いストリップの物体の表面だけが、覆われるので、様々な角度からの非常に多くのスキャンが、表面を覆うために必要となる。これは、時間がかかり、かつ、物体またはプロジェクタおよびカメラの制御された動きを必要とし、このことがスキャナーシステムに対して複雑さを追加する。
・様々な色またはグレースケールで符号化された線または点を投影すること。物体が（ほぼ）均一な色であるか、または物体の画像が均一の照明で記録され得る条件で、個々の線または点が、様々な色／グレースケールを有する場合、個々の線または点は識別され得る。均一な照明と投影されたパターンとの両方で物体の画像を取得することは、システムが、２つの記録の間で静止していることを必要としており、従ってこれは、ハンドヘルドのスキャナまたは動く物体には適していない。さらに、様々な色の光は、カメラのレンズおよびプロジェクタのレンズにおいて、様々な反射角度を有するので、そして、一般的なカメラのチップにおいて使用される技術のせいで、色を使用することは、潜在的な不正確性（解像度の低下）を導入する。色で符号化された光システムの例は、特許文献１に見出すことができる。Ｐａｇｅｓら（２００４）は、着色された線を適用する別のシステムを記述する。
・時間でパターンを変化させること。例えば、異なる線が見える場合に、いくつかの異なるパターンを投影することは、一定の線の識別を与え得るが、ここでもやはり、いくつかの異なるパターンを投影することは、静止している物体、カメラおよびプロジェクタを用いて、いくつかの画像を取得することを必要とする。いくつかの異なるパターンを投影することはまた、パターンを変化させ得ることが可能であるプロジェクタを必要とし、かかるプロジェクタは、静止した画像に関するプロジェクタよりも高価である。時間で変化させる符号化を適用するシステムの例は、特許文献２に記述されている。

例えば、口または外耳道のような小さな腔におけるスキャニングは、可能なスキャナのサイズを制限し、さらにハンドヘルドのデバイスが、多くの場合に、かかる用途に対する最も使いやすく、かつ、費用効果の高い解決策である。ユーザが、安定してデバイスを保持するように指示された場合であっても、スキャナが、ハンドヘルドである場合には、長期に渡る静止した場合を有することを期待し得ない。これは、時間で変化させるパターンは、問題であるということと、連続的に取得された画像の間の動きは、未知であり得、従って、単一の画像においてできる限り多くの情報を有することが望ましいということとを意味する。
米国特許第６，１４７，７６０号明細書 米国特許第４，６５３，１０４号明細書

本発明は、３次元画像モデルを提供するために、単一フレーム（すなわち、ワンショット）の画像からの計算を提供するので、本発明が、動的場面に関して使用可能なシステムおよび方法を提供するという点で、本発明は、上記の問題に対して解決策を提供する。

従って、一局面において、本発明は、表面の３次元モデルを作り出すシステムに関しており、該システムは、
（ａ）表面に連続的な線分のパターンを投影する光源であって、各線分は、線分に沿って固有のパターンで符号化されている、光源と、
（ｂ）投影されたパターンを有する表面の画像を記録する検出器と、
（ｃ）投影されたパターンを利用して、画像を表面の３次元モデルに変換するコンピュータとを備えている。

さらなる局面において、本発明は、表面の３次元モデルを作り出す方法に関しており、該方法は、
（ａ）光源から、表面に連続的な線分のパターンを投影するステップであって、各線分は、線分に沿って固有のパターンを用いて符号化されている、ステップと、
（ｂ）投影されたパターンを有する表面の画像を記録するステップと、
（ｃ）投影されたパターンを利用して、画像を表面の３次元モデルに変換するステップとを包含する。

（定義）
線に沿って：線の方向を意味する。

連続的な線分：画像において間隙を視認できない連続的な点または画素の線分を意味する。

３次元モデル：データ収集プロセスの精度の範囲内でモデル化された物体の表面の空間的な分布を表す一組のデータ。

固有のパターン：線分の所定の認識可能な変調（ｍｏｄｕｌａｔｉｏｎ）であって、該線分の所定の認識可能な変調は、光源によって投影されるその他任意の線分に対してか、または近くの線分に対してかのいずれかに対して、該線分を識別する、線分の所定の認識可能な変調。固有のパターンは、同じ線に属する線分において繰り返され得る。別の定義において、固有のパターンは、線分を、光源によって投影されるその他任意の線分から区別可能にするか、または近接した線分から区別可能にする該線分の所定の認識可能な変調である。ここで、近接した線分とは、検出器によって見られる線分が、光源によって投影される正しい本来の線分から生じているとして識別されるか、または近接した線分として識別される得る場合の線分として定義される。該識別はまた、正しい線分と任意の閉じた線分との間で幾分曖昧であり得る。固有のパターンは、同じ線に属する線分において繰り返され得る。

周波数および位相：変調が、該変調の周波数および／または位相を介して認識可能である場合の線分の正弦曲線状の変調。該変調の位相は、多くの場合に、識別可能な点、線または他のパターンのような基準に対して測定される。

本発明の目的は、新たな改良された符号化方法であり、該新たな符号化方法は、構造光スキャナにおける投影された線の識別に関する問題を解決し、それによって符号化方法は、物理的に小さいサイズの単純かつ安価な実施形態で使用され得る。

投影される光のパターンは、連続的な線分のパターンから成る。各線分は、固有の符号化を提供される。一実施形態において、連続的な線分は、線の中に配置され、それにより該線は、連続的な線分から成っている。線分は、２つの連続的な線分の間に間隙を有する一本の線の中に配置され得るか、または線分は、線の中に連続して配置され得る。連続的な線分から成る線は、表面に投影されたときに、平行な線のように１つの線から別の線までに所定の距離を有するように配置される。一実施形態において、連続的な線分は、直線状の連続的な線分である。

連続的な線分に沿った固有の符号化は、画像内の各連続的な線分の識別を可能にする任意の適切な方法で実行され得る。一実施形態において、同じ固有のパターンが、線の中の全ての連続的な線分に沿って符号化される。しかしながら、１つの線を隣の線から識別することが可能である限り、線の中の連続的な線分ごとに固有の符号化パターンを変化させることも可能である。

固有の符号化パターンは、連続的な線分に沿って適用され得る任意の適切なパターンであり得る。従って、固有のパターンは、本出願の図面において示された例のように、連続的な線分の幅の周期的な変化から成り得る。

あるいは、または幅の周期的な変化と組み合わせて、固有のパターンは、連続的な線分における色の周期的な変化から成り得る。例えば、線分は、線分に沿った互い違いの赤色部分と緑色部分とから成り得る。

さらに、固有の符号化パターンは、単独か、または上記の符号化パターンのうちの任意のものと組み合わせかのいずれかで、連続的な線分におけるグレースケールの周期的な変化から成り得る。

パターンは、画像の中の各線または連続的な線分に対して固有であり得る。しかしながら、実際には、パターンの固有性は、線をすぐ隣の線から区別するために充分であるということを必要とするのみである。従って、一実施形態において、固有のパターンは、ｎ個の線毎に該パターンで繰り返され、ｎは、少なくとも整数の２、例えば、少なくとも３、例えば、少なくとも４、例えば、少なくとも５、例えば、少なくとも１０、例えば、少なくとも２５であり得る。

以下でさらに詳細に記述されるように、連続的な線分は、２進数もしくはｎの数列を使用して、または周波数および／または位相を変化させることによって符号化され得る。

本明細書において定義されるような線分は、連続的であり、連続的という用語は、従来的な意味、すなわち、連続的な線分においては間隙がないということである。連続的な線分の供給は、画像の３次元モデルへのより効率的な変換を提供する。なぜならば、識別プロセスを妨げる間隙が存在しないので、連続的な線分の短い部分でさえも識別され得るからである。

一実施形態において、画像における各連続的な線分の長さは、連続的な線分の最小幅の少なくとも２倍であり、例えば、連続的な線分の最小幅の少なくとも３倍、連続的な線分の最小幅の少なくとも４倍、連続的な線分の最小幅の少なくとも５倍、連続的な線分の最小幅の少なくとも１０倍、連続的な線分の最小幅の少なくとも２５倍、連続的な線分の最小幅の少なくとも５０倍であるということが好ましい。

さらなる実施形態において、光源は、表面上に、連続的な線分に対して所定の角度を有する線、例えば、連続的な線分に対して垂直である線をさらに投影する。

画像における符号化された線分は、以下でさらに詳細に記述されるように、検出器のフォーカルライン（ｆｏｃａｌ ｌｉｎｅ）と光源のフォーカルラインとの中間の軸に対して垂直であるということが好ましい。

本発明に従って使用される光源は、任意の適切な光源であり得る。従って、任意の構造光、例えば、従来のプロジェクタにおける光源、またはレーザー光、もしくはブリッツ（ｂｌｉｔｚ）光が、使用され得る。光源は、画像および表面に適した可視光、近可視光、または不可視光を発し得る。特に、ヒトまたは動物の表面の３次元モデルを作り出すためには、不可視光を使用することが好ましいことがあり得る。

本発明に従った検出器は、デジタルカメラのような任意の適切な検出器であり得る。適切である場合には、システムは、２つ以上の検出器を含み得る。

例として、本発明は、特許出願ＰＣＴ／ＤＫ０１／００５６４号および特許出願ＰＣＴ／ＤＫ２００５／０００５０７号のうちのいずれにも記述されているようなシステムにおいて使用され得る。

表面上に連続的な線分のパターンを投影することによって、表面の画像から３次元モデルを作り出すことが可能となる。記録された画像から表面を再構築するために、記録内の投影された特徴、すなわち、個々の線を識別することが可能でなければならない。図２は、ボール上に投影された線［２．１］のパターンを示す。図３においては、同じパターンがより複雑な表面に投影されており、どの線分がどの線に属するかを決定することは、自動手順で行なうには非常に複雑なものとなる。

記録された画像における投影された線を区別することができるように、本発明は、線に沿った符号化を使用すること、例えば、線の幅または明暗度を変化させることを提案する。これは、例えば、図４に示されたような２進符号化、または図５に示されたような周波数および／または位相の符号化であり得る。

２進符号化を用いて、ビット［４．１］／［４．２］の長さを、例えば、投影された画像の高さ全体の１／１００となるように定義し、かつ、細い線［４．１］を０として、そして幅が広い線［４．２］を１として定義し得る。これは、（上から下に向けて）線［４．３］に符号０１００１００１０…を与え、線［４．４］に符号１１０１１０１１０…を与える。線のうちの短い線分だけを用いて、この場合、少なくとも３ビットの長さ相当で、線分を識別することができる。

本発明の別の実施形態において、線の幅は、各線に対し異なる周波数と位相とを有する、上部からの距離の正弦関数として変化し得る。図５の例において、線［５．１］は、線[５．２]よりも高い周波数を有するということを理解し得る。記録された画像における線分に沿った帯域の画素の値のフーリエ変換が、線を識別する周波数を与える。線分の長さは、好適には、少なくとも特定の識別に対する正弦曲線のサイクルの長さであるべきである。

記録された画像における（ビット符号化の場合においては）ビットの垂直方向の位置と（周波数符号化の場合においては）線の周波数とは、物体の形状によっては影響されないが、プロジェクタおよびカメラの相対位置および相対方向によってのみ影響されるということを実現することが重要である。これは、[１．２]におけるソース画像における符号化された線が、カメラのフォーカルラインとプロジェクタのフォーカルラインとの中間の軸に対して垂直である場合には、真実である。物体の形状は、線を垂直にシフトさせるだけであり、従って、符号は、記録された画像内で維持される。

図６に例示されるように、カメラに対するプロジェクタの回転は、線上の垂直な特徴の線形の変換をもたらす。[６．１]が、ソース画像である場合には、[６．２]は、不規則な物体の上に[６．１]を投影したときに記録された画像であり得る。線は、表面に依存して水平にシフトさせられるが、ビットの垂直方向の位置は、プロジェクタ／カメラの回転によって線形に変換されるだけであるということを、例は示す。この逆線形変換が、より単純な線の識別のために、記録された画像に適用され得る。

この特質の別の例が、図７に示されており、水平方向の線［７．１］の方向は、明らかに、耳の変化する表面によって影響されていない。

符号の線形変換と、物体の絶対的な測定値を獲得するために必要とされる他のシステムパラメータとを決定することは、寸法が既知の物体に関する多数の較正画像を記録することによって行なわれ得る。較正プロセスをサポートするために、多数の水平方向の線［５．３］［７．１］が、ソース画像に挿入され得る。

本システムおよび方法のスキャナハードウェアは、プロジェクタとカメラとから成り得る。プロジェクタは、単純なスライドプロジェクタであり得、スライドは、符号化された線を含み(図８)、プロジェクタは、ＬＣＤ／ＤＭＤプロジェクタであり得、パターンが、１つ以上のレーザーによって生成され得る。コンピュータに接続されたテレビカメラまたは(一般的には、ＣＣＤまたはＣＭＯＳを基にした)デジタルカメラが、画像を供給する。デジタル画像における線を検出するための多数のアルゴリズムが、当該分野において公知である。プロジェクタからの光以外の光が、物体上にないことを想定すると、単純な閾値の手法が使用され得、その場合、閾値を上回る全ての画素の値が、線の一部分として考えられる。線が、記録された画像における１つの画素よりも幅が広い場合には、中心が、例えば、最も明るい画素を見つけることによってか、または線全体の画素の値によって適合させられる多項式の最大値として決定される。線が見つけられると、線は、上記のような符号化に基づいて識別されなければならず、少なくとも、各線に沿った各画素の３次元の位置が、三角測量を使用して計算され得る。連続的な面に対して空間における点を結びつけるためのアルゴリズムもまた、従来技術で記述されている。これを行うための１つの方法は、図９で示されているように、三角形を用いて隣接する地点を結びつけることである。

本発明は、特に、ハンドヘルドスキャナおよび／または動的場面に関して、３次元モデルを生成するための表面の任意のスキャニングにおいて適用され得る。従って、本発明は、多くの可能な用途を有し得る。１つの用途は、補聴器または歯科業界における使用のためのハンドヘルドの小腔用スキャナであり得る。益々多くの補聴器が、患者の耳の３Ｄモデルからカスタムメイドされており、患者にとってできる限り早く、かつ、できる限り痛みのない、この３Ｄモデルを獲得する方法が所望される。同様に、歯の修復または歯科矯正が、多くの場合、患者の口のデジタル３Ｄモデルに基づいている。従って、表面は、ヒトの耳道の表面であるか、または耳道の３次元モデルの表面であり得る。別の実施形態において、表面は、１つの歯または複数の歯の表面であるか、または１つの歯または複数の歯の３次元モデルの表面である。

他の用途は、大量生産における品質管理、品質管理、リバースエンジニアリング、バーチャルリアリティおよびコンピュータゲームのモデル作成、型の作成のための物体のスキャニング、またはデザインのためのハンドメイドの粘土モデルのスキャニングである。

図１は、カメラとプロジェクタとを有する構造光スキャナである。 図２は、単純な表面に投影された構造光パターンである。 図３は、複雑な表面に投影された構造光パターンである。 図４は、線に沿った２進符号化である。 図５は、８つの異なる周波数を有し、位相の違った２連続の周波数符号化である。 図６は、ビットの垂直方向の高さと位置とが、物体の形状とは無関係に維持される。 図７は、投影されたビット符号化されたパターンを有する耳である。 図８は、符号化された線のパターンを有するスライドである。 図９は、三角形を使用した線の間への表面の補間である。

Claims (19)

1. 表面の３次元モデルを作り出すシステムであって、
   （ａ）該表面に連続的な線分のパターンを投影する光源であって、各線分は、該線分に沿って固有のパターンで符号化されている、光源と、
   （ｂ）該投影されたパターンを有する該表面の画像を記録する検出器と、
   （ｃ）該投影されたパターンを利用して、該画像を該表面の３次元モデルに変換するコンピュータと
   を備えている、システム。
2. 前記光源は、前記表面に線のパターンを投影し、各線は、複数の前記連続的な線分から成る、請求項１に記載のシステム。
3. 各線は、前記連続的な線分の連続から成る、請求項２に記載のシステム。
4. 同一の固有なパターンが、線における全ての連続的な線分に沿って符号化される、請求項１〜請求項３のうちのいずれか１項に記載のシステム。
5. 前記固有なパターンは、前記線分における幅の周期的な変化から成る、請求項１〜請求項４のうちのいずれか１項に記載のシステム。
6. 前記固有のパターンは、前記線分における色の周期的な変化から成る、請求項１〜請求項５のうちのいずれか１項に記載のシステム。
7. 前記固有のパターンは、前記線分におけるグレースケールの周期的な変化から成る、請求項１〜請求項６のうちのいずれか１項に記載のシステム。
8. 前記固有のパターンは、ｎ個の線毎に該パターンで繰り返され、ｎは、少なくとも２の整数である、請求項１〜請求項７のうちのいずれか１項に記載のシステム。
9. 前記連続的な線分は、２進数列を使用して符号化される、請求項１〜請求項８のうちのいずれか１項に記載のシステム。
10. 前記連続的な線分は、周波数および／または位相を変化させることによって符号化される、請求項１〜請求項９のうちのいずれか１項に記載のシステム。
11. 前記各連続的な線分の長さは、該連続的な線分の最小幅の少なくとも２倍である、請求項１〜請求項１０のうちのいずれか１項に記載のシステム。
12. 前記光源は、可視光を発する、請求項１〜請求項１１のうちのいずれか１項に記載のシステム。
13. 前記光源は、不可視光を発する、請求項１〜請求項１１のうちのいずれか１項に記載のシステム。
14. 前記検出器は、カメラである、請求項１〜請求項１３のうちのいずれか１項に記載のシステム。
15. 前記光源は、前記表面に、前記連続的な線分に対して所定の角度を有する線をさらに投影する、請求項１に記載のシステム。
16. 表面の３次元モデルを作り出す方法であって、
    （ａ）光源から、該表面に連続的な線分のパターンを投影するステップであって、各線分は、該線分に沿って固有のパターンを用いて符号化されている、ステップと、
    （ｂ）該投影されたパターンを有する表面の画像を記録するステップと、
    （ｃ）該投影されたパターンを利用して、該画像を該表面の３次元モデルに変換するステップと
    を包含する、方法。
17. 請求項１〜請求項１５のうちのいずれか１項に定義された１つ以上の特徴を有する、請求項１６に記載の方法。
18. 前記表面は、ヒトの耳道の表面であるか、または耳道の３次元モデルの表面である、請求項１６または請求項１７に記載の方法。
19. 前記表面は、１つの歯または複数の歯の表面であるか、または１つの歯または複数の歯の３次元モデルの表面である、請求項１６または請求項１７に記載の方法。

Images