JP2009523547A - ３次元スキャンリカバリ - Google Patents

Abstract

インクリメンタルな一連の合致させた３次元データセットとして３次元画像を取得するスキャニングシステムは、成功したインクリメンタルな合致性をリアルタイムで試行し、かつ以前取得したデータに対する新規取得データの関係に応じてさまざまな視覚的なユーザーキューとプロセス変更を提供することによって向上する。このシステムを用いて、３次元スキャンをエラーなしに完了させるよう支援することが可能である。さらには、本明細書に記載の方法とシステムを有効な形で用いて、遮蔽面又は閉塞面などの複雑な表面の分離したサブセクションにわたって連続的な３次元スキャンを維持させることによって、この表面をスキャンすることが可能である。ある１つの有用な歯科用途では、咬合状態にある２つの歯列弓について、３次元表面のフルスキャンを得ることが可能である。

Description

（発明の分野）
本発明は３次元スキャニングに関するものであり、さらに詳細には、データ取得を無効にした後に３次元スキャンを再開させる技法に関するものである。

（関連出願の相互参照）
本出願は、２００６年１月２０日申請の米国特許出願第１１／３３７，１８２号の優先権を主張するものである。

（関連技術の説明）
対象物から３次元データを取得するためのさまざまな技法が存在する。これらの技法は、構造レーザー照射又はその他の制御刺激（Ｘ線、超音波、又は、磁気共鳴など）を用いる技法から、１つ以上のカメラからキャプチャーしたビデオデータに直接作用する技法まで、多岐に渡る。これらの技法を区別及び比較するための数多くの基準を考案できる一方で、ある１つの広義のカテゴリーでは、インクリメンタル(incremental)な３次元データを取得して３次元フルモデルにまとめあげる連続スキャニングを採用している。

この後者のカテゴリーでは、特定の検出技術に関わらず、スキャニングプロセスは、インクリメンタルデータのキャプチャー、３次元データのインクリメンタルな抽出、及び、インクリメンタルデータの共通座標系への登録、という概念上の工程に分けることができる。最後のレジストレーション工程では、インクリメンタルデータをまとめて、スキャン対象物の単一の３次元モデルを作り上げる。典型的な実施態様では、登録から取得を切り離し、登録は、データ取得の完了後、後処理工程で行う。これによって比較的包括的な処理が可能になる一方で、スキャンが終了するまでスキャン全体の精度と完成度を評価できないため、重大なデメリットが生じる。新たなスキャン（場合によってはフルスキャン）を開始させて、問題のある結果を完全に置き換えなければ、インクリメンタルデータ内の回復不能なエラー又はギャップを識別及び修正できない。商業上の用途では、これによって、スキャニングの有効原価を増大させる遅延と不便性が生じると思われる。

ある特定のケースでは、無効になったか又は使用不能なスキャンセグメントのリカバリ(recovery)は、ロボット工学、非依存指示、又は、大域座標系内にスキャニングデバイスを確実に配置することができるその他の技法を用いることによって、対応することが可能である。このアプローチは、さらなる設備費用を課すのに加え、さらにはスキャンの対象物の位置と配向が同じ大域座標系内に保持されている場合に、前回のスキャンを継続させる目的でしか利用できない。

インクリメンタルスキャンにおけるエラーからのリカバリを認識及び支援する処理技法に対するニーズが依然として存在する。また、スキャンの進行中に、無効になったスキャニングシーケンスからのリカバリをサポートするリアルタイムフィードバックシステムに対するニーズも依然として存在する。

インクリメンタルな一連の合致した３次元データセットとして３次元画像を取得するスキャニングシステムは、成功したインクリメンタルな合致性をリアルタイムで試行し、かつ以前取得したデータに対する新規取得データの関係に応じてさまざまな視覚的なユーザーキューとプロセス変更を提供することによって向上する。このシステムを用いて、３次元スキャンをエラーなしに完了させるよう支援してよい。さらには、本明細書に記載の方法とシステムとを有効な形で用いて、遮蔽面又は閉塞面などの複雑な表面の分離したサブセクションにわたって連続的な３次元スキャンを維持させることによって、表面をスキャンしてよい。ある１つの有用な歯科用途では、咬合状態にある２つの歯列弓について、３次元表面のフルスキャンを得てよい。

ある１つの態様では、本明細書で開示する方法は、対象物から３次元表面データを３次元画像シーケンス(sequence of three-dimensional images)として取得し、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する、工程と、次の３次元画像のための画像セットを取得する工程と、を含むことが可能である。この画像セットを次の３次元画像に変換でき、かつ次の３次元画像を３次元表面データに合致させることができる場合には、３次元表面データと次の３次元画像は、ディスプレイ内で対象物の２次元画像の上に重ねる。さらに、画像セットを次の３次元画像に変換できないか、又は、次の３次元画像を３次元表面データに合致させることができない場合には、リカバーモード(recover mode)を開始させる。リカバーモードは、対象物の最新の２次元画像を対象物の以前の２次元画像の上にディスプレイ内で重ねる工程を含むことが可能である。この２次元画像は、３次元画像シーケンスのうちの１つの画像を取得した位置から見た対象物の画像を表している。これに加えて、最新の２次元画像は、画像セットを取得した位置から見た対象物の画像を表している。リカバーモードはさらに、後続の３次元画像を少なくとも１つ取得し、後続の３次元画像を３次元画像シーケンスの１つ以上に試行的に合致させることを含むことが可能である。

この方法にはさらに、次の３次元画像に変換でき、かつ次の３次元画像を３次元表面データに合致させることができる場合に、次の３次元画像を３次元表面データに追加することを含むことが可能である。この方法では、以前の２次元画像と最新の２次元画像にビデオフレームを含むことが可能である。この方法にはさらに、ユーザー入力に応じて手動でリカバーモードを開始させることを含めてもよい。また、この方法にはさらに、無効になった取得の検出に応じてリカバーモードを自動的に開始させることを含めてよい。無効になった取得の検出としては、例えばモーションブラー(motion blur)の検出を挙げてよい。無効になった取得の検出としては、３次元データの不十分なリカバリの検出も挙げてよい。この方法では、リカバーモードに、リカバリを試みる際に、対象物の部分を強調表示する工程を含むことが可能である。また、強調表示する部分は、３次元画像シーケンスうちの以前の画像を複数含むことが可能である。リカバーモードは、少なくとも１つの後続の３次元画像をリカバーモード中に取得した１つ以上の追加画像に試行的に合致させる工程を含めてよく、試行的に合致させるには、試行的に合致させる適合性に基づき３次元画像シーケンスから基準画像を選択することを含むことが可能である。試行的に合致させる適合性は、以前の３次元画像内の画像データのエントロピーを基準にしてよい。また、試行的に合致における適合性は、以前の３次元画像内の３次元データの量を基準にしてもよい。これに加えて、又は、これに代えて、試行的な合致(test fitting)における適合性は、イメージングデバイスのレンジ及び視野内における３次元データの配置を基準にしてもよい。試行的な合致のための適合性の判断は、少なくとも１つの後続の３次元画像の、３次元画像シーケンスのうちの１つ以上の画像に対する時間的近接性を基準にしてもよい。試行的な合致のための適合性の判断は、少なくとも１つの後続の３次元画像の、３次元画像シーケンスのうちの１つ以上に対する空間的近接性を基準にしてもよい。リカバーモードには、３次元画像シーケンスのうちの１つ以上の画像を手動で選択する工程を含めてよい。リカバーモードは、３次元画像シーケンスのうちの最初又は最後の画像から基準画像を選択することを含むことが可能である。

別の態様では、本明細書で開示する方法は、対象物の３次元表面データを提供する工程と、対象物の３次元画像のための画像セットを取得する工程とを含むことが可能である。この方法では、画像セットを３次元表面データに合致させることができない場合に、ランディング(landing)モードを開始させてよく、このランディングモードは、前記対象物の最新の２次元画像をディスプレイ内で前記対象物の以前の２次元画像の上に重ねる工程であって、前記以前の２次元画像が、前記３次元表面データのうちの少なくとも一部を取得した位置から見た前記対象物の画像を表し、前記最新の２次元画像が、画像セットを取得した位置から見た対象物の画像を表す工程と、少なくとも後続の３次元画像を１つ取得する工程と、この少なくとも１つの後続の３次元画像を第２の３次元表面復元物に合致させる工程と、前記少なくとも１つの後続の３次元画像を前記３次元表面データに試行的に合致させる工程とを含むことが可能である。この方法では、画像セットを３次元表面データに合致させることができる場合には、３次元表面データと後続の３次元画像を対象物の２次元画像の上にディスプレイ内で重ね、かつ第２の３次元表面再構成物を３次元表面データに追加する。

この方法では、以前の２次元画像と最新の２次元画像にビデオフレームを含めてもよい。この方法はさらに、ユーザー入力に応じて手動でランディングモードを開始させることを含むことが可能である。この方法は、ランディングモード内で、ランディングを試みる際に、対象物の部分を強調表示することを含むことが可能である。強調表示する部分は、３次元表面データの一部を含むことが可能である。試行的な合致は、基準画像の試行的な合致のための適合性に基づき、３次元表面データから基準画像を選択することを含むことが可能である。試行的な合致のための適合性は、以前の３次元画像内の画像データのエントロピー、以前の３次元画像内の３次元データの量、イメージングデバイスのレンジ及び視野内における３次元データの配置、及び、画像セットの、３次元表面データの一部に対する空間的近接性のうちのいずれか１つ以上を基準としてよい。この方法はさらに、試行的な合致のために、３次元表面データの部分を手動で選択することを含むことが可能である。試行的な合致のためには、３次元表面データを構築する場合に用いた３次元画像シーケンスから、最初又は最後の画像から、基準画像を選択することを含むことが可能である。以前の２次元画像と最新の２次元画像には、ビデオフレームを含めてよい。この方法は、さらに、ユーザー入力に応じてリカバーモードを手動で開始させることを含むことが可能である。これに加えて、この方法はさらに、試行的な合致のために、３次元表面データから部分を手動で選択することを含むことが可能である。

別の態様では、本明細書で開示するシステムは、対象物から３次元表面データを３次元画像シーケンスとして取得するスキャニングデバイスを搭載することが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスの少なくとも１つの以前の画像に合致する。スキャニングデバイスには、１つ以上の追加の３次元画像を取得して、それを３次元表面データに追加する取得モードを搭載してよい。これに加えて、スキャニングデバイスには、１つ以上の追加の３次元画像を３次元画像シーケンスのうちの１つ以上の画像に試行的に合致させて取得モードを回復させるリカバリモードを有し、取得モードとリカバリモードとを区別するための１つ以上の視覚的インジケータを提供するようなディスプレイを適応することが可能である。

このシステムでは、さらに、ディスプレイが、リカバリモードで対象物を操作する際にオペレーターにガイダンスを提供するようになされることが可能である。

別の態様では、第１の対象物から第１の３次元データセットを取得する第１の取得を行う工程と、第１の対象物に対して一定の配向で第２の対象物を配置する工程と、第１の対象物の表面上の位置から始まり、かつ第２の対象物の少なくとも一部を含む第２の３次元データセットを取得する第２の取得を行う工程とが含まれている方法を本明細書で開示する。この方法では、第１の対象物と第２の対象物はそれぞれ、剛体にしてよい。

この方法では、第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含めてよい。また、この方法では、第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含めてよい。これに代えて、この方法では、第１の対象物として第１の歯列弓を含むことが可能である。第２の３次元データセットの少なくとも一部を第１の３次元データセットの少なくとも一部に合致させて、統合的な３次元データセットを提供することが可能である。

この方法はさらに、第２の対象物の表面上の位置で第２の取得を終了させる工程と、第１の対象物を取り除く工程と、第２の対象物の表面上の位置から始まる３次元データを取得する第３の取得を行う工程とを含むことが可能である。第２の対象物の表面上の位置には、第２の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含めてよい。これに代えて、第２の対象物の表面上の位置には、第２の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含めてよい。

この方法はさらに、第１の３次元データセット、第２の３次元データセット、第３の３次元データセットを合成して、統合的なセットにすることを含むことが可能である。この方法では、第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での前記第１の歯列弓と前記第２の歯列弓とを含むことが可能である。

別の態様では、本明細書で開示するシステムには、第１の対象物から第１の３次元データセットの第１の取得を行うための取得手段と、第１の対象物に対して一定の配向で第２の対象物を配置する配置手段とを搭載してよい。このシステムでは、取得手段に、第１の対象物の表面上の位置から始まり、かつ第２の対象物の少なくとも一部を含む第２の３次元データセットの第２の取得を行う手段を搭載することが可能である。このシステムでは、第１の対象物と第２の対象物はそれぞれ、剛体にしてよい。

このシステムでは、第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含めてよい。これに代えて、第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含めてよい。第１の対象物としては、第１の歯列弓を含むことが可能である。第２の３次元データセットの少なくとも一部を第１の３次元データセットの少なくとも一部に合致させて、統合的な３次元データセットを提供することが可能である。このシステムにはさらに、第２の対象物の表面上の位置で第２の取得を終了させる制御手段を搭載してよく、この配置手段に、第１の対象物を取り除く手段を搭載してよく、また、この取得手段に、第２の対象物の表面上の位置から始まる３次元データの第３の取得を行う手段を搭載してよい。第２の対象物の表面上の位置には、第２の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含めてよい。これに代えて、第２の対象物の表面上の位置には、第２の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含めてよい。このシステムにはさらに、第１の３次元データセットと、第２の３次元データセットと、第３の３次元データセットとを合成して、統合的な３次元データセットにするコンピューティング手段を搭載してよい。このシステムでは、第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での第１の歯列弓と第２の歯列弓とを含むことが可能である。

別の態様では、本明細書で開示する方法は、前記第２の対象物に対して一定の配向で第１の対象物を配置する工程と、前記第１の対象物の第１の部分と第２の対象物の第１の部分とを含む第１の３次元データセットを取得する工程と、第１の対象物の表面上の位置から始まり、前記第１の対象物の第１の部分とは異なる第１の対象物の第２の部分を含む第２の３次元データセットを、孤立状態の第１の対象物から取得する工程と、第１の３次元データセットを第２の３次元データセットと合成する工程、とを含むことが可能である。
この方法では、第１の対象物と第２の対象物は剛体にしてよい。これに代えて、第１の対象物として第１の歯列弓を含むことが可能である。第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含めてよい。これに代えて、第１の対象物の表面上の位置には、第１の対象物から３次元データを抽出する際に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含めてよい。この方法はさらに、第２の対象物の表面上の位置から始まり、第２の対象物の第２の部分を含む第３の３次元データセットを、孤立状態の第２の対象物から取得する工程と、第３の３次元データセットを第１及び第２の３次元データセットと合成する工程とを含むことが可能である。第２の対象物の表面上の位置は、第２の対象物から３次元データを抽出する場合に用いた３次元画像シーケンスのうちの空間的に近接する複数の画像を含むことが可能である。これに代えて、第２の対象物の表面上の位置は、第２の対象物から３次元データを抽出する場合に用いた３次元画像シーケンスのうちの時間的に近接する複数の画像を含むことが可能である。第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での第１の歯列弓と第２の歯列弓とを含むことが可能である。

別の態様では、本明細書で開示する方法は、対象物から第１の３次元データセットを提供する工程と、対象物をスキャニングして１つ以上の追加の３次元画像を取得する工程と、１つ以上の追加の３次元画像の各々を３次元データセットに試行的に合致させる工程と、合致が成功した場合に、１つ以上の追加の３次元画像を３次元データセットに追加する工程、とを含む。

この方法は、１つ以上の追加の３次元画像のうちの新しい画像の各々を相互に合致させて、第２の３次元データセットを提供する工程と、合致が成功した場合に、第２の３次元データセットを第１の３次元データセットに追加する工程を含むことが可能である。３次元データには、３次元表面データを含めてよい。これに代えて、１つ以上の追加の３次元画像に、対象物の２次元画像セットから抽出した表面データを含めてもよい。この方法では、３次元データセットは、対象物から３次元画像シーケンスとして取得された３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する。

別の態様では、本明細書で開示するシステムには、対象物から第１の３次元データセットを提供する格納手段と、対象物をスキャニングして１つ以上の追加の３次元画像を取得する取得手段と、１つ以上の追加の３次元画像の各画像を３次元データセットに試行的に合致させるコンピューティング手段とを搭載してよい。このコンピューティング手段にはさらに、成功した合致を検出する手段を搭載してよく、合致が成功した場合には、１つ以上の追加の３次元画像を３次元データセットに追加してよい。

このシステムでは、コンピューティング手段に、１つ以上の追加の３次元画像のうちの新しい画像の各々を相互に合致させて、第２の３次元データセットを提供する手段を含めてよく、合致が成功した場合には、第２の３次元データを第１の３次元データに追加してよい。このシステムでは、３次元データに３次元表面データを含めてよい。これに代えて、このシステムでは、１つ以上の追加の３次元画像に、対象物の２次元画像セットから抽出した表面データを含めてもよい。これに加えて、３次元データセットは、対象物から３次元画像シーケンスとして取得した３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する。

別の態様では、本明細書で開示するコンピュータプログラム製品は、コンピュータ読み取り可能な媒体上で具現化されると思われるコンピュータで実行可能なコードをむことが可能で、前記製品を、１つ以上のコンピューティングデバイス上で実行したとき、対象物から第１の３次元データセットを提供するステップと、前記対象物をスキャニングして、前記１つ以上の追加の３次元画像を取得するステップと、前記１つ以上の追加の３次元画像の各々を３次元データセットに試行的に合致させる工程と、合致が成功した場合に、前記１つ以上の追加の３次元画像を３次元データセットに追加するステップ、を実行させる。

このコンピュータプログラム製品にはさらに、前記１つ以上の追加の３次元画像の新しい画像の各々を相互に合致させて、第２の３次元データセットを提供するステップと、合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データに追加するステップを実行させるコードをさらに含むことが可能である。

このコンピュータプログラム製品は、３次元データに３次元表面データを含むことが可能である。これに代えて、このコンピュータプログラム製品は、前記１つ以上の追加の３次元画像が、対象物の２次元画像セットから抽出された表面データを含む。３次元データセットは、３次元データセットは、対象物から３次元画像シーケンスとして取得された３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうち少なくとも１つの以前の画像に合致する。

別の態様では、本明細書で開示する方法は、対象物から第１の３次元データセットを提供する工程と、対象物をスキャニングして、１つ以上の追加の３次元画像を取得する工程と、１つ以上の追加の３次元画像の各画像を第１の３次元データセットにリアルタイムで試行的に合致させる工程と、試行的な合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供する工程とを含むことが可能である。

この方法は、リアルタイムの視覚的フィードバックを提供する工程には、試行的な合致が成功した場合に、第１の３次元データセットと１つ以上の追加の３次元画像とを対象物のビデオ画像の上に重ねることを含むことが可能である。リアルタイムの視覚的フィードバックを提供する工程には、試行的な合致が成功した場合に、１つ以上のナビゲーションキューを表示させることを含むことが可能である。試行的な合致が成功した場合、この方法にはさらに、１つ以上の追加の３次元画像のうちの新しい画像の各画像を相互に合致させて、第２の３次元データセットを提供する工程を含むことが可能である。合致が成功した場合、この方法はさらに、第２の３次元データセットを第１の３次元データセットに追加する工程を含むことが可能である。３次元データは、３次元表面データを含むことが可能である。１つ以上の追加の３次元画像には、対象物の２次元画像セットから抽出した表面データを含めてもよい。これに加えて、３次元データセットは、対象物から３次元画像シーケンスとして取得された３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する。

別の態様では、本明細書で開示するシステムには、対象物から第１の３次元データセットを提供する格納手段と、対象物をスキャニングして１つ以上の追加の３次元画像を取得する取得手段と、１つ以上の追加の３次元画像の各画像を第１の３次元データセットにリアルタイムで試行的に合致させるコンピューティング手段と、試行的合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供する表示手段を有する。

このシステムでは、リアルタイムの視覚的フィードバックの提供工程は、試行的な合致が成功した場合に、第１の３次元データセットと１つ以上の追加の３次元画像を対象物のビデオ画像の上に重ねる工程を含むことが可能である。これに代えて、リアルタイムの視覚的フィードバックを提供する工程は、試行的な合致が成功した場合に、１つ以上のナビゲーションキューを表示させる工程を含むことが可能である。コンピューティング手段は、試行的な合致が成功した場合に、１つ以上の追加の３次元画像のうちの新しい画像の各画像を相互に合致させて、第２の３次元データセットをもたらし、かつ合致可能な場合に、第２の３次元データセットを第１の３次元データセットに追加する手段を含むことが可能である。これに代えて、３次元データに３次元表面データを含めてもよい。１つ以上の追加の３次元画像には、対象物の２次元画像セットから抽出した表面データを含めてもよい。３次元データセットは、対象物から３次元画像シーケンスとして取得された３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する。

別の態様では、本明細書で開示するコンピュータプログラム製品は、コンピュータ読み取り可能な媒体上で具現化され、コンピュータで実行可能なコードを含むことが可能で、前記製品を１つ以上のコンピューティングデバイス上で実行したときと、対象物から第１の３次元データセットを提供するステップと、前記対象物をスキャニングして、１つ以上の追加の３次元画像を取得するステップと、前記１つ以上の追加の３次元画像の各々を、第１の３次元データセットにリアルタイムで試行的に合致させる工程と、試行的な合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供する工程とを実行させる。

このコンピュータプログラム製品では、リアルタイムの視覚的フィードバックを提供する工程は、試行的な合致が成功した場合に、第１の３次元データセットと１つ以上の追加の３次元画像を対象物のビデオ画像の上に重ねる工程を含むことが可能である。これに代えて、リアルタイムの視覚的フィードバックを提供する工程は、試行的な合致が成功した場合に、１つ以上のナビゲーションキューを表示する工程を含むことが可能である。このコンピュータプログラム製品にはさらに、合致適合が成功した場合に、１つ以上の追加の３次元画像の新しい画像の各々を相互に合致させて、第２の３次元データセットをもたらし、合致が成功した場合に、第２の３次元データセットを第１の３次元データに追加する工程を行うコンピュータコードを搭載してもよい。３次元データには、３次元表面データを含めてもよい。１つ以上の追加の３次元画像には、対象物の２次元画像セットから抽出した表面データを含めてもよい。３次元データセットは、対象物から３次元画像シーケンスとして取得された３次元表面データを含むことが可能で、３次元画像シーケンスの各画像が、３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する。

インクリメンタルな３次元スキャニングデバイスを操作しているユーザーに、リアルタイムの視覚的フィードバックを提供するための技法について以下に説明する。ただし、本明細書で開示する発明概念は、このような用途に限定されるものではなく、数多くのイメージング用途で有効な形で用いてよいことは分かるであろう。例えば、可視光・ビデオベースのシステムについて詳しく説明されているが、本明細書に記載の技法は、例えばＸ線、赤外若しくは紫外光、超音波、レーザー光などをベースとするその他の画像診断法に有効な形で適用してもよい。別の例としては、本明細書に記載のシステムは、２次元画像システム又はその他の用途で有効な形で用いてよい。この場合、ユーザーフィードバック及び補正は、リアルタイムの視覚的フィードバックによって補強することが可能である。さらなる例としては、本明細書に記載のシステム及び方法は、インクリメンタルな画像データが無効になったか、品質が所定の閾値よりも低くなった場合に、対象物の部分の再スキャニングを自動化する自動ロボットシステムで用いてよい。このような変形物、及び、当業者であれば理解できるであろう代替的な実施形態はいずれも、本開示の範囲内に入るものと意図している。

以下の説明文では、「画像」という用語は一般に、像平面内に対象物の２次元像を形成する２次元ピクセル一式を指す。「画像セット」という用語は一般に、３次元データに変換されると思われる関連２次元画像一式を指す。「ポイントクラウド」という用語は一般に、多数の２次元像から復元される対象物の３次元像を形成する３次元の点一式を指す。３次元画像キャプチャーシステムでは、多数の該ポイントクラウドをレジスタ及び合成して、移動カメラによってキャプチャーした画像から構築されているポイントクラウドの集合体にしてもよい。したがって、別の意味が明確に指示されているか又は文脈から明白である場合を除き、ピクセルとは一般に２次元データを指し、点とは一般に３次元データを指すことが分かるであろう。

図１は画像キャプチャーシステムを示している。一般に、システム１００には、像平面１０６内の対象物１０４の画像をキャプチャーして、その画像をコンピュータ１０８に転送するスキャナー１０２を搭載してよく、コンピュータ１０８には、ディスプレイ１１０と１つ以上の入力用デバイス、例えばマウス１１２又はキーボード１１４を搭載してよい。

スキャナー１０２には、３次元ポイントクラウドのリカバー元となると思われる画像をキャプチャーするのに適している、いずれかのカメラ又はカメラシステムを搭載することが可能である。例えば、カメラ１０２には、例えばハート（Hart）らに対する米国特許公開第２００４０１５５９７５号に開示されているようなマルチアパーチャーシステムを採用してよく、前記特許のすべての内容は参照により本明細書に組み込まれる。ハート（Hart）は、１つのマルチアパーチャーシステムを開示しているが、多数の２次元画像から３次元ポイントクラウドを再構成させるのに適しているいずれかのマルチアパーチャーシステムを同様に用いてよいことが分かるであろう。マルチアパーチャーの実施形態の１つでは、スキャナー１０２には、レンズの中心光軸及びいずれかの付属の画像ハードウェア沿いのセンターアパーチャーといった複数のアパーチャーを搭載してよい。これに加えて、または、これに代えて、スキャナー１０２には、微妙に異なる多数の透視図から対象物の２次元画像を得るために多数のカメラ又は光パスをそれぞれ一定の関係に保つステレオスコープカメラ、トリスコープカメラ、又は、その他のマルチカメラ若しくはその他の構成を搭載してもよい。スキャナー１０２には、１つの画像セット又は多数の画像セットから３次元ポイントクラウドを抽出させるのに適している処理を搭載してよく、又は、各２次元画像セットを、以下で説明するコンピュータ１０８に内臓されているような外部プロセッサに送信してよい。別の実施形態では、スキャナー１０２では、３次元データ、又は、３次元データに変換することができる２次元データを取得するのに適している構造光、レーザースキャニング、直接測距、又は、その他のいずれかの技術を採用してよい。１つの実施形態では、スキャナー１０２は、自由に位置づけ可能な手持ち式のプローブのうち、ユーザーが画像捕捉システム１００を制御するための、例えば、起動させたりスキャンを停止させたりするためのユーザー入力用デバイス、例えば、ボタン、レバー、ダイヤル、サムホイール、スイッチなどを少なくとも１つ有するプローブである。

図１には示されていないが、当然ながら、画像キャプチャー中に、多数の補助照明システムを有用な形で用いてもよい。例えば、対象物１０４を照らす１つ以上のスポットライトによって周囲照度を上昇させて、画像取得を高速化し、かつ被写界深度（空間分解能の深度）を向上させてよい。これに加えて、又は、これに代えて、スキャナー１０２に、ストロボ、フラッシュ、又は、その他の光源を搭載して、画像取得中に対象物１０４の照明を補完してもよい。

対象物１０４は、いずれかの物体、物体の集合体、物体の一部、又は、その他の対象物にしてよい。図１では、単純な幾何学的形状として図示されているが、対象物１０４は、これよりもはるかに複雑な表面、及び、いずれかの数の別々の要素を有する。例えば、歯科用イメージング用途では、対象物１０４としては、歯、歯の４半部、又は、対向する２つの歯列弓（ここから印象材をとるのが望ましい）が含まれている歯群全体が含まれる。これに加えて、又は、これに代えて、対象物１０４は、歯科補綴物、例えば、インレイ、クラウン、若しくは、その他のいずれかの歯科補綴物、インプラント、又は、同等物を含む。対象物１０４は、歯科用模型、例えば、１本の歯、複数の歯、軟組織の石膏模型、ワックスアップ、凹凸が逆の印象、又は、これらの組み合わせを含む。特定の例では、３次元の点のキャプチャーを向上させる目的で、光学的又は非平滑化造影剤を対象物１０４の表面に塗布してよい。別の実施形態では、対象物１０４は、ヒトの頭又はその一部であってよく、補聴器、眼鏡、ゴーグルなどの用途では、ヒトの頭又はその一部から取った３次元模型が望ましい。別の実施形態では、対象物１０４は、ミニチュアなど、デジタルアニメーションで用いる物体の物理的模型、３次元デジタルアニメーションプロセスで用いる物理的模型にしてよい。前記の例から、本明細書に記載されている技法を用いるシステムは、レンジが比較的狭い高解像度の３次元画像の取得を目的とした幅広い用途にうまく適応することが可能であることが分かるであろう。ただし、マルチアパーチャー又はマルチカメラシステム、並びに、その他の３次元イメージングシステム及び技術をベースとするその他のさまざまな３次元イメージング用途に対して、画像キャプチャーシステム１００への適切な合致がなされると思われ、またこのような変形物がすべて、本開示の範囲内に含まれることを意図していることは、当業者であれば分かるであろう。

像平面１０６としては、カメラ１０２の２次元視野を含むことが可能である。「像平面」という用語は、本段落で使用する場合、画像をキャプチャーする光学センサー（フィルム又はセンサーなど）内の平面ではなく、イメージング環境内の平面を指すことが分かるであろう。像平面１０６は矩形で図示されているが、スキャナー１０２によってもたらされる例えば正方形、円、又は、その他の形状を形成させてよい。一般に、スキャナー１０２には、スキャナー１０２の物理的構造と環境条件、例えば周辺光によって決まる像平面１０６の範囲内の画像取得の被写界深度又は深度分解能レンジを有する。

コンピュータ１０８は、例えば、パーソナルコンピュータ又はその他の処理デバイスにしてよい。１つの実施形態では、コンピュータ１０８は、デュアル２．８ＧＨｚオプテロン（Opteron）中央演算処理装置、２ギガバイトのランダムアクセスメモリ、タヤンサンダー（TYAN Thunder）Ｋ８ＷＥマザーボード、及び、２５０ギガバイト、１０，０００ｒｐｍのハードドライブを有するパーソナルコンピュータを含む。このシステムを動作させて、本明細書に記載の技法を用いて、リアルタイムで１画像セット当たり約１，５００個の点をキャプチャーし、かつ１００万個超の点から成る集合体のポイントクラウドを保管することが可能である。さらに一般的には、対象物１０４のサイズ、画像取得速度、及び、３次元の点の所要空間分解能によって、コンピュータ１０８の処理能力が変わるであろう。コンピュータ１０８には、カメラシステム１００とのユーザインタラクション用として、キーボード１１４、ディスプレイ１１０、及び、マウス１１２などの周辺機器を搭載してもよい。ディスプレイ１１０は、ディスプレイ１１０との直接的かつ物理的インタラクションを通じてユーザー入力を受信可能なタッチスクリーンディスプレイにしてよい。

コンピュータ１０８とスキャナー１０２の間の通信では、例えば、有線接続、あるいは、例えば、ＩＥＥＥ８０２．１１（無線イーサネット（登録商標）としても知られている）、ブルートゥース、又は、例えば、無線周波、赤外線、若しくは、その他の無線通信媒体を用いるその他のいずれかの適した無線規格を基盤とする無線接続など、いずれかの適した通信リンクを用いてよい。医療上のイメージング又はその他の高感度用途では、スキャナー１０２から無線で画像をコンピュータ１０８に転送するようにしてよい。コンピュータ１０８では、スキャナー１０２に対する制御信号が生成されるようにすることが可能で、これは、画像取得コマンドに加えて、フォーカス又はズームといった従来型のカメラ制御を含むことが可能である。

３次元画像キャプチャーシステム１００の一般的動作の例では、スキャナー１０２に２次元画像セットを取得させることが可能で、その一方で、スキャナー１０２を、対象物の表面の上を通過させる。３次元ポイントクラウドを抽出するために、この２次元画像セットをコンピュータ１０８に転送してよい。新たに取得した２次元画像セットの３次元データは、多種多様の技法を用いて、抽出、及び、既存の３次元データへの合致化すなわち「スティッチング」を行ってよい。このような技法のある有用な例の１つは、同一所有者による米国出願第１１／２７０，１３５号（２００５年１１月９日申請）に記載されており、この特許の内容全体は、参照により本明細書に組み込まれる。ただし、この例は本開示を限定するものではなく、本明細書に記載の原理は、広範な３次元画像キャプチャーシステムに適用してよいことは分かるであろう。

時々、このようなインクリメンタルなデータ取得システムでは、以下でさらに詳しく説明されている理由により、合致又はスティッチングが成功しない場合がある。このような状況で、ユーザーは、視覚的フィードバックを通じて、リカバーモードが開始されたことを通知されてもよい。リカバーモードでは、システム１００が、新たなスキャンデータを、以前取得したデータに試行的に合致させ、かつ視覚的フィードバックをユーザーに提供して、対象物上のスキャン位置に戻るようにナビゲートする（この位置で、以前のスキャン内容の再取得が試みられる）のを支援することによって、以前のスキャン内容を再取得する試みが可能になる。関連するランディングモードでは、ユーザーが、既存の３次元モデルにレジスタ又は接続される新たなスキャンを開始させることが可能である。同様の視覚的フィードバックを提供してユーザーを適切なスキャン位置に誘導し、スキャンが再取得された場合にユーザーに通知することも可能である。これらの技法については以下でさらに詳しく説明するが、まず、スティッチリカバリとランディングのプロセスの詳細な説明から始め、図２及び図３を参照しながら説明する。対応するユーザーインターフェースについては、図４以降の図を参照しながらさらに詳しく説明する。

図２には、３次元スキャニングのプロセスが描かれている。プロセス２００は、工程２０４に示されているように、センサーから候補フレームを、例えば上記のとおりスキャナー１０２から画像セットを取得することによって２０２を始めてよい。プロセス２００のこの局面の最中に、ビデオ画像、例えばスキャニングデバイスのある位置又は視点から見た対象物のビデオ画像をディスプレイ１１０上でレンダリングしてよい。このビューが、画像キャプチャーシステム１００のユーザーが、対象物１０４に対してスキャナー１０２を配置するのを支援することを可能にする。このような実施形態では、このビューは、ユーザーが対象物１０４の周辺でスキャナー１０２を動かすのに応じて連続的にシフトして、スキャナー１０２の視点の視覚的表示を常に対象物１０４の上に保持させることになる。別の実施形態では、対象物１０４は、ディスプレイ１００内に静的な非移動性配向で表示させてよく、その一方で、スキャナーの位置及び配向に関係した視覚的キューをユーザーインターフェース内に提供してよい。

工程２０６で示されているように、候補フレームから３次元データを抽出してよい。言い換えると、画像セットのような２次元データを３次元データ又は３次元画像に変換してよい。本明細書で使用するとき、３次元データ、３次元表示、３次元モデル、３次元画像、３次元表面マップなどの用語は、スキャニングデバイスによってキャプチャーしたインクリメンタルスキャンの結果から作り上げた３次元表示又はその一部を言葉で表す目的で同義的に用いる。ただし、これらの語句の異なる意味が明記されているか、又は、文脈から明らかである場合はこの限りではない。

数多くの技法を用いて、候補フレームから３次元の点の値を算出してよい。例えば、立体照合技法は、画像類似性、例えばピクセル強度の相互情報量又は相関関係の確率的手法を含む。別のタイプの適切な導出法は、例えば、空間的及び／又は時間的勾配を用いるオプティカルフローを含む。ステレオカメラ構成では、例えば、画像セットには典型的に２つの画像が含まれている。ただし、マルチアパーチャーカメラ構成、例えば、３つ又は４つのアパーチャーを有するカメラ、又は、同様のカメラシステムを用いて、３つ以上の画像を画像セットに含めてもよい。さらには、各３次元データセットには、フレーム候補からリカバーされると思われる点のすべて又は大半を含める必要はないことが分かるはずである。ポイントクラウドは、例えば、（元の画像セットのピクセル密度と比べて）候補フレーム画像セットの疎メッシュから算出してよい。この手法は、リアルタイムイメージング用途での処理を加速させるのにとりわけ適していると思われる。疎メッシュは、画像セット内のピクセルのいずれかのサブセットから得ることが可能である。規則正しい方形グリッドは例えば、画像の２段集出を用いる階層化法にとりわけ適している。ただし、例えば三角形、正方形、四辺形などのその他のメッシュを用いて、ポイントクラウドの導出のために画像セット内で規則的又は不規則的間隔のピクセルを選択してもよい。一部の実施形態では、比較的まばらなピクセルデータサブセットをリアルタイムレンダリング及びフィードバック用に用いてよく、その一方で、コンピュータ的にさらに集中的な後処理工程（この工程は、さらに高い精度及び密度を提供することが可能である）で用いるために、もっと緻密又は完璧な形のピクセルデータをストレージ(storage)する。

３次元の点のポイントクラウドから成る３次元表面データは、２次元画像セットから抽出しやすいと思われる３次元データの１つのタイプであることが分かるであろう。ただし、当該技術分野において既知のさまざまな技法を用いて、その他の形態の３次元データを得てもよい。このデータ、は例えば、相互接続している多角形、例えば三角形又はその他の規則的若しくは不規則的な多角形の３次元マップから成る３次元表面データ、あるいは、内部と対象物の表面点を反映しているボリューム３次元データを含むことが可能である。このような変形物はいずれも本開示の範囲内に入るものとして意図している。

工程２０８に示されているように、３次元データを抽出したら、抽出がうまくいったか判断するために評価を行うことが可能である。一般に、この評価では、インクリメンタルスキャンから再構成した３次元フルモデルとの比較によるのではなく、内部整合性のためにインクリメンタルデータのリカバリを試行する。例えば、対象物から横方向に離れていくスキャナーの動きによって、抽出データが不十分な量になるか、又は、抽出データがまったく得られない場合がある。同様に、特定のイメージング技術では、スキャナーの高速動作によって、取得した２次元画像セット内にブレが生じる場合があり、このブレは、３次元データへの変換の妨げとなる。このモーションブラーは、３次元データの抽出に適さない画像セットをレンダリングするか、又は、抽出した３次元データの品質を低下させる場合がある。スキャナーのその他の動作、例えば、対象物に近すぎたり、対象物から離れすぎるなど、スキャナーの物理的スキャニングレンジ外への動作（これもまた技術依存性である）などによって、低品質又は不十分な抽出３次元データを引き起こす場合がある。その他のイメージングアーチファクトも同様に、３次元データを抽出するのには適さない（又はあまり適さない）特定の画像セット（対象物表面上のテキスチャーの欠如、光の焦点不良又は解像度の不良、鏡面性又はシャドーのような照明異常、光学経路内の構成要素のひずみ及び収差アーチファクトなど）をレンダリングする場合がある。対象物の物理的特性などのその他の要因が、データ取得の低下を引き起こす場合がある。例えば、高反射面は３次元変換の妨げとなる場合がある。成功度に関するさまざまな定量的測度を用いてよく、さまざまな実施形態では、得られる３次元モデルの所望の精度に従ってユーザーが数的閾値を指定してよい。２次元データ（又は、上で概ね説明されているように、その他のセンサーデータ）がうまく３次元データに変換されたことが判明した場合、プロセス２００は、工程２１０に進むことが可能である。２次元データが３次元データにうまく変換されなかったことが判明した場合、プロセスは、工程２２４に進むことが可能である。

工程２１０では、基準フレーム又は画像（以前に取得済みの画像セット又は抽出済みの３次元データ）があるかどうかに関係して判断を行ってよい。１つの実施形態では、その時点で取得中であるフレームがシーケンス内の第１のフレームである場合を除き、基準フレームは常に利用可能であろう。さまざまな実施形態で、インクリメンタルデータの比較用として、異なるデータタイプ（２次元ソースデータ、変換済み３次元データ点など）を用いてよい。ただし、工程２１０では、プロセス２００は、画像フレームの品質ではなく、基準フレームの存在について試行するに過ぎない。基準フレームが存在する場合には、プロセス２００は工程２１２に進むことが可能である。基準フレームが存在しない場合には、プロセス２００は工程２２０に進むことが可能である。

工程２１２に示されているように、インクリメンタルな３次元画像データは、既存の３次元モデルに合致又はスティッチングさせてよい。１つの実施形態では、このプロセスは、連続的な画像キャプチャーのための位置又は視点の間にスキャナー動作を導き出すことによって行う。ただし、新しい３次元画像の素性を、以前取得した３次元モデルに直接合致させるなどのその他の技法を用いてよい。新しい３次元データを既存の３次元データにレジスタするために有用な形で用いてよいこのような技法はいずれも、本開示の範囲内にあることを意図している。工程２１２で合致を試みたら、プロセス２００は工程２１４に進めることが可能である。

工程２１４では、工程２１２で得た合致（この合致は、以前取得した３次元データに追加するまでは、試行的な合致とみなされると思われる）に対し、成功度における試行を行ってよい。試行的な合致では、新たに取得した３次元データの一部又は全部を、以前取得した３次元データと比較するためのあらゆる定量的技法を用いてよい。相関又は素性照合などの試行を用いて、信頼性スコア、又は、合致性に関するその他の客観的尺度を得てよい。さらに、定量限界又はレンジを用いて合致性の成功度を測定する場合、この限界又はレンジは、数的な合致性パラメータの明確な選択、又は、質的な合致性パラメータ（強、中、弱など）の選択のいずれかによってユーザーが制御してよい。さらに、ユーザーの評価及びフィードバックを合致アルゴリズムに組み入れてよく、このアルゴリズムは、例えば、よく再発する合致不良、又は、規定の不具合事象に対応させてよい。工程２１４では単一の試行的な合致が示されているが、この工程中、あらゆる試行的な合致を行ってもよいことは分かるであろう。この方式では、連続的に取得した多数の３次元画像で、３次元モデルを構築するためにその全部又は一部が用いられる画像のそれぞれを、新たに取得した３次元データに試行的な合致をさせることが可能である。このアプローチは特定の有用性を有し、試行的な合致では、２次元画像セットデータから抽出したいずれかの３次元データの代わりに、又は、この３次元データに加えて、２次元画像セットデータを用いてよい。

１つの例示的な実施形態では、多種多様な基準フレーム（本明細書では基準画像ともいう）を試行的な合致のために選択してよい。基準フレームの数は、さまざまな基準を用いて選択してよい。例えば、基準フレームは、新しいインクリメンタルデータに対する時間的近接性に従って選択してよい。すなわち、最新の画像セット又は３次元データセットのグループを試行的な合致のために用いることが可能である。別の例として、新しいインクリメンタルデータに対する空間的近接性に従って基準フレームを選択してよい。すなわち、対象物上における最後の既知の点に最も物理的に近い画像セット又は３次元データセットのグループを用いてよい。候補基準フレームを選択する目的で、画像エントロピー、データ密度、データ量、及び／又は、スキャニングパラメータ（視野内における焦点距離又は位置など）といったその他の技法を単独で又は組み合わせて、適切な形で用いてよい。１つの実施形態では、基準フレームは、３次元モデルを作成する際に用いるインクリメンタルな３次元画像シーケンスの最初の画像から選択して、ユーザーが、元々のスキャンを開始させた位置から再取得を試みることが可能である。１つの実施形態では、基準フレームとして、３次元モデルを作成する際に用いるインクリメンタルな３次元画像シーケンスの最後の画像を選択して、ユーザーが、元々のスキャンが無効になった位置から再取得を試みられるようにしてよい。１つの実施形態では、ユーザーが、試行的な合致のために、３次元モデル上の点又は部分を具体的に選択してよい。このユーザーによる選択を用いて、上記の技法に基づき候補フレームの一群を抽出してよい。手動による選択については、図３のスティッチリカバーモードを参照しながら、さらに詳しく論じていく。一般に、手動による選択は、既存の３次元モデル上の１つ以上の点を選択する目的で、ユーザーインターフェースの操作を通じて実現することが可能である。

新しい３次元データが既存の３次元データにうまく合致している場合、プロセスを工程２１６に進めことが可能である。新しい３次元データが既存の３次元データにうまく合致していない場合には、プロセスを工程２２６に進めてよい。

工程２１６に示されているように、新しいか又はインクリメンタルな３次元データを３次元モデルに追加してよい。カメラモーション評価を用いる１つの実施形態では、この工程には、工程２１８に描かれているように、インクリメンタルな３次元データを３次元モデルの座標系に剛体変換することを含めてよい。ただし、新しい３次元データを既存の３次元データにレジスタするのに適しているいずれかの技法を工程２１６で有用な形で用いることが可能で、特定の技法の選択は、特定の画像キャプチャーシステムのスキャニングテクノロジー及び／又はセンサーデータに従って変えてよいことが分かるであろう。

工程２２０に示されているように、後にスキャナー１０２から１つ以上の順編成データセットを取得するのに合わせて、次に、新しいか又はインクリメンタルな３次元データを候補基準フレームとして選択してよい。この時点で、プロセス２００を工程２２２に進めてよい。

工程２２２に示されているように、スキャンが終了したのか判断を行ってよい。これには、例えば、スキャナー１０２上の入力デバイス１１６を通じて、マウス１１２を通じて、キーボード１１４を通じて、又は、タッチスクリーンの実施形態の場合はディスプレイ１１０を通じて、受信したユーザー入力を含めてよい。一部の実施形態では、このようなユーザー入力を受容したらいずれかの時点でプロセス２００を停止させてよいことが分かるであろう。スキャンが終了したと判断したら、プロセス２００を工程２２８に進めて終了してよい。スキャンが終了していないと判断したら、プロセスを工程２０４に戻し、新しい候補フレームをスキャナー１０２から取得してよい。以下の処理工程による後続のパスでは、後続の合致工程用の基準フレームとして、「新たに取得した」３次元データを用いてよい。

工程２２４で示されているように、３次元データの抽出に失敗した場合（工程２１４を参照しながら論じたように、ある種の合致の失敗として理解してよい）、プロセス２００を進めて、少なくとも１つの基準フレームが存在しているか判断することが可能である。基準フレームがない場合には、プロセスを工程２２２に進めてから、続いて工程２０４に進めてよく、工程２０４では、新しい候補フレームを取得することが可能である。基準フレームが存在する場合には、プロセスを工程２２６に進めてよく、工程２２６は、より一般的には、スティッチリカバリモード２２６を表す。

スティッチリカバーモード２２６では、プロセス２００は、新たに取得した各データセットを３次元モデルのある部分に試行的に合致させることによって、スキャンの再取得又は再開を試みることが可能である。この局面の最中、プロセスでは、任意に応じて、順編成のインクリメンタルなデータセットから新しい３次元モデルを作り上げることを開始してよい。この方式では、元の３次元モデルに対する適合性が成功した形で元のスキャンを再取得したら、リカバーモード中に取得した３次元データのすべてを即座に元の３次元モデルにレジスタしてよい。明記されていないが、一部の実施形態では、ユーザーが故意にスキャンを中断させた場合などに、ユーザーがリカバーモード２２６を手動で選択してよいことが分かるであろう。「再取得」「再開」という用語は、本明細書では、信号劣化のために無効になったスキャンか、ユーザーの操作を通じて明白に停止したスキャンかのいずれかを表す目的で、同義的に用いることに注目するであろう。

１つの態様では、本明細書に記載されているプロセス２００、及び、このプロセスを具現化させるシステムは、２つの操作モードを有する。取得モードでは、上記のとおり、通常取得、３次元データへの変換、３次元モデルへの試行的な合致が起こることが可能である。リカバーモードでは、又は、下記のランディングモード内で、新たに取得したインクリメンタルデータを３次元モデルに試行的に合致させる。しかしこのインクリメンタルデータを第２のモデルにも合致させて、リカバーモード中に有用な３次元データを引き続き取得できるようにすることが可能で、これについては、図３を参照しながらさらに詳しく説明する。

別の態様では、画像キャプチャーシステム１００がリカバーモード又は通常取得モードにあるか否かに関係して、モニター１１０を通じて視覚的キュー又は表示をユーザーに提供してよい。例えば、通常取得モードでは、ディスプレイ１００に、スキャナー１０２から見た場合の対象物１０４のビデオ画像を表示させてよい。コンピュータで３次元モデルをレンダリングしてよく、この３次元モデルは、対象物１０４について取得した表面データの３次元ポイントクラウド（ビデオ画像の上に重ねられている）にしてよい。表面データは、シェーディング、又は、ワイヤーフレーム、又は、その他のビジュアル技法によってレンダリングして、表面データの３次元形状を視覚化してよい。このモードでは、ユーザーエクスペリエンスは、取得した３次元モデルを反映する点又はその他の表面レンダリング（多角形など）によって、実質的に対象物１０４の表面を吹付塗装するというものにしてよい。リカバー（又はランディング）モードでは、コンピュータで、スキャナー１０２から見た場合の対象物１０４のビデオ画像をレンダリングしてよいが、コンピュータ１０８では、３次元モデルのレンダリングを削除又は停止してもよい。これによって、取得が無効になったという即時のユーザーフィードバックを提供してよい。これに加えて、コンピュータでは、スキャナー１０２の以前の位置、とりわけ、再取得用の基準フレームとして選択した、対象物１０４上の以前の位置又は場所から、対象物１０４の以前のビデオ画像をレンダリングして、最新のビデオ画像の上に重ねてよい。以前の場所から見た場合の、重ねたビデオ画像は、異なる色又は異なる不透明度でレンダリングして、最新のビデオ画像から視覚的オフセットを提供することが可能である。以前のビデオ画像を重ねることによって、再取得をアルゴリズム的に試行的に合致させる場所の上でセンタリングした場合、システムは、ユーザーがスキャナー１０２を対象物１０４上の所望の位置で再センタリングする補助になるフィードバックをユーザーに提供することができる。つまり、ユーザーに、取得モード及びリカバーモードに関する視覚的キューを提供してよい。リカバーモードは特に、視覚的フィードバックを提供して、ユーザーが元の３次元モデルの３次元データ取得を再取得することを補助することが可能である。その他の技法（方向指示用矢印又は音声キューなど）を用いて、対象物１０４に対して適切な場所に戻るようユーザーに指示してよいことが分かるであろう。上記のコンピュータ１０８を用いて、画像キャプチャーと整合するビデオレートで視覚的キュー又は表示をレンダリングして、システムがリアルタイムの視覚的フィードバックをユーザーに提供するようにしてよい。

以下では、リカバーモードについてさらに詳しく説明していく。

図３に示されているように、リカバーモードプロセス３００は、スティッチリカバーモード３０２を開始させることによって始めることが可能である。これは、上述の図２を参照しながら述べた環境のいずれか（ユーザーによるリカバーモードの手動選択など）を通じて発生させてよい。

工程３０４に示されているように、適切な基準フレームを選択してよい。このフレームには、１つ以上の基準フレームを含めてよく、上で図２の工程２１４を参照しながら述べた技法のいずれかを用いて選択してよい。リカバーモード用の基準フレームは、図２の取得モード中に作り上げた３次元モデルから選択した基準フレームであることが分かるであろう。１つ以上の基準フレームを選択した後、プロセス３００は工程３０６に進めてよい。

工程３０６に示されているように、基準フレームをディスプレイに合わせて割り当ててよい。これは、工程３０４で選択した基準フレームの１つに対応するビデオ画像、及び、本発明のディスプレイでの使用に適したいずれかの対応する２次元又は３次元データにしてよい。さらに一般的には、インクリメンタルデータを合致させる際に用いる特定のイメージング技術及び／又は技法に従って基準フレームの内容を変えてよい。

工程３０８に示されているように、スキャナー１０２から新しいデータフレーム（最新のビデオ画像など）を取得してよい。

工程３１０に示されているように、最新のビデオ画像は、工程３０６で選択した基準ビデオ画像の上に重ねた状態で、モニター１１０上で表示させてよい。この画像は、ユーザーに対する視覚的表示として、モニター１１０上で重ねてよい。基準ビデオ画像は、スキャナーの最新の位置からキャプチャーした最新のビデオ画像の上に重ねてよく、各ビデオ画像は、視覚的キュー（色、不透明度など）を利用して区別する。このように重ねることによって、スキャナーが現在どこに配置されているか、及び、スキャンを再取得するにはスキャナーをどこに配置すべきかの双方をユーザーに知らせて、ユーザーが、リカバリに適切な位置にスキャナーを操作するようにしてよい。

工程３１２に示されているように、新しいデータフレームから３次元データを、例えば図２の工程２０６に関する部分に記載されているように抽出してよい。

工程３１４に示されているように、抽出の成功度を、例えば図２の工程２０８を参照しながら上述したように評価してよい。抽出がうまくいった場合には、プロセス３００を工程３１６に進めてよい。抽出がうまくいかなかった場合には、プロセス３００を工程３０８に進めてよく、工程３０８では、新しいデータフレームを取得してよい。

工程３１６に示されているように、図２の工程２１２を参照しながら上述したような技法を用いて、新たに抽出した３次元データを取得モードの基準フレーム（単一又は複数）に試行的に合致させることが可能である。

工程３１８に示されているように、試行的な合致では、成功度について評価してよい。新しいデータの、基準フレーム（単一又は複数）に対する試行的な合致が成功した場合には、プロセス３００を工程３２０に進めて、リカバーモードを開始させてよい。新しいデータの基準フレーム（単一又は複数）への試行的な合致が成功した場合には、プロセス３００を工程３０８に戻し、工程３０８で、スキャナー１０２から新しいデータフレームを取得することが可能である。この時点では、新たに抽出した３次元データを、リカバーモードで以前抽出した３次元データに合致させてよい。この方式では、リカバーモード内で新しい３次元モデルを作成してよい。元々（取得モード）の３次元モデルへの試行的な合致が成功した場合には、うまく合致したフレーム又は３次元画像に基づく変換を用いて、新しい３次元モデル全体、又は、そのうちの選択部分を、元々の３次元モデルにレジスタしてよい。

オプティカルフロー技法を用いて、工程２１２における隣接する画像セット内のピクセル間の対応を割り出すなどすることによって、上記の工程を変えてよいことと、スキャンを停止、開始、若しくは、再始動（リカバー）させる手動入力を提供して、図２に描かれている一連の工程を無効にするなどによって、又は、抽出工程と試行的な合致工程を一緒に行うことによって、工程の順序を変えてよいことは分かるであろう。別の例として、例えば、以前にデータを取得した対象物の部分からスキャンをキャプチャーし、新たにキャプチャーしたスキャンを取得済みの３次元モデルにレジスタすることによって、基準フレームの選択プロセスを自動化してよい。この時点では、試行的な合致及び／又は合致のための後続の基準フレームの選択は、新たに取得したデータのレジスタ位置周辺からキャプチャーした画像セットをベースにすることが可能である。これに加えて、一部の工程を追加若しくは削除してよく、又は、複数の工程を一体化させてもよい。同様に、ある特定のコンピュータ環境では、いくつかの工程を平行して行ってよく（複数の基準フレームに試行的に合致させるなど）、又は、ある特定の工程を１つ以上のプロセス又はプロセッサに分配してよい。１つの変形物では、スキャナーを一定の位置に保持してよく、また、スキャナーの像面内で対象物を動かすことによって、３次元画像キャプチャーを行ってよい。このような変形物及び修正物はすべて、本開示の範囲内に入ることを意図している。

本明細書に記載の３次元イメージング技法に適したハードウェア、ソフトウェア、又は、これらの組み合わせの中で上記のプロセスを実現させてよいことが分かるであろう。前記プロセスは、内部及び／又は外部メモリとともに、１つ以上のマイクロプロセッサ、マイクロコントローラ、組込型マイクロコントローラ、プログラム可能なデジタル信号プロセッサ、又は、プログラム可能なその他のデバイスの中で実現させてよい。これに加えて、又は、この代わりに、前記プロセスには特定用途向け集積回路、プログラム可能なゲートアレイ、プログラム可能なアレイ論理、又は、電子信号を処理するように構成されているその他のいずれかのデバイスを含めてよい。さらには、前記プロセスは、上記デバイスのうちの１つの上で作動させるためにストレージ、コンパイル、又は、読み取られるＣなどの構造化プログラミング言語、Ｃ＋＋などのオブジェクト指向プログラミング言語、又は、その他の高レベル又は低レベルなプログラミング言語（アセンブリ言語、ハードウェア記述言語、並びに、データベースプログラミング言語及び技術など）のいずれか、並びに、プロセッサ、プロセッサアーキテクチャの不均一な組み合わせ、又は、異なるハードウェアとソフトウェアの組み合わせ、を用いて作成したコンピュータ実行コードとして実現させてよいことが分かるであろう。同時に、処理は、多数の方法でカメラ及び／又はコンピュータにわたって分布させてよく、あるいは、すべての機能性を専用の独立した画像捕捉デバイスに統合させてもよい。このような順列と組み合わせはすべて、本開示の範囲内にあることを意図している。

図２及び図３を参照しながら上で述べたプロセスに関連する工程を行うための手段には、図１を参照しながら上で述べた画像キャプチャーシステム１００のいずれかの適切なコンポーネントとともに、このシステムの動作を制御するのに適しているいずれかのソフトウェア及び／又はハードウェアを搭載してよいことも分かるであろう。以下の図は、例えば図１の画像キャプチャーシステム１００のディスプレイ１１０内でレンダリングされると思われるユーザーインターフェースと関連させながら、本明細書で開示するシステム及び方法を説明するものである。

図４は、画像キャプチャーシステム用のユーザーインターフェースの図を示している。ユーザーインターフェース４００には、モニター（図１のディスプレイ１１０など）の上にレンダリングされるウィンドウ４０２を搭載してよい。ウィンドウ４０２内では、図１のスキャナー１０２のようなスキャナーの視野も含め、ビデオ画像を表示してよい。この視野内では、１つ以上のユーザーコントロール４０６とともに、図１の対象物１０４のような対象物４０４を表示してよい。図４は、いずれかの画像取得工程の前のユーザーインターフェースを具体的に示している。したがって、取得済み３次元モデルのレンダリング、又は、基準画像を最新のビデオ画像の上に積み重ねたものはない。

ユーザーコントロール４０６には一般に、３次元モデルを操作（例えば、回転、拡大縮小、パンなど）したり、ランディング対象を選択したり、画像キャプチャーシステムの動作を制御（例えば、取得の開始又は停止など）したりなどするための１つ以上のコントロールを含めてよい。この１つ以上のコントロールは、例えば、上で図１を参照しながら述べたユーザー入力デバイスのいずれか、例えばモニターとの物理的インタラクション（この場合、ディスプレイ１１０は、タッチスクリーンを含む）を用いて操作してよい。

図５は、上で図４を参照しながら説明したような画像キャプチャーシステムの、取得モード状態にあるユーザーインターフェースの図を示している。この図では、１組の３次元の点から成る３次元画像５０２の初期取得が行われている。この３次元画像、すなわち３次元モデルの第１の要素は、このユーザーインターフェース内で、図５における多数のＸによって描かれているように、対象物１０４の上に重ねるようにレンダリングすることが可能である。これらの点は、後続の３次元画像と区別するためにＸとして示されているが、実際には、ユーザーインターフェース内で単に点又はピクセルとしてレンダリングしてよいことは分かるであろう。このようなレンダリングでは、擬似照明によるピクセルのシェーディングなどの技法、又は、キャプチャーした３次元の点の輪郭に関する視覚的キューを提供するその他のいずれかの技法を用いて、ヒトの観察者が、スキャンによってキャプチャーした３次元形状をさらに容易に解釈できるようにしてよい。

図６は、上で図４〜５を参照しながら説明したような画像キャプチャーシステムの、取得モード状態にあるユーザーインターフェースの図を示している。この図では、１組の３次元の点から成る３次元画像６０２の第２の取得が行われている。この図における３次元の点の第２のセットは、第１の３次元画像５０２にうまく合致されており、３次元モデルに追加されている。これらの点は、その他の３次元画像と区別するためにＯとして示されているが、実際には、ユーザーインターフェース内で単に点又はピクセルとしてレンダリングしてよいことは分かるであろう。数多くの成功した取得及び合致を通じて、大規模な３次元モデルを取得してよく、また、シェーディングによってポイントクラウドの集合体をレンダリングして、ポイントクラウドの３次元図をシミュレートしてよく、そのすべてを対象物の最新のビデオ画像の上に重ねてよい。

図７は、上で図４〜６を参照しながら説明したような画像キャプチャーシステムの、リカバーモード状態にあるユーザーインターフェースの図を示している。この図では、十分な３次元データを抽出できなかったか、又は、新しい３次元画像を３次元モデルに合致できなかったなどの理由から、スキャン取得は無効になっている。システムがリカバーモードにあることをユーザーに知らせるために、多数の視覚的キューを提供することが可能である。例えば、図７に示されているように、モデルの３次元の点５０２、６０２は削除してよい。別の例として、対象物の以前のビデオ画像７０２を対象物の最新のビデオ画像４０４の上に重ねてよい。画像７０２、４０４の各々は、その本質を指し示すために、異なる色又は不透明度でレンダリングすることが可能である。このフォーマットでは、ナビゲーション情報が提供される。例えば、最新のビデオ画像４０４を以前のビデオ画像７０２と揃えるために、ユーザーは、スキャナーを右に動かしてよい。すなわち、対象物の最新のビデオ画像４０４を左に移し、以前のビデオ画像７０２と揃えるようにしてよい。以前のビデオ画像７０２は、上で図３を参照しながら概ね述べたように、スキャンの再取得用の１つ以上の基準フレームとの関係に従って選択してよい。一般に、以前のビデオ画像７０２と最新のビデオ画像を揃えたら（拡大縮小及び回転も含む）、新たに取得したセット又は３次元画像が、基準フレームの１つにうまく合致するべきであり、又は、基準フレームの１つにうまく合致する可能性が向上するはずである。これに加えて、又は、この代わりに、図７は、ユーザーがストレージ済み３次元モデル用にスキャンを再取得しようとするランディングモードを示していることは分かるであろう。

図８は、上で図４〜図７を参照しながら説明したような画像キャプチャーシステムの、リカバーモード状態にあるユーザーインターフェースの図を示している。図８は、図７に対する一般的な比較を提供しており、図７では、ユーザーはスキャナーを操作して、最新のビデオ画像４０４を以前のビデオ画像７０２に、さらに近く、整列させている。これに加えて、又は、この代わりに、図８は、ユーザーが、ストレージ済み３次元モデル用にスキャンを再取得しようとするランディングモードを示していることが分かるであろう。

図９は、上で図４〜図８を参照しながら説明したような画像キャプチャーシステムの、スキャンを再取得した後のユーザーインターフェースの図を示している。この図では、ユーザーが最新のビデオ画像４０４を再整列させて、新たに取得した３次元画像が基準画像の１つにうまく合致できるようにしている。したがって、リカバーモードを終了させたら、システムは取得モードに戻り、３次元モデルに追加するために追加の３次元データを取得し始める。３次元モデルのポイントクラウド９０２（任意に応じて、リカバーモード中に取得したデータも含む）を最新のビデオ画像４０４の上に重ねて、再取得をユーザーに伝える。さらに、この視覚化によって、スキャニングを行った位置と追加のスキャニングが適切であると思われる位置をユーザーに知らせる。

別の実施形態では、ユーザーが、既存の３次元モデルにレジスタ又は接続される新たなスキャンを開始しようとするランディングモードを提供してよい。ランディングモード内で、システムでは任意に応じて、元の３次元モデルにうまく合致させる前に、順次的フレームを相互に合致させることによって補完的な３次元モデルを作成することが可能である。さまざまな実施形態で、スキャンの再取得用に元の３次元モデル上の点を選択するユーザーの能力によって、ランディングモードを区別してよい。

１つの態様では、本明細書に記載のシステム及び方法は、スキャンの無効化及び再取得についてリアルタイムのユーザーフィードバックを提供することによって、リアルタイムのスキャニング動作を向上させる。別の態様では、本明細書に記載のシステム及び方法は、ストレージ済み３次元モデルとともに用いて、画像キャプチャーシステムの機能を強化してよい。このような強化機能の多数の例について以下で説明する。

１つの実施形態では、ある物体の複数のスキャン（さまざまな時間に取ったスキャンを含む）を１つのスキャンとして解釈してよい。例えば、歯科用途では、義歯用の表面処理の前と後に、歯の表面をスキャンすることが可能である。第２の処理後スキャンを開始させることによって、歯の未処理表面のスキャンを再取得することによって、処理表面のスキャン前及びスキャン後の構造を合成して、義歯で満たされる空間を取り囲む１つの表面図にしてよい。

別の実施形態では、ユーザーインターフェースを修正して、スキャナーの再配向を可能にしてよい。これは、ユーザーが手を変えるか、歯列弓の中間点の周辺にスキャナーを向けるかすることによって、歯列弓のフルスキャンを２等分して行うのが最も利便的である歯科用途でとりわけ有用と思われる。リモートセンサーを歯から離れるように素早く引いてスティッチロスに影響を及ぼすか、「一時停止」ボタン（上記のユーザー入力デバイスのいずれかと思われる）を押すかによって、スキャンを意図的に中断させることができるであろう。この時点で、ユーザーは、スキャン（１つ以上の基準画像を含む）をユーザーインターフェース内で１８０度（又はその他の角度）の差で再配向してよい。これによって、スティッチリカバリモードにおける表示、及び、画像相関という２つの目的のためにシステム座標を回転させてよい。続いて、オペレーターは、スキャナーを１８０度回転させて、上記のリカバーモードを用いてスティッチのリカバーを試みることも可能である。スティッチがリカバーしたら、通常の方法でスキャンを進めて、残りの歯をキャプチャーすることができる。

別の実施形態では、ユーザーインターフェースを修正して、再取得を試みる場所となる対象物の点又は部分の選択を可能にしてよい。このインターフェースでは、例えばユーザーがインターフェース内で回転、並進、又は、拡大縮小させることが可能な３次元モデルのポイントクラウドを表示させてよい。スキャンのリカバリ用に点又は区域を選択する目的で、コントロール（マウス、キーボード、スキャナー上の入力デバイスを用いるか、タッチスクリーンディスプレイを通じてアクセス可能にしてよい）を提供してよい。上で概ね述べたような選択プロセスを用いて、選択した点に対する空間的又は時間的近接性に従って、又は、いずれかのその他の適切な選択基準に従って、１つ以上の基準フレームを選択してよい。続いて、それまでのスキャンデータから、ユーザーの選択に従って、基準フレーム、画像セット、又は、３次元データを選択してよい。選択プロセスの完了後、ユーザーが、リカバーモードを開始させて、上記の技法を用いて無効になったスティッチをリカバーする試みが可能になる。

別の実施形態では、本明細書に記載の技法を適用して、３次元画像の連続シーケンスとして３次元データを取得するスキャニングデバイスによって、複雑な表面、関節構造を呈する表面、閉じた面、又は、その他の困難な表面のスキャニングを可能にしてよい。この用途については、以下で、関節構造を呈する１対の歯列弓を参照しながら例示する。

図１０は、スキャニング対象物の第１の構成要素の３次元図である。第１の構成要素１００２は、この図では孤立した状態で、すなわち、第１の構成要素１００２と関連のある第２の構成要素（図示なし）から隔離した状態で示されている。この実施例における第１の構成要素１００２は、ヒトの歯の下顎歯列弓（周辺軟部組織も含む）である。スキャンの目的では、咬合状態にある歯の下顎及び上顎歯列弓表面マップの取得が可能になる。上記の画像キャプチャーシステム１００を用いる歯列弓のスキャンは、歯科患者の口内から歯の露出面の連続スキャン、始点としての利便的ないずれかの位置の選択、及び、いずれかの露出部分を横切るスキャン経路１１０６内での進行、外面上の別の位置１００８での終了を含むことが可能である。この時点で、スキャンを手動で終了させるか、又は、第１の構成要素１００２用のスキャニング範囲の外にスキャナーを素早く移動させるなどの操作を通じてスキャンを終了させてよい。上記のリカバーモードの実施形態の１つによれば、このスキャンの最後に１つ以上の基準フレームを確立させてよい。露出面をスキャニングすることによって、第１の構成要素１００２、すなわち下顎歯列弓の完全な３次元表面スキャンを取得してよい。同時に、所望の位置でこのシステムを強制的にリカバリモードにすることによって、利便的な再取得点を確立することが可能である。図示されているようにスキャン経路１００６は歯列弓の下を通る（これは歯科用モデルにふさわしいと思われる）が、口腔内でキャプチャーする患者の歯のライブスキャンは典型的に露出面を横切るだけであることが評価されるであろう。

図１１は、スキャニング対象物の第１及び第２の構成要素の３次元図である。第１の構成要素１００２は、図１０の下顎歯列弓にしてよい。第２の構成要素１１０２は、前記下顎歯列弓と咬合状態にある上顎歯列弓にしてよい。リカバーモードから第２のスキャンを開始する際、第１のスキャンを終了させた下顎歯列弓上の位置１００８の周辺でスキャンを再取得してよい。続いて、スキャンを第２の構成要素上の位置１１０４の上へと続け、位置１１０４で、スキャンをリカバーモード状態で再び終了させてよい。

図１２は、スキャニング対象物の第２の構成要素の３次元図である。図１２は、第２の構成要素１１０２を孤立した状態で示している。矢印１２０１は、前にスキャンが終了した位置１１０４で第３のスキャンを開始することを示している。リカバーモード内からこの位置１１０４でスキャンを再取得してよい。スティッチリカバリ後、第２の構成要素の一部又は全部のスキャンを完了させて、その構成要素の表面上の位置１２０２で終結するようにしてよい。第２の構成要素１１０２を取り囲むように概ね描かれているが、ヒトの歯の口内スキャンのような表面スキャンは典型的に露出面に対してのみ可能であることが分かるであろう。この方式でスキャニングすると、上顎歯列弓に関する完全な３次元表面マップを得ることが可能で、咬合状態の下顎歯列弓は、ヒトの歯の一連の口内スキャンから得られる場合がある。この、咬合レジストレーションのデジタルバージョンは、１つ以上の閉塞した歯表面を伴う義歯の製作で有用である場合がある。さらに一般的には、この技法は、数多くのスキャニング環境に適切な形で合致させてよい。例えば、この技法を適用して、蓋、又は、内側部分にアクセスするために分離させてよいその他の構成要素を有する密閉した箱の内側及び外側の３次元表面のフルスキャンを得ることが可能である

図１０〜図１２を参照しながら述べた技法では、スティッチングが無効になった区域から基準フレームを選択するリカバーモードを利用するが、数多くの合致物及び変形物が可能であることが分かるであろう。例えば、１つの実施形態では、取得が無効化したスキャンの開始点と終結点についてリカバーモードで試行的に合致させることが可能である。このようなリカバーモードを用いる場合、この技法は、一定の関係にある２つの物体に及ぶスキャンから始めてよく、このスキャンは、第１の物体上から始め、第２の物体上で終結する。これらの物体を分離させたら、最初のスキャンの開始点及び終結点から２つの別々のリカバリを開始させてよい。別の実施形態では、基準フレーム用の点の選択を可能にするユーザーインターフェースを用いて、多種多様なスキャン順序を可能にしてよい。ただし、少なくとも１つのスキャンが、所望の配向で双方の物体に及ぶことを条件とする。さらなる変形物では、上記の技法の直接的な拡張によって、いずれかの数の別々の物体を１つ以上の配向で順次的に、又は、その他の形でスキャンしてよい。したがって、本明細書では、剛体であると思われる複数の物体を相互に一定の配向でスキャニングするためのシステム及び方法を開示する。

特定の好ましい実施形態と関連させながら本発明を開示してきたが、当業者であれば別の実施形態を認識するであろうし、そのような変形物、修正物、及び、代用物は、本開示の範囲内に含まれると意図している。したがって、本発明は請求項を参照しながら理解するものとし、この請求項は法律によって許される最も広い意味で解釈するものとする。

本発明及び本発明の詳細な説明は、以下の図を参照することによって理解してよい。

画像キャプチャーシステムを示している。 画像キャプチャーシステムを操作するプロセスを示している。 画像キャプチャーシステムを操作するプロセスを示している。 画像キャプチャーシステムのユーザーインターフェースの図を描写。 取得モード状態にある画像キャプチャーシステムのユーザーインターフェースの図を描写。 取得モード状態にある画像キャプチャーシステムのユーザーインターフェースの図を描写。 リカバーモード状態にある画像キャプチャーシステムのユーザーインターフェースの図を描写。 リカバーモード状態にある画像キャプチャーシステムのユーザーインターフェースの図を描写。 スキャンを再取得した後の画像キャプチャーシステムのユーザーインターフェースの図を描写。 スキャニング対象物の第１の構成要素の３次元図。 スキャニング対象物の第１及び第２の構成要素の３次元図。 スキャニング対象物の第２の構成要素の３次元図。

Claims (101)

1. 対象物から３次元表面データを３次元画像シーケンスとして取得し、３次元画像シーケンスの各画像が３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する、工程と、
   次の３次元画像のための画像セットを取得する工程と、
   前記画像セットを前記次の３次元画像に変換でき、かつ前記次の３次元画像を３次元表面データに合致させることができる場合に、３次元表面データと前記次の３次元画像をディスプレイ内で対象物の２次元画像の上に重ねる工程と、
   前記画像セットを前記次の３次元画像に変換できない、又は前記次の３次元画像を前記３次元表面データに合致させることができない場合に、リカバーモードを開始する工程とを含む方法であって、
   前記リカバーモードが、
   前記対象物の最新の２次元画像をディスプレイ内で前記対象物の以前の２次元画像の上に重ねる工程であって、前記以前の２次元画像が前記３次元画像シーケンスのうちの１つの画像を取得した位置から見た前記対象物の画像を表し、前記最新の２次元画像が前記画像セットを取得した位置から見た前記対象物の画像を表す、工程と、
   少なくとも１つの後続の３次元画像を取得する工程と、
   前記少なくとも１つの後続の３次元画像を前記３次元画像シーケンスの画像の１つ以上に試行的に合致させる工程とを含む、方法。
2. 前記画像セットを前記次の３次元画像に変換でき、前記次の３次元画像を前記３次元表面データに合致可能な場合に、前記次の３次元画像を前記３次元表面データに追加する工程をさらに含む、請求項１に記載の方法。
3. 前記以前の２次元画像と前記最新の２次元画像がビデオフレームを有する、請求項１に記載の方法。
4. ユーザー入力に応じて手動でリカバーモードを開始する工程をさらに含む、請求項１に記載の方法。
5. 無効になった取得の検出に応じて自動的にリカバーモードを開始する工程をさらに含む、請求項１に記載の方法。
6. 前記無効になった取得の検出が、モーションブラーの検出を含む、請求項５に記載の方法。
7. 前記無効になった取得の検出が、３次元データの不十分なリカバリの検出を含む、請求項５に記載の方法。
8. 前記リカバーモードが、リカバリを試みる際に対象物の部分を強調表示する工程を含む、請求項１に記載の方法。
9. 前記部分が、前記３次元画像シーケンスの以前の画像を複数含む、請求項８に記載の方法。
10. 前記リカバーモードが、少なくとも１つの後続の３次元画像をリカバーモード中に取得した１つ以上の追加の画像に試行的に合致させる工程を含み、
    試行的な合致が、試行的な合致のための適合性に基づき前記３次元画像シーケンスから基準画像を選択する工程を含む、請求項１に記載の方法。
11. 前記以前の３次元画像内の画像データのエントロピーに基づき、試行的な合致のための適合性を判断することをさらに含む、請求項１０に記載の方法。
12. 前記以前の３次元画像内の３次元データの量に基づき、試行的な合致のための適合性を判断する工程をさらに含む、請求項１０に記載の方法。
13. イメージングデバイスのレンジ及び視野内における３次元データの配置に基づき、試行的な合致のための適合性を判断する工程をさらに含む、請求項１０に記載の方法。
14. 前記少なくとも１つの後続の３次元画像の、前記３次元画像シーケンスのうちの１つ以上の画像に対する、一時的近接性に基づき試行的な合致のための適合性を判断する工程をさらに含む、請求項１０に記載の方法。
15. 前記少なくとも１つの後続の３次元画像の、前記３次元画像シーケンスのうちの１つ以上の画像に対する、空間的近接性に基づき試行的な合致のための適合性を判断することをさらに含む、請求項１０に記載の方法。
16. 前記リカバーモードが、前記３次元画像シーケンスのうちの１つ以上の画像を手動で選択するステップを含む、請求項１に記載の方法。
17. 前記リカバーモードが、前記３次元画像シーケンスの最初又は最後の画像から基準画像を選択する工程を含む、請求項１に記載の方法。
18. 対象物の３次元表面データを提供する工程と、
    対象物の３次元画像用の画像セットを取得する工程と、
    前記画像セットを前記３次元表面データに合致させることができない場合に、ランディングモードを開始させる工程とを含む方法であって、
    前記ランディングモードが、
    前記対象物の最新の２次元画像を前記ディスプレイ内で前記対象物の以前の２次元画像の上に重ねるステップであって、前記最新の２次元画像が前記画像セットを取得した位置から見た前記対象物の画像を表し、前記以前の２次元画像が前記３次元表面データの少なくとも一部を取得した位置から見た前記対象物の画像を表す、ステップと、
    少なくとも１つの後続の３次元画像を取得する工程と、
    前記少なくとも１つの後続の３次元画像を第２の３次元表面再構成物に合致させるステップと、
    前記少なくとも１つの後続の３次元画像を前記３次元表面データに試行的に合致させるステップと、
    前記画像セットを前記３次元表面データに合致可能な場合に、前記３次元表面データと前記次の３次元画像をディスプレイ内で前記対象物の２次元画像の上に重ね、かつ前記第２の３次元表面再構成物を前記３次元表面データに追加するステップとを有する、方法。
19. 前記以前の２次元画像と前記最新の２次元画像とがビデオフレームを有する、請求項１８に記載の方法。
20. ユーザー入力に応じて手動で前記ランディングモードを開始させる工程をさらに含む、請求項１８に記載の方法。
21. 前記ランディングモード内でランディングを試みる際に、前記対象物の部分を強調表示することをさらに含む、請求項１８に記載の方法。
22. 前記部分が、前記３次元表面データの一部を含む、請求項２１に記載の方法。
23. 試行的な合致が、試行的な合致のための適合性に基づき前記３次元表面データから基準画像を選択する工程を含む、請求項１８に記載の方法。
24. 前記適合性が、前記以前の３次元画像内の画像データのエントロピーに基づいている、請求項２３に記載の方法。
25. 前記適合性が、前記以前の３次元画像内の３次元データの量に基づいている、請求項２３に記載の方法。
26. 前記適合性が、イメージングデバイスのレンジ及び視野内における３次元データの配置に基づいている、請求項２３に記載の方法。
27. 前記適合性が、前記画像セットの、前記３次元表面データの一部に対する、空間的近接性に基づいている、請求項２３に記載の方法。
28. 試行的な合致のために前記３次元表面データの部分を手動で選択する工程をさらに含む、請求項１８に記載の方法。
29. 試行的な合致が、前記３次元表面データを構築する際に用いられた３次元画像シーケンスの最初又は最後の画像から基準画像を選択する工程を含む、請求項１８に記載の方法。
30. 前記以前の２次元画像と前記最新の２次元画像とがビデオフレームを有する、請求項１８に記載の方法。
31. ユーザー入力に応じて手動でリカバーモードを開始させる工程をさらに含む、請求項１８に記載の方法。
32. 試行的な合致のために前記３次元表面データから部分を手動で選択する工程をさらに含む、請求項１８に記載の方法。
33. 対象物から３次元表面データを３次元画像シーケンスとして取得するスキャニングデバイスであって、前記３次元画像シーケンスの各画像は前記３次元画像シーケンスの以前の画像の少なくとも１つに合致し、１つ以上の追加の３次元画像を取得して前記３次元表面データに追加する取得モードを有し、１つ以上の追加の３次元画像を前記３次元画像シーケンスのうちの１つ以上の画像に試行的に合致させて取得 モードを回復させるリカバリモードを有するデバイスと、
    前記取得モードと前記リカバリモードとを区別するための１つ以上の視覚的インジケータを提供するようになされたディスプレイとを含む、システム。
34. 前記ディスプレイがさらに、リカバリモードで前記対象物を操作する際にオペレーターにガイダンスを提供するようになされている、請求項３３に記載のシステム。
35. 第１の対象物から第１の３次元データセットの第１の取得を行う工程と、
    前記第１の対象物に対して一定の配向で第２の対象物を配置する工程と、
    前記第１の対象物の表面上の位置から始まり前記第２の対象物の少なくとも一部を含む第２の３次元データセットの第２の取得を行う工程とを含む、方法。
36. 前記第１の対象物と前記第２の対象物の各々が剛体である、請求項３５に記載の方法。
37. 前記第１の対象物の表面上の位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項３５に記載の方法。
38. 前記第１の対象物の表面上の位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項３５に記載の方法。
39. 前記第２の対象物の表面上の位置で第２の取得を終了させる工程と、
    前記第１の対象物を取り除く工程と、
    前記第２の対象物の表面上の前記位置から始まる３次元データの第３の取得を行う工程とをさらに含む、請求項３５に記載の方法。
40. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項３９に記載の方法。
41. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項３９に記載の方法。
42. 前記第１の３次元データセットと、前記第２の３次元データセットと、前記第３の３次元データセットとを合成して、統合的な３次元データセットにする工程をさらに含む、請求項３９に記載の方法。
43. 前記第１の対象物が第１の歯列弓を含む、請求項３５に記載の方法。
44. 前記第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での前記第１の歯列弓と前記第２の歯列弓とを含む、請求項４３に記載の方法。
45. 前記第２の３次元データセットの少なくとも一部を、前記第１の３次元データセットの少なくとも一部に合致させて、統合的な３次元データセットを提供する、請求項３５に記載の方法。
46. 第１の対象物から第１の３次元データセットの第１の取得を行う取得手段と、
    前記第１の対象物に対して一定の配向で第２の対象物を配置する配置手段とを含むシステムであって、
    前記取得手段が、前記第１の対象物の表面上の位置から始まり、かつ前記第２の対象物の少なくとも一部を含む、第２の３次元データセットの第２の取得を行う手段を含む、システム。
47. 前記第１の対象物と前記第２の対象物の各々が剛体である、請求項４６に記載のシステム。
48. 前記第１の対象物の表面上の前記位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項４６に記載のシステム。
49. 前記第１の対象物の表面上の前記位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項４６に記載のシステム。
50. 前記第２の対象物の表面上の位置で前記第２の取得を終了させる制御手段と、
    前記第１の対象物を取り除く手段を含む前記配置手段と、
    前記第２の対象物の表面上の位置から始まる３次元データの第３の取得を行う手段を含む前記取得手段とをさらに備える、請求項４６に記載のシステム。
51. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項５０に記載のシステム。
52. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項５０に記載のシステム。
53. 前記第１の３次元データセットと、前記第２の３次元データセットと、前記第３の３次元データセットとを合成して、統合的な３次元データセットにするコンピューティング手段をさらに備える、請求項５０に記載のシステム。
54. 前記第１の対象物が第１の歯列弓を含む、請求項４６に記載のシステム。
55. 前記第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での前記第１の歯列弓と前記第２の歯列弓とを含む、請求項５４に記載のシステム。
56. 前記第２の３次元データセットの少なくとも一部を前記第１の３次元データセットの少なくとも一部に合致させて、統合的な３次元データセットを提供する、請求項４６に記載のシステム。
57. 第２の対象物に対して一定の配向で第１の対象物を配置する工程と、
    前記第１の対象物の第１の部分と前記第２の対象物の第１の部分とを含む第１の３次元データセットを取得する工程と、
    前記第１の対象物の表面上の位置から始まり前記第１の対象物の前記第１の部分とは異なる前記第１の対象物の第２の部分を含む第２の３次元データセットを、孤立状態の前記第１の対象物から取得する工程と、
    前記第１の３次元データを前記第２の３次元データと合成する工程とを含む、方法。
58. 前記第１の対象物と前記第２の対象物の各々が剛体である、請求項５７に記載の方法。
59. 前記第１の対象物の表面上の前記位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項５７に記載の方法。
60. 前記第１の対象物の表面上の前記位置が、前記第１の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項５７に記載の方法。
61. 前記第２の対象物の表面上の位置から始まり前記第２の対象物の第２の部分を含む、第３の３次元データセットを、孤立状態の前記第２の対象物から取得する工程と、
    前記第３の３次元データセットを前記第１及び前記第２の３次元データセットと合成する工程とをさらに含む、請求項５７に記載の方法。
62. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの空間的に近接する複数の画像を含む、請求項６１に記載の方法。
63. 前記第２の対象物の表面上の前記位置が、前記第２の対象物から前記３次元データの抽出に用いられた３次元画像シーケンスのうちの時間的に近接する複数の画像を含む、請求項６１に記載の方法。
64. 前記第１の対象物が第１の歯列弓を含む、請求項５７に記載の方法。
65. 前記第２の対象物が第２の歯列弓を含み、一定の配向が咬合状態での前記第１の歯列弓と前記第２の歯列弓とを含む、請求項６４に記載の方法。
66. 対象物から第１の３次元データセットを提供する工程と、
    前記対象物をスキャニングして、１つ以上の追加の３次元画像を取得する工程と、
    前記１つ以上の追加の３次元画像の各画像を前記３次元データセットに試行的に合致させる工程と、
    合致が成功した場合に、前記１つ以上の追加の３次元画像を前記３次元データセットに追加する工程とを含む、方法。
67. 前記１つ以上の追加の３次元画像のうちの新しい画像の各々を相互に合致させて、第２の３次元データセットを提供する工程と、
    合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データセットに追加する工程とをさらに含む、請求項６６に記載の方法。
68. 前記３次元データが、３次元表面データを含む、請求項６６に記載の方法。
69. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項６６に記載の方法。
70. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得した３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致されている、請求項６６に記載の方法。
71. 対象物から第１の３次元データセットを提供するストレージ手段と、
    前記対象物をスキャニングして１つ以上の追加の３次元画像を取得する取得手段と、
    前記１つ以上の追加の３次元画像の各々を前記３次元データセットに試行的に合致させるコンピューティング手段であって、さらに、合致が成功したことを検出し、合致が成功したことを検出した場合に、前記１つ以上の追加の３次元画像を前記３次元データセットに追加する手段とを備えた、システム。
72. 前記コンピューティング手段が、１つ以上の追加の３次元画像のうちの新しい画像の各々を相互に合致させて第２の３次元データセットを提供し、合致が成功した場合に、第２の３次元データセットを第１の３次元データセットに追加する手段を備える、請求項７１に記載のシステム。
73. 前記３次元データが、３次元表面データを含む、請求項７１に記載のシステム。
74. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項７１に記載のシステム。
75. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得された３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致している、請求項７１に記載のシステム。
76. コンピュータ読み取り可能な媒体上で具現化され、コンピュータで実行可能なコードを含むコンピュータプログラム製品であって、前記製品を、１つ以上のコンピューティングデバイス上で実行したときに、
    対象物から第１の３次元データセットを提供するステップと、
    前記対象物をスキャニングして、１つ以上の追加の３次元画像を取得するステップと、
    前記１つ以上の追加の３次元画像の各々を、前記３次元データセットに試行的に合致させるステップと、
    合致が成功した場合に、前記１つ以上の追加の３次元画像を前記３次元データセットに追加するステップとを実行させる、コンピュータプログラム製品。
77. 前記１つ以上の追加の３次元画像の新しい画像の各々を相互に合致させて、第２の３次元データセットを提供するステップと、合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データセットに追加するステップとを実行させるコードをさらに含む、請求項７６に記載のコンピュータプログラム製品。
78. 前記３次元データが、３次元表面データを含む、製品請求項７６に記載のコンピュータプログラム製品。
79. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項７６に記載のコンピュータプログラム製品。
80. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得された３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致している、請求項７６に記載のコンピュータプログラム製品。
81. 対象物から第１の３次元データセットを提供する工程と、
    前記対象物をスキャニングして、１つ以上の追加の３次元画像を取得する工程と、
    前記１つ以上の追加の３次元画像の各画像を前記３次元データセットにリアルタイムで試行的に合致させる工程と、
    試行的な合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供する工程とを含む、方法。
82. リアルタイムの視覚的フィードバックを提供する工程が、試行的な合致が成功した場合に、前記第１の３次元データセットと前記１つ以上の追加の３次元画像を、前記対象物のビデオ画像の上に重ねる工程を含む、請求項８１に記載の方法。
83. リアルタイムの視覚的フィードバックを提供する工程が、試行的な合致が成功しなかった場合に、１つ以上のナビゲーションキューを表示する工程を含む、請求項８１に記載の方法。
84. 試行的な合致が成功しなかった場合に、前記１つ以上の追加の３次元画像の新しい画像の各々を相互に合致させて、第２の３次元データセットを提供する工程と、
    合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データセットに追加する工程をさらに含む、請求項８１に記載の方法。
85. 前記３次元データが、３次元表面データを含む、請求項８１に記載の方法。
86. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項８１に記載の方法。
87. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得された３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する、請求項８１に記載の方法。
88. 対象物から第１の３次元データセットを提供するストレージ手段と、
    前記対象物をスキャニングして１つ以上の追加の３次元画像を取得する取得手段と、
    前記１つ以上の追加の各３次元画像を前記第１の３次元データセットにリアルタイムで試行的に合致させるコンピューティング手段と、
    試行的な合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供する表示手段とを備える、システム。
89. リアルタイムの視覚的フィードバックをユーザーに提供する工程が、試行的な合致が成功した場合に、前記第１の３次元データセットと前記１つ以上の追加の３次元画像とを前記対象物のビデオ画像の上に重ねることを含む、請求項８８に記載のシステム。
90. リアルタイムの視覚的フィードバックを提供する工程が、試行的な合致が成功しなかった場合に、１つ以上のナビゲーションキューを表示することを含む、請求項８８に記載のシステム。
91. 前記コンピューティング手段が、試行的な合致が成功しなかった場合に、前記１つ以上の追加の３次元画像のうちの新しい画像の各々を相互に合致させて第２の３次元データセットを提供する手段と、
    合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データセットに追加する手段とを備える、請求項８８に記載のシステム。
92. 前記３次元データが、３次元表面データを含む、請求項８８に記載のシステム。
93. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項８８に記載のシステム。
94. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得された３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する、請求項８８に記載のシステム。
95. コンピュータ読み取り可能な媒体上で具現化される、コンピュータで実行可能なコードを含むコンピュータプログラム製品であって、前記製品を、１つ以上のコンピューティングデバイス上で実行したとき、
    対象物から第１の３次元データセットを提供するステップと、
    前記対象物をスキャニングして、１つ以上の追加の３次元画像を取得するステップと、
    前記１つ以上の追加の３次元画像の各々を、前記第１の３次元データセットにリアルタイムで試行的に合致させるステップと、
    試行的な合致に関係したリアルタイムの視覚的フィードバックをユーザーに提供するステップとを実行させる、コンピュータプログラム製品。
96. リアルタイムの視覚的フィードバックを提供するステップが、試行的な合致が成功した場合に、前記第１の３次元データセットと前記１つ以上の３次元画像を対象物のビデオ画像の上に重ねるステップを含む、請求項９５に記載のコンピュータプログラム製品。
97. リアルタイムの視覚的フィードバックを提供するステップが、試行的な合致が成功しなかった場合に、１つ以上のナビゲーションキューを表示するステップを含む、請求項９５に記載のコンピュータプログラム製品。
98. 試行的な合致が成功しなかった場合に、前記１つ以上の追加の３次元画像の新しい画像の各々を相互に合致させて第２の３次元データセットを提供するステップと、
    合致が成功した場合に、前記第２の３次元データセットを前記第１の３次元データに追加するステップとを実行させるコンピュータコードをさらに含む、請求項９５に記載のコンピュータプログラム製品。
99. 前記３次元データが３次元表面データを含む、請求項９５に記載のコンピュータプログラム製品。
100. 前記１つ以上の追加の３次元画像が、前記対象物の２次元画像セットから抽出された表面データを含む、請求項９５に記載のコンピュータプログラム製品。
101. 前記３次元データセットが、対象物から３次元画像シーケンスとして取得された３次元表面データを含み、前記３次元画像シーケンスの各画像が、前記３次元画像シーケンスのうちの少なくとも１つの以前の画像に合致する、請求項９５に記載のコンピュータプログラム製品。

Images