JP2022518680A - ３次元画像化のための方法およびシステム - Google Patents

Abstract

口内スキャンの間に収集されたデータの品質についての視覚フィードバックを動的に提供するための方法およびシステム。画像または光パターンは、３Ｄ測定のために、および３Ｄ測定の品質についてのフィードバックをユーザに中継するために、歯のような物体上に投影される。このようにして、まだ獲得されていない、歯の失敗した登録表面エリアは、口腔中の対応するロケーションでスキャンを繰り返すようにユーザに通知することによって補正されてもよい。【選択図】図１

Description

発明の分野

本出願は、概して、３次元（３Ｄ）画像化のための方法およびシステムに関し、より詳細には、口内スキャンの間に収集されているデータの品質についてのリアルタイムフィードバックを動的に提供するための方法およびシステムに関し、前記リアルタイムフィードバックは、口内スキャン部位において提供される。

発明の背景

修復物または歯列矯正アライナを設計することなどによって、歯の欠陥を治療するために利用可能な様々なオプションが存在する。このような治療の間に、臨床医は、患者の口腔内の３次元モデルを作成するために患者の口腔をスキャンしてもよい。高品質３Ｄデータの収集は、物体の３次元画像を再構築するときに重要であるかもしれない。口内スキャンの間、臨床医は、例えば、（ｉ）データ獲得が進行中であり中断されていないことを保証するために、（ｉｉ）スキャン体または口腔の登録が成功したかどうかをチェックするために、（ｉｉｉ）口腔内のどの領域が既にスキャンされており、どの領域がまだスキャンされていないかをチェックするために、および／または（ｉｖ）獲得された３Ｄデータが臨床目的に十分であることおよび／または仮想歯の正確な再構築のために十分な個々の光学３Ｄ測定値が獲得されていることを保証するために、３Ｄデータ獲得のために患者の口中でカメラの向きを合わせると共にディスプレイからのスキャンプロセスを制御することによって、患者の口腔とディスプレイとの間で彼／彼女のビューを定期的に変更することができる。

この手動プロセスの主な欠点は、冗長であり、時間がかかり、ユーザが患者の口とスクリーンとの間を前後に見るときに向きを失う可能性があることである。さらに、現在のシステムは、獲得されたデータが十分であるかどうか、またはいくつかの口内部位が再びスキャンされるべきかどうかを示さないかもしれない。さらに、単にディスプレイを見ることによって、臨床医は、訓練されていない眼によって検出され得ない再構築の不正確さを見逃すかもしれない。

米国特許第９，８３８，６７０Ｂ２号は、「ポイントアンドクリック」カメラについて、カメラの現在位置が第１の画像の第１の位置に基づいて第２の画像を捕捉するのに十分であるかどうかを開示している。この発明は、物体の第１の３次元ビューがスキャンデバイスによって捕捉される第１の位置におけるスキャンデバイスの視野の第１の２次元画像を記憶することと、スキャンデバイスが第１の位置から第２の位置に移動されている間に第１の画像に対する第２の位置におけるスキャンデバイスの視野の第２の２次元画像のロケーションメトリックを推定することと、ロケーションメトリックに基づいてユーザにフィードバックを提供することに関する命令を生成することとを含む３次元画像化のための方法を提供し、前記フィードバックは、前記第２の位置が第２の３次元ビューを捕捉するのに十分であるかどうかを示すために提供される。

米国特許第７，９４０，２６０Ｂ２号は、リアルタイムで成功した増分適合を試験し、以前に獲得したデータに対して新たに獲得したデータの関係に応じて様々な視覚的ユーザキューおよびプロセス修正を提供することによって、適合された３次元データセットの増分シリーズとして３次元画像を獲得することができるスキャンシステムを開示している。

米国特許第４，８３７，７３２Ａ号は、スキャンヘッドからのライブ画像をビデオディスプレイ上に表示することと、前記ビデオディスプレイ上の歯の画像を観察しながらスキャンヘッドを準備された歯に対して手動で向きを合せることと、その後、選択された向きにおいて前記スキャンヘッドによって生成されたデータから対応する深さ画像およびコントラスト画像を生成することと、その後、前記コントラスト画像に基づいて前記深さ画像を処理することとを含む、準備された歯およびそれらのすぐ近くの３次元形状を定義するデータの獲得を容易にする方法を開示する。

口内スキャンの間に収集されたデータの品質についての視覚フィードバックを動的に提供するための請求項１に記載の方法および請求項１１に記載のシステムによって、上記に関係付けられた既存の制限ならびに他の制限を克服することができる。画像または光パターンは、３Ｄ測定のために、および３Ｄ測定の品質についてのフィードバックをユーザに中継するために、歯のような物体上に投影されてもよい。ここでは、失敗した登録および穴／隙間（すなわち、スキャンされなかった表面領域）は、口腔中の対応するロケーションでスキャンを繰り返すようにユーザに通知することによって補正することができる。

ここでの態様では、本発明は、口内スキャンの間に収集されたスキャンデータの品質および／または他の予め定められた特性についての視覚フィードバックを動的に提供する方法を提供し、前記視覚フィードバックが口内スキャン部位またはその近傍で提供され、方法は、口腔の表面の複数の個々の光学３Ｄ測定値を提供するステップと、複数の個々の光学３Ｄ測定値ならびに蓄積された複数の３Ｄ測定値のそれぞれが予め定められた記録基準を満たすかどうかを決定するステップと、決定するステップに基づいて、個々の光学３Ｄ測定値に対応する口腔の表面上に成功した登録のフィードバックおよび／または成功していない登録のフィードバックを含む前記視覚フィードバックを投影するステップとを含む。

本発明の別の態様にしたがって、方法は、以下の１つ以上の組み合わせを含んで提供される：（ｉ）前記成功した登録のフィードバックおよび／または成功していない登録のフィードバックは、３Ｄ測定のための投影光線に対応する第１の領域と、成功した登録のフィードバックおよび／または成功していない登録のフィードバックに対応する第２の領域とを含む投影画像の一部として投影される、（ｉｉ）前記視覚フィードバックをリアルタイムで提供することをさらに含む、（ｉｉｉ）光学３Ｄ測定値が以前にスキャンされているかどうかを決定するために、複数の個々の光学３Ｄ測定値のそれぞれの３Ｄ座標を抽出することをさらに含む、（ｉｖ）複数の個々の光学３Ｄ測定値のそれぞれは、重複するエリアを形成するように、別の個々の光学３Ｄ測定値と重複する、（ｖ）予め定められた記録基準は、（ａ）重複するエリアの十分なサイズ、（ｂ）重複するエリアにおける物体表面の十分なうねり、（ｃ）重複するエリアにおける物体表面の十分な粗さ、（ｄ）重複するエリアにおける十分な数の特徴的ジオメトリ、（ｅ）重複するエリアにおける十分な画像品質／解像度、および／または（ｆ）蓄積データセット中に含まれない口腔の領域からなる群から選択される。

本発明の別の態様では、口内スキャンの間に収集されたデータの品質についての視覚フィードバックを動的に提供するシステムであって、口内スキャン部位またはその近傍で提供される前記視覚フィードバックが提供され、システムは、口腔の複数の測定面の複数の個々の光学３Ｄ測定値を提供し、複数の個々の光学３Ｄ測定値のそれぞれが予め定められた記録基準を満たすかどうかを決定し、決定ステップに基づいて、個々の光学３Ｄ測定値に対応する口腔の表面上に、成功した登録のフィードバックおよび／または成功していない登録のフィードバックを含む前記視覚フィードバックを投影するように構成された少なくとも１つのプロセッサを備える。

本発明の別の態様にしたがうと、以下の１つ以上の組み合わせを含むシステムが提供される：（ｉ）プロセッサは、３Ｄ測定のための投影光線に対応する第１の領域と、成功した登録のフィードバックおよび／または成功していない登録のフィードバックに対応する第２の領域とを含む投影画像の一部として、前記成功した登録のフィードバックおよび／または成功していない登録のフィードバック投影するようにさらに構成される、（ｉｉ）プロセッサは、前記視覚フィードバックをリアルタイムで提供するようにさらに構成される、（ｉｉｉ）プロセッサは、光学３Ｄ測定値が以前にスキャンされているかどうかを決定するために、複数の個々の光学３Ｄ測定値のそれぞれの３Ｄ座標を抽出するようにさらに構成される、（ｉｖ）プロセッサと通信する少なくとも１つのプロジェクタおよび少なくとも１つの画像センサをさらに備える、（ｖ）プロジェクタが口内カメラの内部に収容される、（ｖｉ）プロジェクタは、口内カメラから分離される、（ｖｉｉ）プロジェクタは、デジタル光処理プロジェクタ、発光ダイオードプロジェクタ、レーザプロジェクタ、シリコン上液晶プロジェクタ、および液晶ディスプレイプロジェクタからなる群から選択される。

さらなる特徴および利点、ならびにここにおける様々な実施形態の構造および動作が、添付の図面を参照して以下で詳細に説明される。

例示的な実施形態は、ここにおいて以下に与えられる詳細な説明および添付の図面からより完全に理解されるようになるであろう。

図１は、本発明の実施形態にしたがうシステムを図示するブロックダイヤグラムである。 図２は、本発明の例示的な実施形態にしたがう内側光線および外側光線を図示するダイヤグラムである。 図３は、本発明の例示的な実施形態にしたがう測定体積を図示するダイヤグラムである。 図４は、本発明の例示的な実施形態にしたがうカメラによる投影を示す斜視図である。 図５は、本発明例示的な実施形態にしたがう投影画像を図示する上面図である。 図６は、本発明の例示的な実施形態にしたがう方法を示すフローチャートである。 図７は、本発明の実例的な実施形態にしたがうコンピュータシステムを示すブロックダイヤグラムである。

発明の詳細な説明

ここに記載される例示的な態様にしたがうと、口内スキャンの間に収集されているデータの品質についてのフィードバック、並びに口腔のどのエリアが既に獲得されているかについてのフィードバックを動的に提供するための方法およびシステムであって、前記フィードバックは、口内スキャン部位またはその近傍に提供される。しかしながら、ここに開示される発明概念は、このような用途に限定されなくてもよく、様々な画像化用途において有用に用いられてもよいことが理解されてもよい。例えば、ここに記載されるシステムおよび方法は、非口内用途、非歯科用途、または画像化がリアルタイムフィードバックによって向上されてもよい、または３次元における物体表面の生成が、ユーザの自由制御下でスキャンデバイスを用いて物体に対して任意の向きで捕捉されたいくつかの３Ｄビューのスティッチングに基づいてもよい、他の用途において有用に用いられてもよい。当業者に明らかであるようなすべてのこのようなバリエーションおよび代替実施形態は、本発明の範囲内に入ることが意図される。

本発明は、歯のような物体上に投影された画像または光パターンによって口内スキャンの間にフィードバックを提供するための方法およびシステムを提供することができる。したがって、本発明は、表示／監視スクリーンを必要としないかもしれない口内スキャンを可能にすることができ、失敗した登録隙間／穴は、口腔中の対応するロケーションでスキャンを繰り返すようにユーザに通知することによって補正することができる。

歯科ソリューションをモデル化し視覚化するためのシステム
図１は、光源１２を有する少なくとも１つのプロジェクタ１０と、少なくとも１つの画像センサ１８（例えば、３Ｄ画像センサ）と、少なくとも１つのコンピュータプロセッサ１２２（図７）を有するコンピュータシステム１００とを備える光誘導システム１０１のブロックダイヤグラムを図示している。プロジェクタ１０および画像センサ１８は、コンピュータシステム１００と通信することができる。プロジェクタ１０は、口内カメラ３２のようなカメラ内に収容されたプロジェクタであってもよい。あるいは、プロジェクタ１０は、口内カメラ３２の外側にあるデジタル光プロジェクタのような別個のプロジェクタであってもよい。プロジェクタ１０は、表示されるべき画像に基づいて光源１２をフィルタリングする原理で動作することができる。次いで、レンズ（図示せず）を使用して、画像を表示することができる表面に画像を転写することができる。デジタルマイクロミラーデバイス（ＤＭＤ）テクノロジーに基づいてもよいデジタル光処理（ＤＬＰ）プロジェクタを含む異なる種類のプロジェクタが使用されてもよく、微小ミラーのアレイは、投影面上に明るいまたは暗い画素を生成するために、プロジェクタ１０中の光源１２に向かって、またはそこから離れて、傾斜するように構成されてもよい。他の種類のプロジェクタは、発光ダイオード（ＬＥＤ）プロジェクタ、レーザプロジェクタ、シリコン上液晶（ＬＣｏＳ）プロジェクタ、および液晶ディスプレイ（ＬＣＤ）プロジェクタを含んでいてもよい。１つ以上のプロジェクタ１０は、１つ以上の投影画像４８（図５）を歯表面２８（図４）のような表面上に投影するために使用されてもよく、ここでの少なくとも１つの例示的実施形態にしたがって構築および動作されてもよい。プロジェクタは、３Ｄ測定フィールドおよび測定フィールドの外側の表面を照明することができる。ここで、既に獲得／スキャンされた表面についての情報、まだ獲得されていない表面、ならびに他の３Ｄ測定情報（スキャンボディ登録など）は、測定フィールドの外側の表面上に投影されたパターンまたは色を使用することによって視覚的に重ね合わされてもよい。このようにして、ユーザは、患者の口中を見ながらスキャンプロセスを制御することができる。前記投影は動的であってもよく、プロジェクタ１０からの照明ビーム２０は、好ましくは予め定められた時間間隔で前記１つ以上の投影画像４８を生成するように制御されてもよく、照明ビーム２０の少なくとも一部は、３Ｄ測定のための監視ビーム５０に反射されてもよい。

図４に示されるように、各投影画像４８は、３Ｄ測定のための投影光線に対応する第１／内側領域４４および／またはユーザに視覚フィードバックを提供するための投影光線に対応する第２／外側領域４２を含んでもよく、逆もまた同様である。内側領域４４および／または外側領域４２の形状は、例えば、正方形、長方形、円形など、予め定められてもよい。図２に示される本発明の例示的な実施形態では、口内カメラ３２は、別個のプロジェクタ１０ａと電気的に対にされてもよく、プロジェクタ１０ａは、ユーザフィードバックのために歯表面２８上に投影画像４８の少なくとも一部を投影する。口内カメラ３２自体は、３Ｄ測定のために投影画像４８の少なくとも別の部分を投影するためのプロジェクタ１０を有することもできる。前記ペアリングは、コンピュータプロセッサ１２２のような共通コントローラを使用して、プロジェクタ１０ａおよび口内カメラ３２からの照明ビーム２０による歯表面２８の照明と、反射監視ビーム５０の記録とを同時に制御することによって達成することができる。

図３に示されるような本発明の別の例示的な実施形態では、口内カメラ３２のプロジェクタ１０ｂは、３Ｄ測定およびユーザフィードバックの両方のために歯表面２８上に投影画像４８を投影するように構成されてもよい。ここで、照明ビーム２０の内側光線２４は、３Ｄ測定のために投影画像４８の内側領域４４を生成するように構成されてもよく、および／または照明ビーム２０の外側光線２２は、ユーザフィードバックのために投影画像４８の外側領域４２を生成するように構成されてもよく、その逆も同様である。

したがって、口内カメラ３２のプロジェクタ１０ｂは、３Ｄ測定光線およびユーザフィードバック光線の両方を含む照明ビーム２０を投影するように構成することができる。

さらなる実施形態では、プロジェクタ１０は、３Ｄ測定光線を投影することとユーザフィードバック光線を投影することとを交互に行うように構成されてもよい。

さらなる実施形態では、口内カメラ３２は、３Ｄ測定用の反射監視ビーム５０が、３Ｄ測定用に構成された照明ビーム２０の全てまたは実質的に全ての部分を含むように構成することができる。３Ｄ測定のために構成された照明ビーム２０のさらなる部分（照明ビーム２４の内側光線）は、構造化照明パターンであるように構成されてもよく、および／または照明前に変調されてもよい。様々な構造化照明パターンを使用することによって、歯表面２８の３Ｄ表面プロファイルを測定することができる。さらに、予め定められた周波数で変調することによって、その周波数に対応する信号のみが、さらなる処理のために画像センサ１８によって検出されてもよい。

歯科ソリューションをモデル化し、視覚化する方法
図１の光誘導システム１０１を説明してきたが、口内スキャンの間に収集されているデータの品質についてのフィードバックを動的に提供する方法を、図６に関連してさらに説明する。

本発明は、ユーザが口内カメラヘッド３０をあるロケーション（例えば、歯表面２８）上で移動させることによるスキャンプロセスを通じて３Ｄモデルを生成および更新することを含んでいてもよい。スキャンは、ステップＳ１００に示されるように開始してもよく、コンピュータシステム１００のメモリは、スキャンが進行すると後に更新されてもよい空の体積として、口腔５２の体積を記憶してもよい。ステップＳ２００において口内カメラヘッド３０を歯表面上に配置した後、口内カメラ３２のプロジェクタ１０は、初期デフォルト投影画像を口腔５２の領域上に投影して、処理のための画像データがまだ獲得されていないことを示すことができる。

ここでの例示的な実施形態では、プロジェクタ１０は、現在の測定表面５４の成功した登録を示す成功した登録のフィードバックと、現在の測定表面５４の成功していない登録を示す成功していない登録のフィードバックとを提供するように構成されてもよく、例えば、３Ｄ測定のための青色の長方形または縞パターン（図５の投影画像４８の内側領域４４、これは現在の測定表面５４にも対応する）は、より大きな赤色の長方形（空洞の他の表面５６に対応する投影画像４８の外側領域４２）の内側にあってもよく、赤色の長方形は、前記フィードバックが投影される口内表面の成功していない登録を示す。登録が成功すると、外側領域４２中の成功した登録の対応する表面４６は、前記成功した登録の対応する表面４６が登録の成功したことを示す、成功した登録のフィードバック、例えば緑色の光を受信することができる。ここでの実施形態では、外側領域４２は、スキャンが開始されていないことを示す初期の成功していない登録のフィードバックを受信することができる。もちろん、投影画像４８の異なるコンポーネントの形状および／または色の他のインプリメンテーションが、本発明の範囲から逸脱することなく実現されてもよい。

好ましくは、投影画像４８の内側領域４４を形成するように構成されてもよい、図３に示されるような照明ビーム２０の内側光線２４（または図２に示されるようなユーザフィードバックのための別個のプロジェクタ１０ａを有する光誘導システム１０１内の口内カメラ３２からの光線）は、現在の測定体積２６（すなわち、口内カメラヘッド３０の下の体積）を通過して、測定されるべき歯表面２８の少なくとも一部分上に到達してもよく、歯表面２８の前記部分は、現在の測定表面５４である（ステップＳ３００）。照明ビーム２０の外側光線２２は、予め規定された境界５８内の空洞の他の表面５６上で一致することができ、その境界内で、前記他の表面５６上の対応する点が以前にスキャンされたか否かについてのフィードバックをユーザに視覚的に中継することができる。スキャンの開始時に、デフォルトのフィードバックをユーザに中継して、前記他の表面５６が以前にスキャンされていないことを示すことができる。

ステップ３００に示されるように、照明ビームの内側光線２４は、さらなる処理のために口内カメラ３２の画像センサ１８に向かって現在の測定表面５４から実質的に反射されてもよい。ここで、ステップＳ４００において現在の測定表面５４の３次元座標を抽出し、現在の測定表面５４のすべてまたは一部が以前に登録されているか否かを決定してもよい（ステップＳ５００）。現在の測定表面５４または現在の測定表面の任意の部分が以前に獲得されていない場合、登録されていない部分の対応する新しい３Ｄデータ（例えばｘｙｚ座標）は、新しい３Ｄデータおよび／または蓄積された３Ｄデータが十分であるかどうかを１つ以上の予め定められた記録基準／条件にしたがって決定することによって記憶されてもよく（ステップＳ６００）、前記予め定められた記録基準は、例えば、新しい３Ｄデータおよび／または蓄積された３Ｄデータが所望の予め定められた解像度、予め定められたノイズレベル、予め定められた３Ｄ点密度、および／または個々の光学３Ｄ測定値間の不一致を有するかどうかを含む。予め定められた記録基準が満たされる場合、ステップＳ８００に示されるように、新しい３Ｄデータは、後処理のために画像スタックに記憶されてもよく、または３Ｄデータは、口腔のリアルタイム３Ｄ再構築を作成するために使用されてもよい。新しい３Ｄデータに対応する投影画像４８の外側領域４２は、次いで、ステップＳ１０００において更新されて、口内カメラ３２のカメラ位置が新しい測定表面に変化したときに、以前の測定表面が予め定められた記録基準にしたがって十分に記録されていることをユーザに中継することができる。ここでは、進行中の口内スキャンの進行を追跡し、必要な調整を行うためにモニタを常に見る必要性は、ユーザに対する視覚フィードバックがスキャンされている口内表面の近傍に示されてもよいので、排除されてもよいか、または実質的に排除されてもよい。

あるいは、現在の測定表面５４が以前にスキャンされている場合、次の獲得がトリガされて（ステップＳ７００、Ｓ１２００）、他の表面を記録することを継続してもよい。

さらに、ステップＳ６００において取得された新たなデータが予め定められた記録基準に従って不十分である場合、現在の測定表面５４がスキャン／登録されていないことを示すユーザに対するデフォルトフィードバックは、変更されないままであってもよく、または現在の測定表面５４がスキャンされていないことを示すように予め定められた方法で変更されてもよい。

本発明の例示的実施形態では、ステップＳ６００に示されるように、新しいデータが十分であるかどうかを決定することは、以下のように達成されてもよい。複数の３次元光学測定値がプロセッサ１２２によって受信されてもよく、前記複数の３次元光学測定値はそれぞれ、１つ以上の記録シーケンスにしたがって口内カメラ３２によって生成された１つ以上の歯科物体の複数の現在の測定表面５４に対応する。各光学測定値／画像は、複数の重複するエリア（図示せず）を形成するために別の光学測定値と重複してもよく、各重複するエリアは、後の光学画像および前の光学画像を含んでいてもよく、後の光学画像は、前の光学画像よりも記録シーケンスにおける後の画像化位置で生成される。ここで、各重複するエリアについて、重複するエリアが１つ以上の予め定められた記録基準を満たすか否かが決定されてもよい。予め定められた記録基準は、例えば、（ｉ）重複するエリアの十分なサイズ、（ｉｉ）重複するエリアにおける物体表面の十分なうねり、（ｉｉｉ）重複するエリアにおける物体表面の十分な粗さ、（ｉｖ）重複するエリアにおける十分な数の特徴的ジオメトリ、（ｖ）重複エリアにおける十分な画像品質／解像度、および／または（ｖｉ）蓄積データセットに含まれない口腔の領域を含むことができる。

予め定められた記録基準が満たされる場合、後の光学３Ｄ測定値は、前の光学３Ｄ測定値を含む画像シーケンスに追加／登録されてもよく、および／またはシーケンスの対応するグローバル３Ｄ画像がリアルタイムまたは後の時間で再構築されてもよい（ステップ８００）。当業者であれば、本発明の本質的な属性から逸脱することなく、他の登録ステップをここで用いることができることを理解するであろう。

測定されている表面からのカメラヘッド３０の相対位置、シーケンス中の画像の「x,y,z」座標、および／または再構築されたグローバル３Ｄ画像に基づいて、プロジェクタ１０は、口腔内のどの対応する部分が十分に記録されており、どの領域が十分に記録されていないかを示すフィードバックをユーザに投影するように構成されてもよく（ステップＳ１０００）、例えば、十分に記録された口腔の部分に緑色光が投影されてもよく、記録されていないまたはまだ十分に記録されていない口腔の部分に赤色光が投影されてもよい。これは、ステップＳ１１００、Ｓ１３００に示されるように、全ての他の表面および記録シーケンスについてリアルタイムで繰り返されてもよい。したがって、スキャンの間の登録の質を進行中のユーザに提供することができ、そのようなものとして、失敗した登録を口腔中の対応するロケーションでスキャンを繰り返すことによって補正することができるので、ユーザは、スキャン手順の進行を調べるためにモニタを常に見る必要がないかもしれない。

別のワークフローでは、現在の測定表面５４をスキャンし、対応する光学画像を獲得することができる。対応する光学画像は、３Ｄ点群、３Ｄ点群に対する口内カメラ３２の位置についての情報を含んでもよい。対応する光学画像は、以前の測定からの蓄積された３Ｄデータセットに登録され、重複がある場合（例えば、反復最近接点（Iterative Closest Point）（ＩＣＰ）アルゴリズムに従って適合する場合）、蓄積されたデータセットに追加されてもよい。蓄積されたデータセットに対する口内カメラ３２についての位置情報は既知であってもよい。重複がない場合（一致しない場合）、口内カメラ３２は、その位置を見失うかもしれず、新しい測定値が登録され、３Ｄデータセットに追加されてもよい位置に、ユーザは口内カメラ３２を移動させてもよい。次いで、蓄積されたデータセットは、データ中の穴／隙間、低い点密度および／または不一致について分析されてもよい。さらに、分析は、口内カメラ３２の温度が予め定められた値を超えるかどうかの決定を含むか、または決定であってもよい。分析の結果および蓄積されたデータセットに対する口内カメラ３２の位置に基づいて、プロジェクタ１０に対する投影画像４８は、以下のように生成されてもよい。（ｉ）蓄積されたデータセットが表されていないカメラの下の領域は、投影画像４８において第１の色（例えば赤色）によって示されてもよく、（ｉｉ）穴／隙間のような領域、低密度領域、および不整合は、第２の色（例えば青色）によって投影画像４８において示されてもよく、および／または（ｉｉｉ）有効なデータを含む領域（蓄積されたデータが表される領域）は、第３の色（例えば緑色）によって示される。ここで、口内カメラ３２は、移動しており、現在の獲得が処理されると、次の獲得を直接トリガしてもよい。ここでの実施形態では、口内カメラ３２は、蓄積されたデータセットに対する以前の３Ｄ測定値の相対変換から光線の投影方向を決定することができる。ここでは、口内カメラ３２は、蓄積された３Ｄデータセットに対するその位置についての情報を有することができる。この情報に基づいて、口内カメラ３２は、十分に記録されなかった領域（フィードバック投影における赤色領域）の（カメラウィンドウに対する）位置を決定し、対応する光線を前記領域に投影することができる。また、例示的な実施形態において、決定された位置情報に基づいて、スキャンワークフローについての情報が投影されてもよい。例えば、視覚フィードバックは、獲得のための口腔５２の次の領域についての情報、口内カメラ３２の決定された温度に基づく口内カメラの窓の曇り、前記曇りに基づいて口腔５２からカメラを除去する指示などを含んでいてもよい。温度表示の後に、口内カメラ３２がすぐにシャットダウンするかもしれないことを示すもののような警告が続いてもよい。さらに、曇りの表示の後に、カメラを加熱または吹き払う命令のような命令が続いてもよい。

さらに、フィードバックを提供するための投影光線と３Ｄ測定のための投影光線とを交互に行うことができる照明を使用することによって、フィードバックを提供するための投影光線と３Ｄ測定のための投影光線との干渉を低減または排除することができる。

当然ながら、歯科ソリューションをモデル化および視覚化するためのここで説明される方法に類似する別の方法が、提供される説明に照らして実現されてもよい。

前述の説明を考慮すると、ここに記載の例示的な実施形態は、口内スキャンの間に収集されているデータの品質についてのフィードバックを動的に提供する方法を提供することが理解されよう。

歯科ソリューションをモデル化および視覚化するためのコンピュータシステム
光誘導システム１０１および方法を説明してきたが、ここで図７を参照すると、図７は、ここで説明される例示的な実施形態の少なくともいくつかにしたがって用いられてもよいコンピュータシステム１００のブロックダイヤグラムを示す。さまざまな実施形態がこの例示的なコンピュータシステム１００に関してここで説明されてもよいが、この説明を読んだ後、他のコンピュータシステムおよび／またはアーキテクチャを使用して本開示をどのように実現するかが当業者には明らかになるかもしれない。

ここでの実施形態では、コンピュータシステム１００は、光誘導システム１０１の一部を形成することができる。ここでの別の実施形態では、コンピュータシステムは、光誘導システム１０１から分離されてもよい。様々な実施形態をこの例示的なコンピュータシステム１００に関してここで説明するが、この説明を読んだ後、他のコンピュータシステムおよび／またはアーキテクチャを使用して本開示をどのように実現するかが当業者には明らかになるかもしれない。

コンピュータシステム１００は、１つ以上のプロセッサ１２２を含んでいてもよい。コンピュータプロセッサ１２２は、例えば、中央処理ユニット、多重処理ユニット、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、またはこれらに類するものを含んでいてもよい。プロセッサ１２２は、通信インフラストラクチャ１２４（たとえば、通信バスまたはネットワーク）に接続されてもよい。ここでの実施形態では、プロセッサ１２２は、口内カメラ３２の信号前処理ユニットから画像スタックまたは画像シーケンスを取得するＣＰＵを含む。スタックは、メモリ中に一時的に記憶され、次いで、ここで論じられる方法で説明されるように、画像が予め定められた記録基準を満たすかどうかを決定するために分析されてもよい。次いで、プロセッサ１２２は、プロジェクタ１０および／または光源１２を動作させて、照明ビーム２０を制御することができる。

コンピュータシステム１００は、ディスプレイインターフェース（または他の出力インターフェース）１２６をオプション的に含んでもよく、ディスプレイインターフェース１２６および／またはディスプレイユニット１２８は必要とされなくてもよいが、（一例示的実施形態では、図１のディスプレイユニット１２８を形成してもよく、またはそれに含まれてもよい）ディスプレイユニット１２８上に表示するために、これは、通信インフラストラクチャ１２４から（またはフレームバッファ（図示せず）から）ビデオグラフィックス、テキスト、および他のデータを転送してもよい。

コンピュータシステム１００はまた、情報をコンピュータプロセッサ１２２に送るためにコンピュータシステム１００のユーザによって使用されてもよい入力ユニット１３０を含んでもよい。入力ユニット１３０は、キーボードおよび／またはタッチスクリーンモニタのようなトラックボールまたは他の入力デバイスを含んでいてもよい。

一例では、ディスプレイユニット１２８、入力ユニット１３０、およびコンピュータプロセッサ１２２は、集合的にユーザインターフェースを形成してもよい。

３Ｄ画像およびユーザに対するフィードバックを生成するようにシステム１０１を制御することを生成する１つ以上のステップは、コンピュータ読取可能プログラム命令の形態で非一時的記憶デバイスに記憶されてもよい。手順を実行するために、プロセッサ１２２は、記憶デバイスに記憶されたような適切な命令をメモリにロードし、ロードされた命令を実行する。

図６のコンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であってもよいメインメモリ１３２を備えてもよく、二次メモリ１３４も含んでもよい。二次メモリ１３４は、例えば、ハードディスクドライブ１３６および／またはリムーバブルストレージドライブ１３８（例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブ、およびこれらに類するもの）を含んでいてもよい。リムーバブルストレージドライブ１３８は、周知の方法で取外し可能ストレージユニット１４０から読み取り、および／またはそれに書き込むことができる。リムーバブルストレージユニット１４０は、例えば、リムーバブルストレージドライブ１３８によって読み取り、およびそれから書き込みされてもよいフロッピー（登録商標）ディスク、磁気テープ、光ディスク、フラッシュメモリデバイス、およびこれらに類するものであってもよい。取り外し可能記憶ユニット１４０は、コンピュータ実行可能ソフトウェア命令および／またはデータを記憶する非一時的コンピュータ読取可能記憶媒体を含んでいてもよい。

さらなる代替実施形態では、二次メモリ１３４は、コンピュータシステム１００にロードされるコンピュータ実行可能プログラムまたは他の命令を記憶する他のコンピュータ読取可能媒体を含むことができる。そのようなデバイスは、リムーバブル記憶ユニット１４４およびインターフェース１４２（たとえば、プログラムカートリッジおよびカートリッジインターフェース）と、リムーバブルメモリチップ（たとえば、消去可能プログラマブルリードオンリーメモリ（「ＥＰＲＯＭ」）またはプログラマブルリードオンリーメモリ（「ＰＲＯＭ」））および関係付けられたメモリソケットと、ソフトウェアおよびデータがリムーバブル記憶ユニット１４４からコンピュータシステム１００の他の部分に転送されることを可能にする他のリムーバブル記憶ユニット１４４およびインターフェース１４２とを含むことができる。

コンピュータシステム１００はまた、ソフトウェアおよびデータがコンピュータシステム１００と外部デバイスとの間で転送されることを可能にする通信インターフェース１４６を含んでいてもよい。そのようなインターフェースは、モデム、ネットワークインターフェース（たとえば、イーサネット（登録商標）カードまたはＩＥＥＥ８０２.１１無線ＬＡＮインターフェース）、通信ポート（たとえば、ユニバーサルシリアルバス（「ＵＳＢ」）ポートまたはＦｉｒｅＷｉｒｅ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」）インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびこれらに類するものを含んでいてもよい。通信インターフェース１４６を介して転送されるソフトウェアおよびデータは、信号の形態であってもよく、これは、通信インターフェース１４６によって送信および／または受信されることが可能であってもよい電子信号、電磁信号、光信号または別のタイプの信号であってもよい。信号は、通信経路１４８（たとえば、チャネル）を介して通信インターフェース１４６に提供されてもよい。通信経路１４８は、信号を搬送することができ、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数（「ＲＦ」）リンク、またはこれらに類するものを使用して実現されてもよい。通信インターフェース１４６は、コンピュータシステム１００とリモートサーバまたはクラウドベースの記憶装置（図示せず）との間でソフトウェアまたはデータまたは他の情報を転送するために使用されてもよい。

１つ以上のコンピュータプログラムまたはコンピュータ制御論理は、メインメモリ１３２および／または二次メモリ１３４に記憶されてもよい。コンピュータプログラムはまた、通信インタフェース１４６を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行されたときに、コンピュータシステム１００に説明した方法を実行させるコンピュータ実行可能命令を含んでいてもよい。したがって、コンピュータプログラムは、コンピュータシステム１００および光誘導システム１０１の他のコンポーネントを制御することができる。

別の実施形態では、ソフトウェアは、非一時的コンピュータ読取可能記憶媒体に記憶され、リムーバブルストレージドライブ１３８、ハードディスクドライブ１３６、および／または通信インターフェース１４６を使用して、コンピュータシステム１００のメインメモリ１３２および／または二次メモリ１３４にロードされてもよい。制御論理（ソフトウェア）は、プロセッサ１２２によって実行されるとき、コンピュータシステム１００に、より一般的には、いくつかの実施形態における光誘導システム１０１に、ここに説明される方法のすべてまたは一部を行わせてもよい。

最後に、別の例示的な実施形態では、ＡＳＩＣ、ＦＰＧＡ、およびこれらに類するもののようなハードウェアコンポーネントを使用して、ここで説明する機能性を実行することができる。ここで説明された機能を実行するためのこのようなハードウェア構成のインプリメンテーションは、本説明を考慮すれば当業者には明らかであろう。

そうでないと定義されていない限り、ここで使用されるすべての技術上のおよび科学上の言葉は、この発明に属する当業者のうちの１つによって一般に理解されるのと同じ意味を有する。ここに記載されるものと類似または均等の方法および材料を本開示の実施または試験において使用することができるが、適切な方法および材料は上に記載されている。ここで言及される全ての刊行物、特許出願、特許、および他の参考文献は、適用可能な法律および規制によって許容される程度まで、その全体が参考としてここに組み込まれる。本開示は、その精神または本質的属性から逸脱することなく、他の特定の形態で具現化されてもよく、したがって、本実施形態は、あらゆる点で例示的であり、限定的ではないと見なされることが望ましいかもしれない。説明内で利用される見出しはいずれも、便宜上のものにすぎず、法的または限定的な効果を有さない。

Claims (14)

1. 口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するためのシステムを制御する方法であって、
   前記視覚フィードバックは、口内スキャン部位またはその近傍に提供され、
   前記システム（１０１）は、
   少なくとも１つのプロセッサと、
   前記プロセッサ（１２２）と通信する、少なくとも１つのプロジェクタ（１０）および少なくとも１つの画像センサ（１８）とを備え、
   前記方法は、
   口腔（５２）の複数の測定表面（５４、５６）の複数の個々の光学３Ｄ測定値を提供するステップと、
   前記複数の個々の光学３Ｄ測定値および／または蓄積された複数の光学３Ｄ測定値のうちの少なくとも１つが予め定められた記録基準を満たすかどうかを決定するステップと、
   前記決定するステップに基づいて、前記個々の光学３Ｄ測定値に対応する前記口腔（５２）の表面上に前記視覚フィードバックを投影するステップとを含む、方法。
2. 前記視覚フィードバックが、３Ｄ測定のための投影光線に対応する第１の領域と、前記視覚フィードバックに対応する第２の領域とを含む、投影画像（４８）の一部として投影される、請求項１に記載の方法。
3. ３Ｄ測定のための投影光線に対応する前記第１の領域と、前記視覚フィードバックに対応する前記第２の領域とが、少なくとも部分的に重複する、請求項２に記載の方法。
4. 前記視覚フィードバックは、照明ビームの内側光線（２４）から前記投影画像（４８）の内側領域（４４）として前記第１の領域を生成し、前記照明ビームの外側光線（２２）を使用して前記投影画像（４８）の外側領域（４２）として前記第２の領域を生成する、前記照明ビーム（２０）を使用して投影され、逆もまた同様である、請求項２または３に記載の方法。
5. 前記内側光線と前記外側光線との間で前記照明ビームを交互にすることをさらに含む、請求項４に記載の方法。
6. 前記視覚フィードバックをリアルタイムで提供することをさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 前記口腔（５２）の対応する領域が以前にスキャンされているかどうかを決定するために、前記複数の個々の光学３Ｄ測定値のそれぞれの３Ｄ座標を抽出することをさらに含む、請求項１から６のいずれか一項に記載の方法。
8. 前記複数の個々の光学３Ｄ測定値のそれぞれは、重複するエリアを形成するように、別の個々の光学３Ｄ測定値と重複する、請求項１から７のいずれか一項に記載の方法。
9. 前記予め定められた記録基準は、（ｉ）前記重複するエリアの十分なサイズ、（ｉｉ）前記重複するエリアにおける物体表面の十分なうねり、（ｉｉｉ）前記重複するエリアにおける前記物体表面の十分な粗さ、（ｉｖ）前記重複するエリアにおける十分な数の特徴的ジオメトリ、（ｖ）前記重複するエリアにおける十分な３Ｄ点密度および／または蓄積データセットに含まれない口腔の領域からなる群から選択される、請求項１から８のいずれか一項に記載の方法。
10. 前記視覚フィードバックは、成功した登録についてのフィードバック、成功していない登録についてのフィードバック、口腔のスキャンされていないエリアについてのフィードバック、ユーザワークフローについてのフィードバック、口内カメラの温度についてのフィードバック、または警告についてのフィードバックを含む、請求項１から９のいずれか一項に記載の方法。
11. 口内スキャンの間に収集されたスキャンデータについての視覚フィードバックを動的に提供するシステムであって、前記視覚フィードバックは口内スキャン部位またはその近傍に提供され、
    前記システム（１０１）は、
    請求項１から１０のいずれか一項に記載の方法を実行するように構成された少なくとも１つのプロセッサと、
    前記プロセッサ（１２２）と通信する、少なくとも１つのプロジェクタ（１０）および少なくとも１つの画像センサ（１８）とを備える、システム。
12. 前記プロジェクタが口内カメラ（３２）の内部に収容される、請求項１１に記載のシステム。
13. 前記プロジェクタは、前記少なくとも１つの画像センサを有する口内カメラ（３２）から分離される、請求項１１に記載のシステム。
14. 前記プロジェクタ（１０）は、デジタル光処理プロジェクタ、発光ダイオードプロジェクタ、レーザプロジェクタ、シリコン上液晶プロジェクタ、および液晶ディスプレイプロジェクタからなる群から選択される、請求項１１から１３のいずれか一項に記載のシステム。

Images