JP2015221201A - 頭部装着型仮想現実統合プラットフォーム - Google Patents

Abstract

【課題】３次元画像を取得し処理する頭部装着型の装置を提供する。
【解決手段】装置は、２つのカメラ２を有するヘッドアセンブリ６を備え、各カメラはそれぞれの画像を表示するための付属のモニタ１を有しており、モニタの光軸５が装置使用者の目７の光軸と一致するか又は少なくとも平行に配置できるようになっている。さらに、カメラ画像のデータ処理のためのデータ処理ユニットを備え、２つのカメラが、同一の絞りと同一のズームによって共通の点に焦点４が合うよう相互に同期しており、２つの目による自然な視野によって制御される３次元のスキャンを可能にする。
【選択図】図１

Description

本発明は、３次元画像取得処理装置に関する。３次元画像取得処理装置の例は光学３次元スキャナである。

光学３次元スキャナは、携帯式の筐体あるいは三脚に支持された筐体のいずれにも取り付け得る。変形例としては、自立する筐体に取り付けるものもある。

光学３次元スキャナは、例えば医療工学、特に歯科技術（歯科医学）など様々な分野で産業上の利用がなされている。ここで、歯科用３次元スキャナは、少なくとも一部が口腔内に挿入される。この「マウスピース」は、例えば光軸を偏光させる鏡やプリズムなどを含む。いくつかのシステムでは、この部分は脱着でき、殺菌可能である。多くのモデルにおいて、帯状光パターンがこの構成部分を用いてスキャン対象物に投影される。帯の偏光はそのため、組み込みのカメラシステムによって検出される。

工業用の３次元スキャナは、上述した帯状光の投影技術に一部基づいている。しばしば、レーザー投影技術が用いられており、その際にはレーザー光が対象物をスキャンし、その変化が検出される。

スマートグラスが仮想現実の分野で用いられている。仮想現実と現実とを切り替える内蔵カメラを有するスマートグラスも存在する。また、透明なプレートに投影することによって現実の情報に重畳することも知られており、使用者はこれを通じて現実を見ることになる。この技術は、例えば航空機や自動車のヘッドアップディスプレイや、グーグルグラス（登録商標）アプリケーションに用いられる。

本発明によれば、３次元スキャンに対する新たなアプローチが選択される。

この目的のために、請求項１に照らして、本発明の３次元画像を取得して処理する装置が提案される。

本発明は、３次元画像を取得して処理する装置に関する。３次元画像を取得して処理する装置の例は光学３次元スキャナである。

本装置は、２つのカメラを有するヘッドアセンブリを備え、各カメラは対応するカメラそれぞれの画像を表示するための付属のモニタを有しており、モニタの光軸が装置使用者の目の光軸と一致するか又は少なくとも使用者の目の光軸と平行に配置できるようになっている。本装置はさらに、カメラ画像のデータ処理のためのデータ処理ユニットを備えている。本装置は、２つのカメラが、同一の絞りと同一のズームによって共通の点に焦点が合うよう相互に同期していることによって特徴付けられる。

本発明の装置は、２つの目による自然な視野によって制御される３次元のスキャンを可能にする。
本発明に係る装置のヘッドアセンブリはグラス（眼鏡）の様に頭部に装着される。２つのカメラはスキャンするべき対象の画像を取り込む。左側のカメラからの画像と右側のカメラからの画像は、左右の目の前に配置された対応するモニタに表示される。

新規な態様は、２つのカメラシステムが目の機能を模倣するように導入されていることである。２つのカメラシステムは共通の点に焦点が合うよう相互に同期している。両方のカメラの絞りとズームも同期される。

両方のカメラが現実の画像を撮影するため、デジタル情報を現実の画像に重ね合わせることができる。また、同期ズームがあるため、現実の拡大画像を表示することができる。この拡大機能は、広い分野への新たな適用を可能にする。したがって、装置は、カメラが少なくとも１０倍の倍率を有するよう設計された際にも顕微鏡の接眼レンズとして使用することができる。

装置の好適な実施形態において、データ処理はカメラ画像の上にデジタル情報を重畳することを含む。

デジタル情報は歯の３次元Ｘ線画像を含んでいても良い。この場合、根管、歯根、神経及び又は血管を表示することができる。

デジタル情報はインプラント設計から少なくとも一部インポートされてもよく、その場合、データ処理には仮想インプラントの表示にカメラ画像を重ね合わせることが含まれる。

仮想インプラントの表示は、この仮想インプラントを延長させたインプラント軸の視覚化を含んでいても良い。

表面の新たな詰め物は透過的に重ね合わせられていても良い。

所望の高さと異なる高さを有する表面の一部の領域を、色分けして表示するようにしても良い。

装置は少なくとも１つの触覚フィードバック手段を含んでいてもよく、触覚フィードバック手段によって仮想モデルを構築するよう設計しても良い。

削られた歯の光学的な立体像を記録するよう装置を設計してもよく、その場合、それは計算機支援モデリングシステム及び／又は計算機支援製造システムに供給される。

データは接続されたコンピュータで処理しても良い。コンピュータはしたがって、カメラ画像を保存することもできる。代替として、又は追加として、カメラ画像を１つ以上の他のモニタに表示させることもできる。

全体のシステムは、データ処理ユニットによって制御することができるが、これは例えば、接続されたコンピュータとして実現される。

ここで、フットスイッチをコンピュータに接続してもよく、これを介することで、フォーカス及び／又は倍率を制御することができる。

コンピュータに接続された別のフットスイッチを、単一の画像又は画像のシーケンスを記録（格納）するために用いても良い。

位置センサは、グラスの位置を検出するためにヘッドアセンブリに含まれていても良い。

使用者は、左側のカメラと右側のカメラとの間でガイドカメラを切り替えても良い。

２つのカメラは使用者の目の光軸上に配置され、個別に調整可能としても良い。

加えて、又は代替として、２つのモニタの位置を使用者に合わせても良い。

本発明のさらなる好適な実施形態は、従属項に記載の他の特徴から明らかとなる。

特定の場合について記載のない限り、本願に記載された本発明の様々な実施形態は、好適に組み合わせることができる。

模式的な形状を示す以下の添付図面を参照して、本発明の実施形態を説明する。
本発明の一実施形態。 図１の実施形態の平面図。 上記実施形態の他の構成要素を示す平面図。 歯画像に重畳された３次元Ｘ線画像。 歯画像に重畳された３次元Ｘ線画像。 歯画像に重畳された３次元Ｘ線画像。 歯画像に重畳された３次元Ｘ線画像。 歯画像に重畳された３次元Ｘ線画像。 歯画像に重畳された３次元Ｘ線画像。 本発明の他の実施形態。 本発明のさらに他の実施形態。

発明の詳細な説明

図１は、本発明の第１実施形態の側面図である。図２は図１の実施形態の平面図である。図３は本実施形態の追加の構成要素も示した平面図である。

光学３次元スキャナなどの３次元画像取得処理装置は、ヘッドアセンブリ６を含む。ヘッドアセンブリ６は使用者の頭部に装置を装着できるようにするものであり、これによって装置は頭部に固定される。ヘッドアセンブリ６は、ヘルメット型、帽子型、ボンネット型あるいはキャップ型とすることができる。また、ヘッドアセンブリ６は、頭又は耳に取り付けるヘッドフォン形状や、鼻と耳に載せるための構成要素によって保持される眼鏡形状とすることも可能である。

ヘッドアセンブリ６は２つのカメラ２と２つのディスプレイ（モニタ）１を含んでいる。両カメラ２及び両ディスプレイ１は「ヘッドアセンブリ」６に取り付け可能である。ヘッドアセンブリ６は、使用者（特にその使用者の目７）に合わせてカスタマイズ可能であり、これによってモニタ１の光軸は装置使用者の目７の光軸と一致するようになっている。両カメラシステム２は共通の焦点４に焦点が当てられる。焦点４の距離は装置によって任意に変更することができる。カメラ２は、カメラシステム２（デジタルズーム）及び／又は光学器３（光学ズーム）のズーム機能を用いて対象物を拡大することができる。フットスイッチ１０はコンピュータに接続され、これによってフォーカス１１及び倍率１２が制御可能となっている。コンピュータは、画像取得手段１３及び／又は映像手段１４のためのフットスイッチも含んでいる。２つのカメラ２とそれらの焦点４との間の距離が既知であることから、対象物は３次元で測定及び／又は取り込みが可能である。加えて、ヘッドアセンブリ６の位置を検出するための位置センサ１５をヘッドアセンブリに装着することが可能である。これらの位置データは、相対的な位置を決定するために他の位置センサのデータを用いて調整することができる。

本発明の工業的応用例は歯科医学である。例えば、本発明は、ＶＲ顕微鏡の接眼レンズに用いられる。その場合、実物がカメラにリアルタイムで記録され、モニタに表示される。拡大された画像をズーム機能によって見ることができる。画像が極端にぼやけることなく、１０倍までの拡大を行うことができる。

ビデオ録画を可能にすることによって、施術者の視点での治療を記録することができる。また、ライブ送信やビデオ録画を可能にすることによって、この機能は訓練目的で使用することもできる。

施術者はライブ画像に情報を重畳することによって外部情報を受け取ることができる。例えば、切断が必要な位置と長さを表示することができる。また、メスが切断位置にない場合に、外部の者がそれを見て修正処置を行うことができる。それによって、ミスカットをより容易に防止することができる。

教官は、自分のＶＲ顕微鏡用グラスを研修生や学生のものに切り替えることもでき、それによって各研究生が見ているものを見ることができる。教官はしたがって、同時に複数の場所にいることができる。教官がどこにいるかは、ビデオ信号がリアルタイムもしくはほぼリアルタイムで得られる限り問題ではない。

図４は、歯の根管治療の際に３次元歯画像上に重畳された３次元Ｘ線画像の例を模式的に示す。３次元Ｘ線画像１７は実歯１６上に重畳される。歯の根管１８及び根管１８の入口１９が表示される。３次元Ｘ線画像が重畳された３次元歯画像はズーム可能であり、入口１９をより簡単に見つけることができる。根管は実歯上に重畳可能である。

図５〜図７は３次元歯画像に重畳されたインプラントの一部としての３次元Ｘ線画像の例を模式的に示す。３次元Ｘ線画像を実状況に重畳する際には、インプラント設計２０が含まれる。そのため、使用者は実歯１６と実歯１６の間のインプラント２０を仮想的に見ることになる。インプラント軸２１はインプラントの延長として示される。その結果、使用者はインプラント用ドリル軸２２をインプラント軸２１と一致させるように容易に置くことができる。したがって使用者は、インプラントを正しい向き、正しい位置に配置するために必要なドリル穴を設けるためのインプラント軸２１がインプラント用ドリル軸２２と一致するよう、このインプラント用ドリル軸２２を容易に位置づけることができる。インプラント設計ソフトウェアを使用することにより、使用するインプラント用ドリルは適切な空間的配向で仮想的に漸次表示される。そのため、実際に穴を開ける際には、実際のドリルを仮想ドリル２３に重ね合わせるだけで良い。ただし、患者と３次元Ｘ線画像の重ね合わせのためだけではなく、これら及び他の用途のために、ＶＲグラスの位置及び患者の位置を知る必要がある。これは、位置センサ１５を用いることで達成される。加えて、又は位置センサの代替として、例えば光学パターンを有する球体又は物体等のマーカーをモデルベースに取り付けることも可能であり、これによってモデルキャリアの位置を計算することができる。

神経や大きな血管などの脆弱な領域を、外科的処置の間に表示させるようにしても良い。必要な情報は、以前の診断又はモデルから取得することができる。

詰め物を配置する際には、削られた歯の新たな詰め物の表面は、いわゆる歯のデータベースに基づく削られた歯の３次元像を使用して算出することができる。この表面は透過的に重ねあわせても良い。詰め物をモデル化することにより、モデル化された表面が低すぎる場合も高すぎる場合も符号化することができる。これは、同期拡大と併せて行うこともでき、それによって、例えば神経などの歯の敏感な領域を３次元Ｘ線画像を用いて追加で表示させることができる。

図８は、歯の研磨（準備）に関連して、３次元Ｘ線画像が重ね合わせられた３次元歯画像の例を模式的に示す。差し歯（crown）／架工義歯（bridge）又は一部被覆冠２４のために歯１６を削る際には、除去した最適な歯牙構造を、続いて使用される材料が導入された後に表示することができる。このことは、一方では穏やかに働くことで歯質へのダメージを最小限にし、他方では材料に依存する安定性を確保するために適切な材料を取り除くことを可能にする。また、色分け２６をここで使用することもできる。３次元Ｘ線画像からのデータは、この場合にも歯の神経１８を重畳するために使用することができる。また、アンダーカット２５なしでも、差し歯／ブリッジを付けるために歯が平行に削られたかどうかを視覚的に確認し、表示することができる。

図９は、歯科医学との関連で３次元歯画像が重ね合わされた３次元Ｘ線画像の例を模式的に示す。触覚フィードバック手段３０に関連して（と併せて）、義歯を患者３１（の）モデルに仮想的に構築することができ、構築物３２は実モデルに仮想的に重畳される。歯科技工士は、位置センサ１５を用いてモデルを全方向に回転させることができ、その際には、仮想モデル３２の正確な表示が常に実モデル上に示されるようになっている。加えて、又は位置センサの代替として、例えば光学パターンを有する球体又は物体等のマーカーをモデルベースに取り付けることも可能であり、これによってモデルキャリアの位置を計算することができる。センサは、無線回線などの有線及び／又は無線接続によってコンピュータと接続される。もちろん、この場合表示を拡大することもできる。歯のデータベースもまた、色分け（カラーコーディング）とともに表示可能である。機能についての追加の情報、例えば下顎の動きなどを重ね合わせて表示することもできる。例えば、下顎の動きによって妨害される歯の領域を表示し、また色分けすることができる。

ＶＲ顕微鏡用グラスは、削られた歯を記録するための３次元カメラとして使用することで光学像を作成する事もできる。可能な限り拡大することによって、差し歯のマージンをはるかに正確に光学的に検出して表示することができる。こうして記録された画像データ又はビデオシーケンスデータはＳＴＬデータ形式に変換でき、これによって任意の市販のＣＡＤ／ＣＡＭプログラムで処理することが可能となる。

一実施形態では、顕微鏡の接眼レンズが目とディスプレイとの間の距離を調整可能とする点でも、技術的に特徴付けられる。２つのカメラシステム間の距離も可変に調整することができ、使用者は、左右の目の距離が合うようにそれらを調整することができる。

ただし、２カメラシステムは、必ずしも電気的に相互に同期させる必要はない。

２つのカメラシステムの光軸は、それらが水平方向に対して互いに平行又は互いに相対的に傾斜することで互いに相対的に位置合わせされる。その結果、２つの光軸は、システムの前方に位置する共通の焦点を有することになるが、その距離は例えば１５ｃｍから無限大の間である。垂直方向では、光軸は水平又は８０°までの下向きの角度のいずれかである。

本発明の他の実施形態においては、２つのディスプレイの代わりに、カメラ画像が投影される半透明の光学グラスを有するようにシステムを構成しても良い。これは図１０に模式的に示される。この場合、技術的な視覚システムはなく、使用者は透過型グラス４０（サングラスと類似）を通して自らの目７のみで見ることになるため、基本モードにおいて倍率を増加させることはできない。そして、仮想情報は透過型グラス４０に投影される。情報の正確な重ね合わせは、投影された情報と見ている対象とが同一の大きさである場合にのみ機能する。ヘッドアセンブリ６はピボット点４１の周りに回転可能なアーム４２を有しており、このアーム４２にはカメラ２が配置されている。

顕微鏡モードをオンにする、すなわち情報が拡大されて表示されると、半透明の光学グラス４０は自動的に完全に暗色化され、仮想情報と連動したカメラシステムの画像がその完全に不透明になったグラス４０に表示又は投影される。このグラスでは、カメラシステム２を目の光軸と一致するように取り付けることはできず、その代わり目の横、上又は下のいずれかに装着される。それ以外の点については、上述したものと同じ規則がこのカメラシステムに適用される。

図１１に模式的に示される本発明のさらに他の実施形態では、光学系の分離について検討する。この場合、光学記録装置２は空間的に表示システム１から分離される。この例では、光学記録装置２はＯＰランプ又は三脚５０に取り付けることが可能であり、その際、情報は情報表示装置１に表示されている。ここで、眼球運動や視線方向が対応するセンサによって検出されるように表示システムを補正することができ、光学記録システムはそれに応じて適合される。その適合には、２カメラシステムの光軸と焦点位置の位置合わせが含まれる。

これらは単なる歯科医学と歯科技術への適応の例である。他の医学分野においても、製造の場合と同様に、多くの用途やプロセスは類似している。本発明に係る装置は、例えば消防又は軍事用途のためのヘルメットの一部として実装することができる。ヘルメットは、追加機能を備えるカメラにより着用者により高い安全性を提供する。機能的特徴には、全てを列挙するわけではないが、ズームや視野の拡大、構築計画及び構造内における自らの位置の表示、構築計画及び構造内における自らの位置の表示、同僚の表示、カラーフィルタ及び赤外線ディスプレイの使用が含まれる。

Claims (10)

1. ３次元画像を取得して処理する装置であって、
   ２つのカメラ２を有するヘッドアセンブリ６と、カメラ画像のデータ処理のためのデータ処理ユニット８とを備え、各カメラは付属のモニタ１を有しており、
   前記ヘッドアセンブリ６は、対応するカメラ２の対応する画像を表示するよう構成され、前記モニタの光軸５が装置使用者の目７の光軸と一致するか又は少なくとも（前記使用者の目の光軸と）平行に配置できるようになっており、
   前記２つのカメラ２は、同一の絞り及び同一のズームによって共通の点４に焦点が合うよう相互に同期している、３次元画像を取得して処理する装置。
2. 前記データ処理が前記カメラ画像とともにデジタル情報を重畳することを含む、請求項１に記載の装置。
3. 前記デジタル情報が歯の３次元Ｘ線画像を含む、請求項２に記載の装置。
4. 根管１８、歯根、神経及び又は血管が表示される、請求項３に記載の装置。
5. 前記デジタル情報がインプラント計画２０から少なくとも一部インポートされ、前記データ処理がカメラ画像とともに仮想インプラントの表示を重ね合わせる、請求項２〜請求項４のいずれかに記載の装置。
6. 前記仮想インプラントの表示が、当該仮想インプラントを延長させたインプラント軸の視覚化を含む、請求項５に記載の装置。
7. 表面の新たな詰め物が透過的に重畳される、請求項２〜請求項６のいずれかに記載の装置。
8. 所望の高さと異なる高さを有する前記表面の一部領域が色分されて表示される、請求項７に記載の装置。
9. 前記装置が少なくとも１つの触覚フィードバック手段を含み、前記触覚フィードバック手段によって仮想モデルを構築するよう設計される、請求項２〜請求項８のいずれかに記載の装置。
10. 前記装置が削られた歯の光学的な立体感を記録するよう設計され、計算機支援モデリングシステム及び／又は計算機支援製造システムに供給される、請求項１〜９のいずれかに記載の装置。