JP2019141261A - 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム - Google Patents

Abstract

【課題】歯科治療のミスを低減することができる情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラムを提供する。【解決手段】歯科治療中の術者に治療に関連する情報を表示する情報表示装置４であって、情報表示装置４は、記憶部４４と、撮影部４１と、表示部４２と、制御部４５と、を備えており、記憶部４４は、Ｘ線を用いて患者の歯列の少なくとも一部を撮影したＸ線歯列画像を記憶しており、制御部４５は、撮影部４１によって撮影した治療中の患者の歯列を抽出し、前記Ｘ線歯列画像を当該歯列に重ねた状態で表示部４２に表示するＸ線歯列画像付加部４５ｃを備える。【選択図】図８

Description

本発明は、情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラムに係り、特に、歯科治療に関する情報を拡張現実（ＡＲ：Augmented Reality）の技術を用いて表示する情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラムに関する。

従来、特許文献１のように、術者の頭部に搭載可能なヘッドマウントディスプレイ装置であって、頭部に搭載された場合に術者の視野内に入るディスプレイを有するものが知られている。このディスプレイには歯科治療に必要な情報が表示され、術者が目線をディスプレイに動かすことだけで必要な情報を読み取ることができる。

特開２０００−０６０８７６号公報（請求項１、段落［０００９］）

しかし、特許文献１に示すヘッドマウントディスプレイ装置では、歯科治療を行う患者の口腔とディスプレイとを交互に見ながら治療を進めなければならない。そのため、術者の思い込みによる治療対象歯の誤認や目視不可能な埋伏歯の誤抜歯などが起こる可能性があった。

本発明は、前記した事情に鑑みてなされたものであり、歯科治療のミスを低減することができる情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラムを提供することを課題とする。

前記課題を解決するため、歯科治療中の術者に治療に関連する情報を表示する情報表示装置であって、前記情報表示装置は、記憶部と、撮影部と、表示部と、制御部と、を備えており、前記記憶部は、Ｘ線を用いて患者の歯列の少なくとも一部を撮影したＸ線歯列画像を記憶しており、前記制御部は、前記撮影部によって撮影した治療中の患者の歯列を抽出し、前記Ｘ線歯列画像を当該歯列に重ねた状態で前記表示部に表示するＸ線歯列画像付加部を備える。

本発明は、歯科治療のミスを低減することができる。

本発明の第１の実施形態に係る情報表示システムの概略構成図である。 本発明の第１の実施形態に係るＸ線ＣＴ（Computer Tomography）装置の外観斜視図である。 Ｘ線ＣＴ装置による撮影状況を示す図である。 Ｘ線ＣＴ画像の模式図である。 本発明の第１の実施形態に係る管理用端末のブロック図である。 治療シミュレーションを行った後のＸ線ＣＴ画像の模式図である。 治療を行っている状況を示す図である。 本発明の第１の実施形態に係る情報表示装置のブロック図である。 Ｘ線ＣＴ画像のオーバーレイ表示の例示である。 本発明の第１の実施形態に係る情報表示システムの動作を示すフローチャートである。 本発明の第１の実施形態に係る情報表示システムの動作を示すフローチャートである。 本発明の第２の実施形態に係る情報表示システムの概略構成図である。 Ｘ線ＣＴ装置による撮影状況を示す図である。 Ｘ線ＣＴ画像の模式図である。 本発明の第２の実施形態に係る管理用端末のブロック図である。 本発明の第２の実施形態に係る情報表示装置のブロック図である。 Ｘ線ＣＴ画像のオーバーレイ表示の例示である。 本発明の第２の実施形態に係る情報表示システムの動作を示すフローチャートである。 本発明の第２の実施形態に係る情報表示システムの動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態について詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［第１の実施形態］
本発明の第１の実施形態に係る情報表示システム１について、図１から図１１を参照しながら詳細に説明する。

情報表示システム１は、拡張現実（ＡＲ：Augmented Reality）の技術を利用して、Ｘ線を用いて患者の口腔内を撮影したＸ線画像（特に、歯列を撮影したＸ線歯列画像）を治療中の患者にオーバーレイ表示するものである。ここでのオーバーレイ表示は、治療中に術者が装着する情報表示装置４を介して行われる。Ｘ線画像は、３次元画像又は２次元画像であってよく、また歯列の一部（例えば、特定の歯）を撮影した画像であってもよい。

情報表示システム１では、Ｘ線画像に加えて治療シミュレーションの内容をオーバーレイ表示することもできる。ここでの治療シミュレーションは、例えば、インプラント治療におけるボルトのサイズが適切か否かを判定するものである。治療シミュレーションの内容は、Ｘ線画像に組み込まれていてもよいし、Ｘ線画像とは別の画像（治療シミュレーション画像）であってもよい。

＜全体構成＞
情報表示システム１は、例えば、図１に示すように、患者の口腔（特に、歯列）を撮影するＸ線ＣＴ（Computer Tomography）装置２と、患者の情報を管理する管理用端末３と、Ｘ線画像をオーバーレイ表示する情報表示装置４と、を備えている。

＜Ｘ線ＣＴ装置＞
Ｘ線ＣＴ装置２は、例えば、図２に示すように、本体部２１と、昇降部２２と、スキャナ２３と、を備えている。

本体部２１は、Ｘ線ＣＴ装置２の本体となる部分である。本体部２１は、土台２１ａと、土台２１ａの後部に垂設された柱部２１ｂと、土台２１ａの前部に設置された患者用の椅子２１ｃと、患者の頭部を固定する頭部固定機構２１ｄとを備える。なお、図２では患者の図示を省略している。

頭部固定機構２１ｄは、摺動運動と回転運動とを組み合わせた構造になっており、リンク２１ｄａ，２１ｄｂ，２１ｄｃを備えたリンク機構として構成されている。リンク２１ｄｃの先端には患者の頭部を固定する患者固定具２１ｄｄが設けられている。頭部固定機構２１ｄによって患者の頭部を固定した状態を図３に示す。

昇降部２２は、柱部２１ｂを昇降する構成要素である。昇降部２２は、スキャナ２３を支持するスキャナ支持部２２ａと、スキャナ２３の位置を患者の口腔に合わせるための位置付け部２２ｂと、可視光線を用いて患者の顔を撮影する可視光カメラ２２ｃと、を備えている。

スキャナ支持部２２ａの内部には、スキャナ２３を回動させる回動機構が収納されており、上下方向を回転軸としてスキャナ２３を回動させる。

位置付け部２２ｂは、前方に位置合わせ用のビーム（例えば、レーザ光線）を照射する部分である。位置付け部２２ｂから照射されるビームは、前後および左右の線分で構成される平面（水平面）に対して平行であり、スキャナ２３の上下方向の位置合わせに使用される。

可視光カメラ２２ｃは、可視光線を用いて患者の顔を撮影する構成要素である。可視光カメラ２２ｃは、例えば、患者の顔を正面から撮影し、患者を正面から観た顔貌（正貌）の顔貌画像Ｐａを作成する。可視光カメラ２２ｃで撮影した顔貌画像Ｐａは、患者を特定するために使用される。なお、顔貌画像Ｐａは、例えば、患者の目、鼻、口、耳などの形状や配置が分かるものであればよく、患者を撮影する方向やタイミングは特に限定されない。

スキャナ２３は、Ｘ線を用いて患者の口腔内（特に、上顎歯列及び下顎歯列）を撮影する構成要素である。スキャナ２３は、Ｘ線源とＸ線撮像手段とを内部に備えており、回動しながら撮影を行うことが可能である。スキャナ２３が回動しながら撮影した画像データを合わせることで、上顎歯列及び下顎歯列の３次元のボリュームデータであるＸ線ＣＴ画像Ｑａとなる（図４参照）。このＸ線ＣＴ画像Ｑａは、上顎骨側画像Ｑａａと、下顎骨側画像Ｑａｂとで構成されている。

＜管理用端末＞
管理用端末３は、管理用のＰＣ（Personal Computer）であり、例えば、図５に示すように、入力部３１と、表示部３２と、通信部３３と、記憶部３４と、制御部３５と、を備えている。

入力部３１は、例えばキーボードやマウスであり、術者によって様々な情報が入力される。表示部３２は、例えば液晶ディスプレイであり、術者に対して様々な情報を表示する。通信部３３は、例えば有線又は無線通信モジュールであり、Ｘ線ＣＴ装置２や情報表示装置４との間で様々な情報を通信する（図１参照）。

記憶部３４は、例えばＨＤＤ（hard disk drive）やメモリであって、患者情報ＤＢ３４ａが記憶されている。患者情報ＤＢ３４ａには、患者に関する情報（Ｘ線ＣＴ画像Ｑａのオーバーレイ表示に必要な情報を含む）が記憶されている。患者情報ＤＢ３４ａは、例えば、患者識別情報（例えば、一意の番号）に対応づけて患者の氏名、年齢、性別などの情報が登録されている。また、患者識別情報に対応づけて患者の顔貌画像Ｐａ、顔貌画像の特徴点、Ｘ線ＣＴ画像Ｑａ、Ｘ線ＣＴ画像の特徴点などが登録されている。なお、患者情報ＤＢ３４ａには、治療シミュレーションを行ったことを示すフラグや治療シミュレーションの内容が登録されていてもよい。また、これらの情報の一部または全部は、管理用端末３以外の装置に記憶され、管理用端末３が必要に応じてネットワークを介して情報を取得してもよい。

制御部３５は、例えばＣＰＵ（Central Processing Unit）であって、プログラム実行処理によって患者情報管理部３５ａと、治療シミュレーション処理部３５ｂと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部３４に格納される。なお、これらのプログラムは、管理用端末３以外の装置に記憶され、管理用端末３が必要に応じてネットワークを介してプログラムを取得してもよい。

患者情報管理部３５ａは、患者情報ＤＢ３４ａに関する処理を行う。患者情報管理部３５ａは、例えば、術者によって入力された患者の情報を患者情報ＤＢ３４ａに登録する。また、患者情報管理部３５ａは、Ｘ線ＣＴ装置２から顔貌画像Ｐａ及びＸ線ＣＴ画像Ｑａを受信し、患者識別情報に対応付けて顔貌画像Ｐａ及びＸ線ＣＴ画像Ｑａを患者情報ＤＢ３４ａに登録する。また、患者情報管理部３５ａは、顔貌画像Ｐａ及びＸ線ＣＴ画像Ｑａからそれぞれ特徴点を抽出し、患者識別情報に対応付けて顔貌画像Ｐａの特徴点及びＸ線ＣＴ画像Ｑａの特徴点を患者情報ＤＢ３４ａに登録する。

治療シミュレーション処理部３５ｂは、歯科治療のシミュレーションを実現するものである。歯科治療のシミュレーションは、例えば、インプラント治療におけるボルトのサイズが適切か否かを判定するものであり、術者の操作によってＸ線ＣＴ画像Ｑａを用いて行われる。治療シミュレーション処理部３５ｂは、治療シミュレーションの内容を患者情報ＤＢ３４ａ（特に、Ｘ線ＣＴ画像Ｑａ）に登録する。Ｘ線ＣＴ画像Ｑａに治療シミュレーション画像Ｒａを組み込んだ状態を図６に示す。ここでの治療シミュレーション画像Ｒａは人工歯（デンタルインプラント）である。

＜情報表示装置＞
情報表示装置４は、Ｘ線ＣＴ画像Ｑａを治療中の患者に重ねて表示（オーバーレイ表示）するものである。情報表示装置４は、拡張現実技術を用いてＸ線ＣＴ画像Ｑａをオーバーレイ表示できるものであればよく、特に種類を限定するものではない。情報表示装置４は、例えば、図７に示すように、術者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）や手に持って操作するモバイル端末などである。ここでは、情報表示装置４として、ビデオキャプチャを用いて信号レベルで画像にＸ線ＣＴ画像Ｑａを合成する方式（ビデオシースルー方式）のヘッドマウントディスプレイを想定して説明する。

情報表示装置４は、例えば、図８に示すように、撮影部４１と、表示部４２と、通信部４３と、記憶部４４と、制御部４５と、を備えている。なお、制御部４５は、特許請求の範囲の「制御手段」の一例である。

撮影部４１は、例えばＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサやＣＣＤ（Charged-coupled devices）イメージセンサを備えるカメラである。撮影部４１は、術者に装着された状態で術者の目線方向の映像（画像を含む。以下同じ。）を撮影するように設置されている。

表示部４２は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。表示部４２は、術者に装着された状態で術者の視野を遮るように配置されている。表示部４２には、撮影部４１で撮影された映像が表示される。また、表示部４２には、撮影部４１で撮影された患者の映像に重ねてＸ線ＣＴ画像Ｑａがオーバーレイ表示される（図９参照）。Ｘ線ＣＴ画像Ｑａのオーバーレイ表示方法は特に限定されるものではなく、撮影部４１で撮影された患者の映像とＸ線ＣＴ画像Ｑａとが判別可能に表示されるものであればよい。例えば、表示部４２には、Ｘ線ＣＴ画像Ｑａを半透明の状態でオーバーレイ表示される。

通信部４３は、例えば有線又は無線通信モジュールであり、管理用端末３との間で様々な情報を通信する（図１参照）。

記憶部４４は、例えばメモリであって、付加情報ＤＢ４４ａが記憶されている。付加情報ＤＢ４４ａには、Ｘ線ＣＴ画像Ｑａのオーバーレイ表示に必要な情報が記憶されている。付加情報ＤＢ４４ａには、例えば、患者情報ＤＢ３４ａに記憶される情報の内で治療を行う患者の情報が登録されている。

制御部４５は、例えばＣＰＵ（Central Processing Unit）であって、プログラム実行処理によって患者認識部４５ａと、Ｘ線歯列画像取得部４５ｂと、Ｘ線歯列画像付加部４５ｃと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部４４に格納される。なお、これらのプログラムは、情報表示装置４以外の装置に記憶され、情報表示装置４が必要に応じてネットワークを介してプログラムを取得してもよい。

患者認識部４５ａは、撮影部４１によって撮影された顔貌画像Ｐｂ（例えば、治療開始時の画像であり映像の一部）から患者の顔貌の特徴点を抽出し、その情報をキーにして患者情報ＤＢ３４ａを検索して該当する患者を判別する。

Ｘ線歯列画像取得部４５ｂは、判別した患者に紐付いたＸ線ＣＴ画像ＱａおよびＸ線ＣＴ画像Ｑａの特徴点を管理用端末３から取得し、取得したこれらの情報を付加情報ＤＢ４４ａに登録する。

Ｘ線歯列画像付加部４５ｃは、撮影部４１によって撮影された顔貌画像Ｐｃ（例えば、治療中の画像であり映像の一部）から患者の歯列形状の特徴点を抽出する。特徴点を抽出する範囲は特に限定されない。例えば、全ての歯の特徴点を抽出してもよいし、数本の歯の特徴点を抽出してもよい。上顎および下顎の何れか一方を患者に重ねて表示する場合、Ｘ線歯列画像付加部４５ｃは、表示する上顎または下顎の歯列形状の特徴点を抽出する。また、上顎および下顎の両方を患者に重ねて表示する場合、Ｘ線歯列画像付加部４５ｃは、上顎および下顎のそれぞれから特徴点を抽出するのがよい。なお、一本の歯の特徴点を抽出してもよいが、その後のマッチング処理の精度を考えた場合に、複数本の歯の特徴点を抽出するのが望ましい。

また、Ｘ線歯列画像付加部４５ｃは、Ｘ線ＣＴ画像Ｑａと顔貌画像Ｐｃに写る歯列の特徴点とをマッチングし、マッチングの結果にしたがって患者の歯列上にＸ線ＣＴ画像Ｑａをオーバーレイ表示する（図９参照）。Ｘ線歯列画像付加部４５ｃは、顔貌画像Ｐｃに写る歯列とＸ線ＣＴ画像Ｑａとが判別可能にオーバーレイ表示すればよく、例えば、Ｘ線ＣＴ画像Ｑａを半透明の状態で表示する。Ｘ線歯列画像付加部４５ｃは、オーバーレイ表示に際して、顔貌画像Ｐｃにおける口の開き方に合わせて、Ｘ線ＣＴ画像Ｑａにおける上顎骨側画像Ｑａａと下顎骨側画像Ｑａｂとの位置を調整するのがよい。Ｘ線歯列画像付加部４５ｃは、治療シミュレーション画像Ｒａ（図６参照）を顔貌画像Ｐｃに写る歯列にさらにオーバーレイ表示してもよい。なお、オーバーレイ表示したＸ線ＣＴ画像Ｑａは、例えば、術者の操作によって表示／非表示の切り換えを行えるようにしてもよい。

本実施形態では管理用端末３と情報表示装置４とを別々の装置として説明したが、情報表示装置４に管理用端末３の一部又は全部の機能が含まれていてもよい。つまり、情報表示装置４が、患者情報ＤＢ３４ａ、患者情報管理部３５ａ、治療シミュレーション処理部３５ｂなどの機能を備えていてもよい。

＜第１の実施形態に係る情報表示システムの動作＞
次に、本発明の第１の実施形態に係る情報表示システム１の動作について、図１０から図１１を参照しながら詳細に説明する（適宜、図１から図９を参照）。ここでは、情報表示システム１の動作を「事前処理（図１０参照）」と「治療時処理（図１１参照）」との二つに分けて説明を行う。

≪事前処理≫
＜Ｓ１：患者情報登録＞
最初に、術者は、管理用端末３を操作して、患者の情報の登録を行う（Ｓ１）。この処理では、例えば、患者の氏名、年齢、性別などの情報が入力され、これらの情報に患者識別情報（例えば、一意の番号）を対応づけて管理用端末３の患者情報ＤＢ３４ａに登録する。

＜Ｓ２：顔貌撮影＞
次に、術者は患者をＸ線ＣＴ装置２に誘導し、可視光カメラ２２ｃを用いて患者の顔貌の撮影を行う（Ｓ２）。この処理で撮影された患者の顔貌画像Ｐａは、管理用端末３に送られる。

＜Ｓ３：顔貌画像の特徴点抽出＞
次に、管理用端末３の患者情報管理部３５ａは、可視光カメラ２２ｃによって撮影された患者の顔貌画像Ｐａの特徴点を抽出する（Ｓ３）。

＜Ｓ４：Ｘ線ＣＴ撮影＞
次に、術者は、スキャナ２３を用いて患者の口腔内の撮影を行う（Ｓ４）。この処理で撮影されたＸ線ＣＴ画像Ｑａは、管理用端末３に送られる。

＜Ｓ５：Ｘ線ＣＴ画像の特徴点抽出＞
次に、管理用端末３の患者情報管理部３５ａは、患者の口腔内のＸ線ＣＴ画像Ｑａの特徴点を抽出する（Ｓ５）。

＜Ｓ６：データの紐付け＞
次に、管理用端末３の患者情報管理部３５ａは、患者識別情報に対応づけて、顔貌画像Ｐａ、顔貌画像Ｐａの特徴点、Ｘ線ＣＴ画像Ｑａ、Ｘ線ＣＴ画像Ｑａの特徴点を患者情報ＤＢ３４ａに記憶する。つまり、ここでは、顔貌画像Ｐａに関する情報とＸ線ＣＴ画像Ｑａに関する情報との紐付けが行われる（Ｓ６）。

＜Ｓ７，Ｓ８：治療シミュレーション＞
次に、術者は、治療シミュレーションの実施が必要であるか否かを判断し、必要に応じて撮影したＸ線ＣＴ画像Ｑａを用いてシミュレーションを行う（Ｓ７，Ｓ８）。これにより、Ｘ線ＣＴ画像Ｑａには、治療シミュレーション画像Ｒａが組み込まれる。治療シミュレーションを行った場合に、治療シミュレーション後のＸ線ＣＴ画像Ｑａの特徴点を再度抽出するようにしてもよい。

治療シミュレーション画像ＲａをＸ線ＣＴ画像Ｑａに組み込まずに、Ｘ線ＣＴ画像Ｑａと治療シミュレーション画像Ｒａとを別々の情報として管理してもよい。その場合、患者識別情報に対応付けて治療シミュレーション画像Ｒａを管理する。

なお、ここでは患者の顔貌の撮影を行った後にＸ線ＣＴ撮影を行う場合を示しているが、これらの処理の順番は特に限定されない。例えば、Ｘ線ＣＴ撮影を行った後に顔貌の撮影を行ってもよいし、顔貌の撮影とＸ線ＣＴ撮影とを同時に行ってもよい。また、顔貌画像ＰａやＸ線ＣＴ画像Ｑａの特徴点を抽出するタイミングもここで示したものに限定されない。

≪治療時処理≫
＜Ｓ１１：患者の確認＞
図１０に示す事前処理に続いて、術者は、患者を図示しない歯科用医療機器（例えば、診察台）に誘導する。そして、術者は、情報表示装置４（デバイス）を装着した状態で患者の顔を見る。情報表示装置４の撮影部４１は、術者の目線方向にある患者の顔貌の映像を撮影する（Ｓ１１）。

＜Ｓ１２：患者の判別＞
次に、情報表示装置４の患者認識部４５ａは、情報表示装置４の撮影部４１によって撮影された顔貌画像Ｐｂから患者の顔貌の特徴点を抽出し、その情報をキーにして患者情報ＤＢ３４ａを検索して該当する患者を判別する（Ｓ１２）。

なお、情報表示装置４の撮影部４１によって撮影された顔貌画像Ｐｂを管理用端末３に送信し、管理用端末３が患者の顔貌の特徴点を抽出してもよい。

＜Ｓ１３：該当する患者のＸ線ＣＴ画像の呼び出し＞
次に、情報表示装置４のＸ線歯列画像取得部４５ｂは、管理用端末３から判別した患者に紐付いたＸ線ＣＴ画像ＱａおよびＸ線ＣＴ画像Ｑａの特徴点を取得する（Ｓ１３）。

＜Ｓ１４：歯列形状の特徴点抽出＞
次に、術者は、患者に口を開いてもらい、情報表示装置４の撮影部４１は、術者の目線方向にある患者の顔貌画像Ｐｃ（歯列の映像を含む）を撮影する。情報表示装置４のＸ線歯列画像付加部４５ｃは、顔貌画像Ｐｃに写る歯列形状から特徴点を抽出する（Ｓ１４）。

＜Ｓ１５：特徴点のマッチング＞
次に、情報表示装置４のＸ線歯列画像付加部４５ｃは、Ｘ線ＣＴ画像Ｑａの特徴点と顔貌画像Ｐｃに写る患者の歯列の特徴点とをマッチングする（Ｓ１５）。

＜Ｓ１６：Ｘ線ＣＴ画像のオーバーレイ表示＞
次に、情報表示装置４のＸ線歯列画像付加部４５ｃは、マッチングの結果にしたがって患者の歯列上にＸ線ＣＴ画像Ｑａをオーバーレイ表示する（Ｓ１６）。

以上のように構成された本発明の第１の実施形態に係る情報表示システム１は、以下のような作用効果を奏する。
つまり、情報表示システム１は、拡張現実技術を用いて、患者の口腔内を撮影した映像（顔貌画像Ｐｃ）に写る歯列にＸ線ＣＴ画像Ｑａを重ねて表示する。そのため、術者の思い込みによる治療対象歯の誤認や目視不可能な埋伏歯の誤抜歯などの歯科治療のミスを低減することができる。また、術者がＸ線ＣＴ画像Ｑａを確認する場合でも視線を患者の口腔内から外す必要がないので、実際に見ている歯とＸ線ＣＴ画像Ｑａに写る歯との対応を瞬時に把握することができる。そのため、術者の負担を軽減することができる。

また、情報表示システム１では、治療中に撮影した映像（顔貌画像Ｐｃ）に写る患者の歯列の特徴点と、事前に撮影したＸ線ＣＴ画像Ｑａの特徴点とをマッチングすることで歯列にＸ線ＣＴ画像Ｑａを重ねて表示する。そのため、事前の準備が簡易である。

また、情報表示システム１では、上顎および下顎の何れか一方を患者に重ねて表示する場合、Ｘ線歯列画像付加部４５ｃは、表示する上顎または下顎の歯列形状の特徴点を抽出する。また、上顎および下顎の両方を患者に重ねて表示する場合、Ｘ線歯列画像付加部４５ｃは、上顎および下顎のそれぞれから特徴点を抽出する。そのため、歯列の特徴点と、Ｘ線ＣＴ画像Ｑａの特徴点とをマッチングすることで、Ｘ線ＣＴ画像Ｑａを口の開閉動作に追随させることができる。

また、情報表示システム１では、治療開始時に撮影した映像（顔貌画像Ｐｂ）に写る患者の顔貌の特徴点と、事前に撮影した顔貌画像Ｐａの特徴点とを比較することで治療を行う患者を特定する。そして、その特定した患者のＸ線ＣＴ画像Ｑａを取得し、取得したＸ線ＣＴ画像Ｑａを歯列に重ねて表示する。つまり、術者が、治療開始時に患者の顔を撮影することで正確に患者を特定することが可能である。そのため、術者が患者の特定を行う必要がなく、術者の負担を軽減することができる。

［第２の実施形態］
本発明の第２の実施形態に係る情報表示システム１Ａについて、図１２から図１９を参照しながら詳細に説明する。

第１の実施形態に係る情報表示システム１では、治療中に撮影した映像（顔貌画像Ｐｃ）に写る患者の歯列の特徴点と、事前に撮影したＸ線ＣＴ画像Ｑａの特徴点とをマッチングすることで歯列にＸ線ＣＴ画像Ｑａを重ねて表示していた。本実施形態では、患者の顔にマーカＭｎを付した状態でＸ線ＣＴ画像Ｑａを事前に撮影し、治療中に撮影した映像（顔貌画像Ｐｃ）に写るマーカＭｎと、事前に撮影したＸ線ＣＴ画像Ｑａに写るマーカＭｎとをマッチングすることで歯列にＸ線ＣＴ画像Ｑａを重ねて表示する。

また、第１の実施形態に係る情報表示システム１では、治療開始時に撮影した映像（顔貌画像Ｐｂ）に写る患者の顔貌の特徴点と、事前に撮影した顔貌画像Ｐａの特徴点とを比較することで治療を行う患者を特定していた。本実施形態でも第１の実施形態と同様の方法により治療を行う患者を特定することも可能であるが、ここではマーカＭｎに患者を特定する情報を付しておき、治療開始時に撮影した映像（顔貌画像Ｐｂ）に写るマーカＭｎに付される情報を読み取ることで患者を特定する。

第２の実施形態に係る情報表示システム１Ａは、例えば、図１２に示すように、患者の口腔（特に、歯列）を撮影するＸ線ＣＴ装置２と、患者の情報を管理する管理用端末３Ａと、Ｘ線画像をオーバーレイ表示する情報表示装置４Ａと、を備えている。また、患者にはマーカＭｎが付されている。以下では、第１の実施形態と相違する部分を中心に説明する。

＜Ｘ線ＣＴ装置＞
Ｘ線ＣＴ装置２は、可視光カメラ２２ｃによる患者の顔貌画像Ｐａの撮影を行わず、スキャナ２３を用いてマーカＭｎを付した患者のＸ線ＣＴ画像Ｑａの撮影のみを行う。第２の実施形態におけるＸ線ＣＴ画像Ｑａの撮影風景を図１３に示す。また、第２の実施形態におけるＸ線ＣＴ画像Ｑａを図１４に示す。

マーカＭｎは、Ｘ線を透過しない材料で製造されているのがよく、見る方向によってマーカＭｎの見え方（形状）が変化するものが望ましい。そのため、マーカＭｎは、例えば、球状よりも直方体状であるのがよい。

マーカＭｎの数やマーカＭｎを固定する位置は任意に設定することができる。なお、マーカＭｎの数が一つだと口の開閉に対応できない（口を開いているのか閉じているのかが分からない）ので、口の開閉動作に追随できるように、上顎及び下顎に少なくとも一つ以上のマーカＭｎを固定するのが好ましい。また、マーカＭｎを固定する位置は、口を開閉させた場合に歯列に対する位置が動かない部分（距離が一定である部分）であると共に、治療の邪魔にならない場所であるのが好ましい。そのため、例えば、図１３に示すように、マーカＭｎを鼻及び顎先に一つずつ固定するとよい。

＜管理用端末＞
管理用端末３Ａは、管理用のＰＣ（Personal Computer）であり、例えば、図１５に示すように、入力部３１と、表示部３２と、通信部３３と、記憶部３４と、制御部３５と、を備えている。

記憶部３４は、例えばＨＤＤ（hard disk drive）やメモリであって、患者情報ＤＢ３４ａＡが記憶されている。患者情報ＤＢ３４ａＡには、患者に関する情報（Ｘ線ＣＴ画像Ｑａのオーバーレイ表示に必要な情報を含む）が記憶されている。患者情報ＤＢ３４ａＡは、例えば、患者識別情報（例えば、一意の番号）に対応づけて患者の氏名、年齢、性別などの情報が登録されている。また、患者識別情報に対応づけて患者のＸ線ＣＴ画像Ｑａなどが登録されている。なお、患者情報ＤＢ３４ａには、治療シミュレーションを行ったことを示すフラグや治療シミュレーションの内容が登録されていてもよい。また、これらの情報の一部または全部は、管理用端末３Ａ以外の装置に記憶され、管理用端末３Ａが必要に応じてネットワークを介して情報を取得してもよい。

制御部３５は、例えばＣＰＵ（Central Processing Unit）であって、プログラム実行処理によって患者情報管理部３５ａＡと、治療シミュレーション処理部３５ｂと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部３４に格納される。なお、これらのプログラムは、管理用端末３Ａ以外の装置に記憶され、管理用端末３Ａが必要に応じてネットワークを介してプログラムを取得してもよい。

患者情報管理部３５ａＡは、患者情報ＤＢ３４ａＡに関する処理を行う。患者情報管理部３５ａＡは、例えば、術者によって入力された患者の情報を患者情報ＤＢ３４ａに登録する。また、患者情報管理部３５ａＡは、Ｘ線ＣＴ装置２からマーカＭｎを付した患者のＸ線ＣＴ画像Ｑａを受信し、患者識別情報に対応付けてＸ線ＣＴ画像Ｑａを患者情報ＤＢ３４ａＡに登録する。

＜情報表示装置＞
情報表示装置４Ａは、例えば、図１６に示すように、撮影部４１と、表示部４２と、通信部４３と、記憶部４４と、制御部４５と、を備えている。なお、制御部４５は、特許請求の範囲の「制御手段」の一例である。

記憶部４４は、例えばメモリであって、付加情報ＤＢ４４ａＡが記憶されている。付加情報ＤＢ４４ａＡには、Ｘ線ＣＴ画像Ｑａのオーバーレイ表示に必要な情報が記憶されている。付加情報ＤＢ４４ａＡには、例えば、患者情報ＤＢ３４ａＡに記憶される情報の内で治療を行う患者の情報が登録されている。

制御部４５は、例えばＣＰＵ（Central Processing Unit）であって、プログラム実行処理によってマーカ認識部４５ａＡと、Ｘ線歯列画像取得部４５ｂＡと、Ｘ線歯列画像付加部４５ｃＡと、を実現する。これらの機能を実現するためのプログラムは、例えば、記憶部４４に格納される。なお、これらのプログラムは、情報表示装置４Ａ以外の装置に記憶され、情報表示装置４Ａが必要に応じてネットワークを介してプログラムを取得してもよい。

マーカ認識部４５ａＡは、撮影部４１によって撮影された顔貌画像Ｐｂ（例えば、治療開始時の画像であり映像の一部）からマーカＭｎを抽出し、そのマーカＭｎに表示される情報（例えば、患者識別情報）を読み取る。そして、マーカ認識部４５ａＡは、読み取った情報をキーにして患者情報ＤＢ３４ａＡを検索して該当する患者を判別する。

Ｘ線歯列画像取得部４５ｂＡは、判別した患者に紐付いたＸ線ＣＴ画像Ｑａを管理用端末３Ａから取得し、取得した情報を付加情報ＤＢ４４ａＡに登録する。

Ｘ線歯列画像付加部４５ｃＡは、撮影部４１によって撮影された顔貌画像Ｐｃ（例えば、治療中の画像であり映像の一部）から患者に付されたマーカＭｎを抽出する。また、Ｘ線歯列画像付加部４５ｃＡは、Ｘ線ＣＴ画像Ｑａに写るマーカＭｎと顔貌画像Ｐｃに写るマーカＭｎとをマッチングし、マッチングの結果にしたがって患者の歯列上にＸ線ＣＴ画像Ｑａをオーバーレイ表示する（図１７参照）。Ｘ線歯列画像付加部４５ｃＡは、顔貌画像Ｐｃに写る歯列とＸ線ＣＴ画像Ｑａとが判別可能にオーバーレイ表示すればよく、例えば、Ｘ線ＣＴ画像Ｑａを半透明の状態で表示する。Ｘ線歯列画像付加部４５ｃＡは、治療シミュレーション画像Ｒａ（図６参照）を顔貌画像Ｐｃに写る歯列にさらにオーバーレイ表示してもよい。なお、オーバーレイ表示したＸ線ＣＴ画像Ｑａは、例えば、術者の操作によって表示／非表示の切り換えを行えるようにしてもよい。

本実施形態では管理用端末３Ａと情報表示装置４Ａとを別々の装置として説明したが、情報表示装置４Ａに管理用端末３Ａの一部又は全部の機能が含まれていてもよい。つまり、情報表示装置４Ａが、患者情報ＤＢ３４ａＡ、患者情報管理部３５ａＡ、治療シミュレーション処理部３５ｂなどの機能を備えていてもよい。

＜第２の実施形態に係る情報表示システムの動作＞
次に、本発明の第２の実施形態に係る情報表示システム１Ａの動作について、図１８から図１９を参照しながら詳細に説明する（適宜、図１２から図１７を参照）。ここでは、情報表示システム１Ａの動作を「事前処理（図１８参照）」と「治療時処理（図１９参照）」との二つに分けて説明を行う。

≪事前処理≫
＜Ｔ１：患者情報登録＞
最初に、術者は、管理用端末３Ａを操作して、患者の情報の登録を行う（Ｔ１）。この処理では、例えば、患者の氏名、年齢、性別などの情報が入力され、これらの情報に患者識別情報（例えば、一意の番号）を対応づけて管理用端末３Ａの患者情報ＤＢ３４ａＡに登録する。

＜Ｔ２：マーカ固定＞
次に、術者は患者をＸ線ＣＴ装置２に誘導し、患者の顔の一部にマーカＭｎを固定する（Ｔ２）。マーカＭｎは、Ｘ線を透過しない材料で製造されている。

＜Ｔ３：Ｘ線ＣＴ撮影＞
次に、術者は、スキャナ２３を用いて患者の口腔内の撮影を行う（Ｔ３）。この処理で撮影されたＸ線ＣＴ画像Ｑａは、管理用端末３Ａに送られる。

＜Ｔ４，Ｔ５：治療シミュレーション＞
次に、術者は、治療シミュレーションの実施が必要であるか否かを判断し、必要に応じて撮影したＸ線ＣＴ画像Ｑａを用いてシミュレーションを行う（Ｔ４，Ｔ５）。これにより、Ｘ線ＣＴ画像Ｑａには、治療シミュレーション画像Ｒａが組み込まれる。

治療シミュレーション画像ＲａをＸ線ＣＴ画像Ｑａに組み込まずに、Ｘ線ＣＴ画像Ｑａと治療シミュレーション画像Ｒａとを別々の情報として管理してもよい。その場合、患者識別情報に対応付けて治療シミュレーション画像Ｒａを管理する。

≪治療時処理≫
＜Ｔ１１：マーカの認識＞
図１８に示す事前処理に続いて、術者は、患者を図示しない歯科用医療機器（例えば、診察台）に誘導する。そして、術者は、情報表示装置４Ａ（デバイス）を装着した状態で患者の顔を見る。情報表示装置４Ａの撮影部４１は、術者の目線方向にある患者の顔に付されるマーカＭｎの映像（顔貌画像Ｐｂ）を撮影し、マーカ認識部４５ａＡが撮影部４１によって撮影された顔貌画像Ｐｂに写るマーカＭｎに表示される情報（例えば、患者識別情報）を読み取る（Ｔ１１）。

＜Ｔ１２：該当する患者のＸ線ＣＴ画像の呼び出し＞
次に、情報表示装置４ＡのＸ線歯列画像取得部４５ｂＡは、管理用端末３Ａから判別した患者に紐付いたＸ線ＣＴ画像Ｑａを取得する（Ｔ１２）。

＜Ｔ１３：マーカのマッチング＞
次に、情報表示装置４ＡのＸ線歯列画像付加部４５ｃＡは、Ｘ線ＣＴ画像ＱａのマーカＭｎと治療中に撮影した顔貌画像Ｐｃに写る患者に付されたマーカＭｎとをマッチングする（Ｔ１３）。

＜Ｔ１４：Ｘ線ＣＴ画像のオーバーレイ表示＞
次に、情報表示装置４のＸ線歯列画像付加部４５ｃＡは、マッチングの結果にしたがって患者の歯列上にＸ線ＣＴ画像Ｑａをオーバーレイ表示する（Ｔ１４）。

なお、ここでは、マーカＭｎに表示される情報（例えば、患者識別情報）を読み取り（Ｔ１１）、読み取った情報を用いてＸ線ＣＴ画像Ｑａを取得している（Ｔ１２）。しかしながら、患者の特定方法はこれに限定されず、術者がマーカＭｎに表示される情報を手入力し、その入力された情報を用いてＸ線ＣＴ画像Ｑａを取得してもよい。その場合、Ｘ線ＣＴ画像Ｑａを読み出した後でマーカＭｎを認識してもよい。

以上のように構成された本発明の第２の実施形態に係る情報表示システム１Ａは、第１の実施形態と同様の作用効果を奏する。
つまり、情報表示システム１Ａは、拡張現実技術を用いて、患者の口腔内を撮影した映像（顔貌画像Ｐｃ）に写る歯列にＸ線ＣＴ画像Ｑａを重ねて表示する。そのため、術者の思い込みによる治療対象歯の誤認や目視不可能な埋伏歯の誤抜歯などの歯科治療のミスを低減することができる。また、術者がＸ線ＣＴ画像Ｑａを確認する場合でも視線を患者の口腔内から外す必要がないので、実際に見ている歯とＸ線ＣＴ画像Ｑａに写る歯との対応を瞬時に把握することができる。そのため、術者の負担を軽減することができる。

また、情報表示システム１Ａでは、治療中に撮影した映像（顔貌画像Ｐｃ）に写る患者のマーカＭｎと、事前に撮影したＸ線ＣＴ画像ＱａのマーカＭｎとをマッチングすることで歯列にＸ線ＣＴ画像Ｑａを重ねて表示する。そのため、歯列の特徴点を抽出してマッチングを行う場合に比べて処理量を少なく抑えることができる。

また、情報表示システム１Ａでは、治療開始時に撮影した映像（顔貌画像Ｐｂ）に写るマーカＭｎに表示される患者識別情報を読み取ることで治療を行う患者を特定する。そして、その特定した患者のＸ線ＣＴ画像Ｑａを取得し、取得したＸ線ＣＴ画像Ｑａを歯列に重ねて表示する。つまり、術者が、治療開始時に患者の顔に付されたマーカＭｎを撮影することで正確に患者を特定することが可能である。そのため、術者が患者の特定を行う必要がなく、術者の負担を軽減することができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は、前記した実施形態に限定されず、適宜変更して実施することが可能である。

第１の実施形態の情報表示システム１は、図８に示すように、情報表示装置４が記憶部４４および制御部４５を備え、記憶部４４に記憶される付加情報ＤＢ４４ａを用いて、制御部４５がＸ線ＣＴ画像Ｑａを治療中の患者に重ねて表示（オーバーレイ表示）していた。つまり、制御部４５は、患者認識部４５ａと、Ｘ線歯列画像取得部４５ｂと、Ｘ線歯列画像付加部４５ｃと、を有していた。しかしながら、本発明の構成はこれに限定されず、例えば、図１に示す管理用端末３（「制御装置」の一例）でＸ線ＣＴ画像Ｑａを治療中の患者に重ねて表示（オーバーレイ表示）してもよい。つまり、本実施形態の情報表示装置４が有する付加情報ＤＢ４４ａや制御部４５の一部または全部の機能を情報表示装置４とは別の管理用端末３（制御装置）が備える構成であってもよい。その場合、管理用端末３（制御装置）は、例えば情報表示装置４から撮影部４１で撮影した顔貌画像Ｐｃを受信し、顔貌画像Ｐｃに写る歯列にＸ線ＣＴ画像Ｑａを重ねた画像を情報表示装置４に送信する。第２の実施形態に係る情報表示システム１Ａについても同様である。なお、この場合の管理用端末３，３Ａ（制御装置）は、特許請求の範囲の「制御手段」の一例である。

また、各実施形態では、オーバーレイ表示する画像としてＸ線ＣＴ画像Ｑａを想定していたが、パノラマ画像であってもよい。

また、各実施形態では、情報表示装置４，４Ａとしてビデオシースルー方式のヘッドマウントディスプレイを想定していたが、ヘッドマウントディスプレイの種類はこれに限定されるものではない。例えば、透明な板状部品（コンバイナ）にＸ線ＣＴ画像Ｑａを重ねる光学シースルー方式のものであってもよい。また、操作者の網膜上で弱レーザ光を走査する網膜投影型のものであってもよい。

情報表示装置４，４Ａがこれらの種類のものである場合、Ｘ線歯列画像付加部４５ｃ，４５ｃＡは、例えば、撮影部４１で撮影した映像から術者の目線における患者の歯列の位置を算出し、表示部４２の該当位置にＸ線ＣＴ画像Ｑａを表示する。つまり、この場合におけるオーバーレイ表示では、表示部４２（透明な板状部品や網膜）にＸ線ＣＴ画像Ｑａのみを表示することで、術者はあたかも患者の歯列にＸ線ＣＴ画像Ｑａが重ねてあるように感じる。

１，１Ａ 情報表示システム
２ Ｘ線ＣＴ装置（Ｘ線撮影装置）
２２ｃ 可視光カメラ
３，３Ａ 管理用端末（制御装置、制御手段）
３１ 入力部
３２ 表示部
３３ 通信部
３４ 記憶部
３４ａ，３４ａＡ 患者情報ＤＢ
３５ 制御部
３５ａ，３５ａＡ 患者情報管理部
３５ｂ 治療シミュレーション処理部
４，４Ａ 情報表示装置
４１ 撮影部
４２ 表示部
４３ 通信部
４４ 記憶部
４４ａ 付加情報ＤＢ（Ｘ線歯列画像）
４５ 制御部（制御手段）
４５ａ 患者認識部
４５ａＡ マーカ認識部
４５ｂ，４５ｂＡ Ｘ線歯列画像取得部
４５ｃ，４５ｃＡ Ｘ線歯列画像付加部
Ｍｎ マーカ

Claims (10)

1. 歯科治療中の術者に治療に関連する情報を表示する情報表示装置であって、
   前記情報表示装置は、記憶部と、撮影部と、表示部と、制御部と、を備えており、
   前記記憶部は、Ｘ線を用いて患者の歯列の少なくとも一部を撮影したＸ線歯列画像を記憶しており、
   前記制御部は、前記撮影部によって撮影した治療中の患者の歯列を抽出し、前記Ｘ線歯列画像を当該歯列に重ねた状態で前記表示部に表示するＸ線歯列画像付加部を備える、
   ことを特徴とする情報表示装置。
2. 前記Ｘ線歯列画像付加部は、前記撮影部によって撮影した患者の歯列の特徴点を抽出し、前記Ｘ線歯列画像の特徴点とマッチングを行うことで当該Ｘ線歯列画像を当該歯列に重ねる位置決めを行う、
   ことを特徴とする請求項１に記載の情報表示装置。
3. 前記Ｘ線歯列画像付加部は、上顎及び下顎の少なくとも何れか一方から前記特徴点を抽出する、
   ことを特徴とする請求項２に記載の情報表示装置。
4. 前記記憶部は、患者毎に前記Ｘ線歯列画像と当該患者の顔貌画像とを対応付けて記憶しており、
   前記制御部は、
   前記撮影部によって撮影した患者の顔貌の特徴点を抽出し、前記記憶部に記憶された前記顔貌画像に写る顔貌の特徴点と比較することで治療中の患者を認識する患者認識部をさらに備え、
   前記Ｘ線歯列画像付加部は、前記患者認識部によって認識した患者に紐付いた前記Ｘ線歯列画像を前記歯列に重ねた状態で表示する、
   ことを特徴とする請求項２または請求項３に記載の情報表示装置。
5. 前記患者の上顎及び下顎の少なくとも何れか一方の位置には、マーカが付されており、
   前記Ｘ線歯列画像付加部は、前記撮影部によって撮影した画像に写る前記マーカを抽出し、前記Ｘ線歯列画像に写る前記マーカとマッチングを行うことで前記Ｘ線歯列画像を当該歯列に重ねる位置決めを行う、
   ことを特徴とする請求項１に記載の情報表示装置。
6. 前記記憶部は、患者毎に前記Ｘ線歯列画像と当該患者の顔貌画像とを対応付けて記憶しており、
   前記制御部は、
   前記撮影部によって撮影した前記マーカに表示される患者識別情報を読み取ることで治療中の患者を認識する患者認識部をさらに備え、
   前記Ｘ線歯列画像付加部は、前記患者認識部によって認識した患者に紐付いた前記Ｘ線歯列画像を前記歯列に重ねた状態で表示する、
   ことを特徴とする請求項５に記載の情報表示装置。
7. 請求項１ないし請求項６の何れか一項に記載の情報表示装置と、
   前記Ｘ線歯列画像の撮影を行うＸ線撮影装置と、
   を備えることを特徴とする情報表示システム。
8. Ｘ線歯列画像の撮影を行うＸ線撮影装置と、歯科治療中の術者に治療に関連する情報を表示する情報表示装置と、制御装置と、を備える情報表示システムであって、
   前記情報表示装置は、撮影部と、表示部と、を備えており、
   前記制御装置は、記憶部と、制御部と、を備え、
   前記記憶部は、Ｘ線を用いて患者の歯列の少なくとも一部を撮影したＸ線歯列画像を記憶しており、
   前記制御部は、前記撮影部によって撮影した治療中の患者の歯列を抽出し、前記Ｘ線歯列画像を当該歯列に重ねた状態で前記表示部に表示するＸ線歯列画像付加部を備える、
   ことを特徴とする情報表示システム。
9. 歯科治療中の術者に治療に関連する情報を表示する情報表示方法であって、
   Ｘ線を用いて患者の歯列の少なくとも一部を撮影することで前記患者のＸ線歯列画像を作成するＸ線歯列画像撮影ステップと、
   治療中の患者の顔貌を撮影した画像に写し出される歯列を抽出し、前記Ｘ線歯列画像を当該歯列に重ねた状態で表示部に表示するＸ線歯列画像表示ステップと、
   を有することを特徴とする情報表示方法。
10. 請求項９に記載の情報表示方法を制御手段に実行させるための情報表示プログラム。

Images