JP2017200537A

JP2017200537A - 治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラム

Info

Publication number: JP2017200537A
Application number: JP2016093174A
Authority: JP
Inventors: 岳芳本; Gaku Yoshimoto
Original assignee: Isight; Isight Co Ltd
Current assignee: Isight; Isight Co Ltd
Priority date: 2016-05-06
Filing date: 2016-05-06
Publication date: 2017-11-09
Anticipated expiration: 2036-05-06
Also published as: JP6750812B2

Abstract

【課題】被治療者の硬組織実画像と治療支援画像とを高精度に重ね合わせることができる治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラムを提供する。【解決手段】治療支援装置１は、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像、当該硬組織の硬組織実画像、並びに、これらの硬組織実画像及び３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得する。そして、治療支援装置１は、治療支援画像及び硬組織実画像における硬組織を、３次元モデル画像における硬組織を介して重ね合わせることにより、治療支援画像と硬組織画像との重畳画像を生成する。このようにして生成された重畳画像は、ヘッドマウントディスプレイ２のディスプレイ２２にて表示される。【選択図】図１

Description

本発明は、歯科又は医科の治療を支援するための治療支援システム、治療支援装置、及び治療支援方法、並びにコンピュータをその治療支援装置として機能させるためのコンピュータプログラムに関する。

近年、情報処理技術の進展に伴い、歯科又は医科の治療を支援するためのコンピュータシステムが種々提案されている。例えば、特許文献１には、患者の口腔内に固定された第１マーカと、術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ装置に対して固定された第２マーカとを使用することにより、歯科インプラント手術を支援する手術ナビゲーションシステムが開示されている。この手術ナビゲーションシステムでは、第１マーカ及び第２マーカの３次元位置姿勢を、３次元位置計測装置によりそれぞれ計測し、計測された第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系である網膜投影型ヘッドマウントディスプレイ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する。これにより、変換されたシミュレーションイメージ情報を網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像に、シミュレーションイメージを重ね合わせることが可能になる。

特開２０１０−２５９４９７号公報

しかしながら、上記の従来の手術ナビゲーションシステムの場合、相当程度のサイズのマーカを口腔内及びヘッドマウントディスプレイ装置に固定する必要があり、それらのマーカが術者による治療を妨げるおそれがあるという問題が生じる。

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上述した課題を解決することができる治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラムを提供することにある。

上述した課題を解決するために、本発明の一の態様の治療支援システムは、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得する撮像部と、前記撮像部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、前記重畳画像生成部によって生成された重畳画像を表示する表示部とを備る。

前記態様において、前記重畳画像生成部は、前記３次元モデル画像及び前記３次元ＣＴ画像における硬組織を重ね合わせることにより、前記３次元ＣＴ画像の座標を前記３次元モデル画像に付加する座標付加部と、前記座標付加部によって前記３次元ＣＴ画像の座標が付加された前記３次元モデル画像及び前記硬組織実画像における硬組織を重ね合わせることによって、前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させる座標同期部とを具備し、前記座標同期部によって前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させることにより前記治療支援画像の座標と前記硬組織実画像の座標とを同期させて、前記治療支援画像及び前記硬組織実画像における硬組織を重ね合わせるように構成されていてもよい。

また、前記態様において、前記モデル画像取得部は、前記硬組織又はその模型を３次元計測することによって生成された前記３次元モデル画像を取得するように構成されていてもよい。

また、前記態様において、治療者の頭部に装着される没入型のヘッドマウントディスプレイをさらに備え、前記撮像部及び前記表示部は、前記ヘッドマウントディスプレイに設けられていてもよい。

また、前記態様において、前記硬組織は歯牙であってもよく、その場合に、前記座標同期部は、歯牙の歯列、歯牙の形状、及び歯牙の色に基づいて、前記３次元モデル画像及び前記硬組織実画像における歯牙を重ね合わせるように構成されていてもよい。

また、前記態様において、前記硬組織の回転角速度を検出する角速度センサをさらに備え、前記座標同期部は、前記角速度センサによる検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されていてもよい。

また、前記態様において、前記角速度センサは、前記硬組織に固定されており、前記硬組織と前記角速度センサとの位置関係を検出する位置関係検出部をさらに備え、前記座標同期部は、前記

角速度センサによる検出結果及び前記位置関係検出部による検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されていてもよい。

本発明の一の態様の治療支援装置は、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得する硬組織実画像取得部と、前記硬組織画像取得部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、前記重畳画像生成部によって生成された重畳画像を、外部の装置に対して出力する出力部とを備える。

本発明の一の態様の治療支援方法は、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得するステップと、取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、生成した重畳画像を表示するステップとを有する。

また、本発明の一の態様のコンピュータプログラムは、コンピュータに、被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得するステップと、取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、生成した重畳画像を、外部の装置に対して出力するステップとを実行させる。

本発明に係る治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラムによれば、マーカーを用いることなく、患者の硬組織の３次元断層撮影画像とその硬組織の実画像とを重ね合わせることが可能になる。

本発明の実施の形態１の治療支援システムの構成を示すブロック図。本発明の実施の形態１の治療支援装置の構成を示すブロック図。本発明の実施の形態１のヘッドマウントディスプレイの外観構成を示す斜視図。治療支援画像生成処理の手順を示すフローチャート。インプラント治療に必要となる情報を決定する際の治療者による作業状況を示す画面例。治療者によって作成された支援画像の一例を示す図。被治療者の口腔内の３次元ＣＴ画像の一例を示す図。治療支援画像の一例を示す図。座標付加処理の手順を示すフローチャート。モデル画像の一例を示す図。３次元ＣＴ画像の一例を示す図。モデル画像及び３次元ＣＴ画像が重ね合わせられたときの画面例を示す図。治療支援処理の手順を示すフローチャート。口腔内の実画像の一例を示す図。実画像と重ね合わせられる治療支援画像の一例を示す図。実画像と治療支援画像とが重ね合わせられた重畳画像の一例を示す図。本発明の実施の形態２の治療支援システムの構成を示すブロック図。治療支援処理の手順を示すフローチャート。

以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

なお、以下の各実施の形態では、歯牙を治療対象とする場合の治療支援を例示する。歯牙は硬組織であるため、顎運動等によりその位置・姿勢が変化したとしても、その歯列及び形状は変化しない。したがって、これらの歯列及び形状に基づいて特定された歯牙は１つの剛体とみなすことができ、マーカの代わりとすることができる。以下の各実施の形態では、このようにマーカの代わりとなる歯牙をカメラで追跡し、その結果に基づいて治療を支援するための画像を表示する。

上記のとおり、以下の各実施の形態では、歯科治療を支援するための治療支援システムが例示されるが、本発明はこれに限定されるものではなく、被治療者の骨・軟骨・歯牙等の硬組織に対する治療であれば適用することが可能である。したがって、本発明によれば、歯科治療のみではなく、医科治療を支援するための治療支援システムを実現することもできる。

（実施の形態１）
実施の形態１の治療支援システムは、被治療者の口腔内のＣＴ（Computed Tomography）画像に治療を支援するための支援画像を付加することにより得た治療支援画像と、同じく口腔内を撮像して得た撮像画像（実画像）とを重畳して表示させることにより、治療者の治療行為を支援するものである。この場合、治療行為を適切に支援するためには、治療支援画像及び実画像における被治療者の歯牙が重ね合わせられた状態で治療支援画像と実画像とを重畳して表示させることが望ましい。しかしながら、治療支援画像の元になるＣＴ画像においては、被治療者の口腔内の金属等に起因してアーチファクトが生じることにより画像が不鮮明になる部分が存在するため、治療支援画像及び実画像における治療者の歯牙を重ね合わせることは容易ではない。そこで、本実施の形態では、治療支援画像及び実画像における歯牙を直接的に重ね合わせることはせず、治療支援画像の元になるＣＴ画像及び実画像の両者における歯牙と重ね合わせ可能な歯牙のモデル画像を介して治療支援画像及び実画像における歯牙を重ね合わせることとする。これにより、治療中に治療支援画像と実画像とをリアルタイムに重畳して表示させることが可能になる。

以下、実施の形態１の治療支援システムの構成及び動作について説明する。
［治療支援システムの構成］
図１は、本発明の実施の形態１の治療支援システムの構成を示すブロック図である。図１に示すとおり、本実施の形態の治療支援システムは、パーソナルコンピュータ等で構成された治療支援装置１と、没入型（非透過型）のヘッドマウントディスプレイ２とを備えている。ヘッドマウントディスプレイ２は、撮像素子を有する左右一対のレンズを具備するステレオカメラ２１と、装着者の視界を覆う没入型のディスプレイ２２とを備えている。

［治療支援装置の構成］
上述した治療支援装置１の詳細な構成について説明する。図２は、本実施の形態の治療支援装置１の構成を示すブロック図である。図２に示すとおり、コンピュータ（治療支援装置）１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスク１４、通信インタフェース（Ｉ／Ｆ）１５、入出力インタフェース（Ｉ／Ｆ）１６、ディスプレイ１７、及び入力部１８を備えており、これらの各要素はバス１９によって接続されている。

ＣＰＵ１１は、ＲＡＭ１３にロードされた各種のコンピュータプログラムを実行する。これにより、コンピュータ１が本実施の形態の治療支援装置として機能することになる。

ＲＯＭ１２は、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、又はＥＥＰＲＯＭ（Electrically Erasable PROM）等によって構成されており、ＣＰＵ１１にて実行されるコンピュータプログラム及びその実行の際に用いられるデータ等を記憶している。

ＲＡＭ１３は、ＳＲＡＭ又はＤＲＡＭなどによって構成されており、ハードディスク１４に記憶されている各種のコンピュータプログラムの読み出し等に用いられる。また、ＲＡＭ１３は、ＣＰＵ１１が各種のコンピュータプログラムを実行するときに、ＣＰＵ１１の作業領域としても利用される。

ハードディスク１４には、オペレーティングシステム及びアプリケーションプログラムなど、ＣＰＵ１１に実行させるための各種のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータ等が予めインストールされている。そのコンピュータプログラムには、コンピュータ１を本実施の形態の治療支援装置として機能させるための治療支援プログラム１４Ａが含まれている。

さらに、ハードディスク１４には、例えばWindows（登録商標）、Mac OS（登録商標）、及びLINUX（登録商標）等のマルチタスクオペレーティングシステムがインストールされている。以下の説明においては、各種のコンピュータプログラムが当該オペレーティングシステム上で動作するものとしている。

通信Ｉ／Ｆ１５は、Bluetooth（登録商標）、ZigBee（登録商標）、及びWi-Fi（登録商標）等の無線通信規格にしたがって治療支援装置１が外部の装置と通信するためのインタフェース装置である。治療支援装置１は、この通信Ｉ／Ｆ１５を介して、ヘッドマウントディスプレイ２との間で各種のデータを送受信する。

入出力Ｉ／Ｆ１６は、例えばUSB，IEEE1394，又はRS-232C等のシリアルインタフェース、SCSI，IDE，又は IEEE1284等のパラレルインタフェース、及びＤ／Ａ変換器、Ａ／Ｄ変換器等からなるアナログインタフェース等から構成されている。治療支援装置１は、この入出力Ｉ／Ｆ１６を介して、外部に設けられたＣＴスキャナ及び３Ｄスキャナから情報を取得する。

ディスプレイ１７は、ＬＣＤ等で構成される出力装置であり、ＣＰＵ１１から与えられた画像データに応じた映像信号にしたがって画像（画面）を表示する。また、入力部１８は、キーボード及びマウスで構成された入力装置である。ユーザが入力部１８を使用することによって、治療支援装置１に対する入力を行うことができる。

［ヘッドマウントディスプレイの構成］
次に、ヘッドマウントディスプレイ２の詳細な構成について説明する。図３は、本実施の形態のヘッドマウントディスプレイ２の外観構成を示す斜視図である。図３に示すとおり、ヘッドマウントディスプレイ２は、上述したディスプレイ２２をその内部に設けた筐体２３と、筐体２３の前面に設けられたステレオカメラ２１と、筐体２３の後方に設けられたヘッドバンド２４とを具備している。ステレオカメラ２１が具備する左右一対のレンズ２１ａ，２１ｂは、装着者がヘッドマウントディスプレイ２を装着した場合に装着者の両眼に対応する位置に設けられている。装着者がヘッドマウントディスプレイ２を装着した場合、装着者の視界は筐体２３によって覆われる。これにより、筐体２３の内部に設けられたディスプレイ２２が没入型のディスプレイとして機能することになる。

なお、ヘッドマウントディスプレイ２としては、Oculus VR, Inc.が製造するOculus Rift（登録商標）、HTC Corporationが製造するHTC Vive（登録商標）、及びSony Computer Entertainment Inc.が製造するProject Morpheus等を用いることができる。

［治療支援システムの動作］
次に、上述したように構成された治療支援システムの動作について、フローチャート等を参照しながら説明する。ここでは、治療支援システムがインプラント治療の支援を行う場合を例として採り上げる。以下では、（１）ＣＴ画像から治療支援画像を生成するための治療支援画像生成処理、（２）ＣＴ画像の座標をモデル画像に付加するための座標付加処理、（３）インプラント治療の際に治療支援画像と実画像とを重畳して表示させるための治療支援処理の各処理に分けて、治療支援システムの動作を説明する。

（１）治療支援画像生成処理
治療支援画像生成処理では、３次元ＣＴ画像に治療を支援するための情報を付加することによって治療支援画像を生成する。この治療支援画像生成処理を実行する前に、ＣＴスキャナにより被治療者の口腔内の断層撮影が行われる。これにより、被治療者の歯牙を含む領域のＣＴ画像が得られる。

図４は、治療支援装置１によって実行される治療支援画像生成処理の手順を示すフローチャートである。治療支援装置１はまず、ＣＴスキャナにより得られたＣＴ画像を当該ＣＴスキャナから取得し（Ｓ１０１）、これをディスプレイ１７に表示する（Ｓ１０２）。

ユーザ（治療者）は、ディスプレイ１７に表示されているＣＴ画像を参照し、インプラント治療に必要となる情報、例えば被治療者の神経及び血管の位置・形状、並びにインプラントの埋入本数、埋入位置及び種類等を決定する。図５は、このようにインプラント治療に必要となる情報を決定する際の治療者による作業状況を示す画面例である。この図５には、３枚のＣＴ画像のそれぞれを解析し、被治療者の神経の位置・形状等を特定する過程が示されている。治療者は、上記のようにして決定したインプラント治療に必要となる情報に基づいて、治療支援画像に含めるべきオブジェクト（神経、血管、及びインプラント）を示す画像を作成する。例えば、オブジェクトが神経及び血管である場合、治療者は、ＣＴ画像から神経及び血管の位置・形状を特定し、それに応じた画像を作成する。また、オブジェクトがインプラントである場合、治療者は、インプラントの埋入本数、埋入位置及び形状を特定し、それに応じた画像を作成する。これらの画像の作成は、公知のＣＴ画像解析ソフト等を用いて行うことができる。図６は、このようにして作成された画像（以下「支援画像」という）の一例を示す図である。治療者は、入力部１８を用いて、作成した支援画像を治療支援装置１に対して入力し、治療支援装置１はこれを受け付ける（Ｓ１０３）。

次に、治療支援装置１は、ステップＳ１０１にて読み出したＣＴ画像を用いて公知のボリュームレンダリング処理を実行することにより、被治療者の口腔内のボリュームレンダリング像（３次元ＣＴ画像）を生成する（Ｓ１０４）。図７は、このようにして生成された３次元ＣＴ画像の一例を示す図である。

次に、治療支援装置１は、生成した３次元ＣＴ画像に、ステップＳ１０３にて入力を受け付けた支援画像を付加する（Ｓ１０５）。このときの３次元ＣＴ画像と支援画像との位置合わせは、治療者が治療支援装置１に対して指示することによって行われる。これによって３次元の治療支援画像が生成される。治療支援装置１は、このようにして生成された治療支援画像をハードディスク１４に記憶する（Ｓ１０６）。図８は、治療支援画像の一例を示す図である。

（２）座標付加処理
座標付加処理では、上述したように生成された治療支援画像における歯牙と重ね合わせ可能な歯牙のモデル画像に対し、その治療支援画像の元になる３次元ＣＴ画像の座標を付加する。この座標付加処理を実行する前に、３Ｄスキャナによって被治療者の口腔内の走査が行われる。なお、このように被治療者の口腔内を直接走査するのではなく、予め作成された被治療者の口腔内の模型を３Ｄスキャナによって走査するようにしてもよい。これにより、被治療者の歯牙を含む３次元のモデル画像が得られる。

図９は、治療支援装置１によって実行される座標付加処理の手順を示すフローチャートである。図９に示すように、治療支援装置１は、３Ｄスキャナにより得られたモデル画像を当該３Ｄスキャナから取得し（Ｓ２０１）、そのモデル画像と、上記の治療支援画像生成処理において生成された３次元ＣＴ画像とをディスプレイ１７に表示する（Ｓ２０２）。ここで、治療支援装置１は、モデル画像及び３次元ＣＴ画像を同一画面上に重ねて表示する。このとき、モデル画像における歯牙と３次元ＣＴ画像における歯牙とが一致するように両画像を重ねることが望ましいが、上述したように、ＣＴ画像にはアーチファクトによって画像が不鮮明となる部分が存在するため、治療支援装置１によって両歯牙を自動的に一致させることは困難である。そのため、本実施の形態では、ディスプレイ１７に表示されているモデル画像及び３次元ＣＴ画像の位置合わせを治療者が手動で行う。

図１０は、ステップＳ２０１において取得されるモデル画像の一例を示す図である。また、図１１は、そのモデル画像と重ね合わせられる３次元ＣＴ画像の一例を示す図である。なお、説明の便宜上、これらのモデル画像及び３次元ＣＴ画像には上顎部のみが示されており、下顎部は省略されている。治療支援装置１は、ステップＳ２０２において、これらのモデル画像及び３次元ＣＴ画像を同一画面上に重ねて表示する。治療者は、入力部１８を用いて、モデル画像及び３次元ＣＴ画像の何れかを選択し、両画像における歯牙が重なり合うように選択した画像を移動させることによって、モデル画像及び３次元ＣＴ画像の位置合わせを治療支援装置１に対して指示する。

治療支援装置１は、上記のようにして治療者によって行われた位置合わせの指示を受け付けた場合（Ｓ２０３）、その指示にしたがってモデル画像及び／又は３次元ＣＴ画像を移動させた上で両画像を重ね合わせてディスプレイ１７に表示する（Ｓ２０４）。図１２は、そのときの画面例である。次に、治療支援装置１は、その重ね合わせた状態を維持した上で、３次元ＣＴ画像の座標をモデル画像に付加する（Ｓ２０５）。

次に、治療支援装置１は、歯牙の歯列、形状、及び色に基づいて歯牙の特徴点を抽出する（Ｓ２０６）。例えば、歯牙の歯列を示す線に含まれる点、歯牙の輪郭に位置する点、及び同一色の領域における中心位置を示す点等が特徴点として抽出される。この特徴点は、治療支援装置１がモデル画像に対して所定の画像処理を施すことによって自動的に特定してもよく、治療者が特定して治療支援装置１に対して入力するようにしてもよい。また、これら自動及び手動による特定を合わせて行ってもよい。その後、治療支援装置１は、３次元ＣＴ画像の座標が付加されたモデル画像を、抽出された歯牙の特徴点とともにハードディスク１４に記憶する（Ｓ２０７）。

上記のようにしてモデル画像が３次元ＣＴ画像の座標を備えることにより、モデル画像の座標系と３次元ＣＴ画像の座標系とを共通にすることができる。ここで、治療支援画像は３次元ＣＴ画像を元にしているため、モデル画像の座標系と３次元ＣＴ画像の座標系とを共通にすることができるということは、モデル画像の座標系と治療支援画像の座標系とを共通にすることができるということを意味している。

（３）治療支援処理
上記の治療支援画像生成処理及び座標付加処理によって治療支援の準備が完了する。治療者は、ヘッドマウントディスプレイ２を頭部に装着し、インプラント治療を開始する。その際、以下の治療支援処理が実行される。なお、この治療支援処理が実行されている間、ヘッドマウントディスプレイ２は、ステレオカメラ２１によって被治療者の口腔内を連続的に撮像し、これにより得られた撮像画像（実画像）を治療支援装置１に対して送信し続ける。

図１３は、治療支援装置１によって実行される治療支援処理の手順を示すフローチャートである。治療支援装置１は、ヘッドマウントディスプレイ２から被治療者の口腔内の実画像を取得し（Ｓ３０１）、所定の輪郭抽出処理等を実行することによって当該実画像における歯牙を検出する（Ｓ３０２）。次に、治療支援装置１は、このようにして検出された歯牙の歯列、形状、及び色に基づいて特徴点を抽出する（Ｓ３０３）。ここで抽出される特徴点は、モデル画像において抽出された特徴点と対応する点である。なお、実画像ではアーチファクトが生じないため、歯牙が鮮明に現れている。そのため、ステップＳ３０２における歯牙の検出及びステップＳ３０３における特徴点の抽出を高精度に行うことができる。

次に、治療支援装置１は、上述したようにして抽出された実画像における歯牙の特徴点とモデル画像における歯牙の特徴点とを一致させることにより、実画像及びモデル画像における歯牙を重ね合わせる（Ｓ３０４）。本実施の形態では、上述したように歯牙の特徴点が歯牙の歯列、形状、及び色に基づいて抽出されているため、ステップＳ３０４では、これらの歯列、形状、及び色に基づいて実画像及びモデル画像における歯牙をマッチングしていることになる。ここで、歯牙の歯列及び形状については、歯牙の位置・姿勢が変化したとしてもそれに伴って変化することはないが、歯牙の位置・姿勢が変化すると、歯牙と光源との位置関係が変わることがあるため、歯牙の色については変化が生じることがあり得る。その場合、歯牙の色に基づいて抽出された特徴点によってマッチングの精度が低下するおそれがあるため、この特徴点の評価を低くしたり、光源の位置及び強度等を工夫することによって歯牙の色が変化することを抑制したり等の処置を施すことが望ましい。なお、ステップＳ３０４によって実画像及びモデル画像における歯牙が重ね合わせられた状態を治療者に対して画像にて提供する必要はないため、治療支援装置１は当該状態をディスプレイ１７に表示することはしない。但し、重ね合わせの精度を確認する等の目的でディスプレイ１７に表示するようにしてもよい。

上記のように、実画像における歯牙とモデル画像における歯牙とをマッチングさせることにより、実画像の座標系（カメラの位置を原点とするカメラ座標系）とモデル画像の座標系とが一致する。これにより、モデル画像をカメラ座標系上に配置することが可能になる。ここで、モデル画像は治療支援画像と座標系を共通にしているため、治療支援画像もカメラ座標系上に配置することができる。治療支援装置１は、治療支援画像をカメラ座標系上に配置し（Ｓ３０５）、治療支援画像と実画像とを重ね合わせた重畳画像を生成する（Ｓ３０６）。その結果、治療支援画像及び実画像における歯牙が一致した状態で両画像が重ね合わせられた重畳画像を得ることができる。治療支援装置１は、このようにして生成した重畳画像をヘッドマウントディスプレイ２に対して送信する（Ｓ３０７）。

次に、治療支援装置１は、治療者からの指示等に基づいて、治療が終了したか否かを判定する（Ｓ３０８）。ここで、治療が終了したと判定した場合（Ｓ３０８でＹＥＳ）、治療支援装置１は治療支援処理を終了させる。他方、治療が終了していないと判定した場合（Ｓ３０８でＮＯ）、治療支援装置１はステップＳ３０１に戻ってそれ以降の処理を実行する。これにより、治療が終了したと判定されるまでステップＳ３０１乃至Ｓ３０７が所定のフレーム単位で繰り返し実行されることになる。その結果、治療中は治療支援画像の座標と実画像の座標とが同期することとなり、治療者の頭部の移動及び被治療者の顎運動等によって被治療者の歯牙に対してステレオカメラ２１の位置・姿勢が変化したとしても、治療支援画像及び実画像における歯牙を重ね合わせた表示を維持することができる。

ヘッドマウントディスプレイ２は、上述したようにして治療支援装置１から送信された重畳画像を受信した場合、ディスプレイ２２にその重畳画像を表示する。その結果、治療者は、治療中に実画像と重ね合わせられた治療支援画像を継続して参照することができる。この治療支援画像に含まれる支援画像を参考にしてインプラント治療を行うことが可能になる。

図１４は、ステップＳ３０１において取得される口腔内の実画像の一例を示す図である。また、図１５は、当該実画像と重ね合わせられる治療支援画像の一例を示す図である。さらに、図１６は、これらの実画像と治療支援画像とが重ね合わせられた重畳画像の一例を示す図である。なお、図１６に示す重畳画像では、説明の便宜上、上顎部のみ実画像と治療支援画像とが重ね合わせられており、下顎部は実画像のみが表示されている。また、図１５に示す治療支援画像では、上顎中切歯の歯髄（神経）を示すオブジェクトが支援画像として表されている。図１４と図１６とを比較すると、治療支援画像における歯牙と実画像における歯牙とが一致していることが確認できる。このように両歯牙を一致させた状態で重畳画像を治療者に提供することによって、適切な治療支援を行うことが可能になる。

以上のとおり、本実施の形態の場合、従来のように相当程度のサイズのマーカを口腔内等に固定することなく治療支援画像と実画像とを重ね合わせて表示することができるため、そのようなマーカが治療を妨げるような事態を回避することができる。また、没入型のヘッドマウントディスプレイ上にて表示を行うことができるため、治療者は治療に容易に集中することができる。

（実施の形態２）
歯科治療では、歯の切削の際等に水が用いられる。この水が実画像に映り込むと、実画像中の歯牙が不鮮明になることがあるため、実画像における歯牙の検出及びその特徴点の抽出の精度が低下することがある。その場合、実画像及びモデル画像における歯牙のマッチングを高精度に行うことが困難になり得る。実施の形態２では、角速度センサ（ジャイロセンサ）を用いることにより、そのマッチングの精度を維持する。

図１７は、実施の形態２の治療支援システムの構成を示すブロック図である。図１７に示すように、本実施の形態の治療支援システムは、ジャイロセンサ３を備えている。このジャイロセンサ３は、被治療者の歯牙に固定されている。ジャイロセンサ３の数は１つであってもよく複数であってもよい。ジャイロセンサ３が複数設けられる場合、上顎及び下顎のそれぞれの歯牙に固定したり、切歯、犬歯、小臼歯、及び大臼歯のうちの２つ以上に固定したり等、様々な態様が想定される。このジャイロセンサ３は、Bluetooth（登録商標）等の無線通信規格にしたがって治療支援装置１と通信可能となっており、治療中に被治療中の歯牙の回転角速度を検出し、これを治療支援装置１に対して送信する。本実施の形態の治療支援システムのその他の構成については実施の形態１の場合と同様であるため、同一符号を付して説明を省略する。

本実施の形態の治療支援システムでは、実施の形態１の場合と同様にして（１）治療支援画像生成処理、及び（２）座標付加処理が実行された後、下記の（３）治療支援処理が実行される。図１８は、実施の形態２における治療支援処理の手順を示すフローチャートである。治療支援装置１は、実施の形態１の場合におけるステップS３０１乃至Ｓ３０３と同様に、口腔内の実画像を取得し（Ｓ４０１）、その実画像における歯牙を検出し（Ｓ４０２）、その歯牙の特徴点を抽出する（Ｓ４０３）。次に、治療支援装置１は、抽出された特徴点について補正が必要が否かを判定する（Ｓ４０４）。上述したように、実画像の中に治療用の水が映り込んでいる場合、実画像における歯牙の検出及びその特徴点の抽出の精度が低下することがあり得る。治療支援装置１は、歯牙を検出が不適切であったために特徴点の抽出に失敗した場合、所定数以上の特徴点を抽出することができなかった場合、歯牙の歯列を示す複数の特徴点を結んで得られる線の長さが所定値よりも小さい場合等に、ステップＳ４０４において補正が必要であると判定する（Ｓ４０４でＹＥＳ）。その場合、治療支援装置１は、歯牙に固定されているジャイロセンサ３から歯牙の回転角速度を示す信号を受信し（Ｓ４０５）、その受信した信号に基づいて特徴点を抽出する（Ｓ４０６）。より具体的に説明すると、治療支援装置１は、ジャイロセンサ３によって検出された歯牙の回転角速度を用いて、歯牙の位置・姿勢の前フレームからの変化量を算出する。これにより、歯牙の位置・姿勢が前フレームと比べて変化しているか否か、変化している場合はどの程度変化したのかを判定することが可能になる。その結果、現フレームにおける歯牙の歯列及び形状を特定することができ、その歯列及び形状に基づいて特徴点を抽出することができる。治療支援装置１は、このようにして抽出された特徴点をそれ以降に用いる特徴点とする。なお、ステップＳ４０７乃至Ｓ４１１は、実施の形態１におけるステップＳ３０４乃至３０８と同様であるので、説明を省略する。

以上のように特徴点の補正を行うことによって、実画像及びモデル画像における歯牙のマッチングの精度を維持することができる。なお、ジャイロセンサ３を歯牙に固定する手段によっては、歯牙の位置・姿勢が変化した場合に歯牙とジャイロセンサ３との位置関係が変化してしまう場合がある。その場合、歯牙の位置・姿勢の前フレームからの変化量を正確に算出することができず、特徴点の補正を適切に行うことが困難になる。このような問題を解消するために、ジャイロセンサ３にマーカを取り付けるようにしてもよい。この場合、治療支援装置１は、そのマーカの位置・姿勢を検出し、その検出結果に基づいて歯牙とジャイロセンサ３との位置関係を算出する。そして、治療支援装置１は、ジャイロセンサ３によって検出された歯牙の回転角速度に加えて、算出された歯牙とジャイロセンサ３との位置関係を用いて、歯牙の位置・姿勢の前フレームからの変化量を算出する。これにより、歯牙とジャイロセンサ３との位置関係が変化するような場合であっても、歯牙の位置・姿勢の前フレームからの変化量を正確に算出することが可能になる。

（その他の実施の形態）
上述した各実施の形態では、治療者が被治療者の歯牙を実際に治療する場合における治療支援システムが例示されているが、例えば、歯学教育において歯牙の模型を用いて実習を行う場合に利用可能な治療支援システムを実現することもできる。このような歯学教育用の治療支援システムの場合、歯牙の模型を３Ｄスキャナによって走査することによりモデル画像を取得し、その模型をヘッドマウントディスプレイ２のステレオカメラ２１によって撮像することにより実画像を取得する。他方、３次元ＣＴ画像については、その模型の被治療者のＣＴ画像が存在する場合はそれを用い、存在しない場合は当該ＣＴ画像に相当する画像を別途用意する。それ以外については、上述した各実施の形態と同様である。

上記のような歯学教育用の治療支援システムの場合、治療対象は歯牙の模型であるため、実際の歯牙の場合では実現困難な各種の工夫を施すことができる。例えば、上述した実施の形態２のようにジャイロセンサ３を用いる場合、そのジャイロセンサ３を歯牙の土台となっている顎部分の内部又は歯牙の内部等に埋設することができる。この場合、歯牙の位置・姿勢が変化したとしてもジャイロセンサ３と歯牙との位置関係は変化しないため、上述したようなマーカを用いる必要はない。

また、上述した各実施の形態では、治療支援画像と実画像との重畳画像をヘッドマウントディスプレイにて表示しているが、本発明はこれに限定されるわけではなく、治療支援装置１のディスプレイ１７等、他の表示部に表示するようにしてもよい。

上述した各実施の形態では、治療支援装置１が単一の装置で構成されているが、複数の装置で構成されたシステムにより治療支援装置が実現される等、様々な機器構成が想定され得る。

１治療支援装置
１１ＣＰＵ
１２ＲＯＭ
１３ＲＡＭ
１４ハードディスク
１４Ａ治療支援プログラム
１５通信インタフェース
１６入出力インタフェース
１７ディスプレイ
１８入力部
１９バス
２ヘッドマウントディスプレイ
２１ステレオカメラ
２１ａ，２１ｂレンズ
２２ディスプレイ
２３筐体
２４ヘッドバンド
３ジャイロセンサ

Claims

被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、
前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得する撮像部と、
前記撮像部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、
前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、
前記重畳画像生成部によって生成された重畳画像を表示する表示部と
を備える、治療支援システム。
前記重畳画像生成部は、
前記３次元モデル画像及び前記３次元ＣＴ画像における硬組織を重ね合わせることにより、前記３次元ＣＴ画像の座標を前記３次元モデル画像に付加する座標付加部と、
前記座標付加部によって前記３次元ＣＴ画像の座標が付加された前記３次元モデル画像及び前記硬組織実画像における硬組織を重ね合わせることによって、前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させる座標同期部と
を具備し、
前記座標同期部によって前記３次元ＣＴ画像の座標と前記硬組織実画像の座標とを同期させることにより前記治療支援画像の座標と前記硬組織実画像の座標とを同期させて、前記治療支援画像及び前記硬組織実画像における硬組織を重ね合わせるように構成されている、
請求項１に記載の治療支援システム。
前記モデル画像取得部は、前記硬組織又はその模型を３次元計測することによって生成された前記３次元モデル画像を取得するように構成されている、
請求項１又は２に記載の治療支援システム。
治療者の頭部に装着される没入型のヘッドマウントディスプレイをさらに備え、
前記撮像部及び前記表示部は、前記ヘッドマウントディスプレイに設けられている、
請求項１乃至３の何れかに記載の治療支援システム。
前記硬組織は歯牙である、
請求項１乃至４の何れかに記載の治療支援システム。
前記硬組織は歯牙であり、
前記座標同期部は、歯牙の歯列、歯牙の形状、及び歯牙の色に基づいて、前記３次元モデル画像及び前記硬組織実画像における歯牙を重ね合わせるように構成されている、
請求項２に記載の治療支援システム。
前記硬組織の回転角速度を検出する角速度センサをさらに備え、
前記座標同期部は、前記角速度センサによる検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されている、
請求項２に記載の治療支援システム。
前記角速度センサは、前記硬組織に固定されており、
前記硬組織と前記角速度センサとの位置関係を検出する位置関係検出部をさらに備え、
前記座標同期部は、前記角速度センサによる検出結果及び前記位置関係検出部による検出結果に基づいて、前記３次元モデル画像及び前記硬組織実画像における硬組織の重ね合わせを補正するように構成されている、
請求項７に記載の治療支援システム。
被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得する治療支援画像取得部と、
前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得する硬組織実画像取得部と、
前記硬組織画像取得部によって取得された硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するモデル画像取得部と、
前記治療支援画像取得部によって取得された治療支援画像及び前記硬組織実画像における硬組織を、前記モデル画像取得部によって取得された３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成する重畳画像生成部と、
前記重畳画像生成部によって生成された重畳画像を、外部の装置に対して出力する出力部と
を備える、治療支援装置。
被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、
前記硬組織を含む領域を撮像し、当該硬組織の３次元実画像である硬組織実画像を取得するステップと、
取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、
取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、
生成した重畳画像を表示するステップと
を有する、治療支援方法。
コンピュータに、
被治療者の硬組織の３次元ＣＴ画像に治療を支援するための支援画像を付加することによって生成された治療支援画像を取得するステップと、
前記硬組織を含む領域を撮像する撮像部を具備する外部の装置から、前記撮像部によって得られた当該硬組織の３次元実画像である硬組織実画像を取得するステップと、
取得した硬組織実画像及び前記３次元ＣＴ画像のそれぞれにおける硬組織と重ね合わせ可能な硬組織の３次元モデル画像を取得するステップと、
取得した治療支援画像及び前記硬組織実画像における硬組織を、取得した３次元モデル画像における硬組織を介して重ね合わせることにより、前記治療支援画像と前記硬組織実画像との重畳画像を生成するステップと、
生成した重畳画像を、外部の装置に対して出力するステップと
を実行させるコンピュータプログラム。