JP2021157108A - トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】モデルおよびモデルに挿入される医療用具に関する３次元の情報を用いて画像ガイド下手技模擬画像を生成できるトレーニングシステムを提供する。【解決手段】トレーニングシステム１００は、生体の一部を模擬した光透過性のモデル２１０と、モデル２１０を撮像する撮像部３００と、撮像部３００で撮像された画像を処理する画像処理部４００と、を備えている。撮像部３００は、少なくとも２つの異なる方向からの画像を取得する画像取得デバイス３１０、３２０を備え、画像処理部４００は、画像からガイドワイヤ２５１を抽出するとともに、少なくとも２つの異なる方向からの画像に基づいて画像に含まれるガイドワイヤ２５１が抽出された画像ガイド下手技模擬画像を生成し、生成された画像ガイド下手技模擬画像を出力する。【選択図】図１

Description

本発明は、トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラムに関し、たとえば、カテーテル手技のトレーニングに用いられる。

臨床現場においては、生体の心臓等の臓器に腕や足の血管からカテーテルなどの長尺状の医療用具を挿入して病変部の検査や治療をする血管内治療が行われている。血管内治療において、医師は、血管への造影剤の注入とＸ線の照射によりＸ線透視画像上に描出された血管や医療用具を確認しながら手技を行う。

血管内治療を行うにあたり、医師は、血管内治療の様々な手技を予め習得しておく必要がある。そこで、医師は、生体を立体的に模擬したシリコーン製のモデルを用いて手技のトレーニングを行うことがある（たとえば、特許文献１）。このようなトレーニングは、医師のＸ線被曝を避けるために、直視下で行うことが望まれる。

直視下でのトレーニングでは、医師は、モデルの血管や病変の形状、およびモデルに挿入された医療用具の形状を、３次元の情報として得る。一方、臨床現場では、医師は、血管や病変の形状、および血管に挿入された医療用具の形状を、Ｘ線透視画像による２次元の情報として得る。そのため、医師にとって、直視下でのトレーニングにおける血管や病変の形状の見え方は、臨床現場におけるＸ線透視画像上での見え方と大きく異なる。

そこで、カメラによってモデルを撮像し、撮像された画像に輝度変換処理等を施すことによって、臨床現場で得られる画像と類似した画像である画像ガイド下手技模擬画像を生成する装置が提案されている（たとえば、特許文献２参照）。画像ガイド下手技模擬画像とは、カテーテル挿入、針の穿刺、生検等の様子をＸ線、超音波、ＣＴ、ＭＲＩ等の医療用撮像装置で撮像した画像を模擬した画像を指す。

特開２００３−３３０３５８号公報 特開２０１２−０７３４９０号公報

しかしながら、上記特許文献２に記載の装置では、１台のカメラを用いて１つの方向のみから画像を取得しているため、得られる情報は２次元である。したがって、３次元の情報が必要な画像ガイド下手技模擬画像を生成することができない。たとえば、特許文献２に記載の装置では、Ｘ線透視画像による２次元の情報をもとに３次元での医療用具の先端部の形状や向き、医療用具とモデルとの位置関係を推定できるようにするトレーニングを提供することは、難しい。また、特許文献２に記載の装置では、血管が分岐し複数存在するモデルを使用する場合、抽出対象であるカテーテル等の医療用具を明確に抽出できない虞がある。たとえば、カメラ画角の同一直線状に複数の血管が重なって存在する状況において、カメラから視て遠位側の血管に抽出の対象物体である医療用具が挿入される場合が考えられる。この場合、対象物体からの反射光は、近位側の血管を通過する際に、減衰や散乱が生じる。したがって、モデルの材質や撮像時の照明条件によっては、対象物体からの反射光を受光できない、あるいは受光できた場合でも輝度値が低下したり輪郭がぼけてしまったりして、対象物体を明確に抽出できないという問題が生じてしまう。

本発明は、上記課題を鑑みてなされたものであり、モデルおよびモデルに挿入される医療用具に関する３次元の情報を用いて画像ガイド下手技模擬画像を生成できるトレーニングシステム、画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明に係るトレーニングシステムは、生体の一部を模擬した光透過性のモデルと、前記モデルを撮像する撮像部と、前記撮像部で撮像された画像を処理する画像処理部と、を備えている。前記撮像部は、少なくとも２つの異なる方向からの画像を取得する画像取得デバイスを備え、前記画像処理部は、画像から対象物体を抽出するとともに、少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成し、生成された画像ガイド下手技模擬画像を出力する。

また、本発明に係る画像処理装置は、生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得部と、前記取得部によって取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成部と、前記生成部によって生成された画像ガイド下手技模擬画像を出力する出力部と、を有する。

また、本発明に係る画像処理方法は、生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得ステップと、前記取得ステップにおいて取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成ステップと、前記生成ステップにおいて生成された画像ガイド下手技模擬画像を出力する出力ステップと、を有する。

また、本発明に係る画像処理プログラムは、生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得ステップと、前記取得ステップにおいて取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成ステップと、前記生成ステップにおいて生成された画像ガイド下手技模擬画像を出力する出力ステップと、をコンピューターに実行させるように構成される。

本発明に係るトレーニングシステムによれば、少なくとも２つの異なる方向から撮像した画像を取得して、画像から対象物体を抽出するとともに、少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成して出力する。これにより、モデルおよびモデルに挿入される医療用具に関する３次元の情報を用いて画像ガイド下手技模擬画像を生成できるので、ユーザーに効果的なトレーニングを行わせることができる。

トレーニングシステムの概略構成を示す図である。 撮像部の概略構成を示す図である。 画像処理装置の概略構成を示す図である。 画像処理装置の機能構成を示す図である。 ガイドワイヤの構成の一例を説明するための正面図である。 ガイドワイヤの構成の一例を説明するための上面図である。 ガイドワイヤの構成の一例を説明するための右側面図である。 第１実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。 ステップＳ１０２において取得される画像Ｘの一例を示す図である。 ステップＳ１０２において取得される画像Ｙの一例を示す図である。 ステップＳ１０３において生成される画像Ｘ１の一例を示す図である。 ステップＳ１０３において生成される画像Ｙ１の一例を示す図である。 ステップＳ１０４において生成される画像Ｘ２の一例を示す図である。 ステップＳ１０４において生成される画像Ｙ２の一例を示す図である。 ステップＳ１０５において生成される画像Ｘ１’の一例を示す図である。 ステップＳ１０５において生成される画像Ｙ１’の一例を示す図である。 ステップＳ１０６において生成される画像Ｘ２’の一例を示す図である。 ステップＳ１０６において生成される画像Ｙ２’の一例を示す図である。 ステップＳ１０７において画像Ｘ２’から対象物体の先端および変曲部の位置を特定する様子を示す図である。 ステップＳ１０７において画像Ｙ２’から対象物体の先端および変曲部の位置を特定する様子を示す図である。 ステップＳ１０８においてモデルと対象物体との位置関係を特定する様子を示す図である。 ステップＳ１０８においてモデルと対象物体との位置関係を特定する様子を示す図である。 ステップＳ１０９において生成される画像Ｚの一例を示す図である。 第２実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。 第２実施形態のトレーニングシステムによって実行される処理の流れを説明するための概念図である。 第３実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。

以下、添付した図面を参照しながら、本発明の実施形態およびその変形例を説明する。なお、以下の記載は特許請求の範囲に記載される技術的範囲や用語の意義を限定するものではない。また、図面の寸法比率は説明の都合上誇張されており、実際の比率とは異なる場合がある。

本明細書では、長尺状の医療用具について、医療用具が延びている方向（図５Ａ〜図５ＣにおけるＺ方向）を「長軸方向」とする。また、医療用具において、血管あるいはモデルに挿入される側を先端側とし、先端側と反対の端部側を基端側とする。

＜第１実施形態＞
＜トレーニングシステムの構成＞
図１は、トレーニングシステムの概略構成を示す図である。図１に示すように、トレーニングシステム１００は、モデル部２００、撮像部３００および画像処理装置４００により構成される。

モデル部２００は、たとえば、心臓等の臓器と臓器周辺の血管が模擬された臓器モデル２１０（以下、「モデル２１０」とも称する）がベース２２０に固定されて構成される。ベース２２０の周囲は図示しない壁で覆われる。ベース２２０および壁は、モデル２１０、医療用具、模擬造影溶液（造影剤を模した色付きの液体）等とは異なる輝度値を有する色で塗られている。これにより、画像処理時にモデル２１０、医療用具、模擬造影溶液等と背景との混同が抑止される。

モデル２１０は、生体の形態の一部を模擬した光透過性を有するモデルである。モデル２１０は、透明なシリコーン樹脂等を用いて製作される。モデル２１０は、外表面と内表面とを有する中空構造であり、内腔に血液を模した無色透明の模擬血液が、配管２３０を介して循環ポンプ２４０によって循環される。モデル２１０は、モデル２１０の内腔にガイドワイヤ２５１等の医療用具を挿入するためのカテーテルシース２６０が接続される。

撮像部３００は、モデル２１０を撮像するための構成である。

図２は、撮像部の概略構成を示す図である。図２に示すように、撮像部３００は、少なくとも２つの異なる方向からの画像を取得するカメラ等の画像取得デバイスによって構成される。撮像部３００に設けられる画像取得デバイスの数は制限されない。以下、説明を簡単にするために、撮像部３００は、第１カメラ３１０および第２カメラ３２０の２台のカメラで構成されるものとして説明する。

第１カメラ３１０および第２カメラ３２０は、カラー画像を撮像可能であり、位置および姿勢を変更可能なビデオカメラである。図２の例では、第１カメラ３１０および第２カメラ３２０は、Ｚ軸周りに回動可能なアームに取り付けられている。第１カメラ３１０および第２カメラ３２０は、互いに直交する方向からモデル２１０およびモデル２１０に挿入されたカテーテル２５０およびガイドワイヤ２５１を撮像し、得られた画像データを画像処理装置４００に出力する。図２の例では、第１カメラ３１０は第１の方向であるＸ方向からモデル２１０を撮像し、第２カメラ３２０はＸ方向と直交する第２の方向であるＹ方向からモデル２１０を撮像する。なお、第１カメラ３１０および第２カメラ３２０が撮像する方向は直交する形態に限定されず、任意の異なる方向から撮像し得る。

第１カメラ３１０および第２カメラ３２０には、各カメラからモデル２１０に向かう奥行き方向において、モデル２１０の長さ以上の被写界深度を有するレンズが用いられる。具体的には、第１カメラ３１０および第２カメラ３２０は、５ｃｍ〜３０ｃｍ程度、好ましくは５ｃｍ〜２０ｃｍ程度の被写界深度を有するレンズが用いられる。

また、第１カメラ３１０および第２カメラ３２０は、抽出する対象物体の輝度値範囲のコントラストが最大となるように、ピントを自動的に調節する機構を有する。たとえば、対象物体が黒色である場合、対象物体の輝度値範囲として予め設定された輝度値０〜２０／２５５付近のコントラストが最大となる位置にピントが調整される。

撮像部３００には、第１カメラ３１０および第２カメラ３２０の位置および姿勢を検出する検出部が設けられており、第１カメラ３１０および第２カメラ３２０の位置および姿勢を示す位置姿勢情報を画像処理装置４００に出力し得る。検出部は、たとえば、第１カメラ３１０および第２カメラ３２０それぞれの内部に設けられた３次元加速度センサの検出信号に基づいて位置および姿勢を検出してもよく、あるいは第１カメラ３１０および第２カメラ３２０それぞれを保持するアームの角度および位置を検出することによって位置および姿勢を検出してもよい。

画像処理装置４００は、撮像部３００の第１カメラ３１０および第２カメラ３２０から供給される画像データに対して後述する画像処理を施し、画像処理を施した画像を出力するための構成である。

図３は、画像処理装置の概略構成を示す図である。図３に示すように、画像処理装置４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３０、記憶部４４０、通信インターフェース４５０、表示部４６０および操作部４７０がバス４８０を介して接続される。

ＣＰＵ４１０は、ＲＯＭ４２０や記憶部４４０に記録されているプログラムにしたがって、上記各構成の制御や各種の演算処理を行う。

ＲＯＭ４２０は、各種プログラムや各種データを格納する。

ＲＡＭ４３０は、作業領域として一時的にプログラムやデータを記憶する。

記憶部４４０は、オペレーティングシステムを含む各種プログラムや、画像処理に必要な各種画像データや設定データ、画像処理によって生成された画像データ等を格納する。

通信インターフェース４５０は、他の装置と通信するためのインターフェースである。通信インターフェース４５０としては、有線または無線の各種規格による通信インターフェースが用いられる。

表示部４６０は、画像処理によって生成された画像データに対応する画像等の各種情報を表示するためのディスプレイ等の構成である。

操作部４７０は、ユーザーから操作や指示を受け付けるためのマウスやキーボード等の構成である。操作部４７０は、表示部４６０をタッチパネル式のディスプレイによって構成することによって実現されてもよい。

図４は、画像処理装置の機能構成を示す図である。図４に示すように、画像処理装置４００は、ＣＰＵ４１０が記憶部４４０に記憶されたプログラムを読み込んで処理を実行することによって、取得部４１１、生成部４１２、および出力部４１３として機能する。

取得部４１１は、モデル２１０を少なくとも２つの異なる方向から撮像した画像を示す画像データを撮像部３００から取得する。

生成部４１２は、取得部４１１によって取得された画像データに基づいて、画像に含まれる対象物体が抽出されて示された画像ガイド下手技模擬画像を生成する。

出力部４１３は、生成部４１２によって生成された画像ガイド下手技模擬画像を、表示部４６０等を介して出力する。

これにより、モデル２１０を用いてカテーテル手技のトレーニングを行う者は、モデル２１０を直視することなく、表示部４６０に表示された画像を見ながらトレーニングを行うことができる。

＜ガイドワイヤの構成＞
以下、本実施形態において画像から対象物体として抽出されるガイドワイヤの構成について説明する。

図５Ａは、ガイドワイヤの構成の一例を説明するための正面図である。図５Ｂは、ガイドワイヤの構成の一例を説明するための上面図である。図５Ｃは、ガイドワイヤの構成の一例を説明するための右側面図である。図５Ａおよび図５Ｂには、ガイドワイヤの先端付近の構成が示されている。

図５Ａおよび図５Ｂに示すように、ガイドワイヤ２５１は、長尺状の形状を有しており、軸部２５３および先端チップ部２５４を有する。軸部２５３は、ガイドワイヤ２５１の長軸方向に延びる部分である。先端チップ部２５４は、先端２５２から距離Ｌの位置に設けられる変曲部２５５において、軸部２５３を屈曲させることによって構成されている。軸部２５３と先端チップ部２５４とがなす角度θは、たとえば４５度である。なお、本明細書において、軸部２５３と先端チップ部２５４とがなす角度θは、鋭角を指すものとする。軸部２５３と先端チップ部２５４とがなす角度θは、これに限定されず、任意の角度とすることができる。ガイドワイヤ２５１は、モデル２１０の血管内を進行するために、軸部２５３回りに回転しながら使用される。したがって、先端チップ部２５４の向きは、軸部２５３の回転に伴い変化する。

＜３Ｄワイヤリングについて＞
３Ｄワイヤリングは、慢性完全閉塞病変（ＣＴＯ）にガイドワイヤを通過させる手技のひとつである。ＣＴＯの治療においては、ガイドワイヤは、血管の損傷抑止および治療成績の向上といった観点から、血管本来の内腔（真腔）を通過することが望まれる。医師は、図５Ａに示すような、先端をわずかに湾曲させたガイドワイヤを逐次回転させながらガイドワイヤを意図するルートに進める。このとき、回転によって変化する先端チップ部の向きを把握することは、ガイドワイヤの操作を行う上で非常に重要である。３Ｄワイヤリングでは、医師は、ガイドワイヤの長軸に直交する２方向から取得したＸ線透視画像をもとに、ガイドワイヤの軸部の位置、ガイドワイヤの先端の向き、および血管の真腔の位置の関係性をイメージすることで、ガイドワイヤの回転方向を判断する。これにより、医師は、必要最小限の回転操作でガイドワイヤを進めることができ、治療成績の向上や手技時間の短縮を図ることができる。一方で、２次元のＸ線透視画像から、３次元でのガイドワイヤの軸部の位置、ガイドワイヤの先端の向き、および血管の真腔の位置の関係性を直感的に推定することは難しいため、３Ｄワイヤリングは、手技の習得に十分なトレーニングを要する。

以下、画像処理装置４００において実行される処理について詳細に説明する。

＜第１実施形態のトレーニングシステムの処理＞
第１実施形態のトレーニングシステム１００は、対象物体であるガイドワイヤ２５１の長軸方向とそれぞれ交差する第１の方向および第２の方向から対象物体を視た画像を取得し、取得した画像に基づいて、対象物体を基端から先端に向かって視た画像を画像ガイド下手技模擬画像として生成する。具体的には、トレーニングシステム１００は、取得された画像から、対象物体の先端および変曲部の位置を特定し、特定された先端および変曲部の位置を用いて対象物体を長軸方向から視た画像を仮想的に生成する。なお、第１実施形態のトレーニングシステム１００では、第１の方向および第２の方向は、ガイドワイヤ２５１の長軸方向とそれぞれ直交する。以下、第１実施形態のトレーニングシステム１００における処理について、図６を参照しつつ詳細に説明する。

図６は、第１実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。図６のフローチャートに示される処理は、画像処理装置４００の記憶部４４０にプログラムとして記憶されており、ＣＰＵ４１０が各部を制御することにより実行される。

（ステップＳ１０１）
画像処理装置４００は、画像処理に必要となる初期情報を取得する。

初期情報には、第１カメラ３１０および第２カメラ３２０の図２におけるＺ方向に対する回転角度、第１カメラ３１０および第２カメラ３２０が取得する画像上での図２におけるＺ方向が含まれる。

また、初期情報には、画像処理によって抽出される対象物体であるガイドワイヤ２５１の図５Ａにおける距離Ｌおよび角度θに関する情報が含まれる。

また、初期情報には、撮像されるモデル２１０、ガイドワイヤ２５１、ベース２２０等の背景の輝度値に関する情報が含まれる。上述のように、モデル２１０、ガイドワイヤ２５１、および背景の輝度値はそれぞれ異なる。たとえば、背景は白色、モデル２１０は灰色、ガイドワイヤ２５１は黒色、のように、各構成の輝度値は、「背景＞モデル２１０＞ガイドワイヤ２５１」となるように設定される。なお、本実施形態において使用されるモデル２１０は、ＣＴＯに対応するモデルである。ＣＴＯは、ガイドワイヤ２５１を通過させるターゲットとして仮想的に生成して画像上に表示してもよい。この場合は、ターゲットを表示させる位置に関する情報も初期情報として取得され得る。

（ステップＳ１０２）
続いて、画像処理装置４００は、撮像部３００から、第１カメラ３１０によって撮像された画像である画像Ｘおよび第２カメラ３２０によって撮像された画像である画像Ｙを示す画像データを取得する。

図７Ａは、ステップＳ１０２において取得される画像Ｘの一例を示す図である。図７Ｂは、ステップＳ１０２において取得される画像Ｙの一例を示す図である。

図７Ａに示すように、画像Ｘは、モデル２１０およびモデル２１０に挿入されたガイドワイヤ２５１を第１の方向であるＸ方向から撮像した画像である。また、図７Ｂに示すように、画像Ｙは、モデル２１０およびモデル２１０に挿入されたガイドワイヤ２５１を第２の方向であるＹ方向から撮像した画像である。第１の方向であるＸ方向および第２の方向であるＹ方向は、対象物体であるガイドワイヤ２５１の長軸方向であるＺ方向と交差する方向である。画像Ｘおよび画像Ｙにおいて、モデル２１０、ガイドワイヤ２５１、および背景は、それぞれ異なる輝度値によって示されている。なお、ガイドワイヤ２５１を通過させるターゲットをモデル２１０の内腔に物理的に設ける場合は、図７Ａおよび図７Ｂの画像にもターゲットが示される。

（ステップＳ１０３）
続いて、画像処理装置４００は、ステップＳ１０２の処理において取得した画像Ｘおよび画像Ｙから、モデル２１０のみを抽出した画像である画像Ｘ１および画像Ｙ１を生成する。

図８Ａは、ステップＳ１０３において生成される画像Ｘ１の一例を示す図である。図８Ｂは、ステップＳ１０３において生成される画像Ｙ１の一例を示す図である。

図８Ａに示すように、画像Ｘ１は、モデル２１０をＸ方向から視た画像である。また、図８Ｂに示すように、画像Ｙ１は、モデル２１０をＹ方向から視た画像である。上述のように、画像Ｘおよび画像Ｙにおいて、モデル２１０、ガイドワイヤ２５１、および背景は、それぞれ異なる輝度値によって示されている。したがって、画像処理装置４００は、画像Ｘおよび画像Ｙから、予め設定されたモデル２１０の輝度値範囲に含まれる画素のみを抽出して新たな画像を生成することによって、画像Ｘ１および画像Ｙ１を生成することができる。

（ステップＳ１０４）
続いて、画像処理装置４００は、ステップＳ１０２の処理において取得した画像Ｘおよび画像Ｙから、ガイドワイヤ２５１のみを抽出した画像である画像Ｘ２および画像Ｙ２を生成する。

図９Ａは、ステップＳ１０４において生成される画像Ｘ２の一例を示す図である。図９Ｂは、ステップＳ１０４において生成される画像Ｙ２の一例を示す図である。

図９Ａに示すように、画像Ｘ２は、ガイドワイヤ２５１をＸ方向から視た画像である。また、図９Ｂに示すように、画像Ｙ２は、ガイドワイヤ２５１をＹ方向から視た画像である。画像処理装置４００は、ステップＳ１０３の処理と同様に、画像Ｘおよび画像Ｙから、予め設定されたガイドワイヤ２５１の輝度値範囲に含まれる画素のみを抽出して新たな画像を生成することによって、画像Ｘ２および画像Ｙ２を生成することができる。

ここで、画像処理装置４００は、ステップＳ１０２の処理において取得された処理対象となる画像と、対象物体であるガイドワイヤ２５１がない状態でモデル２１０を撮像して予め取得された参照画像とを比較して対象物体を抽出することによって、画像Ｘ２および画像Ｙ２を生成してもよい。たとえば、画像処理装置４００は、参照画像を示す画像を示す情報を記憶部４４０に記憶しておき、取得された画像の各画素の値と参照画像の各画素の値の差分を取得することによって、対象物体のみを抽出する。トレーニング中にモデル２１０の位置が大きくずれることによって、背景等のノイズが適切に除去できない場合には、一度ガイドワイヤ２５１をモデル２１０から取り除いた上で、再度参照画像を取得して、対象物体を抽出してもよい。画像処理装置４００は、対象物体を抽出後の画像にノイズ除去のための処理を実行してもよい。

さらに、トレーニング中に、ガイドワイヤ２５１の操作によってモデル２１０が変形したり、撮像部３００の各カメラが変動したりすることによってノイズが生じる可能性がある。この場合は、モルフォロジー処理（オープニング処理、クロージング処理、トップハット処理）やラベリング処理を行うことによってノイズを除去することができる。各アルゴリズムのパラメータは、撮影環境や対象物体等に合わせて適宜設定される。たとえば、ラベリング処理を実行した場合、ラベリング後に各領域において円形度などの指標を計算する。計算された円形度等の指標に基づいて、各領域の対象物体らしさを示す尤度を推定し、推定された尤度が閾値以下となる場合にはノイズとして除去することができる。

（ステップＳ１０５）
続いて、画像処理装置４００は、ステップＳ１０３の処理において生成した画像Ｘ１および画像Ｙ１から、モデル２１０の端部を抽出した画像である画像Ｘ１’および画像Ｙ１’を生成する。

図１０Ａは、ステップＳ１０５において生成される画像Ｘ１’の一例を示す図である。図１０Ｂは、ステップＳ１０５において生成される画像Ｙ１’の一例を示す図である。

図１０Ａに示すように、画像Ｘ１’は、Ｘ方向から視たモデル２１０の端部を示す画像である。また、図１０Ｂに示すように、画像Ｙ１’は、Ｙ方向から視たモデル２１０の端部を示す画像である。画像Ｘ１’および画像Ｙ１’では、モデル２１０の内表面をモデル２１０の端部として示す。すなわち、画像Ｘ１’および画像Ｙ１’において、抽出されたモデル２１０の端部が囲む領域は、モデル２１０の内腔に相当する領域である。画像処理装置４００は、たとえば、画像Ｘおよび画像Ｙに対して公知の境界抽出処理（エッジ抽出処理）を実行することによって、画像Ｘ１’および画像Ｙ１’を生成することができる。

（ステップＳ１０６）
続いて、画像処理装置４００は、ステップＳ１０４の処理において生成した画像Ｘ２および画像Ｙ２から、ガイドワイヤ２５１を細線化した画像である画像Ｘ２’および画像Ｙ２’を生成する。

図１１Ａは、ステップＳ１０６において生成される画像Ｘ２’の一例を示す図である。図１１Ｂは、ステップＳ１０６において生成される画像Ｙ２’の一例を示す図である。

図１１Ａおよび図１１Ｂに示すように、画像Ｘ２’および画像Ｙ２’には、それぞれＸ方向およびＹ方向から視たガイドワイヤ２５１が細線化されて示されている。画像処理装置４００は、たとえば、画像Ｘ２および画像Ｙ２に対して、モルフォロジー細線化処理またはハフ変換等を実行することによって、ガイドワイヤ２５１が細線化されて示された画像である画像Ｘ２’および画像Ｙ２’を生成することができる。

（ステップＳ１０７）
続いて、画像処理装置４００は、ステップＳ１０６の処理において生成した画像Ｘ２’および画像Ｙ２’から、ガイドワイヤ２５１の先端２５２および変曲部２５５の位置を特定する。先端２５２および変曲部２５５の位置が特定されると、先端２５２と変曲部２５５との間の部分が先端チップ部２５４であり、変曲部２５５からＺ方向に延びる部分が軸部２５３であると推定できる。これにより、ガイドワイヤ２５１の全体の位置が推定できる。

図１２Ａは、ステップＳ１０７において画像Ｘ２’からガイドワイヤ２５１の先端２５２および変曲部２５５の位置を特定する様子を示す図である。図１２Ｂは、ステップＳ１０７において画像Ｙ２’からガイドワイヤ２５１の先端２５２および変曲部２５５の位置を特定する様子を示す図である。

画像処理装置４００は、たとえば、初期情報として取得されているガイドワイヤ２５１の先端から画像Ｘ２’および画像Ｙ２’のラスタスキャンを実行し、最初に検出される画素を特定することによって、画像Ｘ２’および画像Ｙ２’における先端２５２の位置を特定する。もしくは、画像Ｘ２‘および画像Ｙ２’よりモルフォロジー処理により、初期情報を使用せずに先端２５２の位置を特定してもよい。画像処理装置４００は、たとえば、特定した先端２５２の位置と、初期情報として予め取得したガイドワイヤ２５１のサイズおよび形状に関する情報に基づいて、画像Ｘ２’および画像Ｙ２’における変曲部２５５の位置を特定する。具体的には、たとえば、ガイドワイヤ２５１の先端２５２から長軸方向上に下した垂線の足と変曲部２５５との距離Ｈ（図５Ａの例では、Ｌ・ｃｏｓθとして算出される）を予め取得しておく。そして、先端２５２からガイドワイヤ２５１の基端に向かって距離Ｈだけ進んだ位置から長軸方向と直交する方向に進んだ位置において検出される画素を特定することによって、画像Ｘ２’および画像Ｙ２’における変曲部２５５の位置を特定する。

なお、先端２５２および変曲部２５５の位置を特定する方法は上記の例に限定されず、いかなる画像処理方法によって特定されてもよい。たとえば、上記のように検出される先端２５２から初期情報で得られている距離Ｌ分の連続する全ての画素（複数個）を先端チップ部２５４として検出し、ガイドワイヤ２５１の基端側から画像Ｘ２’および画像Ｙ２’のラスタスキャンを実行して軸部２５３を検出する。そして、先端チップ部２５４に沿う近似直線と軸部２５３に沿う近似直線との交点を算出して、算出された交点の位置を変曲部２５５の位置として検出してもよい。

（ステップＳ１０８）
続いて、画像処理装置４００は、ステップＳ１０７の処理において特定した先端２５２および変曲部２５５の位置と、ステップＳ１０５の処理において抽出したモデル２１０の端部から、モデル２１０とガイドワイヤ２５１との位置関係を特定する。

図１３Ａおよび図１３Ｂは、ステップＳ１０８においてモデルと対象物体との位置関係を特定する方法を説明する図である。図１３Ａおよび図１３Ｂは、ステップＳ１０５の処理において生成したモデル２１０の端部を示す画像Ｘ１’および画像Ｙ１’に、ステップＳ１０７の処理において特定した先端２５２および変曲部２５５の位置を重畳した図である。図１３Ａによれば、先端２５２および変曲部２５５のＹ方向の位置が特定され、図１３Ｂによれば、先端２５２および変曲部２５５のＸ方向の位置が特定される。特定される先端２５２および変曲部２５５の位置は、モデル２１０の端部との相対的な位置でもよく、あるいは所定の座標系における絶対的な位置でもよい。

（ステップＳ１０９）
続いて、画像処理装置４００は、ステップＳ１０８の処理において特定したモデル２１０とガイドワイヤ２５１との位置関係に基づいて、モデル２１０およびガイドワイヤ２５１をＺ方向から視た画像Ｚを仮想的に生成する。

（ステップＳ１１０）
続いて、画像処理装置４００は、ステップＳ１０９において生成した画像Ｚを、画像ガイド下手技模擬画像として表示部４６０に出力する。

図１４は、ステップＳ１０９において生成される画像Ｚの一例を示す図である。図１４は、ステップＳ１０８の処理において特定された先端２５２および変曲部２５５のＹ方向およびＸ方向それぞれにおける位置を、Ｚ方向から視たＸＹ平面上に示したモデル２１０の画像（短軸像）上にプロットしたものである。短軸像上での先端２５２と変曲部２５５とは、異なる色や形状で表示されることが好ましい。また、短軸像上での先端２５２と変曲部２５５とは、変曲部２５５を基端とし先端２５２を先端とする矢印として表示されてもよい。これにより、トレーニングを行うユーザーは、ガイドワイヤ２５１の先端チップ部２５４が向いている方向を容易に把握できる。なお、本実施形態では、モデル２１０をＺ方向から視た形状は円形状であることが予め設定されているが、これに限定されない。

図１４の画像において、ガイドワイヤ２５１の先端２５２はモデル２１０の横断面の左上方に位置し、変曲部２５５はモデル２１０の横断面の中心に位置している。したがって、図１４の画像は、ガイドワイヤ２５１の先端チップ部２５４が左上方を向いていることを示している。図１４の画像が表示部４６０に表示されることによって、トレーニングを行うユーザーは、ガイドワイヤ２５１の位置や先端チップ部２５４が向いている方向を容易に把握できる。

以上のように、第１実施形態のトレーニングシステム１００は、生体の一部を模擬した光透過性のモデル２１０と、少なくとも２つの異なる方向からモデル２１０を撮像して画像を取得する撮像部３００と、撮像部３００で撮像された画像を処理する画像処理装置４００と、を備え、画像処理装置４００は、画像から対象物体を抽出するとともに、少なくとも２つの異なる方向からの画像に基づいて、対象物体が抽出された画像ガイド下手技模擬画像を生成して出力する。

第１実施形態のトレーニングシステム１００によれば、モデルおよびモデルに挿入される医療用具に関する３次元の情報を用いて画像ガイド下手技模擬画像を生成できるので、ユーザーに効果的なトレーニングを行わせることができる。

また、第１カメラ３１０は、対象物体の長軸方向（Ｚ方向）と交差する第１の方向（Ｘ方向）から対象物体を視た画像を取得し、第２カメラ３２０は、長軸方向および第１の方向と交差する第２の方向（Ｙ方向）から対象物体を視た画像を取得する。そして、画像処理装置４００は、取得された画像に基づいて、対象物体を長軸方向（Ｚ方向）から視た画像を生成する。これにより、第１実施形態のトレーニングシステム１００は、Ｘ方向およびＹ方向の２方向から取得した対象物体のＸ線透視画像をもとに、その時のモデル２１０とガイドワイヤ２５１との位置関係、すなわちＺ方向から視たガイドワイヤの軸部の位置、ガイドワイヤの先端の向き、およびモデル２１０の位置の関係性を瞬時に把握するトレーニングを、臨床現場における手技を模擬した環境で行うことができる。そのため、ユーザーに、より短時間で効果的なトレーニングを行わせることができる。

また、画像処理装置４００は、取得された画像から、対象物体の先端２５２および変曲部２５５の位置を特定し、特定された先端２５２および変曲部２５５の位置を用いて対象物体を長軸方向（Ｚ方向）から視た画像を仮想的に生成する。これにより、必要最小限の簡単な処理によって長軸方向から視た画像を効率的に生成することができる。

また、第１カメラ３１０および第２カメラ３２０は、各カメラからモデル２１０に向かう奥行き方向におけるモデル２１０の長さ以上の被写界深度を有する。これにより、奥行き方向の全ての位置において、焦点のあった映像を取得できるため、対象物体がぼけることを抑止できる。そのため、対象物体を画像処理する段階において、画像上のサイズおよび輝度値が一定となり、対象物体の抽出処理を行った後の画像のサイズが変動することを防止できる。したがって、奥行き方向に距離があるモデル２１０を使用する場合においても、対象物体の実際のサイズをより安定的かつ精度よく再現することができる。その結果、より実際に近い画像をユーザーに提供することができ、より現実的なトレーニングをユーザーに行わせることができる。

また、第１カメラ３１０および第２カメラ３２０は、対象物体の輝度値範囲のコントラストが最大となるようにピントを調節する機構を有する。これにより、対象物体の輝度値付近のコントラストが最大となる位置に自動的にピントが調整され、対象物体がぼけることを抑止できる。そのため、対象物体を画像処理する段階において、画像上のサイズおよび輝度値が一定となり、対象物体の抽出処理を行った後の画像のサイズが変動することを防止できる。したがって、奥行き方向に距離があるモデル２１０を使用する場合においても、対象物体の実際のサイズをより安定的かつ精度よく再現することができる。

また、画像処理装置４００は、取得された処理対象となる画像と、対象物体がない状態でモデル２１０を撮像して予め取得された参照画像とを比較して対象物体を抽出することによって、対象物体を示す画像から対象物体以外を除去する。これにより、常に映り込んでいる背景等は、参照画像として取得されて処理対象となる画像から除去できる。したがって、画像中に対象物体に近い輝度値を有する他の部分が存在する場合であっても、当該他の部分を除去して、対象物体のみを抽出することが可能となる。

＜第２実施形態＞
第１実施形態においては、対象物体の長軸方向とそれぞれ直交する第１の方向および第２の方向から対象物体を視た画像に基づいて、対象物体を長軸方向から視た画像を画像ガイド下手技模擬画像として生成する例について説明した。第２実施形態においては、第１の方向および第２の方向から対象物体を視た画像または当該画像から抽出された対象物体を示す画像を合成することによって、対象物体が明確に抽出された画像ガイド下手技模擬画像を生成する例について説明する。

第２実施形態のトレーニングシステム１００の構成は、第１実施形態のトレーニングシステム１００の構成と同様であるため、詳細な説明を省略する。以下、第２実施形態のトレーニングシステム１００における処理について、図１５および図１６を参照しつつ詳細に説明する。

＜第２実施形態のトレーニングシステムの処理＞
図１５は、第２実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。図１６は、第２実施形態のトレーニングシステムによって実行される処理の流れを説明するための概念図である。図１５のフローチャートに示される処理は、画像処理装置４００の記憶部４４０にプログラムとして記憶されており、ＣＰＵ４１０が各部を制御することにより実行される。

（ステップＳ２０１）
画像処理装置４００は、画像処理に必要となる初期情報を取得する。ステップＳ２０１の処理は、第１実施形態のステップＳ１０１の処理と同様であるため、詳細な説明を省略する。

（ステップＳ２０２）
続いて、画像処理装置４００は、図１６の（ａ）に示すように、撮像部３００から、第１カメラ３１０および第２カメラ３２０それぞれによって撮像された画像である画像Ｘおよび画像Ｙを示す画像データを取得する。

（ステップＳ２０３）
続いて、画像処理装置４００は、ステップＳ２０２の処理において取得された画像Ｘおよび画像Ｙを合成するための画像変換行列を推定する。たとえば、画像処理装置４００は、ＳＩＦＴ（Ｌｏｗｅ， Ｄ． （２００４）： Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ， Ｉｎｔ’ｌ． Ｊ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ６０， ２， ｐｐ．９１−１１０参照）等の公知の手法を用いて、取得された複数の画像から特徴点と呼ばれる画像の特徴を表す点を抽出する。ＳＩＦＴを用いる場合、画像処理装置４００は、抽出された特徴点の特徴量情報に基づいて特徴点のスケール情報と勾配情報とを算出する。そして、画像処理装置４００は、算出した情報を基に各画像において対応する点（対応点）を決定し、決定された対応点を使用して複数の画像の類似度を最大にするような画像変換行列を推定する。

なお、画像変換行列の推定は、画像処理装置４００によって自動で行われる形態に限定されず、手動で行われてもよい。たとえば、取得された複数の画像それぞれにおいて対応点が指定され、対応点を使用して複数の画像の類似度を最大にするような変換行列が推定されてもよい。この場合、画像処理装置４００は、推定された画像変換行列をユーザーからの入力等によって取得する。

また、画像変換行列の推定のために、モデル２１０の周辺に対応点を確認するためのマーカーが配置されてもよい。この場合、マーカーは、モデル２１０の外側に４か所以上配置されていることが望ましい。マーカーの数が多い程、画像変換行列の推定精度が向上する。また、画像処理装置４００による画像処理によって対応点の関係を自動で抽出できるように、各マーカーの色は異なることが望ましい。また、マーカーの材質は、容易に変形しないよう剛体であることが望ましい。

（ステップＳ２０４）
続いて、画像処理装置４００は、ステップＳ２０３の処理において推定された画像変換行列を用いて画像Ｘおよび画像Ｙを合成した際の、適切な画像補間条件を決定する。

（ステップＳ２０５）
続いて、画像処理装置４００は、図１６の（ｂ）に示すように、ステップＳ２０２の処理において取得された画像Ｘおよび画像Ｙから、対象物体であるガイドワイヤ２５１のみを抽出した画像Ｘ’および画像Ｙ’を生成する。そして、画像処理装置４００は、図１６の（ｃ）〜（ｅ）に示すように、生成された画像Ｙ’を、ステップＳ２０３およびステップＳ２０４の処理において求められた画像変換行列および画像補間条件を用いて形状変換した上で、画像Ｘ’と重ね合わせて合成する。

（ステップＳ２０６）
続いて、画像処理装置４００は、ステップＳ２０５の処理において合成された画像を、画像ガイド下手技模擬画像として表示部４６０に出力する。

なお、本実施形態においては、画像Ｘおよび画像Ｙから画像変換行列および画像補間条件を求めた後に、ガイドワイヤ２５１を抽出して画像Ｘ’および画像Ｙ’を生成し、求められた画像変換行列および画像補間条件を用いて画像Ｘ’および画像Ｙ’を合成する例について説明した。このような処理の順序とすることによって、ガイドワイヤ２５１を抽出する前の情報量の多い画像Ｘおよび画像Ｙを用いて画像変換行列および画像補間条件を求めることができるため、合成の精度を向上させることができる。また、ガイドワイヤ２５１のみが抽出された画像Ｘ’および画像Ｙ’を合成するため、効率的に画像を合成することができる。しかし、各処理の順序は上記の例に限定されない。たとえば、画像Ｘおよび画像Ｙを合成した後で、合成された画像からガイドワイヤ２５１を抽出してもよい。あるいは、画像Ｘおよび画像Ｙからガイドワイヤ２５１を抽出した画像Ｘ’および画像Ｙ’から画像変換行列および画像補間条件を求めて画像を合成してもよい。

以上のように、第２実施形態のトレーニングシステム１００は、少なくとも２つの異なる方向からの画像または当該画像から抽出された対象物体を示す画像を合成して合成画像を生成し、生成された合成画像に基づいて画像ガイド下手技模擬画像を生成する。これにより、たとえば、１台のカメラだけを用いる場合では、対象物体がモデル２１０の陰に隠れてしまう状況においても、異なる方向から視た画像を取得して合成することによって、対象物体が明瞭に抽出された画像ガイド下手技模擬画像を生成することができる。したがって、血管が分岐し複数存在するモデルを使用する場合でも、対象物体が明瞭に抽出された画像を出力できるので、ユーザーに効果的なトレーニングを行わせることができる。

また、画像処理装置４００は、少なくとも２つの異なる方向からの画像に基づいて、画像変換行列を推定するとともに画像補間条件を取得し、取得された画像変換行列および画像補間条件を用いて合成画像を生成する。これにより、精度よく効率的に２つの異なる方向からの画像を合成して画像ガイド下手技模擬画像を生成することができる。

＜第３実施形態＞
第２実施形態においては、第１の方向および第２の方向から対象物体を視た画像または当該画像から抽出された対象物体を示す画像を合成することによって、対象物体が明確に抽出された画像ガイド下手技模擬画像を生成する例について説明した。第３実施形態においては、第１の方向および第２の方向から対象物体を視た画像に基づいて、モデルおよび対象物体の３次元形状を推定して、対象物体が明確に抽出された画像ガイド下手技模擬画像を生成する例について説明する。

第３実施形態のトレーニングシステム１００の構成は、第１実施形態のトレーニングシステム１００の構成と同様であるため、詳細な説明を省略する。以下、第３実施形態のトレーニングシステム１００における処理について、図１７を参照しつつ詳細に説明する。

＜第３実施形態のトレーニングシステムの処理＞
図１７は、第３実施形態のトレーニングシステムによって実行される処理の手順を示すフローチャートである。

（ステップＳ３０１）
図１７に示すように、画像処理装置４００は、画像処理に必要となる初期情報を取得する。ステップＳ３０１の処理は、第２実施形態のステップＳ２０１の処理と同様であるため、詳細な説明を省略する。

（ステップＳ３０２）
続いて、画像処理装置４００は、撮像部３００から、第１カメラ３１０および第２カメラ３２０それぞれによって撮像された画像を示す画像データを取得する。ステップＳ３０２の処理は、第２実施形態のステップＳ２０２の処理と同様であるため、詳細な説明を省略する。

（ステップＳ３０３）
続いて、画像処理装置４００は、ステップＳ３０２の処理において取得した画像に基づいて、モデル２１０および対象物体であるガイドワイヤ２５１の３次元形状を推定する。たとえば、３次元形状を推定する対象それぞれの相対的な位置関係が既知である場合、画像処理装置４００は、ステレオ法により３次元形状を推定することができる。あるいは、相対的な位置関係が未知である場合には、画像処理装置４００は、ＳｆＭ法により３次元形状を推定することができる。ステレオ法およびＳｆＭ法において、対応点をマッチングするための手法としては、画像上の小領域毎に輝度値の相違度を計測する領域ベースの手法や、エッジまたはコーナーなどの特徴点同士の相違度を計測する特徴点ベースの手法が挙げられる。特徴点ベースの手法においては、たとえばＳＩＦＴにより特徴点が抽出される。

なお、ステレオ法としては、２台のカメラにより取得される画像から対応関係を取得する上述のパッシブステレオ法の代わりに、２台のカメラのうちの１台を可視光や近赤外光を照射する装置に置き換えたアクティブステレオ法と呼ばれる方法が用いられてもよい。

また、３次元形状の推定のために、モデル２１０の周辺に対応点を確認するためのマーカーが配置されてもよい。この場合、マーカーはモデル２１０の外側に４か所以上に配置されていることが望ましい。マーカーの数が多い程、３次元形状の推定精度が向上する。また、画像処理装置４００による画像処理によって対応点の関係を自動で抽出できるように、各マーカーの色は異なることが望ましい。また、マーカーの材質は、容易に変形しないよう剛体であることが望ましい。

（ステップＳ３０４）
続いて、画像処理装置４００は、ステップＳ３０３の処理において推定した３次元形状を所定の視点から視た表示画像を生成する。

（ステップＳ３０５）
続いて、画像処理装置４００は、ステップＳ３０４の処理において生成した表示画像において、対象物体であるガイドワイヤ２５１が、モデル２１０の一部に隠れている箇所があるか否かを判断する。

（ステップＳ３０６）
ガイドワイヤ２５１が、モデル２１０の一部に隠れている箇所がない場合（ステップＳ３０６：ＮＯ）、画像処理装置４００は、ステップＳ３１０の処理に進む。

ガイドワイヤ２５１が、モデル２１０の一部に隠れている箇所がある場合（ステップＳ３０６：ＹＥＳ）、画像処理装置４００は、ステップＳ３０７の処理に進む。

（ステップＳ３０７）
続いて、画像処理装置４００は、ステップＳ３０２の処理において取得した異なる方向からの画像において、ステップＳ３０５において判断された表示画像の隠れている箇所に対応する部分の部分画像を抽出する。

（ステップＳ３０８）
続いて、画像処理装置４００は、ステップＳ３０７の処理において抽出された各部分画像のなかで、対象物体が隠れていない部分画像を特定する。

（ステップＳ３０９）
続いて、画像処理装置４００は、ステップＳ３０８の処理において特定された部分画像を、表示画像の対象物体が隠れている箇所に対応させて重畳し、新たな表示画像を生成する。

（ステップＳ３１０）
続いて、画像処理装置４００は、ステップＳ３０４またはステップＳ３０９の処理において生成された表示画像を画像ガイド下手技模擬画像として表示部４６０に出力する。

以上のように、第３実施形態のトレーニングシステム１００によれば、画像処理装置４００は、少なくとも２つの異なる方向からの画像に基づいて、モデル２１０および対象物体の３次元形状を推定し、所定の視点から３次元形状を視た表示画像を生成する。そして、画像処理装置４００は、表示画像において、対象物体がモデル２１０の一部に隠れている箇所があるか否かを判断し、隠れている箇所がある場合には、元の少なくとも２つの異なる方向からの画像それぞれにおいて、当該箇所に対応する部分画像を抽出する。そして、画像処理装置４００は、抽出された各部分画像のなかで対象物体が隠れていない部分画像を特定し、特定された部分画像を、表示画像において対象物体が隠れている箇所に対応させて重畳して、画像ガイド下手技模擬画像を生成する。これにより、たとえば、１台のカメラだけを用いる場合では、対象物体がモデル２１０の陰に隠れてしまう状況においても、異なる方向から視た画像を用いて３次元形状を推定することによって、１つの方向からの画像のみでは得られない情報を補完して、対象物体が抽出された画像ガイド下手技模擬画像を生成することができる。したがって、血管が分岐し複数存在するモデルを使用する場合でも、対象物体が明瞭に抽出された画像を出力できるので、ユーザーに効果的なトレーニングを行わせることができる。

なお、本発明は、上述した実施形態のみに限定されるものではなく、特許請求の範囲内において、種々改変することができる。

たとえば、トレーニングシステム１００およびトレーニングシステム１００に含まれる各構成は、それぞれ上記の構成要素以外の構成要素を含んでいてもよく、あるいは、上記の構成要素のうちの一部が含まれていなくてもよい。

また、画像処理装置４００は、複数の装置によって構成されてもよく、あるいは単一の装置によって構成されてもよい。また、画像処理装置４００が有するものとして説明した機能の一部は、撮像部３００等の他の構成によって実現されてもよい。

また、上記の実施形態においては、第１カメラ３１０および第２カメラ３２０は、カラー画像を撮像するものとして説明したが、これに限定されない。たとえば、第１カメラ３１０および第２カメラ３２０は、グレースケールの画像を撮像してもよい。

また、上記の実施形態においては、画像上の各画素の輝度値に応じてガイドワイヤ２５１、モデル２１０、および背景等が識別されるものとして説明したが、これに限定されない。たとえば、画像上の各画素の色情報に基づいてガイドワイヤ２５１、モデル２１０、および背景等が識別されてもよい。

また、上記の実施形態においては、対象物体としてガイドワイヤ２５１が抽出される例について説明したが、これに限定されない。たとえば、対象物体としてガイドワイヤ２５１以外の他の医療デバイスが抽出されてもよい。

また、上記の各実施形態におけるフローチャートの処理単位は、各処理の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方によって、本願発明が制限されることはない。各処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

上述した実施形態に係るトレーニングシステム１００における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、フレキシブルディスクおよびＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、トレーニングシステム１００の一機能としてその装置のソフトウエアに組み込まれてもよい。

１００ トレーニングシステム、
２００ モデル部、
２１０ モデル（臓器モデル）、
２２０ ベース、
２３０ 配管、
２４０ 循環ポンプ、
２５０ カテーテル、
２５１ ガイドワイヤ、
２５２ 先端、
２５３ 軸部、
２５４ 先端チップ部、
２５５ 変曲部、
２６０ カテーテルシース、
３００ 撮像部、
３１０ 第１カメラ、
３２０ 第２カメラ、
４００ 画像処理装置、
４１０ ＣＰＵ、
４１１ 取得部、
４１２ 生成部、
４１３ 出力部、
４２０ ＲＯＭ、
４３０ ＲＡＭ、
４４０ 記憶部、
４５０ 通信インターフェース、
４６０ 表示部、
４７０ 操作部、
４８０ バス。

Claims (12)

1. 生体の一部を模擬した光透過性のモデルと、
   前記モデルを撮像する撮像部と、
   前記撮像部で撮像された画像を処理する画像処理部と、を備え、
   前記撮像部は、少なくとも２つの異なる方向からの画像を取得する画像取得デバイスを備え、
   前記画像処理部は、画像から対象物体を抽出するとともに、少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成し、生成された画像ガイド下手技模擬画像を出力するトレーニングシステム。
2. 前記撮像部は、前記対象物体の長軸方向と交差する第１の方向から、ならびに前記長軸方向および前記第１の方向と交差する第２の方向から前記対象物体を視た画像を取得し、
   前記画像処理部は、前記撮像部によって取得された画像に基づいて、前記対象物体を前記長軸方向から視た前記画像ガイド下手技模擬画像を生成する請求項１に記載のトレーニングシステム。
3. 前記画像処理部は、前記撮像部によって取得された画像から、前記対象物体の先端および変曲部の位置を特定し、特定された前記先端および前記変曲部の位置を用いて前記対象物体を前記長軸方向から視た前記画像ガイド下手技模擬画像を仮想的に生成する請求項２に記載のトレーニングシステム。
4. 前記画像処理部は、前記少なくとも２つの異なる方向からの画像または当該画像から抽出された前記対象物体を示す画像を合成して合成画像を生成し、生成された前記合成画像に基づいて前記画像ガイド下手技模擬画像を生成する請求項１に記載のトレーニングシステム。
5. 前記画像処理部は、少なくとも２つの異なる方向からの画像に基づいて、画像変換行列を推定するとともに画像補間条件を取得し、取得された前記画像変換行列および前記画像補間条件を用いて前記合成画像を生成する請求項４に記載のトレーニングシステム。
6. 前記画像処理部は、前記少なくとも２つの異なる方向からの画像に基づいて、前記モデルおよび前記対象物体の３次元形状を推定し、所定の視点から前記３次元形状を視た表示画像において前記対象物体が、前記モデルの一部に隠れている箇所があるか否かを判断し、隠れている箇所がある場合には、元の前記少なくとも２つの異なる方向からの画像それぞれにおいて当該箇所に対応する部分画像を抽出し、抽出された各部分画像のなかで対象物体が隠れていない部分画像を特定し、特定された前記部分画像を前記表示画像の前記箇所に対応させて重畳して、前記画像ガイド下手技模擬画像を生成する請求項１に記載のトレーニングシステム。
7. 前記画像取得デバイスは、当該画像取得デバイスから前記モデルに向かう奥行き方向における前記モデルの長さ以上の被写界深度を有する請求項１〜６のいずれか一項に記載のトレーニングシステム。
8. 前記画像取得デバイスは、前記対象物体の輝度値範囲のコントラストが最大となるようにピントを調節する機構を有する請求項１〜７のいずれか一項に記載のトレーニングシステム。
9. 前記画像処理部は、前記撮像部によって取得された処理対象となる画像と、前記対象物体がない状態で前記モデルを撮像して予め取得された参照画像とを比較することによって前記対象物体を抽出する請求項１〜８のいずれか一項に記載のトレーニングシステム。
10. 生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得部と、
    前記取得部によって取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成部と、
    前記生成部によって生成された画像ガイド下手技模擬画像を出力する出力部と、
    を有する画像処理装置。
11. 生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得ステップと、
    前記取得ステップにおいて取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成ステップと、
    前記生成ステップにおいて生成された画像ガイド下手技模擬画像を出力する出力ステップと、
    を有する画像処理方法。
12. 生体の一部を模擬した光透過性のモデルを少なくとも２つの異なる方向から撮像した画像を取得する取得ステップと、
    前記取得ステップにおいて取得された少なくとも２つの異なる方向からの画像に基づいて前記画像に含まれる対象物体が抽出された画像ガイド下手技模擬画像を生成する生成ステップと、
    前記生成ステップにおいて生成された画像ガイド下手技模擬画像を出力する出力ステップと、
    をコンピューターに実行させるための画像処理プログラム。

Images