JP2023024072A - 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム - Google Patents

Abstract

【課題】ユーザのサポートにより長尺状の医療器具の先端に関する情報を補えるようにする。【解決手段】画像処理装置は、生体組織の内腔を移動するセンサを用いて得られた断面画像をディスプレイに表示させ、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付け、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを前記ディスプレイに表示させる制御部を備える。【選択図】図６

Description

本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。

特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。

米国特許出願公開第２０１０／０２１５２３８号明細書 米国特許第６３８５３３２号明細書 米国特許第６２５１０７２号明細書

心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。

現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。生成した３次元画像をそのまま表示するだけでは、術者には組織の外壁しか見えないため、３次元画像において、生体組織の構造の一部を切り取り、内腔を覗けるようにすることが考えられる。アブレーションカテーテル、又は心房中隔穿刺用のカテーテルなど、ＩＶＵＳカテーテルとは別のカテーテルが生体組織に挿入されている場合は、その別のカテーテルを表現する３次元画像を更に表示することが考えられる。

しかし、卵円窩にカテーテルを押し当てるなどのアクションを術者がとるときには、カテーテルが組織の中にめり込んでしまい、ＩＶＵＳの２次元画像からカテーテルの先端を検出することが難しい。結果として、カテーテルの先端が切り取られたような３次元画像が描画されることになってしまう。そのため、術者にはカテーテルの先端が見えず、カテーテルを使った施術を円滑に行うことができない。

本開示の目的は、ユーザのサポートにより長尺状の医療器具の先端に関する情報を補えるようにすることである。

本開示の一態様としての画像処理装置は、生体組織の内腔を移動するセンサを用いて得られた断面画像をディスプレイに表示させ、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付け、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを前記ディスプレイに表示させる制御部を備える。

一実施形態として、前記制御部は、３次元空間において前記生体組織を表す組織オブジェクトを含み、前記３次元空間において前記医療器具の先端を表すオブジェクトを前記先端オブジェクトとして更に含む３次元オブジェクト群を前記ディスプレイに表示させる。

一実施形態として、前記制御部は、前記センサを用いて前記断面画像よりも前に得られた複数の断面画像を含む断層データを参照して、前記医療器具について前記３次元空間における位置を点群として示す点群データを生成し、生成した点群データに基づき、前記３次元空間において前記先端オブジェクトとつながって前記医療器具を表す医療器具オブジェクトを前記３次元オブジェクト群に更に含める。

一実施形態として、前記制御部は、前記先端オブジェクトを前記医療器具オブジェクトとは異なる色で前記ディスプレイに表示させる。

一実施形態として、前記制御部は、前記欠損スポットと前記点群データで示される点群のうち１つの点である接続点との間に補間する１つ以上の点を示す補間データを生成し、生成した補間データに基づき、前記３次元空間において前記先端オブジェクトと前記医療器具オブジェクトとを接続する接続オブジェクトを前記３次元オブジェクト群に更に含める。

一実施形態として、前記制御部は、前記接続オブジェクトを前記医療器具オブジェクトとは異なる色で前記ディスプレイに表示させる。

一実施形態として、前記接続点は、前記点群データで示される点群のうち前記欠損スポットに最も近い点である。

一実施形態として、前記制御部は、それぞれ長尺状の複数の医療器具が前記内腔に挿入されている場合に、前記欠損スポットと各医療器具について前記点群データで示される点群との位置関係に応じて、前記複数の医療器具の中から１本の医療器具を欠損医療器具として選択し、前記３次元空間において前記先端オブジェクトとつながって前記欠損医療器具を表すオブジェクトを前記医療器具オブジェクトとして前記３次元オブジェクト群に含める。

一実施形態として、前記位置関係は、前記欠損スポットと各医療器具について前記点群データで示される点群に対応する回帰曲線との間の距離を含む。

一実施形態として、前記位置関係は、前記欠損スポットと各医療器具について前記点群データで示される点群のうち前記欠損スポットに最も近い点との間の距離を含む。

一実施形態として、前記制御部は、それぞれ長尺状の複数の医療器具が前記内腔に挿入されている場合に、前記複数の医療器具の中から１本の医療器具を欠損医療器具として選択するユーザの操作を受け付け、前記３次元空間において前記先端オブジェクトとつながって前記欠損医療器具を表すオブジェクトを前記医療器具オブジェクトとして前記３次元オブジェクト群に含める。

本開示の一態様としての画像処理システムは、前記画像処理装置と、前記センサとを備える。

一実施形態として、前記画像処理システムは、前記ディスプレイを更に備える。

本開示の一態様としての画像表示方法は、ディスプレイが、生体組織の内腔を移動するセンサを用いて得られた断面画像を表示し、制御部が、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付け、前記ディスプレイが、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを表示する、というものである。

本開示の一態様としての画像処理プログラムは、生体組織の内腔を移動するセンサを用いて得られた断面画像をディスプレイに表示させる処理と、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付ける処理と、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを前記ディスプレイに表示させる処理とをコンピュータに実行させる。

本開示によれば、ユーザのサポートにより長尺状の医療器具の先端に関する情報を補えるようになる。

本開示の実施形態に係る画像処理システムの斜視図である。 本開示の実施形態に係る画像処理システムによりディスプレイに表示される３次元画像及び断面画像の例を示す図である。 欠損スポット、カテーテル点群、及び最近傍点の例を示す図である。 欠損スポット、カテーテル点群、最近傍点、及び補間点の例を示す図である。 本開示の実施形態に係る画像処理システムにより形成される切断領域の例を示す図である。 本開示の実施形態に係る画像処理装置の構成を示すブロック図である。 本開示の実施形態に係るプローブ及び駆動ユニットの斜視図である。 本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。 本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。 本開示の実施形態の変形例に係る画像処理システムの動作を示すフローチャートである。

以下、本開示の幾つかの実施形態について、図を参照して説明する。

各図中、同一又は相当する部分には、同一符号を付している。各実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

本開示の一実施形態について説明する。

図１から図６を参照して、本実施形態の概要を説明する。

本実施形態に係る画像処理装置１１は、コンピュータである。画像処理装置１１は、生体組織６０の内腔６１を移動するセンサを用いて得られた断面画像５４をディスプレイ１６に表示させる。画像処理装置１１は、断面画像５４の１箇所を欠損スポット７１として選択するユーザの操作を受け付ける。画像処理装置１１は、内腔６１に挿入されたカテーテル６３の先端６７が欠損スポット７１に存在することを表す先端オブジェクトをディスプレイ１６に表示させる。

画像処理装置１１は、３次元空間において生体組織６０を表す組織オブジェクトを含む３次元オブジェクト群をディスプレイ１６に表示させる。本実施形態では、画像処理装置１１は、当該３次元空間においてカテーテル６３の先端６７を表すオブジェクトを先端オブジェクトとして３次元オブジェクト群に含めるだけでなく、カテーテル６３の先端６７を表すマークＭｔを先端オブジェクトとして断面画像５４の上に配置する。すなわち、先端オブジェクトは、本実施形態では、３次元オブジェクト、及びマークなどの２次元オブジェクトの両方として表示される。

本実施形態では、画像処理装置１１は、断面画像５４をディスプレイ１６に表示させているときであれば、任意の時点で、欠損スポット７１を選択するユーザの操作を受け付けるが、本実施形態の一変形例として、画像処理装置１１は、特定の場合に、欠損スポット７１を選択するユーザの操作を受け付けてもよい。そのような変形例において、画像処理装置１１は、断面画像５４の入力を受けると、カテーテル６３が断面画像５４に含まれているかどうかを判定する。画像処理装置１１は、カテーテル６３が断面画像５４に含まれていないと判定した場合に、生体組織６０の内表面６５の、カテーテル６３が押し当てられることによって変形させられた変形スポット６９が断面画像５４に含まれているかどうかを判定する。あるいは、画像処理装置１１は、カテーテル６３が断面画像５４に含まれているかどうかに関わらず、変形スポット６９が断面画像５４に含まれているかどうかを判定する。画像処理装置１１は、変形スポット６９が断面画像５４に含まれていると判定した場合に、欠損スポット７１を選択するユーザの操作を受け付ける。

図２の例では、変形スポット６９は、心房中隔穿刺の術中に卵円窩６８にカテーテル６３が押し当てられて卵円窩６８がテント状に伸びたときの、テント状に伸びた部分、すなわち、テンティングスポットである。画像処理装置１１は、ポインタをディスプレイ１６に表示させる。ポインタは、任意の色及び形状でよい。画像処理装置１１は、断面画像５４の上でポインタを移動させてテンティングスポットの位置を欠損スポット７１として選択するユーザの操作を受け付ける。欠損スポット７１としては、１画素が選択されてもよいし、又は９画素など、ある程度の範囲が選択されてもよい。画像処理装置１１は、選択された位置を示すマークＭｔをディスプレイ１６に表示させる。マークＭｔは、任意の色及び形状のマークでよいが、図２の例では実線の黄三角である。マークＭｔは、長尺状の医療器具であるカテーテル６３が挿入されている生体組織６０の断面６４の重心Ｐｂから超音波放射方向に向いている。よって、マークＭｔが、テンティングを引き起こしているカテーテル６３の先端６７を表す先端オブジェクトであることをユーザが認識しやすい。本実施形態の一変形例として、欠損スポット７１と接続されるカテーテルオブジェクトを断面画像５４上に表示してもよい。そのような変形例において、断面画像５４からのＺ軸方向の距離に応じてカテーテルオブジェクトの色調を変化させるとともに、マークＭｔの三角の向きを、カテーテルオブジェクトの、欠損スポット７１と接続される接続点から欠損スポット７１に向かう方向と一致させてもよい。その場合、マークＭｔが、テンティングを引き起こしているカテーテル６３の先端６７を表す先端オブジェクトであることをユーザがより認識しやすくなる。

本実施形態によれば、ユーザのサポートによりカテーテル６３の先端６７など、長尺状の医療器具の先端に関する情報を補えるようになる。例えば、卵円窩６８にカテーテル６３を押し当てるなどのアクションを術者がとるときには、カテーテル６３が組織の中にめり込んでしまい、断面画像５４からカテーテル６３の先端６７を検出することが難しい。しかし、本実施形態では、ユーザから指定されたテンティングスポットの位置に基づいて、カテーテル６３の先端６７の位置を特定することができる。結果として、カテーテル６３の先端６７を含む３次元画像５３を描画することができる。そのため、術者にはカテーテル６３の先端６７が見え、カテーテル６３を使った施術を円滑に行うことができる。本実施形態の一変形例として、ガイドワイヤ又は心房中隔穿刺針など、カテーテル６３以外の長尺状の医療器具の先端に関する情報を本実施形態と同様の方法で補ってもよい。

本実施形態では、画像処理装置１１は、組織オブジェクトと同じ３次元空間において先端オブジェクトとつながってカテーテル６３を表す医療器具オブジェクトを３次元オブジェクト群に更に含める。医療器具オブジェクトは、本実施形態ではカテーテルオブジェクトであるが、ガイドワイヤなど、カテーテル６３以外の長尺状の医療器具を表すオブジェクトでもよい。画像処理装置１１は、組織オブジェクトと同じ３次元空間において先端オブジェクトとつながっておらず、別のカテーテル６３を表すカテーテルオブジェクトを３次元オブジェクト群に更に含めてもよい。画像処理装置１１は、当該３次元空間において先端オブジェクトと医療器具オブジェクトとを接続する接続オブジェクトを３次元オブジェクト群に更に含めてもよい。その場合、画像処理装置１１は、欠損スポット７１と点群データで示される点群７２のうち１つの点である接続点との間に１つ以上の点を補間する。例えば、画像処理装置１１は、図３に示すように、カテーテル６３の点群７２のうち欠損スポット７１に最も近い点である最近傍点７３を選択する。そして、画像処理装置１１は、図４に示すように、欠損スポット７１と最近傍点７３との間の１つ以上の点を補間点７４として算出する。結果として、欠損スポット７１に対応する３次元座標に先端オブジェクト、補間点７４に対応する３次元座標に接続オブジェクト、点群７２に対応する３次元座標に医療器具オブジェクトが描画される。

ＣＳカテーテルとＲＡカテーテルとが内腔６１に挿入されている場合など、図２の例のように、３次元空間内に異なる２つ以上のカテーテルオブジェクトが存在する場合、どのカテーテルオブジェクトに先端オブジェクトをつなげるべきかが明らかでない。このような場合、画像処理装置１１は、どのカテーテルオブジェクトに先端オブジェクトをつなげるべきかを自動的に決定する。「ＣＳ」は、coronary sinusの略語である。「ＲＡ」は、right atriumの略語である。

本実施形態では、画像処理装置１１は、センサを用いて得られたデータセットである断層データ５１を参照して、生体組織６０を表す３次元データ５２を生成及び更新する。画像処理装置１１は、３次元データ５２を３次元画像５３として、断面画像５４とともにディスプレイ１６に表示させる。すなわち、画像処理装置１１は、断層データ５１を参照して、３次元画像５３及び断面画像５４をディスプレイ１６に表示させる。

画像処理装置１１は、３次元画像５３において生体組織６０の内腔６１を露出させる開口６２を３次元データ５２に形成する。図２の例では、先端６７を含むカテーテル６３、及び卵円窩６８が見えるように開口６２が形成されている。そして、開口６２の位置に応じて、３次元画像５３を画面に表示する際の視点が調整されている。視点とは、３次元空間に配置される仮想のカメラの位置のことである。

本実施形態によれば、３次元画像５３において、生体組織６０の構造の一部を切り取ることで、生体組織６０の内腔６１を覗けるようにすることができる。

生体組織６０は、例えば、血管、又は心臓などの臓器を含む。生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。図５の例では、生体組織６０は、血管である。

図２において、Ｚ方向は、センサの移動方向に相当するが、図５に示すように、便宜上、Ｚ方向は、生体組織６０の内腔６１の長手方向に相当するとみなしてもよい。Ｚ方向に直交するＸ方向、並びにＺ方向及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔６１の短手方向に相当するとみなしてもよい。

図５の例では、画像処理装置１１は、３次元データ５２を用いて生体組織６０の断面Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を算出する。画像処理装置１１は、重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を通る１本の線Ｌｂで交わる１対の面を切断面Ｄ１，Ｄ２として設定する。画像処理装置１１は、３次元画像５３において切断面Ｄ１，Ｄ２に挟まれ、生体組織６０の内腔６１を露出させる領域を切断領域６６として３次元データ５２に形成する。３次元画像５３では、切断領域６６が非表示又は透明に設定されることで、図２のような開口６２が形成される。

図５のように屈曲した血管の３次元モデルの場合、１つの平面をもって３次元モデルを切断して内腔６１を表示すると、正しく血管内を表示し得ないケースがある。本実施形態では、図５のように、血管の重心を捕捉し続けることにより、確実に血管の中を表示し得るように３次元モデルを切断することが可能となる。

図５では、便宜上、Ｚ方向に直交する生体組織６０の複数断面として、４つの断面Ｃ１，Ｃ２，Ｃ３，Ｃ４を示しているが、重心位置の算出対象となる断面の数は４つに限らず、好適にはＩＶＵＳで取得される断面画像の数と同数である。

図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。

画像処理システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。

画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。

ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。

駆動ユニット１３は、図７に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。

キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。

画像処理システム１０は、オプションとして、接続端子１７及びカートユニット１８を更に備える。

接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。

カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。

図７を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。

プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。

駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。

ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。

駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。

スキャナユニット３１は、プルバックユニットとも呼ばれる。スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。

プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。

スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。

プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。

スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。

スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。

フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。

スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。

ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。

図６を参照して、画像処理装置１１の構成を説明する。

画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像処理システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。

記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。

通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。

入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。

出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。

画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の動作をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の動作を実行することにより画像処理装置１１として機能する。

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

画像処理装置１１の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図８を参照して、本実施形態に係る画像処理システム１０の動作を説明する。画像処理システム１０の動作は、本実施形態に係る画像表示方法に相当する。

図８のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。

ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、更にスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。

具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、かつ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。

本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。

本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。

本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。

本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の内腔６１を移動しながら断層データ５１を取得するセンサとして、生体組織６０の内腔６１で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の内腔６１で光を放射して断層データ５１を取得するセンサが用いられる。

本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を画像処理装置１１に入力してもよい。

ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を生成する。ここで、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。

具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。

アブレーションカテーテルなど、ＩＶＵＳカテーテルとは別のカテーテル６３が生体組織６０に挿入されている場合、断層データ５１には、生体組織６０のデータと同じように、カテーテル６３のデータが含まれている。そのため、ステップＳ１０２において、制御部４１により生成される３次元データ５２にも、生体組織６０のデータと同じように、カテーテル６３のデータが含まれる。

画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる断面画像の画素群を２つ以上のクラスに分類する。これら２つ以上のクラスには、少なくとも生体組織６０が属する「組織」のクラスと、カテーテル６３が属する「カテーテル」のクラスとが含まれ、「血球」のクラス、ガイドワイヤなど、「カテーテル」以外の「医療器具」のクラス、留置ステントなどの「留置物」のクラス、又は石灰若しくはプラークなどの「病変」のクラスが更に含まれていてもよい。分類方法としては、任意の方法を用いてよいが、本実施形態では、学習済みモデルによって断面画像の画素群を分類する方法が用いられる。学習済みモデルは、事前に機械学習を行うことによって、サンプルとなるＩＶＵＳの断面画像から、各クラスに該当する領域を検出できるように調教されている。

ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる最新の断面画像５４を３次元画像５３とともにディスプレイ１６に表示させる。

具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。３次元画像５３は、３次元空間において生体組織６０を表す組織オブジェクト、及び当該３次元空間において先端オブジェクトとつながってカテーテル６３を表す医療器具オブジェクトなどの３次元オブジェクト群を含む。すなわち、制御部４１は、記憶部４２に記憶された生体組織６０のデータから生体組織６０の３次元オブジェクトを生成し、記憶部４２に記憶されたカテーテル６３のデータからカテーテル６３の３次元オブジェクトを生成する。制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像のうち、最新の断面画像５４と、生成した３次元画像５３とを、出力部４５を介してディスプレイ１６に表示させる。

ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が実行される。ユーザの変更操作がなければ、ステップＳ１０６の処理が実行される。

ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。

具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。

ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が実行される。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。

ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像５４を新たに生成することで、少なくとも１つの新たな断面画像５４を含む断層データ５１を取得する。

ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を更新する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、ステップＳ１０７で取得した断層データ５１に含まれる最新の断面画像５４を３次元画像５３とともにディスプレイ１６に表示させる。ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１０８において、３次元画像５３のリアルタイム性を向上させることができる。

図９を参照して、ユーザがプルバックユニットを操作して生体組織６０のカテーテル６３がめり込んでいる位置へ超音波振動子２５を誘導し、ステップＳ１０３で画像処理装置１１の制御部４１が当該位置に対応する断面画像５４をディスプレイ１６に表示させた後のステップＳ１０８で実行される処理の手順を説明する。この手順が実行される前には、制御部４１は、センサを用いて断面画像５４よりも前に得られた複数の断面画像を含む断層データ５１を参照して、点群データを生成する。点群データは、カテーテル６３について３次元空間における位置を点群７２として示すデータである。点群７２は、断層データ５１に含まれる複数の断面画像におけるカテーテル６３の位置に基づいて算出される。具体的には、「カテーテル」のクラスに分類された画素に対応する３次元座標が点群７２に含まれる１つの点として算出される。制御部４１は、生成した点群データを記憶部４２に記憶させる。

ステップＳ２０１において、画像処理装置１１の制御部４１は、断面画像５４の１箇所を欠損スポット７１として選択するユーザの操作を受け付ける。具体的には、制御部４１は、ユーザがＩＶＵＳの２次元画像上で生体組織６０のカテーテル６３がめり込んでいる位置をクリックする操作を受け付ける。単なるクリックでは誤操作の可能性があるので、Ａｌｔキー又はＣｔｒｌキーなど、特定のキーの押下と、クリックとの組合せが望ましい。

ステップＳ２０２において、画像処理装置１１の制御部４１は、複数のカテーテル６３が内腔６１に挿入されているかどうかを判定する。具体的には、制御部４１は、記憶部４２に記憶された点群データで示される点群を分類する。分類方法としては、階層クラスタリング、又は非階層クラスタリングなど、任意の方法を用いることができる。制御部４１は、分類結果に応じて、内腔６１に挿入されているカテーテル６３の本数をカウントする。複数のカテーテル６３が内腔６１に挿入されている場合、すなわち、カテーテル６３の本数が１本よりも多い場合には、ステップＳ２０３の処理が実行される。複数のカテーテル６３が内腔６１に挿入されていない場合、すなわち、カテーテル６３の本数が１本の場合には、その１本のカテーテル６３を欠損医療器具としてステップＳ２０４の処理が実行される。

ステップＳ２０３において、画像処理装置１１の制御部４１は、欠損スポット７１と各カテーテル６３について点群データで示される点群７２との位置関係Ｒに応じて、複数のカテーテル６３の中から１本のカテーテル６３を欠損医療器具として選択する。

第１例として、位置関係Ｒは、欠損スポット７１と各カテーテル６３について点群データで示される点群７２に対応する回帰曲線との間の距離を含む。この例において、制御部４１は、各カテーテル６３について点群データで示される点群７２に対応する回帰曲線を作成する。制御部４１は、ある１本のカテーテル６３について点群データで示される点群７２に対応する回帰曲線がステップＳ２０１で選択された欠損スポット７１から最も距離の近い回帰曲線である場合に、その１本のカテーテル６３を欠損医療器具として選択する。

第２例として、位置関係Ｒは、欠損スポット７１と各カテーテル６３について点群データで示される点群７２のうち欠損スポット７１に最も近い点との間の距離を含む。この例において、制御部４１は、各カテーテル６３について点群データで示される点群７２のうち欠損スポット７１に最も近い点、すなわち、最近傍点７３を算出する。制御部４１は、ある１本のカテーテル６３について最近傍点７３とステップＳ２０１で選択された欠損スポット７１との間の距離が最小である場合に、その１本のカテーテル６３を欠損医療器具として選択する。

第３例として、位置関係Ｒは、欠損スポット７１と各カテーテル６３について点群データで示される点群７２に対応する回帰曲線との間の距離と、欠損スポット７１と各カテーテル６３について点群データで示される点群７２のうち欠損スポット７１に最も近い点との間の距離との両方を含む。この例において、制御部４１は、各カテーテル６３について点群データで示される点群７２に対応する回帰曲線を作成する。制御部４１は、各カテーテル６３について点群データで示される点群７２に対応する回帰曲線とステップＳ２０１で選択された欠損スポット７１との間の距離を第１距離として算出する。制御部４１は、各カテーテル６３について最近傍点７３を算出する。制御部４１は、各カテーテル６３について最近傍点７３とステップＳ２０１で選択された欠損スポット７１との間の距離を第２距離として算出する。制御部４１は、各カテーテル６３について算出した第１距離及び第２距離をそれぞれ任意の係数である第１係数及び第２係数で重み付けし、重み付けした第１距離及び第２距離を合計する。制御部４１は、ある１本のカテーテル６３について得られた合計値が最小である場合に、その１本のカテーテル６３を欠損医療器具として選択する。

ステップＳ２０４において、画像処理装置１１の制御部４１は、補間データを生成する。補間データは、欠損スポット７１と欠損医療器具について点群データで示される点群７２のうち１つの点である接続点との間に補間される１つ以上の点を示すデータである。具体的には、制御部４１は、欠損医療器具について最近傍点７３と欠損スポット７１との間の距離に応じた個数の点を補間点７４として補間することで、補間点７４を示すデータを補間データとして生成する。制御部４１は、生成した補間データを記憶部４２に記憶させる。ただし、最近傍点７３と欠損スポット７１とが隣接していた場合、補間データは不要である。

ステップＳ２０５において、画像処理装置１１の制御部４１は、３次元空間においてカテーテル６３の先端６７を表す先端オブジェクトを生成する。制御部４１は、記憶部４２に記憶された点群データに基づき、３次元空間において先端オブジェクトとつながってカテーテル６３を表す医療器具オブジェクトを生成する。制御部４１は、記憶部４２に記憶された補間データに基づき、当該３次元空間において先端オブジェクトと医療器具オブジェクトとを接続する接続オブジェクトを生成する。具体的には、制御部４１は、欠損医療器具について点群データで示される点群７２に対応する３次元座標、補間データで示される補間点７４に対応する３次元座標、及びステップＳ２０１で選択された欠損スポット７１に対応する３次元座標に位置するチューブ状の３次元オブジェクトを生成する。制御部４１は、生成した３次元オブジェクトを、ステップＳ１０３で表示する３次元オブジェクト群に含める。ただし、ステップＳ２０４で補間データが不要である場合、接続オブジェクトも不要である。すなわち、制御部４１は、欠損医療器具について点群データで示される点群７２に対応する３次元座標、及びステップＳ２０１で選択された欠損スポット７１に対応する３次元座標に位置するチューブ状の３次元オブジェクトを生成する。制御部４１は、生成した３次元オブジェクトを、ステップＳ１０３で表示する３次元オブジェクト群に含める。

画像処理装置１１の制御部４１は、先端オブジェクトの色を医療器具オブジェクトとは異なる色に設定してもよい。すなわち、ステップＳ１０３において、制御部４１は、先端オブジェクトを医療器具オブジェクトとは異なる色でディスプレイ１６に表示させてもよい。制御部４１は、先端オブジェクトを透明又は半透明でディスプレイ１６に表示させてもよい。

画像処理装置１１の制御部４１は、接続オブジェクトの色を医療器具オブジェクトとは異なる色に設定してもよい。すなわち、ステップＳ１０３において、制御部４１は、接続オブジェクトを医療器具オブジェクトとは異なる色でディスプレイ１６に表示させてもよい。制御部４１は、接続オブジェクトを透明又は半透明でディスプレイ１６に表示させてもよい。

画像処理装置１１の制御部４１は、先端オブジェクトの色を接続オブジェクトと同じ色に設定してもよいし、又は接続オブジェクトとは異なる色に設定してもよい。すなわち、ステップＳ１０３において、制御部４１は、先端オブジェクトを接続オブジェクトと同じ色でディスプレイ１６に表示させてもよいし、又は接続オブジェクトとは異なる色でディスプレイ１６に表示させてもよい。

上述のように、本実施形態では、画像処理装置１１の制御部４１は、生体組織６０の内腔６１を移動するセンサを用いて得られた断面画像５４をディスプレイ１６に表示させる。制御部４１は、断面画像５４の１箇所を欠損スポット７１として選択するユーザの操作を受け付ける。制御部４１は、内腔６１に挿入されたカテーテル６３の先端６７が欠損スポット７１に存在することを表す先端オブジェクトをディスプレイ１６に表示させる。したがって、本実施形態によれば、ユーザのサポートによりカテーテル６３の先端６７に関する情報を補えるようになる。

本実施形態によれば、ユーザインタフェース上で、カテーテル６３の先端６７を術者が規定して、その規定したポイントをカテーテルデータとして扱い、入力情報及びＡＩが抽出したカテーテル位置を使用して、医療器具オブジェクトを構築することができる。「ＡＩ」は、artificial intelligenceの略語である。

３次元空間内に異なる２つ以上のカテーテルオブジェクトが存在する場合、本実施形態では、画像処理装置１１が、どのカテーテルオブジェクトに先端オブジェクトをつなげるべきかを自動的に決定するが、本実施形態の一変形例として、ユーザが、どのカテーテルオブジェクトに先端オブジェクトをつなげるべきかを決定してもよい。そのような変形例について説明する。

図１０を参照して、ユーザがプルバックユニットを操作して生体組織６０のカテーテル６３がめり込んでいる位置へ超音波振動子２５を誘導し、ステップＳ１０３で画像処理装置１１の制御部４１が当該位置に対応する断面画像５４をディスプレイ１６に表示させた後のステップＳ１０８で実行される処理の手順を説明する。この手順が実行される前には、制御部４１は、センサを用いて断面画像５４よりも前に得られた複数の断面画像を含む断層データ５１を参照して、点群データを生成する。制御部４１は、生成した点群データを記憶部４２に記憶させる。

ステップＳ２１１及びステップＳ２１２の処理については、図９のステップＳ２０１及びステップＳ２０２の処理と同じであるため、説明を省略する。

ステップＳ２１３において、画像処理装置１１の制御部４１は、複数のカテーテル６３の中から１本のカテーテル６３を欠損医療器具として選択するユーザの操作を受け付ける。具体的には、制御部４１は、ユーザが表示中の３次元画像５３に含まれる複数のカテーテルオブジェクトの中から１つのカテーテルオブジェクトを欠損医療器具に対応するオブジェクトとしてクリックする操作を受け付ける。単なるクリックでは誤操作の可能性があるので、Ａｌｔキー又はＣｔｒｌキーなど、特定のキーの押下と、クリックとの組合せが望ましい。

ステップＳ２１４及びステップＳ２１５の処理については、図９のステップＳ２０４及びステップＳ２０５の処理と同じであるため、説明を省略する。

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

１０ 画像処理システム
１１ 画像処理装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 断層データ
５２ ３次元データ
５３ ３次元画像
５４ 断面画像
６０ 生体組織
６１ 内腔
６２ 開口
６３ カテーテル
６４ 断面
６５ 内表面
６６ 切断領域
６７ 先端
６８ 卵円窩
６９ 変形スポット
７１ 欠損スポット
７２ 点群
７３ 最近傍点
７４ 補間点

Claims (15)

1. 生体組織の内腔を移動するセンサを用いて得られた断面画像をディスプレイに表示させ、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付け、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを前記ディスプレイに表示させる制御部を備える画像処理装置。
2. 前記制御部は、３次元空間において前記生体組織を表す組織オブジェクトを含み、前記３次元空間において前記医療器具の先端を表すオブジェクトを前記先端オブジェクトとして更に含む３次元オブジェクト群を前記ディスプレイに表示させる請求項１に記載の画像処理装置。
3. 前記制御部は、前記センサを用いて前記断面画像よりも前に得られた複数の断面画像を含む断層データを参照して、前記医療器具について前記３次元空間における位置を点群として示す点群データを生成し、生成した点群データに基づき、前記３次元空間において前記先端オブジェクトとつながって前記医療器具を表す医療器具オブジェクトを前記３次元オブジェクト群に更に含める請求項２に記載の画像処理装置。
4. 前記制御部は、前記先端オブジェクトを前記医療器具オブジェクトとは異なる色で前記ディスプレイに表示させる請求項３に記載の画像処理装置。
5. 前記制御部は、前記欠損スポットと前記点群データで示される点群のうち１つの点である接続点との間に補間する１つ以上の点を示す補間データを生成し、生成した補間データに基づき、前記３次元空間において前記先端オブジェクトと前記医療器具オブジェクトとを接続する接続オブジェクトを前記３次元オブジェクト群に更に含める請求項３又は請求項４に記載の画像処理装置。
6. 前記制御部は、前記接続オブジェクトを前記医療器具オブジェクトとは異なる色で前記ディスプレイに表示させる請求項５に記載の画像処理装置。
7. 前記接続点は、前記点群データで示される点群のうち前記欠損スポットに最も近い点である請求項５又は請求項６に記載の画像処理装置。
8. 前記制御部は、それぞれ長尺状の複数の医療器具が前記内腔に挿入されている場合に、前記欠損スポットと各医療器具について前記点群データで示される点群との位置関係に応じて、前記複数の医療器具の中から１本の医療器具を欠損医療器具として選択し、前記３次元空間において前記先端オブジェクトとつながって前記欠損医療器具を表すオブジェクトを前記医療器具オブジェクトとして前記３次元オブジェクト群に含める請求項３から請求項７のいずれか１項に記載の画像処理装置。
9. 前記位置関係は、前記欠損スポットと各医療器具について前記点群データで示される点群に対応する回帰曲線との間の距離を含む請求項８に記載の画像処理装置。
10. 前記位置関係は、前記欠損スポットと各医療器具について前記点群データで示される点群のうち前記欠損スポットに最も近い点との間の距離を含む請求項８又は請求項９に記載の画像処理装置。
11. 前記制御部は、それぞれ長尺状の複数の医療器具が前記内腔に挿入されている場合に、前記複数の医療器具の中から１本の医療器具を欠損医療器具として選択するユーザの操作を受け付け、前記３次元空間において前記先端オブジェクトとつながって前記欠損医療器具を表すオブジェクトを前記医療器具オブジェクトとして前記３次元オブジェクト群に含める請求項３から請求項７のいずれか１項に記載の画像処理装置。
12. 請求項１から請求項１１のいずれか１項に記載の画像処理装置と、
    前記センサと
    を備える画像処理システム。
13. 前記ディスプレイを更に備える請求項１２に記載の画像処理システム。
14. ディスプレイが、生体組織の内腔を移動するセンサを用いて得られた断面画像を表示し、
    制御部が、前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付け、
    前記ディスプレイが、前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを表示する画像表示方法。
15. 生体組織の内腔を移動するセンサを用いて得られた断面画像をディスプレイに表示させる処理と、
    前記断面画像の１箇所を欠損スポットとして選択するユーザの操作を受け付ける処理と、
    前記内腔に挿入された長尺状の医療器具の先端が前記欠損スポットに存在することを表す先端オブジェクトを前記ディスプレイに表示させる処理と
    をコンピュータに実行させる画像処理プログラム。

Images