JP2023084082A - 医用画像処理装置、医用画像処理方法およびプログラム - Google Patents

Abstract

【課題】手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系とのレジストレーション関係を自動的に補正すること。【解決手段】本実施形態に係る医用画像処理装置は、生成部と、取得部と、算出部と、補正部と、を備える。前記生成部は、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する。前記取得部は、プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、取得した各二次元超音波画像から特徴グループをそれぞれ抽出する。前記算出部は、現在時刻の前記特徴グループと直前の時刻の前記特徴グループとの距離を算出する。前記補正部は、前記算出部により算出された前記距離に基づいて、前記レジストレーション情報を補正する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法およびプログラムに関する。

医学画像撮影の分野には、検査または治療を行う時、被検体の検査部位に対して、検査または治療中の該検査部位の三次元データ（以下、ボリュームデータと記載する）と、検査または治療前に取得されたボリュームデータとをレジストレーション（registration）する必要がある。

例えば、被検体の検査部位に対し診断または外科手術を行う前、良い解剖面を有するＣＴ（Computed Tomography；コンピュータ断層撮影）ボリュームデータまたはＭＲ（Magnetic Resonance；磁気共鳴）ボリュームデータを得るために、該被検体の検査部位に対しＣＴ走査またはＭＲ走査を予め行うことがある。その後、被検体の検査部位に対し診断または外科手術を行う前、現在のポジションのＵＳ（Ultra-Sonic；超音波）ボリュームデータを得るために、該被検体の検査部位に対し三次元超音波走査を行うことになる。そして、ＣＴボリュームデータまたはＭＲボリュームデータと超音波ボリュームデータとをレジストレーションすることで、診断または外科手術を行う時、検査部位のリアルタイムの二次元超音波ボリュームデータの解剖面に対して、高い解像度を有するＣＴボリュームデータまたはＭＲボリュームデータの解剖面を迅速に探し出すことで、医者による正確な分析および判定を容易にし、正確な診断または外科手術における正確な処理を行うことを可能にする。

上記の異なるモダリティー（ＣＴ、ＭＲ、超音波）間のレジストレーションは、マルチモダリティー（Multi-modality）レジストレーションと呼ばれ、該マルチモダリティーレジストレーションが画像誘導介入手術のキー技術である。マルチモダリティーの間で行なったレジストレーションにより、超音波システムの座標系とＣＴ座標系またはＭＲ座標系との変換行列を得ることができ、変換行列により、１つのモダリティーのデータを別のモダリティーのデータにレジストレーションすることが可能になる。レジストレーションにより対応付けられたマルチモダリティーの画像は、ＣＴ画像またはＭＲ画像の高解像度および超音波画像のリアルターム性の利点を同時に備える。

しかし、上述のマルチモダリティーレジストレーションには、被検体の体が手術中に移動した場合、超音波システムの座標系と被検体の座標系とが対応することができず、被検体の超音波画像とＣＴ画像またはＭＲ画像との対応関係が正確ではなくなり、医者が手術を中止し、超音波ボリュームデータを改めて取得し、超音波ボリュームデータとＣＴボリュームデータまたはＭＲボリュームデータとの対応関係を再び確立しなければならない、というような問題が存在する。超音波ボリュームデータの取得に、手術を中止する必要があり、取得の過程が複雑であり、且つ再確立の時に長い時間も必要とすることを考慮すると、被検体の移動が発生した場合、超音波ボリュームデータの再収集を避けながら、補正が必要かどうかを自動的に判定し、発生した移動を自動的に補正することが可能な技術が望まれている。

特表２００９－５００１１０号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系とのレジストレーション関係を自動的に補正することである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

本実施形態に係る医用画像処理装置は、生成部と、取得部と、算出部と、補正部と、を備える。前記生成部は、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する。前記取得部は、プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、取得した各二次元超音波画像から特徴グループをそれぞれ抽出する。前記算出部は、現在時刻の前記特徴グループと直前の時刻の前記特徴グループとの距離を算出する。前記補正部は、前記算出部により算出された前記距離に基づいて、前記レジストレーション情報を補正する。

図１は、第１の実施形態に係る医用画像処理装置の構成を示すブロック図である。 図２は、第１の実施形態に係る医用画像処理装置による処理の手順（医用画像処理方法）を示すフローチャートである。 図３は、第２の実施形態に係る医用画像処理装置による処理の手順（医用画像処理方法）を示すフローチャートである。

以下、図面を参照しながら、医用画像処理装置、医用画像処理方法、および、医用画像処理方法を実現できるコンピュータプログラムについて説明する。なお、以下に説明する実施形態は、あくまで一例であり、以下の実施形態に限定されない。また、１つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用可能である。

（第１の実施形態）
被検体に対し手術を行う前、検査部位の状況を全面的に知り得るために、通常、検査部位に対し三次元走査を行って、検査部位の超音波ボリュームデータと、ＣＴボリュームデータ、または、ＭＲボリュームデータとを得た後、ＣＴボリュームデータまたはＭＲボリュームデータと超音波ボリュームデータとをレジストレーションする。外科手術を行う過程において、被検体が動かない場合では、超音波システムの座標系と被検体の座標系とが常に対応する。しかし、被検体が動いた場合では、実際の被検体の座標系が超音波システムの座標系に対応しなくなることがある。

そこで、本実施形態に係る医用画像処理装置は、後述の構成により、手術を中止することなく、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系（三次元ＣＴ座標系または三次元ＭＲ座標系）とのレジストレーション関係を自動的に補正する。

図１は、第１の実施形態に係る医用画像処理装置１の構成を示すブロック図である。例えば、図１に示すように、医用画像処理装置１は、入力インターフェース２０と、通信インターフェース２１と、ディスプレイ２２と、処理回路２３と、記憶回路１２とを備える。

入力インターフェース２０は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース２０は、処理回路２３に接続されており、操作者から受け付けた入力操作を電気信号に変換して処理回路２３に出力する。なお、図１において、入力インターフェース２０は、医用画像処理装置１内に設けられているが、外部に設けられてもよい。

ディスプレイ２２は、処理回路２３に接続され、処理回路２３から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ２２は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ２２は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路２３による種々の処理結果を表示する。ディスプレイ２２は、表示部の一例である。なお、図１において、ディスプレイ２２は、医用画像処理装置１内に設けられているが、外部に設けられてもよい。

通信インターフェース２１は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース２１は、処理回路２３に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、画像データを収集して処理回路２３に出力する。

記憶回路１２は、処理回路２３に接続され、各種データを記憶する。例えば、記憶回路１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路１２は、処理回路２３によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路１２は、医用画像処理装置１内に設けられているが、外部に設けられてもよい。

処理回路２３は、入力インターフェース２０を介して操作者から受け付けた入力操作に応じて、医用画像処理装置１が有する各構成要素を制御する。

例えば、処理回路２３は、プロセッサによって実現される。図１に示すように、処理回路２３は、生成機能１０と、取得機能１１と、算出機能１３と、判定機能１４と、補正機能１５と、表示制御機能１６とを実行する。ここで、図１に示す処理回路２３の構成要素である生成機能１０、取得機能１１、算出機能１３、判定機能１４、補正機能１５、表示制御機能１６が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置１の記憶回路１２に記録されている。処理回路２３は、各プログラムを記憶回路１２から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２３は、図１の処理回路２３内に示された各機能を有することとなる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路１２に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路１２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

次に、処理回路２３が実行する生成機能１０、取得機能１１、算出機能１３、判定機能１４、補正機能１５、表示制御機能１６の処理内容について説明する。

例えば、表示制御機能１６は、ボリュームデータをディスプレイ２２にリアルタイムに表示させる。

生成機能１０は、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する。当該超音波システムの座標系は、手術前に走査された超音波ボリュームデータから取得したものであっても良い。超音波システム以外の他のモダリティーの座標系は、ボリュームデータの座標系であり、手術前に走査されたＣＴボリュームデータまたはＭＲボリュームデータから取得したものであっても良い。生成機能１０は、生成部の一例である。

取得機能１１は、超音波画像を取得する機能、超音波画像から特徴グループを取得する機能、および、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報である変換行列を取得する機能を有する。例えば、取得する対象によって、取得機能１１は、超音波画像取得機能１１Ａ、特徴グループ取得機能１１Ｂおよび変換行列取得機能１１Ｃに区分される。

超音波画像取得機能１１Ａは、手術の開始後に、超音波プローブ（以下、プローブと記載する）の移動に伴い、所定の時間間隔で二次元超音波画像を取得する。ここで、プローブの移動過程は、プローブに取り付けられた磁気センサから取得される。例えば、プローブに取り付けられた磁気センサが、自身の位置（座標）及び向き（角度）を位置情報として検出することにより、プローブの移動過程が取得される。また、二次元超音波画像は、基準二次元超音波画像と、基準二次元超音波画像の後に所定の時間間隔で取得された一連の二次元超音波画像とを含む。当該基準二次元超音波画像は、手術前の超音波ボリュームデータとＣＴボリュームデータまたはＭＲボリュームデータとのレジストレーションが完了し、且つ、手術が始まった直後の段階に、被検体が動かない状態で採集された１グループの二次元超音波画像であり、当該基準二次元超音波画像と手術前の超音波ボリュームデータとの超音波システムでの座標系の位置が変わっていない。

基準二次元超音波画像の選択については、例えば、息を止めた状態などの理想の状態での二次元超音波画像を選択することができる。また、検査部位については、ユーザが臨床の場面によって、異なる部位を選択することができ、例えば、心臓の走査において、ユーザが異なる心腔を検査部位として選択して基準超音波画像を走査することができる。基準二次元超音波画像は、下記の特徴グループを含む。

特徴グループ取得機能１１Ｂは、超音波画像取得機能１１Ａにより取得された超音波画像から特徴グループを抽出する。当該特徴グループは、検査部位における特徴を有する領域の集合である。本実施形態では、特徴グループが解剖学的特徴を有する複数特徴点の集合であり、例えば、肝臓を検査部位とした場合、当該特徴点が肝臓血管の分岐点などである。つまり、本実施形態では、特徴点を含んだ二次元超音波画像から、特徴点に関する情報（例えば、超音波システムの座標系における座標情報）が抽出される。

変換行列取得機能１１Ｃは、手術前に超音波ボリュームデータとＣＴボリュームデータまたはＭＲボリュームデータとをレジストレーションすることにより得られた超音波システムの座標系とＣＴ座標系またはＭＲ座標系との変換行列を取得する。該変換行列は、超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係を表し、変換行列が更新された場合、これに応じて、超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係が更新される。

記憶回路１２は、第１の記憶領域１２Ａと第２の記憶領域１２Ｂとを有する。第１の記憶領域１２Ａは、直前の時刻の特徴グループに関する情報の記憶に用いられ、本実施形態では、直前の時刻の特徴点に関する情報を記憶する。第２の記憶領域１２Ｂは、変換行列に関する情報の記憶に用いられる。第１の記憶領域１２Ａと第２の記憶領域１２Ｂにおける情報は、被検体の体の移動に伴って更新される。なお、第１の記憶領域１２Ａ、第２の記憶領域１２Ｂは、記憶回路１２内ではなく、それぞれ記憶回路として外部に設けられてもよい。

具体的には、超音波画像取得機能１１Ａにより基準二次元超音波画像が取得され、特徴グループ取得機能１１Ｂにより特徴点に関する情報（例えば、超音波システムの座標系における特徴点の座標情報）が抽出される。このとき、特徴グループ取得機能１１Ｂは、基準二次元超音波画像における特徴点の座標情報を、直前の時刻の特徴点の座標情報として、第１の記憶領域１２Ａに記憶させる。この第１の記憶領域１２Ａに記憶された基準二次元超音波画像における特徴点の座標情報は、後述の自動補正が発生した場合、補正の発生時刻の特徴点の座標情報に入れ替えられる。そして、自動補正が発生するたびに、補正の発生時刻の特徴点の座標情報が、直前の時刻の特徴点の座標情報に代えて、第１の記憶領域１２Ａに記憶される。

また、変換行列取得機能１１Ｃにより、手術前に超音波ボリュームデータとＣＴボリュームデータまたはＭＲボリュームデータとをレジストレーションすることにより得られた超音波システムの座標系とＣＴ座標系またはＭＲ座標系との変換行列が取得される。このとき、変換行列取得機能１１Ｃは、取得した変換行列を、初期の変換行列として、第２の記憶領域１２Ｂに記憶させる。後述の自動補正が発生した場合、変換行列が更新された後に、更新後の変換行列が、第２の記憶領域１２Ｂに記憶される。そして、自動補正が発生するたびに、更新後の変換行列が、第２の記憶領域１２Ｂに記憶された変換行列に代えて、第２の記憶領域１２Ｂに記憶される。

算出機能１３は、特徴グループ取得機能１１Ｂにより抽出された現在時刻の特徴点と第１の記憶領域１２Ａに記憶された直前の時刻の特徴点との距離を算出する。当該距離は、複数の対応した特徴点ペア（pair）を用いて算出したユークリッド距離の平均でもよいし、複数の対応した特徴点ペア中の最大距離でもよい。予め定められた距離範囲と比較するために、算出される距離とは、複数の対応した特徴点ペア間の座標差を全体的に表すパラメータを指す。これに加えて、他の方法により距離を取得することも可能である。

判定機能１４は、算出機能１３により算出された距離と予め定められた距離範囲との関係を判定する。当該距離範囲は、ユーザによって超音波画像のサンプリングの時間間隔に基づき設定することができる。判定機能１４は、算出機能１３により算出された距離が距離範囲の下限値を下回ったか、距離範囲内にあるか、距離範囲の上限値を上回ったかを判定する。一例として、肝臓領域を検査する場合、距離範囲を５ｍｍ～３０ｍｍとする。この場合、判定機能１４は、算出機能１３により算出された距離が、５ｍｍを下回ったか、５ｍｍ～３０ｍｍの中にあるか、３０ｍｍを上回ったかを判定する。

例えば、算出機能１３により算出された距離が距離範囲の下限値を下回った場合、判定機能１４は、被検体の移動が極めて小さいと判定し、当該判定の結果により、補正機能１５は後述の自動補正を実行する必要がない。すなわち、補正機能１５は、算出機能１３により算出された距離が距離範囲の下限値を下回った場合、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報の補正を行わない。

例えば、算出機能１３により算出された距離が距離範囲内にある場合、判定機能１４は、被検体の移動幅が後述の自動補正に適切であると判定し、当該判定の結果により、補正機能１５は後述の自動補正を実行することになる。すなわち、補正機能１５は、算出機能１３により算出された距離が距離範囲内にある場合、後述の補正情報を生成し、生成された補正情報に基づいて、レジストレーション情報を補正する。

例えば、算出機能１３により算出された距離が距離範囲の上限値を上回った場合、判定機能１４は、当該距離が距離範囲の上限値を上回った起因をさらに判定する必要がある。

具体的には、判定機能１４は、算出機能１３により算出された距離が距離範囲の上限値を上回ったと判定した場合、算出機能１３による算出において現在時刻の特徴点が得られたかどうかをさらに判定する。

例えば、判定機能１４は、現在時刻の特徴点が得られたと判定した場合、被検体の移動が大き過ぎるために、算出機能１３により算出された距離が距離範囲の上限値を上回ったと判定することができる。この場合、自動補正が不適切となり、判定機能１４は、自動補正の処理を停止させるよう補正機能１５に通知する。このとき、補正機能１５は、「大きな移動が発生、自動補正不能」というメッセージを音声で出力する。または、補正機能１５は、当該メッセージをディスプレイ２２に表示させるように表示制御機能１６を制御する。

一方、判定機能１４は、現在時刻の特徴点が得られていないと判定した場合、ユーザによる停止指令の入力に起因すると判定することができる。この場合、判定機能１４は、自動補正の処理を停止させるよう補正機能１５に通知する。このとき、補正機能１５は、「ユーザの停止指令に基づいて、自動補正が停止」というメッセージを音声で出力する。または、補正機能１５は、当該メッセージをディスプレイ２２に表示させるように表示制御機能１６を制御する。

なお、判定機能１４が補正機能１５とは別体となっている例について説明したが、判定機能１４を省略し、補正機能１５に判定機能１４の機能を持たせることも可能である。

補正機能１５は、補正情報である補正行列を生成する機能、直前の時刻の特徴グループを更新する機能、および、現在（補正発生の時刻）の変換行列を更新する機能を有し、自動補正を実行する。例えば、自動補正を実行する機能によって、補正機能１５は、補正行列生成機能１５Ａ、特徴グループ更新機能１５Ｂ、および、変換行列更新機能１５Ｃに区分される。

補正行列生成機能１５Ａは、算出機能１３により算出された距離が予め定められた距離範囲内にあると判定機能１４によって判定された場合、現在時刻および直前の時刻の対応した特徴点の座標情報に基づき、三次元の補正行列を生成する。

特徴グループ更新機能１５Ｂは、補正行列生成機能１５Ａにより三次元の補正行列が生成された後、直前の時刻の特徴点の座標情報を現在時刻の特徴点の座標情報に更新する。具体的には、特徴グループ更新機能１５Ｂは、現在時刻の特徴点の座標情報に、直前の時刻の特徴点の座標情報を入れ替え、入れ替え後の現在時刻の特徴点の座標情報を第１の記憶領域１２Ａに記憶させる。第１の記憶領域１２Ａに記憶された特徴点の座標情報は、次回の超音波画像サンプリング際の直前の時刻の特徴点の座標情報として用いられる。

変換行列更新機能１５Ｃは、補正行列生成機能１５Ａにより三次元の補正行列が生成された後、生成された三次元の補正行列と第２の記憶領域１２Ｂに記憶された変換行列とを用いて変換行列を更新する。変換行列更新機能１５Ｃは、変換行列の更新により、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を補正する。また、変換行列更新機能１５Ｃは、更新後の変換行列を、現在の変換行列として、第２の記憶領域１２Ｂに記憶させる。すなわち、変換行列更新機能１５Ｃは、レジストレーション情報が補正された後、第２の記憶領域１２Ｂに記憶されたレジストレーション情報を、補正後のレジストレーション情報に入れ替える。

このように、本実施形態に係る医用画像処理装置１は、変換行列の更新により、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系（三次元ＣＴ座標系または三次元ＭＲ座標系）とのレジストレーション関係を自動的に補正することができる。このため、本実施形態に係る医用画像処理装置１によれば、レジストレーションの精度を向上させながら、レジストレーションするまでの時間を省くことができる。

以下、図２を参照しながら、ボリュームデータの自動補正の過程について説明する。図２は、第１の実施形態に係る医用画像処理装置１による処理の手順（医用画像処理方法）を示すフローチャートである。

図２のステップＳ１００では、手術が開始した時刻に、１グループの基準二次元超音波画像が採集される。

具体的には、図２のステップＳ１００において、超音波画像取得機能１１Ａは、１グループの基準二次元超音波画像を取得し、図２のステップＳ１０１において、特徴グループ取得機能１１Ｂは、基準二次元超音波画像における特徴点の座標情報を抽出し、直前の時刻の特徴点の座標情報として、第１の記憶領域１２Ａに記憶させる。ここで、基準二次元超音波画像は、手術の開始後に、患者が静止していた状態で採集された二次元超音波画像であり、座標系が手術前に得られた超音波ボリュームデータの座標系と同一の画像である。

図２のステップＳ２００では、超音波画像取得機能１１Ａは、現在時刻での１グループの二次元超音波画像を得る。プローブが移動している間には、Δｔ（例えば、Δｔ＝２５０ｍｓ）の間隔ごとに、１グループの二次元超音波画像が得られる。このように、超音波画像取得機能１１Ａが、所定のサンプリング間隔で複数グループの二次元超音波画像を取得することで、Δｔの間隔で１グループの超音波画像を取得するたびに、判定機能１４が、自動補正を実行するか否かの判定を行うことができる。二次元超音波画像のサンプリング間隔Δｔは、ユーザによって設定することができる。

図２のステップＳ３００では、特徴グループ取得機能１１Ｂは、現在時刻に得られた二次元超音波画像から、検査部位における特徴を有した領域の集合を表し、例えば本実施形態では解剖学的特徴を有する複数特徴点の集合を表す特徴グループを抽出する。

具体的には、特徴グループ取得機能１１Ｂは、現在時刻に得られた二次元超音波画像における特徴点の座標情報を抽出する。例えば、本実施形態では、ステップＳ３００で二次元超音波画像中の複数の解剖学的特徴（例えば、肝臓血管の分岐点）が抽出される。その後、現在時刻の特徴点の座標情報と、直前の時刻の特徴点の座標情報とが、ステップＳ４００での距離の算出、および、ステップＳ５００での補正行列の生成に用いられる。

図２のステップＳ４００では、算出機能１３は、特徴グループ取得機能１１Ｂにより抽出された現在時刻の各特徴点と、第１の記憶領域１２Ａに記憶された直前の時刻の各特徴点との距離を算出する。算出された距離は、複数の対応した特徴点ペアを用いて算出したユークリッド距離の平均、または、複数の対応した特徴点ペアの最大距離などが挙げられるが、これに限られない。

図２のステップＳ５００では、判定機能１４は、算出機能１３により算出された距離と予め定められた距離範囲との関係を判定する。

ここで、算出された距離が予め定められた距離範囲内（例えば、肝臓であれば、５ｍｍ～３０ｍｍ）にある場合、処理はステップＳ６００に移行する。この場合、補正機能１５により自動補正が実行され、補正行列が生成される。

また、算出された距離が予め定められた距離範囲の下限値（例えば、肝臓であれば、５ｍｍ）を下回った場合、補正機能１５による自動補正が実行されない。

また、特徴点が検出されていない、または、算出された距離が予め定められた距離範囲の上限値（例えば、肝臓であれば、３０ｍｍ）を上回った場合、判定機能１４は、自動補正の処理を停止させるよう補正機能１５に通知する。このとき、補正機能１５は、停止の原因に関する情報を提示する。例えば、補正機能１５は、「ユーザの停止指令に基づいて、自動補正が停止」または「大きな移動が発生、自動補正不能」を提示する。

上記の距離範囲は一例に過ぎず、距離範囲の具体例は、ユーザによって、二次元超音波画像のサンプリング間隔に基づき設定することができる。

図２のステップＳ６００では、補正機能１５の補正行列生成機能１５Ａは、現在時刻の特徴点および直前の時刻の特徴点に基づいて、三次元の補正行列を生成する。

具体的には、補正行列生成機能１５Ａは、現在時刻および直前の時刻の二次元超音波画像から対応した複数特徴点の座標情報をそれぞれ抽出し、該対応した複数特徴点の座標情報を用い、三次元の補正行列を生成する。補正行列は、複数の対応した特徴点ペア（pair）間のレジストレーション関係を表し、対応した特徴点間の距離を最小化させるように生成することができるが、補正行列の生成方式としては、これに限られない。

図２のステップＳ７００では、変換行列更新機能１５Ｃは、第２の記憶領域１２Ｂに記憶された現在の変換行列、および、補正行列生成機能１５Ａにより生成された三次元の補正行列に基づいて、変換行列を更新する。

具体的には、変換行列更新機能１５Ｃは、図２のステップＳ６００において補正行列生成機能１５Ａにより三次元の補正行列を得た後、図２のステップＳ６０１において、三次元の補正行列と（超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系との）初期の変換行列とを組み合わせ、更新後の変換行列を得て第２の記憶領域１２Ｂに記憶させる。この後の自動補正において、更新後の変換行列が次回の自動補正用の現在の変換行列として用いられ、図２のステップＳ７００において、変換行列更新機能１５Ｃは、第２の記憶領域１２Ｂに記憶された現在の変換行列、および、補正行列生成機能１５Ａにより生成された三次元の補正行列に基づいて、変換行列を更新する。そして、図２のステップＳ７０１において、変換行列更新機能１５Ｃは、変換行列の更新により、手術前に既に確立された超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係を補正する。

変換行列が更新されるたびに、超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係もそれに連れて更新されることで、今回の自動補正が終了する。

図２のステップＳ８００では、特徴グループ更新機能１５Ｂは、補正行列生成機能１５Ａにより三次元の補正行列が生成された後、直前の時刻の各特徴点の座標情報を現在時刻の各特徴点の座標情報に更新する。

具体的には、図２のステップＳ８００において、特徴グループ更新機能１５Ｂは、現在時刻の各特徴点の座標情報に、第１の記憶領域１２Ａに記憶された直前の時刻の対応した各特徴点の座標情報を入れ替える。そして、図２のステップＳ１０１において、特徴グループ更新機能１５Ｂは、直前の時刻の特徴点の座標情報を第１の記憶領域１２Ａに記憶させる。この後の自動補正において、入れ替え後の各特徴点の座標情報が次回の自動補正用の直前の時刻の各特徴点の座標情報として用いられる。

図２のステップＳ９００では、判定機能１４は、ユーザからの停止指令を受信すると、該停止指令に基づいて、自動補正の処理を停止させる。

具体的には、判定機能１４は、ユーザからの停止指令に基づいて、自動補正の処理を停止させるよう補正機能１５に通知する。このとき、補正機能１５は、停止の原因に関する情報として「ユーザの停止指令に基づいて、自動補正が停止」を提示する。通常では、自動補正が開始した後、処理が繰り返しループする処理（自動補正のループ）に移行し、ステップＳ２００、Ｓ３００で新たな二次元超音波画像における特徴点（現在時刻の特徴点）が収集されるたびに、ステップＳ４００において、算出機能１３は、現在時刻の特徴点と直前の時刻の特徴点との距離を算出し、ステップＳ５００において、判定機能１４は、算出された距離と予め定められた距離範囲との関係を判定することで、補正行列を生成して超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係を補正する必要があるかどうかを判定する。ここで、自動補正の処理は、算出された距離が予め定められた距離範囲の上限値を上回ったときにのみ停止可能である。一方、ユーザが必要に応じて自動補正の処理を自主的に停止させることもできる。

例えば、判定機能１４がユーザの停止指令を受信すると、現在時刻に抽出された二次元超音波画像の特徴グループ、即ち、特徴点を捨てることになる。この場合、現在時刻の特徴点がないため、ステップＳ４００で算出された距離が予め定められた距離範囲の上限値を上回ったので、ステップＳ５００での判定において、判定機能１４は、自動補正の処理を停止させ、自動補正の完了を提示することになる。ここで、自動補正の処理を停止させる手段の一例として、ユーザの停止指令を受信すると収集された特徴点を捨てることを挙げたが、これに限らず、ユーザの停止指令を受信すると二次元超音波画像の収集を停止させるものであっても良い。また、ユーザは他の位置を走査する必要がある場合、停止指令の入力により現在走査している位置の自動補正を停止させることで、他の位置の基準二次元超音波画像を改めて取得することが可能である。

以上の説明により、本実施形態に係る医用画像処理装置１では、まず、生成機能１０が、超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する。次に、取得機能１１が、プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、当該二次元超音波画像から特徴グループを抽出する。そして、算出機能１３が、現在時刻の特徴グループと直前の時刻の特徴グループとの距離を算出し、判定機能１４及び補正機能１５が、当該距離に基づいて、レジストレーション情報を補正する。これにより、手術を中止することなく、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系（三次元ＣＴ座標系または三次元ＭＲ座標系）とのレジストレーション関係を自動的に補正することができる。このため、本実施形態に係る医用画像処理装置１によれば、レジストレーションの精度を向上させながら、レジストレーションするまでの時間を省くことができる。また、本実施形態に係る医用画像処理装置１によれば、レジストレーション関係を補正する過程全体を自動的に行うことで、人工的な干渉が省くことができ、便利性が向上する。

（第２の実施形態）
以下、第２の実施形態に係る医用画像処理装置１について説明する。

第１の実施形態では、二次元Ｂモード超音波画像を用いて特徴点を抽出し、特徴点に基づいてレジストレーション関係を自動的に補正することを一例として説明している。

一方、第２の実施形態では、二次元Ｂモードの以外、他のスキャンモードでの超音波画像も自動補正に用いることができる。すなわち、複数のスキャンモードでの超音波画像を特徴グループの抽出および距離の算出に用いることができる。当該他のスキャンモードでの超音波画像としては、ドップラーモードでの超音波画像（ドップラー画像とも呼ばれる）、ＳＭＩ（Super Micro-vascular Imaging；超微小血流イメージング）モードでの超音波画像（ＳＭＩ画像とも呼ばれる）などの血液動力学（血流量、血流速度など）を表した画像が挙げられる。

ドップラー画像は、受信された受信信号から、例えば血流または組織に対応した成分を抽出し、抽出された成分に基づいて、複数のポイントに対して血流または組織の情報を算出することにより生成されたものである。当該ドップラー画像は、血流または組織に対応した成分のパワー（power）、平均速度、分散などを含む。

超微小血流イメージング技術は、微小血管の中を流れた単一のマイクロバブルに対し位置決めおよび時間の累積を行うことにより、微小血管の超解像度イメージングを実現し、音響回折に起因した影響を解消することができる。

第２の実施形態では、収集された二次元Ｂモード超音波画像の上に、他のスキャンモードでの超音波画像を重ね合わせることができる。言い換えれば、二次元Ｂモード超音波画像の上に、血流情報を有したドップラー画像またはＳＭＩ画像のデータを重ね合わせることで、複数のスキャンモードでの超音波画像を重ね合わせて表示させることができる。

第２の実施形態と第１の実施形態との相違点は、第１の実施形態では、自動補正の全期間をわたって基礎スキャンモードとしての二次元Ｂモードが用いられ、二次元Ｂモードでの超音波画像が特徴グループの抽出、距離の算出および自動補正に用いられる。一方、第２の実施形態では、複数のスキャンモード（基礎スキャンモードであるＢモード、及び、他のスキャンモードであるドップラーモードまたはＳＭＩモード）での超音波画像が用いられ、そのうち、Ｂモードでの超音波画像が特徴グループの抽出、距離の算出に用いられ、ドップラーモードまたはＳＭＩモードでの超音波画像が特徴グループの抽出、距離の算出および自動補正に用いられる、ということにある。二次元Ｂモード超音波画像と同じように、ドップラーモードまたはＳＭＩモードでの特徴グループは、解剖学的特徴を有した特徴点の集合であっても良く、ドップラーモードが用いられた場合、ドップラー画像から抽出された特徴グループとしては、例えば、血管の分岐点が挙げられる。

図３は、第２の実施形態に係る医用画像処理装置１による処理の手順（医用画像処理方法）を示すフローチャートである。

第１の実施形態と比べると、第２の実施形態では、ステップＳ２０１およびステップＳ２０２を、第１の実施形態のステップＳ２００を入れ替えている。即ち、第１の実施形態では、現在時刻の二次元Ｂモード超音波画像を取得する一方、第２の実施形態では、現在時刻の二次元Ｂモード超音波画像に加えて、現在時刻のＳＭＩ画像またはドップラー画像をさらに取得する。

また、第２の実施形態では、サンプリングするたびに、他のスキャンモード（ＳＭＩモードまたはドップラーモード）での超音波画像に対し特徴グループの抽出および距離の算出を行うことができるが、そうすれば、時間が多くかかるので、この部分の時間を省くことが望まれる。そのため、特徴点の抽出および距離の算出において、二次元Ｂモード超音波画像のみを用いることが考えられる。

ドップラー画像およびＳＭＩ画像に含まれる血流または組織の情報が、血流または組織に対する補正に役立つ。注目領域が血流または組織の場合、ドップラー画像およびＳＭＩ画像を用いて補正を行えば、より有効的である。

上述をまとめて考えると、実際の検出要求に応じて、自動補正の時間を省くという目的から、被検体が移動したと判定された場合のみ、ドップラー画像またはＳＭＩ画像中の特徴点を抽出し、その場合、二次元Ｂモード超音波画像を用いて移動が発生したかどうかを判定することになる。肝臓部位に対する検出を例とすれば、Ｂモードでの現在時刻の特徴点と直前の時刻の特徴点との距離が５ｍｍ～３０ｍｍの補正範囲内にあった場合のみ、ドップラー画像またはＳＭＩ画像から特徴点を取得し、抽出された特徴点を用い補正行列を生成する。

以下、図３を参照しながら、第２の実施形態における自動補正のループについて説明する。

図３のステップＳ１００では、超音波画像取得機能１１Ａは、基準二次元超音波画像を取得し、図３のステップＳ１０１において、特徴グループ取得機能１１Ｂは、基準二次元超音波画像における特徴点の座標情報を抽出し、直前の時刻の特徴点の座標情報として、第１の記憶領域１２Ａに記憶させる。ここで、基準二次元超音波画像は、二次元のＢモード超音波画像、および、ＳＭＩモード超音波画像またはドップラーモード超音波画像を含む。

図３のステップＳ２０１では、超音波画像取得機能１１Ａは、現在時刻の二次元Ｂモード超音波画像を取得する。

図３のステップＳ２０２では、超音波画像取得機能１１Ａは、現在時刻のＳＭＩモード超音波画像またはドップラーモード超音波画像を取得する。

図３のステップＳ３００では、特徴グループ取得機能１１Ｂは、現在時刻の二次元Ｂモード超音波画像または他のスキャンモード（ＳＭＩモードまたはドップラーモード）の超音波画像から、現在時刻に得られた特徴点の座標情報を抽出する。

図３のステップＳ４００では、算出機能１３は、特徴グループ取得機能１１Ｂにより抽出された現在時刻の特徴点と、第１の記憶領域１２Ａに記憶された直前の時刻の特徴点との距離を算出する。

図３のステップＳ５００では、判定機能１４は、算出機能１３により算出された距離と予め定められた距離範囲との関係を判定する。

ここで、算出された距離が予め定められた距離範囲の下限値を下回った場合、補正機能１５による自動補正が実行されない。算出された距離が予め定められた距離範囲の上限値を上回った場合、判定機能１４は、自行補正の処理を停止させるよう補正機能１５に通知する。このとき、補正機能１５は、停止原因を提示する。算出された距離が予め定められた距離範囲内にある場合、処理はステップＳ６００に移行し、補正機能１５により自動補正が実行される。

図３のステップＳ６００では、補正機能１５の補正行列生成機能１５Ａは、他のスキャンモード（ＳＭＩモードまたはドップラーモード）の超音波画像から抽出された特徴点の座標に基づいて、三次元の補正行列を生成する。

図３のステップＳ７００では、変換行列更新機能１５Ｃは、補正行列生成機能１５Ａにより生成された補正行列、および、第２の記憶領域１２Ｂに記憶された変換行列に基づいて、現在の変換行列を更新する。

具体的には、変換行列更新機能１５Ｃは、図３のステップＳ６００において補正行列生成機能１５Ａにより三次元の補正行列を得た後、図３のステップＳ６０１において、三次元の補正行列と（超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系との）初期の変換行列とを組み合わせ、更新後の変換行列を得て第２の記憶領域１２Ｂに記憶させる。この後の自動補正において、更新後の変換行列が次回の自動補正用の現在の変換行列として用いられ、図３のステップＳ７００において、変換行列更新機能１５Ｃは、第２の記憶領域１２Ｂに記憶された現在の変換行列、および、補正行列生成機能１５Ａにより生成された三次元の補正行列に基づいて、変換行列を更新する。そして、図３のステップＳ７０１において、変換行列更新機能１５Ｃは、変換行列の更新により、手術前に既に確立された超音波システムの座標系と三次元ＣＴ座標系または三次元ＭＲ座標系とのレジストレーション関係を補正する。

図３のステップＳ８００では、特徴グループ更新機能１５Ｂは、現在時刻の他のスキャンモードでの特徴点の座標情報に、第１の記憶領域１２Ａに記憶された直前の時刻の他のスキャンモードでの特徴点の座標情報を入れ替える。そして、図２のステップＳ１０１において、特徴グループ更新機能１５Ｂは、直前の時刻の特徴点の座標情報を第１の記憶領域１２Ａに記憶させる。

図３のステップＳ９００では、判定機能１４は、ユーザからの停止指令に基づいて、自動補正の処理を停止させる。

なお、上述の記載に説明されていない部分は、第１の実施形態と同一であり、ここでは、重複な説明を省略する。

（他の実施形態）
以上説明した各実施形態の以外に、各実施形態中の異なる構成要件を増減し、または、相互に組み合わせることで、新たな実施形態を得ることができる。その新たな実施形態は同様に本実施形態の主旨に含まれる。

また、本実施形態で図示した各装置の各構成要件は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。則ち、各装置の分散・統合の具体的形態は図示のものに限定されず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統一して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記図面に示した情報の名称、組み合わせなどは一例に過ぎず、必要に応じて変更することができる。

更に、本実施形態で説明した医用画像処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、インタネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク（hard disk）、フレキシブルディスク（flexible disc；ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な非一時的な記憶媒体に記憶され、コンピュータによって記憶媒体から読み取られることによって実行することもできる。

以上説明した少なくとも１つの実施形態によれば、手術前に既に確立された超音波システムの座標系と超音波システム以外の他のモダリティーの座標系とのレジストレーション関係を自動的に補正することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用画像処理装置
１０ 生成機能
１１ 取得機能
１３ 算出機能
１５ 補正機能

Claims (17)

1. 超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する生成部と、
   プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、取得した各二次元超音波画像から特徴グループをそれぞれ抽出する取得部と、
   現在時刻の前記特徴グループと直前の時刻の前記特徴グループとの距離を算出する算出部と、
   前記算出部により算出された前記距離に基づいて、前記レジストレーション情報を補正する補正部と、
   を備える医用画像処理装置。
2. 前記特徴グループは、解剖学的特徴を有する複数特徴点の集合である
   請求項１に記載の医用画像処理装置。
3. 複数のスキャンモードで生成される超音波画像が、前記特徴グループの抽出および前記距離の算出に用いられる
   請求項１に記載の医用画像処理装置。
4. 前記特徴グループは、ドップラー画像または超微小血流イメージング画像中の複数特徴点の集合である
   請求項３に記載の医用画像処理装置。
5. 前記算出部により算出された前記距離が所定の距離範囲内にある場合、前記補正部は、補正情報を生成し、生成された前記補正情報に基づいて、前記レジストレーション情報を補正する
   請求項１～４のいずれか一つに記載の医用画像処理装置。
6. 前記算出部により算出された前記距離が所定の距離範囲の下限値を下回った場合、前記補正部は、前記レジストレーション情報の補正を行わない
   請求項１～４のいずれか一つに記載の医用画像処理装置。
7. 前記算出部により算出された前記距離が所定の距離範囲の上限値を上回った場合、前記補正部は、前記レジストレーション情報に対する補正を停止し、停止原因に関する情報を提示する
   請求項１～４のいずれか一つに記載の医用画像処理装置。
8. 前記補正部は、対応した特徴点間の距離を最小化するように、前記補正情報を生成する
   請求項５に記載の医用画像処理装置。
9. 前記補正部は、ユーザからの停止指令に基づいて、前記レジストレーション情報に対する補正を停止する
   請求項１に記載の医用画像処理装置。
10. 前記補正部は、前記補正情報を生成した後、現在時刻の前記特徴グループに直前の時刻の前記特徴グループを入れ替える
    請求項５に記載の医用画像処理装置。
11. 前記超音波システム以外の他のモダリティーでのボリュームデータを表示部にリアルタイムに表示させる表示制御部、
    をさらに備える請求項１に記載の医用画像処理装置。
12. 直前の時刻の前記特徴グループに関する情報を記憶する第１の記憶部と、
    前記レジストレーション情報に関する情報を記憶する第２の記憶部と、
    をさらに備え、
    前記補正部は、
    前記補正情報が生成された後、前記第１の記憶部に記憶された直前の時刻の前記特徴グループに関する情報を、現在時刻の前記特徴グループに関する情報に入れ替え、
    前記レジストレーション情報が補正された後、前記第２の記憶部に記憶された前記レジストレーション情報を、補正後の前記レジストレーション情報に入れ替える
    請求項１０に記載の医用画像処理装置。
13. 前記取得部は、前記特徴グループを含む二次元超音波画像を、基準画像として取得する
    請求項１に記載の医用画像処理装置。
14. 前記超音波システム以外の他のモダリティーは、ＣＴ（Computed Tomography）装置またはＭＲＩ（Magnetic Resonance Imaging）装置である
    請求項１に記載の医用画像処理装置。
15. 前記補正情報は補正行列であり、
    前記レジストレーション情報は変換行列である
    請求項５に記載の医用画像処理装置。
16. 超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成する生成ステップと、
    プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、取得した各二次元超音波画像から特徴グループをそれぞれ抽出する取得ステップと、
    現在時刻の前記特徴グループと直前の時刻の前記特徴グループとの距離を算出する算出ステップと、
    算出された前記距離に基づいて、前記レジストレーション情報を補正する補正ステップと、
    を含む医用画像処理方法。
17. 超音波システムの座標系と超音波システム以外の他のモダリティーの座標系との間のレジストレーション関係を示すレジストレーション情報を生成し、
    プローブの移動過程において、所定の時間間隔で被検体の二次元超音波画像を取得し、取得した各二次元超音波画像から特徴グループをそれぞれ抽出し、
    現在時刻の前記特徴グループと直前の時刻の前記特徴グループとの距離を算出し、
    算出された前記距離に基づいて、前記レジストレーション情報を補正する、
    処理をコンピュータに実行させるプログラム。

Images