JP2019051060A - 画像処理装置 - Google Patents

Abstract

【課題】被検体の姿勢変化に伴う変形演算を行うためのパラメータを容易に設定し、変形演算時の誤差を少なくする画像処理装置を提供する。【解決手段】画像処理装置には、同一の被検体について撮影時の姿勢が互いに異なる第１の画像データ（超音波画像）と第２の画像データ（ＭＲＩ画像）が入力する。変形演算部１０６は、第２の画像データにおける被検体の形状を、第１の画像データを撮影した姿勢における形状に変形する変形演算を行なう。変形パラメータ設定部１０８は、変形演算を行うための変形パラメータを設定する。位置合わせ部２０４は、変形演算を行った第２の画像データと第１の画像データとの位置合わせを行う。表示制御部は、第１の画像データに基づく画像とともに、該画像と同一断面について、第２の画像データに基づく画像をディスプレイに表示する。【選択図】図３

Description

本発明は、リアルタイムで撮像した超音波画像と、他の撮像装置で予め撮像されたボリュームデータから求めた同じ断面の画像とを同時に表示する画像処理装置に関する。

超音波撮像装置は、超音波を被検体に照射し、その反射信号により被検体内部の構造を画像化するため、無侵襲かつリアルタイムに患者を観察することが可能である。一方、Ｘ線ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置などの他の医用画像撮像装置は、広範囲かつ高分解能で撮像することができるため、細かな病変や臓器の位置関係の把握が容易に行える。例えば乳癌などの腫瘍を、早期の段階でＭＲＩ画像やＸ線ＣＴ画像から見つけ出すことができる。

また、超音波探触子に位置センサを貼り付けてスキャン面の位置関係を算出し、医用画像診断装置から撮像した３次元診断用ボリュームデータから、超音波スキャン面の画像と対応する２次元画像を構築し、表示する画像診断システムも普及し始めている。

ところで、超音波診断装置において、同一断面についての超音波画像と超音波画像以外の医用画像を表示しようとした場合、それぞれの画像における撮影時の被検体の姿勢の相違により、同一断面であっても生体組織の形状が異なる場合がある。

例えば、乳房について超音波診断装置を用いて撮影する場合には、仰向け（仰臥位）で撮影を行う。一方、ＭＲＩ装置で乳房を撮影する場合には、うつ伏せ（伏臥位）で撮影を行う。このため、超音波画像における乳房は、重力によって押しつぶされたような形状となり、ＭＲＩ画像における乳房は重力により垂下した形状となる。このため、各画像における形状が大きく異なる。これは、超音波画像と超音波以外の画像を同時に表示する場合の問題となっていた。

特許文献１には、それぞれの画像における撮影時の被検体の姿勢の相違による生体組織の形状の変化を解消するために、有限要素法や粒子法などを用いて姿勢変更による生体組織の形状変形を演算し、変形演算後の画像を表示する技術が開示されている。

特開２０１３−１５０８２５号公報

特許文献１において生体組織の変形演算を行うためには、変形のための種々のパラメータを適切に設定する必要がある。例えば、乳房の硬さ等のパラメータは被検体ごとに違っているため、精密な変形演算を行うためには適切なパラメータ設定が必要になる。また、変形演算のためには、例えば重力方向のパラメータ設定なども必要になる。

しかしながら、変形パラメータの設定は非常に難しく、乳房の硬さには個人差がある。さらに、乳房は脂肪、乳腺、皮膚から構成されるため、硬さのパラメータは脂肪だけでなく、乳腺、皮膚に対しても設定する必要がある。これらの複数のパラメータの設定が適切に行われないと、姿勢間の形状変形に大きな誤差が生じてしまう。その結果、２つの画像間に位置ずれが生じ、細かな病変の位置を特定するのが困難になる。前記特許文献１には被検体ごとの変形パラメータ設定については、特に考慮されていない。

本発明の目的は、変形演算のためのパラメータを容易に設定でき、姿勢変更に伴う形状変形の誤差を少なくする画像処理装置を提供することである。

本発明は、同一の被検体を異なる撮像装置にて撮影した第１の画像データと第２の画像データとを入力し、画像処理を施して表示する画像処理装置において、第１の画像データは超音波撮像装置で撮影した超音波画像であり、第２の画像データは他の画像撮像装置により取得したボリュームデータであり、第１の画像データと第２の画像データは、被検体の撮影時の姿勢が互いに異なるものであって、第２の画像データにおける被検体の生体組織の形状を、第１の画像データを撮影した姿勢における生体組織の形状に変形する変形演算を行なう変形演算部と、変形演算部にて生体組織の変形演算を行うための変形パラメータを設定する変形パラメータ設定部と、変形演算部にて変形演算を行った第２の画像データの座標系と第１の画像データの座標系との間の座標変換を行って、第２の画像データと第１の画像データの位置合わせを行う位置合わせ部と、第１の画像データに基づく画像とともに、該画像と同一断面について、位置合わせ済みの第２の画像データに基づく画像をディスプレイに表示する表示制御部と、を備える構成とする。

本発明によれば、変形パラメータを設定するためのパラメータ設定部を有しているので、被検体ごとの変形パラメータを容易に設定することが可能となり、姿勢変更に伴う形状変形の誤差を少なくすることができる。

本発明の画像処理装置を含む超音波撮像装置の構成例を示す図。 画像処理装置１０のハードウェア構成を示すブロック図。 実施例１における画像処理部８の機能構成を示すブロック図。 被検体の姿勢と乳房の形状を説明する図。 実施例２における変形パラメータ設定部１０８の構成を示す図。 実施例３における画像処理部８の機能構成を示すブロック図。 実施例４における画像処理部８の機能構成を示すブロック図。 変形パラメータの最適化処理を説明するフローチャート。 実施例５における画像処理部８の機能構成を示すブロック図。

以下、本発明の実施の形態について、図面を参照して説明する。

実施例１では、本発明の画像処理装置の基本構成と動作について説明する。画像処理装置は超音波撮像装置に組み込まれ、超音波画像と他の画像撮像装置で撮影した同一断面の画像（例えばＭＲＩ画像）とを同時に表示するものである。

図１は、本発明の画像処理装置を含む超音波撮像装置の構成例を示す図である。超音波撮像装置１は、超音波探触子２、位置センサ３、位置検出ユニット４、送受信部５、超音波画像生成部６、制御部７、画像処理部８、ユーザインタフェース（ＵＩ）部９を備える。このうち、画像処理部８とＵＩ部９は、２つの画像を表示する画像処理装置１０を構成する。超音波探触子２は、被検体２０に超音波を送信し、被検体２０からの超音波を受信する。位置センサ３は、超音波探触子２に取り付けられている。

超音波画像生成部６は、超音波探触子２の受信信号から超音波画像を生成する。この超音波画像のことを第１の画像データと呼ぶ。第１の画像データは画像処理装置１０の画像処理部８へ送られる。

一方画像処理部８は、ＵＩ部９を介して、外部の他の画像撮像装置が被検体２０について得たボリュームデータを受け取る。このボリュームデータを第２の画像データと呼ぶ。このとき、第２の画像データの撮影時の被検体２０の姿勢が、第１の画像データの撮影時の姿勢と異なっている場合がある。この場合には、画像処理部８は、第２の画像データにおける生体組織の形状を、第１の画像における生体組織の形状に変形する変形演算を行なう。ここで画像処理部８は、後述する変形パラメータ設定部によって適切なパラメータを設定することで、精度の良い変形シミュレーション（変形演算）を実行する。変形後の第２の画像は、第１の画像とともに、ディスプレイ１１にて表示される。

まず、超音波撮像装置１における超音波画像の生成動作について説明する。超音波撮像装置１において、送受信部５は、制御部７の制御下で送信信号を生成し、超音波探触子２を構成する複数の超音波素子ごとに受け渡す。これにより、超音波探触子２の複数の超音波素子は、それぞれ超音波を被検体２０に向かって送信する。被検体２０で反射された超音波は、再び超音波探触子２の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、送受信部５によって、受信焦点の位置に応じた所定の遅延量で遅延させた後加算される（整相加算）。これを複数の受信焦点について繰り返す。整相加算後の信号は、超音波画像生成部６に受け渡される。

位置検出ユニット４は、位置センサ３の出力から超音波探触子２の位置を検出する。例えば位置検出ユニット４として、磁気センサユニットを用いることができる。位置検出ユニット４は磁場空間を形成し、位置センサ３が磁場を検出することにより、基準点となる位置からの座標を検出することができる。超音波画像生成部６は、送受信部５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、超音波画像（第１の画像データ）を生成する。

次に、画像処理装置１０、すなわち画像処理部８とユーザインタフェース（ＵＩ）部９の構成と動作について説明する。

図２は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理部８は、ＣＰＵ（プロセッサ）８１、ＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）８２、ＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）８３、記憶装置８４、および表示制御部８５を備えて構成される。ＵＩ部９は、画像入力部９１、媒体入力部９２、入力制御部９３、および入力装置９４を備えて構成される。これらと、超音波画像生成部６および位置検出ユニット４は、データバス８６によって相互に接続されている。また、表示制御部８５にはディスプレイ１１が接続されている。

ＲＯＭ８２およびＲＡＭ８３の少なくとも一方には、ＣＰＵ８１の演算処理により画像処理部８の動作を実現するために必要とされるプログラムとデータが格納されている。ＣＰＵ８１が、このＲＯＭ８２およびＲＡＭ８３の少なくとも一方に格納されたプログラムを実行することによって、画像処理部８の各種処理が実現される。

なお、ＣＰＵ８１が実行するプログラムは、記憶媒体（例えば、光ディスク）４１に格納しておき、媒体入力部９２（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ８３に格納するようにしてもよい。また、記憶装置８４に当該プログラムを格納しておき、記憶装置８４からそのプログラムをＲＡＭ８３にロードしてもよい。また、ＲＯＭ８２に予め当該プログラムを記憶させておいてもよい。

ＵＩ部９において、画像入力部９１は、ＭＲＩ装置などの他の画像撮像装置４２が撮影した医用画像ボリュームデータ（第２画像データ）を取り込むためのインターフェースである。記憶装置８４は、画像入力部９１を介して入力された第２画像データ等を格納する磁気記憶装置である。記憶装置８４は、不揮発性半導体記憶媒体（例えば、フラッシュメモリ）を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

入力装置９４は、ユーザの操作を受け付けるデバイスであり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部９３は、入力装置９４で受け付けた入力を操作入力信号に変換し、操作入力信号はＣＰＵ８１に送られて処理される。

表示制御部８５は、ＣＰＵ８１の処理で得られた画像データをディスプレイ１１に表示させる制御を行う。ディスプレイ１１は、表示制御部８５の制御下で画像を表示する。

このようにして画像処理部８は、超音波画像生成部６から取得した被検体２０の超音波画像（第１の画像データ）とともに、他の画像撮像装置４２が被検体２０について得たボリュームデータ（第２の画像データ）を受け取る。そして、第２の画像データにおける生体組織の形状を、第１の画像データにおける生体組織の形状に変形する処理を行ない、両方の画像を同時に表示する。以下では、被検体２０として患者の乳房を例に取り上げ、第２の画像データはＭＲＩ画像として説明する。

図４は、被検体の姿勢と乳房の形状を説明する図である。図４（ａ）は被検体がうつ伏せ（伏臥位）の場合の乳房ｂｒの形状、図４（ｂ）は被検体が仰向け（仰臥位）の場合の乳房ｂｒの形状を示している。うつ伏せの場合は、重力によって乳房ｂｒが垂下している。このように、乳房の形状は被検体の姿勢の変化によって大きく変形する。なお、符号ｆは後述する特徴点を、符号ｍは胸筋の境界を、符号ｓは皮膚表面を示す。

本実施例では、図に示すような姿勢による形状変形を補正し、例えば、図４（ａ）に示すうつ伏せの乳房形状を図４（ｂ）に示す仰向けの乳房形状に変換する。そして、うつ伏せ状態から仰向け状態に変換した乳房形状のＭＲＩ画像（仮想仰向けＭＲＩ画像とも呼ぶ）と仰向け超音波画像とを表示する。

図３は、実施例１における画像処理部８の機能構成を示すブロック図である。ここでは、機能ブロックを実線、画像やデータを破線で示している。各ブロックの処理動作は第１フェーズ〜第４フェーズから成っており、まず、全体の動作の概要を説明する。

第１フェーズでは、うつ伏せＭＲＩ画像１０１から乳房変形モデル１０４を生成し特徴点１０５を抽出する。画像入力部９１からうつ伏せＭＲＩ画像１０１（第２の画像データ）が入力すると、乳房モデル生成部１０２は乳房変形モデル１０４を生成し、特徴点抽出部１０３は特徴点１０５を抽出する。

第２フェーズでは、仰向け超音波画像２０１から特徴点２０３を抽出する。画像処理部８は被検体２０の超音波画像２０１（第１の画像データ）を取得し、特徴点抽出部２０２は、仰向けの姿勢における特徴点２０３を抽出する。この特徴点２０３は前述のＭＲＩ画像１０１から抽出した特徴点１０５に対応するものである。

第３フェーズでは、変形パラメータ１０７を設定して乳房変形モデル１０４の変形シミュレーションを行い、さらに特徴点の位置合わせを行って仮想仰向けＭＲＩ画像２０５を生成する。変形シミュレーション部（変形演算部）１０６は、乳房変形モデル１０４を用いて変形シミュレーションを行い、仮想仰向けＭＲＩ画像１０９を生成し、対応する変形後の特徴点１１０を求める。このとき変形パラメータ設定部１０８は、変形シミュレーションのための変形パラメータ１０７を制御する。位置合わせ部２０４は、変形後の特徴点１１０と仰向け姿勢における特徴点２０３との対応から、仮想仰向けＭＲＩ画像１０９と仰向け超音波画像２０１との位置合わせを行い、位置合わせ済仮想仰向けＭＲＩ画像２０５を生成する。

第４フェーズでは、超音波探触子２を動かしながら、仰向け超音波画像３０３と対応する仮想仰向けＭＲＩ画像断面３０５を同時に表示する。超音波撮像部３０１では、超音波画像生成部６によって仰向け超音波画像３０３を生成する。このとき、超音波探触子２の位置・方向のデータ３０２に従って、断面表示部３０４は、仰向け超音波画像３０３と同一断面の仮想仰向けＭＲＩ画像断面３０５を生成する。そして、仰向け超音波画像３０３と同一断面の仮想仰向けＭＲＩ画像断面３０５を同時に表示する。

以下、各フェーズの動作を詳細に説明する。
（第１フェーズ）ここでは、うつ伏せＭＲＩ画像１０１から乳房変形モデル１０４を生成する。
まず、うつ伏せＭＲＩ画像１０１を画像入力部９１から入力する。この例では、うつ伏せのＭＲＩ画像としているが、別の姿勢（例えば立位）のＭＲＩ画像でもよい。また、画像の種類はＭＲＩに限らない。ＣＴなど他の撮像方法でもよい。図４（ａ）に示したように、うつ伏せのＭＲＩ画像は重力によって乳房が垂下している。

乳房モデル生成部１０２は、うつ伏せＭＲＩ画像１０１から乳房変形モデル１０４を生成する。乳房変形モデル１０４とは、重力等の外力を変更することで、乳房形状の変形演算を行うためのモデルである。これにより、例えば図４（ａ）に示すうつ伏せの乳房形状を、図４（ｂ）に示すような仰向けの乳房形状に変形することができる。

乳房変形モデルとしては、有限要素法などの物理シミュレーションモデルが利用でき、その他、粒子法や質点バネモデルなど、様々な変形シミュレーション方法が利用できる。乳房変形モデルとして、有限要素法を用いる場合には、乳房領域から四面体などの有限要素モデルを生成する。また、胸筋部分を固定境界として変形シミュレーションを行う。さらに、乳房モデルを脂肪、乳腺、皮膚の領域でモデル化して、それぞれの変形パラメータ（ヤング率、ポアソン比など）を指定することが可能である。

特徴点抽出部１０３は、うつ伏せＭＲＩ画像１０１から、乳房画像の特徴点１０５を抽出する。特徴点１０５としては、例えば乳頭や、解剖学的なランドマークを用いる。図４（ａ）には、特徴点の例（符号ｆ）を示している。特徴点は自動的に抽出することも可能であるが、対話的に指定してもよい。

（第２フェーズ）ここでは、仰向け超音波画像２０１上の特徴点２０３を抽出する。
被検体２０に対して、超音波探触子２、送受信部５、超音波画像生成部６を用いて様々な断面における仰向け超音波画像２０１を生成する。このとき、第１フェーズで指定したうつ伏せＭＲＩ画像１０１上の特徴点１０５に対応する仰向け超音波画像２０１上の特徴点２０３が現れる断面を探索する。対応する特徴点２０３が超音波画像２０１上に現れた場合に、マウスなどの入力装置９４を用いて特徴点２０３の位置を指定する。このとき、位置検出ユニット４によって超音波探触子２の位置姿勢が既知であるため、座標変換によって指定された特徴点２０３の３次元座標を求めることが可能である。

上記の処理を繰り返すことによって、うつ伏せＭＲＩ画像上の特徴点１０５に対応する、仰向け超音波画像２０１上の特徴点２０３の三次元座標が求められる。

（第３フェーズ）ここでは、変形パラメータ１０７を設定して変形シミュレーションを行い、位置合わせ済仮想仰向けＭＲＩ画像２０５を生成する。
変形パラメータ設定部１０８は、乳房変形モデル１０４に対する変形パラメータ１０７を設定する。変形パラメータ１０７としては、乳房モデルの弾性変形パラメータを設定する。具体的には、脂肪、乳腺、皮膚のヤング率、ポアソン比が挙げられる。さらに、重力の方向も変形パラメータとする。

次に、変形シミュレーション部１０６によって乳房変形モデル１０４を変形し、仮想仰向けＭＲＩ画像１０９を生成する。変形シミュレーションは、有限要素法などの手法を用いるが、うつ伏せ姿勢から仰向け姿勢に変換する場合には、１例として２倍の重力を与える方法を用いることが可能である。図４（ａ）のうつ伏せ形状に対して、胸筋の境界ｍを固定として、乳房ｂｒの変形をシミュレーションする。このとき、図４（ａ）の下から上方向に重力の２倍の力を加えることで、図４（ｂ）の仰向け乳房の形状変形をシミュレーションできる。
変形シミュレーションによって特徴点１０５も変形され、仮想仰向けＭＲＩ画像上の特徴点１１０を求める。

位置合わせ部２０４は、変形後の仮想仰向けＭＲＩ画像の特徴点１１０と仰向け超音波画像の特徴点２０３との対応から、仮想仰向けＭＲＩ画像１０９と仰向け超音波画像２０１との位置合わせを行い、位置合わせ済仮想仰向けＭＲＩ画像２０５を生成する。

ここで、位置合わせ部２０４の位置合わせ方法について説明する。特徴点の数が１つの場合には、変形後の特徴点１１０と仰向け姿勢における特徴点２０３の位置が一致するように、移動だけの座標変換を行う。

特徴点の数が２個の場合には、座標変換後の特徴点１１０と特徴点２０３との誤差の二乗和が最小となるような移動変換を求める。特徴点の数が３個以上の場合には、座標変換後の特徴点１１０と特徴点２０３との誤差の二乗和が最小となるような剛体変換（移動と回転の変換）を求める。以上により、特徴点の数に応じた位置合わせを実行する。

（第４のフェーズ）ここでは、仰向け超音波画像３０３と対応する仮想仰向けＭＲＩ画像断面３０５を同時表示する。
超音波撮像部３０１では、被検体２０に対して、超音波探触子２、送受信部５、超音波画像生成部６を用いて仰向け超音波画像３０３を生成する。このとき、位置検出ユニット４によって超音波探触子２の位置・方向のデータ３０２を得て、その値に従って断面表示部３０４は、仰向け超音波画像３０３とこれに対応する同一断面の仮想仰向けＭＲＩ画像断面３０５を生成する。そして、仰向け超音波画像３０３とこれと同一断面の仮想仰向けＭＲＩ画像断面３０５を同時にディスプレイ１１に表示する。
以上で、超音波画像と、これと異なる姿勢で撮影したＭＲＩ画像とを同時に表示することが可能となる。

（パラメータ設定処理）第３フェーズにおける変形パラメータ設定部１０８による変形パラメータ１０７の設定処理について説明する。
変形パラメータ設定部１０８は、後述する対話処理、最適化処理、エラストグラフィの利用などの方法で、変形パラメータ１０７を最適に設定する。変形パラメータとしては、被検体２０の各組織のヤング率、ポアソン比、重力方向などが挙げられる。変形パラメータ設定部１０８により、変形パラメータ１０７を最適に設定し、変形シミュレーション部１０６によって、仮想仰向けＭＲＩ画像１０９と、仮想仰向けＭＲＩ画像上の特徴点１１０とが高精度に求められる。その結果、第４フェーズにおいて、仰向け超音波画像３０３と、同一断面の仮想仰向けＭＲＩ画像断面３０５が高精度に生成される。

なお、上記の説明の中で、うつ伏せＭＲＩ画像１０１から抽出する特徴点１０５に加えて、胸筋の境界ｍ、皮膚表面ｓを抽出することが可能である。この場合には、仰向け超音波画像２０１からも特徴点２０３に加えて、対応する胸筋の境界ｍ’、皮膚表面ｓ’を抽出する。

うつ伏せＭＲＩ画像１０１から胸筋境界ｍの抽出は対話的に実行できる。うつ伏せＭＲＩ画像１０１から皮膚表面ｓの抽出は閾値処理で可能である。仰向け超音波画像２０１から対応する胸筋の境界ｍ’を抽出する場合には、代表断面において胸筋の境界をマウスなどで指定し、複数断面の境界を補間することで胸筋境界を設定できる。仰向け超音波画像２０１から対応する皮膚表面ｓ’を抽出する場合には、超音波探触子２の位置から皮膚表面を抽出し、複数断面の皮膚境界を補間することで皮膚表面を抽出できる。

特徴点として胸筋の境界ｍ，ｍ’と皮膚表面ｓ，ｓ’を用いる場合には、位置合わせ部２０４の処理も変更される。この場合には、公知のＩＣＰ（Iterative Closest Point）アルゴリズム（参考文献１）によって座標変換を求めることが可能である。ＩＣＰアルゴリズムと特徴点の対応を同時に使う場合には、両アルゴリズムから求められた距離に対して重み付きの和を求め、和の最適化によって変換座標が求められる。

〔参考文献１〕Y. Chen and G. Medioni, “Object modelling by registration of multiple range images,” Image and vision computing, vol. 10, no. 3, pp. 145-155, 1992。

なお、胸筋の境界ｍおよび対応する胸筋の境界ｍ’を用いる場合には、胸筋の境界が変形しないという仮定を設け、他の変形する特徴点、皮膚表面を用いた位置合わせを用いず、胸筋の境界だけを用いた位置合わせを用いることも可能である。

この場合には、変形パラメータ設定部１０８の設定により、変形パラメータ１０７が変更された場合にも、位置合わせ２０４の処理結果は同じになるため、位置合わせ部２０４の処理は省略可能である。

以上のように実施例１によれば、変形パラメータ設定部１０８のパラメータ設定処理によって、適切な変形画像を得ることができる。すなわち、変形パラメータ設定部１０８により変形パラメータ１０７を変更すると、パラメータ設定に連動して、仮想仰向けＭＲＩ画像断面３０５が変更される。これを参考に変形パラメータ１０７を修正することで、所望の変形画像に近づけることが可能となる。

実施例２は、実施例１の構成において、変形シミュレーション部１０６に対する変形パラメータの設定を、変形結果を見ながら対話的に行うようにしたものである。超音波撮像装置１と画像処理部８の構成は、実施例１における図１〜図３とほぼ同様であり、以下では差異点を中心に説明する。

図５は、実施例２における変形パラメータ設定部１０８の構成を示す図である。変形パラメータ設定部１０８は、対話的に変形パラメータを設定する対話型変形パラメータ設定部１５１から構成される。

対話型変形パラメータ設定には様々な方法があるが、グラフィカルユーザインタフェースを用いて、マウスなどを用いて、ヤング率や重力方向などのパラメータを対話的に設定することが可能である。対話型変形パラメータ設定部１５１の設定により、変形パラメータ１０７が変更される。変形シミュレーション部１０６は、変更された変形パラメータ１０７を用いて、仮想仰向けＭＲＩ画像１０９と、仮想仰向けＭＲＩ画像上の特徴点１１０を求める。

その後、図３で述べたように、仰向け超音波画像上の特徴点２０３と仮想仰向けＭＲＩ画像上の特徴点１１０を用いて、位置合わせ部２０４によって、位置合わせ済仮想仰向けＭＲＩ画像２０５が生成される（第３フェーズ）。そして、断面表示部３０４により、仰向け超音波画像３０３と同一断面の仮想仰向けＭＲＩ画像断面３０５が生成される（第４フェーズ）。

実施例２によれば、対話型変形パラメータ設定部１５１により変形パラメータ１０７を対話的に設定することで、ユーザは仮想仰向けＭＲＩ画像を参照しながら所望の変形画像に容易に近づけることが可能となる。

実施例３は、実施例１の構成において、仰向け超音波画像２０１と位置合わせ済仮想仰向けＭＲＩ画像２０５との位置合わせ誤差を求めて表示する機能を追加したものである。

図６は、実施例３における画像処理部８の機能構成を示すブロック図である。このうち、仮想仰向けＭＲＩ画像１０９、仮想仰向けＭＲＩ画像上の特徴点１１０、仰向け超音波画像上の特徴点２０３の算出までの処理は実施例１と同一である。

実施例１では、位置合わせ部２０４によって仮想仰向けＭＲＩ画像１０９と仰向け超音波画像２０１との位置合わせを行い、位置合わせ済仮想仰向けＭＲＩ画像２０５を生成していた。これに対して実施例３では、位置合わせ誤差評価部２０６によって仮想仰向けＭＲＩ画像１０９と仰向け超音波画像２０１との位置合わせを行うとともに、位置合わせの誤差２０７を求めてディスプレイ１１に表示するようにした。

位置合わせ部誤差評価部２０６による位置合わせ方法および誤差評価方法について説明する。なお、位置合わせ誤差を評価するため、特徴点の数は３個以上必要である。位置合わせでは、座標変換後の仮想仰向けＭＲＩ画像１０９の特徴点１１０と、仰向け超音波画像２０１の特徴点２０３との誤差の二乗和が最小となるような剛体変換（移動と回転の変換）を行う。このときの最小の誤差を位置合わせ誤差２０７として出力する。画像処理部８のその他の処理は、実施例１と同一である。

なお、本実施例において、仮想仰向けＭＲＩ画像１０９における胸筋の境界ｍ、皮膚表面ｓと、仰向け超音波画像２０１における対応する胸筋の境界ｍ’、皮膚表面ｓ’を用いる場合には、位置合わせには前述のＩＣＰアルゴリズムによって座標変換を求める。ＩＣＰアルゴリズムと特徴点の対応を同時に使う場合には、両アルゴリズムから求められた距離に対して重み付きの和を求め、和の最適化によって変換座標が求める。この重み付きの誤差を位置合わせ誤差２０７として出力する。

実施例３によれば、仰向け超音波画像２０１と位置合わせ済仮想仰向けＭＲＩ画像２０５との位置合わせ誤差２０７を求めて表示する構成としたので、ユーザは変形後の画像の精度を容易に把握することが可能となる。

実施例３は実施例２と組み合わせることも可能である。その場合には、対話型変形パラメータ設定部１５１を用いて対話的に変形パラメータ１０７を設定すると、仰向け超音波画像３０３と、変形パラメータ１０７に連動した同一断面の仮想仰向けＭＲＩ画像断面３０５が生成される。さらに、そのときの位置合わせ誤差２０７をディスプレイ１１に表示することができる。ユーザは画像と誤差の両方を参照しながら対話型変形パラメータ設定部１５１を用いて変形パラメータを対話的に設定して、所望の変形に容易に近づけることが可能となる。

実施例４は、実施例３の構成において、仰向け超音波画像２０１と位置合わせ済仮想仰向けＭＲＩ画像２０５との位置合わせ誤差２０７を最小化する機能を追加したものである。

図７は、実施例４における画像処理部８の機能構成を示すブロック図である。このうち、仮想仰向けＭＲＩ画像１０９、仮想仰向けＭＲＩ画像上の特徴点１１０、仰向け超音波画像上の特徴点２０３、位置合わせ誤差２０７の算出までの処理は実施例３と同一である。ただし、変形パラメータ設定部１０８は、実施例４では変形パラメータ最適化部２０８で置き換えている。変形パラメータ最適化部２０８は、算出された位置合わせ誤差２０７を入力して、位置合わせ誤差２０７が最小となるように変形パラメータ１０７を設定する。

図８は、変形パラメータの最適化処理を説明するフローチャートである。
まず、変形パラメータ最適化部２０８は変形パラメータ１０７の初期値を設定する（Ｓ１００１）。変形パラメータの初期値としては、典型的なヤング率や重力方向などを用いる。設定された変形パラメータ１０７を用いて変形シミュレーション部１０６によって変形シミュレーションを行い、変形後の仮想仰向けＭＲＩ画像１０９上の特徴点１１０を求める（Ｓ１００２）。

位置合わせ誤差評価部２０６によって、仮想仰向けＭＲＩ画像１０９と仰向け超音波画像２０１との位置合わせを行う。そして、仰向け超音波画像２０１の特徴点２０３と位置合わせ済仮想仰向けＭＲＩ画像２０５の特徴点１１０との位置合わせ誤差２０７を評価する（Ｓ１００３）。

求めた位置合わせ誤差２０７を予め設定している閾値と比較し、誤差が収束しているか否かを判定する（Ｓ１００４）。誤差２０７が閾値より小さい場合には収束と判定し、処理を終了する。あるいは、誤差２０７の値が改善されない場合や、所定の回数だけ収束計算を行った場合にも、収束と判定し処理を終了する。

誤差が収束していない場合には、変形パラメータ最適化部２０８は変形パラメータ１０７を修正する（Ｓ１００５）。そしてＳ１００２に戻り、修正した変形パラメータ１０７を用いて再度変形シミュレーションを行い、そのときの位置合わせ誤差２０７を再度評価する。以下、これを繰り返して、誤差２０７が収束するまで変形シミュレーションを繰り返す。これにより、位置合わせ誤差２０７を最小化させる。

なお、上記の最小化処理には様々な方法が利用できるが、たとえば、公知のＰｏｗｅｌｌの最適化（参考文献２）を利用できる。Ｐｏｗｅｌｌの最適化法は、微分を使わずに多変数関数の最小化問題を解く方法である。

〔参考文献２〕M. J. Powell, “An efficient method for finding the minimum of a function of several variables without calculating derivatives,” The computer journal, vol. 7, no. 2, pp. 155-162, 1964。

実施例４によれば、仰向け超音波画像２０１と位置合わせ済仮想仰向けＭＲＩ画像２０５との位置合わせ誤差を最小化させることができるので、ディスプレイ１１に表示する仰向け超音波画像３０３と同一断面の仮想仰向けＭＲＩ画像断面３０５が高精度に対応し、細かな病変の位置を特定するのが容易となる。

実施例５は、実施例１の構成において、変形シミュレーション部１０６に対する変形パラメータ１０７の設定のためエラストグラフィを用いるものである。エラストグラフィ（Ultra Sound Elastography：超音波組織弾性映像法）とは、組織の硬さをリアルタイムで画像化する技術である。組織に一定の圧力を加えたときに生じるゆがみの大きさなどから組織の硬さを推定し、この組織の硬さに基づき変形パラメータを設定するものである。実施例５においては、図１の超音波撮像装置にエラストグラフィ装置を接続することで、組織の硬さの画像データを取得できる。

図９は、実施例５における画像処理部８の機能構成を示すブロック図である。画像処理部８にはエラストグラフィ部４０１を追加し、これに外部のエラストグラフィ装置４３を接続する。エラストグラフィ装置４３からは、被検体画像の各画素における硬さのデータが入力される。エラストグラフィ部４０１は、入力した硬さのデータを、乳腺、脂肪などの部位ごとに平均化することで、被検体の部位ごとの硬さを示す組織パラメータ４０２（乳腺のヤング率、脂肪のヤング率など）を生成する。

生成した組織パラメータ４０２は、変形パラメータ１０７の一部に用いられる。なお、変形パラメータ１０７には、重力方向などエラストグラフィ部４０１から設定できないパラメータがあるが、それらは変形パラメータ設定部１０８にて別途設定する。

以上のように、実施例５では、エラストグラフィを用いることで被検体に特有の変形パラメータを設定することができるので、より精密な変形シミュレーションが可能となり、被検体の細かな病変の位置を特定することが容易となる。

なお、実施例５は、実施例２〜実施例４と組み合わせて実施することも可能である。
実施例５と実施例２を組み合わせる場合には、エラストグラフィで設定できない変形パラメータを対話的に設定することで、所望の変形を得ることが可能である。

実施例５と実施例３を組み合わせる場合には、変形の誤差を参照しながら、エラストグラフィで設定できない変形パラメータを対話的に設定することで、所望の変形を得ることが可能である。

実施例５と実施例４を組み合わせる場合には、エラストグラフィで設定できない変形パラメータを最適化によって求めることで、より精密な変形を得ることが可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１…超音波撮像装置、２…超音波探触子、５…送受信部、６…超音波画像生成部、７…制御部、８…画像処理部、９…ユーザインタフェース（ＵＩ）部、１０…画像処理装置、１１…ディスプレイ、４２…画像撮像装置、４３…エラストグラフィ装置、８５…表示制御部、１０１…うつ伏せＭＲＩ画像（第２の画像データ）、１０２…乳房モデル生成部、１０３，２０２…特徴点抽出部、１０６…変形シミュレーション部（変形演算部）、１０８…変形パラメータ設定部、１５１…対話型変形パラメータ設定部、２０１…仰向け超音波画像（第１の画像データ）、２０４…位置合わせ部、２０６…位置合わせ誤差評価部、２０８…変形パラメータ最適化部、３０１…超音波撮像部、３０４…断面表示部、４０１…エラストグラフィ部。

Claims (6)

1. 同一の被検体を異なる撮像装置にて撮影した第１の画像データと第２の画像データとを入力し、画像処理を施して表示する画像処理装置において、
   前記第１の画像データは超音波撮像装置で撮影した超音波画像であり、前記第２の画像データは他の画像撮像装置により取得したボリュームデータであり、前記第１の画像データと前記第２の画像データは、前記被検体の撮影時の姿勢が互いに異なるものであって、
   前記第２の画像データにおける前記被検体の生体組織の形状を、前記第１の画像データを撮影した姿勢における生体組織の形状に変形する変形演算を行なう変形演算部と、
   前記変形演算部にて生体組織の変形演算を行うための変形パラメータを設定する変形パラメータ設定部と、
   前記変形演算部にて変形演算を行った前記第２の画像データの座標系と前記第１の画像データの座標系との間の座標変換を行って、前記第２の画像データと前記第１の画像データの位置合わせを行う位置合わせ部と、
   前記第１の画像データに基づく画像とともに、該画像と同一断面について、前記位置合わせ済みの前記第２の画像データに基づく画像をディスプレイに表示する表示制御部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記変形演算部にて変形演算を行うために前記第２の画像データの変形モデルを生成する変形モデル生成部と、
   前記位置合わせ部にて前記第２の画像データと前記第１の画像データの位置合わせを行うために、前記第２の画像データと前記第１の画像データからそれぞれの特徴点を抽出する特徴点抽出部と、
   を備えることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記変形パラメータ設定部は、対話的に前記変形パラメータを設定するものであることを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記位置合わせ部は、前記特徴点抽出部にて抽出した特徴点を用いて、前記変形演算部にて変形演算を行った前記第２の画像データと、前記第１の画像データの位置合わせを行うとともに、位置合わせ誤差を求めて表示することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記変形パラメータ設定部は、前記位置合わせ部が求めた前記位置合わせ誤差を入力し、該位置合わせ誤差が最小となるように前記変形パラメータを設定すること特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記変形パラメータ設定部は、さらに、生体組織の硬さを示すエラストグラフィを用いて前記変形パラメータを設定することを特徴とする画像処理装置。

Images