JP2011224211A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の三次元画像の対応する断面を取得する。
【解決手段】対象物体の第１の位置および向きにおける第１の三次元画像を取得し、該対象物体の形状と、第２の位置および向きにおける対象物体の形状との間の変位量を算出する。変位量に基づいて、第１の三次元画像から第２の位置および向きにおける第２の三次元画像を生成し、第１の三次元画像において特徴的な特徴領域を基準とした所定範囲を特徴領域の周辺領域として、周辺領域内における第１の三次元画像のうち特徴領域を示す代表点群位置を取得する。代表点群位置を変位量に基づいて変位させて、第２の三次元画像における、代表点群位置から代表点群位置に対応する対応点群位置への変換行列を算出する。第１の三次元画像に変換行列による変換を施すことで第３の三次元画像を生成し、第２の三次元画像の断面画像と、対応する第３の三次元画像の断面画像とを取得し、断面画像を表示する。
【選択図】図１

Description

本発明は、医用画像収集装置で撮像した画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。特に、複数の断面画像を関連付ける処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

乳腺科領域では、磁気共鳴映像装置（ＭＲＩ装置）で撮影した画像上で乳房内における病変部位の位置を同定した上で、超音波画像診断装置（超音波装置）によって当該病変部位の状態を観察するという手順で画像診断を行う場合がある。ここで、乳腺科における一般的な撮影プロトコルでは、ＭＲＩ装置による撮影を伏臥位（うつ伏せの体位）で行い、超音波装置による撮影を仰臥位（あお向けの体位）で行うことが多い。このとき医師は、撮影体位の差異に起因する乳房の変形を考慮して、伏臥位ＭＲＩ画像上で同定した病変部の位置から仰臥位における病変部の位置を推定した上で、推定した病変部の位置を超音波装置によって撮影している。

しかし、撮影体位の差異に起因する乳房の変形は非常に大きいため、医師が推定する仰臥位における病変部の位置が実際とは大きく異なる場合がある。

この課題には、伏臥位ＭＲＩ画像に変形処理を施して仮想的な仰臥位ＭＲＩ画像を生成する公知の手法を用いることで対処できる。伏臥位から仰臥位への変形情報に基づけば、仮想的な仰臥位ＭＲＩ画像上における病変部の位置を算出できる。あるいは、生成された仮想的な仰臥位ＭＲＩ画像を読影することで、当該画像上における病変部の位置を直接的に求めることもできる。この変形処理の精度が高ければ、仮想的な仰臥位ＭＲＩ画像上における病変部の近傍に実際の仰臥位における病変部が存在することになる。

ここで、伏臥位ＭＲＩ画像上での病変部の位置に対応する仰臥位ＭＲＩ画像上での病変部の位置を算出するだけでなく、伏臥位ＭＲＩ画像と仰臥位ＭＲＩ画像の対応する断面の画像を表示したい場合がある。例えば、変形後の仮想的な仰臥位ＭＲＩ画像中で指定した病変部を含む断面に対応する、変形前の伏臥位ＭＲＩ画像の断面の画像を表示することで、病変部の様子を基画像に立ち戻って詳細に観察したい場合がある。あるいは逆に、変形前の伏臥位ＭＲＩ画像の断面が、変形後の仮想的な仰臥位ＭＲＩ画像中ではどのような断面となるかを確認したい場合がある。

例えば、特許文献１には、変形状態の異なる２つの三次元画像を、一方の画像に変形を施し形状を揃えた上で、同一断面を並べて表示する方法が開示されている。また、特許文献２には、一方の画像データセット中で指定した画像スライスに対応する、他方の画像データセット中の画像スライスを識別して、両方の画像スライスを同一平面に位置合わせして表示する方法が開示されている。

特開２００８−０７３３０５号公報 特開２００９−０９０１２０号公報

しかし、特許文献１の方法では、現在の三次元画像と過去の三次元画像を同一形状に変形させてから同一断面を切り出しているため、形状の違いを維持したまま対応断面の画像を表示することはできないという課題がある。また、特許文献２の方法では、画像データセットの中から画像スライスを選択しているに過ぎないため、特殊な場合を除いて、一方で指定された断面画像に対応する他方の適切な断面画像を生成することはできないという課題がある。

上記の課題に鑑み、本発明は、複数の三次元画像における対応する断面の画像を生成することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
対象物体の三次元画像を処理する画像処理装置であって、
撮像手段により撮像された、前記対象物体の第１の位置および向きにおける第１の三次元画像を取得する画像取得手段と、
前記第１の位置および向きにおける前記対象物体の形状と、前記第１の位置および向きとは異なる第２の位置および向きにおける前記対象物体の形状との間の変位量を、当該対象物体へ加わる外力の相対的な方向の違いに基づいて算出する変位算出手段と、
前記変位量に基づいて、前記第１の三次元画像から前記第２の位置および向きにおける第２の三次元画像を生成する第１生成手段と、
前記第１の三次元画像において特徴的な領域を示す特徴領域を取得する領域取得手段と、
前記特徴領域を基準とした所定範囲を前記特徴領域の周辺領域として設定する設定手段と、
前記周辺領域内における前記第１の三次元画像のうち前記特徴領域を示す複数の代表点の位置を代表点群位置として取得する代表点群取得手段と、
前記代表点のそれぞれの重み係数を算出する重み係数算出手段と、
前記代表点群位置を前記変位量に基づいて変位させて、前記第１生成手段により生成された前記第２の三次元画像における、前記代表点群位置に対応する対応点群位置を取得する対応点群取得手段と、
前記代表点群位置と、前記重み係数と、前記対応点群位置とに基づいて、前記代表点群位置から前記対応点群位置への変換行列を算出する行列算出手段と、
前記第１の三次元画像に前記変換行列による変換を施すことで第３の三次元画像を生成する第２生成手段と、
前記第２の三次元画像における断面画像と、当該断面画像に対応する前記第３の三次元画像における断面画像との各断面画像を取得する断面画像取得手段と、
前記断面画像取得手段により取得された前記第２の三次元画像における断面画像または当該断面画像に対応する前記第３の三次元画像における断面画像を表示する表示手段と、
を備えることを特徴とする。

本発明によれば、複数の三次元画像における対応する断面の画像を生成できる。

（ａ）第１実施形態に係る画像処理装置の機能構成を説明する図、（ｂ）第１実施形態に係る関係算出部の機能構成を説明する図。 画像処理装置の各部をソフトウェアにより実現するコンピュータの基本構成を示す図。 （ａ）第１実施形態に係る全体の処理手順を示すフローチャート、（ｂ）第１実施形態に係る関係算出の処理手順を示すフローチャート。 （ａ）第１実施形態に係る代表点取得方法を説明する図、（ｂ）第１実施形態に係る表示画像生成方法を説明する図。 第２実施形態に係る画像処理装置の機能構成を説明する図。 （ａ）第２実施形態に係る全体の処理手順を示すフローチャート、（ｂ）第２実施形態に係る関係算出の処理手順を示すフローチャート。 第２実施形態に係る表示画像生成方法を説明する図。

（第１実施形態）
本実施形態に係る画像処理装置は、第１の変形状態下で撮影された三次元画像に変形を施すことで、第２の変形状態下における三次元画像を仮想的に生成する。そして、注目領域を含む断面画像を夫々の三次元画像から生成して、これらを並べて表示する。なお、本実施形態では、主に人体の乳房を対象物体とする。乳房のＭＲＩ画像を取得して、乳房中における病変部を注目領域とする場合を例として説明する。また、本実施形態では、例えば、第１の変形状態は重力方向に対して被検者がうつ伏せ（伏臥位）の状態であるものとし、第２の変形状態は重力方向に対して被検者があお向け（仰臥位）の状態であるものとする。第１の変形状態とは、第１の位置および向きを保持した状態であり、第２の変形状態とは、第２の位置および向きを保持した状態である。以下、図１（ａ）を参照して、本実施形態に係る画像処理装置について説明する。同図に示すように、本実施形態における画像処理装置１１は、画像撮影装置１０に接続されている。画像撮影装置１０は、例えばＭＲＩ装置であり、対象物体である乳房を伏臥位（第１の変形状態）で撮影して第１の三次元画像（ボリュームデータ）を得るものとする。

画像処理装置１１は、画像取得部１１０と、変形演算部１１１と、変形画像生成部１１２と、注目領域取得部１１３と、関係算出部１１４と、表示画像生成部１１５とを備える。画像取得部１１０は、画像撮影装置１０から第１の三次元画像を取得して、変形演算部１１１、変形画像生成部１１２、注目領域取得部１１３、関係算出部１１４および表示画像生成部１１５へと第１の三次元画像を出力する。

変形演算部１１１は、伏臥位（第１の変形状態）から仰臥位（第２の変形状態）への状態の変化によって対象物体に生じる変形量を算出して、その結果を変形画像生成部１１２および関係算出部１１４へと出力する。

変形画像生成部１１２は、変形演算部１１１により算出された変形量に基づいて、画像取得部１１０が取得した第１の三次元画像（伏臥位のＭＲＩ画像）に変形処理を施し、第２の三次元画像（仮想的な仰臥位のＭＲＩ画像）を生成する。そして、変形画像生成部１１２はその第２の三次元画像を表示画像生成部１１５へと出力する。

注目領域取得部１１３は、画像取得部１１０により取得された第１の三次元画像の中から病変部などの注目領域を取得して、関係算出部１１４へと出力する。

関係算出部１１４は、画像取得部１１０により取得された第１の三次元画像と、注目領域取得部１１３により取得された注目領域と、変形演算部１１１により算出された対象物体の変形量とに基づいて、変形に伴う注目領域の位置および方向の変化を近似する剛体変換を求める。なお、関係算出部１１４の構成は、本実施形態で最も特徴的な構成であるので、後に、図１（ｂ）に示すブロック図を参照して詳しく説明する。

表示画像生成部１１５は、関係算出部１１４により算出された剛体変換に基づいて、画像取得部１１０により取得された第１の三次元画像と、変形画像生成部１１２により生成された第２の三次元画像とから表示画像を生成する。そして、生成された表示画像は不図示の表示部に表示される。

次に、図１（ｂ）を参照して、関係算出部１１４の内部構成を説明する。関係算出部１１４は、代表点群取得部１１４１と、対応点群算出部１１４２と、変換算出部１１４３とを備える。

代表点群取得部１１４１は、注目領域取得部１１３により取得された注目領域と、画像取得部１１０により取得された第１の三次元画像とに基づいて代表点群を取得し、対応点群算出部１１４２および変換算出部１１４３へその代表点群を出力する。ここで代表点群とは、注目領域の周辺において病変部などの形状を端的に表す特徴的な位置の座標群であり、第１の三次元画像を処理することによって取得される。

対応点群算出部１１４２は、変形演算部１１１により算出された対象物体に生じる変形量に基づいて、代表点群取得部１１４１により取得された代表点群の夫々の点の座標を変位させた対応点群を算出し、変換算出部１１４３へと出力する。

変換算出部１１４３は、代表点群取得部１１４１により取得された代表点群と、対応点群算出部１１４２により算出された対応点群の夫々の位置の関係に基づいて、それらの関係を近似する剛体変換パラメータを算出し、表示画像生成部１１５へと出力する。 なお、図１（ａ）に示した画像処理装置１１の各部の少なくとも一部は、独立した装置として実現してもよい。または、夫々１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部は、それぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

図２を参照して、図１に示した各部の夫々の機能を、ソフトウェアを実行することで実現するコンピュータの基本構成について説明する。ＣＰＵ２０１は、ＲＡＭ２０２に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、ソフトウェアの実行を制御して各部の機能を実現する。ＲＡＭ２０２は、外部記憶装置２０３からロードされたプログラムやデータを一時的に記憶するエリアと、ＣＰＵ２０１が各種の処理を行うためのワークエリアとを備える。外部記憶装置２０３はハードディスクドライブなどの大容量情報記憶装置であって、ＯＳ（オペレーティングシステム）、ＣＰＵ２０１が実行するプログラム、又はデータ等を保持する。キーボード２０４、マウス２０５は入力デバイスである。これらを用いてユーザからの各種の指示を入力することができる。表示部２０６は液晶ディスプレイなどにより構成されており、表示画像生成部１１５により生成された画像等を表示する。また、メッセージやＧＵＩ等を表示する。Ｉ／Ｆ２０７は、インタフェースであり、各種の情報を入出力するためのイーサネット（登録商標）ポート等によって構成される。各種の入力データはＩ／Ｆ２０７を介してＲＡＭ２０２に取り込まれる。画像取得部１１０の機能の一部は、Ｉ／Ｆ２０７によって実現される。上述した各構成要素は、バス２１０によって相互に接続される。

図３（ａ）を参照して、画像処理装置１１による全体の処理手順を示すフローチャートについて説明する。なお、フローチャートに示される各処理は、ＣＰＵ２０１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前に、フローチャートに従ったプログラムコードは、例えば外部記憶装置２０３からＲＡＭ２０２に既にロードされているものとする。

ステップＳ３０１において、画像取得部１１０は、画像処理装置１１へと入力される第１の三次元画像（ボリュームデータ）を取得する。なお、以下の説明では、第１の三次元画像を記述するために定義されている座標系を、第１の基準座標系と称する。

ステップＳ３０２において、変位算出手段として機能する変形演算部１１１は、第１の三次元画像に写る伏臥位における乳房の形状を取得する。そして、伏臥位から仰臥位に体位が変化した場合に相対的な重力方向の違いによって対象物体に生じるであろう変形（変位量を示す変形場）を算出する。この変形は、第１の基準座標系における変位場（３次元ベクトル場）として算出され、Ｔ（ｘ，ｙ，ｚ）と表記する。この処理は、例えば、有限要素法による物理変形シミュレーションなどの一般に良く知られた方法によって実施できる。なお、外力が対象物体に加えられている場合にその外力の加わる方向が変化した場合のように、重力以外にも広く何らかの外力方向の変化によって対象物体に生じるであろう変形を算出してもよい。例えば、対象物体の断層画像を撮影する際にプローブから超音波信号を送受信する操作が必要となる。このような場合、プローブと対象物体とが接触することによって対象物体に変形が生じる。

ステップＳ３０３において、第１生成手段として機能する変形画像生成部１１２は、上記のステップで取得された第１の三次元画像と、変位場Ｔ（ｘ，ｙ，ｚ）とに基づいて、第１の三次元画像に変形処理を施し第２の三次元画像を生成する。ここで、第２の三次元画像は、対象物体である乳房を仰臥位の状態で撮影した場合に相当する仮想的なＭＲＩ画像とみなすことができる。なお、以下の説明では、第２の三次元画像を記述するために定義されている座標系を、第２の基準座標系と称する。

ステップＳ３０４において、注目領域取得部１１３は、第１の三次元画像中の注目領域（特徴領域）を取得する。例えば、第１の三次元画像を画像処理して注目領域（例えば、病変部と疑われる領域）を自動検出する。また、検出された領域の範囲を示す情報（例えば、領域を表すボクセル（単位三次元要素）にラベルを付与したボリュームデータ）を取得したり、検出された領域の重心の座標値を注目領域の中心位置Ｘ_ｓｃ＝（ｘ_ｓｃ，ｙ_ｓｃ，_ｓｃ）として取得したりする。なお、注目領域を自動的に検出する場合に限らず、例えばマウス２０５やキーボード２０４などによるユーザ入力によって注目領域を取得してもよい。例えば、第１の三次元画像中のＶＯＩ（Ｖｏｌｕｍｅ−ｏｆ−Ｉｎｔｅｒｅｓｔ）を注目領域としてユーザが入力してもよいし、注目領域の中心位置を表す１点の３次元座標Ｘ_ｓｃをユーザが入力してもよい。
ステップＳ３０５において、関係算出部１１４は、ステップ３０２で取得された変位場に基づいて、ステップ３０４で取得された注目領域の位置と向きの変化を近似する剛体変換を求める。ステップＳ３０５の剛体変換を求める処理は、本実施形態で最も特徴的な処理であるので、図３（ｂ）に示すフローチャートを参照して、詳しく説明する。

図３（ｂ）のステップＳ３００１において、図１（ｂ）に示した代表点群取得部１１４１は、ステップＳ３０４で取得された注目領域を基準とした所定の範囲から、以降の処理で用いる複数の代表点の位置（代表点群位置）を取得する。

この処理について図４を参照して説明する。なお、図４では２次元の画像を表す図を用いて説明しているが、実際の処理は三次元画像（ボリュームデータ）を対象としている。図４の例では、ステップＳ３０４における注目領域取得部１１３により、第１の三次元画像４００上で注目領域の中心位置４０１が取得されている場合を想定する。

このとき、代表点群取得部１１４１は、最初に、注目領域の中心位置４０１から所定範囲（例えば、中心位置４０１を中心とした所定の半径ｒの球内）を、周辺領域４０２として設定する。ここで、周辺領域内には、病変部などの注目すべき対象４０３が含まれているものとする。なお、ステップＳ３０４において、画像処理によって注目領域の範囲を表す情報が取得されている場合には、検出された注目領域の範囲に応じて周辺領域４０２の範囲を設定してもよい。また、ステップＳ３０４において、ユーザがＶＯＩを入力することによって注目領域が取得されている場合には、ＶＯＩの範囲に応じて周辺領域４０２の範囲を設定してもよい。すなわち、検出された領域や指定されたＶＯＩをそのまま周辺領域４０２としてもよいし、検出された領域や指定されたＶＯＩを含むような最小の球を周辺領域４０２としてもよい。また、不図示のＵＩ（ユーザインタフェース）により、周辺領域４０２を示す球の半径ｒをユーザが指定してもよい。

次に、代表点群取得部１１４１は、周辺領域４０２の範囲内の第１の三次元画像を画像処理することで、病変部などの注目すべき対象４０３の形態を特徴的に表す複数の点として、代表点群４０４を取得する。この処理では、例えば、周辺領域４０２内における夫々のボクセルに対して、画素値に基づくエッジ検出処理などを施し、所定の閾値以上のエッジ強度を持つボクセルを選択することによって、代表点群４０４が取得される。

最後に、重み係数算出手段としても機能する代表点群取得部１１４１は、選択された夫々の点におけるエッジ強度に応じて夫々の点の重み係数を算出し、その情報を代表点群４０４に付加する。以上の処理によって、代表点群取得部１１４１は、代表点群４０４の位置Ｘ_ｓｎ＝（ｘ_ｓｎ，ｙ_ｓｎ，ｚ_ｓｎ）（ｎ＝１〜Ｎ；Ｎは代表点の数）と、その重み係数Ｗ_ｓｎを取得する。

なお、代表点群取得部１１４１は、ユーザが不図示のＵＩを用いて代表点群の取得方法を選択した場合には、選択された代表点群の取得方法によって代表点群を取得する。例えば、病変部などの注目すべき対象４０３の輪郭を画像処理によって取得し、その輪郭上に等間隔に点を配置して、夫々の点の最近接ボクセルを代表点群４０４として取得する方法を選択できる。また、周辺領域４０２内の３次元空間を均等に分割したグリッド点を代表点群４０４として取得する方法を選択することができる。なお、代表点群４０４の選択方法はこれに限定されるものではない。

また、代表点群取得部１１４１は、重み係数Ｗ_ｓｎの算出方法をユーザが不図示のＵＩを用いて指定した場合には、指定された算出方法によって重み係数を算出する。例えば、ステップＳ３０４で取得された注目領域の中心位置４０１（例えば、注目領域の重心、周辺領域４０２の重心など）からの距離ｄ_ｓｎに基づいて、代表点の重み係数を算出する方法を選択できる。例えば、距離ｄ_ｓｎが前述の半径ｒと等しい場合に重み係数が０に、距離ｄ_ｓｎが０の場合に重み係数が１になるような距離の関数（例えば、Ｗ_ｓｎ＝(ｄ_ｓｎ−ｒ)／ｒ）によって重み係数を求めてもよい。その場合、代表点のそれぞれの重み係数は、特徴領域の重心（または周辺領域）の重心からの距離が近い程大きな値として、逆に遠いほど小さな値として算出される。また、エッジ強度と距離ｄ_ｓｎの双方に基づいて重み係数を求める方法が選択できる構成であってもよい。なお、重み係数Ｗ_ｓｎの算出方法はこれに限定されるものではない。

次に、ステップＳ３００２において、対応点群取得手段として機能する対応点群算出部１１４２は、ステップＳ３００１で算出された代表点群４０４の夫々の位置を、ステップＳ３０２で算出された変位場Ｔ（ｘ，ｙ，ｚ）に基づいて変位させる。これにより、第１の三次元画像中における代表点群の位置に対応する、第２の三次元画像中の点群の位置（対応点群位置）を算出することができる。具体的には、例えば、代表点群４０４の位置Ｘ_ｓｎにおける変位場Ｔ（ｘ_ｓｎ，ｙ_ｓｎ，ｚ_ｓｎ）を代表点群４０４の位置Ｘ_ｓｎに加算することにより、第２の三次元画像中の対応点の位置Ｘ_ｄｎ（ｎ＝１〜Ｎ）を算出する。なお、第１の三次元画像と第２の三次元画像は変形の状態が異なるため、対応点群の相互の位置関係は、代表点群の相互の位置関係を保たない。

最後に、ステップＳ３００３において、変換算出部１１４３は、代表点群４０４の位置Ｘ_ｓｎおよび対応点群の位置位置Ｘ_ｄｎに基づいて、これらの点群同士の関係を近似する剛体変換行列算出を実行する。具体的には、式（１）に示す誤差の和eを最小にする剛体変換の行列Ｔ_{ｒｉｇｉｄ}を算出する。すなわち、対応点と、変換行列及び代表点の積と、の差のノルムに対して重み係数を乗じた値を代表点ごとに求めて、当該値の総和eを算出し、総和eが最小となる変換行列Ｔ_{ｒｉｇｉｄ}を算出する。

式（１）では、対応点群に付加された重み係数の情報Ｗ_ｓｎに応じて、誤差を重み付けして評価している。なお、行列Ｔ_{ｒｉｇｉｄ}は特異値分解などを用いる公知の方法で算出することができるので、算出方法の説明は省略する。

以上によって、ステップＳ３０５の処理が実行される。

再び図３（ａ）を参照すると、ステップＳ３０６において、表示画像生成部１１５は、表示画像を生成する。図４（ｂ）を参照して、本ステップの処理について説明する。ただし、図４（ｂ）では本来は三次元画像であるものを２次元画像として表示している。

まず、表示画像生成部１１５は、ステップＳ３０１で取得された第１の三次元画像４００に対して、ステップＳ３０５で算出された関係に基づく剛体変換を施すことによって、第３の三次元画像４５１を生成する（第２生成）。三次元画像の剛体変換には周知の方法を用いればよいので説明を省略する。この処理は、第３の三次元画像４５１における注目領域の位置と向きが第２の三次元画像４５２における注目領域と略一致するように、第１の三次元画像を剛体変換することを意味する。

そして、第３の三次元画像と第２の三次元画像とを表示するための２次元画像（表示画像）を生成する。三次元画像を表示するための２次元画像の生成方法は様々な方法が知られている。例えば、三次元画像の基準座標系に対して平面を設定し、その平面における三次元画像の断面の画像を２次元画像として求める方法がある。この場合、例えば、ユーザによる入力処理により断面を生成する平面を取得し、第３の三次元画像と第２の三次元画像との夫々の基準座標系を同一視し、上記平面で夫々の断面画像取得を行う。平面の取得に際して、ステップＳ３０４で取得された注目領域の中心位置（あるいは注目領域の範囲から定まるその重心位置）を含むようにする。これにより各三次元画像における病変部などの注目すべき領域を含み、かつその位置と向きが略一致した断面画像を取得できる。最後に、画像処理装置１１は、生成された表示画像を表示部２０６に表示する。

以上のように、本実施形態に係る画像処理装置は、変形状態の異なる夫々の三次元画像から、夫々に写る病変部などの注目領域の位置と向きを略一致させた断面画像を取得し、これらを並べて表示を行う。これにより、変形前後における病変部などの注目領域の断面の比較が容易になる。

（第２実施形態）
変換算出部１１４３における変換算出処理は、上記以外の処理であってもよい。例えば、注目領域の中心位置４０１の対応点をステップＳ３００２と同様に算出して、この二点が一致するように剛体変換のうちの平行移動成分を定めてもよい。すなわち、注目領域の中心位置４０１（座標Ｘ_ｓｃ）における変位場Ｔ（ｘ_ｓｃ，ｙ_ｓｃ，ｚ_ｓｃ）を剛体変換の平行移動成分としてもよい。この場合、式（１）に示す誤差の和eを最小にする行列Ｔ_{ｒｉｇｉｄ}を算出する際に、Ｔ_{ｒｉｇｉｄ}の平行移動成分は上記の値に固定し、回転成分のみを未知パラメータとして求めればよい。これにより、第３の三次元画像と第２の三次元画像とで、注目領域の中心位置を一致させることができる
第１実施形態では画像撮影装置１０としてＭＲＩ装置を用いる場合を例として説明したが、本発明の実施はこれに限らない。例えば、Ｘ線ＣＴ装置、光音響トモグラフィ装置、ＯＣＴ装置、ＰＥＴ／ＳＰＥＣＴ、３次元超音波装置などを用いることができる。また、対象物体は人体の乳房に限らず、任意の対象物体であってもよい。

第１実施形態では、ステップＳ３０６の画像表示処理において、ユーザにより指定された断面に基づいて、第３の三次元画像と、第２の三次元画像との各断面画像を生成した。しかし、指定された断面に基づいて三次元画像から断面画像を生成するものであれば、生成する断面画像は、その断面上のボクセル値を画像化した画像でなくてもよい。例えば、断面を中心として法線方向に所定の範囲を設定した上で、当該範囲内における法線方向のボクセル値の最大値を断面上の各点に関して求めた最大値投影画像を断面画像としてもよい。本発明では、指定した断面に関して生成される上記のような画像も、広義の意味で「断面画像」に含めるものとする。また、視点位置等を同一に設定した上で、第３の三次元画像と第２の三次元画像の夫々を、その他のボリュームレンダリング手法等によって表示してもよい。

（第３実施形態）
第１、第２の実施形態では、変形前後の三次元画像における注目領域の位置と向きの変化を近似する剛体変換を予め算出する場合について説明した。しかし、本発明の実施はこれに限らない。本実施形態に係る画像処理装置は、指定された断面の位置と向きに応じて、剛体変換の算出方法を動的に変更する。以下、本実施形態に係る画像処理装置について、第１、第２実施形態との相違部分についてのみ説明する。

図５を参照して、本実施形態に係る画像処理装置の構成を説明する。なお、図１（ａ）と同じ部分については同じ参照番号を付けており、その説明を省略する。図５に示すように、本実施形態に係る画像処理装置１１は、画像撮影装置１０に加えて断層画像撮影装置１２にも接続されている。そして、断層画像撮影装置１２からの情報を取得する断層画像取得部５１６が追加されている点が、図１（ａ）との主な相違点である。また、関係算出部５１４および表示画像生成部５１５が実行する処理が、第１実施形態における関係算出部１１４および表示画像生成部１１５とは異なる。

断層画像撮影装置１２としての超音波装置は、プローブから超音波信号を送受信することによって仰臥位の対象物体の断層画像を撮影する。さらに撮影時のプローブの位置と向きを位置姿勢センサで計測することで、断層画像の位置と向きが、位置姿勢センサを基準とする座標系（以下、「センサ座標系」と称する）で得られているものとする。そして、断層画像およびその付帯情報である位置と向きが画像処理装置１１へと逐次的に出力される。ここで、位置姿勢センサは、プローブの位置と向きが計測できるのであればどのように構成されていてもよい。

断層画像取得部５１６は、断層画像撮影装置１２から画像処理装置１１へと入力される断層画像およびそれに付帯するその位置と姿勢を逐次的に取得して、関係算出部５１４および表示画像生成部５１５へと出力する。ここで、断層画像取得部５１６は、センサ座標系における位置と向きを第２の基準座標系における位置と向きへと変換して各部へと出力する。

関係算出部５１４は、第１実施形態と同様の入力情報と、断層画像取得部５１６により取得された断層画像とに基づいて、第１の基準座標系と第２の基準座標系との間の座標系間の補正を行う剛体変換を求める。なお、関係算出部５１４の構成は第１実施形態における図１（ｂ）と同様であるが、代表点群取得部１１４１および対応点群算出部１１４２の処理が異なる。以下の説明ではそれぞれ代表点群取得部５１４１および対応点群算出部５１４２と称する。代表点群取得部５１４１は、注目領域取得部１１３により取得された注目領域の位置と、画像取得部１１０により取得された第１の三次元画像と、断層画像取得部５１６により取得された断層画像の付帯情報である位置及び向きとを取得する。そして、これらの情報に基づいて代表点群を取得し、対応点群算出部５１４２および変換算出部５１４３へ出力する。なお、本実施形態において、代表点群は、注目領域の位置と、断層画像の位置及び向きと、第１の三次元画像とに基づいて、断層画像を表す断面上に配置される座標群として取得される。

表示画像生成部５１５は、関係算出部５１４により算出された剛体変換に基づいて、画像取得部１１０により取得された第１の三次元画像と、変形画像生成部１１２により生成された第２の三次元画像と、断層画像取得部５１６により取得された断層画像とから表示画像を生成する。そして、生成した表示画像を不図示の表示部に表示する。

図６を参照して、画像処理装置１１が行う全体の処理手順を示すフローチャートについて説明する。

ステップＳ６０１からステップＳ６０４までは、第１実施形態におけるステップＳ３０１からステップＳ３０４までと同様の処理を実行するので説明を省略する。

ステップＳ６０５において、断層画像取得部５１６は、画像処理装置１１へと入力される断層画像を取得する。そして、断層画像の付帯情報であるセンサ座標系における位置と向きを、第２の基準座標系における位置と向きに変換する。この変換は、例えば以下の手順で実行することができる。まず、断層画像と第２の三次元画像の両方に共通で写る乳腺構造などの特徴的な部位を自動またはユーザによる入力によって対応させる。次に、これらの位置の関係に基づいてセンサ座標系から第２の基準座標系への剛体変換を求める。そして、剛体変換によって、センサ座標系における位置と向きを第２の基準座標系における位置と向きに変換する。さらに、第２の基準座標系に変換された位置と向きを、断層画像の付帯情報として設定し直す。

ステップＳ６０６において、関係算出部５１４は、以下の処理を実行する。すなわち、ステップＳ６０２で取得された変位場と、ステップＳ６０４で取得された注目領域の位置と、ステップＳ６０５で取得された断層画像の位置と向きとに基づいて、第１の基準座標系と第２の基準座標系との間の座標系の補正を行う剛体変換を求める。ステップＳ６０６の処理は、本実施形態で最も特徴的な処理であるので、図６（ｂ）に示すフローチャートを参照してさらに詳しく説明する。

ステップＳ６００１において、関係算出部５１４は、代表点群取得部５１４１の処理として、以下の処理を行う。まず、ステップＳ６０４で取得された注目領域の位置を、ステップＳ６０２で算出された変位場Ｔ（ｘ，ｙ，ｚ）に基づいて変位させ、注目領域の変形後の位置を算出する。次に、注目領域の変形後の位置と、ステップＳ６０５で取得された断層画像を表す平面との距離ｄ_ｐを求める。この距離は、断層画像の位置と向きから断層画像を表す平面を求め、その平面に対する注目領域の変形後の位置からの断層画像を表す平面への垂線の長さとして算出される。

距離ｄ_ｐが所定の閾値よりも大きい場合には、以下の処理を行う。まず、平面内における断層画像の撮像範囲を表す２次元領域を２次元のグリッド状に等間隔に分割する。そして、そのグリッドの各交点の位置に代表点群を配置する。このとき、配置された夫々の点における第２の三次元画像の断面画像または断層画像に対してエッジ検出処理を施し、そのエッジ強度に応じて夫々の点の重み係数を算出して、その情報を代表点群に付加する。なお、第２の三次元画像の断面画像は、ステップＳ６０５で取得された断層画像を表す平面を切断面として第２の三次元画像から生成する。

一方、距離ｄ_ｐが所定の閾値よりも小さい場合には、以下の処理を行う。まず、垂線と平面との交点ｘ_ｐを中心とした平面内での所定の範囲に２次元の領域（以下、「周辺領域」と称する）を設定する。そして、その２次元の周辺領域における第２の三次元画像の断面画像または断層画像に対してエッジ検出処理を施し、所定の閾値以上のエッジ強度を持つ点群を代表点群として選択する。なお、代表点群の取得方法はこれに限られず、エッジ検出処理を施した結果から病変部などの注目すべき対象の輪郭を取得し、輪郭上に等間隔に点を配置することで取得してもよい。最後に、選択された夫々の点におけるエッジ強度に応じて夫々の点の重み係数を算出し、その情報を代表点群に付加する。
以上の処理によって、代表点群取得部５１４１は、代表点群の位置Ｘ_ｓｎ＝（ｘ_ｓｎ，ｙ_ｓｎ，ｚ_ｓｎ）（ｎ＝１〜Ｎ；Ｎは代表点の数）と、その重み係数Ｗ_ｓｎを取得する。

また、代表点群取得部５１４１は、ユーザが不図示のＵＩを用いて代表点群の取得方法を指定した場合には、指定された取得方法によって代表点群が取得される。例えば、平面内における断層画像の撮像範囲を表す２次元領域を２次元グリッド状に等間隔に分割する。そして、そのグリッドの交点の位置に代表点群を配置する。そして、代表点群の夫々と交点ｘ_ｐとの距離ｄ_ｑと、平面と注目領域の変形後の位置とのｄ_ｐとに基づいて、代表点群の夫々の重み係数Ｗ_ｓｎを算出できる。この場合、例えばｄ_ｑ ^２＋ｄ_ｐ ^２が所定の閾値よりも小さい代表点の重み係数を高くし、閾値以上の代表点の重み係数Ｗ_ｓｎを低くする。これにより、代表点群の夫々の位置が注目領域の変形後の位置を中心とした所定の半径の球の内部に位置するか否かによって異なる重み係数Ｗ_ｓｎが与えられる。なお、重み係数Ｗ_ｓｎの算出方法はこれに限定されるものではない。

ステップＳ６００２において、対応点群算出部１１４２は、ステップＳ６００１で算出された代表点群の夫々の位置を、ステップＳ６０２で算出された変位場Ｔ（ｘ，ｙ，ｚ）に基づいて変位させる。まず、変位場Ｔ（ｘ，ｙ，ｚ）に基づいて、その逆変換である仰臥位から伏臥位に体位が変化した場合に生じるであろう変形を、第２の基準座標系における変位場（３次元ベクトル場）Ｔ_ｉｎｖ（ｘ，ｙ，ｚ）として算出する。そして、Ｔ_ｉｎｖ（ｘ，ｙ，ｚ）に基づいて、第２の三次元画像中における代表点群の位置に対応する第１の三次元画像中の点群（対応点群）の位置を算出する。具体的には、例えば、代表点群の位置Ｘ_ｓｎにおける変位場Ｔ_ｉｎｖ（ｘ_ｓｎ，ｙ_ｓｎ，ｚ_ｓｎ）を対応点群の位置Ｘ_ｓｎに足し合わせることで、第１の三次元画像中の対応点の位置Ｘ_ｄｎ（ｎ＝１〜Ｎ）を算出する。

ステップＳ６００３における処理は、第１実施形態のステップＳ３００３と同様の処理を実行するため、説明を省略する。

以上によって、ステップＳ６０６の処理が実施される。

ステップＳ６０７において、表示画像生成部５１５は、表示画像を生成する。図７を参照して、本ステップの処理について説明する。ただし、図７では本来は三次元画像であるものを２次元画像として表示している。

まず、ステップＳ６０１で取得された第１の三次元画像４００に対して、ステップＳ６０６で算出された関係に基づく剛体変換を施すことで、第３の三次元画像４５１を生成する。三次元画像の剛体変換には周知の方法を用いれば良いので説明を省略する。この処理は、第３の三次元画像４５１における注目領域の位置と向きが第２の三次元画像４５２における注目領域と略一致するように、第１の三次元画像を剛体変換することを意味する。

そして、第３の三次元画像および第２の三次元画像を表示するための２次元画像（表示画像）を生成する。例えば、断層画像４５３の位置と向きに基づいて断層画像を表す平面を取得し、第３の三次元画像と第２の三次元画像の夫々の基準座標系を同一視し、平面で夫々の三次元画像を切断した断面画像を取得する。最後に、画像処理装置１１は、上記で生成した表示画像を表示部２０６に表示する。

なお、ステップＳ６０５及びステップＳ６０６の各処理は、逐次入力される断層画像に応じて繰り返し処理される。

以上によって、画像処理装置１１の処理が実施される。

以上のように、本実施形態に係る画像処理装置は、病変部などの注目領域が断面画像に含まれている（あるいは、近接している）場合には、特にその注目領域の向きが揃うように表示を行う。また、注目領域が断面画像から離れている場合には、断面画像の全体としての向きが揃うように表示が行われる。これにより、変形前後における病変部などの注目領域の断面が比較しやすくなり、また、変形前後の形状の全体的な関係の把握を行うことも容易となる。

（第４実施形態）
第３実施形態では、ステップＳ６００３の処理において、断層画像と三次元画像に写る対象物体の位置と向きを略一致させる剛体変換を算出する場合を例として説明したが、この算出方法は前述の方法に限定されない。例えば、１段階目の処理として断層画像に写る対象物体の断面を含む平面と略一致する三次元画像上の平面を求める。この時、求められた平面は面内での回転および面内での並進に自由度を持つ。そして、２段階目の処理として面内での回転および面内での並進を求める処理を追加して実行してもよい。すなわち、本発明において剛体変換を求める処理とは、それを多段階で求める場合を含んでもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 対象物体の三次元画像を処理する画像処理装置であって、
   撮像手段により撮像された、前記対象物体の第１の位置および向きにおける第１の三次元画像を取得する画像取得手段と、
   前記第１の位置および向きにおける前記対象物体の形状と、前記第１の位置および向きとは異なる第２の位置および向きにおける前記対象物体の形状との間の変位量を、当該対象物体へ加わる外力の相対的な方向の違いに基づいて算出する変位算出手段と、
   前記変位量に基づいて、前記第１の三次元画像から前記第２の位置および向きにおける第２の三次元画像を生成する第１生成手段と、
   前記第１の三次元画像において特徴的な領域を示す特徴領域を取得する領域取得手段と、
   前記特徴領域を基準とした所定範囲を前記特徴領域の周辺領域として設定する設定手段と、
   前記周辺領域内における前記第１の三次元画像のうち前記特徴領域を示す複数の代表点の位置を代表点群位置として取得する代表点群取得手段と、
   前記代表点のそれぞれの重み係数を算出する重み係数算出手段と、
   前記代表点群位置を前記変位量に基づいて変位させて、前記第１生成手段により生成された前記第２の三次元画像における、前記代表点群位置に対応する対応点群位置を取得する対応点群取得手段と、
   前記代表点群位置と、前記重み係数と、前記対応点群位置とに基づいて、前記代表点群位置から前記対応点群位置への変換行列を算出する行列算出手段と、
   前記第１の三次元画像に前記変換行列による変換を施すことで第３の三次元画像を生成する第２生成手段と、
   前記第２の三次元画像における断面画像と、当該断面画像に対応する前記第３の三次元画像における断面画像との各断面画像を取得する断面画像取得手段と、
   前記断面画像取得手段により取得された前記第２の三次元画像における断面画像または当該断面画像に対応する前記第３の三次元画像における断面画像を表示する表示手段と、
   を備えることを特徴とする画像処理装置。
2. 前記行列算出手段は、前記対応点と、前記変換行列及び前記代表点の積と、の差のノルムに前記重み係数を乗じた値を代表点ごとに求めて当該値の総和を算出し、当該総和が最小となる変換行列を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記重み係数算出手段は、前記代表点のそれぞれの重み係数を、前記特徴領域の重心または前記周辺領域の重心からの距離が近い程大きく算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記代表点群取得手段は、前記周辺領域を構成する各三次元要素の画素値に基づいてエッジ強度を検出し、閾値以上のエッジ強度を有する三次元要素を代表点の位置として取得することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記重み係数算出手段は、前記代表点のそれぞれの重み係数を、前記エッジ強度が大きい程大きく算出することを特徴とする請求項４に記載の画像処理装置。
6. 対象物体の三次元画像を処理する画像処理方法であって、
   画像取得手段が、撮像工程で撮像された、前記対象物体の第１の位置および向きにおける第１の三次元画像を取得する画像取得工程と、
   変位算出手段が、前記第１の位置および向きにおける前記対象物体の形状と、前記第１の位置および向きとは異なる第２の位置および向きにおける前記対象物体の形状との間の変位量を、当該対象物体へ加わる外力の相対的な方向の違いに基づいて算出する変位算出工程と、
   第１生成手段が、前記変位量に基づいて、前記第１の三次元画像から前記第２の位置および向きにおける第２の三次元画像を生成する第１生成工程と、
   領域取得手段が、前記第１の三次元画像において特徴的な領域を示す特徴領域を取得する領域取得工程と、
   設定手段が、前記特徴領域を基準とした所定範囲を前記特徴領域の周辺領域として設定する設定工程と、
   代表点群取得手段が、前記周辺領域内における前記第１の三次元画像のうち前記特徴領域を示す複数の代表点の位置を代表点群位置として取得する代表点群取得工程と、
   重み係数算出手段が、前記代表点のそれぞれの重み係数を算出する重み係数算出工程と、
   対応点群取得手段が、前記代表点群位置を前記変位量に基づいて変位させて、前記第１生成工程で生成された前記第２の三次元画像における、前記代表点群位置に対応する対応点群位置を取得する対応点群取得工程と、
   行列算出手段が、前記代表点群位置と、前記重み係数と、前記対応点群位置とに基づいて、前記代表点群位置から前記対応点群位置への変換行列を算出する行列算出工程と、
   第２生成手段が、前記第１の三次元画像に前記変換行列による変換を施すことで第３の三次元画像を生成する第２生成工程と、
   断面画像取得手段が、前記第２の三次元画像における断面画像と、当該断面画像に対応する前記第３の三次元画像における断面画像との各断面画像を取得する断面画像取得工程と、
   表示手段が、前記断面画像取得工程で取得された前記第２の三次元画像における断面画像または当該断面画像に対応する前記第３の三次元画像における断面画像を表示する表示工程と、
   を有することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images