JP2012217770A - 画像処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】
対象物体が表示されたボディマーク上に、異なる形状で撮像された当該対象物体における注目領域を合成して表示できるようにした技術を提供する。
【解決手段】
画像処理装置は、第１の形状の対象物体を表すボディマーク上に該対象物体における注目領域の位置を表示する。ここで、画像処理装置は、第１の形状とは異なる第２の形状の対象物体の画像を取得する画像取得手段と、第２の形状の対象物体における注目領域の位置を、第１の形状の前記対象物体における対応位置に変換する変換手段と、当該変換された注目領域の位置をボディマーク上に表示する合成手段とを具備する。
【選択図】 図１

Description

本発明は、画像処理装置、その処理方法及びプログラムに関する。

従来、超音波検査時のプローブ操作の支援や、電子カルテや画像診断レポートなどの医用文書を作成するため、対象物体の簡略形状を表すボディマーク上に医用画像内の病変部の情報やプローブの位置情報を表示する技術が知られている。

例えば、特許文献１には、超音波検査時の患者の乳房上の位置から乳房を表す標準的なボディマーク上への座標変換を行なう変換規則を求め、当該ボディマーク上に超音波プローブの位置を（ボディマーク座標系に正規化して）表示する技術が開示されている。また、例えば、特許文献２には、Ｘ線ＣＴ装置やＭＲＩ装置により撮像された対象物体をボリュームレンダリングして３Ｄボディマークを生成し、当該３Ｄボディマーク上に病変部の位置及びプローブの位置を表す図形を重ね合わせて表示する技術が開示されている。この技術によれば、超音波検査時に医師が病変部を検索する際のプローブ操作を支援することができる。

ここで、乳腺科領域においては、ＭＲＩ装置によって乳房を撮像した画像内で病変部の位置を同定した上で、超音波装置によって当該部位の状態を撮像して観察する、という手順で画像診断を行なう場合がある。

乳腺科における一般的な撮像プロトコルでは、ＭＲＩ装置による撮像を伏臥位（うつ伏せの体位）で行ない、超音波装置による撮像を仰臥位（仰向けの体位）で行なう場合が多い。このような場合、医師は、まず、伏臥位で撮像されたＭＲＩ画像内から病変部の位置を同定する。続いて、撮像体位の差異に起因する乳房の変形（物理変形）を考慮して、当該同定した病変部の位置から仰臥位における病変部の位置を推定する。そして、当該推定した位置を超音波装置によって撮像する。

しかし、撮像体位の差異に起因する乳房の変形（物理変形）は非常に大きく、医師が推定する仰臥位における病変部の位置は、実際と大きく異なっている場合がある。

このような事態には、例えば、非特許文献１の手法を用いて、伏臥位で撮像されたＭＲＩ画像に物理変換を施し、仰臥位で撮像した場合のＭＲＩ画像を仮想的に生成すれば対処することができる。この手法を用いれば、伏臥位から仰臥位への物理変換情報に基づいて、仮想的に生成された仰臥位のＭＲＩ画像上において病変部の位置を算出することができる。また、仮想的な仰臥位のＭＲＩ画像を医師が読影することにより、当該画像上における病変部の位置を直接的に求めることもできる。

このような物理変換の精度が高ければ、仰臥位の被検体から病変部を撮像する際には、仮想的な仰臥位のＭＲＩ画像上における病変部の近傍に、実際の病変部が存在することになるため、当該領域に対して撮像を行なえば良い。

このような物理変換技術と上記特許文献２に開示されている方法とに基づけば、伏臥位で撮像された対象物体の画像を仰臥位で撮像された対象物体の画像に物理変換して仰臥位の３Ｄボディマークを生成することができる。更に、その上に病変部の位置を表す図形を重ね合わせて表示することにより、超音波検査時に医師が病変部を検索する際のプローブ操作を支援することができる。

特開２００８−０８６７４２号公報 特開２００８−２７９２７２号公報

T. Carter, C. Tanner, N .B. Newman, D. Barratt and D. Hawkes, "MR Navigated Breast Surgery: Method and Initial Clinical Experience," MICCAI2008, Part II, LNCS 5242, pp.356-363, 2008.

特許文献１に記載された従来例では、伏臥位のＭＲＩ画像上で指摘した病変部の情報をボディマーク上には表示できなかった。もし仮に、ＭＲＩ画像から得た乳房の外形に基づいて病変部の位置をボディマーク上に座標変換するような変換規則を求めたとしても、病変部の表示位置が実際のものとはずれてしまう。このようなずれが生じるのは、超音波及びＭＲＩにおける撮影時の乳房の物理変形状態の違いが考慮されていないためである。そのため、プローブ操作を適切に支援できないことになる。

また、上記非特許文献１と特許文献２との手法に基づいて仰臥位の３Ｄボディマークを生成したとしても、ボディマークの形状が簡略化・標準化されていないため、標準的な位置表現（Ａ領域、Ｂ領域など）との対比が直感的でない。そのため、電子カルテや画像診断レポートなどの医用文書に用いるには適さないことになる。

本発明は、上記課題に鑑みてなされたものであり、対象物体が表示されたボディマーク上に、異なる形状で撮像された当該対象物体における注目領域を合成して表示できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、第１の形状の対象物体を表すボディマーク上に該対象物体における注目領域の位置を表示する画像処理装置であって、前記第１の形状とは異なる第２の形状の前記対象物体の画像を取得する画像取得手段と、前記第２の形状の前記対象物体における注目領域の位置を、前記第１の形状の前記対象物体における対応位置に変換する変換手段と、前記変換された注目領域の位置を前記ボディマーク上に表示する合成手段とを具備する。

本発明によれば、対象物体が表示されたボディマーク上に、異なる形状で撮像された当該対象物体における注目領域を合成して表示できる。

本発明の一実施の形態に係わる画像処理装置を配して構成した画像処理システムの構成の一例を示す図。 第１の画像撮像装置３１により乳房を撮像する際の概要を示す図。 超音波断層画像の一例を示す図。 ボディマークの一例を示す図。 ＭＲＩ画像の一例を示す図。 図１に示す画像処理装置１０の処理の流れの一例を示すフローチャート。 実施形態２に係わる画像処理装置１０の構成の一例を示す図。 実施形態２に係わるボディマークの一例を示す図。 実施形態２に係わる画像処理装置１０の処理の流れの一例を示すフローチャート。 伏臥位用のボディマークの一例を示す図。 実施形態３に係わる画像処理装置１０の構成の一例を示す図。 実施形態３に係わる画像処理装置１０の処理の流れの一例を示すフローチャート。 実施形態３に係わるボディマークの一例を示す図。 実施形態３に係わるボディマークの変形例の一例を示す図。

以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。なお、以下に示す実施形態においては、人体の乳房を対象物体とするとともに、当該乳房における病変の拡がりを表す３次元領域（以下、病変領域と呼ぶ）を注目領域とする場合について説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わる画像処理装置を配して構成した画像処理システムの構成の一例を示す図である。

画像処理システムには、第１の画像撮像装置３１と、位置姿勢計測装置３２と、第２の画像撮像装置３３と、データサーバ３４とが具備される。画像処理装置１０は、第１の画像撮像装置３１と、位置姿勢計測装置３２と、データサーバ３４とに対して通信可能に接続されている。画像処理装置１０と第２の画像撮像装置３３との間は、データサーバ３４を介して通信が行なわれる。

なお、第１の画像撮像装置３１、第１の画像撮像装置３１、位置姿勢計測装置３２、第２の画像撮像装置３３、データサーバ３４には、それぞれコンピュータが内蔵されている。コンピュータには、ＣＰＵ（Central Processing Unit）等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、マウスやディスプレイ等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

第１の画像撮像装置３１は、例えば、超音波を利用して画像を撮像する超音波装置で実現され、第１の形状にある対象物体（乳房）を撮像する。ここで、本実施形態においては、第１の形状とは、重力方向に対して仰向け（仰臥位）にある乳房の形状を指す。そのため、第１の画像撮像装置３１においては、仰臥位時の乳房が撮像される。第１の画像撮像装置３１においては、プローブから超音波信号を送受信することにより仰臥位時の乳房を撮像する。

ここで、被検体が仰臥位にある場合、図２に示すように、仰臥位時の乳房の表面５１にプローブ４０を当てることによって撮像が行なわれる。これにより、図３に示すように、乳房の超音波断層画像６０が取得される。超音波断層画像６０は、画像処理装置１０に逐次的に入力される。

第１の画像撮像装置３１は、図４に示すような乳房の概略形状を表す仰臥位ボディマーク（以下、単に、ボディマークと呼ぶ）７０を保持している。なお、ボディマーク７０は、例えば、ベクトル画像データ形式で保持されていても良いし、また、ラスタ画像データなどの他の形式で保持されていても良い。図４には、乳房５０を表すボディマーク７０が示されているが、他の部位（対象物体）の診断を行なう場合、ボディマークは、その診断対象となる部位等に応じて適宜変更される。

第２の画像撮像装置３３は、例えば、磁気共鳴を利用して画像を撮像するＭＲＩ装置で実現され、第２の形状にある対象物体（乳房）を撮像する。ここで、第２の形状とは、乳房の物理的な形状が第１の形状とは異なる形状を示し、本実施形態においては、重力方向に対してうつ伏せ（伏臥位）の乳房の形状を指す。そのため、第２の画像撮像装置３３においては、伏臥位時の乳房が撮像される。第２の画像撮像装置３３による（乳房の）撮像により、図５に示すＭＲＩ画像（３次元医用画像）８０が取得される。

データサーバ３４は、各種データを保持する。データサーバ３４には、例えば、第２の画像撮像装置３３により撮像されたＭＲＩ画像８０や、ＭＲＩ画像８０内における病変領域８７の位置及び形状を示す形状データが保持される。ＭＲＩ画像８０や病変領域８７の形状データは、画像処理装置１０に入力される。

位置姿勢計測装置３２は、第１の画像撮像装置３１に接続されるプローブ４０の位置姿勢を計測する。位置姿勢計測装置３２は、例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等で実現され、図２に示すセンサ座標系９２（位置姿勢計測装置３２が基準として定める座標系）を基準としたプローブ４０の位置姿勢を計測する。プローブ４０の位置姿勢を示す情報（位置姿勢データ）は、画像処理装置１０に逐次的に入力される。なお、位置姿勢計測装置３２は、プローブ４０の位置姿勢を計測できるのであれば、どのような方式で位置姿勢の計測を行なっても良い。

画像処理装置１０は、各種画像を処理する。ここで、画像処理装置１０には、その機能的な構成として、ボディマーク取得部１１と、断層画像取得部１２と、位置姿勢取得部１３と、形状データ算出部１４と、ボディマーク変換規則算出部１５と、プローブマーク算出部１６と、画像合成部１７とが具備される。また、画像処理装置１０には、３次元画像取得部１８、物理変換規則算出部１９、変換領域算出部２０、注目領域取得部２１も具備される。

ボディマーク取得部１１は、第１の画像撮像装置３１に保持されるボディマーク７０を取得する。取得されたボディマーク７０は、ボディマーク変換規則算出部１５及び画像合成部１７へ出力される。

断層画像取得部１２は、第１の画像撮像装置３１から逐次的に入力される（仰臥位時の乳房の）超音波断層画像６０を取得する。取得された超音波断層画像６０は、形状データ算出部１４及び画像合成部１７へ出力される。

位置姿勢取得部１３は、位置姿勢計測装置３２から逐次的に入力されるプローブ４０の位置姿勢データを逐次的に取得する。取得された位置姿勢データは、形状データ算出部１４及びプローブマーク算出部１６へ出力される。

３次元画像取得部１８は、第２の画像撮像装置３３から入力される（伏臥位時の乳房の）ＭＲＩ画像８０を取得する。取得されたＭＲＩ画像８０は、物理変換規則算出部１９及びボディマーク変換規則算出部１５へ出力される。

注目領域取得部２１は、データサーバ３４から入力される（伏臥位時の乳房の）病変領域８７の位置及び形状を示す形状データを取得する。なお、注目領域は、例えば、ＭＲＩ画像を読影した医師等により指摘された領域がなり得る。取得された形状データは、変換領域算出部２０へ出力される。

形状データ算出部１４は、超音波断層画像６０と、プローブ４０の位置姿勢データとに基づいて、仰臥位時の乳房５０の位置及び形状を示す形状データを算出する。算出された形状データは、物理変換規則算出部１９へ出力される。

物理変換規則算出部１９は、ＭＲＩ画像８０内における伏臥位時の乳房の表面８１の形状を、形状データ算出部１４により算出された形状データと略一致するように変換させるための物理変換規則を算出する。すなわち、伏臥位時（第２の形状時）の乳房の表面８１の形状を、仰臥位時（第１の形状時）の乳房の表面５１の形状に略一致するように変換させるための物理変換規則を算出する。算出された物理変換規則は、変換領域算出部２０へ出力される。

ボディマーク変換規則算出部１５は、仰臥位時の乳房の形状を、ボディマーク７０の形状と略一致するように変換（正規化変換）させるためのボディマーク変換規則を算出する。算出されたボディマーク変換規則は、変換領域算出部２０及びプローブマーク算出部１６へ出力される。

変換領域算出部２０は、物理変換規則算出部１９により算出された物理変換規則に基づいて、伏臥位時の病変領域８７の形状データを、仰臥位時の病変領域の形状データに変換（物理変換）する。そして、ボディマーク変換規則に基づいて、当該変換後の形状データを更にボディマーク７０上における病変領域７７の形状データへと変換する。この変換後の形状データは、画像合成部１７へ出力される。

プローブマーク算出部１６は、プローブ４０の位置姿勢データと、ボディマーク変換規則とに基づいて、ボディマーク７０上におけるプローブ４０の位置を表すプローブマーク７１を算出する。算出されたプローブマーク７１は、画像合成部１７へ出力される。

画像合成部１７は、ボディマーク７０と、変換後の病変領域７７の形状データと、プローブマーク７１とを合成する。そして、その合成後の画像と超音波断層画像６０とを合成して表示器（不図示）に表示する。

以上が、画像処理システムの構成の一例についての説明である。なお、画像処理装置１０に設けられる機能的な構成や各種装置は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていればよい。例えば、位置姿勢計測装置３２が画像処理装置１０に組み込まれて実現されても良い。

図６を用いて、図１に示す画像処理装置１０の処理の流れの一例について説明する。この処理は、例えば、画像処理装置１０において、ＣＰＵが、ＲＡＭをワーク領域として、ＲＯＭ等に格納されたプログラムを読み込み実行することで実現される。

［Ｓ１０１］
画像処理装置１０は、まず、３次元画像取得部１８において、データサーバ３４から伏臥位時の乳房のＭＲＩ画像８０を取得する。なお、本実施形態においては、ＭＲＩ画像８０内から乳房の表面８１が伏臥位時の乳房の形状として予め抽出されているものとする。また、本実施形態においては、乳頭８２、乳房上端（不図示）、乳房下端（不図示）、乳房左端（不図示）、乳房右端（不図示）を伏臥位時の乳房の特徴点とする。これら特徴点の位置Ｘ_Ｉｋ ^{Ｐｒｏｎｅ}（１≦Ｉ_ｋ≦ＩＩ_ｎ）も、伏臥位のＭＲＩ画像８０から予め抽出されているものとする。これら伏臥位時の乳房の形状や、特徴点に関する情報は、ＭＲＩ画像８０の取得時にデータサーバ３４から同時に取得される。なお、Ｉ_ｋは特徴点それぞれに予め割り振られたインデックスを示し、Ｉ_ｎは特徴点の数（本実施形態においては、「５」）を示す。

［Ｓ１０２］
画像処理装置１０は、断層画像取得部１２において、第１の画像撮像装置３１から画像処理装置１０へと逐次入力される超音波断層画像６０を取得する。

［Ｓ１０３］
画像処理装置１０は、位置姿勢取得部１３において、位置姿勢計測装置３２から画像処理装置１０へと逐次入力されるプローブ４０の位置姿勢データを取得する。

［Ｓ１０４］
画像処理装置１０は、形状データ算出部１４において、仰臥位時の乳房の形状を取得する。具体的には、操作者がプローブ４０の先端の中央部４１を仰臥位時の乳房の表面５１の複数箇所に接触させた瞬間の位置座標ベクトルを取得する。仰臥位時の乳房の形状は、これらの位置座標ベクトル群として表現されるものとする。

［Ｓ１０５］
画像処理装置１０は、物理変換規則算出部１９において、伏臥位時の乳房の形状を、仰臥位時の乳房の形状と略一致するように変換させるための物理変換規則を算出する。

この処理では、まず、伏臥位時の乳房の剛体部分（例えば、ＭＲＩ画像８０内の肋骨８４）と、仰臥位時の乳房の剛体部分（例えば、超音波断層画像６０内の肋骨６４）とに基づいて、伏臥位から仰臥位への剛体変換規則を算出する。この算出処理には、ＩＣＰ（Iterative Closest Point）法などの既知の手法を用いれば良い。

続いて、伏臥位時の乳房の形状を、仰臥位時の乳房の形状と略一致するように、物理的な変形を考慮した変換を行なうための非剛体変換規則を算出する。この非剛体変換規則は、伏臥位から仰臥位の画像への変換時において、ＭＲＩ画像８０を構成する各画素が、対応位置まで移動する際の移動量を表す３次元変位ベクトル群で表現される。

非剛体変換規則の算出には、例えば、重力変形シミュレーションに基づく手法を用いれば良い（非特許文献１参照）。本実施形態においては、伏臥位から仰臥位への物理変換規則は、上述の剛体変換規則と非剛体変換規則とによって構成される。

［Ｓ１０６］
画像処理装置１０は、ボディマーク取得部１１において、第１の画像撮像装置３１から乳房の概略形状を表すボディマーク７０を取得する。本実施形態においては、乳頭７２、乳房上端７３、乳房下端７４、乳房内端７５、乳房外端７６をボディマーク７０の特徴点とする。これら特徴点の位置Ｘ_Ｉｋ ^{Ｂｏｄｙｍａｒｋ}（１≦Ｉ_ｋ≦Ｉ_ｎ）は、予め抽出されており、ボディマーク取得部１１において、ボディマーク７０とともに第１の画像撮像装置３１から取得されるものとする。なお、これらの特徴点は、ボディマーク座標系９４（ボディマークを含む平面をＸＹ平面とし、それと直交する軸をＺ軸として定義した座標系）で表されるものとし、本実施形態においては、ＸＹ平面上のみに存在するものとする。

［Ｓ１０７］
画像処理装置１０は、ボディマーク変換規則算出部１５において、特徴点の位置の算出処理を行なう。より具体的には、伏臥位時の乳房の特徴点の位置Ｘ_Ｉｋ ^{Ｐｒｏｎｅ}（１≦Ｉ_ｋ≦Ｉ_ｎ）を、Ｓ１０５の処理で算出された物理変換規則に基づいて、仰臥位時の乳房の特徴点の位置Ｘ_Ｉｋ ^{Ｓｕｐｉｎｅ}（１≦Ｉ_ｋ≦Ｉ_ｎ）に変換する。

［Ｓ１０８］
画像処理装置１０は、ボディマーク変換規則算出部１５において、仰臥位時の乳房の形状を、ボディマーク７０の形状と略一致するように変換させるためのボディマーク変換規則を算出する。具体的には、仰臥位時の乳房の特徴点の位置Ｘ_Ｉｋ ^{Ｓｕｐｉｎｅ}と、ボディマーク７０の特徴点の位置Ｘ_Ｉｋ ^{Ｂｏｄｙｍａｒｋ}とを対応するように変換させるためのボディマーク変換規則を算出する。ボディマーク変換規則の算出には、例えば、特許文献１に開示されている手法を用いれば良い。ボディマーク変換規則は、特徴点の位置の変換時において、仰臥位時の乳房上の各点が、ボディマーク座標系９４におけるＸＹ平面上の対応位置まで移動する際の移動量を表す３次元変位ベクトル群で表現される。

［Ｓ１０９］
画像処理装置１０は、注目領域取得部２１において、データサーバ３４から画像処理装置１０へ入力される伏臥位時の病変領域８７の形状データを取得する。本実施形態においては、伏臥位時の病変領域８７を、伏臥位時の乳房のＭＲＩ画像８０と同じ大きさのラベル画像として取得し、Ｉ_{Ｌｅｓｉｏｎ} ^{Ｐｒｏｎｅ}（ｘ，ｙ，ｚ）と表記する。ここで、Ｉ_{Ｌｅｓｉｏｎ} ^{Ｐｒｏｎｅ}（ｘ，ｙ，ｚ）は、ＭＲＩ画像座標系９５における位置座標ベクトルＸ^{Ｐｒｏｎｅ}（ｘ，ｙ，ｚ）が病変領域を表すか否かを表す１か０のいずれかの値を持つスカラ関数である。

［Ｓ１１０］
画像処理装置１０は、変換領域算出部２０において、ボディマーク座標系９４における病変領域７７を算出する。すなわち、Ｉ_{Ｌｅｓｉｏｎ} ^{Ｐｒｏｎｅ}（ｘ，ｙ，ｚ）＝１となる位置座標ベクトルＸ_Ｖｋ ^{Ｐｒｏｎｅ}（１≦Ｖ_ｋ≦Ｖ_ｎ）それぞれを、物理変換規則とボディマーク変換規則とを用いて変換する。これにより、ボディマーク座標系９４における位置座標ベクトルＸ_Ｖｋ ^{Ｂｏｄｙｍａｒｋ}を算出する。なお、Ｖ_Ｎは、伏臥位時の病変領域８７を構成する画素の個数である。その後、位置座標ベクトルＸ_Ｖｋ ^{Ｂｏｄｙｍａｒｋ}で表される領域を、ボディマーク座標系９４における病変領域７７として設定する。

［Ｓ１１１］
画像処理装置１０は、断層画像取得部１２において、第１の画像撮像装置３１から画像処理装置１０へと逐次入力される超音波断層画像６０を取得する。

［Ｓ１１２］
画像処理装置１０は、位置姿勢取得部１３において、位置姿勢計測装置３２から画像処理装置１０へと逐次入力されるセンサ座標系９２におけるプローブ４０の位置姿勢データを取得する。

［Ｓ１１３］
画像処理装置１０は、プローブマーク算出部１６において、プローブマークの算出を行なう。より具体的には、超音波断層画像６０内のプローブ先端の左端部６８及び右端部６９の位置を、ボディマーク変換規則に基づいて、ボディマーク座標系９４におけるプローブ先端の左端部７８及び右端部７９の位置に変換する。そして、左端部７８の位置と右端部９９の位置とを結ぶ線分をプローブマーク７１とする。

［Ｓ１１４］
画像処理装置１０は、画像合成部１７において、ボディマーク７０上に、病変領域７７とプローブマーク７１とを合成して表示する。そして、Ｓ１１１の処理で取得された超音波断層画像６０上の所定の位置に当該ボディマーク７０を重畳表示する。

［Ｓ１１５］
画像処理装置１０は、処理を終了するか否かの判定を行なう。例えば、操作者が、マウス等を介して、表示部（不図示）上に配置された終了ボタンをクリックするなどした場合に処理を終了すると判定する。処理を終了すると判定した場合、画像処理装置１０は、この処理を終了し、そうでなければ、再度、Ｓ１１１の処理に戻り、新たに取得される超音波断層画像６０及びプローブ４０の位置姿勢データに対して上記同様の処理を行なう。

以上説明したように本実施形態によれば、伏臥位で撮像されたＭＲＩ画像内の病変領域（注目領域）を仰臥位で撮像が行なわれたときの形状に変換し、当該変換後の病変領域をボディマーク上の適切な位置に合成して表示することができる。また、仰臥位での撮像時におけるプローブの位置姿勢をボディマーク上の適切な位置に併せて表示することができる。

これにより、操作者は、注目領域とプローブとの位置関係を参照しながら、プローブを操作することができる。また、注目領域とプローブとの位置関係を容易に把握可能な医用文書の作成も支援することができる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、実施形態１で説明した処理に加えて、伏臥位時に撮像された病変領域の形状に対して物理変換を施さずに、ボディマークへの正規化変換（ボディマーク変換）のみを実施して当該病変領域をボディマーク上に表示する場合について説明する。すなわち、実施形態２に係わる合成後の表示では、実施形態１で説明した病変領域とともに、伏臥位時に撮像された病変領域が合成して表示される（図８参照）。以下、実施形態２に係わる画像処理装置について、実施形態１との相違部分について重点的に説明する。

図７は、実施形態２に係わる画像処理装置１０の構成の一例を示す図である。なお、実施形態１を説明した図１と同じ構成については同じ番号を付しており、その説明については省略する場合もある。

実施形態２に係わる画像処理装置１０においては、図１に示す構成に加えて、第２のボディマーク変換規則算出部２３と、第２の変換領域算出部２２とが設けられる。

第２のボディマーク変換規則算出部２３は、３次元画像取得部１８により取得された伏臥位時の乳房の形状を、ボディマーク取得部１１により取得されたボディマーク７０の形状と略一致するように変換（正規化変換）させるための変換規則を算出する。この変換規則（第２のボディマーク変換規則）は、第２の変換領域算出部２２へ出力される。

第２の変換領域算出部２２は、第２のボディマーク変換規則に基づいて、注目領域取得部２１により取得された伏臥位時の病変領域８７の形状データを、ボディマーク７０上における病変領域の形状データへ変換させる。この形状データは、画像合成部１７へ出力される。

画像合成部１７は、ボディマーク７０と、変換領域算出部２０及び第２の変換領域算出部２２によりそれぞれ算出された領域の形状データと、プローブマーク７１とを合成する。そして、当該合成後の画像と超音波断層画像６０とを合成して表示する。

図８は、変換領域算出部２０及び第２の変換領域算出部２２によりそれぞれ算出された領域の形状データを表示したボディマークの一例を示す図である。なお、実施形態１を説明した図４と同じ部分については同じ符号を付してある。

実施形態２においては、ボディマーク７０上に、実施形態１同様の病変領域７７に加えて、伏臥位時の病変領域１０３が表示される。その他、病変領域７７に対応して仰臥位マーク１０２が表示され、病変領域１０３に対応して伏臥位マーク１０１も表示されている。

次に、図９を用いて、実施形態２に係わる画像処理装置１０の処理の流れの一例について説明する。この処理は、実施形態１と同様に、例えば、画像処理装置１０において、ＣＰＵが、ＲＡＭをワーク領域として、ＲＯＭ等に格納されたプログラムを読み込み実行することで実現される。なお、基本的な処理の流れは、実施形態１を説明した図６と同様となるため、ここでは、相違する処理について重点的に説明する。

ここで、相違する処理としては、Ｓ２０１〜Ｓ２０３の処理が追加されている点である。

［Ｓ２０１］
画像処理装置１０は、第２のボディマーク変換規則算出部２３において、伏臥位時の乳房の形状を、ボディマーク７０の形状と略一致するように変換させるための第２のボディマーク変換規則を算出する。より具体的には、Ｓ１０７の処理で算出された伏臥位時の乳房の特徴点の位置Ｘ_Ｉｋ ^{Ｐｒｏｎｅ}と、ボディマーク７０の特徴点の位置Ｘ_Ｉｋ ^{Ｂｏｄｙｍａｒｋ}とが対応するように変換する規則を算出する。第２のボディマーク変換規則の算出には、例えば、特許文献１に開示されている手法を用いれば良い。第２のボディマーク変換規則は、特徴点の位置の変換時において、伏臥位時の乳房上の各点が、ボディマーク座標系９４におけるＸＹ平面上の対応位置まで移動する際の移動量を表す３次元変位ベクトル群で表現される。

［Ｓ２０２］
画像処理装置１０は、第２の変換領域算出部２２において、ボディマーク座標系９４における伏臥位時の病変領域１０３の形状を算出する。この処理においては、まず、Ｉ_{Ｌｅｓｉｏｎ} ^{Ｐｒｏｎｅ}（ｘ，ｙ，ｚ）＝１となる位置座標ベクトルＸ_Ｖｋ ^{Ｐｒｏｎｅ}（１≦Ｖ_ｋ≦Ｖ_ｎ）それぞれを、第２のボディマーク変換規則を用いて変換する。そして、ボディマーク座標系９４における位置座標ベクトルＸ’_Ｖｋ ^{Ｂｏｄｙｍａｒｋ}を算出する。最後に、位置座標ベクトルＸ’_Ｖｋ ^{Ｂｏｄｙｍａｒｋ}で表される領域を、ボディマーク座標系９４における病変領域１０３として設定する。

［Ｓ２０３］
画像処理装置１０は、画像合成部１７において、実施形態１と同様に、ボディマーク７０上に、病変領域７７とプローブマーク７１とを合成して表示する。その上で、伏臥位時の病変領域１０３と伏臥位マーク１０１（例えば、伏臥位（Ｐｒｏｎｅ）の頭文字であるＰの文字）とを併せて表示する。更に、病変領域７７に仰臥位マーク１０２（例えば、仰臥位（Ｓｕｐｉｎｅ）の頭文字であるＳの文字）を併せて表示しても良い。その後、Ｓ１１１の処理で取得された超音波断層画像６０上に、当該ボディマーク７０を重畳表示する。

以上説明したように実施形態２によれば、異なる物理形状で撮像された対象物体の注目領域を１つのボディマーク上に同時に表示することができる。これにより、操作者は、異なる物理形状の注目領域の位置関係を参照しながら、プローブを操作することができる。また、異なる物理形状の注目領域の位置関係を容易に把握可能な医用文書の作成も支援することができる。

（実施形態３）
次に、実施形態３について説明する。実施形態３においては、仰臥位用のボディマークと伏臥位用のボディマークとを両方表示する場合について説明する。以下、実施形態３に係わる画像処理装置について、実施形態１及び２との相違部分についてのみ説明する。

図１０は、伏臥位用のボディマークの一例を示す図である。なお、実施形態３においては、伏臥位用のボディマーク１１０が、仰臥位用のボディマーク７０と同一の形状であるものとして説明する。

図１１は、実施形態３に係わる画像処理装置１０の構成の一例を示す図である。なお、実施形態２を説明した図７と同じ構成については同じ番号を付しており、その説明については省略する場合もある。

実施形態３に係わる画像処理装置１０においては、図７に示す構成に加えて、第２のプローブマーク算出部２４が設けられる。

ここで、ボディマーク取得部１１は、実施形態２と同様に、画像処理装置１０へ入力される仰臥位用のボディマーク７０を取得し、ボディマーク変換規則算出部１５及び画像合成部１７へ出力する。また更に、ボディマーク取得部１１は、伏臥位用のボディマーク１１０を取得し、第２のボディマーク変換規則算出部２３及び画像合成部１７へ出力する。

第２のボディマーク変換規則算出部２３は、３次元画像取得部１８により取得された伏臥位時の乳房の形状を、伏臥位用のボディマーク１１０の形状と略一致するように変換（正規化変換）させるための第２のボディマーク変換規則を算出する。この第２のボディマーク変換規則は、第２の変換領域算出部２２及び第２のプローブマーク算出部２４へ出力される。

第２のプローブマーク算出部２４は、位置姿勢取得部１３により取得されたプローブ４０の位置姿勢データと、物理変換規則算出部１９により取得された物理変換規則と、第２のボディマーク変換規則とを入力する。そして、これらの情報に基づいて、伏臥位用のボディマーク１１０上におけるプローブマーク１１１を算出して、画像合成部１７へ出力する。

画像合成部１７は、仰臥位用のボディマーク７０と、変換領域算出部２０により算出された領域の形状データと、仰臥位時のプローブマーク７１とを合成する。また、画像合成部１７は、伏臥位用のボディマーク１１０と、第２の変換領域算出部２２により算出された領域の形状データと、伏臥位時のプローブマーク１１１とを合成する。そして、これらを超音波断層画像６０と合成して表示する。その後、それぞれのボディマークの物理形状を表す情報（それぞれのボディマークが仰臥位を表すのか伏臥位を表すのかを識別できる情報）も併せて表示する。

図１２を用いて、実施形態３に係わる画像処理装置１０の処理の流れの一例について説明する。この処理は、実施形態１と同様に、例えば、画像処理装置１０において、ＣＰＵが、ＲＡＭをワーク領域として、ＲＯＭ等に格納されたプログラムを読み込み実行することで実現される。なお、基本的な処理の流れは、実施形態１を説明した図６及び実施形態２を説明した図９と同様となるため、ここでは、相違する処理について重点的に説明する。

ここで、相違する処理としては、Ｓ３０１〜Ｓ３０３の処理が追加されている点である。

［Ｓ３０１］
画像処理装置１０は、第２のボディマーク変換規則算出部２３において、伏臥位用のボディマーク１１０について、上述した実施形態２の図９で説明したＳ２０１と同様の処理を実施する。これにより、伏臥位時の乳房の形状を、伏臥位用のボディマーク１１０の形状と略一致するように変換させるための第２のボディマーク変換規則が算出される。

［Ｓ３０２］
画像処理装置１０は、第２のプローブマーク算出部２４において、第２のプローブマークの算出を行なう。より具体的には、超音波断層画像６０内のプローブ先端の左端部６８及び右端部６９の位置を、物理変換規則と第２のボディマーク変換規則とに基づいて、ボディマーク座標系９６におけるプローブ先端の左端部１１８及び右端部１１９の位置に変換する。実施形態３においては、伏臥位から仰臥位への物理変換規則を、仰臥位から伏臥位への物理変換規則に変換して用いる。そして、左端部１１８及び右端部１１９の位置を結ぶ線分をプローブマーク１１１とする。

［Ｓ３０３］
画像処理装置１０は、画像合成部１７において、図１３に示すように、仰臥位用のボディマーク７０と伏臥位用のボディマーク１１０との両方のボディマークを並べて表示する。具体的には、仰臥位用のボディマーク７０上に、病変領域７７とプローブマーク７１とを表示する。また、仰臥位用のボディマーク７０であることを表す情報（例えば仰臥位（Ｓｕｐｉｎｅ）の頭文字であるＳの文字からなる仰臥位マーク１２１）も併せて表示する。

また更に、伏臥位用のボディマーク１１０上（第２のボディマーク上）に、病変領域１１７とプローブマーク１１１とを表示する。そして、仰臥位用のボディマーク７０と同様に、伏臥位用のボディマーク１１０であることを表す情報（例えば、伏臥位（Ｐｒｏｎｅ）の頭文字であるＰの文字からなる伏臥位マーク１１６）も併せて表示する。最後に、Ｓ１１１の処理で取得された超音波断層画像上６０に、仰臥位と伏臥位との両方のボディマークをそれぞれ重畳し、それらボディマークを並べて表示する。なお、乳房のボディマークは、一般的には、仰臥位時の乳房を表しているので、仰臥位用のボディマークであることを表す情報（仰臥位マーク１２１）は必ずしも表示しなくても良い。

以上説明したように実施形態３によれば、異なる物理形状で撮像された対象物体の注目領域を、それぞれが対応するボディマーク上の適切な位置に同時に表示することができる。

これにより、操作者は、異なる物理形状の注目領域の位置関係を参照しながら、プローブを操作することができる。また、異なる物理形状の注目領域の位置関係を容易に把握可能な医用文書の作成も支援することができる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。ここで、いくつか変形例を挙げて説明する。

（実施形態３の変形例１）
上述した実施形態３では、仰臥位と伏臥位との両方のボディマークを（並べて）表示する場合について説明したが、これに限られない。例えば、伏臥位用のボディマーク１１０のみを表示しても良いし、また、仰臥位用と伏臥位用のボディマークを操作者の指示に応じて切り替えて表示するようにしても良い。

（実施形態３の変形例２）
上述した実施形態３では、図１３に示すように、仰臥位マーク１２１や伏臥位マーク１１６をＰやＳの文字で表す場合について説明したが、これに限られない。仰臥位マーク１２１や伏臥位マーク１１６は、仰臥位を表すのか伏臥位を表すのかを識別できる情報であれば何でも良く、例えば、図１４に示すような、丸印（乳頭を表す領域）の中に黒丸や罰の印を描いた記号で示すようにしても良い。

（実施形態１〜３の変形例１）
上述した実施形態１〜３では、人体の乳房を対象物体とする場合を例に挙げて説明したが、これに限られず、対象物体は、どのような部位であっても良い。

また、上述した実施形態では、病変領域を注目領域とする場合を例に挙げて説明したが、注目領域はこれに限られず、どのような領域であっても良い。例えば、ＭＲＩ画像内における生検などの治療痕を表す領域や、血腫を表す領域などであっても良い。また、注目領域は、複数あっても良いし、体積を持たない注目点（の位置）であっても良い。

（実施形態１〜３の変形例２）
上述した実施形態１〜３では、プローブ４０を用いて仰臥位時の乳房の表面５１の形状の計測を行なう場合（Ｓ１０４参照）について説明したが、これに限られない。例えば、レンジセンサ等の形状計測装置を用いて仰臥位時の乳房の表面５１の形状を計測しても良い。

（実施形態１〜３の変形例３）
上述した実施形態１〜３では、乳房の概略形状を表す２次元のボディマークを用いる場合（図４参照）について説明したが、これに限られない、例えば、乳房の概略形状を表す３次元のボディマークを用いても良い。３次元のボディマークを用いる場合には、ボディマーク上の特徴点は、ＸＹ平面上以外にも存在することになる。

（実施形態１〜３の変形例４）
上述した実施形態１〜３では、第１の形状は、重力方向に対して仰向け（仰臥位）の乳房の形状を指し、第２の形状は、重力方向に対してうつ伏せ（伏臥位）の乳房の形状を指す場合について説明したが、これに限られない。例えば、第１及び第２の形状は、側位、立位及び座位をも含めた任意の状態時の対象物体の形状であっても良い。

また、重力方向に起因する形状の違いに限らず、それ以外の要因に起因する形状を第１及び第２の形状としても良い。例えば、ＭＲＩ撮像時に使用するマンモコイル（不図示）の圧迫によって生じる変形や、超音波撮像時にプローブ４０を乳房に押し当てることによって生じる変形などの影響による変形をそれぞれ第１及び第２の形状としても良い。なお、プローブ４０を乳房に押し当てることによって生じる変形は、逐次的に変形する乳房の形状を計測することが可能な距離計測装置を用いれば良い。また、この場合、図６、図９及び図１２に示すＳ１１５の処理において、終了すると判定されなかった場合には、図６、図９及び図１２に示すＳ１０４まで処理を戻せば良い。

（実施形態１〜３の変形例５）
上述した実施形態１〜３では、第２の画像撮像装置３３としてＭＲＩ装置を用いる場合について説明したが、これに限られない。例えば、Ｘ線ＣＴ装置、光音響トモグラフィ装置、ＯＣＴ（Optical Coherence Tomograph）装置、ＰＥＴ／ＳＰＥＣＴ、３次元超音波装置などを第２の画像撮像装置として用いても良い。すなわち、３次元で画像を取得でき、且つ、第１の画像撮像装置３１により撮像された対象物体（乳房）の形状と異なる形状の対象物体を撮像できるのであれば、どのような装置であっても良い。

（実施形態１〜３の変形例６）
上述した実施形態１〜３では、ボディマーク上に、プローブマークを合成して表示する場合について説明したが、プローブマークは、必ずしも表示する必要はない。

（実施形態１〜３の変形例７）
上述した実施形態１〜３では、ボディマーク上の対応する位置に、所定の形状を有する病変領域（注目領域）を合成して表示する場合について説明したが、これに限られない。例えば、注目領域の位置のみをボディマーク上に合成して表示するようにしても良い。

（実施形態１〜３の変形例８）
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 第１の形状の対象物体を表すボディマーク上に該対象物体における注目領域の位置を表示する画像処理装置であって、
   前記第１の形状とは異なる第２の形状の前記対象物体の画像を取得する画像取得手段と、
   前記第２の形状の前記対象物体における注目領域の位置を、前記第１の形状の前記対象物体における対応位置に変換する変換手段と、
   前記変換された注目領域の位置を前記ボディマーク上に表示する合成手段と
   を具備することを特徴とする画像処理装置。
2. 前記変換手段は、
   前記第１の形状及び前記第２の形状における前記対象物体の形状に基づいて、前記第２の形状の前記対象物体における前記注目領域の位置及び形状を、前記第１の形状の前記対象物体における対応する位置及び形状に変換する物理変換手段と、
   前記第２の形状の前記対象物体における前記注目領域の位置及び形状と、前記ボディマークの形状とに基づいて、前記物理変換手段により変換された注目領域の位置及び形状を、前記ボディマーク上の位置及び形状に変換するボディマーク変換手段と
   を具備し、
   前記合成手段は、
   前記ボディマーク変換手段により変換された前記ボディマーク上の位置に当該変換された形状を有する注目領域を表示する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記変換手段は、
   前記第２の形状の前記対象物体における前記注目領域の位置及び形状を、前記ボディマーク上の位置及び形状に変換する第２のボディマーク変換手段
   を具備し、
   前記合成手段は、
   前記第２のボディマーク変換手段により変換された前記ボディマーク上の位置に当該変換された形状を有する注目領域を更に表示する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記変換手段は、
   前記第２の形状の前記対象物体における前記注目領域の位置及び形状を、当該第２の形状の対象物体を表す第２のボディマーク上の位置及び形状に変換する第２のボディマーク変換手段
   を具備し、
   前記合成手段は、
   前記ボディマーク変換手段により変換された前記ボディマーク上の位置への当該変換された形状を有する注目領域の表示と、前記第２のボディマーク変換手段により変換された前記第２のボディマーク上の位置への当該変換された形状を有する注目領域の表示との少なくともいずれかを行なう
   ことを特徴とする請求項２記載の画像処理装置。
5. 前記第１の形状の対象物体は、プローブから超音波信号を送受信することにより撮像されており、
   前記第１の形状の対象物体の撮像が行なわれたときの前記プローブの位置を表すプローブマークを算出するプローブマーク算出手段
   を更に具備し、
   前記合成手段は、
   前記ボディマーク上に、前記プローブマークを更に表示する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の形状の対象物体は、プローブから超音波信号を送受信することにより撮像されており、
   前記第１の形状の対象物体の撮像が行なわれたときの前記プローブの位置を表すプローブマークを算出するプローブマーク算出手段と、
   前記第１の形状及び前記第２の形状における前記対象物体の形状に基づいて、前記プローブマークの位置を前記第２の形状の前記対象物体における対応する位置に変換した第２のプローブマークを算出する第２のプローブマーク算出手段と
   を更に具備し、
   前記合成手段は、
   前記第２のボディマーク上に、前記第２のプローブマークを更に表示する
   ことを特徴とする請求項４記載の画像処理装置。
7. 前記合成手段は、
   前記第１の形状の対象物体における注目領域と、前記第２の形状の対象物体における注目領域とを識別する情報を更に表示する
   ことを特徴とする請求項３又は４記載の画像処理装置。
8. 第１の形状の対象物体を表すボディマーク上に該対象物体における注目領域の位置を表示する画像処理装置の処理方法であって、
   画像取得手段が、前記第１の形状とは異なる第２の形状の前記対象物体の画像を取得する工程と、
   変換手段が、前記第２の形状の前記対象物体における注目領域の位置を、前記第１の形状の前記対象物体における対応位置に変換する工程と、
   合成手段が、前記変換された注目領域の位置を前記ボディマーク上に表示する工程と
   を含むことを特徴とする処理方法。
9. コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images