JP2015033556A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 被検体の変形状態に基づいて、該被検体の３次元形状を高精度に推定するための技術を提供すること。【解決手段】 被検体を保持部材で保持した保持状態で該被検体を撮影した画像に基づいて、該被検体と該保持部材との接触領域を取得し、接触領域に基づいて、保持状態における被検体の３次元形状を推定する。【選択図】 図１

Description

本発明は、種々の医用画像収集装置（モダリティ）で撮影した医用画像を処理する技術に関するものである。

光音響断層撮影装置（ＰＡＴ（Ｐｈｏｔｏａｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置）が、特許文献１に記載されている。ＰＡＴ装置は、測定対象に光パルスを照射することによって試料内の吸収物質を励起し、吸収物質の熱弾性膨張により生じる光音響信号を検出することで、測定対象の光吸収に関わる性質を画像化する装置である。すなわち、照射光に対する被検体内の光エネルギー堆積量分布（光エネルギー吸収密度分布）が画像化される。また、これに基づき、照射波長に関する被検体の光吸収係数分布が画像化される。さらに、複数の波長に関する光吸収係数分布に基づいて、生体を構成する物質の濃度分布を画像化することも可能である。これらの画像は、乳がんなどの悪性腫瘍の周辺に生じる新生血管に関する情報を可視化するものであると期待されている。以下では、これらの画像を総称して、光音響断層画像（ＰＡＴ画像）と呼ぶ。

ＰＡＴは、エネルギーが小さい近赤外光パルスを照射するため、Ｘ線などと比べて人体の深部の画像化が難しい。そこで、特許文献１では、乳房を測定対象としたＰＡＴ装置の一形態として、乳房を２枚の平板（以降、保持板と呼ぶ）で保持して乳房の厚さを薄くした状態で撮影を行っている。

ＰＡＴ画像とＭＲＩ画像の位置合わせの方法として、画像マッチングによる方法が挙げられる。例えば、非特許文献１には、ＰＡＴと同様に、平板圧迫された乳房を撮影したＸ線マンモグラフィ（ＭＭＧ）と乳房のＭＲＩ画像との間の位置合わせ技術が記載されている。非特許文献２には、被検体の３次元形状モデルを該被検体のシルエット画像に高速に位置合わせする技術が開示されている。また、特許文献２には、組み立て部品のカメラ画像から認識した２次元形状データと、組み立て部品の３次元形状データをカメラの視点方向に投影した２次元形状データとを比較して、部品の組み付け間違いを検出する技術が開示されている。また、非特許文献３には、ＭＲＩ画像に対して平板圧迫による物理変形シミュレーションを施した結果から得られる変形後の乳房の形状を、ＭＭＧ画像から抽出した乳房の２次元形状に基づいて評価する技術が開示されている。

また、特許文献１に記載の通り、ＰＡＴ装置は、検出した光音響信号から、被検体中における光エネルギー堆積量分布を算出する。光エネルギー堆積量分布は、吸収係数（μａ）と到達光量（Φ）との積で表されるので、光吸収係数分布は、光エネルギー堆積量分布を光量分布で割ることにより算出される。光量分布は被検体の内部領域における光量の３次元分布であるため、その計算には、被検体の内部領域を特定するための被検体の３次元形状が必要となる。例えば、特許文献１では、被検体である乳房を保持する保持板の平面上に設定された２次元の測定範囲と、２枚の保持板の間の距離（被検体の厚み）からなる領域に基づいて、被検体の簡易的な３次元形状を取得している。

特開２０１０−８８６２７号公報 特開２００８−２３５５０４号公報

Ａｎｇｅｌａ Ｌｅｅ，ｅｔ ａｌ．："Ｂｒｅａｓｔ Ｘ‐ｒａｙ ａｎｄ ＭＲ ｉｍａｇｅ ｆｕｓｉｏｎ ｕｓｉｎｇ ｆｉｎｉｔｅ ｅｌｅｍｅｎｔ ｍｏｄｅｌｉｎｇ，"Ｐｒｏｃ．Ｗｏｒｋｓｈｏｐ ｏｎ Ｂｒｅａｓｔ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ｉｎ ｃｏｎｊｕｃｔｉｏｎ ｗｉｔｈ ＭＩＣＣＡＩ ２０１１，ｐｐ．１２９−１３６，２０１１． 岩下ら："２次元距離場を用いた２Ｄ−３Ｄレジストレーション"，画像の認識・理解シンポジウム（ＭＩＲＵ２００５），２００５． Ｃ．Ｔａｎｎｅｒ，ｅｔ ａｌ．"Ｂｒｅａｓｔ Ｓｈａｐｅｓ ｏｎ Ｒｅａｌ ａｎｄ Ｓｉｍｕｌａｔｅｄ Ｍａｍｍｏｇｒａｍｓ"，Ｐｒｏｃ．Ｉｎｔ．Ｗｏｒｋｓｈｏｐ ｏｎ Ｄｉｇｉｔａｌ Ｍａｍｍｏｇｒａｐｈｙ ２０１０（ＩＷＤＭ ２０１０），ＬＮＣＳ ６１３６，ｐｐ．５４０−５４７，２０１０．

しかし、ＰＡＴ画像とＭＲＩ画像とでは画像化する特徴が異なるため、ＭＲＩ画像に写る構造物とＰＡＴ画像上の構造物すべてが一致するわけではない。そのため、高精度な位置合わせを実施するのは困難であった。

本発明は、上記の課題を鑑みてなされたものであり、被検体の変形状態に基づいて、該被検体の３次元形状を高精度に推定するための技術を提供する。

本発明の一様態は、被検体を保持部材で保持した保持状態で該被検体を撮影した画像に基づいて、該被検体と該保持部材との接触領域を取得する取得手段と、前記接触領域に基づいて、前記保持状態における前記被検体の３次元形状を推定する推定手段とを備えることを特徴とする。

本発明の構成により、被検体の変形状態に基づいて該被検体の３次元形状を高精度に推定することができる。

システムの機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 乳房のＭＲＩ画像を示す図。 表面形状取得部１０２０が行う処理を説明する図。 ＰＡＴ装置１２０による乳房の撮影を説明する図。 ＰＡＴ画像の一例を示す図。 前面カメラ５０５によって撮影される画像の一例を示す図。 ステップＳ２０６０における処理を説明する図。 変形後のＭＲＩ画像を示す模式図。 変形ＭＲＩ画像とＰＡＴ画像を表示する画面の例を示す図。 画像処理装置１００が行う処理のフローチャート。 ステップＳ１１０６０における処理のフローチャート。 メッシュＭの生成方法を示す模式図。 圧迫変形シミュレーションを説明する図。 接触領域と変形メッシュの位置関係を示す模式図。 システムの機能構成例を示すブロック図。 画像処理装置１６００が行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
以下では、被検体を保持部材で保持した保持状態で該被検体を撮影した画像に基づいて、該被検体と該保持部材との接触領域を取得し、該接触領域に基づいて、保持状態における被検体の３次元形状を推定する画像処理装置の一例について説明する。

より詳しくは、本実施形態に係る画像処理装置は、被検者の乳房を被検体とし、該乳房のＰＡＴ画像と該乳房のＭＲＩ画像との間の高精度な位置合わせを実現し、両者を併用した診断の効率を向上させるものである。本装置は、２枚の透明な（光を透過可能な）保持板で圧迫された乳房の外観を撮影した画像から、乳房において保持板と接触している領域（接触領域）を抽出する。次に、乳房のＭＲＩ画像から乳房の３次元表面形状を抽出し、該抽出した３次元表面形状と上記接触領域とを用いて、ＭＲＩ画像に圧迫変形位置合わせを施した変形ＭＲＩ画像を生成する。最後に、生成した変形ＭＲＩ画像をＰＡＴ画像と並べて表示する。以下、本実施形態に係る画像処理装置について説明する。

先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像処理装置１００、医用画像データベース１１０、光音響断層撮影装置（ＰＡＴ装置）１２０、を有し、画像処理装置１００には、この医用画像データベース１１０と、ＰＡＴ装置１２０と、が接続されている。

先ず、医用画像データベース１１０について説明する。医用画像データベース１１０には、被検体である乳房のＭＲＩ画像が登録されている。ここで、医用画像データベース１１０に登録されている乳房のＭＲＩ画像について説明する。本実施形態では、ＭＲＩ画像は３次元の画像情報である。図３（ａ）は、乳房のＭＲＩ画像を、人体の頭尾方向に垂直な断面（アキシャル断面）でスライスしたときの２次元画像（乳頭３０４を含む断面）を表す模式図である。図３（ａ）のＭＲＩ画像３００を構成する各２次元画像中の画素には、ＭＲＩ画像に固有の座標系であるＭＲＩ画像座標系Ｃ_ＭＲＩにおける３次元座標位置が定義されているものとする。ＭＲＩ画像３００を構成する各２次元画像には、被検者の体外が写っている領域３０２と、被検者の体内が写っている領域３０３と、が存在する。図３（ｂ）は、ＭＲＩ画像３００を、人体の左右方向に垂直な断面（サジタル断面）でスライスしたときの２次元画像を表す模式図である。図３（ｂ）には図３（ａ）と同様のものが写し出されている。図３に示すように、本実施形態では、ＭＲＩ画像座標系Ｃ_ＭＲＩを、被検者（患者）の右手側から左手側をｘ軸の正方向、患者の胸側から背側をｙ軸の正方向、足側から頭側をｚ軸の正方向とする座標系と定義している。

次に、ＰＡＴ装置１２０について説明する。ＰＡＴ装置１２０はＰＡＴ画像の撮影を行う装置であり、該ＰＡＴ装置１２０には、被検体である乳房のＰＡＴ画像と、該乳房の外観を撮影した画像である外観画像（カメラ画像）と、が登録されている。なお、本実施形態のＰＡＴ装置１２０が保持するＰＡＴ画像とは、複数の波長に対する被検体内の光エネルギー堆積量分布を画像化した画像、夫々の波長に対する被検体の光吸収係数分布を画像化した画像、及び、血液の酸素飽和度を画像化した画像である。

ここで、ＰＡＴ装置１２０による乳房の撮影について、図５を用いて説明する。図５において、被検者５００は、ＰＡＴ装置１２０の上面のベッドで伏臥位の体位をとる。そして、被検体である片方の乳房５０１をＰＡＴ装置１２０上面の開口部５０２に挿入する。このとき、照射光が乳房５０１の内部まで届くように、乳房５０１は透明な２枚の保持板（足側の保持板５０３及び頭側の保持板５０４）により圧迫した状態で保持され、その厚みが薄くなった状態で撮影される。保持板５０３及び保持板５０４による乳房５０１の保持は、固定された足側の保持板５０３に対して、可動板である頭側の保持板５０４を足方向に向けて移動させることで行われる。なお、本実施形態では、保持板５０３及び保持板５０４はいずれも平板であり、乳房と接触する面（以下、保持面と呼ぶ）が平面であるものとする。また、保持の際の保持厚（保持板５０３と保持板５０４の間の距離）はＰＡＴ装置１２０によって計測されており、ＰＡＴ画像の付加的情報として該画像のヘッダ部分に保存されるものとする。照射光である近赤外光パルスは、保持板５０３，５０４の平面に直交する方向から不図示の光源により照射される。そして、体内で発生した光音響信号は、保持板５０３，５０４の平面に直交するように配置された不図示の超音波探触子により受信される。

ＰＡＴ装置１２０には該装置に固有の座標系であるＰＡＴ装置座標系Ｃ_ＤＥＶが定義されており、ｘ−ｙ平面は、保持板５０３及び５０４に平行な平面であり、ｚ軸は保持板５０３及び５０４に直交する方向（保持された乳房の厚みの方向）である。このＰＡＴ装置座標系Ｃ_ＤＥＶは、例えば、ＭＲＩ画像座標系Ｃ_ＭＲＩと同様に、患者の右手側から左手側をｘ軸の正方向、胸側（下）から背側（上）をｙ軸の正方向、足側から頭側をｚ軸の正方向と定義する。ＰＡＴ装置座標系Ｃ_ＤＥＶの原点は、例えば、保持板５０３上における右手側の下端位置に設定される。以降、ＰＡＴ装置１２０においては、この座標系を基準にしてその他の座標系との関係を扱うものとする。

図６は、ＰＡＴ装置１２０が撮影したＰＡＴ画像の例を示す図である。本実施形態において、ＰＡＴ画像６００は３次元の画像情報である。図６は、図３（ａ）と同様にアキシャル断面の模式図を示している。図６に示すように、本実施形態では、ＰＡＴ画像座標系Ｃ_ＰＡＴを、ＭＲＩ画像座標系Ｃ_ＭＲＩと同様に、患者の右手側から左手側をｘ軸の正方向、胸側から背側をｙ軸の正方向、足側から頭側をｚ軸の正方向とする座標系として定義する。このとき、ＰＡＴ画像座標系Ｃ_ＰＡＴからＰＡＴ装置座標系Ｃ_ＤＥＶへの変換を行う座標変換行列を、Ｔ_ＰｔｏＤと定義する。なお、Ｔ_ＰｔｏＤを含め、以降に登場する座標変換行列は全て座標系の並進と回転を表す４×４行列であるものとする。ＰＡＴ画像座標系Ｃ_ＰＡＴとＰＡＴ装置座標系Ｃ_ＤＥＶとの回転成分は一致しており、被検体の撮影範囲に応じてＣ_ＰＡＴの原点位置が変化する。すなわち、座標変換行列Ｔ_ＰｔｏＤは、撮影範囲に基づいて一意に算出できる。座標変換行列Ｔ_ＰｔｏＤは、ＰＡＴ画像の付加的情報として、該画像のヘッダ部分に保存されるものとする。

また、図５に示すように、ＰＡＴ装置１２０には、被検体の様子（乳房の外観）を撮影するための３台のカメラ（前面カメラ５０５、後面カメラ５０６、側面カメラ５０７）が搭載されている。前面カメラ５０５は、保持板５０４を通して頭側から乳房の外観を撮影可能な位置に設置されている。また、後面カメラ５０６は、保持板５０３を通して足側から乳房の外観を撮影可能な位置に設置されている。さらに、側面カメラ５０７は、側面から乳房の外観を撮影可能な位置に設置されている。ＰＡＴ装置１２０はこれらのカメラによって撮影される非保持状態（保持板５０３及び５０４によって乳房を圧迫して保持していない状態）及び保持状態（保持板５０３及び５０４によって乳房を圧迫して保持している状態）の夫々における乳房の画像を保存する。以下、保持状態で前面カメラ５０５が撮影する画像をＩ_ＣＡＭ１、後面カメラ５０６が撮影する画像をＩ_ＣＡＭ２、側面カメラ５０７が撮影する画像をＩ_ＣＡＭ３と表記する。また、非保持状態で前面カメラ５０５が撮影する画像をＩ’_ＣＡＭ１、後面カメラ５０６が撮影する画像をＩ’_ＣＡＭ２、側面カメラ５０７が撮影する画像をＩ’_ＣＡＭ３と表記する。Ｃ_ＣＡＭ１は前面カメラ５０５の座標系（前面カメラ座標系）であり、そのｚ軸（視軸の負の方向）は、ＰＡＴ装置座標系Ｃ_ＤＥＶのｚ軸と略同一方向を向いている。同様に、Ｃ_ＣＡＭ２は後面カメラ５０６の座標系（後面カメラ座標系）であり、そのｚ軸は、ＰＡＴ装置座標系Ｃ_ＤＥＶのｚ軸と略反対方向を向いている。また、Ｃ_ＣＡＭ３は側面カメラ５０７の座標系（側面カメラ座標系）であり、そのｚ軸は、ＰＡＴ装置座標系Ｃ_ＤＥＶのｘ軸方向と逆の方向を向いている。ここで、Ｃ_ＣＡＭ１、Ｃ_ＣＡＭ２、Ｃ_ＣＡＭ３からＰＡＴ装置座標系Ｃ_ＤＥＶへの座標変換行列を、それぞれ、Ｔ_{Ｃ１ｔｏＤ}、Ｔ_{Ｃ２ｔｏＤ}、Ｔ_{Ｃ３ｔｏＤ}と定義する。これらのカメラはＰＡＴ装置座標系Ｃ_ＤＥＶにおいて校正済みであり、上記の座標変換行列や内部パラメータは、既知の情報として画像処理装置１００が保持しているものとする。なお、Ｔ_{Ｃ１ｔｏＤ}、Ｔ_{Ｃ２ｔｏＤ}、Ｔ_{Ｃ３ｔｏＤ}は、ＰＡＴ画像の付加的情報として、該画像のヘッダ部分に保存しても構わない。

図７に、保持状態で前面カメラ５０５によって撮影される画像７００（Ｉ_ＣＡＭ１）の一例を示す。画像７００において乳房領域７０１は、保持状態の乳房が写っている領域である。この乳房領域７０１は、乳房において保持板（保持板５０４）と接触している領域（接触領域）７０２と、保持板（保持板５０４）と接触していない領域（非接触領域）７０３と、で構成されている。ここで、ＰＡＴ装置の底面に不図示の照明器具を設置し、ＰＡＴ装置座標系Ｃ_ＤＥＶのｙ軸方向（図７の照明の方向７０４）に向けて照明を当てることで、保持状態の乳房において光が直接当たる非接触領域７０３を明るく写し出し、直接当たらない接触領域７０２を暗く写し出すことができる。

なお、前面カメラ５０５によって撮影される画像Ｉ_ＣＡＭ１に固有の座標系である前面カメラ画像座標系Ｃ_ＩＭＧ１（２次元）上の座標は、カメラ座標系Ｃ_ＣＡＭ１（３次元）においては、次のように表される。すなわち、前面カメラ５０５の焦点位置と前面カメラ５０５の投影面上の各位置を通る線分として表現される。カメラ画像座標系とカメラ座標系との間の変換に関しては、一般的なカメラ画像と３次元空間との間の座標変換の方法を用いるため説明は省略する。係る説明は、後面カメラ５０６及び側面カメラ５０７についても同様であるため、説明を省略する。

なお、本実施形態では、被検体として人体の乳房を適用したが、これに限られるものではなく、保持板によって保持可能な生体の部位であれば何であっても良い。また、本実施形態では、医用画像データベース１１０に登録されている画像としてＭＲＩ画像を適用したが、生体を撮影した３次元医用画像であれば何であっても良い。また、保持状態の被検体を撮影する装置としてＰＡＴ装置１２０を適用したが、保持板を備えた撮影装置であれば何であっても良い。

次に、画像処理装置１００が行う処理について、同処理のフローチャートを示す図２を用いて説明する。

（ステップＳ２０００：ＭＲＩ画像の取得）
ステップＳ２０００において医用画像取得部１０１０は、医用画像データベース１１０に登録されている乳房のＭＲＩ画像３００を取得し、該取得したＭＲＩ画像３００を、後段の表面形状取得部１０２０及び変形画像生成部１０８０に対して送出する。

（ステップＳ２０１０：ＭＲＩ画像からの表面形状及び乳頭位置の取得）
ステップＳ２０１０で表面形状取得部１０２０は、ＭＲＩ画像３００を構成する各２次元画像から乳房の表面を構成する画素を検出し、該検出した画素について定義されている３次元座標位置（表面位置）の集合を、乳房の表面形状（形状情報）として取得する。さらに表面形状取得部１０２０は、該取得した表面形状の３次元曲率に基づいて、ＭＲＩ画像３００中における乳頭位置を取得する。そして表面形状取得部１０２０は、取得した表面形状及び乳頭位置を、後段の剛体変換部１０５０及び変形推定部１０７０に対して送出する。

ここで、ＭＲＩ画像３００から乳房の表面形状を取得する為に表面形状取得部１０２０が行う処理について、図４を用いて説明する。図４（ａ）において４００は、図３（ａ）のＭＲＩ画像３００を構成する各２次元画像について、被検体の体外の領域３０２と体内の領域３０３との境界となる表面位置４０１を検出した画像（表面検出画像）である。表面検出画像４００は、ＭＲＩ画像を構成する各２次元画像について、被検体の体外領域と体内領域との境界線が明示的に現れている画像であればよい。表面検出画像は、例えば、境界線（被検体の表面）を構成する画素の画素値が１、境界線以外を構成する画素の画素値が０、である２値画像である。

表面形状取得部１０２０は、ＭＲＩ画像３００に対して画像処理を施して表面位置４０１を検出することで、上記の表面検出画像４００を生成する。表面位置４０１の検出方法としては様々な方法が考えられるが、例えばＭＲＩ画像３００の輝度値の空間勾配を求め、その空間輝度勾配の大きさに対して閾値処理を施すことで実現することができる。被検体の表面位置４０１を検出する方法は、これに限らず既知のいかなる方法でもよい。

表面形状取得部１０２０は更に、表面検出画像４００を処理することにより、表面位置４０１を構成する画素の中から表面点として使用する画素を取得する。表面点の取得は、例えば表面位置４０１を構成する画素の中から規定の間隔で取得してもよいし、表面位置４０１を構成する画素の全てを表面点として取得するようにしてもよい。そして表面点について定義されている３次元座標位置の集合を、乳房の表面形状とする。

表面位置の取得は、必ずしも画像処理装置１００がＭＲＩ画像３００を処理して求める必要は無い。例えば、ＭＲＩ画像３００を構成する各２次元画像を適当なモニタに表示し、該表示された２次元画像上でユーザが不図示のマウスやキーボードなどを用いて指定した境界線を上記表面位置４０１として取得するようにしても構わない。

以降の説明では、ＭＲＩ画像３００を構成する全ての２次元画像中の表面位置４０１を構成する全ての画素を表面点とするのはなく、そのうちのＮ_Ｓ個の画素を表面点Ｐ_Ｓｉ（１≦ｉ≦Ｎ_Ｓ）とする。そして、表面点Ｐ_Ｓｉの位置をＭＲＩ画像座標系Ｃ_ＭＲＩにおける３次元の位置座標ベクトルｖ_{Ｓｉ＿ＭＲＩ}（１≦ｉ≦Ｎ_Ｓ）として、画像処理装置１００内の不図示のメモリに記録する。本実施形態では、ＭＲＩ画像から取得した乳房の表面形状が、非保持状態における乳房の形状モデル（保持部材と接触する前の被検体の３次元の形状モデル）となる。

（ステップＳ２０２０：ＰＡＴ画像の取得）
ステップＳ２０２０において、ＰＡＴ画像取得部１０３０は、ＰＡＴ装置１２０が撮影した乳房のＰＡＴ画像を、該ＰＡＴ装置１２０から取得する。この取得はＰＡＴ装置１２０による撮影と同期して直接取得するようにしてもよいし、ＰＡＴ装置１２０が過去に撮影した画像を記録した不図示の医用画像記録装置から取得するようにしても構わない。そしてＰＡＴ画像取得部１０３０は、取得したＰＡＴ画像を、後段の画像表示部１０９０に送出する。またＰＡＴ画像取得部１０３０は、ＰＡＴ画像のヘッダに含まれている付加的情報や画像処理装置１００が保持する各種情報、例えば、Ｔ_ＰｔｏＤ，Ｔ_{Ｃ１ｔｏＤ}，Ｔ_{Ｃ２ｔｏＤ}，Ｔ_{Ｃ３ｔｏＤ}など）等、以下で必要となる情報を変形推定部１０７０に送出する。なお、本実施形態においてＰＡＴ画像取得部１０３０が取得するＰＡＴ画像は、規定の波長に対して乳房内の光エネルギー堆積量分布を画像化した３次元画像であるものとする。

（ステップＳ２０３０：カメラ画像の取得）
ステップＳ２０３０において、外観画像取得部１０４０は、前面カメラ５０５、後面カメラ５０６、側面カメラ５０７のそれぞれが撮影した、非保持状態、保持状態のそれぞれにおける乳房の外観画像を、ＰＡＴ装置１２０から取得する。すなわち、外観画像取得部１０４０は、ＰＡＴ装置１２０から、Ｉ_ＣＡＭ１，Ｉ_ＣＡＭ２，Ｉ_ＣＡＭ３，Ｉ’_ＣＡＭ１，Ｉ’_ＣＡＭ２、Ｉ’_ＣＡＭ３）を取得する。そして外観画像取得部１０４０は、これら取得した外観画像を、後段の乳房領域取得部１０４５及び接触領域取得部１０６０に対して送出する。

（ステップＳ２０３５：カメラ画像からの乳房領域と乳頭位置の取得）
ステップＳ２０３５において、乳房領域取得部１０４５は、外観画像取得部１０４０から受けたそれぞれの外観画像に対して画像処理を施し、該外観画像上における乳房領域（図７の７０１）を取得する。また、乳房領域取得部１０４５は、該外観画像上における乳頭（図７の７０５）の位置を取得する。

乳房領域７０１の検出は、例えば、一般的な肌色検出の手法であるＨＳＶ色空間を用いて行うことができる。より具体的には、外観画像の色空間をＨＳＶ色空間に変換し、色相Ｈ（Ｈｕｅ）が規定の範囲に収まる画素を検出することで乳房領域を検出できる。また、乳頭の位置に関しては、乳房領域の境界を表す曲線上で曲率が最も大きい位置を乳頭の位置として検出できる。なお、乳房領域と乳頭位置の検出方法は、この方法に限るものではない。

そして乳房領域取得部１０４５は、上記の処理により取得した乳房領域及び乳頭の位置を、後段の剛体変換部１０５０、接触領域取得部１０６０、変形推定部１０７０に対して送出する。

（ステップＳ２０４０：ＭＲＩ画像座標系とＰＡＴ装置座標系との剛体位置合わせ）
ステップＳ２０４０において、剛体変換部１０５０は、ＭＲＩ画像座標系Ｃ_ＭＲＩとＰＡＴ装置座標系Ｃ_ＤＥＶとの間の剛体位置合わせを行う。すなわち、ＭＲＩ画像座標系Ｃ_ＭＲＩからＰＡＴ装置座標系Ｃ_ＤＥＶへの座標変換行列Ｔ_ＭｔｏＤを導出する。この処理は、ステップＳ２０１０で取得したＭＲＩ画像中における乳頭位置と、ステップＳ２０３５で取得した非保持状態における外観画像上の乳頭位置と、に基づいて行われる。本実施形態では、ＰＡＴ装置座標系Ｃ_ＤＥＶとＭＲＩ画像座標系Ｃ_ＭＲＩにおける乳房の姿勢は概ね一致しており、ＭＲＩ画像座標系Ｃ_ＭＲＩからＰＡＴ装置座標系Ｃ_ＤＥＶへの座標変換を平行移動のみで記述できると仮定する。

先ず、それぞれの外観画像から得た非保持状態の２次元の乳頭位置から、三角測量の原理に基づき、非保持状態の３次元の乳頭位置を算出する。例えば、カメラの向きが互いに９０°異なる前面カメラと側面カメラのそれぞれの外観画像上における２次元乳頭位置から３次元の乳頭位置を求めることができる。同様に、後面カメラと側面カメラのそれぞれの外観画像上における２次元乳頭位置から算出することもできる。そして、ＭＲＩ画像中における乳頭位置が、外観画像から求めた非保持状態における３次元の乳頭位置と一致するように、Ｔ_ＭｔｏＤの平行移動成分を算出する。

（ステップＳ２０５０：外観画像からの接触領域の取得）
ステップＳ２０５０において、接触領域取得部１０６０は、保持状態における外観画像（Ｉ_ＣＡＭ１及びＩ_ＣＡＭ２）中の乳房領域に対して画像処理を施し、該外観画像上における接触領域７０２を検出する。そして接触領域取得部１０６０は、この検出した接触領域の情報と、保持板５０３及び５０４の位置情報と、に基づいて、ＰＡＴ装置座標系Ｃ_ＤＥＶにおける接触領域の３次元位置（領域情報）を算出する。そして接触領域取得部１０６０は、算出した接触領域の３次元位置を、後段の変形推定部１０７０に対して送出する。

本実施形態では、ステップＳ２０３５で取得した乳房領域７０１から、接触領域７０２と非接触領域７０３とを区別する処理を行う。前述のように、ＰＡＴ装置の底面に設置された照明器具により保持状態の乳房に照明を当てることで、図７における接触領域７０２と非接触領域７０３について、外観画像上に写る明るさに差を付けることができる。従って、接触領域７０２は、例えば、乳房領域７０１の各画素から、ＨＳＶ色空間の明度（Ｖａｌｕｅ）が閾値を下回る画素を検出することで検出することができる。但し、接触領域７０２の検出方法はこの方法に限らない。例えば、ＲＧＢ色空間におけるＲＧＢ値の平均値が閾値を下回る画素を検出するようにしてもよい。以下の説明では、前面カメラによる外観画像Ｉ_ＣＡＭ１上の接触領域としてＮ_Ｃ１個の画素、後面カメラによる外観画像Ｉ_ＣＡＭ２上の接触領域としてＮ_Ｃ２個の画素を取得したとする。

なお、接触領域の取得は、必ずしも外観画像に対する画像処理によって取得することに限るものではなく、例えば外観画像をモニタに表示し、ユーザが不図示のマウスやキーボード等を操作してこの表示された外観画像上に接触領域を指定しても良い。

次に、ＰＡＴ装置座標系Ｃ_ＤＥＶにおける接触領域の３次元位置を算出する。ここで、前面カメラ５０５の外観画像Ｉ_ＣＡＭ１に写っている接触領域は、保持板５０４の保持面上に存在する。したがって、外観画像Ｉ_ＣＡＭ１中の接触領域を構成する各画素に対応する保持板５０４上の点の３次元位置（３次元位置情報）ｖ_{Ｕｊ＿ＤＥＶ}（１≦ｊ≦Ｎ_Ｃ１）は、次のようにして得ることができる。すなわち、前面カメラの投影中心位置と外観画像Ｉ_ＣＡＭ１中の接触領域を構成する各画素位置（２次元位置情報）を結ぶ直線（視線）と、保持板５０４による保持面を表す平面Ｐ_Ｕとの交点として得ることができる。この演算は、前面カメラの内部パラメータに基づいて前面カメラ座標系における各視線の方程式を求め、これを、座標変換行列Ｔ_{Ｃ１ｔｏＤ}によってＰＡＴ装置座標系Ｃ_ＤＥＶに変換した後に、平面Ｐ_Ｕとの交点を求めることで実施できる。

同様に、後面カメラのカメラ画像Ｉ_ＣＡＭ２中の接触領域を構成する各画素に対応する保持板５０３上の点の３次元位置ｖ_{Ｌｊ＿ＤＥＶ}（１≦ｊ≦Ｎ_Ｃ２）は、保持板５０３による保持面を表す平面Ｐ_Ｌ上の点として求めることができる。なお、前述のように、保持板５０３は装置座標系に固定されており、本実施形態では、画像処理装置１００が、既知の情報として平面Ｐ_Ｌの位置を保持しているものとする。また、本実施形態では、ＰＡＴ画像が付加的情報として保持する保持厚の情報に基づいて、平面Ｐ_Ｕの位置が算出されるものとする。例えば、平面Ｐ_Ｌはｚ＝０平面に位置すると記憶されており、保持厚が５０ｍｍである場合には、平面Ｐ_Ｕはｚ＝５０平面に位置すると算出される。

（ステップＳ２０６０：接触領域を利用した変形推定）
ステップＳ２０６０において変形推定部１０７０は、ステップＳ２０５０で取得した接触領域の情報を拘束条件として用いて、ＭＲＩ画像から得た乳房の表面形状から、圧迫変形後の乳房の表面形状（推定値）を推定する。本実施形態では、変形関数Ｆ_ＤＥＶ（ｘ、ｙ、ｚ）によってＭＲＩ画像中の乳房に変形処理を施した際の計算上の接触領域が、ステップＳ２０５０で取得した接触領域と一致（略合致）するように、変形関数Ｆ_ＤＥＶ（ｘ、ｙ、ｚ）を求めることで、この推定を行う。なお、本実施例における略合致は、完全一致も含まれる意味である。

より具体的には、まず、ステップＳ２０１０で取得した乳房の表面形状としての、各表面点の３次元座標位置ｖ_{Ｓｉ＿ＭＲＩ}に、ステップＳ２０４０で得た座標変換行列Ｔ_ＭｔｏＤを用いた座標変換を行う。この座標変換の結果、ＭＲＩ画像座標系Ｃ_ＭＲＩにおける各表面点の３次元座標位置ｖ_{Ｓｉ＿ＭＲＩ}を、ＰＡＴ装置座標系Ｃ_ＤＥＶにおける３次元座標位置（位置座標ベクトル）ｖ_{Ｓｉ＿ＤＥＶ}（１≦ｉ≦Ｎ_Ｓ）に変換する。

そして、ｖ_{Ｓｉ＿ＤＥＶ}に変形を施した結果として得られる接触領域に相当する位置（即ち計算上の接触領域の３次元位置情報）が、ステップＳ２０５０で取得した接触領域の３次元位置情報と整合する（合致する）ような変形関数Ｆ_ＤＥＶ（ｘ、ｙ、ｚ）を求める。以下、本ステップにて行う処理を、図８を用いて説明する。

図８は、接触領域を利用した圧迫変形による変形推定の様子を示す模式図である。また、図８では、乳房の処理対象領域をサジタル断面でスライスしたときの２次元平面の模式図が示されている。この平面は、ＰＡＴ装置座標系Ｃ_ＤＥＶにおいては、保持板５０３及び５０４に直交する平面を表す。

図８（ａ）は、変形推定の第一のステップとして、アフィン変換によりｚ軸方向に対象領域を圧縮変形する処理を表す図である。図８（ａ）において、８００は処理対象領域、８０１は乳房の表面位置（すなわち、ｖ_{Ｓｉ＿ＤＥＶ}）を表す。また、８０２は保持板５０４との接触領域（すなわち、ｖ_{Ｕｊ＿ＤＥＶ}）、８０３は保持板５０３との接触領域（すなわち、ｖ_{Ｌｊ＿ＤＥＶ}）を表す。また、８０５、８０６は圧縮方向、８０７は圧縮変形後の乳房の表面位置を表す。第一のステップでは、乳房を大まかに上半分（頭側）と下半分（足側）に分け、保持厚等の情報に基づいて夫々にアフィン変換を施す。

２枚の保持板による圧迫変形では、２枚の保持板に挟まれた領域の中心に向かって圧縮方向８０５及び８０６のように変形が発生する。そこで、本実施形態では、対象領域をｚ＞ｚ_Ｍ、ｚ≦ｚ_Ｍの２つの領域に分けて、それぞれに異なる変形を適用する。すなわち、前者の領域は、ｚ位置がｚ_ＭＡＸからｚ_Ｕになるように圧縮する方向にスケーリングを施すようなアフィン変換を行う。同様に、後者の領域は、ｚ位置がｚ_ＭＩＮからｚ_Ｌになるように圧縮する方向にスケーリングを施すようなアフィン変換を行う。その処理を行うために、ｚ軸方向のスケールファクターｓＺ１を、次式によって算出する。

ｓ_Ｚ１＝（ｚ_Ｕ−ｚ_Ｍ）／（ｚ_ＭＡＸ−ｚ_Ｍ） （ｉｆ ｚ＞ｚ_Ｍ） （１）
ｓ_Ｚ１＝（ｚ_Ｌ−ｚ_Ｍ）／（ｚ_ＭＩＮ−ｚ_Ｍ） （ｉｆ ｚ≦ｚ_Ｍ） （２）
ここで、ｚ_Ｕは平面Ｐ_Ｕのｚ座標、ｚ_Ｌは平面Ｐ_Ｌのｚ座標、ｚ_Ｍはｚ_Ｕとｚ_Ｌの中間点のｚ座標を表す。また、ｚ_ＭＡＸは、表面位置８０１の位置座標ベクトルｖ_{Ｓｉ＿ＤＥＶ}の中のｚ位置の最大値、ｚ_ＭＩＮはその最小値である。

次に、ｙ軸方向のスケールファクタｓ_ｙ１を算出する。まず、保持状態の各外観画像上における乳頭位置を用いて、三角測量の原理に基づき保持状態における乳頭の３次元位置を得る。ここで、非保持状態における乳頭の３次元位置は、ステップＳ２０４０の処理において算出されている。そこで、非保持状態から保持状態への変形に伴う乳頭の３次元位置のｙ座標の変化率を用いて、ｙ軸方向への乳房の伸長の割合を求め、これをｓ_ｙ１とする。

最後に、ｘ軸方向のスケールファクタｓ_Ｘ１を算出する。このとき、保持の前後で被検体の体積が保存されるという仮定を置く。すなわち、次式が成り立つものとして、ｓ_Ｚ１とｓ_ｙ１に基づきｓ_Ｘ１を算出する。

ｓＸ１・ｓＹ１・ｓＺ１＝１ （３）
以上により、ｓ_Ｘ１、ｓ_Ｙ１、ｓ_Ｚ１が、ｚ＞ｚ_Ｍとｚ≦ｚ_Ｍの夫々の領域について算出される。そこで、これらのスケールファクタによるアフィン変換を記述する変換行列Ｔ_Ｄ１を、ｚ＞ｚ_Ｍとｚ≦ｚ_Ｍの夫々の領域について算出する。このとき、第一のステップによる圧縮変形後の表面位置８０７を表す位置座標ベクトルｖ_{ＳＤ１ｉ＿ＤＥＶ}は、次式で算出される。

ｖ_{ＳＤ１ｉ＿ＤＥＶ}＝ｖ_{Ｓｉ＿ＤＥＶ}・Ｔ_Ｄ１ （４）
図８（ｂ）は、変形推定の第二のステップとして、乳房の表面位置における接触領域に対応する位置が保持板の位置になるように、変形の補正処理を行う様子を示す模式図である。図８（ｂ）において、８１０は、圧縮変形後の表面位置８０７を、接触領域の位置を用いて伸長変形した補正後の表面位置を表す。本実施形態では、第一のステップと同様、対象領域をｚ＞ｚ_Ｍ、ｚ≦ｚ_Ｍの２つの領域に分けて処理する。ただし、本ステップの処理では、さらに、対象領域内の夫々の位置（ｘ、ｙ）におけるｚ軸方向のライン領域Ｌ（ｘ、ｙ）毎に、夫々異なるスケーリングの変換を行う。なお、本補正処理による変形量は大きくないため、体積の変化は無視できるものと仮定する。すなわち、補正前後で体積は保存せず、ｚ方向のみスケーリングを行う。すなわち、夫々のライン領域Ｌ（ｘ、ｙ）について、ｚ軸方向のスケールファクタｓ_Ｚ２（ｘ、ｙ）を求めて、それに基づく補正処理を行う。

まず、ｚ＞ｚ_Ｍの場合について述べる。ライン領域Ｌ（ｘ、ｙ）が接触領域８０２と交差する場合、ライン領域Ｌにおける表面位置８０７のｚ座標（ｚ_ＳＤ１（ｘ、ｙ））が、接触領域８０２（ｚ＝ｚ_Ｕ）に一致するように、伸長する方向にスケーリングを施すようなアフィン変換を行う。すなわち、次式によってｓ_Ｚ２を得る。

ｓ_Ｚ２（ｘ、ｙ）＝（ｚ_Ｕ−ｚ_Ｍ）／（ｚ_ＳＤ１（ｘ、ｙ）−ｚ_Ｍ） （ｉｆ ｚ＞ｚ_Ｍ） （５）
また、接触領域８０２と交差しない全てのライン領域Ｌ（ｘ、ｙ）では、ｓ_Ｚ２（ｘ、ｙ）として、同じサジタル面において接触領域８０２の下端（ｙが最小となる接触領域の点）と交わるライン領域Ｌのｓ_Ｚ２の値を採用する。これにより、交差しない場合と交差する場合のライン領域の間で、シームレスに変形補正をつなげることができる。

ｚ≦ｚ_Ｍの場合についても、ｚ＞ｚ_Ｍの場合と同様の処理を行う。すなわち、ライン領域Ｌ（ｘ、ｙ）が接触領域８０３と交差する場合は、ライン領域Ｌにおける表面位置８０７のｚ座標が接触領域８０３（ｚ＝ｚ_Ｌ）に一致するように、伸長する方向にスケーリングを施すようなアフィン変換を行う。すなわち、次式によってｓ_Ｚ２を得る。

ｓ_Ｚ２（ｘ、ｙ）＝（ｚ_Ｌ−ｚ_Ｍ）／（ｚ_ＳＤ１（ｘ、ｙ）−ｚ_Ｍ） （ｉｆ ｚ≦ｚ_Ｍ） （６）
なお、ライン領域Ｌが接触領域８０３と交差しない場合の処理はｚ＞ｚ_Ｍの場合と同様であるため、説明を省略する。

そして、ｚ＞ｚ_Ｍとｚ≦ｚ_Ｍの夫々の領域におけるライン領域Ｌ（ｘ、ｙ）の夫々について、算出したスケールファクタによるアフィン変換を記述する変換行列Ｔ_Ｄ２（ｘ、ｙ）を算出する。このとき、第二のステップによる伸長補正後の表面位置８１０を表す位置座標ベクトルｖ_{ＳＤ２ｉ＿ＤＥＶ}は、次式で算出される。

ｖ_{ＳＤ２ｉ＿ＤＥＶ}＝ｖ_{ＳＤ１ｉ＿ＤＥＶ}・Ｔ_Ｄ２（ｘ_ｉ、ｙ_ｉ） （７）
ここで、ｘ_ｉ、ｙ_ｉは、ｖ_{ＳＤ１ｉ＿ＤＥＶ}のｘ座標及びｙ座標である。

図８（ｃ）は、第２のステップにより変形の補正処理を施された後の状態を表す模式図である。この図から、伸長変形後の表面位置８１０は、接触領域８０２及び８０３と接するように変形されていることが分かる。このように、乳房と保持板の接触領域の情報を位置合わせに利用することにより、現実に生じる圧迫変形に近い変形結果を得ることができる。以上より、Ｔ_Ｄ１とＴ_Ｄ２の組として、任意の座標の変形関数Ｆ_ＤＥＶが算出される。

このように、本実施形態では、アフィン変換を用いてステップＳ２０５０で取得した接触領域に接するように被検体を変形させる変形関数Ｆ_ＤＥＶを算出した。しかしながら、変形関数Ｆ_ＤＥＶの算出方法は、これに限られるものではない。変形関数Ｆ_ＤＥＶは、非剛体位置合わせで一般的に用いられる、ＲＢＦ（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）やＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）などの変形手法を用いて算出しても良い。例えば、ＲＢＦを用いた変形では、被検体の変形前と後との間で、複数の対応点の組を指定することで、それらの対応点が一致（略合致）するように、被検体全体を変形させる変形関数Ｆ_ＤＥＶを算出することができる。そこで、本実施形態では、図８（ａ）における表面位置８０１上の点（変形前）と、接触領域８０２及び８０３上の点（変形後）との間で対応点の組を作成し、ＲＢＦによる変形関数Ｆ_ＤＥＶを求める。

まず、変形後の保持平面Ｐ_Ｕ上の点として接触領域８０２上の点ｖ_{Ｕｊ＿ＤＥＶ}をとる。そして、点ｖ_{Ｕｊ＿ＤＥＶ}に対応する変形前の点として、点ｖ_{Ｕｊ＿ＤＥＶ}を通りｚ軸に平行な（圧縮方向８０５に平行な）直線と表面位置８０１が交わる点ｖ_{Ｕｉ＿ＭＲＩ}を求める。但し、点ｖ_{Ｕｉ＿ＭＲＩ}のｚ座標は保持平面Ｐ_Ｕよりも大きいものとする。そして、点ｖ_{Ｕｊ＿ＤＥＶ}と点ｖ_{Ｕｉ＿ＭＲＩ}の組を対応点の組Ａcorresとして求める。次に、変形後の保持平面Ｐ_Ｌ上の点として接触領域８０３上の点ｖ_{Ｌｊ＿ＤＥＶ}をとり、同様に、点ｖ_{Ｌｊ＿ＤＥＶ}を通りｚ軸に平行な（圧縮方向８０６に平行な）直線と表面位置８０１が交わる点ｖ_{Ｌｉ＿ＭＲＩ}を求める。但し、点ｖ_{Ｌｉ＿ＭＲＩ}のｚ座標は保持平面Ｐ_Ｌよりも小さいものとする。そして、点ｖ_{Ｕｊ＿ＤＥＶ}と点ｖ_{Ｕｉ＿ＭＲＩ}の組を対応点の組Ｂcorresとして求める。最後に、対応点の組ＡcorresとＢcorresがそれぞれ変形前後で一致するように、ＲＢＦによる変形関数Ｆ_ＤＥＶを算出する。これにより、変形前の表面領域（表面位置８０１）が、変形後に接触領域８０２及び８０３に接するように被検体の圧迫変形を推定することができる。

また、本実施形態では、保持平面Ｐ_Ｕ及びＰ_Ｌ上の２つの接触領域８０２及び８０３の両方を利用して被検体の変形を算出したが、何れか一方のみを利用して被検体の変形を算出するようにしても良い。

（ステップＳ２０７０：変形ＭＲＩ画像の生成）
ステップＳ２０７０において、変形画像生成部１０８０は、ＭＲＩ画像３００を元に、ステップＳ２０６０で得た変形関数Ｆ_ＤＥＶを用いて、ＰＡＴ画像に位置合わせされた変形ＭＲＩ画像を生成する。すなわち、ＭＲＩ画像３００内の乳房形状が、ステップＳ２０６０で推定した形状になるように、ＭＲＩ画像３００に変形を施した変形ＭＲＩ画像を生成する。まず、座標変換行列Ｔ_ＭｔｏＤを用いて、ＭＲＩ画像３００を構成する各画素の３次元座標位置をＰＡＴ装置座標系Ｃ_ＤＥＶにおける３次元座標位置に座標変換した後、変形関数Ｆ_ＤＥＶを用いて変形処理を施す。そして、変形処理が施されたＭＲＩ画像を構成する各画素の３次元座標位置を座標変換行列Ｔ_ＰｔｏＤの逆行列を用いて座標変換することで、ＰＡＴ画像座標系Ｃ_ＰＡＴにおける変形ＭＲＩ画像を生成する。

図９は、変形後のＭＲＩ画像（変形ＭＲＩ画像）を示す模式図である。図９（ａ）は変形後のＭＲＩ画像をアキシャル断面でスライスしたときの２次元画像を示す模式図である。また、図９（ｂ）は変形後のＭＲＩ画像をサジタル断面でスライスしたときの２次元画像を示す模式図である。図９において、９００は変形ＭＲＩ画像、９０１は変形後の乳房領域、９０２は変形前の乳房形状を表す。変形後の乳房領域９０１と変形前の乳房形状９０２とを比較すると、ＰＡＴ画像座標系Ｃ_ＰＡＴのｚ軸方向への圧迫により、ｘ−ｙ平面上において乳房領域が伸長し、ｚ軸方向に圧縮されていることがわかる。

（ステップＳ２０８０：変形ＭＲＩ画像とＰＡＴ画像の表示）
ステップＳ２０８０において、画像表示部１０９０は、ステップＳ２０７０で生成した変形ＭＲＩ画像９００と、ステップＳ２０２０で取得したＰＡＴ画像６００と、を不図示のモニタ上に並べて表示する。図１０に、変形ＭＲＩ画像とＰＡＴ画像を表示する画面の例を示す。図１０では、変形ＭＲＩ画像９００とＰＡＴ画像６００の同一のアキシャル断面が、上下に並べて表示されている。ここで、対応領域１００１は、ＰＡＴ画像６００の表示領域に対応する領域をユーザに示すための表示情報である。なお、変形ＭＲＩ画像及びＰＡＴ画像の表示形態については特定の表示形態に限るものではない。

このように、本実施形態では、被検体を圧迫する保持板と被検体との間の接触領域をカメラ画像から検出し、その３次元位置情報を圧迫変形位置合わせに利用する。これにより、ＰＡＴ画像とＭＲＩ画像との高精度な位置合わせ処理を行う仕組みを提供できる。

［第２の実施形態］
第１の実施形態に係る画像処理装置では、アフィン変換を用いた圧迫変形により変形ＭＲＩ画像を生成していた。しかしながら、アフィン変換による圧迫変形は、現実の物理現象を厳密にシミュレーションするものではないため、実際にＰＡＴ画像を撮影する際に生じた圧迫変形との間に誤差が少なからず生じる可能性がある。そこで、本実施形態では、乳房と保持板との間の接触領域の情報に基づき、現実の物理現象をシミュレーションする物理変形シミュレーション手法を用いて被検体の変形を推定し、ＭＲＩ画像に圧迫変形を施した変形ＭＲＩ画像を生成する。これにより、ＰＡＴ画像とＭＲＩ画像との間のより高精度な位置合わせを実現し、両者を併用した診断の効率を向上させる。以下、本実施形態に係る画像処理装置について、第１の実施形態との差異を中心に説明する。本実施形態に係るシステムの構成は、第１の実施形態と同様である。ただし、変形推定部１０７０の動作のみが、第１の実施形態とは異なっている。

次に、本実施形態における画像処理装置１００の各部の動作と処理手順を、図１１に示すフローチャートを用いて説明する。但し、ステップＳ１１０００〜Ｓ１１０５０、及び、Ｓ１７０７０、Ｓ１７０８０の処理は、夫々、第１の実施形態における、ステップＳ２０００〜Ｓ２０５０、及び、Ｓ２０７０、Ｓ２０８０の処理と同様であるため、説明は省略する。従って、以下では、ステップＳ１１０６０の処理についてのみ詳しく説明する。

（ステップＳ１１０６０：接触領域を利用した圧迫変形の推定）
ステップＳ１１０６０において変形推定部１０７０は、ステップＳ１１０５０で取得した接触領域の情報を拘束条件として用いて、物理変形シミュレーションにより、ＭＲＩ画像から得た乳房の表面形状から、圧迫変形後の乳房の表面形状を推定する。具体的には、変形パラメータを様々に変化させながら物理変形シミュレーションを行い、変形の適切性を表す評価値を最小とする変形形状を求める。このとき、生成した変形形状から得られる計算上の接触領域と、ステップＳ１１０５０で取得した接触領域との一致度を考慮した評価値を定義することが、本実施形態における変形推定部１０７０の特徴である。すなわち、乳房と保持板との接触領域に略合致するように、ＭＲＩ画像から得た乳房形状を圧迫変形させる変形形状を推定する。以下、本ステップにおける処理の詳細を、図１２のフローチャートを用いて説明する。

（ステップＳ１２０００）
ステップＳ１２０００において、変形推定部１０７０は、ステップＳ１１０１０で取得した乳房の表面形状に基づいて、該表面形状を表す３次元のメッシュ（以下、メッシュＭと表記する）を生成する。まず、変形推定部１０７０は、第１の実施形態と同様の方法により、ＰＡＴ装置座標系Ｃ_ＤＥＶにおける表面位置８０１の位置座標ベクトルｖ_{Ｓｉ＿ＤＥＶ}を求める。そして、表面位置８０１に基づいて乳房の内部領域を判別し、該内部領域にメッシュＭを配置する。

図１３は、メッシュＭの生成方法を示す模式図である。図１３（ａ）は、乳房の処理対象領域８００のサジタル断面であり、該断面における乳房の表面位置８０１と、それに対応する内部領域１３００を示している。図１３（ｂ）は、配置されたメッシュＭを示す模式図である。図１３（ｂ）のように、メッシュＭは乳房の内部領域１３００に６面体や４面体などの立体構造であるメッシュ要素１３０１を配置することにより生成される。メッシュＭは、これらのメッシュ要素の頂点（ノード１３０２）の位置及び連結情報によって記述される。なお、以下では、本ステップの処理で配置されるメッシュＭのノード数をｎ_ｍ、各ノードの位置をｓ_ｌ（１≦ｌ≦ｎ_ｍ）と表記する。各ノードの変位によって要素内の変位場を表現できるので、これに基づいて乳房内の任意の点の変位を求めることができる。

（ステップＳ１２０１０）
ステップＳ１２０１０において変形推定部１０７０は、変形パラメータの各成分（ヤング率やポアソン比等）が取りうる値を組み合わせて、ｎ_ｐ組の変形パラメータｐ_ｋ（１≦ｋ≦ｎ_ｐ）を生成する。例えば、各成分がとり得る範囲を適切な間隔で分割して、それらの全ての組み合わせを得ることで変形パラメータｐ_ｋを生成する。

非特許文献３では、乳房の硬さの非等方性に対応するために、人体のコロナル面（ｘ−ｚ平面）におけるヤング率と、人体の前後方向（ｙ軸方向）のヤング率の比（ｐｙと定義する）を、物理変形シミュレーションにおける材料パラメータとして利用している。本実施形態においても、変形パラメータとしてこのヤング率の比ｐ_ｙを適用する。例えば、ヤング率の比ｐ_ｙとポアソン比ｐ_ｐを変形パラメータｐ_ｋの成分として、ｐ_ｙ＝１，２，３，４，５、ｐ_ｐ＝０．０，０．２，０．４，０．４５，０．４９９を夫々のとり得る値とし、その組み合わせとしてｎ_ｐ＝２５組の変形パラメータを生成する。

（ステップＳ１２０２０）
ステップＳ１２０２０において変形推定部１０７０は、ループ変数ｋを１に初期化する。

（ステップＳ１２０３０）
ステップＳ１２０３０において、変形推定部１０７０は、ｋ番目の変形パラメータｐ_ｋを用いて（仮定して）、メッシュＭに対して有限要素法に基づく物理変形シミュレーションを施すことで、変形後のメッシュである変形メッシュＤＭ_ｋを得る。

ここで、図１４を用いて、本ステップで行う物理変形シミュレーションである、保持板による圧迫変形シミュレーションを具体的に説明する。実際の保持板による圧迫変形では、２枚の保持板を乳房の中心方向にそれぞれΔｄ_１、Δｄ_２の距離だけ移動させると、移動後の保持板の外側にはみ出た乳房の表面領域は保持板に張り付いた状態になる。そこで、図１４（ａ）に示すように、２枚の保持板をそれぞれΔｄ_１、Δｄ_２だけ移動させたと仮定する。そして、メッシュＭのノード１３０２の中の体表面を表すノード（表面ノード）から、保持平面Ｐ_Ｕｄ１、Ｐ_Ｌｄ２の外側にはみ出ているノード（外側表面ノード１４０１及び１４０２）を求める。そして、該外側表面ノード１４０１及び１４０２の夫々が保持平面に接するようになるための変位量を求める。これを変形シミュレーションの境界条件Ｃとして与えて有限要素法の計算を実行することで、２枚の保持板をそれぞれΔｄ_１、Δｄ_２だけ移動させて変形させた変形メッシュを生成する。本実施形態では、２枚の保持板を最終的な保持位置Ｐ_Ｕ、Ｐ_Ｌまで移動させるまでの間をｎ回の変形シミュレーションに分割することで、変形過程で生じる境界条件の変化に対応する。図１４（ｂ）は、ｎ回の変形シミュレーションを繰り返した結果の変形メッシュＤＭ_ｋを表している。この図から、物理変形シミュレーションにより乳房の変形メッシュが保持位置Ｐ_Ｕ、Ｐ_Ｌの間でｚ軸方向に圧縮され、ｙ軸方向に伸長されていることが分かる。

（ステップＳ１２０４０）
ステップＳ１２０４０において、変形推定部１０７０は、ステップＳ１１０５０で取得した接触領域の情報に基づいて、ステップＳ１２０３０で求めた変形メッシュＤＭ_ｋの形状の適切性（ＤＭ_ｋが表す変形の適切性）の評価値Ｅ_ｋを算出する。例えば、変形メッシュＤＭ_ｋから得られる計算上の接触領域と、ステップＳ１１０５０で取得した接触領域との間の形状誤差を算出して、これを評価値Ｅ_ｋとする。

図１５は、接触領域と変形メッシュの位置関係を示す模式図である。図１５（ａ）は、処理対象領域８００のサジタル断面において、接触領域と変形メッシュＤＭ_ｋを示した図である。ここで、１５００、１５０１は変形メッシュＤＭ_ｋに属するノードの中で、保持平面と接触するノード（以下、接触ノード）を表す。すなわち、接触ノードとは、変形メッシュＤＭ_ｋによる計算上の接触領域を表している。図１５（ｂ）は、処理対象領域８００の、平面Ｐ_Ｕにおけるアキシャル断面（ｚ＝ｚ_Ｕ）１５０２において、接触領域と変形メッシュＤＭ_ｋを示した図である。アキシャル断面１５０２上には、保持平面上に位置する接触領域８０２と、接触ノード１５００が示されている。この図では、接触領域８０２と接触ノード１５００との間に（すなわち、計測した接触領域と計算上の接触領域の間に）、ずれ（以下ではこれを、ずれ領域１５０３と呼ぶ）が発生していることが分かる。本実施形態では、保持平面Ｐ_Ｕにおける形状誤差Ｅ_Ｕｋを、以下の式（８）で表されるように、接触領域８０２の面積Ｓ_ＣＵと、接触ノード１５００で構成される領域の面積Ｓ_Ｕｋとの間の、面積の差の絶対値として算出する。

Ｅ_Ｕｋ＝｜Ｓ_ＣＵ−Ｓ_Ｕｋ｜ （８）
同様に、保持面Ｐ_Ｌにおける形状誤差Ｅ_Ｌｋを、接触領域８０３の面積Ｓ_ＣＬと、接触ノード１５０１で構成される領域の面積Ｓ_Ｌｋを用いて、以下の式（９）で算出する。

Ｅ_Ｌｋ＝｜Ｓ_ＣＬ−Ｓ_Ｌｋ｜ （９）
そして、変形形状の評価値Ｅ_ｋを、これらの和として式（１０）で算出する。

Ｅ_ｋ＝Ｅ_Ｕｋ＋Ｅ_Ｌｋ （１０）
但し、接触領域に基づく評価値Ｅ_ｋの算出方法は、上述に限られるものではない。例えば、接触領域８０２及び接触領域８０３の集合（取得した接触領域の３次元位置情報）と、接触ノード１５００で構成される領域及び接触ノード１５０１で構成される領域の集合（計算上の接触領域の３次元位置情報）と、の間の一致度として、これらの領域間の重なりの度合いを評価してもよい。例えば、ジャッカード係数を求めて、その逆数をＥ_ｋとしてもよい。あるいは、領域間の一致度を計量する何れの方法を採用してもよい。また、３次元空間中の接触領域ではなく、外観画像上に投影された接触領域の一致度に基づいて、評価値Ｅ_ｋを得るようにしてもよい。そのために、まず、接触ノード１５００を前面カメラ画像座標系に、接触ノード１５０１を後面カメラ画像座標系に投影変換することで、夫々の外観画像上における計算上の接触領域（計算上の接触領域を２次元画像上に投影した領域）を求める。そして、計算上の接触領域と、ステップＳ１１０５０で得た同画像上における接触領域との一致度を求めて、これを評価値Ｅ_ｋとする。このとき、接触領域の一致度としては、例えば、外観画像上における計算上の接触領域の面積と、外観画像上で検出された接触領域の面積と、の差Ｅ_{２Ｄ＿Ｃｋ}を用いることができる。また、外観画像上における計算上の接触領域と、外観画像上で検出された接触領域（取得した接触領域の２次元位置情報）の重なり度合いをもって一致度を評価することができる。例えばこれら二つの領域のジャッカード係数の逆数を評価値とすることができる。これにより、外観画像上における計算上の接触領域が、外観画像から取得した接触領域の２次元位置情報と略合致するように、変形形状を推定できる。

また、評価値Ｅ_ｋの算出は、接触領域の情報にのみに基づく必要はなく、形状に関するそれ以外の観測情報（外観画像に写る乳房の外輪郭や乳頭の位置など）を併用するものであってもよい。例えば、外観画像に写る乳房の外輪郭（シルエット）の形状と、外観画像に投影した変形メッシュＤＭ_ｋの外輪郭の形状と、の間の形状誤差Ｅ_{２Ｄ＿Ｓｋ}を加味してもよい。さらに、外観画像に写る乳房の特徴点（例えば乳頭位置）と、外観画像に投影した変形メッシュＤＭ_ｋの対応する特徴点と、の間の距離の差Ｅ_{２Ｄ＿Ｆｋ}を加味してもよい。例えば、これらの誤差Ｅ_{２Ｄ＿Ｃｋ}、Ｅ_{２Ｄ＿Ｓｋ}、Ｅ_{２Ｄ＿Ｆｋ}を総合したものを評価値Ｅ_ｋとする場合、Ｅ_ｋは以下の式（１１）により表すことができる。

Ｅ_ｋ＝ａ・Ｅ_{２Ｄ＿Ｃｋ}＋ｂ・Ｅ_{２Ｄ＿Ｓｋ}＋ｃ・Ｅ_{２Ｄ＿Ｆｋ} （１１）
但し、ａ、ｂ、ｃは重み係数であり、ａ＋ｂ＋ｃ＝１を満たす。無論、評価値Ｅ_ｋは上述の式（１０）によって求められる評価値と、Ｅ_{２Ｄ＿Ｓｋ}、Ｅ_{２Ｄ＿Ｆｋ}を組み合わせて算出したものであってもよい。以上の処理により、変形メッシュＤＭ_ｋの形状の適切性の評価値Ｅ_ｋが算出される。

（ステップＳ１２０５０）
ステップＳ１２０５０において、変形推定部１０７０は、ステップＳ１２０４０で算出した評価値Ｅ_ｋが、現在の評価値の最小値Ｅ_ＭＩＮよりも小さいか否かを判定する。Ｅ_ｋ＜Ｅ_ＭＩＮの場合は、ステップＳ１２０６０へと処理を進め、Ｅ_ｋ≧Ｅ_ＭＩＮの場合は、ステップＳ１２０７０へと処理を進める。

（ステップＳ１２０６０）
ステップＳ１２０６０において、変形推定部１０７０は、現在の評価値の最小値Ｅ_ＭＩＮをＥ_ｋに更新し（Ｅ_ＭＩＮ＝Ｅ_ｋとする）、さらに、Ｅ_ＭＩＮに対応する変形メッシュＤＭ_ＭＩＮをＤＭ_ｋに更新する（ＤＭ_ＭＩＮ＝ＤＭ_ｋとする）。

（ステップＳ１２０７０）
ステップＳ１２０７０において、変形推定部１０７０は、ループ変数ｋを（ｋ＋１）に更新する（ｋ＝ｋ＋１とする）。

（ステップＳ１２０８０）
ステップＳ１２０８０において、変形推定部１０７０は、ループ変数ｋが変形パラメータｐ_ｋの個数ｎ_ｐよりも大きいか否かを判定する。ｋ＞ｎ_ｐの場合は処理はステップＳ１１０７０に進み、ｋ≦ｎ_ｐの場合は、ステップＳ１２０３０へと処理を進める。

以上で、変形推定部１０７０が行うステップＳ１１０６０の処理を終了する。以上の処理フローを実行することにより、様々な変形パラメータｐ_ｋを仮定して変形シミュレーションを実行した結果の中で、形状の適切性の評価値Ｅ_ｋを最も小さくする変形メッシュＤＭ_ＭＩＮが取得される。このとき、変形関数Ｆ（ｘ、ｙ、ｚ）は、メッシュＭから変形メッシュＤＭ_ＭＩＮへの各ノードの変位を与える変位ベクトルｄ_{ＭＩＮ＿ｌ}（１≦ｌ≦ｎ_ｍ）として取得される。

このように、本実施形態では、現実の物理現象をシミュレーションする物理変形シミュレーションを用いて乳房と保持板との接触領域に略合致するように圧迫変形を施したＭＲＩ画像を生成する。これにより、ＰＡＴ画像とＭＲＩ画像との間のより高精度な位置合わせを実現し、両者を併用した診断の効率を向上させることができる。

＜第２実施形態の変形例＞
本実施形態におけるＰＡＴ装置１２０の保持板は平板であり、乳房を保持する保持面は平面であった。しかしながら、保持面の形状は平面に限るものではなく、既知の形状であればどのような形状であってもよい。例えば、２枚の平面を組み合わせた保持面や、円弧状の保持面であってもよい。このとき、ステップＳ１１０５０において、接触領域の３次元位置は、これらの既知の形状の保持面と、外観画像上における接触領域各点への視線との交点として算出すればよい。

また、保持面の形状を既知の情報として予め記憶している構成である必要はなく、変形する保持面の形状を他の方法で都度計測する構成であってもよい。ＰＡＴ装置では、超音波信号を受信するため、超音波探触子と被検体である乳房との間に空気が存在しないように、保持板上にゲル状の部材が貼り付けられ、このゲル状の部材を介した状態で保持板により乳房が保持される場合がある。このとき、乳房が保持された状態のゲル状の部材の表面形状が超音波撮影装置などで計測されているならば、ゲル状の部材の３次元形状は既知となる。従って、ゲル状の部材と乳房の間の接触領域をカメラ画像から検出することができれば、計測されたゲル状の部材の３次元形状を利用して、接触領域の３次元位置情報を求めることができ、圧迫変形位置合わせに利用することができる。但し、この場合の圧迫変形位置合わせでは、乳房だけではなくゲル状の部材を考慮した物理変形シミュレーションを行う必要がある。これは、例えば、従来の有限要素法において、ゲル状の部材の特徴を持つ材料係数に基づくメッシュを生成し（ゲルメッシュと呼ぶ）、ゲルメッシュと乳房のメッシュを含めて２枚の保持板による圧迫変形シミュレーションを施すことで実行することができる。

［第３の実施形態］
第１及び第２の実施形態では、ＰＡＴ画像とＭＲＩ画像の変形位置合わせを目的として、乳房と保持板との間の接触領域の情報に基づいて、ＭＲＩ画像に圧迫変形を施した変形ＭＲＩ画像を生成していた。これに対して、本実施形態に係る画像処理装置は、ＰＡＴ装置の被検体である乳房の３次元形状を、高精度に取得することを目的とする。そして、計測した乳房の３次元形状に基づいて、乳房内における光量分布の推定を高精度化し、乳房内における光吸収係数の分布を正確に画像化することを目的とする。また、血液の酸素飽和度の分布を正確に画像化することを目的とする。本実施形態では、非保持状態における乳房の形状を近似する３次元形状モデルを求め、これに対して、乳房と保持板との間の接触領域に合致するように圧迫変形を施すことで、変形後の３次元形状モデルを生成する。そして、生成した３次元形状モデルに基づいて、乳房内における光吸収係数や酸素飽和度の分布を高精度に画像化する。以下、本実施形態に係るシステムについて説明する。

先ず、本実施形態に係るシステムの機能構成例について、図１６のブロック図を用いて説明する。本実施形態に係るシステムは図１６に示す如く、画像処理装置１６００とＰＡＴ装置１２０とを有しており、互いにデータ通信が可能なように接続されている。図１６において図１に示した機能部と同じ機能部については同じ参照番号を付しており、これらの機能部に係る説明は省略する。

ここで、本実施形態に係るＰＡＴ装置１２０は、規定の波長（以下、λ１，λ２と記す）からなる２種類の照射光を有しており、夫々の照射光を用いた計測を行う。そして、夫々の照射光に対して乳房内の光エネルギー堆積量分布を画像化した３次元画像（以下、光エネルギー堆積量分布画像Ｄ_{ＡＣＭ＿λ１}，Ｄ_{ＡＣＭ＿λ２}と呼ぶ）を、ＰＡＴ画像として生成する。

次に、図１７のフローチャートを利用して、本実施形態における画像処理装置１６００の各部の動作と処理手順を説明する。但し、ステップＳ１７０２０、Ｓ１７０３０、Ｓ１７０３５、Ｓ１７０５０はそれぞれ、図１１のフローチャートにおける、ステップＳ１１０２０、Ｓ１１０３０、Ｓ１１０３５、Ｓ１１０５０の処理と同様であるため、説明は省略する。なお、ステップＳ１７０２０において、本実施形態のＰＡＴ画像取得部１０３０は、２種類の照射光に対する光エネルギー堆積量分布画像Ｄ_{ＡＣＭ＿λ１}，Ｄ_{ＡＣＭ＿λ２}を、ＰＡＴ画像として取得する。

（ステップＳ１７０４０：非保持形状の推定）
ステップＳ１７０７０において、非保持形状推定部１６０５５は、ステップＳ１７０３５で得た非保持状態のカメラ画像（Ｉ’ＣＡＭ１，Ｉ’ＣＡＭ２）上における乳房領域に基づいて、非保持状態における乳房の３次元形状を推定する。例えば、楕円体モデルを当てはめる（モデルの投影像と乳房領域との差を最小化するパラメータを求める）ことで、非保持状態における乳房の形状を近似する形状モデルを生成する。

（ステップＳ１７０６０：変形の推定）
ステップＳ１７０６０において、変形推定部１６０７０は、第２の実施形態におけるステップＳ１１０６０と同様の処理によって乳房の変形を推定し、保持状態における乳房の形状モデル（すなわち、変形メッシュＤ_ＭＭＩＮ）を生成する。ただし、本実施形態では、ＭＲＩ画像から得た乳房の表面形状ではなく、ステップＳ１７０４０で得た形状モデルを変形前の形状として用いる点が、ステップＳ１１０６０の処理とは異なっている。

（ステップＳ１７０７０：光量分布の算出）
ステップＳ１７０７０において、光量分布算出部１６０７５は、ステップＳ１７０６０で取得した変形メッシュＤＭ_ＭＩＮに基づき、夫々の照射光について、乳房内に照射された光量分布Ｄ_{ＬＶ＿λ１}，Ｄ_{ＬＶ＿λ２}を推定する。光量分布は、乳房の内部領域における照射光量の３次元分布である。光量分布を計算する際は、入射光に関する情報（光照射条件）と、乳房の３次元形状と、乳房内の光吸収や光散乱などの光学係数（光学特性値）が必要である。本実施形態では、入射光に関する情報は、既知の情報として画像処理装置１００内の不図示のメモリが保持しているものとする。また、乳房の光学係数は、乳房内の平均的な光学係数、つまり乳房の測定部位に固有の平均的な光学係数を、既知の情報として画像処理装置１００内の不図示のメモリが保持しているものとする。そして、乳房の３次元形状として、ステップＳ１７０６０で取得した変形メッシュＤＭ_ＭＩＮの表面形状を適用する。これらの情報に基づく光量分布の推定は、例えば、特許文献１に記載の方法によって行うことができる。

（ステップＳ１７０８０：光吸収係数分布の算出）
ステップＳ１７０８０において、光吸収係数分布算出部１６０８５は、ステップＳ１７０２０で得た光エネルギー堆積量分布画像に対して、ステップＳ１７０７０で得た光量分布に基づく光分布補正処理を施す。そして、この補正処理により、夫々の波長に対する被検体内の光吸収係数分布を画像化した３次元画像（以下、光吸収係数分布画像Ｄ_{ＡＢＳ＿λ１}，Ｄ_{ＡＢＳ＿λ２}と呼ぶ）を生成する。すなわち、光エネルギー堆積量分布画像Ｄ_{ＡＣＭ＿λ１}を光量分布Ｄ_{ＬＶ＿λ１}で除算し、同様にＤ_{ＡＣＭ＿λ２}をＤ_{ＬＶ＿λ２}で除算することで、Ｄ_{ＡＢＳ＿λ１}とＤ_{ＡＢＳ＿λ２}の夫々を算出する。

そして、得られた２種類の波長の光吸収係数分布画像Ｄ_{ＡＢＳ＿λ１}，Ｄ_{ＡＢＳ＿λ２}と、生体組織を構成する物質固有の波長依存性とを比較することによって、生体組織を構成する物質の濃度分布を画像化することができる。生体組織を構成する物質としては、グルコース、コラーゲン、酸化・還元ヘモグロビンなどが想定される。

このように、本実施形態では、乳房と保持板との間の接触領域に基づいて、ＰＡＴ画像撮影時の乳房の３次元形状モデルを生成する。これにより、乳房内の正確な光量分布を得て、乳房の光吸収係数分布を高精度に推定可能とする。

＜第３実施形態の変形例＞
本実施形態では、非保持状態における乳房の形状を近似する３次元形状モデルに変形処理を施すことで、保持状態における乳房の３次元形状モデルを得ていた。しかし、これは別の方法であってもよい。例えば、保持状態における乳房の３次元形状モデルを直接（すなわち、非保持状態の乳房形状に対する圧迫変形推定処理を介さずに）生成するようにしてもよい。例えば、以下のようにしてもよい。

まず、乳房が２枚の保持板の平面に挟まれた領域の内側に存在するという条件を取り除いて（保持板の平面に挟まれた領域の外側にはみ出してもよい）、以下の２点の条件を満たす（最も近くなる）ような楕円体モデルを生成する。

・ 楕円体モデルの表面位置が２枚の保持板上の接触領域の輪郭に接する
・ 楕円体モデルを外観画像に投影したとき、投影された楕円体モデルのシルエット形状が前後のカメラによる外観画像に写る被検体（乳房）のシルエット形状に合致する
次に、２枚の保持板の平面に挟まれた領域の外側にはみ出した楕円体モデルの領域を切り捨てた３次元形状を生成する。これにより、圧迫変形推定処理を介さずに、接触領域に合致する３次元形状モデルを生成できる。

［第４の実施形態］
図１，１６に示した画像処理装置１００（１６００）を構成する各機能部は何れもハードウェアで構成しても良いが、一部若しくは全部をソフトウェア（コンピュータプログラム）で実装しても良い。

例えば、画像処理装置１００（１６００）を構成する各機能部をコンピュータプログラムで実装する場合、このコンピュータプログラムを保持するメモリと、該コンピュータプログラムを実行するプロセッサと、を有する装置を考える。この装置のプロセッサは、メモリに格納されているこのコンピュータプログラムを実行することで、対応する機能部の機能を実現することができる。然るに、このような装置は、画像処理装置１００（１６００）に適用することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 被検体を保持部材で保持した保持状態で該被検体を撮影した画像に基づいて、該被検体と該保持部材との接触領域を取得する取得手段と、
   前記接触領域に基づいて、前記保持状態における前記被検体の３次元形状を推定する推定手段と
   を備えることを特徴とする画像処理装置。
2. 前記保持部材と接触する前の前記被検体の３次元の形状モデルを取得する形状取得手段をさらに有し、
   前記推定手段は、前記接触領域に基づき、前記形状モデルを変形させて前記被検体の３次元形状を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記形状取得手段は、前記被検体の３次元医用画像から得られる前記被検体の表面形状に基づいて、前記形状モデルを取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、前記３次元形状の推定値に基づく前記保持部材との計算上の接触領域が、前記取得手段が取得した接触領域に略合致するように、前記３次元形状を推定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像は２次元画像であって、
   前記取得手段は、前記２次元画像における前記接触領域の２次元位置情報を取得し、
   前記推定手段は、前記計算上の接触領域を前記２次元画像上に投影した領域が、前記取得手段が取得した前記接触領域の２次元位置情報に略合致するように、前記３次元形状を推定することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像は２次元画像であって、
   前記取得手段は、前記保持部材の形状に基づいて、前記２次元画像における前記接触領域の２次元位置情報から該接触領域の３次元位置情報を取得し、
   前記推定手段は、前記計算上の接触領域の３次元位置情報が、前記取得手段が取得した前記接触領域の３次元位置情報に略合致するように、前記３次元形状を推定することを特徴とする請求項４に記載の画像処理装置。
7. 前記保持部材は、光が透過可能な部材であって、前記画像は、前記保持部材を介して前記被検体を撮影した画像であることを特徴とする請求項１に記載の画像処理装置。
8. 前記被検体に光を照射する照射手段をさらに備え、
   前記取得手段は、前記画像に写し出された被検体の輝度値に基づいて前記接触領域に関する情報を抽出することを特徴とする請求項７に記載の画像処理装置。
9. 更に、
   前記被検体の３次元医用画像に対し、該被検体が、前記推定手段が推定した形状を有するように変形処理を行うことで、変形した３次元医用画像を生成する手段を備えることを特徴とする請求項３に記載の画像処理装置。
10. 被検体を保持部材で保持した保持状態で該被検体を撮影した画像に基づいて、該被検体と該保持部材との接触領域を取得する取得工程と、
    前記接触領域に基づいて、前記保持状態における前記被検体の３次元形状を推定する推定工程と
    を備えることを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。