JP2020175271A - 医用画像処理装置 - Google Patents

Abstract

【課題】 マンモグラフィ装置と超音波診断装置の併用時に、表示装置の大きさや形状が変化しても見やすい画面表示のマンモグラフィ画像を提供すること。【解決手段】 実施形態の医用画像処理装置は、医用画像診断装置によって撮影された被検体の乳房を示す第１画像と、当該第１画像に対応付けられた読影情報を記憶する記憶部と、ネットワークを介して接続された表示装置から、当該表示装置に関する情報を取得し、取得した当該情報から前記第１画像を表示する際のレイアウトを決定する決定部と、決定されたレイアウトと、第１画像に対応付けられた読影情報に基づいて第２画像を生成する生成部と、表示装置に対してオーバレイ画像を送信する送信部とを具備する。【選択図】図１

Description

本発明の実施形態は医用画像処理装置、医用情報処理システム、及び医用情報処理プログラムに関する。

従来、乳がん検診等で実施される乳腺画像診断は、マンモグラフィ装置によって撮像されたマンモグラフィ画像を用いて行われるのが一般的であった。これに対し、近年では、マンモグラフィ画像と超音波画像とを併用した乳腺画像診断が行われている。

このようなマンモグラフィ画像と超音波画像を併用した乳腺画像診断時においては、まず、オペレータはマンモグラフィ画像の撮像を行い、別のオペレータがマンモグラフィ画像を参照しながら、超音波画像の撮像を行うことが多い。このとき、マンモグラフィ画像上に関心領域を設定し、当該マンモグラフィ画像上での関心領域の位置情報と、当該マンモグラフィ画像の撮影方向を示す情報とを用いて、乳房を模式的に表した模式図が生成される。当該模式図はマンモグラフィ画像に付して超音波診断時の表示装置に送信される。オペレータは当該模式図やマンモグラフィ画像の読影情報を示す所見コメント等の種々の補助情報とマンモグラフィ画像を参照しつつ、超音波画像の撮像を行なうことがある。

しかし、超音波診断装置のオペレータが参照する表示環境は様々であり、マンモグラフィ画像と補助情報の配置や大きさによっては、オペレータが当該マンモグラフィ画像及び補助情報を参照しにくい場合も想定される。例えば、表示画面が大きい表示装置と表示画面が小さい表示装置に対して、表示領域に対して同一のレイアウトにてマンモグラフィ画像及び補助情報を表示すると、表示画面が小さい表示装置では補助情報が参照しにくいことが想定される。

そこで、オペレータを補助するために、上述の模式図等の補助情報とマンモグラフィ画像は送信先の表示画面の大きさや形状に応じて、オペレータが視認しやすい大きさやレイアウトに調整される必要がある。

特開２０１５−２７４５０号公報

本発明が解決しようとする課題は、マンモグラフィ画像と超音波画像とを併用した乳腺画像診断時において、模式図等を表示先のレイアウトに応じて表示可能な医用画像処理装置、医用情報処理システム、及び医用情報処理プログラムを提供することである。

実施形態の医用画像処理装置は、医用画像診断装置によって撮影された被検体の乳房を示す第１画像と、当該第１画像に対応付けられた読影情報を記憶する記憶部と、ネットワークを介して接続された表示装置から、当該表示装置に関する情報を取得し、取得した当該情報から前記第１画像を表示する際のレイアウトを決定する決定部と、決定されたレイアウトと、第１画像に対応付けられた読影情報に基づいて第２画像を生成する生成部と、表示装置に対してオーバレイ画像を送信する送信部とを具備する。

実施形態に係る医用画像処理装置の構成例を示すブロック図。 実施形態に係るマンモグラフィ装置の構成例を示す図。 実施形態に係るマンモグラフィ装置の構成例を示すブロック図。 実施形態に係る超音波診断装置の構成例を示すブロック図。 実施形態に係る医用画像処理装置の構成例を示すブロック図。 実施形態に係る送信先情報記憶回路が記録する情報の一例を示す図。 実施形態に係る模式図の一例を示す図。 実施形態に係るレイアウト決定機能を説明するための説明図。 実施形態に係るレイアウト決定の流れを示すフローチャート。 実施形態に係るオーバレイ画像のレイアウトの一例を説明するための図。 実施形態に係るレイアウト生成機能を説明するための説明図。 実施形態に係る処理の一例を説明するためのフローチャート。 実施形態に係る処理の一例を説明するためのフローチャート。 実施形態の変形例を説明するための説明図。

以下、図面を参照して、医用画像処理装置、医用情報処理システム、及び医用情報処理プログラムに関する説明を行う。

（実施形態）
［医用情報処理システム］

図１は、実施形態に係る医用情報処理システム１００の構成を示すブロック図である。本実施形態に係る医用情報処理システム１００は、乳癌検診が行われる病院に設置され、マンモグラフィ画像と超音波画像を併用した乳腺画像診断時に利用される。例えば、図１に示すように、本実施形態に係る医用情報処理システム１００は、マンモグラフィ装置１０と、超音波診断装置２０と、マンモグラフィ装置１０と接続された医用画像処理装置３０と、画像出力装置４０とを有する。各装置は、ネットワーク５０を介して相互に接続され、マンモグラフィ装置１０や超音波診断装置２０によって撮像された画像データ等を相互に送受信する。

なお、本実施形態ではマンモグラフィ装置１０と医用画像処理装置３０は接続されており、別体の構成を有するものとして説明するが、マンモグラフィ装置１０は医用画像処理装置３０の機能を含んで構成しても構わないし、図１に示すようにマンモグラフィ装置１０と医用画像処理装置３０は接続された状態で別体にて構成しても構わない。別体の場合にはマンモグラフィ装置１０に接続された医用画像処理装置３０にて生成された情報は、マンモグラフィ装置１０を介して超音波診断装置２０や画像出力装置４０へと送信される。また、医用画像処理装置３０はマンモグラフィ装置１０とは接続せずにネットワーク５０を介して接続されることにしても構わない。

［マンモグラフィ装置］
マンモグラフィ装置１０は、被検体の乳房にＸ線を照射し、乳房を通過したＸ線を検出してマンモグラフィ画像（第１画像）を生成するＸ線診断装置の一形態である。

図２及び図３は、実施形態に係るマンモグラフィ装置１０の構成例を示す図である。例えば、図２に示すように、マンモグラフィ装置１０は、基台１１と、スタンド１２とを有する。スタンド１２は、基台１１上に立設され、撮影台１３と、圧迫板１４と、Ｘ線出力装置１５と、Ｘ線検出装置１６とを支持する。なお、撮影台１３と、圧迫板１４と、Ｘ線検出装置１６とは、上下方向へ移動可能に支持されている。

撮影台１３は、被検体の乳房Ｂを支持する台であり、乳房Ｂが載せられる支持面１３ａを有する。圧迫板１４は、撮影台１３の上方に配置され、撮影台１３に対して平行に対向するとともに撮影台１３に対して接離する方向へ移動可能に設けられている。なお、圧迫板１４は、撮影台１３に接近する方向に移動した場合に、撮影台１３上に支持されている乳房Ｂを圧迫する。圧迫板１４によって圧迫された乳房Ｂは薄く押し広げられ、乳房Ｂ内の乳腺の重なりが減少する。

また、図３に示すように、マンモグラフィ装置１０は、入力装置１７ａと昇降駆動装置１７ｂと、高電圧発生装置１７ｃと、記憶回路１７ｄと、表示装置１７ｅと、処理回路１７ｆとを有する。

入力装置１７ａ（入力部）は、オペレータから各種コマンドの入力操作等を受け付ける機能を有し、トラックボール、ジョイスティック、各種ボタンを有するメインコンソール、キーボード、マウスなどの入力デバイス、およびフットスイッチによって構成される。

昇降駆動装置１７ｂは、撮影台１３に接続され、撮影台１３を上下方向へ昇降させる機能を有し、複数のモータやギア等によって構成される装置である。さらに、昇降駆動装置１７ｂは、圧迫板１４に接続され、圧迫板１４を上下方向（撮影台１３に対して接離する方向）へ昇降させる。

Ｘ線出力装置１５は、Ｘ線管１５ａと、Ｘ線絞り器１５ｂから構成され、被検体に対してＸ線を出力する機能を有する。Ｘ線管１５ａは、Ｘ線を発生させる真空管であり、陰極（フィラメント）より放出された熱電子を高電圧によって加速させ、この加速電子をタングステン陽極に衝突させることでＸ線を発生させる。Ｘ線絞り器１５ｂは、Ｘ線管１５ａと圧迫板１４との間に配置され、鉛で構成される。Ｘ線絞り器１５ｂは、Ｘ線管１５ａから発生したＸ線の照射範囲を制御する機能を有する。

高電圧発生装置１７ｃは、Ｘ線管１５ａに接続され、Ｘ線管１５ａがＸ線を発生するための高電圧を供給するための電源装置である。

Ｘ線検出装置１６は、Ｘ線検出器１６ａと、信号処理回路１６ｂとを有する。Ｘ線検出器１６ａは、乳房Ｂと撮影台１３とを透過したＸ線を検出して電気信号（透過Ｘ線データ）に変換する機能を有し、例えばＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）で構成される。ＦＰＤは微小な検出素子を列方向及びライン方向に２次元的に配列して構成される。各々の検出素子はＸ線を感知し、入射Ｘ線量に応じて電荷を生成する光電膜と、この光電膜に発生した電荷を蓄積する電荷蓄積コンデンサと、電荷蓄積コンデンサに蓄積された電荷を所定のタイミングで出力するＴＦＴ薄膜トランジスタから構成されている。

信号処理回路１６ｂは、Ｘ線検出器１６ａによって変換された電気信号からＸ線投影データを生成する電気回路である。

記憶回路１７ｄ（記憶部）は、後述する処理回路１７ｆの画像処理機能１７２によって生成されたマンモグラフィ画像を保存する。画像処理機能１７２によって生成されたマンモグラフィ画像は表示装置１７ｅに表示される。記憶回路１７ｄは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子やハードディスク、光ディスク等によって構成される。

処理回路１７ｆは、システム制御機能１７１と、画像処理機能１７２と、通信制御機能１７３とを含んで構成される。

システム制御機能１７１は、入力装置１７ａと、昇降駆動装置１７ｂと、高電圧発生装置１７ｃと、Ｘ線絞り器１５ｂと、処理回路１７ｆとに接続され、マンモグラフィ装置１０を統括して制御する。

画像処理機能１７２は、信号処理回路１６ｂと、記憶回路１７ｄとに接続され、信号処理回路１６ｂによって生成されたＸ線投影データを読み込んでマンモグラフィ画像を生成し、生成したマンモグラフィ画像を記憶回路１７ｄに保存する。また、画像処理機能１７２は、表示装置１７ｅに接続され、生成したマンモグラフィ画像を表示装置１７ｅに表示する。表示装置１７ｅは、液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、タッチパネル等にて構成され、マンモグラフィ装置１０のオペレータが入力装置１７ａを介して各種指示や設定要求を入力するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や、画像処理機能１７２によって生成されたマンモグラフィ画像や解析結果を表示する。

通信制御機能１７３は、ネットワーク５０を介して他の装置との間で行われる通信を制御する。例えば、通信制御機能１７３は、ネットワーク５０を介して、画像処理機能１７２によって生成されたマンモグラフィ画像を他の装置に転送する。ネットワーク５０を介して転送された画像は、転送先の装置において、画像表示又は画像処理などを実施することが可能である。例えば、通信制御機能１７３は、マンモグラフィ画像や、当該マンモグラフィ画像に関してオペレータが記した所見コメント等の情報を、マンモグラフィ装置１０に接続された医用画像処理装置３０へと送信する。また、通信制御機能１７３は、後述する医用画像処理装置３０が生成するオーバレイ画像を超音波診断装置２０や画像出力装置４０へと送信する機能も有する。

また、処理回路１７ｆの構成要素、システム制御機能１７１、画像処理機能１７２、通信制御機能１７３にて行われる各処理機能は、コンピュータによって実行可能な医用情報処理プログラムの形態で記憶回路１７ｄに記録されている。処理回路１７ｆは医用情報処理プログラムを記憶回路１７ｄから読み出し、実行することで各医用情報処理プログラムに対応する機能を実現するプロセッサである。換言すると、各医用情報処理プログラムを読み出した状態の処理回路１７ｆは、図３の処理回路１７ｆ内に示された各機能を有することとなる。なお、図３においては単一の処理回路１７ｆにて、システム制御機能１７１、画像処理機能１７２、通信制御機能１７３が実行する各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１７ｆを構成し、各プロセッサが医用情報処理プログラムを実行することにより機能を実現するものとしても構わない。

図１に戻って、超音波診断装置２０は、超音波を送受信する超音波プローブにて、被検体を超音波で走査することで収集された反射波データから超音波画像を生成する。

［超音波診断装置］
図４は、実施形態に係る超音波診断装置２０の構成例を示す図である。図４に示すように、本実施形態に係る超音波診断装置２０は、超音波プローブ２１と、入力装置２２と、表示装置２３と、装置本体２４とを備える。

超音波プローブ２１は、複数の圧電振動子から構成される。複数の圧電振動子は、後述する装置本体２４が有する送受信回路２４１から供給される駆動信号を受けて超音波パルスを発生し、被検体からの反射波を受信して電気信号に変換する。また、超音波プローブ２１は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。

超音波プローブ２１から被検体に超音波パルスが送信されると、送信された超音波パルスは、被検体の体内組織における音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ２１が有する複数の圧電振動子にて受信される。受信されるエコー信号の振幅は、超音波パルスが反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血液や心臓壁などの表面で反射された場合のエコー信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。例えば、乳房内に腫瘍部位が認められる場合には、腫瘍部位における血流が正常部位に比して顕著に認められる。そのため、後述するＢモード画像に加えてドプラ画像を用いた診断が有効である。ここで、Ｂモード画像とは反射波データの信号強度を輝度の明るさで表現した画像のことである。また、ドプラ画像とは反射波データの速度情報を周波数解析し、ドプラ効果による血液や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータから生成される画像である。

入力装置２２は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボールなどによって構成され、装置本体２４に接続される。また、入力装置２２は、超音波診断装置２０のオペレータからの各種指示や設定要求を受け付け、受け付けた各種指示や設定要求を装置本体２４に対して転送する。
表示装置２３は、液晶ディスプレイ、ＣＲＴディスプレイ、タッチパネル等にて構成され、超音波診断装置２０のオペレータが入力装置２２を介して各種指示や設定要求を入力するためのＧＵＩや、装置本体２４において生成された超音波画像や、超音波画像に対して距離計測などを行なった際の解析結果を表示する。表示装置２３は、Ｂモード画像とドプラ画像の表示を切り換えることが可能である。

装置本体２４は、超音波プローブ２１によって受信された反射波を用いて超音波画像を生成する。装置本体２４は、図４に示すように、送受信回路２４１と、記憶回路２４２と、記憶回路２４２と、処理回路２４４とを有する。

送受信回路２４１は、トリガ発生回路、送信遅延回路及びパルサ回路などを組み合わせて構成され、超音波プローブ２１に駆動信号を供給する電気回路である。パルサ回路は、所定の繰り返し周波数（ＰＲＦ（Ｐｕｌｓｅ Ｒｅｐｅｔｉｔｉｏｎ Ｆｒｅｑｕｅｎｃｙ））の超音波パルスを形成するためのレートパルスを繰り返し発生する。また、送信遅延回路は、超音波プローブ２１から発生される超音波パルスをビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の送信遅延時間を、パルサ回路が発生する各レートパルスに対して与える。また、トリガ発生回路は、レートパルスに依存するタイミングで、超音波プローブ２１に駆動信号（駆動パルス）を印加する。すなわち、送信遅延回路は、各レートパルスに対して与える送信遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。

また、送受信回路２４１は、アンプ回路、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｅｇｉｔａｌ）変換器、受信遅延回路、加算器、直交検波回路などを有し、超音波プローブ２１が受信した反射波信号に対して各種処理を行って反射波データを生成する。アンプ回路は、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換する。受信遅延回路は、デジタルデータに受信指向性を決定するのに必要な受信遅延時間を与える。加算器は、受信遅延回路により受信遅延時間が与えられた反射波信号の加算処理を行う。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

記憶回路２４２（記憶部）は、後述する処理回路２４４の画像処理機能２４４ｄによって生成された超音波画像や、超音波画像の画像処理をすることで生成した画像、超音波送受信、画像処理及び表示処理を行うための装置制御プログラムや、診断情報（例えば、患者ＩＤ）や各種設定情報などの各種データなどを記憶する。記憶回路２４２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子やハードディスク、光ディスク等によって構成される。

処理回路２４４は、システム制御機能２４４ａ、Ｂモード処理機能２４４ｂ、ドプラ処理機能２４４ｃ、画像処理機能２４４ｄ、通信制御機能２４４ｅを含んで構成される。 システム制御機能２４４ａは、超音波診断装置２０における処理全体を制御する。具体的には、システム制御機能２４４ａは、入力装置２２を介してオペレータから入力された各種指示や設定要求、記憶回路２４２から読み込んだ各種プログラム及び各種設定情報を用いて、送受信回路２４１、Ｂモード処理機能２４４ｂ、ドプラ処理機能２４４ｃ、及び画像処理機能２４４ｄの処理を制御したり、記憶回路２４２が記憶する超音波画像などを表示装置２３にて表示するように制御したりする。

Ｂモード処理機能２４４ｂは、送受信回路２４１から反射波データを受け取り、対数増幅、包絡線検波処理などを行って、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ドプラ処理機能２４４ｃは、送受信回路２４１から受け取った反射波データから速度情報を周波数解析し、ドプラ効果による血液や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

画像処理機能２４４ｄは、Ｂモード処理機能２４４ｂによって生成されたＢモードデータや、ドプラ処理機能２４４ｃによって生成されたドプラデータから、超音波画像を生成する。具体的には、画像処理機能２４４ｄは、ＢモードデータからＢモード画像を生成し、ドプラデータからドプラ画像を生成する。また、画像処理機能２４４ｄは、座標変換やデータ補間などを行うことで、超音波スキャンの走査線信号列をテレビなどに代表されるビデオフォーマットの走査線信号列に変換（スキャンバーコード）し、表示画像として超音波画像（Ｂモード画像、ドプラ画像）を生成する。

通信制御機能２４４ｅは、ネットワーク５０を介して他の装置との間で行われる通信を制御する。例えば、通信制御機能２４４ｅは、ネットワーク５０を介して、画像処理機能２４４ｄによって生成された超音波画像を他の装置に転送する。ネットワーク５０を介して転送された超音波画像は、転送先の装置において、画像表示又は画像処理などを実施することが可能である。また、通信制御機能２４４ｅは、ネットワーク５０を介して他の装置から転送された画像データの受信を行なう。

また、処理回路２４４の構成要素、システム制御機能２４４ａ、Ｂモード処理機能２４４ｂ、ドプラ処理機能２４４ｃ、画像処理機能２４４ｄ、通信制御機能２４４ｅにて行われる各処理機能は、コンピュータによって実行可能な医用情報処理プログラムの形態で記憶回路２４２に記録されている。処理回路２４４は医用情報処理プログラムを記憶回路から読み出し、実行することで各医用情報処理プログラムに対応する機能を実現するプロセッサである。換言すると、各医用情報処理プログラムを読み出した状態の処理回路２４４は、図４の処理回路２４４内に示された各機能を有することとなる。なお、図４においては単一の処理回路２４４によってシステム制御機能２４４ａ、Ｂモード処理機能２４４ｂ、ドプラ処理機能２４４ｃ、画像処理機能２４４ｄ、通信制御機能２４４ｅが実現する各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路２４４を構成し、各プロセッサが医用情報処理プログラムを実行することにより機能を実現するものとしても構わない。

［画像出力装置］
画像出力装置４０（表示部）は、マンモグラフィ画像や、マンモグラフィ画像に関する所見コメント等を含んだオーバレイ画像を医用画像処理装置３０から取得して表示する。なお、超音波診断装置２０の表示装置２３を画像出力装置４０として用いることにしても良い。その場合、表示装置２３によって構成される画像出力装置４０は、マンモグラフィ画像とオーバレイ画像に加え、超音波画像も合わせて表示することにしても良い。この画像出力装置４０は、主に、超音波検査のオペレータによって超音波検査が行われる際に利用される。例えば、画像出力装置４０は、オペレータによって持ち運び可能であり、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してネットワーク５０に接続可能なタブレット端末である。なお、画像出力装置４０は、例えば、ノートパソコンであっても良いし、プリンタ等の印刷装置であっても良い。

［医用画像処理装置］
図１に戻って、医用画像処理装置３０は、マンモグラフィ装置１０と接続された構成を有し、マンモグラフィ装置１０によって生成されたマンモグラフィ画像の読影の処理を行う機能を有する。医用画像処理装置３０は、マンモグラフィ検査のオペレータからマンモグラフィ画像に関する所見コメントの入力を受け付け、受け付けた所見コメントを示す情報を記憶する。例えば、医用画像処理装置３０は、ワークステーションにより構成される。

図５は、実施形態に係る医用画像処理装置３０の構成例を示す図である。図５に示すように、医用画像処理装置３０は、入力装置３１と、表示装置３２と、処理回路３３と、記憶回路３４とを有する。

入力装置３１（入力部）は、オペレータから各種操作や各種情報の入力を受け付ける。例えば、入力装置３１は、キーボードやマウス、ボタン、トラックボール、タッチパネルなどである。

表示装置３２は、液晶ディスプレイ、ＣＲＴディスプレイ、タッチパネル等にて構成され、オペレータから各種操作を受け付けるためのＧＵＩや各種画像を表示する。

処理回路３３は、画像データ取得機能３３ａ、所見情報作成機能３３ｂ、表示制御機能３３ｃ、領域設定機能３３ｄ、位置特定機能３３ｅ、レイアウト決定機能３３ｆ、オーバレイ画像生成機能３３ｇ、送信機能３３ｈ、通信制御機能３３ｉを含む。

記憶回路３４（記憶部）は、ハードディスクや半導体メモリなどの記憶装置であり、各種情報を記憶する。記憶回路３４は、画像データ記憶回路３４ａと、所見情報記憶回路３４ｂと、送信先情報記憶回路３４ｃを有する。

画像データ記憶回路３４ａは、被検体の乳房を撮像したマンモグラフィ画像と、当該マンモグラフィ画像の撮影方向とを記憶する。具体的には、画像データ記憶回路３４ａは、マンモグラフィ画像と撮影方向を示す情報とを、画像ごとに関連付けて記憶する。マンモグラフィ画像の撮影方向を示す情報とは、例えば、被検体の乳房の撮影方向がＭＬＯ（Ｍｅｄｉｏｌａｔｅｒａｌ−Ｏｂｌｉｑｕｅ：内外斜位）方向やＣＣ（Ｃｒａｎｉｏ−Ｃａｕｄａｌ：頭尾）かを表す情報である。

この画像データ記憶回路３４ａには、後述する画像データ取得機能３３ａによってマンモグラフィ画像と撮影方向を示す情報とが記憶される。また、画像データ記憶回路３４ａは、後述するオーバレイ画像生成機能３３ｇが生成するＤＩＣＯＭデータも記憶する。上述のＤＩＣＯＭデータとは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）規格に準拠する医用画像データのことで、患者情報などの付帯情報と画像データから構成されるものである。また、本実施形態におけるＤＩＣＯＭデータの付帯情報には、マンモグラフィ画像の撮影方向が含まれる。また、画像データ記憶回路３４ａに記憶されるマンモグラフィ画像は、ＭＬＯ方向のマンモグラフィ画像（ＭＬＯ画像）と、ＣＣ方向のマンモグラフィ画像（ＣＣ画像）とが該当する。

所見情報記憶回路３４ｂは、被検体のマンモグラフィ画像に関する所見コメント等の読影情報を記憶する。所見情報記憶回路３４ｂには、後述する処理回路３３の所見情報作成機能３３ｂによって所見コメントが記録される。

送信先情報記憶回路３４ｃは、マンモグラフィ画像と、そのマンモグラフィ画像に対応した乳房の模式図、関心領域のＲＯＩ、及び所見コメント等を配置したオーバレイ画像（第２画像）を表示させる表示装置３２に関する情報を記憶する。図６は、送信先情報記憶回路３４ｃが記憶する情報の一例を示す図である。送信先情報記憶回路３４ｃが記憶する情報の一例としては、送信先の表示装置３２の種類に関する情報や、送信先の表示装置３２の画面サイズ、送信先の表示装置３２への送信方法及び送信速度等が該当する。これらの情報が表示装置３２毎に対応して記憶されている。

記憶回路３４の構成要素である画像データ記憶回路３４ａ、所見情報記憶回路３４ｂ、及び送信先情報記憶回路３４ｃは、各記憶回路が回路として別体に設けられることにしても良いし、１つの記憶回路の記憶領域を分割することでそれぞれの情報を記憶する構成を有しても良い。

また、記憶回路３４は、画像保管サーバとして医用画像処理装置３０とは別体にて設けられることにしても良い。

画像データ取得機能３３ａは、被検体の乳房を撮像したマンモグラフィ画像と、当該マンモグラフィ画像の撮影方向を示す情報とを取得する。なお、画像データ取得機能３３ａは、被検体の左右それぞれの乳房について、ＭＬＯ画像及びＣＣ画像を取得する。具体的には、画像データ取得機能３３ａは、後述する通信制御機能３３ｉを介してマンモグラフィ装置１０と通信を行うことで、診断対象の被検体に関するマンモグラフィ画像と、当該マンモグラフィ画像の撮影方向を示す情報とを取得し、取得したマンモグラフィ画像と撮影方向を示す情報とを後述する記憶回路３４の画像データ記憶回路に記憶する。

所見情報作成機能３３ｂは、オペレータから入力された被検体のマンモグラフィ画像に関する所見コメントを受け付ける。所見情報作成機能３３ｂは、受け付けた所見コメントを、マンモグラフィ画像と関連付けて記憶回路３４の所見情報記憶回路３４ｂに記憶する。

表示制御機能３３ｃは、マンモグラフィ画像を参照するための参照画像を表示装置３２に表示する。具体的には、表示制御機能３３ｃは、入力装置３１を介してオペレータからマンモグラフィ画像の表示要求を受け付けた場合に、診断対象の被検体に関するマンモグラフィ画像を画像データ記憶回路３４ａから読み出し、診断対象の被検体に関する所見コメントを所見情報記憶回路３４ｂから読み出す。そして、表示制御機能３３ｃは、読み出したマンモグラフィ画像及び所見コメントを配置した参照画像を表示装置３２に表示する。

領域設定機能３３ｄは、マンモグラフィ画像に関心領域を設定する。例えば、領域設定機能３３ｄは、被検体の左右それぞれの乳房について、ＭＬＯ画像及びＣＣ画像それぞれに関心領域を設定する。具体的には、領域設定機能３３ｄは、入力装置３１を介して、表示制御機能３３ｃによって表示された参照画像に配置されたマンモグラフィ画像上で任意の位置に任意の大きさの範囲を指定する操作をオペレータから受け付ける。そして、領域設定機能３３ｄは、オペレータによって指定された範囲を関心領域として設定する。指定された関心領域はマンモグラフィ画像上に図形等のマーカにてその位置が表示される。また、関心領域が複数存在する場合にはマーカの形状を変更したり、表示するマーカの色を変更することでそれぞれの関心領域をオペレータが区別することが可能なように構成しても良い。また、関心領域に代わってマンモグラフィ画像上の１点（座標）を指し示すものであっても良い。

なお、例えば、領域設定機能３３ｄは、コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）の機能を用いて、マンモグラフィ画像から病変部の候補領域を自動検出し、検出した領域を関心領域として設定してもよい。また、例えば、領域設定機能３３ｄは、オペレータがＭＬＯ画像とＣＣ画像との間でＣＡＤによって検出された領域に対して、調整を行う操作を受け付け、調整後の領域を関心領域として設定してもよい。

位置特定機能３３ｅは、マンモグラフィ画像上での関心領域の位置情報と、撮影方向を示す情報とを用いて、乳房を模式的に表した模式図上での関心領域の位置情報を特定する。模式図上での関心領域の位置情報は、模式図における関心領域の座標位置を示す情報と、その大きさ（例えば、直径）とを示す。具体的には、位置特定機能３３ｅは、検査対象の被検体のマンモグラフィ画像と当該マンモグラフィ画像の撮影方向を示す情報とを画像データ記憶回路３４ａから読み出し、読み出したマンモグラフィ画像及び撮影方向を示す情報を用いて、模式図上での関心領域の位置を特定する。なお、ここでの模式図（シェーマとも呼ばれる）としては、乳房における位置関係を示すものもあれば、各種の図を用いることができる。

送信機能３３ｈ（送信部）は、オペレータからの指示に応じて、オーバレイ画像生成機能３３ｇによって生成されたオーバレイ画像及びマンモグラフィ画像を超音波診断装置２０又は画像出力装置４０に送信する。送信機能３３ｈは、入力装置３１を介して、医用画像処理装置３０又は超音波診断装置２０のオペレータによって入力装置２２を介して入力されたオーバレイ画像及びマンモグラフィ画像の送信要求がネットワーク５０を介して転送される。そして、送信機能３３ｈは、オーバレイ画像及びマンモグラフィ画像の送信要求を受け付けると、オペレータによって指定されオーバレイ画像及びマンモグラフィ画像を記憶回路３４から読み出して、超音波診断装置２０又は画像出力装置４０に送信する。

通信制御機能３３ｉは、ネットワーク５０を介して他の装置との間で行われる通信を制御する。例えば、通信制御機能３３ｉは、無線ＬＡＮを介してネットワーク５０に接続することで、他の装置との間で無線通信を行う。なお、通信制御機能３３ｉがネットワーク５０を介して行う、医用画像処理装置３０と他の装置との通信は電気的に信号のやり取りを行うものであれば、上述の記載に限定されない。例えば、医用画像処理装置３０はＵＳＢ等の通信規格によってプリンタ等の画像出力装置４０と通信を行うことにしても構わない。

また、処理回路３３の構成要素、画像データ取得機能３３ａ、所見情報作成機能３３ｂ、表示制御機能３３ｃ、領域設定機能３３ｄ、位置特定機能３３ｅ，レイアウト決定機能３３ｆ、オーバレイ画像生成機能３３ｇ、送信機能３３ｈ、通信制御機能３３ｉにて行われる各処理機能は、コンピュータによって実行可能な医用情報処理プログラムの形態で記憶回路３４に記録されている。処理回路３３は医用情報処理プログラムを記憶回路から読み出し、実行することで各医用情報処理プログラムに対応する機能を実現するプロセッサである。換言すると、各医用情報処理プログラムを読み出した状態の処理回路３３は、図５の処理回路３３内に示された各機能を有することとなる。なお、図５においては単一の処理回路３３にて、画像データ取得機能３３ａ、所見情報作成機能３３ｂ、表示制御機能３３ｃ、領域設定機能３３ｄ、位置特定機能３３ｅ，レイアウト決定機能３３ｆ、オーバレイ画像生成機能３３ｇ、送信機能３３ｈ、通信制御機能３３ｉの各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３３を構成し、各プロセッサが医用情報処理プログラムを実行することにより機能を実現するものとしても構わない。

図７は、実施形態に係る位置特定機能３３ｅによって用いられる模式図の一例を示す図である。図７に示す例は、乳房を模式的に表した模式図の一例として、乳腺領域の模式図を示している。例えば、図７（ａ）に示すように、乳腺領域の模式図は、左右ぞれぞれの乳房について、乳房の領域を表す円形の領域（以下、乳房領域）と、腋窩部の領域を表す略三角形の領域（以下、腋窩領域）とを有する。

ここで、乳房領域を表す円形の領域は、上下及び左右に分けられて、４つの領域「Ａ」〜「Ｄ」に分割される。例えば、「Ａ」の領域（以下、Ａ領域）は、乳房の内側上部の領域を示し、「Ｂ」の領域（以下、Ｂ領域）は、乳房の内側下部の領域を示す。また、例えば、「Ｃ」の領域（以下、Ｃ領域）は、乳房の外側上部の領域を示し、「Ｄ」の領域（以下、Ｄ領域）は、乳房の外側下部の領域を示す。また、腋窩領域を表す略三角形の領域「Ｃ‘」（以下、Ｃ’領域）は、領域Ｃから斜め上方に伸び、且つ、領域Ｃから離れるにつれて細くなる形状を有する。なお、ここでの模式図は、乳房における位置関係を示すものであれば、各種の図を用いることができる。例えば、乳房の形状を３次元的に示す模式図であっても構わない。

図７（ｂ）は、乳房の模式図に、当該右乳房において異常所見が発見された場合の、マンモグラフィ画像の撮影方向を追加した図である。図７（ｂ）では、異常所見が発見されたＭＬＯ画像及びＣＣ画像の撮影方向を示す線が追記されている。超音波診断装置２０のオペレータは、異常所見が発見された各マンモグラフィ画像に対応する模式図上に示された直線の方向及び位置から、異常所見が発見されたマンモグラフィ画像の撮影方向を把握することが可能である。また、例えばＭＬＯ画像又はＣＣ画像の何れか１つのマンモグラフィ画像のみから異常所見が発見された場合には、異常所見が発見された画像の撮影方向を示す直線のみを表示することにしても良い。

図５の説明に戻る。レイアウト決定機能３３ｆ（決定部）は、所見情報記憶回路３４ｂ及び送信先情報記憶回路３４ｃからの情報を読み込んで、表示装置３２へのレイアウトの決定を行う。このとき、表示装置へのレイアウトには、例えばマンモグラフィ画像、乳房の模式図、関心領域を示す図形、及び所見コメントの配置関係や大きさが該当する。レイアウト決定機能３３ｆに関して、図８を参照して詳細に説明する。以下、単に「表示装置」とのみ説明する場合には、超音波診断装置２０の表示装置２３及び画像出力装置４０を含むこととする。

図８は、レイアウト決定機能３３ｆの詳細を説明するための説明図である。まず、レイアウト決定機能３３ｆは、超音波診断装置２０の表示装置２３又は画像出力装置４０に対して、マンモグラフィ画像及びオーバレイ画像を送信させる送信要求を受け付ける。送信要求の具体例としては、マンモグラフィ検査のオペレータからの入力情報を、入力装置１７ａを介して受け付けることや、超音波診断装置のオペレータからの入力情報を、入力装置２２を介して受け付けることが該当する。

次に、レイアウト決定機能３３ｆは、送信先情報記憶回路３４ｃから図８（ａ）に示すような送信先の表示装置３２に関する情報や、送信方法及び送信速度等に関する情報を読み込む。また、レイアウト決定機能３３ｆは、所見情報記憶回路３４ｂから図８（ｂ）に示すような、マンモグラフィ画像の読影結果を取得する。このとき取得されるマンモグラフィ画像の読影結果に含まれる情報としては、例えば画像ＩＤ、読影ＩＤ、関心領域の座標及び大きさ、及び所見コメント等が該当する。画像ＩＤとは、各マンモグラフィ画像にそれぞれ付与される番号で、例えば１回の検査で撮像されたＭＬＯ画像及びＣＣ画像に対して、それぞれ別の画像ＩＤが付与される。また、読影ＩＤは、１回の検査で撮像されたＭＬＯ画像及びＣＣ画像に対して付与される同一の番号であり、別の検査が行なわれる度に別の検査ＩＤが付与される。送信先の表示装置に関する情報及びマンモグラフィ画像の読影情報を取得すると、レイアウト決定機能３３ｆは、オーバレイ画像のレイアウトの決定を行う。ここでは、関心領域の有無の決定及び、関心領域がある場合に、送信先の表示画面のレイアウトの決定が行われる。図９は、レイアウト決定機能３３ｆによる、オーバレイ画像のレイアウトの決定方法の一例を示すフローチャートである。まず、レイアウト決定機能３３ｆは、画像データ記憶回路３４ａから読影対象のマンモグラフィ画像を読み込んで、当該マンモグラフィ画像上における関心領域の有無を判定する（ステップＳ１０）。関心領域が無い場合は（ステップＳ１０、Ｎｏ）、レイアウト決定機能３３ｆは当該マンモグラフィ画像に対してオーバレイ画像の生成は不要と判断する（ステップＳ１１）。関心領域が有る場合には（ステップＳ１０、Ｙｅｓ）、ステップＳ１０以降の各ステップにて表示画面の縦横比、画面サイズ、及び解像度等の決定がレイアウト決定機能３３ｆにより順次実行される。

まず、ステップＳ２０にてレイアウト決定機能３３ｆは、超音波診断装置２０の表示装置２３及び画像出力装置４０の表示画面（以下、本フローでは表示画面と呼ぶ）が縦長か否かを判定する。レイアウト決定機能３３ｆが、表示画面が縦長であると判定すると（ステップＳ２０、Ｙｅｓ）、ステップＳ２１以降の各ステップにおいて縦長の表示画面のサイズが判定される。次に、レイアウト決定機能３３ｆは、送信先情報記憶回路３４ｃから表示画面の大きさに関する情報を読み込む。例えば、表示画面が「縦Ａ」、「縦Ｂ」であるか否かが順次ステップＳ２１、ステップＳ２２にてレイアウト決定機能３３ｆによって判定される。なお、「縦Ａ」「縦Ｂ」は、表示画面のサイズ及び形状を分類するための分類項目の一例である。各「縦Ａ」、「縦Ｂ」等は、送信先情報記憶回路３４ｃ内において、所定の表示装置の表示画面のレイアウトと紐付いている。レイアウト決定機能３３ｆにより、送信先の表示画面に適合するレイアウトが検出されると（ステップＳ２１１、ステップＳ２２１）、レイアウトの判定は終了する。レイアウト決定機能３３ｆが送信先情報記憶回路３４ｃから読み込んだ表示画面の数よりも、１つ前まで表示画面の判定が行なわれ、所望の表示画面が検出されない場合には、残りの１の表示画面のレイアウト（縦Ｚ）に決定され（ステップＳ２３）、レイアウトの決定処理は終了する。

また、ステップＳ２０にて、レイアウト決定機能３３ｆが表示画面が縦長ではないと判定すると、ステップＳ３０にて表示画面が横長であるか否かが判定される。表示画面が横長であると判定された場合には（ステップＳ３０、Ｙｅｓ）、ステップＳ２１からステップＳ２３にて行なわれた処理と同様の処理がステップＳ３１からステップＳ３３にかけて実行され、表示画面のサイズが判定される。表示画面が横長ではないと判定された場合には（ステップＳ３０、Ｎｏ）、表示画面は正方形であると判定される（ステップＳ４０）。その後、ステップＳ２１からステップＳ２３にて行なわれた処理と同様の処理がステップＳ４１からステップＳ４３にかけて実行され、表示画面のサイズが判定される。

上記のフローチャートでは、関心領域が無い場合においてオーバレイ画像を生成しないものとして説明したが、例外的にオーバレイ画像を生成することにしても良い。この場合は、異常所見がない旨を示すコメントを表示したオーバレイ画像をのみがオーバレイ画像生成機能３３ｇにより生成される。

図１０は、送信先の表示装置の画面サイズに応じたオーバレイのレイアウトの一例を示す図である。オーバレイＡでは、表示装置の表示画面３２ａ内の点線で囲まれた範囲にマンモグラフィ画像が表示される。そのため、マンモグラフィ画像ＭＧ中の乳房の領域に重ならないようにコメント及び模式図が表示画面の隅部に配置される。また、オーバレイＡの表示画面３２ａはオーバレイＢの表示画面３２ｂと比較して小さいが、表示画面の大きさに依存してコメントや模式図を極端に大きくすることや、逆に小さくすることは望ましくない。そのため、表示画面の大きさが変化しても、超音波診断装置のオペレータが視認しやすい大きさにてコメントや模式図の見かけ上の大きさを調整して配置されることが望ましい。例えば、オーバレイＡに配置される模式図等の大きさは、オーバレイＢに配置される模式図等と同じ大きさにすることが望ましい。また、表示画面が縦長の場合にはマンモグラフィ画像の乳房が表示されている領域を拡大し、乳房が表示されていない領域は表示しないことで縦長のマンモグラフィ画像を並べて表示することにしても良い。このとき、模式図等は、乳房領域に重ならないように、マンモグラフィ画像の左下や左上に配置することが望ましい（第１レイアウト）。表示画面が横長の場合は、マンモグラフィ画像の乳房領域以外の領域も表示し、当該乳房領域外の領域に模式図等を配置することにしても良い（第２レイアウト）。また、オーバレイＣの表示画面３２ｃに示すように、表示装置の画面サイズが比較的小さい場合には、マンモグラフィ画像ＭＧの表示領域の脇に所見コメントと模式図の表示用の領域を設けて、マンモグラフィ画像ＭＧの表示領域に重ならないように所見コメントと模式図を配置することにしても良い。また、マンモグラフィ画像ＭＧの乳房に所見コメントや模式図が重なる場合があるため、所見コメントや模式図等の背景や枠線等をマンモグラフィ画像ＭＧの背景と判別可能に別の色にて塗りつぶす等して、所見コメントや模式図の表示をマンモグラフィ画像ＭＧと判別可能に表示することにしても良い。先述した、所見コメントや模式図等の背景や枠線等をマンモグラフィ画像ＭＧの背景と判別可能に別の色に塗りつぶす処理には、グレースケールの諧調を変更して判別可能に表示することも含まれる。

また、オーバレイ画像はオペレータからの入力情報を、入力装置３１を介して受け付けることで、表示の有無を切り換えることにしても良い。また、異常所見がない場合には、異常所見がない旨のコメントのみをオーバレイしても良い。また、画面サイズがある程度確保可能な表示装置３２の場合には、ＣＣ画像とＭＬＯ画像を並べて１つの画像としても良い。また、検診車内等のようにデータ通信帯域が狭い場合や異常所見がない場合にはマンモグラフィ画像を圧縮してデータ容量を小さくして表示装置３２に送信してもよい。例えば、検診車内のように送信速度が比較的遅い通信環境の場合にはマンモグラフィ画像の表示サイズを小さくし、データ容量を小さくして送信することにしても良い。また、画像出力装置４０がプリンタ等の印刷装置によって構成される場合には、各印刷用紙のサイズ及び、各サイズに応じて縦長、横長のオーバレイ画像のレイアウトを予め画像データ記憶回路３４ａに記憶しておくことにしても良い。

オーバレイ画像生成機能３３ｇ（生成部）は、レイアウト決定機能３３ｆが決定したレイアウトであるオーバレイのレイアウトを読み込んで、オーバレイ画像を生成する機能を有する。

図１１はオーバレイ画像生成機能３３ｇの詳細を説明するための説明図である。まず、オーバレイ画像生成機能３３ｇは、図１１（ａ）に示すようなマンモグラフィ画像の読影情報を所見情報記憶回路３４ｂから取得する。上述の読影情報には、関心領域のマンモグラフィ画像上における位置座標及び関心領域の大きさ、各ＭＬＯ画像及びＣＣ画像の取得位置を示すデータ、及び所見コメント等が含まれる。次に、レイアウト決定機能３３ｆからオーバレイのレイアウトを受け取り、オーバレイ画像を生成する。例えば、図１１（ｂ）に示すように、図１１（ａ）の読影情報からＣＣ画像及びＭＬＯ画像における関心領域の座標及び大きさに応じた円が関心領域として設定される。また、模式図、関心領域を示す図形、及び所見コメントの位置及び大きさはオーバレイのレイアウトによって位置が予め決められているため、その位置に模式図、関心領域を示す図形、及び所見コメントが調整されたオーバレイ画像が生成される。各オーバレイ画像には各マンモグラフィ画像に対応した画像ＩＤが付与される。例えば、ＭＬＯ方向及びＣＣ方向についてオーバレイ画像が生成された場合には、各オーバレイ画像に画像ＩＤが付与される。また、各オーバレイ画像は同一の読影ＩＤと紐付けられている。

オーバレイ画像が生成されると、オーバレイ画像生成機能３３ｇは画像データ記憶回路３４ａから、図１１（ｃ）に示すようなマンモグラフィ画像を取得する。オーバレイ画像生成機能３３ｇは、オーバレイ画像及びマンモグラフィ画像からＤＩＣＯＭファイルの生成を行う。生成されたオーバレイ画像は、ＤＩＣＯＭファイルの画像情報として、マンモグラフィ画像と共にＤＩＣＯＭファイルとして記憶される。また生成されたＤＩＣＯＭファイルは、一旦記憶回路３４の画像データ記憶回路３４ａに記憶される。また、オーバレイ画像はＤＩＣＯＭファイルの画像情報として記憶回路３４に記憶されても良いし、付帯情報として関心領域の位置座標及び関心領域を表示するマーカの種類の形状や大きさ、模式図中におけるマンモグラフィ画像の取得位置に関する情報、及び所見コメントの内容等を保存しても良い。このとき、オーバレイ画像は医用画像処理装置３０にて生成されずに、上述の付帯情報を超音波診断装置２０や画像出力装置４０が受け取り、超音波診断装置２０及び画像出力装置４０側にて生成することにしても良い。

オーバレイ画像生成機能３３ｇによって生成されたＤＩＣＯＭファイルは、後述する送信機能３３ｈにより、マンモグラフィ装置１０を経由して超音波診断装置２０又は画像出力装置４０に送信される。そして、オーバレイ画像及びマンモグラフィ画像を受信した超音波診断装置２０の表示装置２３又は画像出力装置４０は、オーバレイ画像をマンモグラフィ画像に重ねて表示する。これにより、表示装置２３又は画像出力装置４０には、表示装置２３又は画像出力装置４０のサイズや形状に合わせたレイアウトでマンモグラフィ画像の所望のレイアウトにて模式図、関心領域、及び所見コメント等を表示することが可能となる。また、以降の記載にてマンモグラフィ画像に重ねて表示される関心領域の位置を示す図形、模式図、及び所見コメント等はオーバレイ画像としてまとめて記載することがある。

［動作］
図１２及び図１３は、本実施形態に係る医用情報処理システム１００によって行われる処理の流れを示すフローチャートである。図１２は、マンモグラフィ装置１０によるマンモグラフィ画像の取得から、オーバレイ画像の生成までに係る処理を示すフローチャートである。

まず、マンモグラフィ装置１０は、オペレータからの入力情報を、入力装置１７ａを介して受け付けて、被検体の左右それぞれの乳房についてＸ線撮影を行なって、ＭＬＯ方向及びＣＣ方向のマンモグラフィ画像の撮像を行なう。撮像された各マンモグラフィ画像は一旦、マンモグラフィ装置１０の記憶回路１７ｄに記憶される。このとき、各マンモグラフィ画像に対応した画像ＩＤが付与され、ＤＩＣＯＭファイルが生成される。次に医用画像処理装置３０の画像データ取得機能３３ａは、マンモグラフィ装置１０の記憶回路１７ｄから所望のマンモグラフィ画像を取得する（ステップＳ１０１）。

次に、医用画像処理装置３０の所見情報作成機能３３ｂは、マンモグラフィ装置１０のオペレータからの入力情報を受け付けて、被検体の乳房に関する所見コメントを作成する（ステップＳ１０２）。また、このとき作成される所見コメントは、所見情報記憶回路３４ｂに記憶される。

次に、マンモグラフィ装置１０は、マンモグラフィ画像及び所見コメントをＤＩＣＯＭファイルの形式にて医用画像処理装置３０に送信する（ステップＳ１０３）。

続いて、医用画像処理装置３０の表示制御機能３３ｃが、マンモグラフィ画像を参照するための参照画像を表示装置３２に表示する（ステップＳ１０４）。

その後、医用画像処理装置３０の領域設定機能３３ｄが、入力装置３１を介して、参照画像に配置されたＭＬＯ方向及びＣＣ方向のマンモグラフィ画像上で所望の範囲を指定する操作をオペレータから受け付け、指定範囲を関心領域として設定する（ステップＳ１０５）。

次に、ＭＬＯ方向のマンモグラフィ画像及びＣＣ方向のマンモグラフィ画像のそれぞれに関心領域が設定されると、位置特定機能３３ｅが、各画像に設定された関心領域の位置情報と、各画像の撮像方向を示す情報を用いて、模式図上での関心領域の位置情報を特定する（ステップＳ１０６）。

位置特定機能３３ｅによってマンモグラフィ画像上の関心領域が特定されると、関心領域を示す位置情報等はＤＩＣＯＭファイルに付帯情報として格納され、画像データ記憶回路３４ａに記憶される（ステップＳ１０７）。

また、図１３は、超音波診断装置２０のオペレータからオーバレイ画像及びマンモグラフィ画像の送信要求を受け付けてから超音波診断装置２０の表示装置２３又は画像出力装置４０に表示させるまで処理を示すフローチャートである。

まず、医用画像処理装置３０は、オペレータからマンモグラフィ画像及び所見コメント等の表示指示を受け付けると（ステップＳ２０１、Ｙｅｓ）、送信内容の要求先である超音波診断装置２０又は画像出力装置４０の表示画面の決定を、レイアウト決定機能３３ｆを介して実行する（ステップＳ２０２）。ステップＳ２０１における表示指示の一例としては、マンモグラフィ装置１０のオペレータによる読影完了や撮像結果の入力情報を、入力装置１７ａを介して受け付けることや、超音波診断装置２０のオペレータからの入力情報を、入力装置３１を介して受け付けることが該当する。

次に、オーバレイ画像生成機能３３ｇは、レイアウト決定機能３３ｆが決定したレイアウトと、画像データ記憶回路３４ａから読み込んだマンモグラフィ画像と、所見情報記憶回路３４ｂから読み込んだマンモグラフィ画像に関する所見結果から、オーバレイ画像を生成する（ステップＳ２０３）。詳細には、オーバレイ画像生成機能３３ｇは、各表示画面に対応したレイアウトをレイアウト決定機能３３ｆから読み込む。オーバレイ画像生成機能３３ｇは、読み込んだレイアウトに模式図、関心領域を示す図形、及び所見コメント等を追加したオーバレイ画像の生成を行なう。このときオーバレイ画像に画像ＩＤが付与され、当該オーバレイ画像は対応するマンモグラフィ画像のＤＩＣＯＭファイルに格納され、画像データ記憶回路３４ａに記憶されるとともに、マンモグラフィ装置１０を介して、超音波診断装置２０又は画像出力装置４０へと送信される。

超音波診断装置２０や画像出力装置４０は、オーバレイ画像及びマンモグラフィ画像を医用画像処理装置３０から受信すると、マンモグラフィ画像上にオーバレイ画像が重ねて表示された画像を表示する（ステップＳ２０４）。

超音波診断装置２０の表示装置２３にてマンモグラフィ画像の表示を行う場合には、医用画像処理装置３０はＤＩＣＯＭファイルを送信すれば良い。画像出力装置４０にてマンモグラフィ画像の表示を行なう場合には、画像出力装置４０はＤＩＣＯＭファイルの表示に対応しないため、ＤＩＣＯＭファイルではないＪＰＥＧ等の画像形式にて送信する。このとき、オーバレイ画像及びマンモグラフィ画像の両方がＪＰＥＧ等の画像形式にて送信される必要がある。

以上、一連の処理を実行することにより、表示装置側の表示画面の大きさや、形状に応じてオペレータが視認しやすい表示画面の構成を提供することが可能になる。

（変形例）
実施形態では、１枚のマンモグラフィ画像に対して１つのオーバレイ画像が生成される場合について説明した。本変形例では、複数のマンモグラフィ画像を１枚の画像として合成し、当該合成画像について１つのオーバレイ画像が生成される場合について、図１４を用いて説明する。

図１４は、セカンダリキャプチャ形式のＤＩＣＯＭファイルの生成方法の一例を説明するための図である。セカンダリキャプチャ形式のＤＩＣＯＭファイルは、複数枚の医用画像を並べた状態にて１枚の画像ファイルに合成した構成を有する画像形式のことであり、本変形例ではＣＣ画像及びＭＬＯ画像の２枚の医用画像を合成し、１枚の合成画像（以下、ＳＣ画像：セカンダリキャプチャ画像）を生成する場合を示している。

実施形態における、オーバレイ画像生成機能３３ｇはレイアウト決定機能３３ｆからオーバレイのレイアウトを受け取り、オーバレイ画像を生成するものとして説明した。本変形例におけるオーバレイ画像生成機能３３ｇは、更にＳＣ画像を生成する。

まず、オーバレイ画像生成機能３３ｇは画像データ記憶回路３４ａから複数のマンモグラフィ画像を取得する。図１４（ａ）では、取得されるマンモグラフィ画像はＣＣ画像及びＭＬＯ画像として説明する。次に、オーバレイ画像生成機能３３ｇは、図１４（ｂ）に示すようなＣＣ画像とＭＬＯ画像を１枚の画像として合成したＳＣ画像を生成する。ＳＣ画像はオーバレイ画像生成機能３３ｇから、レイアウト決定機能３３ｆに送られる。レイアウト決定機能３３ｆは、図１４（ｃ）に示すようにＳＣ画像を受け付けるとＳＣ画像のレイアウトに応じたオーバレイのレイアウトを決定する。オーバレイ画像生成機能３３ｇは、レイアウト決定機能３３ｆからオーバレイのレイアウトを受け付け、オーバレイ画像を生成する。オーバレイ画像とＳＣ画像から、図１４（ｄ）に示すようなＳＣ画像と模式図、関心領域を示す図形、及び所見コメント等が重ねて表示される画像が生成される。生成されたＳＣ画像とオーバレイ画像は元のマンモグラフィ画像のＤＩＣＯＭファイルとは別のＤＩＣＯＭファイルとして図１４（ｅ）に示すように変換され、画像データ記憶回路３４ａに記憶される。このとき、生成されたＳＣ画像には図１４（ｂ）に示すように、元のＭＬＯ方向及びＣＣ方向のマンモグラフィ画像とは別の画像ＩＤが付与される。また、オーバレイ画像にも画像ＩＤが付与される。このとき、当該ＳＣ画像の読影ＩＤは元のマンモグラフィ画像の読影ＩＤと共通であることが望ましい。

本変形例では、ＳＣ画像と模式図及び所見コメント等を重ねて表示した画像はＤＩＣＯＭファイルに変換されて画像データ記憶回路３４ａに保存され、ＤＩＣＯＭファイルの形式にて超音波診断装置２０等の他の医用画像診断装置に送信されるものとして説明したが、画像の保存形式はＤＩＣＯＭファイルでなくとも良い。例えば、タブレット端末に表示する際には、ＤＩＣＯＭ形式の画像ファイルは表示できないためＪＰＥＧ等の形式にてマンモグラフィ画像及びオーバレイ画像の画像ファイルを保存する。また、本実施形態の変形例で述べたＳＣ画像を用いて、マンモグラフィ画像とオーバレイ画像をＳＣ画像とし、当該ＳＣ画像をＪＰＥＧ等の形式にて保存することにしても良い。

以上説明した実施形態では、送信先の表示装置は、超音波診断装置２０の表示装置２３やタブレット端末に代表される画像出力装置４０として説明したが、これらを併用することにしても良い。例えば、超音波診断装置２０とタブレット端末を併用する場合には、超音波診断装置２０には超音波画像診断中の超音波画像のみを表示させておき、タブレット端末にオーバレイ画像を重畳した状態のマンモグラフィ画像を表示させることにしても良い。以上の実施形態によれば、送信先の表示画面の画面サイズに応じて、見やすいマンモグラフィ画像、模式図、関心領域を示す図形、及び所見コメント等の配置をオペレータに提供することが可能である。これにより、例えば超音波診断装置２０の表示装置２３よりも小さいタブレット端末等にマンモグラフィ画像とオーバレイ画像を表示させる場合においても、オペレータが視認しやすい模式図等を提供することが可能になる。これにより、超音波診断装置のオペレータが効率的にマンモグラフィ画像を読影することを補助し、検査効率や精度の向上に寄与することが期待できる。

以上説明した実施形態では、オーバレイ画像はマンモグラフィ装置１０、超音波診断装置２０、及び画像出力装置４０とは別体の医用画像処理装置３０にて生成されるものとして説明したが、医用画像処理装置３０を含まない構成を有しても良い。このとき、マンモグラフィ装置１０は、医用画像処理装置３０の機能を兼ね備えることで、マンモグラフィ装置１０がオーバレイ画像を生成することにしても良い。

また、本実施形態が想定している検査フローとは逆に、超音波画像診断を行なってからマンモグラフィ検査を行う場合には、先に取得した超音波画像に対してオーバレイ画像を生成し、マンモグラフィ画像の撮像時に表示装置１７ｅ又は画像出力装置４０に表示させることにしても良い。

また、乳房の診断画像を撮影する際には、本実施形態で想定しているマンモグラフィ検査と超音波画像診断の併用ではなく、超音波検査とトモシンセシス検査を併用することを想定し、超音波診断装置の表示装置にトモシンセシス検査によって得られた診断画像とオーバレイ画像の重畳表示画像を表示させることにしても良い。なお、トモシンセシス検査とは、多方向から撮像した複数のＸ線画像を再構成することにより、被検体の任意断面におけるＸ線画像を参照することが可能な検査法である。トモシンセシス検査では、被検体の乳房の各断面を動画で表示することも可能である。そのため、医用画像処理装置３０のオーバレイ画像生成機能３３ｇは、表示する断面に応じて模式図の配置や大きさを変えたレイアウトを生成することにしても構わない。例えば、トモシンセシス検査において被検体の乳房の撮影を行うと、表示装置の画面表示の大きさに対して被検体の乳房が大きく撮影される断面と、小さく撮影される断面が表示されることがある。このとき、表示装置の画面表示の大きさに対して乳房の断面像が小さい場合に、その断面像における乳房と重複しない位置に模式図等を表示しておき、断面像における乳房が大きい場合には模式図等は表示しないような動画表示用のレイアウトを生成することにしても構わない。また、断面像における乳房の表示の大きさに応じて、模式図等の大きさを変化させることにしても構わない。

また、トモシンセシス検査時には送信先の表示装置において、トモシンセシス検査時に取得されたＸ線画像が動画形式で全て表示されても構わないし、トモシンセシス検査時に撮影されたＸ線画像の内、異常所見を含む部位の断面のみを静止画として表示されることにしても構わない。また、トモシンセシス検査時に取得されたＸ線画像を表示装置に動画表示する際には、異常所見がある断面のみを他の断面とは判別可能に表示しても構わない。例えば、異常所見がある断面にのみ、当該異常所見が認められる部位にマーカ等を表示することにしても構わない。

また、以上説明した実施形態では、医用画像処理装置３０は、オペレータからマンモグラフィ画像及び所見コメント等の表示指示を受け付けると、送信内容の要求先である超音波診断装置２０又は画像出力装置４０の表示画面の決定を、レイアウト決定機能３３ｆを介して実行するものとして説明したが、実施形態はこれに限定されない。例えば、医用画像処理装置３０がマンモグラフィ画像をマンモグラフィ装置１０から受け付けると、予め記憶回路３４の送信先情報記憶回路３４ｃに記憶されている複数の送信先の表示画面全てに対応したオーバレイ画像を生成しても構わない。これにより、外部のマンモグラフィ装置１０、超音波診断装置２０、及び画像出力装置４０からの送信要求を医用画像処理装置３０が受け付けると、予め生成しておいたオーバレイ画像の内、送信先の表示措置に対応したオーバレイ画像のみを送信することが可能である。

なお、本実施形態において「部」として説明した構成要素は、その動作がハードウェアによって実現されるものであっても良いし、ソフトウェアによって実現されるものであっても良いし、ハードウェアとソフトウェアとの組み合わせによって実現されるものであっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…マンモグラフィ装置、２０…超音波診断装置、３０…医用画像処理装置、４０…画像出力装置、３１…入力装置、３２…表示装置、３３…処理回路、３３ａ…画像データ取得機能、３３ｂ…所見情報作成機能、３３ｃ…表示制御機能、３３ｄ…領域設定機能、３３ｅ…位置特定機能、３３ｆ…レイアウト決定機能、３３ｇ…オーバレイ画像生成機能、３３ｈ…送信機能、３３ｉ…通信制御機能、３４…記憶回路、３４ａ…画像データ記憶回路、３４ｂ…所見情報記憶回路、３４ｃ…送信先情報記憶回路、１００…医用情報処理システム。

Claims (17)

1. 医用画像診断装置によって撮影された被検体の乳房を示す第１画像と、当該第１画像に対応付けられた読影情報を記憶する記憶部と、
   ネットワークを介して接続された表示装置から、当該表示装置に関する情報を取得し、取得した当該情報から前記第１画像を表示する際のレイアウトを決定する決定部と、
   前記決定されたレイアウトと、前記第１画像に対応付けられた前記読影情報に基づいて第２画像を生成する生成部と、
   前記表示装置に対して前記第１画像及び前記第２画像を送信する送信部と、
   を有する医用画像処理装置。
2. 前記第１画像は、前記被検体の乳房に対してＸ線を照射することで取得されるマンモグラフィ画像である請求項１に記載の医用画像処理装置。
3. 前記第１画像は、多方向から撮影した複数のＸ線画像を再構成することにより、被検体の乳房の任意断面におけるＸ線像を取得することが可能なトモシンセシス検査によって取得される請求項１に記載の医用画像処理装置。
4. 前記決定部は、前記第１画像上において設定される関心領域が無い場合には、前記第２画像の生成は不要と決定する請求項１から３の少なくとも１つに記載の医用画像処理装置。
5. 前記決定部は、前記表示装置における表示領域に関する情報に基づいて前記レイアウトを決定する請求項１から３の少なくとも１つに記載の医用画像処理装置。
6. 前記決定部は、前記レイアウトを、前記表示装置における表示領域に応じて、前記第１画像上の乳房を示す領域外に前記読影情報を表示したものである第１レイアウトと、前記第１画像外の別の領域に表示する第２レイアウトとから選択する請求項１又は２に記載の医用画像処理装置。
7. 前記決定部は、前記第２画像の少なくとも一部の色を、前記第１画像とは異なる色の前記レイアウトに決定する請求項１から３の少なくとも１つに記載の医用画像処理装置。
8. オペレータからの入力情報を受け付ける入力部を更に有し、
   前記決定部は、オペレータから前記第１画像上において異常所見が無い旨の入力を、前記入力部を介して受け付けると、前記第１画像を前記表示装置に送信しないことを決定する請求項１又は２に記載の医用画像処理装置。
9. オペレータからの入力情報を受け付ける入力部を更に有し、
   前記決定部は、オペレータから前記第１画像上において異常所見が無い旨の入力を、前記入力部を介して受け付けると、前記第１画像のデータ容量を小さくして前記表示装置に送信することを決定する請求項１又は２に記載の医用画像処理装置。
10. 前記生成部は、前記第１画像と前記第２画像にそれぞれ異なる情報を付与した状態において、前記第１画像及び前記第２画像を同一のＤＩＣＯＭファイルに格納する請求項１から３の少なくとも１つに記載の医用画像処理装置。
11. 前記生成部は、前記第１画像に対応するＤＩＣＯＭファイルに対して、前記読影情報を付帯情報として格納する請求項１から３の少なくとも１つに記載の医用画像処理装置。
12. 前記生成部は、複数の前記第１画像を合成した合成画像を生成し、当該合成画像に対応した第２画像を請求項１から３の少なくとも１つに記載の医用画像処理装置。
13. 前記生成部は、前記合成画像と前記第２画像にそれぞれ異なる情報を付与した状態において、同一のＤＩＣＯＭファイルに格納する請求項１２に記載の医用画像処理装置。
14. 前記読影情報は、前記第１画像の撮像方向に対応する模式図と、前記被検体の乳房を示す第１画像に対する所見コメントと、前記第１画像に対して設定された関心領域を示す図形との少なくとも何れかによって構成される請求項１から３の少なくとも１つに記載の医用画像処理装置。
15. 医用画像診断装置によって撮影された被検体の乳房の第１画像、当該第１画像に関する読影情報、及び複数の表示画面のレイアウトを記憶する記憶部と、
    前記第１画像と、前記読影情報を前記記憶部から読み込んで、前記複数の表示画面に対応する第２画像のレイアウトを決定する決定部と、
    前記レイアウトに基づいて前記第２画像を生成し、前記記憶部に出力する生成部と、
    オペレータからの入力情報を受け付ける入力部と、
    前記入力部からの入力情報を受け付けて、前記第２画像を前記記憶部から読み出して、前記表示画面に前記第１画像とともに送信する送信部と、
    を有する医用画像処理装置。
16. ネットワークを介して相互に接続された画像出力装置と医用画像処理装置とを有し、
    前記画像出力装置は、医用画像診断装置によって撮影された第１画像及び当該第１画像に基づいた読影情報を表示した第２画像を表示する表示装置を備え、
    前記医用画像処理装置は、前記第１画像と前記第２画像を記憶する記憶部と、
    前記ネットワークを介して、前記表示装置の関する情報を取得し、取得した当該情報から前記第２画像のレイアウトを決定する決定部と、
    前記レイアウトに基づいて前記第２画像を生成する生成部と、
    前記表示装置に対して前記第１画像と前記第２画像を送信する送信部と、
    を備える医用情報処理システム。
17. 医用画像診断装置によって撮影された被検体の乳房の第１画像と、当該第１画像に関する読影情報のそれぞれを記憶する記憶部から読み込み、前記第１画像と、前記第１画像に基づいた読影情報を表示した第２画像を表示する表示画面の少なくとも表示画面のサイズに関する情報を取得し、取得した当該情報から前記第２画像のレイアウトを決定する手段と、
    前記第１画像と前記第２画像を前記表示画面に表示する際に使用するレイアウトを生成する手段と
    をコンピュータに実行させる医用情報処理プログラム。