JP2019107084A - 医用画像装置及び医用画像の表示方法 - Google Patents

Abstract

【課題】 光音響画像と他もモダリティの画像とを重畳した読影対象画像を読影する際に、読影対象画像と参照画像が比較しやすい医用画像装置、ならびに、医用画像の表示方法を提供することを目的とする。【解決手段】 被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得する読影像取得部と、読影画像の性状を推定するための参照画像を取得する参照像取得部と、読影画像と参照画像とを並列表示させる並列表示部と、を備える医用画像装置であって、参照像取得部は、腫瘍像と血管像とが重畳された参照画像を取得することを特徴とする。【選択図】 図２

Description

モダリティにより取得された医用画像を表示させる医用画像装置、ならびに、該医用画像の表示方法に関する。

血管を画像化する方法として、光音響トモグラフィ（ＰＡＴ：Ｐｈｏｔｏａｃｏｕｓｔｉｃ ｔｏｍｏｇｒａｐｈｙ）が知られている。ＰＡＴは、近赤外線を被検体に照射して被検体から発せられる光音響波を音響波検出器で検出して画像化する技術であり、この技術を実現する装置は、光音響装置として知られている。非特許文献１には、ヘモグロビンの吸光スペクトルを考慮した照射光を選択することで、非侵襲で生体内の血管の走行、酸素飽和度、等をイメージングすることが可能な光音響装置が開示されている。

医師による医用画像診断において、病変部の特徴を調べるために、読影している画像と同時に過去に取得した参照画像を比較することが行われている。参照画像は疾患及び病態情報を付与した画像であり、参照画像と類似した特徴を見つけることにより疾患あるいは病態を診断できる。特許文献１には、乳房に対して超音波装置により撮影された超音波エコー像と、かかるエコー像により特定された腫瘍を疑う領域に、血管の走行を可視化した光音響画像を重畳した画像を読影対象画像として、腫瘍の良悪性を推定する方法が記載されている。特許文献１には、さらに、読影対象の画像が表示された同じ画面上に、過去に取得した症例類別、悪性度別の参照画像を数例並べて表示することが記載されている。

米国特許出願公開第２０１６／０３４３１３２号公報

"Ｆｕｎｃｔｉｏｎａｌ Ｐｈｏｔｏａｃｏｕｓｔｉｃ ｔｏｍｏｇｒａｐｈｙ ｆｏｒ （中略）" Ｘ．Ｗａｎｇ，Ｌ．Ｖ．Ｗａｎｇ ｅｔ ａｌ．Ｐｒｏｃ．ｏｆ ＳＰＩＥ Ｖｏｌ．５６９７（２００５）．

特許文献１のように、読影の対象画像を光音響画像とエコー画像との重畳画像とした場合、参照画像の提示の仕方によっては比較が困難となり、類似症例を確からしく発見することに必要以上に時間を要したり、より類似した画像を見落としたりする恐れがあった。

そこで、本発明は、光音響画像と他もモダリティの画像とを重畳した読影対象画像を読影する際に、読影対象画像と参照画像が比較しやすい医用画像装置、ならびに、医用画像の表示方法を提供することを目的とする。

本発明に係る第一は、被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得する読影像取得部と、前記読影画像の性状を推定するための参照画像を取得する参照像取得部と、前記読影画像と前記参照画像とを並列表示させる並列表示部と、を備える医用画像装置であって、前記参照像取得部は、腫瘍像と血管像とが重畳された前記参照画像を取得することを特徴とする。

また、本発明に係る第二は、被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得する読影像取得部と、前記読影画像の性状を推定するための参照画像を取得する参照像取得部と、前記読影画像と前記参照画像とを並列表示させる並列表示部と、を備える医用画像装置であって、前記参照像取得部は、前記読影画像より前に撮影された超音波の過去画像と光音響の過去画像とが重畳された前記参照画像を取得することを特徴とする。

さらにまた、本発明に係る第三の医用画像の表示方法は、被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得するステップと、前記読影画像の性状を推定するための参照画像を取得するステップと、前記読影画像と前記参照画像とを並列表示させるステップと、を備え、前記参照画像を取得するステップは、腫瘍像と血管像とが重畳された前記参照画像を取得することを特徴とする。

本発明は、光音響画像と他もモダリティの画像とを重畳した読影対象画像を読影する際に、読影対象画像と参照画像が比較しやすい医用画像装置、ならびに、医用画像の表示方法を提供することが可能となる。

第一の実施形態に係る表示例（ａ）と読影画像（ｂ）（ｃ）と参照画像（ｄ）（ｅ）の重畳前の画像を示すものである。 第一の実施形態に係る医用画像装置の示す概略構成図である。 第一の実施形態に係る参照画像表示方法のフローを示す図である。 参考形態（ａ）と第一の実施形態（ｂ）に係る参照画像の表示例を示すものである。 第二の実施形態に係る参照画像の表示レイアウト（ａ）〜（ｃ）を示すものである。 第三の実施形態に係る参照画像及び読影画像の画像調整の方法の説明する図である。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状及びそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、光音響イメージングにより生成した被検体情報の処理技術に関する。よって本発明は、医用画像に係る処理装置またはその制御方法、あるいは医用画像の取得方法や信号処理、画像処理方法として捉えられる。本発明はまた、これらの方法をＣＰＵ等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納した記憶媒体としても捉えられる。なお、被検体情報は、被検体に光（電磁波）を照射し、光音響効果に従って被検体内または被検体表面の特定位置で発生して伝搬した音響波を受信（検出）する光音響トモグラフィ技術を利用した装置により取得される。本発明における読影情報、参照情報は被検体情報の一部であり、光照射によって生じた音響波の発生源の位置、被検体内の初期音圧、初期音圧分布から導かれる光エネルギー吸収密度分布や吸収係数、あるいは、被検体組織を構成する物質の濃度、等が含まれる。被検体組織を構成する物質の濃度は、具体的には、酸化・還元ヘモグロビン濃度やそれらから求められる酸素飽和度などの血液成分物性値、あるいは脂肪、コラーゲン、水分の濃度などを含む。これらは数値データとしてだけではなく、被検体内の各位置と関連付けられた分布情報として求めることもできる。上記分布情報は、読影画像、参照画像となる。

本願明細書内で用いる超音波及び光音響波は、いずれも、音響波と呼ばれる弾性波に含まれる。電気機械変換素子により発生した音響波のことを、超音波または送信波と称し、被検体で反射または散乱して電気機械変換素子で受信する音響波を超音波、受信波、または、エコー波と称する。光音響効果により発生した音響波のことを、光音響波または光音響と称する。

本願明細書内で用いる読影画像は、患者を診断するために、検査オーダ等で指定された患者の関心部位に対してモダリティを利用して撮影された読影対象の画像を含む。読影画像は、特に、光音響装置で撮影された光音響画像、及び、超音波装置で撮影された超音波画像、の少なくともいずれかを含む。光音響装置と超音波装置は、兼ねるように構成することが可能であり、共通のモダリティとして実装される場合を含んでいる。

一方、本願明細書内で用いる過去画像は、読影画像が撮影されるよりも前に撮影された光音響画像及び超音波画像を含むものあり、診断結果や画像生成条件などのアノテーションと関連付けられて画像データベースに記憶される画像である。過去画像は、画像データと関連するメタ情報と関連付けられて画像データベースに、検索可能に、蓄積されるため、関連する画像の集合体を示す場合がある。

また、本願明細書内で用いる候補画像は、読影者が診断のために参考とする参照画像の候補となる画像であって、本発明の医用画像装置の操作者等により指定されることにより参照画像となる。候補画像は、過去画像の中からキーワード等の関連情報により検索され、参照画像の候補として抽出さされた画像及び画像群である。候補画像は、かかる関連情報とのマッチングにより優先順位付けされる場合がある。

医用画像装置の操作者は、読影医が含まれる。参照画像とは読影者が候補画像の中から選択した画像であり、読影画像を読影診断するため比較するための画像である。過去画像は、読影画像と対比される参照画像の候補画像に適用される画像であると換言される。

［第一の実施形態］
以下、第一の実施形態に係る医用画像装置２００が実行する読影画像と参照画像の対比表示の一例を、図１（ａ）〜（ｅ）を用いて説明する。

＜表示画面＞
表示画面１００は、図１（ａ）のように、読影画像１０１、参照画像１０２、参照画像の候補１０３及び１０４、キーワード入力部１０５、及び、参照画像１０１の診断結果データと画像生成データとを表示するメタ情報表示部１０８が表示されている。なお、表示画面１００は、後述する表示部２１８の構成要素であり、キーワード入力部１０５は、後述する情報入力部２１２の構成要素である。読影画像１０１と参照画像１０２は、横方向に並列して表示しているが、画像診断上に比較がしやすければよく、他の並列表示形態が変形例として本発明に含まれる。また、読影画像１０１と参照画像１０２は、ぞれぞれ、２以上のウィンドウで表示されてもよい。

本実施形態の表示画面１００は、図１（ａ）のように、参照画像または読影画像の画質を調整するための指示を入力するための設定ボタン１０６、及び、画像調整スライダー１０７と、を備えている。かかる設定ボタン１０６、及び、画像調整スライダー１０７は、後述する調整値入力部２１９の構成要素である。

（読影画像）
読影画像１０１は、図１（ｂ）に示す腫瘍の外縁１０１ｔを呈する超音波画像１０１ｕと、図１（ｃ）に示す光音響的なコントラストに基づき血管の走行１０１ｖを呈する光音響画像１０１ｐが重畳された重畳画像が表示されている。このように、超音波画像１０１ｕと光音響画像１０１ｐとを重畳することにより、外縁が示された腫瘍像１０１ｔと走行が示された血管像１０１ｖにより、読影者は腫瘍の性状、すなわち、悪性度を読影する。

（参照画像）
本実施形態の参照画像１０２は、図１（ｄ）に示す腫瘍像１０２ｔと図１（ｅ）に示す血管像１０２ｖとが重畳されている。腫瘍像１０２ｔおよび血管像１０２ｖは、いずれも、読影画像１０１より前に撮影された超音波の過去画像１０２ｕと光音響の過去画像１０２ｐに基づいて選択されたものである。従って、参照画像１０２は、読影画像１０１より前に撮影された超音波の過去画像１０２ｕと光音響の過去画像１０２ｐとが重畳されていると換言される。このように、参照画像１０２を、腫瘍像１０２ｔと血管像１０２ｖとの重畳画像とすることにより、重畳画像により性状を評価する読影画像１０１と、読影者が対比しやすくなる。腫瘍像１０２ｔは、鑑別診断による性状と関連付けられている。腫瘍像１０２ｔは、鑑別診断による悪性度と関連付けられていると換言される。

なお、本願明細書における腫瘍像は、光音響イメージングでは腫瘍部と正常部との境界が明確に判別できないが、他のイメージング手段または生検等により境界が判別できるような領域に対応する像である。従って、本願明細書における腫瘍は、性状の異なる、悪性腫瘍、良性腫瘍、嚢胞、膿疱、炎症、等を含むものとして扱う。性状の異なる上記の疾患を疑う領域は、鑑別が確定していても、鑑別されていなくともよい。表示部１００は、読影画像１０１、参照画像１０２に対して、重畳画像ではない画像を表示するように表示されてもよい。後述する読影像取得部、参照像取得部は、光音響画像１０１ｐ（１０２ｐ）と、超音波画像１０１ｕ（１０２ｕ）のうち、少なくとも一方の透過度を１００％、他方の透過度を１００％より小さくしてもよい。読影像取得部、参照像取得部は、少なくとも他方の透過度を０％とし、一方の透過度を０％より大きくしてもよいと換言される。

参照画像１０２を変更する場合は、候補画像１０３と１０４のいずれかを選択することで参照画像１０２が候補画像１０３と１０４のいずれかに入れ替わる。候補画像１０３、１０４は、後述する参照像取得部２１３で優先順位付けされた過去画像群の優先順位に基づいて表示される。

（候補画像）
候補画像１０３は、読影画像１０１と同一または類似している疾患例の適正画像の群を示す候補画像である。候補画像１０４は、読影画像１０１と性状が異なると推定されるべき、鑑別すべき適正画像でないと推定される群を示す候補画像である。候補画像１０３、１０４は、読影画像１０１に基づいて抽出した画像情報および、症例に関する関連情報の少なくともいずれかに基づいて、後述する画像データベース２２０から取得される。読影画像１０１に基づいて抽出した画像情報および、症例に関する関連情報については、医用画像装置２００の全体構成の説明において後述する。なお、候補画像１０３、１０４は、参照画像１０２と区別するため、および、画面の見やすさを考慮して、表示解像度および表示サイズが低いサムネイル表示されている。

本実施形態の表示画面１００の表示例では、候補画像１０３、１０４は優先順位が高い順にそれぞれ２枚表示しているが、スライダー１０９及び１１０を使って各候補画像の優先順位の低い画像もスクロールして表示させることができる。各候補画像群の優先順位付けのためキーワード入力部１０５はどの候補群のキーワードを入力するかを指定するための入力部４１１も備わっている。

なお、参照画像１０２と同様にして、参照画像１０２の候補画像１０３、１０４も、それぞれ、腫瘍像と血管像とが重畳されている。参照画像１０２と同様にして、参照画像１０２の候補画像１０３、１０４も、それぞれ、読影画像１０１より前に撮影された超音波の過去画像と光音響の過去画像とが重畳されていると換言される。

図１では横断面（アキシャル断面）を表示しているが、冠状面（コロナル断面）あるいは矢状面（サジタル断面）を表示してもよいし、あるいは任意の断面を表示してもよい。またディスプレイには２次元画像のみならず立体像あるいは動画を表示することもできる。

＜医用画像装置の全体構成＞
次に、図２、図３を用いて本実施形態に係る医用画像装置２００の構成と医用画像の表示方法のシーケンスを説明する。図２は、医用画像装置２００の概略を示すブロック図であり、図３は、読影画像と参照画像とを用いて読影画像の画像診断を行うシーケンスを示すフローチャートである。

（取得部）
取得部２０６は、光音響装置２０１、超音波装置２０３から読影画像データ２２５を取得する読影像取得部２０５、および、過去データ格納部２０７を介して画像データベース２２０から参照画像データ２２７を取得する参照像取得部２１３と、を備えている。

読影像取得部２０５、および、参照像取得部２１３は、取得する画像データとともに、画像データに関連付けられた、関連情報を取得することが可能に構成されている。また、読影像取得部２０５、および、参照像取得部２１３は、画像データおよび関連情報（関連データ）を、他のデータ出力要素との間で、有線通信、無線通信、光通信を介して、データの受け渡しを行えるが、記録媒体、記憶装置を介して行っても良い。医用画像装置２００と、光音響装置２０１、超音波装置２０３とは、遠隔配置されていても良く、医用画像装置２００とは別の場所に、光音響装置２０１あるいは超音波装置２０３が配置されていても良い。

過去データ格納部２０７を画像データベース２２０から取得部２０６に転送する場合は、診断結果データと画像生成データも画像データと一式にして転送する。

（読影像取得部）
読影像取得部２０５は、確定診断前であって画像診断するために用いる読影対象の医用画像に係る読影画像データ２２５を取得し、後述する並列表示部２１７に出力する要素である。 読影像取得部２０５は、光音響装置２０１から光音響画像データ２０２を取得し、超音波装置２０３から超音波画像データ２０４を取得する。読影像取得部２０５は、さらに、光音響画像データ２０２と超音波画像データ２０４とを重畳処理することで、光音響画像１０１ｐと超音波画像１０１ｕとが重畳された読影画像１０１を生成する。なお、本願明細書において画像を生成することを、画像を取得することに含まれるものとして扱う。

読影像取得部２０５は、重畳した読影画像１０１を生成する読影画像データ２２５を後述する並列表示部２１７に出力する。読影画像１０１に腫瘍を疑う所見が含まれる場合は、読影像取得部２０５が光音響画像データ２０２と超音波画像データ２０４とを重畳処理することで、血管像１０１ｖと腫瘍像１０１ｔとが重畳された読影画像１０１を生成すると換言される。

読影画像データ２２５を構成する光音響画像データ２０２および超音波画像データ２０４は、互いに座標系が対応づいて、位置合わせが可能な組み合わせである。位置合わせが可能な医用画像の組み合わせとは、たとえば被検体の同じ領域や重複する領域が撮像された医用画像の組み合わせである。すなわち、光音響画像データ２０２および超音波画像データ２０４が互いに座標系が対応づいていることにより、読影画像１０１は、被検体に対する撮影画角が互いに重なるように超音波画像データ２０２と光音響画像データ２０４とが重畳される。

また、読影画像データ２２５は、立体的に断層撮影されたボリュームデータでも、一部の組織断層を撮影した断層画像データ等の如何なる次元のデータ形式を採用することができる。また、読影画像データ２２５は、医用画像は関心領域（ＲＯＩ）等を示すアノテーションの情報を含んでいてもよい。

（過去データ格納部）
過去データ格納部２０７は、過去に診断が完了している医用画像を格納する部分である。過去データ格納部２０７は、光音響画像データ２０８、超音波画像データ２０９、診断結果データ２１０、画像生成データ２１１が格納されており、後述する参照像取得部２１３に、選択されたデータ２２７を参照像取得部２１３に出力する。

過去データ格納部２０７は、画像データベース２２０から、音響画像データ２０８、超音波画像データ２０９、診断結果データ２１０、画像生成データ２１１を取得し、格納している。画像データベース２２０は、本実施形態では、医用画像装置２００の外部に位置し、医用画像装置２００とデータを送受信可能に接続されている。

診断結果データ２１０は、画像診断時に得られる医用画像に関連する関連情報のことである。診断結果データ２１０は、病名、病態、血管特徴、病変範囲、病変の大きさ、病変の深さ、病変の位置区分、病変境界位置情報、関心領域、病理結果、臨床検査データ、性別、年齢、病歴、治療歴、投薬歴、患者背景情報等が含まれる。また。診断結果データ２１０は、さらに、読影者の印象による参照画像としての推奨度、読影者の経験値、読影者のスキル、診断の難易度、参照画像としての推奨度も含まれ、またその他読影者が参照画像を選択するために任意の基準も追加できる。

参照画像としての推奨度は、過去に読影者が特定の疾患の典型例として未来の読影者が参照するのに有用と判断した時、かかる疾患を対象とした参照画像として推奨度は高く設定される。読影者の経験値は、過去データ格納部２０７に格納された画像データ、関連情報に係るデータへの登録回数等を点数化したものである。読影者のスキルは、過去の画像診断結果に対して、病理検査などその後の確定診断との比較によるその適中度、あるいは画像診断に対する経験程度を点数化したものである。また、診断の難易度は、過去の画像診断結果と病理検査などその後の確定診断結果が異なっていた場合に診断難易度が高い参照画像として点数化したものである。診断難易度が高い参照画像は、診断で間違いやすい例として、診断上注意すべき観点を知ることができる。参照画像としての有用度は、例えば参照画像として使われた回数あるいは参照した読影者が診断するためにどの程度役立ったかを点数化したものである。

また診断結果データ２１０は、画像診断する上での注目点、注意点など未来の読影者に向けてのコメントを文字・シンボルマーク・動画・音声などで記録したデータも含まれる。さらに参照画像あるいは後述する動画に直接画面内に矢印等で注目点を指示するための情報も診断結果データ２１０に含まれる。画像生成データ２１１は、読影画像１０１を表示するときに画質の調整のために用いるパラメータであり、輝度調整値、コントラスト調整値、参照画像中の注目すべき位置やその範囲、拡大率、投影画像作成パラメータ、重畳画像作成パラメータなどが含まれる。投影画像作成パラメータは、最大値投影、最小値投影などの投影画像の種類や、その投影範囲、輝度、コントラスト等に関する設定値が含まれる。重畳画像作成パラメータは、重畳前の元画像の情報、重畳比率、色付けなどの表示設定、位置あわせ情報などが含まれる。画像生成データ２１１は、参照画像１０２の重畳に利用されるだけでなく、画像生成データ２１１は、熟練者による重畳画像の生成方法をデータ化し、読影画像１０１の重畳にも利用される。

以上のように、過去データ格納部２０７が格納する、光音響画像データ２０８、超音波画像データ２０９以外、である診断結果データ２１０、画像生成データ２１１を含む関連情報は、点数化されて管理することが可能である。読影者に係る関連情報は、パラメトリックに管理されたパラメトリック情報であると換言される。読影者が、読影画像１０１から測長した腫瘍のサイズ、病変のサイズ、血管径、血管の管壁の厚さ、及び、血管の走行方向の標準偏差、等は、パラメトリック情報に含まれる。

過去データ格納部２０７は、読影像取得部２０５と同様に、光音響画像データ２０２および超音波画像データ２０４は互いに座標系が対応づいて、位置合わせが可能な組み合わせである。また過去データ格納部２０７は、ボリュームデータあるいは断層画像データ（スライス画像データ）でもよいし、関心領域情報を含んでいてもよい。過去画像データにも光音響画像には血管像および酸素飽和度像などが含まれる。

近年、画像データにはＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格が用いられ、メタデータと画像データとで構成される。メタデータには、たとえば患者名、年齢、生年月日、性別、検査、シリーズ、画像に関する情報が含まれる。本発明ではＤＩＣＯＭ規格の画像も扱うことができるため、診断結果データの一部、例えば年齢、性別などが、光音響画像データ２０２および超音波画像データ２０４のメタデータ内に保管されていてもよい。つまり２０２、２０４、２０８及び２０９の画像データと２１０と２１１のデータは明確に分けられた電子データファイルに保管される必要はない。

過去データ格納部２０７は、診断が完了した読影像取得部２０５に診断結果データと画像生成データを付与して、取得部２０６内に保存される。あるいは画像データベースとは別のデータベースから取得された過去画像データを取得部２０６内に転送し保存してもよい。

過去データ格納部２０７は、過去に診断が完了した画像及び情報がセットになったデータであり、被験者は診断される本人の過去の読影画像でもよいし、別の被験者の画像でもどちらも使用することができる。

（参照像取得部）
参照像取得部２１３は、読影画像１０１の性状を推定するために、確定診断された診断結果と関連付けられた医用画像の群から、読影画像１０１と関連性の高いと推定される参照画像を取得する部分である。図２に示すように、超音波画像データ２０４から得られた腫瘍像１０１ｔ、及び、光音響画像データ２０２から得られた血管像１０２ｖのそれぞれの位置情報は、読影像取得部２０５から参照像取得部２１３に提供される。また、参照像取得部２１３は、過去データ格納部２０７から過去画像として抽出した光音響画像データ２１４、超音波画像データ２１５のそれぞれを格納する。

参照像取得部２１３は、光音響画像データ２１４、超音波画像データ２１５を用いて、並列表示部２１７に出力する参照画像データ２２３を生成する。本実施形態の参照像取得部２１３は、光音響画像１０２ｐと超音波画像１０２ｕとが重畳された参照画像１０２を生成する際に、画像生成データ２１６を用いることができるように構成されている。

参照像取得部２１３は、光音響画像データ２１４と超音波画像データ２１５とを重畳処理することは、血管像１０２ｖと腫瘍像１０２ｔとが重畳された参照画像１０２を生成することを意味する。参照像取得部２１３が重畳された参照画像データ２２３を生成する際に利用する光音響画像データ２１４、超音波画像データ２１５、および、画像生成データ２１６は、過去データ格納部２０７から取得する。過去データ格納部２０７に格納される過去データは、読影画像１０１の撮影より前に撮影された過去の超音波画像データ２０９と過去の光音響画像データ２０８を含む。

参照像取得部２１３は、過去データ格納部２０７を介さずに、画像データベース２２０から直接、過去の画像データとして光音響画像データ２１４、超音波画像データ２１５を取得する形態としてもよい。すなわち、参照像取得部２１３は、光音響画像データ２１４と超音波画像データ２１５とが関連付けられて記憶された画像データベース２２０に対してアクセス可能に設けられている。本実施形態の参照像取得部２１３は、過去データ格納部２０７を介して、画像データベース２２０から、光音響画像データ２１４および超音波画像データ２１の少なくともいずれか一方の過去画像を取得する。

画像データベース２２０から過去データ格納部２０７に格納される過去データは、読影者が指定することも可能であるし、読影画像データ２２５または読影画像１０１に基づいて過去画像データ格納部が自動的に選択することができる。参照像取得部２１３は、過去データ格納部２０７から参照画像を選択する方法として、情報入力部２１２にキーワードを入力することにより、参照画像の候補画像に対して過去画像データの優先順位付けを行う方法が含まれる。参照画像の候補画像に対する優先順位付けは、過去データ格納部２０７あるいは画像データベース２２０内に保存されている症例との関連性に係るデータに基づき行われる。すなわち、過去データ格納部２０７あるいは画像データベース２２０に蓄積された光音響画像データ２０８、超音波画像データ２０９、診断結果データ２１０、及び、画像生成データ２１１、キーワードで検索された検索結果、等に基づき順位付けが行われる。

なお、画像データベース２２０は、医用画像装置２００に接続されていない、不図示の光音響装置および超音波装置で取得された画像、および、画像情報が記憶される場合がある。すなわち、医用画像装置２００は、画像データベース２２０を介して、直接には接続されていない不図示の光音響装置および超音波装置で取得された画像、および、画像情報を取得し過去データ格納部に格納することが可能である。 参照像取得部２１３は、キーワードで指定された症例等の関連情報に基づき、参照画像の候補群を所定の配列に整理して表示することが可能であると換言される。また、参照像取得部２１３は、かかる関連情報に基づき、画像データベース２２０から、操作者が参照画像を指定可能なように参照画像の候補群１０３、１０４を表示することが可能に構成されている。かかる操作者は、読影者、読影医、超音波に関する撮影技師、光音響に関する撮影技師等が含まれる。

キーワードの入力は、読影者が任意の関連情報を手入力してもよいし、読影画像１０１のメタデータや画像生成パラメータから予め設定した情報、あるいは読影者が予め設定した任意の情報を自動で情報入力部２１２に入力してもよい。読影者によるキーワードの手入力は、任意の文字をキーボード入力してもよいし、よく用いられるキーワードをプルダウンメニューなどから選択するＧＵＩを利用してもよい。入力されるキーワードは、読影画像１０１に関係する症例に関する関連情報が含まれる。読影画像１０１に関係する症例とは、または、読影画像１０１に含まれる腫瘍像１０１ｔに対して陽性が疑われる類似症例と、否定されるべき、すなわち、鑑別されるべき類縁症例が含まれる。

（参照画像の重畳条件）
参照像取得部２１３は、光音響画像データ２１４と超音波画像データ２１５それぞれのボリュームデータを用いて重畳画像のみならず投影画像を生成することができる。

超音波画像１０２ｕと光音響画像１０２ｐとが重畳された参照画像１０２は、読影者が参照像取得部２１３に対して指定する重畳画像作成パラメータに基づいて生成されるが、画像生成データ２１６に基づいて生成することもできる。画像生成データ２１６は、過去に画像診断した時に生成させた重畳画像の画像生成情報が含まれているため、これを参照画像１０２の生成に利用するものである。

参照像取得部２１３は、読影像取得部２０５が読影画像データ２２５を生成する際に利用した重畳条件を参照して、参照画像データ２２３を作成することができる。

参照像取得部２１３が参照画像データ２２３を生成する際に利用する重畳条件に関するパラメータの例を以下に示す。重畳条件に係るパラメータは、画像の階調表示パラメータ、投影範囲、重畳比率、画像の疑似カラー表示設定、等を含む。また、画像の階調表示パラメータは、ウィンドウ値、ウィンドウ幅の値を含む。ウィンドウ値、ウィンドウ幅の値は、それぞれ、指定された領域内の輝度値分布情報に基づいて設定される。

参照像取得部２１３は、超音波画像データ２１５より生成した病変部の関心領域情報を超音波画像データ２１５の代わりに用いて、光音響画像データ２１４に重ね合わせて参照画像データ２２３を生成してもよい。

参照像取得部２１３が生成する画像は、読影像取得部２０５と同様に、以下のものが含まれる。参照像取得部２１３が生成する画像は、スライス画像とスライス画像の重畳画像、スライス画像と投影画像の重畳画像、投影画像と投影画像の重畳画像、スライス画像、投影画像、及び以上の画像に関心領域情報を重ねた重畳画像が含まれる。

さらに過去データ格納部２０７に格納された参照画像データがボリュームデータの場合、画面上に２次元に表示すべきスライス範囲を設定することにより、２次元画像のスライスが順次送られる疑似動画を生成することができる。かかる疑似動画を参照画像１０２として使う場合はループ再生することができる。またボリュームデータ形式の過去データ格納部２０７に格納された過去画像データにより、病変部周辺の立体画像を生成してもよい。

また、参照画像がボリュームデータからスライス画像を取得する場合、何枚目のスライス画像を選択するか指定する必要がある。スライス画像の選択方法は、着目するスライス画像の位置情報を入力する方法、スライスを送りながらスライス画像を確認し、所望の画像になったときの位置情報を選択することもできる。

（並列表示部）
並列表示部２１７は、図１のように、読影画像データ２２５に基づく読影画像１０１と、参照画像データ２２３に基づく参照画像１０２を表示部２１８に並列に表示させる部分である。並列表示部２１７により並列表示される読影画像１０１と参照画像１０２は、後述する調整値入力部２１９により、画質が調整される。

（表示部２１８）
表示部２１８は、表示デバイスであって、液晶ディスプレイ、有機ＬＥＤ、無機ＬＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイ等が含まれる。表示部２１８は、並列表示部２１７から出力された画像信号に基づき、図１のように、読影画像１０１、参照画像１０２、診断結果データ、画像生成データの一部、医用画像装置または撮影装置を操作するためのＧＵＩ等が表示される。表示部２１８は、１つの表示画面でシングルディスプレイ構成、あるいは、複数の表示デバイスで構成されるマルチディスプレイの構成が含まれる。

（調整値入力部）
調整値入力部２１９は、並列表示部２１７により並列表示されている読影画像１０１と参照画像１０２の画像を、読影者が画面を見ながら再調整するために調整パラメータ入力部を備えている。調整値入力部２１９は、読影画像１０１と参照画像１０２のそれぞれの画質を、画像毎に個別に、または、両画像を連動させて調整することが可能となっている。

設定などが入力できる。調整値入力部２１９により調整される画質のパラメータは、輝度、コントラスト、γカーブ等の画質、拡大率、表示範囲、ウィンドウ値とウィンドウ幅による階調調整、投影範囲、重畳比率、カラーマッピングの選択、等が含まれる。

たとえば読影画像の重畳比率を１／２にした時、参照画像の重畳比率も１／２にすることができる。本願明細書において重畳比率は重畳する領域の全体に対して定まり、光音響画像の輝度値／（光音響画像＋超音波画像）と定義している。血管像１０１ｖ（１０２ｖ）と腫瘍像１０１ｔ（１０２ｔ）の重畳画像１０１（１０２）において、読影画像１０１で血管像１０１ｖを強調するため重畳比率を変更する場合を以下に説明する。参照画像１０２と読影画像１０１が連動して重畳比率が変更されると、参照画像１０２を読影画像１０１と同じ条件で比較することができ読影が容易になる。

また、読影画像１０１がボリュームデータである時、読影画像１０１の光音響画像１０１ｐの投影範囲を０．１ｍｍから１．０ｍｍに変更し、スラブ厚を厚くして血管の繋がりを確認することがある。このようなスラブ厚の変更を、読影画像１０１および参照画像１０２のいずれか一方に対して行うとき、いずれか他方に対してもスラブ厚を連動させて変更することで、血管像１０１ｖ、１０２ｖの走行が、両画像において、把握しやすくなる。

＜参照画像の生成に係るフローチャート＞
次に、本実施形態に係る重畳画像を参照画像とする参照画像表示方法を、図３のフローチャートを参照して説明する。

（Ｓ１００：読影画像を取得する）
光音響装置２０１、超音波装置２０３から取得した、光音響画像データ２０２および超音波画像データ２０４を読影像取得部２０５に保存する。読影像取得部２０５は、光音響画像データ２０２および超音波画像データ２０４と、を重畳処理し、光音響画像１０１ｐと超音波画像１０１ｕとが重畳された読影画像１０１を取得する。読影像取得部２０５は、光音響画像データ２０２および超音波画像データ２０４と、を重畳処理し、読影画像データ２２５を生成し、並列表示部２１７に出力する。

（Ｓ１０１：情報入力部にキーワード入力）
情報入力部２１２が、キーワードの入力を受け付ける。本ステップで入力されるキーワードは、読影画像１０１に関連性のある参照画像１０２の候補画像１０３、１０４を検索するための検索タームである。入力されるキーワードは、不図示の検査オーダ、電子カルテ等から取得されたキーワードに代替可能である。すなわち、操作者による入力、電子カルテまたは検査オーダに含まれる症例情報は、症例に関する関連情報であると換言される。

（Ｓ１０２：検索と候補画像の優先順位付け）
ステップＳ１０１で入力されたキーワードに基づき、参照像取得部２１３は、光音響画像データ２１４、超音波画像データ２１５を、過去データ格納部２０７に格納された光音響画像データ２０８、超音波画像データ２０９から検索し、格納する。さらに、参照像取得部２１３は、診断結果データ２１０及び画像生成データ２１１から入力されたキーワードを使って、読影画像１０１と関連性の高い過去画像の優先順位付けを行う。

（Ｓ１０３：参照画像を取得する）
ステップＳ１０２の最上位の参照画像候補を用いて、参照像取得部２１３は、光音響画像データ２１４および超音波画像データ２１５と、を重畳処理し、光音響画像１０２ｐと超音波画像１０２ｕとが重畳された暫定の参照画像１０２を生成する。参照像取得部２１３は、光音響画像データ２１４および超音波画像データ２１５と、を重畳処理し、参照画像データ２２３を生成し、並列表示部２１７に出力する。

参照像取得部２１３は、第二順位以降の類似画像、および、鑑別すべき類縁疾患画像を、それぞれ、候補画像１０３、１０４として表示部２１８に表示するように並列表示部２０７に出力する。

（Ｓ１０４：並列表示と画像診断結果の入力受付）
並列表示部２１７が、表示部２１８に読影画像１０１及び参照画像１０２と、を並列表示する。読影者は、参照画像１０２が読影画像１０１の症例の指標となる適正画像であると判断した場合に、適正画像である旨を情報入力部２１２に入力する（Ｙ）。読影者からの適正画像である旨の入力に基づいて、参照像取得部２１３は次ステップＳ１０５に進む指令を受ける。

読影者は、参照画像１０２が適切であると判断できない場合は、候補画像１０３、１０４より新たな参照画像１０２を選択し、表示画面１００内の参照画像１０２は更新される（Ｎ）。読影者からの適正画像ではない旨の入力に基づいて、参照像取得部２１３はステップＳ１０１に戻る指令を受け、キーワード入力を受け付ける。ステップＳ１０４で参照画像１０２が適正画像である旨の入力がされるまで、ステップＳ１０１からＳ１０４までのループを繰り返す。

なお、ステップＳ１０４において、読影者は、読影画像１０１及び参照画像１０２のいずれかの画像調整を行うサブステップＳ１０７（サブルーチン）を経由して、適正画像となる参照画像１０２を得ることができる。

（Ｓ１０５：診断結果、画像生成データの更新）
読影者が参照画像１０２と読影画像１０１の読影により下された画像診断結果の入力を受け付ける。入力された画像診断結果を、読影画像と関連付けて過去データ格納部２０７に出力し診断結果データ２１０を更新する。さらに、参照画像１０２および読影画像１０１と関連付けられた重畳条件等の画像生成データを過去データ格納部２０７に出力し、画像生成データ２１１を更新する。

（Ｓ１０６：画像データベースを更新）
過去データ格納部２０７で更新された光音響画像データ２０８、超音波画像データ２０９、診断結果データ２１０及び、画像生成データ２１１を、画像データベース２２０に出力し更新する。

［参考形態］
図４（ａ）を用いて、本発明を適用せずに画像診断を行う場合の参考形態として乳腺症例を用いて具体的に説明する。悪性であることが確定診断された腫瘍を含むように撮影された光音響画像４００は、血管像４０１と、血管以外の背景組織に対応する背景像４１０とが含まれている。背景像４１０は、腫瘍組織、腫瘍組織以外の筋肉組織、脂肪組織、リンパ腺等が含まれると推定される。一方、背景像４１０において、腫瘍領域は、他の組織に対して光音響イメージング上は分離されておらず、血管像４０１より低強度の中間諧調領域の中に存在しているものと推定される。腫瘍に対応する領域と血管像４０１とが同一画面上に表示されていないため、血管像４０１により対応する腫瘍の性状について判断できず参照画像として不適切であることが分かる。

一方、良性であることが確定診断された腫瘍を含むように撮影された光音響画像４０２は、光音響画像４００と同様にして、血管像４０３と背景像４１３とが含まれている。光音響画像４００と光音響画像４０２を見比べたとき、腫瘍領域に対する血管走行が不明のため、血管像４０１と血管像４０３は同じ様に見える。このため、光音響画像４００と光音響画像４０２は、いずれも、腫瘍の性状を判断する参照画像として血管の走行を把握するのが難しく不適切であることが分かる。

すなわち、光音響画像４００および４０２は、それぞれ悪性腫瘍および良性腫瘍を含む乳腺の光音響画像を表している。光音響画像４００および４０２に描出された血管像４０１と４０３は、腫瘍部との位置関係が不明であって、両画像からは血管像４０１と４０３の違いが読み取れない。

一方、本発明を適応して画像診断を行う場合の適応例を図４（ｂ）に示す。本発明では光音響画像と超音波画像を重畳したものを参照画像として用いている。

参照画像４０４は、血管像４０１、及び、悪性の腫瘍像４０５と、が重畳されて表示されているため、悪性腫瘍と血管の位置関係により悪性腫瘍に関係する血管走行の特徴が把握しやすくなっている。例えば、血管４０１は悪性腫瘍４０５の内部に略垂直に貫入しているといった特徴が悪性腫瘍像４０５と重畳表示させることにより把握しやすい。

同様に、参照画像４０６は、血管像４０３、及び、良性の腫瘍像４０７と、が重畳されて表示されているため、良性腫瘍と血管の位置関係により良性腫瘍に関係する血管走行の特徴が把握しやすくなっている。

このように光音響画像による血管像から病変位置との相対的特徴を把握するために、参照画像は光音響画像と超音波画像の重畳画像を用いると有用であることが分かる。

［第二の実施形態］
また、第二の実施形態に係る医用画像の表示方法について、図５（ａ）〜（ｃ）を用いて説明する。本実施形態の各例は、読影画像と参照画像の画面レイアウトに関して、第一の実施形態と相違する。

図５（ａ）示す表示画面５００は、読影画像５０１と、読影画像５０１を左右方向で挟むように、参照画像５０２及び５０３が、１×３のリニア配列でレイアウトされている。このように参照画像５０２、５０３を複数枚表示させて読影画像５０１と比較することも有効である。想定される疾患に対する参照画像５０２と鑑別すべき疾患の参照画像５０３のように、異なる種類の参照画像を表示することにより多面的な診断を可能となる。尚、読影画像と参照画像の並び方は一例であり、読影者により任意に設定可能である。

図５（ｂ）に示す表示画面５０４は、読影画像５０５と３枚の参照画像５０６とが、２×２のマトリクス形態でレイアウトされている。このような２次元的なレイアウトは、（調整なし、調整ａ１、調整ａ２）、（調整ａ、調整ｂ、調整ａ＋ｂ）、（症例Ａ、症例Ｂ、調整症例Ａ＋Ｂ）のように、読影画像に含まれる特定のパラメータの影響度（相関性）を発見しやすくなる効果を提供する。

図５（ｃ）に示す表示画面５０７、５０８は、マルチディスプレイ構成を利用して、読影画像５０９、及び、参照画像５１０を、レイアウトし、それぞれを大きく表示したものである。

［第三の実施形態］
次に、図６を使って読影画像と参照画像の画像調整方法について説明する。本実施形態は、読影画像と参照画像の画像調整時の表示レイアウトに関して第一の実施形態と相違する。図６には、読影画像６００、参照画像６０１、読影画像６０１の調整ウィンドウ６０２、参照画像６０１の調整ウィンドウ６０３が、２×２のマトリクス表示されている表示例が示されている。

読影者が、調整値入力部２１９を介して参照画像６０１の画像調整６０６を行うことにより、調整ウィンドウ６０３は調整された状態に更新される。この時、読影画像６００に対する画像調整６０７が、画像調整６０６と連動６０８して、読影画像６００に対して行われる。

読影画像６００に対する画像調整６０７を、画像調整６０６と連動して画像調整が行われた調整結果を、読影者は、読影画像６０１の調整ウィンドウ６０２により確認することができる。また逆に、読影画像６００の画像調整６０７を行うことにより、参照画像６０１の画像調整６０６を連動６０８させることができる。

このように読影画像と参照画像のいずれか一方を画像調整すると連動してもう一方の画像も同様な画像表示条件変更が行われる。具体的には、読影画像の重畳比率において超音波画像成分を高くした時、それに連動して参照画像の重畳比率も同様に変更される。このときの変更は絶対値変更として連動してもよいし、相対的な変更として連動してもよい。

絶対的な変更は、読影画像の重畳比率５０％から２５％への変更した場合、参照画像の重畳比率が６０％であった場合、読影画像での変更値と同じ２５％へ変更されることである。一方、相対的な変更は、読影画像の重畳比率５０％から２５％へ二分の一に変更した場合、参照画像の重畳比率が６０％であった場合、３０％へ変更されることである。

２００ 医用画像装置
２０５ 読影像取得部
２１３ 参照像取得部
２１７ 並列表示部
１０１ｕ、１０２ｕ 超音波画像
１０１ｐ、１０２ｐ 光音響画像
１０１ｔ、１０２ｔ 腫瘍像
１０１ｖ、１０２ｖ 血管像
１０３ｕ、１０４ｕ 超音波の過去画像
１０３ｐ、１０４ｐ 光音響の過去画像
Ｓ１００ 読影画像を取得するステップ
Ｓ１０３ 参照画像を取得するステップ
Ｓ１０４ 並列表示させるステップ

Claims (20)

1. 被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得する読影像取得部と、
   前記読影画像の性状を推定するための参照画像を取得する参照像取得部と、
   前記読影画像と前記参照画像とを並列表示させる並列表示部と、を備える医用画像装置であって、
   前記参照像取得部は、腫瘍像と血管像とが重畳された前記参照画像を取得することを特徴とする医用画像装置。
2. 前記参照像取得部は、光音響画像データと超音波画像データとが関連付けられて記憶された画像データベースに対してアクセス可能に設けられており、
   前記参照像取得部は、前記腫瘍像と前記血管像とを前記画像データベースからそれぞれ取得し重畳することにより前記参照画像を取得することを特徴とする請求項１に記載の医用画像装置。
3. 前記参照像取得部は、前記読影画像に基づいて抽出した画像情報および、症例に関する関連情報の少なくともいずれかに基づいて、前記画像データベースから前記参照画像を取得することを特徴とする請求項２に記載の医用画像装置。
4. 前記画像情報は、前記読影画像に基づき抽出されたパラメトリック情報を含むことを特徴とする請求項３に記載の医用画像装置。
5. 前記関連情報は、操作者による入力、電子カルテまたは検査オーダに含まれる症例情報を含むことを特徴とする請求項３または４に記載の医用画像装置。
6. 前記腫瘍像は、前記読影画像の撮影より前に超音波装置で撮影された超音波画像であることを特徴とする請求項１乃至５のいずれか１項に記載の医用画像装置。
7. 前記腫瘍像は、鑑別診断による性状と関連付けられていることを特徴とする請求項６に記載の医用画像装置。
8. 前記血管像は、前記読影画像の撮影より前に光音響装置で撮影された光音響画像であることを特徴とする請求項１乃至５のいずれか１項に記載の医用画像装置。
9. 前記血管像は、鑑別診断による性状と関連付けられていることを特徴とする請求項８に記載の医用画像装置。
10. 前記参照像取得部は、前記関連情報に基づき、前記画像データベースから前記操作者が前記参照画像を指定可能なように前記参照画像の候補群を表示することを特徴とする請求項５に記載の医用画像装置。
11. 前記参照像取得部は、前記関連情報に基づき、前記候補群を所定の配列に整理して表示することを特徴とする請求項１０に記載の医用画像装置。
12. 前記参照画像および前記読影画像は、いずれか一方の表示条件の変更と連動して、他方の表示条件が変更されることを特徴とする請求項１乃至１１のいずれか１項に記載の医用画像装置。
13. 前記参照像取得部は、前記読影画像おける前記光音響画像と前記超音波画像の重畳条件に基づき、前記血管像と前記腫瘍像とを重畳して前記参照画像を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の医用画像装置。
14. 前記重畳条件は、前記読影画像に関連付けられている画像生成情報に基づき、前記血管像と前記腫瘍像とを重畳して前記参照画像を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の医用画像装置。
15. 前記画像データベースは、前記光音響画像データ、前記超音波画像データおよび前記画像生成情報、が関連付けられて記憶されていることを特徴とする請求項１４に記載の医用画像装置。
16. 前記画像データベースは、前記光音響画像、前記超音波画像および前記鑑別診断の結果が記憶された診断結果に関する情報、が関連付けられて記憶されていることを特徴とする請求項７または９に記載の医用画像装置。
17. 被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得する読影像取得部と、
    前記読影画像の性状を推定するための参照画像を取得する参照像取得部と、
    前記読影画像と前記参照画像とを並列表示させる並列表示部と、を備える医用画像装置であって、
    前記参照像取得部は、前記読影画像より前に撮影された過去の超音波画像と過去の光音響画像とが重畳された前記参照画像を取得することを特徴とする医用画像装置。
18. 前記光音響画像データおよび前記超音波画像データ、それぞれの過去画像を格納する過去データ格納部をさらに備え、
    前記過去データ格納部は、前記画像データベースにアクセス可能に接続されていることを特徴とする請求項２に記載の医用画像装置。
19. 前記参照像取得部は、前記過去データ格納部を介して、前記画像データベースから前記光音響画像データおよび前記超音波画像データの少なくともいずれか一方の過去画像を取得することを特徴とする請求項１８に記載の医用画像装置。
20. 被検体に対する撮影画角が互いに重なるように超音波画像と光音響画像とが重畳された読影画像を取得するステップと、
    前記読影画像の性状を推定するための参照画像を取得するステップと、
    前記読影画像と前記参照画像とを並列表示させるステップと、を備える医用画像の表示方法であって、
    前記参照画像を取得するステップは、腫瘍像と血管像とが重畳された前記参照画像を取得することを特徴とする医用画像の表示方法。

Images