JP2023178791A - 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム - Google Patents

Abstract

【課題】医用画像データに対する画像診断の負担を軽減することができる画像診断支援装置等を提供する。【解決手段】画像診断支援装置は、被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類する分類部と、前記分類器の中間出力である特徴マップから、特徴領域を検出する領域検出部と、前記特徴領域のベクトルを算出するベクトル算出部と、前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域のベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索する検索部と、分類結果及び検索結果を出力する出力部と、を含む。【選択図】図５

Description

開示の技術は、画像診断支援装置、画像診断支援方法、及び画像診断支援プログラムに関する。

マンモグラフィは乳がんの診断のために最も広く使われている画像診断装置である。しかしながらマンモグラフィは乳腺組織が多い高濃度乳房の症例には感度が低くなってしまう問題が知られている。

検査の見落としを防ぐ方法として、超音波エコー等を補助検査として併用することができる。しかし、超音波エコー等では、技師のスキルの依存度が高い。また、画像は技師によって撮像位置が決定されるため、同じ撮像位置で同じ画像を再現することは困難である。

超音波ＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）は、技師のスキルに依存しない、再現性の高い三次元撮像を行う超音波画像診断装置である（非特許文献１）。

Nebojsa Duric et al. Detection of breast cancer with ultrasound tomography: First results with the computed ultrasound risk evaluation (cure) prototype. 2007.

超音波ＣＴは、コロナル断面で撮られた二次元断層画像のシリーズからなる三次元ボリュームを撮像する。一方、大きな三次元ボリュームのすべてを確認し、その中から小さな病変部位を検出するのは労力がかかり、画像診断の負担が増大する。

一つの側面では、医用画像データに対する画像診断の負担を軽減することができる画像診断支援装置、画像診断支援方法、及び画像診断支援プログラムを提供することを目的とする。

本開示の第１態様は、画像診断支援装置であって、被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類する分類部と、前記分類器の中間出力である特徴マップから、特徴領域を検出する領域検出部と、前記特徴領域の潜在ベクトルを算出するベクトル算出部と、前記算出された前記潜在ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域の潜在ベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索する検索部と、分類結果及び検索結果を出力する出力部と、を含む。

本開示の第２態様は、画像診断支援方法であって、被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、前記分類器の中間出力である特徴マップから、特徴領域を検出し、前記特徴領域の潜在ベクトルを算出し、前記算出された前記潜在ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域の潜在ベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、分類結果及び検索結果を出力する処理をコンピュータが実行する。

本開示の第３態様は、画像診断支援プログラムであって、被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、前記分類器の中間出力である特徴マップから、特徴領域を検出し、前記特徴領域の潜在ベクトルを算出し、前記算出された前記潜在ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域の潜在ベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、分類結果及び検索結果を出力する処理をコンピュータに実行させるプログラムである。

一つの側面では、医用画像データに対する画像診断の負担を軽減することができる。

画像診断支援システムの構成例を示す説明図である。 超音波断層像の撮像処理に関する説明図である。 本実施形態のサーバ及び画像処理装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の画像処理装置の構成を示すブロック図である。 断層像の生成処理に関する説明図である。 分類結果の出力例を示す図である。 検索結果の出力例を示す図である。 本実施形態の画像処理装置における画像診断支援処理ルーチンを示すフローチャートである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜システム構成＞
図１は、画像診断支援システムの構成例を示す説明図である。本実施形態では、被検者の乳房を対象とした超音波画像診断を行う画像診断支援システムについて説明する。画像診断支援システムは、サーバ１０及び画像診断支援装置２を含む。サーバ１０及び画像診断支援装置２は、ネットワークＮを介して通信接続されている。

なお、本実施形態では画像診断の対象とする生体部位の一例として乳房を挙げるが、他の生体部位であってもよい。

サーバ１０は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１０に相当する装置はサーバコンピュータに限定されず、例えばパーソナルコンピュータ等であってもよい。本実施形態においてサーバ１０は、予め用意された学習用データを用いた、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習を行い、画像診断支援装置２で撮像された超音波画像である断層像を入力した場合に、特徴領域の有無を分類する分類器であるモデルを学習する学習装置として機能する。サーバ１０が学習した学習済みモデルのデータは画像診断支援装置２にインストールされており、画像診断支援装置２は、学習済みモデルを用いて断層像から特徴領域の有無を分類する。

画像診断支援装置２は、超音波エコー検査のための画像診断支援装置であり、画像処理装置２０及び撮像装置３０を備える。画像処理装置２０は、画像診断支援装置２のコンソールとして機能するコンピュータであり、乳房の超音波断層像を生成（再構成）し、乳房の複数位置において撮像された複数の断層像を表示する。なお、画像処理装置２０は超音波画像診断用のコンピュータ（コンソール）に限定されず、パーソナルコンピュータ等の汎用コンピュータであってもよい。

撮像装置３０は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３０は、被検者がうつ伏せになった状態で乳房を撮像可能に構成されている。具体的には、撮像装置３０はベッド状の形状を有し、天板３１に乳房を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に乳房を挿入する。

水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子３４１（トランスデューサ）を備えるリング状の振動子アレイである（図２参照）。リングアレイ３４には複数の超音波素子３４１が等間隔で配置され、各超音波素子３４１は超音波信号を送信すると共に、反射波を受信する。画像処理装置２０は、各超音波素子３４１から得た複数方向の反射波データを再構成し、超音波断層像を生成する。また、リングアレイ３４は上下方向に移動可能に構成されており、画像診断支援装置２はリングアレイ３４を上下に移動させて垂下した乳房の各位置（高さ）における超音波断層像を撮像し、複数位置の超音波断層像を生成する。

本実施形態に係る画像診断支援装置２として、国際公開第２０１７／０５１９０３号に記載の超音波診断支援システムを採用することができる。

なお、画像診断支援装置２は上記の構成に限定されない。例えばベッド型の撮像装置３０に代えて、ハンディスキャナを用いた画像診断支援装置としてもよい。

上述の如く、画像診断支援装置２は乳房の超音波断層像を撮像する。本実施形態において画像診断支援装置２は、学習済みモデルを用いて、超音波断層像から腫瘍を表す特徴領域の有無を分類する。

なお、本実施形態ではサーバ１０が学習済みモデルの生成（学習）を行うものとするが、ローカルの画像診断支援装置２が学習済みモデルを生成するようにしてもよい。また、本実施形態では画像診断支援装置２が学習済みモデルに基づく特徴領域の有無の分類を行うものとするが、クラウド上のサーバ１０が学習済みモデルを用いて特徴領域の有無を分類するようにしてもよい。すなわち、両者の区別は便宜的なものであり、単一のコンピュータが一連の処理を行うようにしてもよい。

＜本実施形態に係るサーバの構成＞
図３は、本実施形態のサーバ１０のハードウェア構成を示すブロック図である。

図３に示すように、サーバ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、学習処理を実行するための学習プログラムが格納されている。学習プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

入力部１５は、学習用データとして、予め特徴領域が付与された複数の超音波断層像である症例医用画像データを受け付ける。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、サーバ１０の機能構成について説明する。図４は、サーバ１０の機能構成の例を示すブロック図である。

サーバ１０は、機能的には、図４に示すように、学習用データ記憶部１０１と、拡張部１０２と、学習部１０３と、を含んで構成されている。

学習用データ記憶部１０１には、入力された複数の学習用データが記憶されている。

拡張部１０２は、複数の学習用データの各々について、当該学習用データの超音波断層像を反転又は回転させた拡張画像を生成し、生成した拡張画像に対して、同様に反転又は回転させた特徴領域を付与し、学習用データ記憶部１０１に格納する。ここで、「拡張画像」とは、超音波断層像に対して何らかの変換を行って得られた画像である。これは「超音波断層像」の定義に従う画像とは限らない。例えば２つの症例の画像を重ね合わせた画像は超音波断層像として得られることはない画像である。しかしこのような画像も拡張画像に含まれる。

なお、「拡張画像」の生成方法は、画像の反転または回転に限定されるものではない。例えば、cutout (画像の一部を切り取る)、crop (画像の一部を取り出し拡大する)、blur (画像にガウシアンノイズなどを加えてぼやけさせる)、distortion (画像に対して非剛体変形を加える)、resize (画像の大きさ・アスペクト比を変更する)、mixup (２つの画像の平均画像を生成する)、copy-paste (ある画像の腫瘍を別の腫瘍のない画像に貼り付ける)、motion blur (画像を少しずらして重ね合わせることで体動によるぼやけを人工的に発生させる)などを用いて、拡張画像を生成してもよい。

学習部１０３は、学習用データ記憶部１０１に格納されている超音波断層像及び拡張画像に基づいて、学習済みモデルを生成する。具体的には、超音波断層像又は拡張画像を学習済みモデルに入力した際に、予め付与された特徴領域の有無と同じ分類結果が得られるように、学習済みモデルを生成する。

＜本実施形態に係る画像処理装置の構成＞
上記図３は、本実施形態の画像処理装置２０のハードウェア構成を示すブロック図である。

上記図３に示すように、画像処理装置２０は、サーバ１０と同様に、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。なお、画像処理装置２０は、画像処理を行うため、好適には、ＧＰＵのように計算処理能力が高いプロセッサを含む。

ＲＯＭ１２又はストレージ１４には、画像診断支援処理を実行するための画像診断支援プログラムが格納されている。画像診断支援プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

入力部１５は、撮像装置３０から、乳房の各位置（高さ）について反射波データを受け付ける。

次に、画像処理装置２０の機能構成について説明する。図５は、画像処理装置２０の機能構成の例を示すブロック図である。

画像処理装置２０は、機能的には、図５に示すように、取得部２０１と、分類部２０２と、領域検出部２０３と、ベクトル算出部２０４と、検索部２０５と、出力部２０６とを含んで構成されている。

取得部２０１は、撮像装置３０のリングアレイ３４の超音波素子３４１を制御し、超音波信号を送受信する。

上記図２は、超音波断層像の撮像処理に関する説明図である。図２では、画像診断支援装置２がリングアレイ３４を介して超音波信号を送受信し、乳房の超音波断層像を生成（撮像）する様子を概念的に図示している。

上述の如く、画像診断支援装置２の撮像装置３０は、複数（例えば１５０個）の超音波素子３４１を等間隔で設けたリングアレイ３４を有し、各超音波素子３４１を介して超音波信号を送受信する。例えば、 画像診断支援装置２は、図２においてハッチングで図示するように、超音波素子３４１から一定距離内の扇状領域を撮像領域として、超音波信号を送信する。また、送信は、隣接する超音波素子３４１を複数含む送信開口を設定しうる。送信波形は、平面波又は撮像領域内外に送信焦点を設定した集束波形でもよい。以下の説明において、素子は開口と言い換えることができる。

超音波素子３４１は、上記の撮像領域からの反射波を受信する。なお、超音波信号を送信する素子と、反射波を受信する素子とは異なっていてもよい。画像診断支援装置２は、超音波素子３４１が反射波を受信して得た反射波データを、超音波断層像を生成（再構成）するための原画像データとして取得する。本実施の形態では便宜上、超音波素子３４１が反射波を受信して得た反射波データに基づいて再構成された画像を「ファン画像」と呼ぶ。ここでファン画像は二次元の複素数の行列である。

画像診断支援装置２は、リングアレイ３４の円周に沿って並ぶ各超音波素子３４１から超音波信号を順次送信することで、複数の方向それぞれから生体部位に送信した超音波信号を送信して得た複数のファン画像を取得する。そして、画像診断支援装置２（画像処理装置２０）の取得部２０１は、開口合成法により当該複数のファン画像を再構成し、２次元の超音波断層像を生成する。

具体的には、画像処理装置２０の取得部２０１は、一の断層像を生成するに当たり、任意の超音波素子３４１を始点として、当該超音波素子３４１の隣に位置する終点の超音波素子３４１に至るまで、例えば時計回りに超音波信号を送信する超音波素子３４１を順次変えていき、全方位のファン画像（例えば１５０のファン画像）を取得する。上記図２に示すように、各ファン画像は扇状の空間をカバーし、隣接する超音波素子３４１で取得したファン画像同士は撮像領域が互いに重複する。取得部２０１は、図６に示すように、各方向のファン画像を重ね合わせ、一の超音波断層像を生成する。なお、開口合成に用いられるファン画像は、送信開口の位置にかかわらず、同一送信条件下で取得される受信信号に基づき、同一の音速推定値の条件下で再構成されている。

なお、画像診断支援装置２は、超音波信号を複数の異なる送信開口（超音波素子３４１）から同時に送信する事もできる。例えば、一の超音波断層像当たり１５０のファン画像を取得する場合、上記のようにある方向を始点にして１５０回の送信を行ってもよいが、１２０度ずつ方向（角度）が異なる３か所の超音波素子３４１から同時に送信を行い、当該３か所の超音波素子３４１をリングアレイ３４に沿って順次変えることで、５０回の送信でファン画像の撮像を完了させてもよい。また、本実施の形態では超音波素子３４１が乳房の周囲に円環状に配置されているものとして説明するが、その配置形状は円環状に限定されず、他の形状で配置されていてもよい。すなわち、画像診断支援装置２は、乳房（生体部位）の周囲を取り囲むように配置した複数の超音波素子３４１から複数回に分けて超音波信号を順次送信することで複数のファン画像を取得可能であればよく、超音波信号の送信回数や超音波素子３４１の配置形状は特に限定されない。

また、上記ではファン画像の形状（撮像領域）が扇状であるものとして説明したが、ファン画像の形状は扇状に限定されない。すなわち、複数のファン画像は、各々が略同一平面上の断層画像撮像領域の少なくとも一部を含み、異なるファン画像の少なくとも１枚と撮像領域の一部が重複している画像の集合となる。

取得部２０１は、上述した２次元の超音波断層像を生成することを、乳房の各位置（高さ）について繰り返し、複数位置の超音波断層像を、入力医用画像データとして生成する（図６参照）。

分類部２０２は、サーバ１０によって学習された、特徴領域の有無を分類するための学習済みモデルを含む。本実施形態では、学習済みモデルは、入力された画像に対して、特徴領域の有無を示すスコアを出力する。また、学習済みモデルは、ニューラルネットワークである。ＳＶＭ、決定木、ランダムフォレストなど、他の学習アルゴリズムに基づくモデルであってもよい。スコアが高いほど、特徴領域を含む可能性が高いことを示している。

分類部２０２は、入力医用画像データである複数位置の超音波断層像の各々を入力とし、学習済みモデルを用いて、特徴領域の有無を分類する。

領域検出部２０３は、入力医用画像データである複数位置の超音波断層像の各々について、学習済みモデルの中間出力である特徴マップから、特徴領域を検出する。具体的には、領域検出部２０３は、特徴マップからアテンションマップを求め、アテンションマップから、入力医用画像データの画像中でアテンションの値が高い領域を特徴領域として検出する。

より具体的には、領域検出部２０３は、特徴マップからＧｒａｄ－ＣＡＭを用い、アテンションマップを求める（参考文献１）。ここで、アテンションマップとは、学習済みモデルの分類結果に対して、画像のどの領域がどのくらい影響を与えたかを推定した値のマップである。

［参考文献１］Ramprasaath R Selvaraju et al. Grad-cam: Visual explanations from deep networks via gradient-based localization. In Proceedings of the IEEE international conference on computer vision, 2017.

なお、領域検出部２０３は、複数の超音波断層像の各々について、近隣の位置で撮像された超音波断層像のアテンションマップを統合して、当該超音波断層像のアテンションマップとしてもよい。

ベクトル算出部２０４は、入力医用画像データである複数位置の超音波断層像の各々について、領域検出部２０３によって検出された当該超音波断層像の特徴領域の潜在ベクトルを算出する。具体的には、畳み込みオートエンコーダ（Convolutional Autoencoder：CAE）を用いて潜在ベクトルを算出する。CAEの学習には学習用データ記憶部１０１の学習用データの特徴領域を用いればよい。当該超音波断層像の特徴領域を入力として、CAEによって得られた特徴量を潜在ベクトルとして出力する。
なお、特徴領域の潜在ベクトルではなく、特徴領域の符号化ベクトルを算出するようにしてもよい。具体的には、CNNを用いてあらかじめ指定された特徴量の有無を判定する。CNNの学習には学習用データ記憶部１０１の学習用データの特徴領域を用いる。特徴量としては例えば辺縁領域の特徴（不明瞭、明瞭、不整形）、領域の形状（丸、楕円、分葉状、スピキュラ）、アーチファクトの有無などが考えられる。当該超音波断層像の特徴領域を入力として、CNNによって得られた特徴量の有無の判定結果を符号化ベクトルとして出力する。

検索部２０５は、入力医用画像データである複数位置の超音波断層像の各々について、ベクトル算出部２０４によって算出された潜在ベクトルと、症例として予め用意された症例医用画像データについての特徴マップから検出される特徴領域の潜在ベクトルとを比較して、入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索する。

具体的には、症例として予め用意された症例医用画像データの超音波断層像についての特徴マップから、領域検出部２０３と同様に検出される特徴領域について、潜在ベクトルを求めておく。そして、検索部２０５は、潜在ベクトル同士の類似度を用いて、入力医用画像データである超音波断層像の特徴領域の潜在ベクトルに類似する潜在ベクトルとなる特徴領域を有する超音波断層像である症例医用画像データを検索する。

また、複数の症例医用画像データの超音波断層像についての特徴マップから、領域検出部２０３と同様に求められるアテンションマップについて、クラスタリングを行い、クラスタリングの結果に応じてクラスタ毎に、当該クラスタに属するアテンションマップが得られる超音波断層像である症例医用画像データの集合を求めておく。

そして、検索部２０５は、複数の症例医用画像データから得られるアテンションマップに対するクラスタリングの結果に応じてクラスタ毎に予め生成された、クラスタに属するアテンションマップが得られる症例医用画像データの集合に基づいて、検索された症例医用画像データを含むクラスタに対応する症例医用画像データの集合を検索する。

出力部２０６は、分類部２０２による分類結果及び検索部２０５による検索結果を出力する。例えば、図７に示すように、入力医用画像データである複数位置の超音波断層像７１、７２、７３の各々について、特徴領域の有無を示す分類結果を表示部１６により表示すると共に、複数位置の超音波断層像の各々についての特徴領域の検出結果から求まる特徴領域７４の位置を表示部１６により表示する。図７では、超音波断層像７１、７３の各々について、特徴領域がないと分類され、超音波断層像７２について、特徴領域があると分類された例を示している。

また、図８に示すように、超音波断層像である入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データの検索結果を表示する。例えば、図８に示すように、超音波断層像８１での特徴領域８２の検出結果、並びに、検索された症例医用画像データを含むクラスタに対応する症例医用画像データの超音波断層像８３、８４及びその特徴領域８５、８６のペアの集合を表示する。

図８では、検索された症例医用画像データを含むクラスタに対応する症例医用画像データの超音波断層像８３は、被検者１のものであり、潜在ベクトルの類似度が０．８４である例を示している。また、検索された症例医用画像データを含むクラスタに対応する症例医用画像データの超音波断層像８４は、被検者２のものであり、潜在ベクトルの類似度が０．７３である例を示している。ここで、潜在ベクトルの類似度の評価は例えばコサイン類似度を用いればよい。なお、コサイン類似度に限らず、L2距離、L1距離などを用いてもよい。

＜本実施形態に係るサーバの作用＞
次に、本実施形態に係るサーバ１０の作用について説明する。

ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、サーバ１０に、学習用データとして、特徴領域が予め付与された複数の超音波画像である症例医用画像データが入力される。例えば、過去に撮像（生成）された被検者の乳房（生体部位）の超音波断層像であって、人手あるいは別のプログラムを用いて腫瘍を表す特徴領域が付与された症例医用画像データが、学習用データとして入力される。そして、学習用データ記憶部１０１に、入力された複数の学習用データが格納される。

次に、ＣＰＵ１１が、拡張部１０２として、複数の学習用データの各々について、当該学習用データの超音波断層像を例えば、反転又は回転させた拡張画像を生成し、生成した拡張画像に対して、同様に反転又は回転させた特徴領域を付与し、学習用データ記憶部１０１に格納する。

そして、ＣＰＵ１１が、学習部１０３として、学習用データ記憶部１０１に格納されている超音波断層像及び拡張画像に基づいて、学習済みモデルを生成する。

具体的には、超音波断層像及び拡張画像の各々に対してセグメンテーションを行い、乳房に対応する画像領域を抽出する。なお、セグメンテーションは、パターンマッチングで乳房の輪郭を検出することで行うようにしてもよく、あるいはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習モデルを用いて行うようにしてもよい。また、セグメンテーションは行わず、元の断層像をそのまま用いてもよい。

サーバ１０は、超音波断層像及び拡張画像の各々からそれぞれ抽出した画像領域をモデルに入力し、モデルの出力が、超音波断層像及び拡張画像の各々に付与された特徴領域の有無と一致するように、学習済みモデルを生成する。

＜本実施形態に係る画像診断支援装置の作用＞
次に、本実施形態に係る画像診断支援装置２の作用について説明する。

画像処理装置２０のＣＰＵ１１がＲＯＭ１２又はストレージ１４から画像診断支援プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、図９に示す画像診断支援処理が行なわれる。

まず、ステップＳ１０１において、ＣＰＵ１１は、取得部２０１として、撮像装置３０のリングアレイ３４の各超音波素子３４１から超音波信号を送信し、各超音波素子３４１から送信した超音波信号の反射波を受信して得た反射波データから複数のファン画像を取得する。ＣＰＵ１１は、リングアレイ３４を上下方向に移動させながら超音波信号を送受信し、乳房の互いに異なる位置（高さ）において各方向から乳房を撮像したファン画像を取得する。

ステップＳ１０２において、ＣＰＵ１１は、取得部２０１として、取得した複数のファン画像を再構成した超音波断層像を、入力医用画像データとして生成する。具体的には、ＣＰＵ１１は、一方向（上下方向）に沿う乳房の互いに異なる位置（高さ）における複数位置の超音波断層像を生成する。

ステップＳ１０３において、ＣＰＵ１１は、複数位置の超音波断層像のうち、対象となる超音波断層像を設定する。

ステップＳ１０４において、ＣＰＵ１１は、分類部２０２として、対象となる超音波断層像を入力とし、学習済みモデルを用いて、特徴領域の有無を分類する。

ステップＳ１０５において、ＣＰＵ１１は、領域検出部２０３として、上記ステップＳ１０４での学習済みモデルの中間出力である特徴マップからアテンションマップを求める。

ステップＳ１０６において、ＣＰＵ１１は、領域検出部２０３として、対象となる超音波断層像中でアテンションの値が高い領域を特徴領域として検出する。

ステップＳ１０７において、ＣＰＵ１１は、ベクトル算出部２０４として、対象となる超音波断層像について、領域検出部２０３によって検出された当該超音波断層像の特徴領域の潜在ベクトルを算出する。

ステップＳ１０８において、ＣＰＵ１１は、検索部２０５として、対象となる超音波断層像について、ベクトル算出部２０４によって算出された潜在ベクトルと、症例として予め用意された症例医用画像データについての特徴マップから検出される特徴領域の潜在ベクトルとを比較して、対象となる超音波断層像の特徴領域に類似する特徴領域を有する症例医用画像データを検索する。

ステップＳ１０９において、ＣＰＵ１１は、複数位置の超音波断層像の全てについて上記ステップＳ１０３～Ｓ１０８の処理を実行したか否かを判定する。複数位置の超音波断層像の全てについて上記ステップＳ１０３～Ｓ１０８の処理を実行した場合には、ステップＳ１１０へ進む。一方、上記ステップＳ１０３～Ｓ１０８の処理を実行していない超音波断層像が存在する場合には、上記ステップＳ１０３へ戻り、当該超音波断層像を、対象の超音波断層像として設定する。

ステップＳ１１０では、ＣＰＵ１１は、出力部２０６として、分類部２０２による分類結果及び検索部２０５による検索結果を表示部１６により表示し、画像診断支援処理を終了する。そして、例えば、医師が、表示部１６に表示された、入力医用画像データである複数位置の超音波断層像の各々について、特徴領域の有無を示す分類結果、及び入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データの検索結果を見ながら、被検者に対する診断を行う。

以上より、本実施形態によれば、被検者の生体部位を撮像した入力医用画像データを入力とし、分類器を用いて、特徴領域の有無を分類し、分類器の特徴マップから、特徴領域を検出し、特徴領域の潜在ベクトルと、症例として予め用意された症例医用画像データについての特徴マップから検出される特徴領域の潜在ベクトルとを比較して、入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、分類結果及び検索結果を出力する。これにより、医用画像データに対する画像診断の負担を軽減し、医師による診断を支援することができる。

＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、取得部２１０が取得する入力医用画像データを、同一被検者から異なる時間に取得された複数の入力医用画像データとしてもよい。この場合、検索部２０５は、更に、複数の入力医用画像データにおけるアテンションマップの変化を用いて、複数の入力医用画像データにおいて変化した特徴領域を検索するようにしてもよい。

また、サーバ１０において、モデルを学習する場合を例に説明したが、画像診断支援装置２において、モデルを学習するようにしてもよい。この場合、画像診断支援装置２は、複数の症例医用画像データの特徴領域を学習用教師データとして生成する画像生成部と、学習用教師データに基づいて、前記分類器を学習する学習部と、を更に含むようにしてもよい。

また、超音波信号を用いて断層像を取得する場合を例に説明したが、これに限定されるものではない。超音波信号以外の信号を用いて断層像を取得するようにしてもよい。

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び画像診断支援処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、学習プログラム及び画像診断支援プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、
前記分類器の中間出力である特徴マップから、特徴領域を検出し、
前記特徴領域のベクトルを算出し、
前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域のベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、
分類結果及び検索結果を出力する
ように構成される画像診断支援装置。

（付記項２）
画像診断支援処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記画像診断支援処理は、
被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、
前記分類器の中間出力である特徴マップから、特徴領域を検出し、
前記特徴領域のベクトルを算出し、
前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域のベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、
分類結果及び検索結果を出力する
非一時的記憶媒体。

２ 画像診断支援装置
１０ サーバ
１１ ＣＰＵ
１４ ストレージ
２０ 画像処理装置
３０ 撮像装置
７１、７２、８１、８３、８４ 超音波断層像
７４、８２、８５ 特徴領域
１０１ 学習用データ記憶部
１０２ 拡張部
１０３ 学習部
２０１ 取得部
２０２ 分類部
２０３ 領域検出部
２０４ ベクトル算出部
２０５ 検索部
２０６ 出力部
２１０ 取得部
３４１ 超音波素子

Claims (11)

1. 被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類する分類部と、
   前記分類器の中間出力である特徴マップから、特徴領域を検出する領域検出部と、
   前記特徴領域のベクトルを算出するベクトル算出部と、
   前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域のベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索する検索部と、
   分類結果及び検索結果を出力する出力部と、
   を含む画像診断支援装置。
2. 前記領域検出部は、前記特徴マップからアテンションマップを求め、アテンションマップから、前記入力医用画像データの画像中でアテンションの値が高い領域を特徴領域として検出する請求項１記載の画像診断支援装置。
3. 前記入力医用画像データ及び前記症例医用画像データは、超音波信号に基づき被検者の生体部位を撮像した１又は複数の超音波断層像 であり、
   前記検索部は、更に、複数の前記症例医用画像データから得られる前記アテンションマップに対するクラスタリングの結果に応じてクラスタ毎に予め生成された、前記クラスタに属する前記アテンションマップが得られる前記症例医用画像データの集合に基づいて、
   前記検索された症例医用画像データを含むクラスタに対応する前記症例医用画像データの集合を検索する請求項２記載の画像診断支援装置。
4. 前記領域検出部 は、複数の超音波断層像の各々について、近隣の位置で撮像された超音波断層像のアテンションマップを統合して、前記超音波断層像のアテンションマップとする請求項２記載の画像診断支援装置。
5. 前記入力医用画像データは、同一被検者から異なる時間に取得された複数の前記入力医用画像データであり、
   前記検索部は、更に、複数の前記入力医用画像データにおけるアテンションマップの変化を用いて、複数の前記入力医用画像データにおいて変化した特徴領域を検索する請求項２記載の画像診断支援装置。
6. 複数の前記症例医用画像データの特徴領域を学習用教師データとして生成する画像生成部と、
   前記学習用教師データに基づいて、前記分類器を学習する学習部と、を更に含む請求項１記載の画像診断支援装置。
7. 前記入力医用画像データ及び前記症例医用画像データは、超音波信号に基づき被検者の生体部位を撮像した超音波断層像である請求項１記載の画像診断支援装置。
8. 前記超音波断層像は、前記生体部位の周囲を取り囲むように配置した複数の超音波素子から前記超音波信号を順次送信して得た複数の反射波データに基づいて生成される請求項７記載の画像診断支援装置。
9. 前記生体部位は、乳房である請求項１記載の画像診断支援装置。
10. 被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、
    前記分類器の中間出力である特徴マップから、特徴領域を検出し、
    前記特徴領域のベクトルを算出し、
    前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域のベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、
    分類結果及び検索結果を出力する
    処理をコンピュータが実行する画像診断支援方法。
11. 被検者の生体部位を撮像した入力医用画像データを入力とし、特徴領域の有無を出力する分類器を用いて、前記特徴領域の有無を分類し、
    前記分類器の中間出力である特徴マップから、特徴領域を検出し、
    前記特徴領域のベクトルを算出し、
    前記算出された前記ベクトルと、症例として予め用意された症例医用画像データについての前記特徴マップから検出される前記特徴領域の潜在ベクトルとを比較して、前記入力医用画像データの特徴領域に類似する特徴領域を有する症例医用画像データを検索し、
    分類結果及び検索結果を出力する
    処理をコンピュータに実行させる画像診断支援プログラム。