JP2023148356A - 医用情報処理装置、超音波診断装置、及び学習用データ生成方法 - Google Patents

Abstract

【課題】プローブの動かし方に影響されない学習済みモデルを生成すること。【解決手段】医用情報処理装置は、第１取得部と、第２取得部と、算出部と、第１生成部と、を備える。前記第１取得部は、プローブが受信した信号に基づいて生成された２次元画像データを取得する。前記第２取得部は、前記２次元画像データの基になった前記信号を受信した時の前記プローブの３次元的な位置を示す位置情報を取得する。前記算出部は、前記２次元画像データの画像特徴量を算出する。前記第１生成部は、前記画像特徴量に前記位置情報を付与することにより３次元的画像特徴量を生成する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、医用情報処理装置、超音波診断装置、及び学習用データ生成方法に関する。

従来、超音波診断装置は、検査者により超音波プローブが当てられた被検体の内部を撮影する。検査者は、超音波診断装置により撮影された画像を見て病変を探索する検査を行う。検査者を支援するため、病変検出・鑑別するコンピュータ診断支援システム(ＣＡＤｅ（Computer Aided Detection）／ＣＡＤｘ（Computer Aided Diagnosis）)が開発されている。

コンピュータ診断支援システムでは、超音波診断装置により撮影された画像に基づいて、病変の検出又は鑑別を行う学習済みモデルが使用される。超音波プローブを被検体に当てるのは検査者であるため、移動速度などの超音波プローブの動かし方は、その都度異なっている。すなわち、超音波診断装置により撮影される画像は、その都度異なっている。

しかしながら、超音波プローブの動かし方ごとに学習済みモデルを生成することは現実的ではない。そして、プローブの動かし方に影響されない学習済みモデルを生成するためには、学習用データが必要となる。

国際公開第２０１８／１８０３８６号 国際公開第２０１６／０８８７５８号 特開２０２１－００７５１２号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、プローブの動かし方に影響されない学習済みモデルを生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用情報処理装置は、第１取得部と、第２取得部と、算出部と、第１生成部と、を備える。前記第１取得部は、プローブが受信した信号に基づいて生成された２次元画像データを取得する。前記第２取得部は、前記２次元画像データの基になった前記信号を受信した時の前記プローブの３次元的な位置を示す位置情報を取得する。前記算出部は、前記２次元画像データの画像特徴量を算出する。前記第１生成部は、前記画像特徴量に前記位置情報を付与することにより３次元的画像特徴量を生成する。

図１は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２は、超音波画像の構成の一例を示す説明図である。 図３は、超音波画像の注目領域について説明する説明図である。 図４は、第１の実施形態に係る超音波診断装置が実行する学習処理の一例を示すフローチャートである。 図５は、第１の実施形態に係る超音波診断装置が実行する運用処理の一例を示すフローチャートである。 図６は、変形例２にかかる学習済みモデルの運用方法について説明する説明図である。 図７は、変形例３にかかる学習済みモデルの運用方法について説明する説明図である。 図８は、変形例４にかかる学習済みモデルの運用方法について説明する説明図である。

以下、図面を参照しながら、本実施形態に関する医用情報処理装置、超音波診断装置、及び学習用データ生成方法について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る超音波診断装置１００の構成例を示すブロック図である。図１に示すように、超音波診断装置１００は、超音波プローブ１０１、位置センサ１０２、トランスミッタ１０３、入力インタフェース１０４、ディスプレイ１０５、及び装置本体１０６を有する。超音波プローブ１０１、位置センサ１０２、トランスミッタ１０３、入力インタフェース１０４、及びディスプレイ１０５は、装置本体１０６と通信可能に接続される。

超音波プローブ１０１は、複数の圧電振動子を有し、これら複数の圧電振動子は、装置本体１０６が有する送受信回路１１０から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１０１は、被検体Ｐからの反射波を受信して電気信号に変換する。なお、超音波プローブ１０１は、装置本体１０６と着脱自在に接続される。

超音波プローブ１０１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１０１が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

なお、超音波プローブ１０１の形態は特に問わず、如何なる形態の超音波プローブが用いられてもよい。例えば、超音波プローブ１０１は、被検体Ｐを２次元で走査する１Ｄアレイプローブであってもよい。また、超音波プローブ１０１は、被検体Ｐを３次元で走査するメカニカル４Ｄプローブや２Ｄアレイプローブであってもよい。

位置センサ１０２及びトランスミッタ１０３は、超音波プローブ１０１の位置を示す位置情報を取得するための装置である。トランスミッタ１０３は、自装置を中心として外側に向かって磁場を形成する装置である。トランスミッタ１０３は、装置本体１０６の近傍の任意の位置に配置される。

位置センサ１０２は、例えば、磁気センサである。位置センサ１０２は、超音波プローブ１０１に取り付けられる。位置センサ１０２は、トランスミッタ１０３によって形成された３次元の磁場の強度と傾きとを検出する。位置センサ１０２は、検出した磁場の情報に基づいて、トランスミッタ１０３を原点とする空間における自装置の位置（座標及び角度）を算出し、算出した位置を装置本体１０６に送信する。これにより、位置センサ１０２は、超音波プローブ１０１の位置を示す位置情報を装置本体１０６に送信する。

入力インタフェース１０４は、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インタフェース１０４は、操作者から受け付けた入力操作を電気信号へ変換して装置本体１０６の処理回路１７０に出力する。例えば、入力インタフェース１０４は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、入力インタフェース１０４は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース１０４の例に含まれる。

ディスプレイ１０５は、各種の情報及び画像を表示する。具体的には、ディスプレイ１０５は、処理回路１７０から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ１０５は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。なお、超音波診断装置１００が備える出力装置としては、ディスプレイ１０５に限らず、例えば、スピーカーを備えていても良い。例えば、スピーカーは、装置本体１０６の処理状況を操作者に通知するために、ビープ音等の所定の音声を出力する。

装置本体１０６は、超音波プローブ１０１が受信した反射波信号に基づいて超音波画像を生成する装置である。例えば、装置本体１０６は、超音波プローブ１０１が受信した２次元の反射波データに基づいて２次元の超音波画像を生成する。また、装置本体１０６は、超音波プローブ１０１が受信した３次元の反射波データに基づいて３次元の超音波画像を生成する。

装置本体１０６は、図１に示すように、送受信回路１１０、バッファメモリ１２０、信号処理回路１３０、画像生成回路１４０、記憶回路１５０、ＮＷ（network）インタフェース１６０、及び処理回路１７０を有する。送受信回路１１０、バッファメモリ１２０、信号処理回路１３０、画像生成回路１４０、記憶回路１５０、ＮＷインタフェース１６０、及び処理回路１７０は、互いに通信可能に接続される。

装置本体１０６は、超音波走査される被検体Ｐの心臓の拍動に伴う心筋細胞の電位を記録する心電計が接続されてもよい。心電計は、被検体Ｐの心臓の拍動を示す心電波形を生成する。

送受信回路１１０は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ１０１に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ１０１から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１０１に駆動信号（駆動パルス）を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、振動子面から送信される超音波の送信方向を任意に調整する。

また、送受信回路１１０は、プリアンプ、Ａ／Ｄ（Analog to Digital）変換器、直交検波回路等を有し、超音波プローブ１０１が受信した反射波信号に対して各種処理を行って反射波データを生成する。そして、送受信回路１１０は、生成した反射波データをバッファメモリ１２０に記憶させる。

プリアンプは、反射波信号をチャンネルごとに増幅してゲイン調整（ゲイン補正）を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換することでゲイン補正された反射波信号をデジタル信号に変換する。直交検波回路は、Ａ／Ｄ変換された反射波信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。

直交検波回路は、Ｉ信号およびＱ信号を、反射波データとして出力する。以下、Ｉ信号及びＱ信号を総称する場合、ＩＱ信号という。また、ＩＱ信号はＡ／Ｄ変換されたデジタルデータであるため、ＩＱデータともいう。

バッファメモリ１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子によって実現される。バッファメモリ１２０は、送受信回路１１０から出力された反射波データを記憶する。

信号処理回路１３０は、バッファメモリ１２０から取得した反射波データに対して、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。また、信号処理回路１３０は、バッファメモリ１２０から取得した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。ここで、移動体とは、例えば、血流や、心壁等の周期的に運動する臓器の組織、造影剤である。

また、信号処理回路１３０は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、信号処理回路１３０は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成する。また、信号処理回路１３０は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成する。

画像生成回路１４０は、信号処理回路１３０が生成したデータから超音波画像を生成する。例えば、画像生成回路１４０は、信号処理回路１３０が生成した２次元のＢモードデータから反射波の強度を輝度で表した２次元のＢモード画像を生成する。

また、画像生成回路１４０は、信号処理回路１３０が生成したドプラデータから移動体情報を表すドプラ画像データを生成する。ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。

また、例えば、画像生成回路１４０は、信号処理回路１３０が生成した１走査線上のＢモードデータの時系列データから、Ｍモード画像を生成することも可能である。また、画像生成回路１４０は、信号処理回路１３０が生成したドプラデータから、血流や組織の速度情報を時系列に沿ってプロットしたドプラ波形を生成することも可能である。

ここで、画像生成回路１４０は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像を生成する。具体的には、画像生成回路１４０は、超音波プローブ１０１による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像を生成する。また、画像生成回路１４０は、スキャンコンバート以外に種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行なう。また、画像生成回路１４０は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

すなわち、Ｂモードデータ及びドプラデータは、スキャンコンバート処理前のデータであり、画像生成回路１４０が生成するデータは、スキャンコンバート処理後の表示用の画像データである。以下、スキャンコンバート処理前のデータ（Ｂモードデータ及びドプラデータ）を、「ＲＡＷデータ」ともいう。

画像生成回路１４０は、ＲＡＷデータである２次元のＢモードデータや２次元のドプラデータから、２次元の超音波画像である、２次元のＢモード画像や２次元のドプラ画像を生成する。また、画像生成回路１４０は、例えば２次元のＢモード画像上にカラードプラ画像を重畳させた重畳画像も生成することができる。

記憶回路１５０は、各種のデータを記憶する。例えば、記憶回路１５０は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。例えば、記憶回路１５０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク（Hard Disk Drive：ＨＤＤ）、光ディスク等によって実現される。

また、記憶回路１５０が記憶するデータは、ＮＷインタフェース１６０を経由して、外部装置へ転送することができる。なお、外部装置は、例えば、画像診断を行う医師が使用するＰＣ（Personal Computer）やタブレット端末、画像を保管する画像保管装置、プリンター等である。

ＮＷインタフェース１６０は、装置本体１０６と外部装置との間で行われる通信を制御する。具体的には、ＮＷインタフェース１６０は、外部装置から各種の情報を受信し、受信した情報を処理回路１７０に出力する。例えば、ＮＷインタフェース１６０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

処理回路１７０は、超音波診断装置１００の処理全体を制御する。具体的には、処理回路１７０は、入力インタフェース１０４を介して操作者から入力された各種設定要求や、記憶回路１５０から読み込んだ各種制御プログラム及び各種データに基づき、送受信回路１１０、信号処理回路１３０、及び画像生成回路１４０の処理を制御する。また、処理回路１７０は、超音波画像の表示を制御する。

また、処理回路１７０は、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７を実行する。ここで、例えば、処理回路１７０の構成要素である超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１５０に記憶されている。処理回路１７０は、プロセッサである。例えば、処理回路１７０は、プログラムを記憶回路１５０から読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１７０は、図１の処理回路１７０内に示された各機能を有することとなる。なお、図１においては単一のプロセッサにて、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１７０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図１においては単一の記憶回路１５０が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路１７０は個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ），及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路１５０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路１５０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

超音波画像取得機能１７１は、超音波プローブ１０１が受信した信号に基づいて生成された超音波画像を取得する。すなわち、超音波画像取得機能１７１は、画像生成回路１４０により生成された２次元の超音波画像を取得する。超音波画像取得機能１７１は、第１取得部の一例である。図２は、超音波画像の構成の一例を示す説明図である。画像生成回路１４０により生成される２次元画像データである。超音波画像は、図２に示すｉ及びｊにより特定される複数の局所領域を有する。そして、超音波画像取得機能１７１は、ｔ枚の超音波画像を取得する。

位置情報取得機能１７２は、超音波画像の基になった信号を受信した時の超音波プローブ１０１の３次元的な位置を示す位置情報を取得する。位置情報取得機能１７２は、第２取得部の一例である。更に詳しくは、位置情報取得機能１７２は、超音波画像の基になった信号を受信した時の超音波プローブ１０１の位置を示す位置情報を取得する。位置情報は、例えばｘ，ｙ，ｚなどの３次元の座標を示す情報である。

特徴量算出機能１７３は、超音波画像取得機能１７１により取得された超音波画像の画像特徴量を算出する。特徴量算出機能１７３は、算出部の一例である。

図２に示すように、特徴量算出機能１７３は、超音波画像を複数の局所領域に分ける。特徴量算出機能１７３は、局所領域ごとに画像特徴量を算出する。そして、特徴量算出機能１７３は、超音波画像取得機能１７１による超音波画像が取得される度に、各超音波画像の局所領域ごとに画像特徴量を算出する。例えば、特徴量算出機能１７３は、ニューラルネットワークにて画像特徴量を算出する。

３次元的画像特徴量生成機能１７４は、画像特徴量に位置情報を付与することにより３次元的画像特徴量を生成する。なお、本実施形態では微分可能な計算式を用いて位置情報を画像特徴量に加算する。３次元的画像特徴量生成機能１７４は、第１生成部の一例である。更に詳しくは、３次元的画像特徴量生成機能１７４は、各局所領域の画像特徴量に対して、位置センサ１０２が取得した超音波プローブ１０１の３次元的な位置を示す位置情報を付与する。

また、３次元的画像特徴量生成機能１７４は、超音波画像の注目領域Ｒ１を示す注目領域情報を各画像特徴量に付与する。すなわち、３次元的画像特徴量生成機能１７４は、位置情報と、超音波画像の注目領域Ｒ１を示す注目領域情報とを画像特徴量に付与することにより３次元的画像特徴量を生成する。図３は、超音波画像の注目領域Ｒ１について説明する説明図である。注目領域Ｒ１とは、検査者が注目している領域であって、被検体Ｐの深さ方向において重みを付与する領域である。注目領域情報は、注目領域Ｒ１を示す情報である。また、注目領域Ｒ１は、検査者により設定される領域である。図３に示すｙ軸は、被検体Ｐの皮膚表面から中心部へと向かう深さ方向を示している。図３において、超音波診断装置１００は、乳腺が注目領域Ｒ１に設定されている。

ここで、被検体Ｐの生体組織は、階層構造となっていることが多い。また、検査者は、超音波診断装置１００において、被検体Ｐの深さ方向の焦点を設定する。超音波診断装置１００は、設定された焦点に対して超音波を照射し、反射波を受信する。言い換えると、超音波画像は、焦点の解像度は高いが、焦点から離れるに従い解像度が低くなる。そこで、検査者は、例えば注目領域Ｒ１として焦点を設定する。３次元的画像特徴量生成機能１７４は、位置情報と、注目領域Ｒ１として超音波プローブ１０１の焦点が設定された注目領域情報とを画像特徴量に付与することにより３次元的画像特徴量を生成する。

例えば、３次元的画像特徴量生成機能１７４は、数式（１）、及び数式（２）により注目領域Ｒ１が設定された位置情報を算出する。例えば、３次元的画像特徴量生成機能１７４は、Ｐｏｓｉｔｉｏｎａｌ Ｅｎｃｏｄｉｎｇにより位置情報を各画像特徴量に付与する。

数式（１）及び数式（２）の右辺の第１項は、Ｐｏｓｉｔｉｏｎａｌ Ｅｎｃｏｄｉｎｇにより示した位置情報である。第１項において、ＰＯＳ（ｘ，ｙ，ｚ）は、各局所領域を一列に並べた時の位置を示す。また、数式（１）及び数式（２）の右辺の第２項は、注目領域Ｒ１を示している。μ_ｙは、被検体Ｐの皮膚表面から中心部へと向かう深さ方向の位置を示している。σは、注目領域Ｒ１を示している。

３次元的画像特徴量生成機能１７４は、数式（１）及び数式（２）により示すベクトルを数式（３）のように、数式（３）の第１項が示す各局所領域の画像特徴量に付与する。これにより、３次元的画像特徴量生成機能１７４は、超音波画像を３次元的に示す３次元的画像特徴量を生成する。

また、３次元的画像特徴量生成機能１７４は、超音波画像取得機能１７１による超音波画像が取得される度に、各局所領域の画像特徴量に位置情報を付与することにより３次元的画像特徴量を生成する。

学習済みモデル生成機能１７５は、３次元的画像特徴量を学習用データとして学習済みモデルを生成する。学習済みモデル生成機能１７５は、第２生成部の一例である。例えば、学習済みモデル生成機能１７５は、超音波画像から病変を検出する学習済みモデルを教師あり学習により生成する。

更に詳しくは、学習済みモデル生成機能１７５は、３次元的画像特徴量が入力された場合に、３次元的画像特徴量の基になった超音波画像に含まれる病変の領域を出力する学習済みモデルを生成する。例えば、学習済みモデル生成機能１７５は、３次元的画像特徴量を学習済みモデルの入力側の学習用データとして入力し、３次元的画像特徴量の基になった超音波画像に含まれる病変の領域を示す病変領域情報を学習済みモデルの出力側の教師データとして入力することで、学習済みモデルを生成する。

学習済みモデル実行機能１７６は、学習済みモデル生成機能１７５により生成された学習済みモデルを使用して、学習済みモデルに応じた処理を実行する。例えば、学習済みモデル実行機能１７６は、３次元的画像特徴量を学習済みモデルに入力する。これに対して、学習済みモデルは、３次元的画像特徴量の基になった超音波画像に含まれる病変の位置を示す病変位置情報を出力する。

さらに、学習済みモデルは、３次元的画像特徴量が入力された場合に、過去に入力された３次元的画像特徴量に病変が含まれる存在確率を算出する。そして、学習済みモデルは、存在確率が閾値以上の場合に、過去に入力された３次元的画像特徴量における病変位置情報と、過去に入力された３次元的画像特徴量の基になった超音波画像とを出力してもよい。

出力機能１７７は、学習済みモデルによる処理結果に応じた処理を実行する。例えば、出力機能１７７は、学習済みモデルによる処理結果をディスプレイ１０５に表示する。具体的には、出力機能１７７は、学習済みモデルにより算出された存在確率が閾値以上の場合に、３次元的画像特徴量の基になった超音波画像に、病変位置情報により特定される病変の領域を示す画像を重畳して表示させる。

次に、超音波診断装置１００が実行する各種処理について説明する。

図４は、第１の実施形態に係る超音波診断装置１００が実行する学習処理の一例を示すフローチャートである。学習処理は、３次元的画像特徴量を使用して学習済みモデルを生成する処理である。

超音波画像取得機能１７１は、画像生成回路１４０により生成された超音波画像を取得する（ステップＳ１１）。

位置情報取得機能１７２は、位置センサ１０２により検出された位置情報を取得する（ステップＳ１２）。

特徴量算出機能１７３は、超音波画像取得機能１７１により取得された超音波画像の各局所領域の画像特徴量を算出する（ステップＳ１３）。

３次元的画像特徴量生成機能１７４は、特徴量算出機能１７３により算出された画像特徴量に対して、位置情報及び注目領域情報を付与することにより３次元的画像特徴量を生成する（ステップＳ１４）。

学習済みモデル生成機能１７５は、３次元的画像特徴量を教師データとして使用することにより学習済みモデルを生成する（ステップＳ１５）。

以上により、超音波診断装置１００は、学習処理を終了する。

図５は、第１の実施形態に係る超音波診断装置１００が実行する運用処理の一例を示すフローチャートである。運用処理は、生成した学習済みモデルを運用する処理である。

超音波画像取得機能１７１は、画像生成回路１４０により生成された超音波画像を取得する（ステップＳ２１）。

位置情報取得機能１７２は、位置センサ１０２により検出された位置情報を取得する（ステップＳ２２）。

特徴量算出機能１７３は、超音波画像取得機能１７１により取得された超音波画像の各局所領域の画像特徴量を算出する（ステップＳ２３）。

３次元的画像特徴量生成機能１７４は、特徴量算出機能１７３により算出された画像特徴量に対して、位置情報及び注目領域情報を付与することにより３次元的画像特徴量を生成する（ステップＳ２４）。

学習済みモデル実行機能１７６は、生成された３次元的画像特徴量を、学習済みモデルに入力する（ステップＳ２５）。

出力機能１７７は、学習済みモデルにより実行された処理結果を出力する（ステップＳ２６）。

以上により、超音波診断装置１００は、運用処理を終了する。

以上のように、第１の実施形態に係る超音波診断装置１００は、超音波画像の画像特徴量を算出する。また、超音波診断装置１００は、算出した画像特徴量に、超音波プローブ１０１の位置を示す位置情報を付与することにより３次元的画像特徴量を生成する。

このように、３次元的画像特徴量には３次元的な位置情報が含まれているため、３次元的画像特徴量を学習用データとして生成した学習済みモデルは、被検体Ｐの３次元的な特徴を捉えることができる。これにより、学習済みモデルは、運用時に超音波プローブ１０１を動かす移動速度がその都度異なっていても、入力された３次元的画像特徴量が被検体Ｐの何れの位置に対応する超音波画像であるのかを把握することができる。さらに、被検体Ｐの３次元的な特徴を捉えるため、学習済みモデルは、周囲の超音波画像を考慮に入れた分析等を実行する。このように、超音波診断装置１００は、プローブの動かし方に影響されない学習済みモデルを生成するための学習用データを取得することができる。したがって、超音波診断装置１００は、取得した学習用データを使用することにより、プローブの動かし方に影響されない学習済みモデルを生成することができる。

また、２次元の超音波画像では、血管と病変とは両方とも黒点で表示されるため、区別することは困難である。しかしながら、３次元的画像特徴量を学習用データとして生成した学習済みモデルは、被検体Ｐの３次元的な特徴を捉える。よって、学習済みモデルは、血管と病変とを区別することができる。具体的には、学習済みモデルは、周囲にも伸びている場合に血管と識別し、周囲にも伸びていない場合に病変と識別することができる。

（変形例１）
変形例１に係る超音波診断装置１００は、教師なし学習により学習済みモデルを生成する。

学習済みモデル生成機能１７５は、３次元的画像特徴量を学習用データとして学習済みモデルを生成する。学習済みモデル生成機能１７５は、病変が無い生体組織の超音波画像から生成された３次元的画像特徴量を、入力側の学習用データに使用して、教師無し学習により学習済みモデルを生成する。

更に詳しくは、学習済みモデル生成機能１７５は、３次元的画像特徴量が入力された場合に、学習用データにより学習した病変が無い３次元的画像特徴量から逸脱している度合いを示す逸脱度を出力する学習済みモデルを生成する。また、学習用データとなる３次元的画像特徴量は、過去に撮影した超音波画像から生成されたもの、つまり記憶回路１５０等に記憶媒体に記憶されていたものであってもよいし、学習時に超音波プローブ１０１が受信した信号に基づいて生成された超音波画像から生成されたものであってもよい。

学習済みモデル実行機能１７６は、超音波画像取得機能１７１により画像生成回路１４０が生成した超音波画像を基にした３次元的画像特徴量を学習済みモデルに入力する。学習済みモデルは、入力された３次元的画像特徴量に含まれる生体組織について、学習した病変の無い生体組織からの逸脱度を出力する。例えば、学習済みモデルは、逸脱度が閾値よりも高い領域を出力する。

出力機能１７７は、学習済みモデルから出力された逸脱度が閾値よりも高い領域をディスプレイ１０５に表示する。例えば、出力機能１７７は、３次元的画像特徴量の基になった超音波画像に、逸脱度が閾値よりも高い領域を示す画像を、重畳して表示する。

以上のように、変形例１に係る学習済みモデルは、病変の無い生体組織からの逸脱度を出力する。よって、学習済みモデルは、病変の無い生体組織とは異なる構造を有する非腫瘤性病変を検出することができる。

（変形例２）
変形例２に係る超音波診断装置１００は、病変の検出結果に対する不確実度を算出する学習済みモデルを生成する。

例えば、学習済みモデル生成機能１７５は、超音波画像から病変を検出する学習済みモデルを、病変の検出結果の不確実性を算出可能なベイズニューラルネットワークを用いた教師有り学習により生成する。ベイズニューラルネットワークは、ベイズ推定を利用したニューラルネットワークである。ベイズニューラルネットワークは、ベイジアンニューラルネットワークとも呼ばれる。

更に詳しくは、学習済みモデル生成機能１７５は、３次元的画像特徴量が入力された場合に、３次元的画像特徴量の基になった超音波画像の各局所領域に病変が含まれているか否かの判定結果と、当該判定結果に対する不確実性の度合いを示す不確実度とを出力する学習済みモデルを生成する。例えば、学習済みモデル生成機能１７５は、３次元的画像特徴量を入力側の学習用データに使用して、３次元的画像特徴量の基になった超音波画像に病変の位置を示す病変領域情報を出力側の教師データに使用して、ベイズニューラルネットワークにより学習済みモデルを生成する。

学習済みモデル実行機能１７６は、超音波画像取得機能１７１により画像生成回路１４０が生成した超音波画像を基にした３次元的画像特徴量を学習済みモデルに入力する。学習済みモデルは、入力された３次元的画像特徴量の領域ごとの病変の検出結果と、検出結果に対する不確実性の度合いを示す不確実度とを出力する。

出力機能１７７は、学習済みモデルから出力された領域ごとの病変の検出結果と、不確実度とをディスプレイ１０５に表示する。例えば、出力機能１７７は、不確実度が閾値以上の領域であることを示す不確実画像Ｒ２を、超音波画像における不確実度が閾値以上の領域に重畳して表示する。出力機能１７７は、表示制御部の一例である。

図６は、変形例２に係る学習済みモデルの運用方法について説明する説明図である。図６に示すように、検査者は、被検体Ｐの皮膚表面に超音波プローブ１０１を当てながら移動させる。この時、超音波プローブ１０１は、図６に示す被検体Ｐの点線で示すスキャン地点で、被検体Ｐをスキャンする。学習済みモデルは、超音波プローブ１０１が受信した信号の超音波画像と、位置センサ１０２が取得した位置情報と、注目領域情報とに基づいて生成された３次元的画像特徴量が入力される。図６に示すように、学習済みモデルは、病変と僅かに重なっているスキャン地点の３次元的画像特徴量が入力された場合に、超音波画像に含まれる病変は微小であるため、病変を検出しない。ところが、学習済みモデルは、他のスキャン地点で取得した３次元的画像特徴量も考慮して領域ごとに不確実度を算出する。そして、学習済みモデルは、不確実度が閾値以上の領域を検出する。

図６に示すように、出力機能１７７は、超音波画像に対して、学習済みモデルにより検出された不確実度が閾値以上の領域に不確実画像Ｒ２を重畳して表示する。検査者は、不確実画像Ｒ２により病変があかるか否かが不確実な領域を把握することができる。よって、検査者は、不確実画像Ｒ２に示された領域をスキャンするように超音波プローブ１０１を当てる。そして、学習済みモデルは、不確実画像Ｒ２に示された領域に対応した３次元的画像特徴量から病変を検出した場合に、病変画像Ｒ３を表示する。すなわち、出力機能１７７は、超音波画像に対して、学習済みモデルにより検出された病変の領域に病変画像Ｒ３を重畳して表示する。これにより、超音波診断装置１００は、検査者による検査を支援する。

以上のように、変形例２に係る学習済みモデルは、病変があるか否かが不確実な領域を表示する。これにより、検査者は、不確実な領域を重点的に検査することができる。

（変形例３）
変形例３に係る超音波診断装置１００は、不確実度が閾値以上の領域を検出した場合に、超音波画像の取得にかかる設定を変更する。

更に詳しくは、変形例２と同様に、学習済みモデル生成機能１７５は、３次元的画像特徴量を入力側の学習用データに使用して、３次元的画像特徴量の基になった超音波画像に病変の位置を示す病変領域情報を出力側の教師データに使用して、病変の検出結果の不確実性を算出可能なベイズニューラルネットワークにより学習済みモデルを生成する。

変形例２と同様に、学習済みモデル実行機能１７６は、超音波画像取得機能１７１により画像生成回路１４０が生成した超音波画像を基にした３次元的画像特徴量を学習済みモデルに入力する。学習済みモデルは、入力された３次元的画像特徴量の領域ごとの病変の検出結果と、検出結果に対する不確実性の度合いを示す不確実度とを出力する。

出力機能１７７は、不確実度が閾値以上の領域であることを示す不確実画像Ｒ２を、超音波画像における不確実度が閾値以上の領域に重畳して表示する。

また、出力機能１７７は、学習済みモデルの病変の検出結果に対する不確実度が閾値以上の場合に、超音波画像を詳細に取得するように、超音波画像の取得に関する設定を変更する。出力機能１７７は、設定変更部の一例である。超音波画像の取得に関する設定とは、例えば、フレームレートの設定や、空間分解能の設定などの事前に定められた設定である。出力機能１７７は、事前に定められた超音波画像の取得に関する設定を、事前に設定された値に変更する。

超音波画像の取得に関する設定を変更される場合、超音波診断装置１００は、不確実度が閾値以上の領域の有無を検査者が把握していなくても、設定を変更するため、不確実度が閾値以上の領域を精密に検査する。そこで、出力機能１７７は、超音波画像の取得に関する設定を変更する場合、不確実画像Ｒ２を表示しなくてもよい。

図７は、変形例３にかかる学習済みモデルの運用方法について説明する説明図である。図７に示すように、検査者は、被検体Ｐの皮膚表面に超音波プローブ１０１を当てながら移動させる。この時、超音波プローブ１０１は、図７に示す被検体Ｐの点線で示すスキャン地点で、被検体Ｐをスキャンする。学習済みモデルは、超音波プローブ１０１が受信した信号の超音波画像と、位置センサ１０２が取得した位置情報と、注目領域情報とに基づいて生成された３次元的画像特徴量が入力される。ところが、学習済みモデルは、他のスキャン地点で取得した３次元的画像特徴量も考慮して領域ごとに不確実度を算出する。そして、学習済みモデルは、不確実度が閾値以上の領域を検出する。

図７に示すように、出力機能１７７は、不確実度が閾値以上の領域であることを示す不確実画像Ｒ２を、超音波画像に重畳して表示する。検査者は、不確実画像Ｒ２により病変があかるか否かが不確実な領域を把握することができる。さらに、出力機能１７７は、事前に定められた超音波画像の取得に関する設定を、事前に設定された値に変更する。例えば、出力機能１７７は、超音波画像を取得するフレームレートを上げて、空間分解能を上げる。これにより、超音波診断装置１００は、不確実度が閾値以上の領域について詳細に超音波画像を取得する。よって、検査者は、不確実度が閾値以上の領域について病変が有るか否かを確認することができる。

なお、不確実度が閾値以上の領域を検査者が認識していなくても、出力機能１７７は、超音波画像を取得するフレームレートを上げて、空間分解能を上げる。そして、超音波診断装置１００は、不確実度が閾値以上の領域を詳細にスキャンする。そのため、出力機能１７７は、不確実画像Ｒ２を表示しなくてもよい。

以上のように、変形例３に係る学習済みモデルは、病変があるか否かが不確実な領域を検出する。そして、出力機能１７７は、不確実な領域が検出された場合に、超音波画像の取得に関する設定を変更する。すなわち、出力機能１７７は、超音波画像を取得するフレームレートを上げて、空間分解能を上げる。よって、超音波診断装置１００は、不確実な領域を精密に検査することができる。

（変形例４）
変形例４に係る超音波診断装置１００は、３次元の超音波画像を作成する学習済みモデルを生成する。

３次元画像は、複数の超音波画像のそれぞれを対応する位置に配置することで形成される。超音波プローブ１０１は、検査者が手に持って被検体Ｐに当てなら移動させられる。そのため、超音波プローブ１０１の移動速度は、超音波画像を取得する間隔は不均一になる。よって、従来は、取得した超音波画像を配置する位置を特定することができず、３次元の超音波画像を生成することは困難であった。そこで、変形例４に係る超音波診断装置１００は、３次元の超音波画像を作成する学習済みモデルを生成する。

学習済みモデル生成機能１７５は、３次元的画像特徴量が入力された場合に、３次元の画像データを作成する学習済みモデルを生成する。例えば、学習済みモデル生成機能１７５は、学習済みモデルに対して、入力側の学習用データとして３次元的画像特徴量を入力し、出力側の教師データとして３次元的画像特徴量を組み合わせることで形成される３次元の超音波画像を入力する教師あり学習を実行する。

学習済みモデル実行機能１７６は、超音波画像取得機能１７１により画像生成回路１４０が生成した超音波画像を基にした３次元的画像特徴量を学習済みモデルに入力する。学習済みモデルは、３次元の超音波画像を出力する。

図８は、変形例４にかかる学習済みモデルの運用方法について説明する説明図である。図８に示すように、超音波プローブ１０１は、移動速度が一定ではないため、超音波画像を取得する間隔も異なっている。学習済みモデル実行機能１７６は、各地点で取得された超音波画像を基にした３次元的画像特徴量を学習済みモデルに入力する。３次元的画像特徴量には位置情報が含まれているため、学習済みモデルは、位置情報に対応した位置に超音波画像を配置する。これにより、学習済みモデルは、３次元の超音波画像を生成する。

以上のように、変形例４に係る学習済みモデルは、３次元の超音波画像を生成する。これにより、超音波診断装置１００は、３次元の超音波画像を様々な用途に使用することができる。

（変形例５）
第１の実施形態に係る３次元的画像特徴量生成機能１７４は、位置センサ１０２が取得した超音波プローブ１０１の３次元的な位置を示す位置情報と、超音波画像の注目領域Ｒ１を示す注目領域情報とを画像特徴量に付与することで３次元的画像特徴量を生成すると説明した。しかしながら、３次元的画像特徴量生成機能１７４は、注目領域情報を画像特徴量に付与せずに、３次元的画像特徴量を生成してもよい。すなわち、３次元的画像特徴量生成機能１７４は、位置センサ１０２が取得した超音波プローブ１０１の３次元的な位置を示す位置情報を画像特徴量に付与することで３次元的画像特徴量を生成してもよい。

（変形例６）
第１の実施形態に係る医用情報処理装置を超音波診断装置１００に適用した場合を例に説明した。しかしながら、医用情報処理装置は、サーバやワークステーション等のコンピュータ機器であってもよい。この場合、医用情報処理装置は、超音波診断装置１００が生成した超音波画像及び位置情報を取得すればよい。

さらに、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７は、複数の装置が分割して有していてもよい。すなわち、３次元的画像特徴量を生成する装置と、学習済みモデルを生成する装置と、学習済みモデルを運用する装置とは異なっていてもよい。

さらに、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７の一部は、他の装置が有していてもよい。そして、超音波診断装置１００は、他の装置と通信を実行することにより、他の装置と協働で各種処理を実行してもよい。

また、第１の実施形態では、超音波診断装置１００の学習済みモデルの生成に使用する学習用データについて説明した。しかしながら、学習用データは、検査者が手動でプローブを操作するモダリティであれば、超音波診断装置１００以外の装置の学習済みモデルの生成に使用するものであってもよい。

（変形例７）
第１の実施形態に係る超音波診断装置１００は、記憶回路１５０等に記憶されているプログラムを実行することにより、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７を実現すると説明した。しかしながら、超音波診断装置１００は、超音波画像取得機能１７１、位置情報取得機能１７２、特徴量算出機能１７３、３次元的画像特徴量生成機能１７４、学習済みモデル生成機能１７５、学習済みモデル実行機能１７６、及び出力機能１７７の全部又は一部を半導体回路などのハードウェアにより実現してもよい。

以上説明した少なくとも１つの実施形態等によれば、プローブの動かし方に影響されない学習済みモデルを生成することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 超音波診断装置
１０１ 超音波プローブ
１０２ 位置センサ
１０３ トランスミッタ
１０５ ディスプレイ
１０６ 装置本体
１１０ 送受信回路
１３０ 信号処理回路
１４０ 画像生成回路
１５０ 記憶回路
１７０ 処理回路
１７１ 超音波画像取得機能
１７２ 位置情報取得機能
１７３ 特徴量算出機能
１７４ ３次元的画像特徴量生成機能
１７５ 学習済みモデル生成機能
１７６ 学習済みモデル実行機能
１７７ 出力機能
Ｐ 被検体
Ｒ１ 注目領域
Ｒ２ 不確実画像
Ｒ３ 病変画像

Claims (12)

1. プローブが受信した信号に基づいて生成された２次元画像データを取得する第１取得部と、
   前記２次元画像データの基になった前記信号を受信した時の前記プローブの３次元的な位置を示す位置情報を取得する第２取得部と、
   前記２次元画像データの画像特徴量を算出する算出部と、
   前記画像特徴量に前記位置情報を付与することにより３次元的画像特徴量を生成する第１生成部と、
   を備える医用情報処理装置。
2. 前記第１生成部は、前記位置情報と、前記２次元画像データの注目領域を示す注目領域情報とを前記画像特徴量に付与することにより前記３次元的画像特徴量を生成する、
   請求項１に記載の医用情報処理装置。
3. 前記第１生成部は、前記注目領域として前記プローブの焦点が設定された前記注目領域情報と、前記位置情報とを前記画像特徴量に付与することにより前記３次元的画像特徴量を生成する、
   請求項２に記載の医用情報処理装置。
4. 前記３次元的画像特徴量を学習用データとして学習済みモデルを生成する第２生成部を更に備える、
   請求項１から請求項３の何れか一項に記載の医用情報処理装置。
5. 前記第２生成部は、前記３次元的画像特徴量が入力された場合に、当該３次元的画像特徴量の基になった前記２次元画像データに含まれる病変の領域を出力する前記学習済みモデルを生成する、
   請求項４に記載の医用情報処理装置。
6. 前記第２生成部は、前記３次元的画像特徴量が入力された場合に、病変が含まれていない前記３次元的画像特徴量から逸脱している度合いを示す逸脱度を出力する前記学習済みモデルを生成する、
   請求項４に記載の医用情報処理装置。
7. 前記第２生成部は、前記３次元的画像特徴量が入力された場合に、当該３次元的画像特徴量の基になった前記２次元画像データの各領域に病変が含まれているか否かの判定結果と、当該判定結果に対する不確実性の度合いを示す不確実度とを出力する前記学習済みモデルを生成する、
   請求項４に記載の医用情報処理装置。
8. 前記不確実度が閾値以上の領域であることを示す画像を、前記２次元画像データに重畳して表示する表示制御部を更に備える、
   請求項７に記載の医用情報処理装置。
9. 前記不確実度が閾値以上の場合に、前記２次元画像データの取得に関する設定を変更する設定変更部を更に備える、
   請求項７又は請求項８に記載の医用情報処理装置。
10. 前記第２生成部は、前記３次元的画像特徴量が入力された場合に、３次元の画像データを作成する前記学習済みモデルを生成する、
    請求項４に記載の医用情報処理装置。
11. 超音波プローブが受信した信号に基づいて生成された２次元の超音波画像を取得する第１取得部と、
    前記超音波画像の基になった前記信号を受信した時の前記超音波プローブの３次元的な位置を示す位置情報を取得する第２取得部と、
    前記超音波画像の画像特徴量を算出する算出部と、
    前記画像特徴量に前記位置情報を付与することにより３次元的画像特徴量を生成する第１生成部と、
    を備える超音波診断装置。
12. プローブが受信した信号に基づいて生成された２次元画像データを取得し、
    前記２次元画像データの基になった前記信号を受信した時の前記プローブの３次元的な位置を示す位置情報を取得し、
    前記２次元画像データの画像特徴量を算出し、
    前記画像特徴量に前記位置情報を付与することにより３次元的画像特徴量を生成する、
    ことを含む学習用データ生成方法。

Images