JP2020114302A - 超音波診断装置、画像処理装置、画像処理プログラム、学習済モデル生成装置、及び、学習プログラム - Google Patents

Abstract

【課題】対象物を含む領域を推定する処理の精度を向上させること。【解決手段】実施形態に係る超音波診断装置は、取得部と、記憶部と、推定部と、を備える。前記取得部は、対象物に対する超音波スキャンの実施により収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データを取得する。前記記憶部は、前記超音波スキャンを過去に実施したときの前記第１画像データと当該第１画像データにおける前記対象物を含む領域とを用いた学習により生成された学習済モデルを記憶する。前記推定部は、前記学習済モデルを用いて、前記取得部により取得された前記第１画像データにおける前記領域を推定する。【選択図】図１

Description

本発明の実施形態は、超音波診断装置、画像処理装置、画像処理プログラム、学習済モデル生成装置、及び、学習プログラムに関する。

例えば、過去に生成したボリュームデータと当該ボリュームデータにおける対象物（例えば、妊婦の子宮内の胎児）を含む領域とを用いた学習により、今回生成したボリュームデータにおける対象物（胎児）を含む領域を推定する方法が知られている。しかし、座標変換（スキャンコンバート）が行われる前の超音波画像データは、原理上、スキャン方向によって、画素数と分解能が異なる。したがって、座標変換後の超音波画像データでは、方向によって分解能が異なることになり、かかる分解能の差異が、学習及び推定の処理の精度に影響を与える場合がある。

特許第６１２５２５６号 特開２０１７−２２１２６９号公報

本発明が解決しようとする課題は、対象物を含む領域を推定する処理の精度を向上させることである。

実施形態に係る超音波診断装置は、取得部と、記憶部と、推定部と、を備える。前記取得部は、対象物に対する超音波スキャンの実施により収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データを取得する。前記記憶部は、前記超音波スキャンを過去に実施したときの前記第１画像データと当該第１画像データにおける前記対象物を含む領域とを用いた学習により生成された学習済モデルを記憶する。前記推定部は、前記学習済モデルを用いて、前記取得部により取得された前記第１画像データにおける前記領域を推定する。

図１は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２は、座標変換前の超音波画像データと座標変換後の超音波画像データとの関係を示す図である。 図３は、第１の実施形態に係る超音波診断装置による処理の手順を示すフローチャートである。 図４は、第１の実施形態に係る超音波診断装置の画像処理回路による処理を説明するための図である。 図５は、第１の実施形態における学習済モデル生成装置の構成例を示すブロック図である。 図６は、第１の実施形態における機械学習の一例を説明するための図である。 図７は、第１の実施形態における学習済モデルを生成する処理の一例を説明するための図である。 図８は、第２の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図９は、第２の実施形態に係る超音波診断装置による処理の手順を示すフローチャートである。 図１０は、第２の実施形態に係る超音波診断装置の画像処理回路による処理を説明するための図である。 図１１は、第２の実施形態に係る超音波診断装置の画像処理回路による処理を説明するための図である。 図１２は、第１の変形例における超音波診断装置の画像処理回路による処理を説明するための図である。 図１３は、第２の変形例における超音波診断装置の画像処理回路による処理を説明するための図である。 図１４は、その他の変形例における超音波診断装置の画像処理回路による処理を説明するための図である。

以下、添付図面を参照して、実施形態に係る超音波診断装置及び画像処理プログラムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。

（第１の実施形態）
図１は、第１の実施形態に係る超音波診断装置１の構成例を示すブロック図である。図１に示すように、第１の実施形態に係る超音波診断装置１は、装置本体１００と、超音波プローブ１０１と、入力装置１０２と、ディスプレイ１０３とを備える。超音波プローブ１０１、入力装置１０２、及びディスプレイ１０３は、それぞれ装置本体１００に接続される。

超音波プローブ１０１は、超音波の送受信（超音波スキャン）を実行する。例えば、超音波プローブ１０１は、被検体Ｐの体表面（例えば、妊婦の腹部）に接触され、妊婦の子宮内の胎児の少なくとも一部を含む領域に対して、超音波の送受信を実行する。超音波プローブ１０１は、複数の圧電振動子を有する。複数の圧電振動子は、電気信号（パルス電圧）と機械振動（音による振動）とを相互に変換する圧電効果を有する圧電素子であり、装置本体１００から供給される駆動信号（電気信号）に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐ内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号（電気信号）として複数の圧電振動子にて受信される。超音波プローブ１０１は、複数の圧電振動子にて受信した反射波信号を装置本体１００へ送る。

ここで、超音波プローブ１０１は、複数の圧電振動子が格子状に２次元で配置された２Ｄアレイプローブや、１次元で配列された複数の圧電振動子が機械的に揺動することで３次元領域を走査するメカニカル４Ｄプローブなど、如何なる形態の超音波プローブが用いられてもよい。

入力装置１０２は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、ホイール、トラックボール、ジョイスティック等を有し、超音波診断装置１の操作者からの各種設定要求を受け付け、装置本体１００に対して受け付けた各種設定要求を転送する。なお、入力装置１０２は、入力部の実現手段の一例である。

ディスプレイ１０３は、超音波診断装置１の操作者が入力装置１０２を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１００において生成された超音波画像データ等を表示したりする。また、ディスプレイ１０３は、装置本体１００の処理状況を操作者に通知するために、各種のメッセージを表示する。また、ディスプレイ１０３は、スピーカー（図示しない）を有し、音声を出力することもできる。例えば、ディスプレイ１０３のスピーカーは、装置本体１００の処理状況を操作者に通知するために、ビープ音などの所定の音声を出力する。なお、ディスプレイ１０３は、表示部の実現手段の一例である。

装置本体１００は、超音波プローブ１０１が受信した反射波信号に基づいて、超音波画像データを生成する装置である。装置本体１００により生成される超音波画像データは、２次元の反射波信号に基づいて生成される２次元の超音波画像データであってもよいし、３次元の反射波信号に基づいて生成される３次元の超音波画像データであってもよい。

図１に示すように、装置本体１００は、例えば、送受信回路１１０と、Ｂモード処理回路１２０と、ドプラ処理回路１３０と、画像処理回路１４０と、画像メモリ１５０と、記憶回路１６０と、制御回路１７０とを有する。送受信回路１１０、Ｂモード処理回路１２０、ドプラ処理回路１３０、画像処理回路１４０、画像メモリ１５０、記憶回路１６０、及び制御回路１７０は、通信可能に互いに接続される。また、装置本体１００は、院内のネットワーク２に接続される。

送受信回路１１０は、超音波プローブ１０１による超音波の送信を制御する。例えば、送受信回路１１０は、制御回路１７０の指示に基づいて、振動子ごとに所定の送信遅延時間が付与されたタイミングで超音波プローブ１０１に上述の駆動信号（駆動パルス）を印加する。これにより、送受信回路１１０は、超音波がビーム状に集束された超音波ビームを超音波プローブ１０１に送信させる。

また、送受信回路１１０は、超音波プローブ１０１による反射波信号の受信を制御する。反射波信号は、上述のように、超音波プローブ１０１から送信された超音波が被検体Ｐの体内組織で反射された信号である。例えば、送受信回路１１０は、制御回路１７０の指示に基づいて、超音波プローブ１０１が受信した反射波信号に所定の遅延時間を与えて加算処理を行う。これにより、反射波信号の受信指向性に応じた方向からの反射成分が強調される。そして、送受信回路１１０は、加算処理後の反射波信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。そして、送受信回路１１０は、Ｉ信号及びＱ信号（以下、ＩＱ信号と記載する）を反射波データとして、Ｂモード処理回路１２０及びドプラ処理回路１３０へ送る。なお、送受信回路１１０は、加算処理後の反射波信号を、ＲＦ（Radio Frequency）信号に変換した上で、Ｂモード処理回路１２０及びドプラ処理回路１３０へ送ってもよい。ＩＱ信号や、ＲＦ信号は、位相情報が含まれる信号（反射波データ）となる。

Ｂモード処理回路１２０は、送受信回路１１０が反射波信号から生成した反射波データに対して各種の信号処理を行う。Ｂモード処理回路１２０は、送受信回路１１０から受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点（観測点）ごとの信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。Ｂモード処理回路１２０は、生成したＢモードデータを画像処理回路１４０へ送る。

また、Ｂモード処理回路１２０は、高調波成分を映像化するハーモニックイメージングを行うための信号処理を実行する。ハーモニックイメージングとしては、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や組織ハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）が知られている。また、コントラストハーモニックイメージングや組織ハーモニックイメージングには、スキャン方式として、振幅変調（ＡＭ：Amplitude Modulation）、「Pulse Subtraction法」や「Pulse Inversion法」と呼ばれる位相変調（ＰＭ：Phase Modulation）、及び、ＡＭとＰＭとを組み合わせることで、ＡＭの効果及びＰＭの効果の双方が得られるＡＭＰＭ等が知られている。

ドプラ処理回路１３０は、送受信回路１１０が反射波信号から生成した反射波データより、移動体のドプラ効果に基づく運動情報を走査領域内の各サンプル点で抽出したデータを、ドプラデータとして生成する。ここで、移動体の運動情報とは、移動体の平均速度、分散値、パワー値等の情報であり、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路１３０は、生成したドプラデータを画像処理回路１４０へ送る。

例えば、移動体が血流である場合、血流の運動情報は、血流の平均速度、分散値、パワー等の情報（血流情報）である。血流情報は、例えば、カラードプラ法により得られる。

カラードプラ法では、まず、超音波の送受信が同一の走査線上で複数回行われ、次に、ＭＴＩ（Moving Target Indicator）フィルタを用いて、同一位置（同一サンプル点）の反射波データのデータ列を表す信号に対して特定の周波数帯域の信号を通過させ、それ以外の周波数帯域の信号を減衰させる。すなわち、静止している組織、或いは、動きの遅い組織に由来する信号（クラッタ成分）を抑制させる。これにより、反射波データのデータ列を表す信号から、血流に関する血流信号が抽出される。そして、カラードプラ法では、抽出した血流信号から、血流の平均速度、分散値、パワー等の血流情報を推定し、推定した血流情報をドプラデータとして生成する。

画像処理回路１４０は、画像データ（超音波画像データ）の生成処理や、画像データに対する各種の画像処理等を行う。例えば、画像処理回路１４０は、Ｂモード処理回路１２０が生成した２次元のＢモードデータから、反射波の強度を輝度で表した２次元Ｂモード画像データを生成する。また、画像処理回路１４０は、ドプラ処理回路１３０が生成した２次元のドプラデータから、血流情報が映像化された２次元ドプラ画像データを生成する。２次元ドプラ画像データは、血流の平均速度を表す速度画像データ、血流の分散値を表す分散画像データ、血流のパワーを表すパワー画像データ、又は、これらを組み合わせた画像データである。画像処理回路１４０は、ドプラ画像データとして、血流の平均速度、分散値、パワー等の血流情報がカラーで表示されるカラードプラ画像データを生成したり、１つの血流情報がグレースケールで表示されるドプラ画像データを生成したりする。

ここで、画像処理回路１４０は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換し、表示用の超音波画像データを生成する。具体的には、画像処理回路１４０は、超音波プローブ１０１による超音波の走査形態に応じて座標変換（スキャンコンバート）を行うことで、表示用の超音波画像データを生成する。また、画像処理回路１４０は、座標変換以外に、種々の画像処理として、例えば、座標変換後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、画像処理回路１４０は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。

すなわち、Ｂモードデータ及びドプラデータは、座標変換前の超音波画像データであり、画像処理回路１４０が生成する画像データは、座標変換後の表示用の超音波画像データである。なお、Ｂモードデータ及びドプラデータは、生データ（Raw Data）とも呼ばれる。画像処理回路１４０は、座標変換前の２次元超音波画像データから、座標変換後の表示用の２次元超音波画像データを生成する。

更に、画像処理回路１４０は、座標変換前の３次元超音波画像データから、座標変換後の表示用の３次元超音波画像データを生成する。例えば、画像処理回路１４０は、Ｂモード処理回路１２０が生成した３次元のＢモードデータに対して座標変換を行うことで、３次元Ｂモード画像データを生成する。また、画像処理回路１４０は、ドプラ処理回路１３０が生成した３次元のドプラデータに対して座標変換を行うことで、３次元ドプラ画像データを生成する。

更に、画像処理回路１４０は、ボリューム画像データをディスプレイ１０３にて表示するための各種の２次元画像データを生成するために、ボリューム画像データに対してレンダリング処理を行う。画像処理回路１４０が行うレンダリング処理としては、例えば、多断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行ってボリューム画像データからＭＰＲ画像データを生成する処理がある。また、画像処理回路１４０が行うレンダリング処理としては、例えば、３次元画像の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理がある。また、画像処理回路１４０が行うレンダリング処理としては、例えば、３次元画像の表面情報のみを抽出した２次元画像データを生成するサーフェスレンダリング（ＳＲ：Surface Rendering）処理がある。

画像処理回路１４０は、生成した画像データや、各種の画像処理を行った画像データを、画像メモリ１５０に格納する。なお、画像処理回路１４０は、各画像データの表示位置を示す情報、超音波診断装置１の操作を補助するための各種情報、患者情報等の診断に関する付帯情報についても画像データとともに生成し、画像メモリ１５０に格納してもよい。

また、第１の実施形態に係る画像処理回路１４０は、取得機能１４１と、推定機能１４２と、抽出機能１４３と、座標変換機能１４４と、表示制御機能１４５とを実行する。なお、取得機能１４１は、取得部の一例である。推定機能１４２は、推定部の一例である。抽出機能１４３は、抽出部の一例である。座標変換機能１４４は、座標変換部の一例である。表示制御機能１４５は、表示制御部の一例である。

ここで、図１に示す画像処理回路１４０の構成要素である取得機能１４１、推定機能１４２、抽出機能１４３、座標変換機能１４４、表示制御機能１４５が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路１６０に記録されている。画像処理回路１４０は、各プログラムを記憶回路１６０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の画像処理回路１４０は、図１の画像処理回路１４０内に示された各機能を有することとなる。画像処理回路１４０が実行する取得機能１４１、推定機能１４２、抽出機能１４３、座標変換機能１４４、表示制御機能１４５の処理内容については、後述する。

なお、図１においては、単一の画像処理回路１４０にて、以下に説明する各処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路１６０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路１６０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

画像メモリ１５０及び記憶回路１６０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。

画像メモリ１５０は、座標変換後の超音波画像データとして、画像処理回路１４０が生成したＢモード画像データやドプラ画像データ等の画像データを記憶するメモリである。また、画像メモリ１５０は、座標変換前の超音波画像データとして、Ｂモード処理回路１２０が生成したＢモードデータやドプラ処理回路１３０が生成したドプラデータ等の画像データを記憶する。画像メモリ１５０が記憶する超音波画像データは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像処理回路１４０を経由して表示用の超音波画像データとなる。

記憶回路１６０は、超音波送受信、画像処理及び表示処理を行うための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路１６０は、必要に応じて、画像メモリ１５０が記憶する画像データの保管等にも使用される。また、記憶回路１６０が記憶するデータは、図示しないインターフェースを経由して、外部装置へ転送することができる。なお、外部装置は、例えば、画像診断を行なう医師が使用するＰＣ（Personal Computer）や、ＣＤやＤＶＤ等の記憶媒体、プリンター等である。なお、記憶回路１６０は、記憶部の実現手段の一例である。また、記憶回路１６０は、超音波診断装置１がネットワーク２上でアクセス可能であれば、超音波診断装置１に内蔵されていなくてもよい。

制御回路１７０は、超音波診断装置１の処理全体を制御する。具体的には、制御回路１７０は、入力装置１０２を介して操作者から入力された各種設定要求や、記憶回路１６０から読み込んだ各種制御プログラム及び各種データに基づき、送受信回路１１０、Ｂモード処理回路１２０、ドプラ処理回路１３０、画像処理回路１４０等の処理を制御する。

なお、装置本体１００に内蔵される送受信回路１１０、Ｂモード処理回路１２０、ドプラ処理回路１３０、画像処理回路１４０、及び制御回路１７０等は、プロセッサ（ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、集積回路等）のハードウェアにより構成されることもあるが、ソフトウェア的にモジュール化されたプログラムにより構成される場合もある。

以上、第１の実施形態に係る超音波診断装置１の全体構成について説明した。かかる構成のもと、第１の実施形態に係る超音波診断装置１では、対象物を含む領域を推定する処理の精度を向上させることができる。

例えば、過去に生成した座標変換後の超音波画像データと当該座標変換後の超音波画像データにおける対象物（例えば、妊婦の子宮内の胎児）を含む領域とを用いた学習により、今回生成した座標変換後の超音波画像データにおける対象物（胎児）を含む領域を推定する方法が知られている。しかし、この方法を適用する場合、以下のような問題点がある。

図２は、座標変換前の超音波画像データと座標変換後の超音波画像データとの関係を示す図である。図２に示すように、座標変換が行われる前の超音波画像データは、原理上、スキャン方向によって、画素数と分解能が相当異なる。胎児用としてしばしば利用されるメカニカル４Ｄプローブを用いる場合、最も画素数が多く、かつ、分解能が高い方向は、深さ方向であるレンジ方向２０１（サンプル方向）であって、次いで、アジマス方向２０２（ラスタ方向）である。最も画素数が少なく、かつ、分解能が低い方向は、エレベーション方向２０３（メカスキャン方向）となる。ここで、座標変換前の超音波画像データのボクセル２０４においては、長さ方向別で相当に異なるが、座標変換後の超音波画像データのボクセル２１４においては、長さがどの方向も同じになる。したがって、座標変換後の超音波画像データに対してレンダリング処理を行うことにより、胎児の見え方は自然になる一方、方向によって分解能が異なることになり、最も分解能のよい方向の分解能が、学習及び推定の処理の精度に影響を与える場合がある。

例えば、座標変換後の超音波画像データの画像サイズを分解能の良い方向に合わせると、それ以外の方向のサンプルサイズが分解能に対して過大になり、学習及び推定の処理に要する時間が余計にかかることになる。また、学習及び推定の処理時間を短縮するために、座標変換後の超音波画像データの画像サイズを小さくすると、最も分解能のよい方向の分解能が、リサンプリング処理によって低下し、その影響で学習及び推定の処理の性能が悪くなる。

そこで、第１の実施形態に係る超音波診断装置１では、画像処理回路１４０は、超音波スキャンを過去に実施したときの座標変換前の超音波画像データと座標変換前の超音波画像データにおける対象物を含む領域とを用いた学習により、今回取得した座標変換前の超音波画像データにおける対象物を含む領域を推定する。

以下、図３、図４を用いて、画像処理回路１４０が実行する取得機能１４１、推定機能１４２、抽出機能１４３、座標変換機能１４４、表示制御機能１４５の各機能について説明する。

図３は、第１の実施形態に係る超音波診断装置１による処理の手順を示すフローチャートである。図３では、超音波診断装置１全体の動作（画像処理方法）を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。図４は、第１の実施形態に係る超音波診断装置１の画像処理回路１４０による処理を説明するための図である。

図３のステップＳ１０１は、超音波プローブ１０１により実施されるステップである。ステップＳ１０１では、超音波プローブ１０１は、被検体Ｐの体表面（例えば、妊婦の腹部）に接触され、対象物（例えば、妊婦の子宮内の胎児）を含む領域に対して超音波スキャンを実行し、超音波スキャンの結果として、上記領域の反射波信号を収集する。ここで、Ｂモード処理回路１２０は、超音波プローブ１０１により収集された反射波信号に基づいてＢモードデータを生成する。生成されたＢモードデータは、座標変換前の超音波画像データである。

すなわち、座標変換前の超音波画像データ（図４に示す座標変換前画像データ４０１）は、超音波スキャンの実施により収集された画像データであり、超音波スキャンの形状に応じた座標変換が行われる前の画像データである。以下、座標変換前画像データ４０１を、第１画像データ４０１と記載する。例えば、本実施形態において、超音波プローブ１０１としてメカニカル４Ｄプローブが用いられる場合、第１画像データ４０１は、３次元の画像データである。

図３のステップＳ１０２（取得処理）は、画像処理回路１４０が記憶回路１６０から取得機能１４１に対応するプログラムを呼び出して実行されるステップである。ステップＳ１０２では、取得機能１４１は、第１画像データ４０１を取得する。ここで、図４に示すように、取得機能１４１により取得された第１画像データ４０１は、胎児４５１を表す画像とアーティファクト４５２を表す画像とを含む。

図３のステップＳ１０３（推定処理）は、画像処理回路１４０が記憶回路１６０から推定機能１４２に対応するプログラムを呼び出して実行されるステップである。ステップＳ１０３では、推定機能１４２は、学習済モデル４０２を用いて、取得機能１４１により取得された第１画像データ４０１における対象物（胎児）を含む領域を推定することにより、図４に示すようなマスクデータ４０３を得る。

学習済モデル４０２は、超音波スキャンを過去に実施したときの第１画像データ４０１と、当該第１画像データ４０１における対象物を含む領域を表すマスクデータ（学習用マスクデータ）とを用いた学習により生成されたモデルである。当該学習としては、例えば、ニューラルネットワークを基にしたＡＩ（Artificial Intelligence）を用いた学習や機械学習等が挙げられる。学習済モデル４０２の詳細については後述する。

図３のステップＳ１０４（抽出処理）は、画像処理回路１４０が記憶回路１６０から抽出機能１４３に対応するプログラムを呼び出して実行されるステップである。ステップＳ１０４では、抽出機能１４３は、取得機能１４１により取得された第１画像データ４０１から、推定機能１４２により推定されたマスクデータ４０３が表す領域を抽出することにより、図４に示すような第２画像データ４５３を得る。第２画像データ４５３は、第１画像データ４０１から、アーティファクト４５２を表す画像などがカットされた画像データである。

ここで、抽出機能１４３が行う抽出について説明する。例えば、マスクデータ４０３は、第１画像データ４０１と空間的に同じデータ構造を有し、その各画素の位置が、第１画像データ４０１の各画素の位置に対応する。マスクデータ４０３は、閾値により２値化され、画素を表示させる場合には値「１」が設定され、画素を表示させない場合には値「０」が設定されている。抽出機能１４３は、第１画像データ４０１とマスクデータ４０３との画素毎の積を演算することにより、第１画像データ４０１から、アーティファクト４５２を表す画像などがカットされた第２画像データ４５３を得る。

図３のステップＳ１０５（座標変換処理）は、画像処理回路１４０が記憶回路１６０から座標変換機能１４４に対応するプログラムを呼び出して実行されるステップである。ステップＳ１０５では、座標変換機能１４４は、抽出機能１４３により得られた第２画像データ４５３に対して座標変換を行うことにより、図４に示すような座標変換後画像データ４０６を得る。すなわち、第２画像データ４５３が、表示に適した座標系に変換されることにより、座標変換後画像データ４０６が得られる。以下、座標変換後画像データ４０６を、第３画像データ４０６と記載する。第３画像データ４０６は、上記胎児４５１に対応する胎児４５４を表す画像を含む。

図３のステップＳ１０６（表示処理）は、画像処理回路１４０が記憶回路１６０から表示制御機能１４５に対応するプログラムを呼び出して実行されるステップである。ステップＳ１０６では、表示制御機能１４５は、第３画像データ４０６をディスプレイ１０３に表示させる。

例えば、表示制御機能１４５は、第３画像データ４０６に対してレンダリング処理（例えば、ボリュームレンダリング）を行うことにより、レンダリング像を生成し、生成されたレンダリング像をディスプレイ１０３に表示させる。また、表示制御機能１４５は、第３画像データ４０６から、所定断面における断層像を生成し、生成された断層像をディスプレイ１０３に表示させる。ここで、表示制御機能１４５は、レンダリング像と断層像とを並べてディスプレイ１０３に表示させてもよい。また、例えば、座標変換機能１４４が、推定機能１４２により推定されたマスクデータ４０３が表す領域に対して座標変換を行い、表示制御機能１４５は、座標変換機能１４４により座標変換が行われた後の領域の輪郭を表す曲線を生成し、生成された曲線を、断層像に重畳してディスプレイ１０３に表示させてもよい。

ここで、機械学習により、学習済モデル４０２を生成する処理について説明する。

学習済モデル４０２は、例えば、超音波診断装置１とは別の装置（以下、学習済モデル生成装置と記載する）で生成されて、超音波診断装置１内に保管される（例えば、記憶回路１６０に記憶される）。ここで、学習済モデル生成装置は、超音波診断装置１により実現してもよく、例えば、学習済モデル４０２は、超音波診断装置１（例えば、推定機能１４２）により生成されて、その記憶回路１６０に保管されてもよい。以下、学習済モデル４０２が、学習済モデル生成装置で生成されて、超音波診断装置１内に保管される場合を例にして説明する。

図５は、第１の実施形態における学習済モデル生成装置３００の構成例を示すブロック図である。図５に示すように、学習済モデル生成装置３００は、入力装置３０２と、ディスプレイ３０３と、画像処理回路３４０と、記憶回路３６０とを有する。学習済モデル生成装置３００は、図４の学習済モデル４０２を生成するビューアとして用いられる。

入力装置３０２は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、ホイール、トラックボール、ジョイスティック等を有し、学習済モデル生成装置３００の操作者からの各種設定要求を受け付け、画像処理回路３４０に対して受け付けた各種設定要求を転送する。ディスプレイ３０３は、学習済モデル生成装置３００の操作者によって参照されるモニタである。

画像処理回路３４０は、学習済モデル生成装置３００の処理全体を制御する。例えば、画像処理回路３４０は、図５に示すように、学習用データ取得機能３４１、学習済モデル生成機能３４２を実行する。なお、学習用データ取得機能３４１は、学習用データ取得部の一例である。学習済モデル生成機能３４２は、学習済モデル生成部の一例である。

記憶回路３６０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。ここで、画像処理回路３４０の構成要素である学習用データ取得機能３４１、学習済モデル生成機能３４２が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路３６０に記録されている。画像処理回路３４０は、各プログラムを記憶回路３６０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。また、記憶回路３６０は、ニューラルネットワークのアルゴリズムとして学習用プログラム５０２を記憶する。

図６は、第１の実施形態における機械学習の一例を説明するための図である。

学習済モデル４０２を生成する処理では、図６に示すように、まず、学習済モデル生成装置３００の学習用データ取得機能３４１は、超音波スキャンを過去に実施したときに得られた複数のデータセットを取得する。複数のデータセットの各々は、第１画像データ５０１（座標変換前画像データ）と、学習用マスクデータ５０３とを含む。

第１画像データ５０１は、対象物に対する超音波スキャンを過去に実施したときに収集された画像データであり、超音波スキャンの形状に応じた座標変換が行われる前の画像データである。学習用マスクデータ５０３は、第１画像データ５０１における対象物を含む領域を表すマスクデータである。なお、ニューラルネットワークのアルゴリズムは経験から学習していくものであるため、学習に用いられるデータセットは、同一の被検体でなくてもよい。

ここで、各データセットにおいて、第１画像データ５０１に対して、教師データとしての学習用マスクデータ５０３を操作者により予め作成（描画）しておく必要がある。ここで、操作者は、座標変換前画像データである第１画像データ５０１をディスプレイ３０３に表示させながら、学習用マスクデータ５０３をディスプレイ３０３上で描画することは可能であるものの、操作者にとっては、第１画像データ５０１が座標変換された状態で学習用マスクデータ５０３を描画するほうが視認性や操作性が良い。このため、学習用マスクデータ５０３は、第１画像データ５０１と共に座標変換されて、第１画像データ５０１に合成表示された状態で、操作者に描画される。

学習済モデル生成装置３００の学習済モデル生成機能３４２は、記憶回路１６０から読み出した学習用プログラム５０２を用いて、複数のデータセットからマスクデータのパターンを学習する。このとき、学習済モデル生成機能３４２は、入力データ（第１画像データ４０１）の入力を受けて第１画像データ４０１における対象物を含む領域をマスクデータ４０３として推定する出力データを出力するように機能付けられた学習済モデル４０２を生成する。例えば、生成した学習済モデル４０２は、超音波診断装置１内に保管される（記憶回路１６０に記憶される）。記憶回路１６０内の学習済モデル４０２は、例えば、超音波診断装置１の推定機能１４２により読み出し可能である。

学習済モデル４０２を利用する処理では、図４に示すように、超音波診断装置１の推定機能１４２は、第１画像データ４０１を入力データとして入力する。そして、推定機能１４２は、記憶回路１６０から読み出した学習済モデル４０２を用いて、第１画像データ４０１における対象物を含む領域をマスクデータ４０３として推定し、推定した結果を出力データとして出力する。

本実施形態に適用できる機械学習による処理には様々な手法が考えられるが、本実施形態では、その一例として、畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）を用いた手法であるＵ−Ｎｅｔ（医療画像のセグメンテーションを行うＵ字型のニューラルネットワーク）を挙げる。図７は、第１の実施形態における学習済モデル４０２を生成する処理の一例を説明するための図である。Ｕ−Ｎｅｔは、物体の局所的特徴と全体的位置情報（大域的特徴）との両方を統合して学習させる手法である。

図７において、図６の学習用プログラム５０２（Ｕ−Ｎｅｔ）の各処理段階の機能としては、畳み込み層、マックスプーリング層、アップサンプリング層、結合層、出力処理層に分類される。畳み込み層は、入力される画像データに対して畳み込み演算を行い、特徴量を取り出す層である。特徴量を取り出す処理には、例えば、活性化関数としてＲｅＬＵ（Rectified Linear Unit）関数が用いられる。マックスプーリング層は、画像データのダウンサンプリングを行い、特徴量を圧縮する層である。アップサンプリング層は、アップサンプリングを行う層である。結合層は、取り出した特徴量から重み付き和を計算し、２つの画像データを結合する層である。出力処理層は、重み付き和から予測結果を出力する層である。

Ｕ−Ｎｅｔの処理は、縮小パス（Contracting Path）（図７の左側のパス）と、拡大パス（Expanding Path（図７の右側のパス）とに大別される。

例えば、縮小パスにおいて、第１画像データ５０１（座標変換前画像データ）を入力画像６００とし、入力画像６００に対して畳み込み層６０１、６０２により畳み込み演算が行われる。畳み込み層６０２の出力に対してマックスプーリング層６０３によりダウンサンプリングが行われ、マックスプーリング層６０３の出力に対して畳み込み層６１１、６１２により畳み込み演算が行われる。畳み込み層６１２の出力に対してマックスプーリング層６１３によりダウンサンプリングが行われ、マックスプーリング層６１３の出力に対して畳み込み層６２１、６２２により畳み込み演算が行われる。

次に、拡大パスにおいて、畳み込み層６２２の出力に対してアップサンプリング層６２３によりアップサンプリングが行われ、アップサンプリング層６２３の出力と畳み込み層６１２の出力とが結合層６３０により結合される。結合層６３０の出力に対して畳み込み層６３１、６３２により畳み込み演算が行われる。畳み込み層６３２の出力に対してアップサンプリング層６３３によりアップサンプリングが行われ、アップサンプリング層６３３の出力と畳み込み層６０２の出力とが結合層６４０により結合される。結合層６４０の出力に対して畳み込み層６４１、６４２により畳み込み演算が行われ、出力処理層６５０により畳み込み層６４２の出力が出力画像６９９（学習用マスクデータ５０３）として出力される。

縮小パスでは、マックスプーリングによって画像データの解像度を繰り返し落としていき、層が深くなるにつれてより大局的な物体の特徴を捉えられるようにする。拡大パスでは、アップサンプリング後の画像データと、縮小パスにおける同じレベルの画像データとを結合した結果の畳み込み演算を繰り返して解像度を戻していく。結果として、入力画像６００と出力画像６９９の画像サイズは同一となり、縮小パスと拡大パスの各種処理により、物体の局所的特徴と全体的位置情報（大域的特徴）との双方を捉えることができる。

ネットワークの構成にＵ−Ｎｅｔを利用する場合、そのパラメータとして、重みをｗとし、入力ｘに対する出力をｙ（ｘ，ｗ）とし、ｙに対する目標変数をｔとすると、誤差関数（Error Function）ｅ（ｗ）は、交差エントロピー関数(Cross-entropy Error Function）として、数１で定義される。

ここで、畳み込み層で用いられる活性化関数をａ（ｘ，ｗ）とすれば、ｙは、例えばソフトマックス関数（Softmax Function）として、数２で定義され、誤差関数Ｅを最小にするｗを求める最適化によって、学習が実行される。

なお、ネットワークの構成には、Ｕ−Ｎｅｔのほか、ＳｅｇＮｅｔ（画像のセグメンテーションを高速かつ省メモリで行うニューラルネットワーク）等の他の様々なモデルを利用することができ、これらに限定されない。学習のための誤差関数の計算にはソフトマックス関数のほか、ロジスティックシグモイド関数（Logistic sigmoid Function）なども利用できる。

以上の説明により、第１の実施形態に係る超音波診断装置１では、画像処理回路１４０は、超音波スキャンを過去に実施したときの座標変換前の超音波画像データと座標変換前の超音波画像データにおける対象物を含む領域とを用いた学習により、今回取得した座標変換前の超音波画像データにおける対象物を含む領域を推定する。例えば、座標変換後の超音波画像データから対象物を含む領域を推定する方法では、上述のように、座標変換後の超音波画像データの画像サイズを分解能の良い方向に合わせると、それ以外の方向のサンプルサイズが分解能に対して過大になり、学習及び推定の処理時間が余計にかかることになる。また、学習及び推定の処理時間を短縮するために、座標変換後の超音波画像データの画像サイズを小さくすると、最も分解能のよい方向の分解能が、リサンプリング処理によって低下し、その影響で学習及び推定の処理の性能が悪くなる。一方、第１の実施形態に係る超音波診断装置１では、座標変換前の超音波画像データから対象物を含む領域を推定するため、画像サイズを分解能の良い方向に合わせる必要がなく、座標変換後の超音波画像データから対象物を含む領域を推定する方法に比べて、学習及び推定の処理時間を短縮することができる。また、第１の実施形態に係る超音波診断装置１では、座標変換前の超音波画像データから対象物を含む領域を推定するため、画像サイズを小さく必要がなく、座標変換後の超音波画像データから対象物を含む領域を推定する方法に比べて、学習及び推定の処理の精度に影響を与えない。したがって、第１の実施形態に係る超音波診断装置１では、対象物を含む領域を推定する処理の精度を向上させることができる。

（第２の実施形態）
上述した第１の実施形態では、抽出処理を行ってから、座標変換処理を行う場合について説明した。第２の実施形態では、座標変換処理を行ってから、抽出処理を行う場合について説明する。第２の実施形態に係る超音波診断装置１は、図１に示した超音波診断装置１とは処理の一部が相違する。以下、第１の実施形態において説明した構成と同様の構成を有する点については、図１と同一の符号を付し、説明を省略する。

図８は、第２の実施形態に係る超音波診断装置１の構成例を示すブロック図である。図８に示すように、第２の実施形態に係る画像処理回路１４０は、更に、カット面作成機能１４６と、座標変換機能１４７とを実行する。なお、座標変換機能１４４、１４７は、それぞれ、第１座標変換部、第２座標変換部の一例である。

次に、図９〜図１１を用いて、画像処理回路１４０が実行する取得機能１４１、推定機能１４２、抽出機能１４３、座標変換機能１４４、表示制御機能１４５、カット面作成機能１４６、座標変換機能１４７の各機能について説明する。

図９は、第２の実施形態に係る超音波診断装置１による処理の手順を示すフローチャートである。図９では、超音波診断装置１全体の動作（画像処理方法）を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。図１０、図１１は、第２の実施形態に係る超音波診断装置１の画像処理回路１４０による処理を説明するための図である。

図９のステップＳ２０１は、超音波プローブ１０１により実施されるステップである。ステップＳ２０１では、超音波プローブ１０１は、被検体Ｐの体表面（例えば、妊婦の腹部）に接触され、対象物（例えば、妊婦の子宮内の胎児）を含む領域に対して超音波スキャンを実行し、超音波スキャンの結果として、上記領域の反射波信号を収集する。ここで、Ｂモード処理回路１２０は、超音波プローブ１０１により収集された反射波信号に基づいてＢモードデータを生成する。生成されたＢモードデータは、座標変換前の超音波画像データである。

すなわち、座標変換前の超音波画像データ（図１０に示す座標変換前画像データ７０１）は、超音波スキャンの実施により収集された画像データであり、超音波スキャンの形状に応じた座標変換が行われる前の画像データである。以下、座標変換前画像データ７０１を、第１画像データ７０１と記載する。例えば、本実施形態において、超音波プローブ１０１としてメカニカル４Ｄプローブが用いられる場合、第１画像データ７０１は、３次元の画像データである。

図９のステップＳ２０２（取得処理）は、画像処理回路１４０が記憶回路１６０から取得機能１４１に対応するプログラムを呼び出して実行されるステップである。ステップＳ２０２では、取得機能１４１は、第１画像データ７０１を取得する。ここで、取得機能１４１により取得された第１画像データ７０１は、胎児を表す画像とアーティファクトを表す画像とを含む。

図９のステップＳ２０３（推定処理）は、画像処理回路１４０が記憶回路１６０から推定機能１４２に対応するプログラムを呼び出して実行されるステップである。ステップＳ２０３では、推定機能１４２は、学習済モデル７０２を用いて、取得機能１４１により取得された第１画像データ７０１における対象物（胎児）を含む領域を推定することにより、マスクデータ７０３を得る。

学習済モデル７０２は、超音波スキャンを過去に実施したときの第１画像データ７０１と、当該第１画像データ７０１における対象物を含む領域を表すマスクデータ（学習用マスクデータ）とを用いた学習により生成されたモデルである。当該学習としては、例えば、ニューラルネットワークを基にしたＡＩを用いた学習や機械学習等が挙げられる。学習済モデル７０２の詳細については、学習済モデル４０２と同じであるため、説明を省略する。

図９のステップＳ２０４（座標変換処理）は、画像処理回路１４０が記憶回路１６０からカット面作成機能１４６、座標変換機能１４４、１４７に対応するプログラムを呼び出して実行されるステップである。ステップＳ２０４では、まず、カット面作成機能１４６は、推定機能１４２により推定されたマスクデータ７０３が表す領域をカット面として作成する。

次に、ステップＳ２０４では、座標変換機能１４４は、取得機能１４１により取得された第１画像データ７０１に対して座標変換を行うことにより、座標変換後の画像データとして第２画像データを得る。すなわち、第１画像データ７０１が、表示に適した座標系に変換されることにより、第２画像データが得られる。また、座標変換機能１４７は、カット面（マスクデータ７０３が表す領域）に対して座標変換を行う。すなわち、カット面（領域）が、表示に適した座標系に変換されることにより、座標変換後の領域が得られる。

図９のステップＳ２０５（抽出処理）は、画像処理回路１４０が記憶回路１６０から抽出機能１４３に対応するプログラムを呼び出して実行されるステップである。ステップＳ２０５では、抽出機能１４３は、座標変換機能１４４により得られた第２画像データから、座標変換機能１４７により座標変換が行われた後のカット面（領域）を抽出することにより、第３画像データを得る。第３画像データは、第２画像データから、アーティファクトを表す画像などがカットされた画像データである。

図９のステップＳ２０６（表示処理）は、画像処理回路１４０が記憶回路１６０から表示制御機能１４５に対応するプログラムを呼び出して実行されるステップである。ステップＳ２０６では、表示制御機能１４５は、第３画像データをディスプレイ１０３に表示させる。

ここで、表示制御機能１４５は、図１０に示すように、レンダリング機能１４５Ａ、断層像生成機能１４５Ｂ、カット曲線生成機能１４５Ｃを有する。レンダリング機能１４５Ａは、レンダリング部の一例である。断層像生成機能１４５Ｂは、断層像生成部の一例である。カット曲線生成機能１４５Ｃは、曲線生成部の一例である。

レンダリング機能１４５Ａは、第３画像データに対してレンダリング処理（例えば、ボリュームレンダリング）を行うことにより、図１１に示すようなレンダリング像８０２を生成する。断層像生成機能１４５Ｂは、第３画像データから、所定断面における断層像８０３を生成する。表示制御機能１４５は、レンダリング機能１４５Ａにより生成されたレンダリング像８０２と、断層像生成機能１４５Ｂにより生成された断層像８０３とを並べて、図１１に示すような表示データ８０１としてディスプレイ１０３に表示させる。

カット曲線生成機能１４５Ｃは、図１１に示すようなカット曲線８０４を生成する。カット曲線８０４は、所定断面において、座標変換機能１４７により座標変換が行われた後のカット面（領域）の輪郭を表す。表示制御機能１４５は、カット曲線生成機能１４５Ｃにより生成されたカット曲線８０４を、断層像８０３に重畳してディスプレイ１０３に表示させる。

ここで、第２の実施形態では、図１１において、画面を横に分割して、２分割画面の一方に断層像８０３とカット曲線８０４とが重畳して表示されているが、分割画面は何分割でもよく、分割画面に表示される断層像は１断面に限定されない。例えば、第２の実施形態では、断層像として２断面（例えばＡ面とＢ面）または３断面（Ａ面・Ｂ面・Ｃ面）をレンダリング像８０２と並べて表示させ、それぞれの断面に対応するカット曲線を表示することもできる。

（第１の変形例）
第２の実施形態では、抽出処理において、抽出機能１４３は、座標変換機能１４４により得られた第２画像データから、座標変換機能１４７により座標変換が行われた後のカット面（領域）を抽出することにより、第３画像データを得ている。しかし、これに限定されず、第１の変形例では、第２画像データから、胎児を表す領域をカットしないように、当該カット面（領域）を表す輪郭を操作者が変更してもよい。

例えば、表示制御機能１４５は、抽出処理が行われる前に、第２画像データと、座標変換が行われた後のカット面（領域）とを重ねてディスプレイ１０３に表示させて、当該カット面（領域）を表す輪郭９０１を操作者により変更させる操作を受け付ける。このとき、例えば、表示制御機能１４５は、「この領域を変更しますか？」などのメッセージをディスプレイ１０３に表示させる。操作者は、入力装置１０２を用いて、ディスプレイ１０３上の当該輪郭９０１を、例えば、図１２に示すような輪郭９０２に変更させる。そして、抽出処理において、抽出機能１４３は、座標変換機能１４４により得られた第２画像データから、操作者の操作により変更が行われた後の領域を抽出することにより、第３画像データを得る。

（第２の変形例）
第１の実施形態では、抽出処理において、抽出機能１４３は、取得機能１４１により取得された第１画像データ４０１から、推定機能１４２により推定されたマスクデータ４０３が表す領域を抽出することにより、第２画像データ４５３を得ている。しかし、これに限定されず、第２の変形例では、第１画像データ４０１から、胎児を表す領域をカットしないように、学習段階でマスクデータ４０３に対して複数の領域を用意しておき、複数の領域のうちの１つの領域を操作者が選択してもよい。

まず、推定処理において、学習済モデル４０２は、取得機能１４１により取得された第１画像データ４０１の各画素に対して、胎児を表す領域である確度を対応付けて出力する。このとき、推定機能１４２は、図１３に示すように、確度に応じて複数の異なる閾値で設定される複数の領域４０３Ａ〜４０３Ｃをマスクデータ４０３として推定する。ここで、複数の領域４０３Ａ〜４０３Ｃは、閾値により２値化され、画素を表示させる場合には値「１」が設定され、画素を表示させない場合には値「０」が設定されている。

例えば、推定処理の実行後、表示制御機能１４５は、抽出処理が行われる前に、第１画像データ４０１と、マスクデータ４０３である複数の領域４０３Ａ〜４０３Ｃとをディスプレイ１０３に表示させて、複数の領域４０３Ａ〜４０３Ｃのうちの１つの領域を操作者により選択させる操作を受け付ける。このとき、例えば、表示制御機能１４５は、「どの領域にしますか？」などのメッセージをディスプレイ１０３に表示させる。ここで、操作者にとっては、第１画像データ４０１とマスクデータ４０３（複数の領域４０３Ａ〜４０３Ｃ）とが座標変換された状態で１つの領域を選択するほうが視認性や操作性が良い。このため、複数の領域４０３Ａ〜４０３Ｃは、第１画像データ４０１と共に座標変換されて、ディスプレイ１０３上で第１画像データ４０１に合成表示され、操作者の操作により１つの領域（例えば、領域４０３Ｃ）が選択される。そして、抽出処理において、抽出機能１４３は、取得機能１４１により取得された第１画像データ４０１から、操作者の操作により選択が行われた領域（領域４０３Ｃ）を抽出することにより、第２画像データ４５３を得る。

又は、推定処理の実行後、抽出処理において、抽出機能１４３は、取得機能１４１により取得された第１画像データ４０１から、マスクデータ４０３である複数の領域４０３Ａ〜４０３Ｃをそれぞれ抽出して、複数の第２画像データを取得する。そして、表示制御機能１４５は、第１画像データ４０１と、抽出機能１４３により得られた複数の第２画像データとをディスプレイ１０３に表示させて、複数の第２画像データのうちの１つの第２画像データを第２画像データ４５３として操作者により選択させる操作を受け付ける。このとき、例えば、表示制御機能１４５は、「どの画像データにしますか？」などのメッセージをディスプレイ１０３に表示させる。ここで、操作者にとっては、第１画像データ４０１と複数の第２画像データとが座標変換された状態で１つの第２画像データを選択するほうが視認性や操作性が良い。このため、複数の第２画像データは、第１画像データ４０１と共に座標変換されて、ディスプレイ１０３上で第１画像データ４０１に合成表示され、操作者の操作により１つの第２画像データが選択される。すなわち、第２画像データ４５３が選択される。

（その他の変形例）
実施形態は、上述した実施形態に限られるものではない。例えば、画像処理回路１４０は、超音波診断装置１とは別に設置されたワークステーションでもよい。この場合、ワークステーションが、画像処理回路１４０と同様の処理回路を有し、上述した処理を実行する。

また、スキャン変換前画像データ（第１の実施形態、第２の実施形態における第１画像データ）は、図１４に示すように、レンジ方向２０１（サンプル方向）が他の方向に対して分解能と画素数とが相当に多いという特徴がある。そこで、本実施形態では、レンジ方向２０１に限ってはデータを２分の１程度に間引いても学習及び推定の質に大きな影響がない。このため、第１画像データにおいて、レンジ方向（深さ方向）に対する間引きが行われた後に、学習及び推定が行われてもよい。

例えば、第１の実施形態の場合、学習段階において、学習済モデル生成装置３００の学習用データ取得機能３４１は、対象物（胎児）に対する超音波スキャンを過去に実施したときに収集された画像データにおいて、レンジ方向に対する間引きを行い、レンジ方向に対する間引きが行われていない第１画像データ５０１と当該第１画像データ５０１における胎児を含む領域である学習用マスクデータ５０３とをデータセットとして取得する。そして、学習済モデル生成装置３００の学習済モデル生成機能３４２は、取得したデータセットから領域のパターンを学習して、学習済モデル４０２を生成する。超音波診断装置１の取得機能１４１は、取得処理において、対象物（胎児）に対する超音波スキャンの実施により収集された画像データにおいて、レンジ方向に対する間引きを行い、レンジ方向に対する間引きが行われていない第１画像データ４０１を取得する。そして、超音波診断装置１の推定機能１４２は、推定処理において、学習済モデル４０２を用いて、取得機能１４１により取得された第１画像データ４０１における胎児を含む領域をマスクデータ４０３として推定する。

また、本実施形態では、胎児を対象物として説明したが、対象物は胎児に限らず、胎児以外の特定部位、例えば心臓であってもよい。心臓について本実施形態が適用される場合、例えば心筋について、上述したような取得処理、推定処理、抽出処理、座標変換処理、表示処理などが行われてもよい。

また、本実施形態では、超音波プローブ１０１としてメカニカル４Ｄプローブが用いられる場合を例に説明したが、これに限定されず、例えば、複数の圧電振動子が格子状に２次元で配置された２Ｄアレイプローブが用いられてもよい。

また、実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記実施形態で説明した方法は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上、説明したとおり、各実施形態によれば、対象物を含む領域を推定する処理の精度を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 超音波診断装置
１０１ 超音波プローブ
１０３ ディスプレイ
１４１ 取得機能
１４２ 推定機能
１４３ 抽出機能
１４４ 座標変換機能
１４５ 表示制御機能

Claims (14)

1. 対象物に対する超音波スキャンの実施により収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データを取得する取得部と、
   前記超音波スキャンを過去に実施したときの前記第１画像データと当該第１画像データにおける前記対象物を含む領域とを用いた学習により生成された学習済モデルを記憶する記憶部と、
   前記学習済モデルを用いて、前記取得部により取得された前記第１画像データにおける前記領域を推定する推定部と、
   を備えた超音波診断装置。
2. 前記取得部により取得された前記第１画像データから、前記推定部により推定された前記領域を抽出して、第２画像データを得る抽出部と、
   前記第２画像データに対して前記座標変換を行い、第３画像データを得る座標変換部と、
   前記第３画像データを表示部に表示させる表示制御部と、
   を更に備えた請求項１に記載の超音波診断装置。
3. 前記学習済モデルは、前記取得部により取得された前記第１画像データの各画素に対して前記領域である確度を対応付けて出力し、
   前記推定部は、前記確度に応じて複数の異なる閾値で設定される複数の領域を推定し、
   前記表示制御部は、前記抽出が行われる前に、前記複数の領域のうちの１つの領域を操作者により選択させる操作を受け付け、
   前記抽出部は、前記第１画像データから、前記操作者の操作により選択が行われた後の前記領域を抽出して、前記第２画像データを得る、
   請求項２に記載の超音波診断装置。
4. 前記学習済モデルは、前記取得部により取得された前記第１画像データの各画素に対して前記領域である確度を対応付けて出力し、
   前記推定部は、前記確度に応じて複数の異なる閾値で設定される複数の領域を推定し、
   前記抽出部は、前記第１画像データから、前記複数の領域をそれぞれ抽出して、複数の第２画像データを取得し、
   前記表示制御部は、前記複数の第２画像データのうちの１つの第２画像データを前記第２画像データとして操作者により選択させる操作を受け付ける、
   請求項２に記載の超音波診断装置。
5. 前記取得部により取得された前記第１画像データに対して前記座標変換を行い、第２画像データを得る第１座標変換部と、
   前記推定部により推定された前記領域に対して前記座標変換を行う第２座標変換部と、
   前記第２画像データから、前記座標変換が行われた後の前記領域を抽出して、第３画像データを得る抽出部と、
   前記第３画像データを表示部に表示させる表示制御部と、
   を更に備えた請求項１に記載の超音波診断装置。
6. 前記表示制御部は、前記抽出が行われる前に、前記座標変換が行われた後の前記領域の輪郭を操作者により変更させる操作を受け付け、
   前記抽出部は、前記第２画像データから、前記操作者の操作により変更が行われた後の前記領域を抽出して、前記第３画像データを得る、
   請求項５に記載の超音波診断装置。
7. 前記第１画像データは、３次元の画像データである、
   請求項１〜６のいずれか一項に記載の超音波診断装置。
8. 前記第３画像データをレンダリングしてレンダリング像を生成するレンダリング部と、
   前記第３画像データから、所定断面における断層像を生成する断層像生成部と、
   を更に備え、
   前記表示制御部は、前記レンダリング像と前記断層像とを表示部に表示させる、
   請求項７に記載の超音波診断装置。
9. 前記所定断面において、前記推定部により推定された前記領域の輪郭を表す曲線を生成する曲線生成部と、
   を更に備え、
   前記表示制御部は、前記曲線を前記断層像に重畳して前記表示部に表示させる、
   請求項８に記載の超音波診断装置。
10. 前記第１画像データにおいて、深さ方向に対する間引きが行われた後に、前記学習及び前記推定が行われる、
    請求項１〜９のいずれか一項に記載の超音波診断装置。
11. 対象物に対する超音波スキャンの実施により収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データを取得する取得部と、
    前記超音波スキャンを過去に実施したときの前記第１画像データと当該第１画像データにおける前記対象物を含む領域とを用いた学習により生成された学習済モデルを記憶する記憶部と、
    前記学習済モデルを用いて、前記取得部により取得された前記第１画像データにおける前記領域を推定する推定部と、
    を備えた画像処理装置。
12. 対象物に対する超音波スキャンの実施により収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データを取得し、
    前記超音波スキャンを過去に実施したときの前記第１画像データと当該第１画像データにおける前記対象物を含む領域とを用いた学習により、前記取得された第１画像データにおける前記領域を推定する、
    処理をコンピュータに実行させる、画像処理プログラム。
13. 対象物に対する超音波スキャンを過去に実施したときに収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データと当該第１画像データにおける前記対象物を含む領域とをデータセットとして取得する学習用データ取得部と、
    前記取得したデータセットから前記領域のパターンを学習して、前記超音波スキャンを実施したときの前記第１画像データの入力を受けて前記第１画像データにおける前記領域を推定するように機能付けられた学習済モデルを生成する学習済モデル生成部と、
    を備えた学習済モデル生成装置。
14. 対象物に対する超音波スキャンを過去に実施したときに収集された画像データであり、前記超音波スキャンの形状に応じた座標変換が行われる前の画像データである第１画像データと当該第１画像データにおける前記対象物を含む領域とをデータセットとして取得し、
    前記取得したデータセットから前記領域のパターンを学習して、前記超音波スキャンを実施したときの前記第１画像データの入力を受けて前記第１画像データにおける前記領域を推定するように機能付けられた学習済モデルを生成する、
    処理をコンピュータに実行させる、学習プログラム。

Images