JP2021186313A - 超音波診断装置の故障判定装置、故障判定方法及びプログラム - Google Patents

Abstract

【課題】超音波診断装置の故障状態を精度よく判定することができる超音波診断装置の故障判定装置、故障判定方法及びプログラムを提供する。【解決手段】超音波診断装置の故障判定装置では、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する判定部１１６と、判定部１１６の判定結果を報知する報知部１０８とを備える。【選択図】図１

Description

本発明は、超音波診断装置の故障を判定することが可能な超音波診断装置の故障判定装置、故障判定方法及びプログラムに関する。

超音波診断装置には、超音波診断装置の故障を判定するために自己診断モードを備えているものがある。

例えば、特許文献１では、超音波診断装置に用いられる超音波探触子が有する複数の送信用素子の各々の機能について自己診断を行い、各々の機能が損なわれていると自己診断された送信用素子の機能を回復させることが開示されている。

特開２０１０−１７２４１１号公報

特許文献１では、超音波探触子における特定の素子（送信用素子）の自己診断を行うことしか開示されておらず、また、受信信号が所定の基準信号に相当しないと特定の素子（送信用素子）が故障であると判定されてしまう。

そこで、本発明は、精度よく故障判定することができる超音波診断装置の故障判定装置を提供することを目的とする。

上記課題を解決するため、超音波診断装置の故障判定装置は、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、前記第二の超音波診断装置が故障状態であるか否かを判定する判定部と、前記判定部の判定結果を報知する報知部とを備える。

本発明の超音波診断装置の故障判定装置によれば、精度よく故障判定することができる。

本発明の超音波診断装置の全体構成を示す図。 本発明の学習フェーズに関する判定部を示す図。 本発明の学習フェーズに関する判定部を示す図。 本発明の超音波診断装置の内部構成を示す図。 本発明の故障状態の第一の超音波診断装置の一例を示す図。 本発明の推論フェーズに関する判定部を示す図。 本発明の推論フェーズに関する判定部の判定形態を示す図。 本発明の学習装置が超音波診断装置の外部に設置された一例を示す図。 本発明の超音波診断装置の表示部の表示形態を示す図。 本発明の学習フェーズの動作を示す図。 本発明の実施例１における推論フェーズの動作を示す図。 本発明の実施例１における推論フェーズの動作を示す図。 本発明の実施例２における推論フェーズの動作を示す図。 本発明の実施例２における推論フェーズの動作を示す図。

以下、添付図面を参照して本発明の好適な実施形態について説明する。

図１は、本発明の超音波診断装置の構成を示す。超音波診断装置は、被検者に接触させ超音波の送受信を行う超音波探触子１００と、超音波探触子１００によって受信した超音波信号を処理して超音波画像を生成し、各種計測を行う装置本体１０２と、装置本体１０２を操作するための操作部１０４と、超音波画像と計測結果などを表示する表示部１０６とを備えている。

超音波探触子１００は、装置本体１０２に接続されている。超音波探触子１００は、複数の振動子を有しており、複数の振動子を駆動することによって、超音波を発生することができる。超音波探触子１００は、被検者からの反射波を受信して電気信号に変換する。変換された電気信号は、装置本体１０２に伝達される。

また、超音波探触子１００は、複数の振動子の前面側（被検者側）に設けられ、複数の振動子と被検者の音響インピーダンスを整合させる音響整合層と、複数の振動子の背面側に設けられ、複数の振動子から背面側への超音波の伝播を防止するバッキング材とを備えている。

超音波探触子１００は、装置本体１０２に対して着脱自在に接続される。超音波探触子１００の種類には、リニア型、セクタ型、コンベックス型、ラジアル型、３次元走査型などがあり、操作者は、撮影用途に応じて、超音波探触子１００の種類を選択することができる。また、超音波探触子１００に適用するセンサーのタイプについても従来型のバルクのＰＺＴを用いたものに限定されない。微細加工技術を用いたＣＭＵＴと呼ばれるタイプの静電容量型探触子や、圧電薄膜技術も組み合わせたＰＭＵＴと呼ばれるタイプの探触子を用いることができる。

装置本体１０２は、超音波探触子１００に対して超音波を送受信させる送受信部１１０と、送受信部１１０で受信された反射波信号に基づく超音波信号を用いて、各種信号処理を行う信号処理部１１２と、信号処理部１１２において信号処理された信号処理データを用いて、超音波画像データを生成する超音波画像生成部１１４と、送受信部１１０で受信された反射波信号、信号処理部１１２において信号処理された信号処理データ、超音波画像生成部１１４が生成した超音波画像データなどのデータを用いて故障の判定を行う判定部１１６と、装置本体１０２の各種構成要素を制御する制御部１１８とを備えている。

送受信部１１０は、超音波探触子１００が行なう超音波の送受信を制御する。送受信部１１０は、送信部、送信遅延回路等を有し、超音波探触子１００に駆動信号を供給する。送信部は、所定の繰り返し周波数（ＰＲＦ）のレートパルスを繰り返し発生させる。また、送信遅延回路は、超音波探触子１００から発生される超音波を集束し、送信指向性を決定するための遅延時間を、送信部が発生するレートパルスに与える。送信遅延回路は、レートパルスに対し与える遅延時間を変化させることで、振動子から送信される超音波の送信方向を制御することができる。

また、送受信部１１０は、アンプ、Ａ／Ｄ変換部、受信遅延回路、加算部等を有している。超音波探触子１００が受信した反射波信号に対して各種処理を行って超音波信号を生成する。アンプは、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換部は、ゲイン補正された反射波信号をＡ／Ｄ変換する。受信遅延回路は、デジタルデータに受信指向性を決定するために遅延時間を与える。加算部は、受信遅延回路により遅延時間が与えられた反射波信号の加算処理を行う。加算部の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

送受信部１１０は、被検者を２次元走査する場合、超音波探触子１００から２次元の超音波を送信させる。そして、送受信部１１０は、超音波探触子１００が受信した２次元の反射波信号から２次元の超音波信号を生成する。また、送受信部１１０は、被検者を３次元走査する場合、超音波探触子１００から３次元の超音波を送信させる。そして、送受信部１１０は、超音波探触子１００が受信した３次元の反射波信号から３次元の超音波信号を生成する。

信号処理部１１２は、送受信部１１０から出力された超音波信号に対して、各種の信号処理を行なう。具体的には、信号処理部１１２は、超音波信号に対して、検波処理、対数圧縮などの信号処理を行なう。信号処理部１１２は、超音波信号の振幅情報の映像化を行い、信号処理データ（ラスタデータ）を生成する。送受信部１１０から出力された超音波信号に対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波する。そして、検波したデータに対して対数変換により圧縮処理を行う。信号処理部１１２は、信号処理後の信号処理データを超音波画像生成部１１４に出力する。

超音波画像生成部１１４は、信号処理部１１２によって信号処理された信号処理データを用いて超音波画像データを生成する。超音波画像生成部１１４は、デジタルスキャンコンバータを有しており、信号処理データを直交座標で表されるデータに変換する。ここでは、超音波画像生成部１１４は、信号処理データ（ラスタデータ）を表示用の画像データの座標系（Ｘ，Ｙ）に直交変換する。そして、超音波画像生成部１１４は、信号強度が輝度の明るさで表現される超音波画像データ（Ｂモード画像データ）を生成する。

判定部１１６は、送受信部１１０が受信した反射波信号、各種の信号処理データ（ラスタデータ）、超音波画像データなどのデータを確認し、超音波診断装置の故障判定を行う。

具体的には、判定部１１６は、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを有している。そして、判定部１１６は、学習済みモデルを用いて、被検者の診断に使用する第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する。本発明では、第一の超音波診断装置は、事前（過去）に取得されたデータを用いて学習済みモデルを生成するための超音波診断装置である。また、第二の超音波診断装置は、故障状態を判定する対象の超音波診断装置である。

操作部１０４は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティックからなる。操作部１０４は、超音波診断装置の操作者からの各種指示を受け付け、装置本体１０２に対して、受け付けた各種指示を伝達する。

表示部１０６は、操作者が操作部１０４を用いて各種指示を入力するためのＧＵＩを表示したり、装置本体１０２において生成された超音波画像、血流画像、計測結果などを表示したりする。また、表示部１０６は、第二の超音波診断装置が故障状態であることが判定部１１６において判定された場合、第二の超音波診断装置が故障状態である旨を表示する。なお、表示部１０６は、報知部１０８と区別して図示しているが、表示部１０６を報知部１０８とみなすこともできる。

なお、装置本体１０２における送受信部１１０、信号処理部１１２、超音波画像生成部１１４、判定部１１６は、集積回路などのハードウェアで構成されてもよいし、ソフトウェアでモジュール化されたプログラムであってもよい。

本発明の超音波診断装置は、故障判定のため、受信した反射波信号、各種の信号処理データ（ラスタデータ）、超音波画像データなどのデータを用いて故障状態を判定するように学習された学習済みモデルを用いる。学習済みモデルは、例えば、学習済みのニューラルネットワークであるが、ディープラーニング、サポートベクターマシンなど、どのようなモデルを用いてもよい。学習済みモデルは、判定部１１６に記憶されていてもよいし、ネットワークを介して超音波診断装置に接続されるものであってもよい。

ここで、第一の超音波診断装置と第二の超音波診断装置について説明する。第一の超音波診断装置は、実際に故障を起こした、若しくは故障状態を模擬した超音波診断装置である。故障状態である第一の超音波診断装置から取得された反射波信号、信号処理データ、超音波画像データなどのデータを教師データとして学習し、学習済みモデルを生成する。判定部１１６は、学習済みモデルを用いて、故障判定の対象である第二の超音波診断装置の故障状態を判定し、操作者に報知する。

なお、判定部１１６（学習済みモデル）に入力される超音波画像データは、２次元画像データでもよいし、３次元画像データ（ボリュームデータ）でもよい。

学習済みモデルは、上述した通り、第二の超音波診断装置の故障状態を判定するように学習されたものである。２次元画像データから故障状態を判定する学習済みモデルを用いてもよいし、３次元画像データから故障状態を判定する学習済みモデルを用いてもよい。

図２〜図４を用いて、本発明の超音波診断装置における判定部１１６の詳細を説明する。図２〜図４における判定部１１６の概略構成は同一である。学習フェーズ及び推論フェーズの動作を区別するために図面を異ならせている。図２、３は、第一の超音波診断装置を用いた学習フェーズに関する判定部１１６の動作を示し、図４は、第二の超音波診断装置を用いた推論フェーズに関する判定部１１６の動作を示す。

図２に示すように、判定部１１６は、故障状態である第一の超音波診断装置から取得されるデータを教師データとして学習し、学習済みモデルを生成する学習装置２００と、学習装置２００において生成された学習済みモデルを記憶する記憶部２０６とを備えている。

学習装置２００は、故障状態である第一の超音波診断装置から取得されるデータから故障状態に関連する教師データを生成する教師データ生成部２０２と、教師データ生成部２０２において生成された教師データを用いて、第二の超音波診断装置における故障状態を学習する学習部２０４とからなる。

教師データ生成部２０２は、故障状態である第一の超音波診断装置における送受信部１１０で受信された反射波信号、信号処理部１１２において信号処理された信号処理データ、超音波画像生成部１１４が生成した超音波画像データの内、少なくとも１つのデータを用いて教師データを生成する。

学習装置２００は、実際に第一の超音波診断装置に対して故障を起こし、故障状態となった第一の超音波診断装置から取得されるデータを用いて学習することができる。第一の超音波診断装置に対して故障を模擬した状態に設定し、その状態で第一の超音波診断装置から取得されるデータを用いて学習することもできる。第一の超音波診断装置の故障を模擬した状態に設定するとは、例えば、第一の超音波診断装置の内部で断線状態を作出することを意味する。

図３は、送受信部１１０で受信された反射波信号、信号処理部１１２において信号処理された信号処理データ、超音波画像生成部１１４が生成した超音波画像データをそれぞれ学習する学習装置を備えた形態を示している。ここでは、学習装置は、第一の超音波診断装置で生成されたデータの種類に応じて、学習済みモデルをそれぞれ生成する。

具体的には、学習装置２００は、故障状態である第一の超音波診断装置における送受信部１１０で受信された反射波信号を用いて学習を行い、第一の学習済みモデルを生成する第一の学習装置２２０と、故障状態である第一の超音波診断装置の信号処理部１１２において信号処理された信号処理データを用いて学習を行い、第二の学習済みモデルを生成する第二の学習装置２２２、故障状態である第一の超音波診断装置における超音波画像生成部１１４が生成した超音波画像データを用いて学習を行い、第三の学習済みモデルを生成する第三の学習装置２２４を備えている。なお、学習装置２００は、複数の学習済みモデルを生成していればよく、３つの学習済みモデル（第一の学習済みモデル、第二の学習済みモデル、第三の学習済みモデル）に限られない。

第一の超音波診断装置において受信した反射波信号からは、ノイズレベルの変化、ノイズ帯域特性の変化を捉えることができる。このとき、被検者に超音波探触子を接触させずに送受信を行うこともできる。そして、反射波信号の振幅や帯域特性、クロストークレベル、多重反射の状態などから、超音波探触子の各チャンネルの素子のいずれに該当する回路、配線が故障しているかを判定できるため、この反射波信号を教師データとして、第一の学習済みモデルを生成することができる。

第一の超音波診断装置において信号処理された信号処理データからは、送受信において選択する素子群を変えた場合、例えば異なるスキャンラインのデータを比較する。そして、スキャンラインのデータの比較の結果、どのチャンネルの回路に故障が生じているかを判定できるため、この信号処理データを教師データとして第二の学習済みモデルを生成することができる。

第一の超音波診断装置において生成された超音波画像データからは、同様に送受信において選択する素子群を変えた場合、例えば異なるスキャンラインの画像データを比較する。そして、スキャンラインの画像データの比較の結果、どのチャンネルの回路に故障が生じているかが判定できるため、この超音波画像データを教師データとして第三の学習済みモデルを生成することができる。

図４は、本発明の超音波診断装置の内部構成を示す図である。図４は、本発明の実施形態に係る送受信部１１０、信号処理部１１２、超音波画像生成部１１４とその周辺の構成を示す図である。図４では、送受信部１１０が３２ｃｈで構成される場合を示すが、必ずしも３２ｃｈに限定される必要はなく、超音波診断装置のスペックに応じて送受信部１１０のｃｈ数は適宜決定され得る。

図４における、送受信部１１０は、超音波の送受信を行う送受信回路７１０、超音波探触子１００が受信した反射波信号についてアナログ信号をデジタル信号に変換するＡ／Ｄ変換部７３０−１〜７３０−３２、デジタル信号のデータを記憶するデータメモリ７３１−１〜７３１−３２、データメモリ７３１−１〜７３１−３２のデータ出力ポートを任意に選択して超音波画像生成部１１４へ接続するマルチプレクサ７３４から構成される。また、送受信部１１０は、アポダイゼーション用の乗算器７３２−１〜７３２−３２、加算回路７３３から構成される。また、送受信部１１０は、データメモリ制御回路７３５−１〜７３５−３２、重み付け係数供給回路７３６−１〜７３６−３２、ゲイン制御回路７３７も備えていてもよい。

送信制御部７０２によって生成された超音波の送信波形は、送受信回路７１０を経由し、超音波探触子１００より送信される。

超音波探触子１００にて取得され、アナログ電気信号に変換された超音波信号は、送受信回路７１０を経由し、Ａ／Ｄ変換部７３０−１〜７３０−３２においてデジタル信号へと変換される。その際、Ａ／Ｄ変換部７３０−１〜７３０−３２は、図示しないクロック源から供給されるサンプリングクロックを用いて超音波信号のサンプリングを行い、アナログ電気信号をデジタル信号へと変換する。Ａ／Ｄ変換部７３０−１〜７３０−３２に対しては、取得する超音波信号の周波数帯域に応じて、図示しないクロック源から適切なサンプリングクロックが供給される。

Ａ／Ｄ変換部７３０−１〜７３０−３２の性能にも依存するが、Ａ／Ｄ変換部７３０−１〜７３０−３２からは１２ビットから１６ビット程度のビット幅を持つデジタル信号が出力される。Ａ／Ｄ変換部７３０−１〜７３０−３２から出力されたデジタル信号は、データメモリ制御回路７３５−１〜７３５−３２の制御に従い、対応するデータメモリ７３１−１〜７３１−３２に取り込まれる。データメモリ７３１−１〜７３１−３２は、被検者における最大の測定深度分のデジタル信号を記憶可能な容量を持つものとする。

さらに、Ａ／Ｄ変換部７３０−１〜７３０−３２に対しては、ゲイン制御回路７３７から、ＴＧＣ（ＴｉｍｅＧａｉｎＣｏｎｔｒｏｌ）制御といったゲインの制御が行われる。例えば、測定深度によらずに均一なコントラストをもつ超音波画像データを取得するために、超音波の送信から超音波を受信する時間に応じて増幅利得を増減する。ＴＧＣ制御を行うことで均一なコントラストをもつ超音波画像データを取得することができる。

制御部１１８は、Ａ／Ｄ変換部７３０−１〜７３０−３２の出力するデジタル信号をデータメモリ７３１−１〜７３１−３２に書き込む制御を行う。加えて、マルチプレクサ７３４を制御してデータメモリ７３１−１〜７３１−３２を任意に選択してデジタル信号を読み出し、超音波画像生成部１１４へ転送する制御も行うこともできる。この制御を行うときには、アポダイゼーション用の乗算器７３２−１〜７３２−３２、加算回路７３３、信号処理部１１２を介さずに超音波画像生成部１１４で超音波画像データの生成を行うこととなる。多くの場合、制御部１１８は全てのデータメモリ７３１−１〜７３１−３２を順次選択してデジタル信号を読み出し、超音波画像生成部１１４へ転送する。

超音波画像生成部１１４では、超音波画像データの生成が行われる。超音波画像データの生成アルゴリズムとしては、整相加算処理だけでなく、任意のアルゴリズムを適用して画像再構成を行うことができる。

典型的に、超音波画像を生成する際には整相加算が行われるが、整相加算とは別のアルゴリズムを適用した画像再構成が行われることがある。例えば、他の画像再構成方法としては、トモグラフィー技術で通常に用いられるタイムドメインあるいはフーリエドメインでの逆投影法などがある。このように、整相加算処理以外にも、任意のアルゴリズムを適用した画像再構成を適用してもよい。

送信制御部７０２の出力電圧や波形をデータ化し、そのデータにおける故障状態のデータを教師データとしてもよい。また、送信制御部７０２が出力した波形が超音波探触子１００にあたって反射してくる波形データに着目し、反射してくる波形データの故障状態のデータを教師データとし、学習済みモデルを生成してもよい。

また、送受信回路７１０のどのチャンネルの回路が故障しているかを判定できる。具体的には、波形データのピークレベル、波形の立ち上がり、立下り特性、波形の帯域特性、クロストークなどが確認項目となる。これら確認の結果、送信回路電源の故障、送信回路のドライバ回路の故障、送信回路基板の破損などの原因切り分けがつくが、故障検出される項目は必ずしもこれに限定されない。超音波診断装置の送信特性の劣化の原因となりえるものであれば、特定のものに限定されない。

また、故障判定が適用されるデータを生成するための超音波送信の手法も特定の方法に限定されない。例えば、フォーカスされた送信ビームに加えて、平面波や拡散波といった送信波形を用いることができる。超音波画像診断や故障判定などに有効な送信波形である限り、特定の送信手法に限定されない。

このように本発明の超音波診断装置においては、単に故障が生じているということだけでなく、どの部分が故障しているかも判定できる。

また、故障状態の詳細な判定のため、データに対して加減乗除処理、もしくはそのいかなる組み合わせを加えて処理した結果算出されるデータを用いて教師データとしてもよい。送信波形や受信波形や画像データにフーリエ変換を行ったり、エッジ検出のような微分処理を行ったりして教師データとして用いる場合がこれにあたる。または、超音波診断装置内で生成されたデータに対して人工知能で推論を行った結果を教師データとすることも可能である。

学習装置２００は、例えばマルチプレクサ７３４から出力されるデータメモリ７３１−１〜７３１−３２に保存されたデジタル信号を用いて学習を行ってもよい。もしくは加算回路７３３、信号処理部１１２から出力されるデータを用いて学習を行ってもよい。学習装置２００が教師データとするデータは、超音波診断装置の中で超音波画像生成のために実施される処理フローのいかなる部分のデータを用いてもよい。その種類、組み合わせは特定のものに限定されない。

このように、学習部２０４は、超音波診断装置で処理されるいかなるデータを用いても超音波診装置の故障状態の特徴を学習することができる。

超音波診断装置で生成されるデータについて例示する。例えば、反射波信号データは、Ａ／Ｄ変換部７３０−１〜７３０−３２の出力するデジタル信号、もしくはマルチプレクサ７３４から出力されるデータメモリ７３１−１〜７３１−３２に保存されたデジタル信号に該当する。信号処理データは、信号処理部１１２の出力データに該当する。超音波画像データは、超音波画像生成部１１４が生成する超音波画像データが該当するが、超音波画像生成部１１４が複数の信号処理ブロックや画像処理ブロックによって構成される場合、各々の信号処理ブロック、画像処理ブロックの出力も超音波画像データに該当する。ここでは、故障判定に有用である限り、超音波診断装置のデータフローのうち、どの部分を故障判定に用いても良く、特定のものに限定されない。

図５は、故障状態の第一の超音波診断装置の一例を示したものである。送受信回路７１０において、正常状態では超音波探触子における振動子１００−１〜１００−３２のすべてを送信制御部７０２に接続すべきである。ここでは、送受信回路７１０の一部７０１−３をオープン状態にすることで、故障状態（ここでは断線状態）を作出することもできる。同様にして、第一の超音波診断装置の他の回路の動作設定を正常状態とは異ならせ、疑似的に故障状態を作り出し、第一の超音波診断装置の故障状態を学習することが可能である。

また、外部装置において、故障状態の第一の超音波診断装置から生成される反射波信号、信号処理データ、超音波画像データをシミュレーションによって生成し、学習に用いることもできる。シミュレーションによって生成するデータは、実際に超音波診断装置が故障していない状態で撮像した２次元もしくは３次元の静止画像もしくは動画画像のいかなる組み合わせのデータに対して故障状態を現出したものでもよい。あるいは、ワイヤファントムやシストの大きさ、場所、物性の異なる１つ以上のシミュレーションモデルを用いてシミュレーションを行って取得したデータに対して故障状態を作出したものでもよい。

学習部２０４は、例えば、ニューラルネットワークを利用しており、複数の層が含まれる。複数の層は、入力層と出力層との間に複数の中間層を有している。複数の中間層は、図示はしないが、畳み込み層、プーリング層、アップサンプリング層、合成層などから構成される。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された超音波画像（関心領域）の畳み込みを行い、超音波画像（関心領域）の特徴を抽出する。

プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や超音波画像（関心領域）を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。

このように、学習装置２００（学習部２０４）は、ニューラルネットワークを用いて、超音波診断装置の故障状態のデータを教師データとして対応づけて学習することにより学習済みモデルを生成する。

図６を用いて、推論フェーズに関する判定部１１６を説明する。学習装置２００には、第二の超音波診断装置において故障判定を行う際に用いる対象のデータに関連する学習済みモデルが生成されている。記憶部２０６は、学習装置２００に接続されている。記憶部２０６には、故障状態を判定するように学習された学習済みモデルが記憶される。具体的には、記憶部２０６には、第二の超音波診断装置から取得されるデータから故障状態を判定するように学習された学習済みモデルが記憶されている。

例えば、記憶部２０６には、第一の学習装置２２０において生成された第一の学習済みモデルと、第二の学習装置２２２において生成された第二の学習済みモデルと、第三の学習装置２２４において生成された第三の学習済みモデルが記憶されている。

そして、第二の超音波診断装置における送受信部１１０で受信された反射波信号が推論部２０８に出力される。推論部２０８は、故障状態を判定するように学習された第一の学習済みモデルを記憶部２０６から読み出し、第一の学習済みモデルを用いて送受信部１１０で受信された反射波信号から故障状態を判定する。また、第二の超音波診断装置における信号処理部１１２において信号処理された信号処理データが推論部２０８に出力される。推論部２０８は、故障状態を判定するように学習された第二の学習済みモデルを記憶部２０６から読み出し、第二の学習済みモデルを用いて信号処理部１１２において信号処理された信号処理データから故障状態を判定する。さらに、第二の超音波診断装置における超音波画像生成部１１４において生成された超音波画像データが推論部２０８に出力される。推論部２０８は、故障状態を判定するように学習された第三の学習済みモデルを記憶部２０６から読み出し、第三の学習済みモデルを用いて超音波画像生成部１１４が出力する超音波画像データから故障状態を判定する。

ここでは、送受信部１１０、信号処理部１１２、超音波画像生成部１１４と推論部２０８がリンクしている形態を示したが、必ずしもこの形態に限定されない。超音波診断装置で用いられるいかなるデータも、いかなるデータの組み合わせも推論部２０８とリンクすることができ、故障状態を判定することができる。

例えば、超音波診断装置から取得した反射波信号データ、信号処理データ、超音波画像データのいずれも、そしていかなる組み合わせも推論部２０８とリンクして故障判定に用いられ得る。また、故障判定のため推論部２０８とリンクするデータは、故障判定に有用である限り、特定の種類のデータに限定されない。

図７を用いて、推論フェーズに関する判定部１１６の判定形態を説明する。図７に示すケース１〜１２は、反射波信号、信号処理データ、超音波画像データを用いた判定例である。ここでは、判定部１１６は、第二の超音波診断装置で生成されたデータの種類に応じて優先度を設定し、優先度に応じて、第二の超音波診断装置が故障状態であるか否かを判定する。優先度は、例えば、反射波信号、信号処理データ、超音波画像データごとに設定されている。なお、第二の超音波診断装置で生成される他の信号やデータにおいても、優先度をそれぞれ設定してもよい。操作者は、操作部を介して優先度を設定することができる。優先度は、データの処理内容によって重みが付与され、例えば、反射波信号、信号処理データ、超音波画像データの順で重みを設定することができる。

図７における記号×は、反射波信号から故障状態と判定された形態、信号処理データから故障状態と判定された形態、超音波画像データから故障状態と判定された形態を示す。記号〇は、反射波信号から正常状態と判定された形態、信号処理データから正常状態と判定された形態、超音波画像データから正常状態と判定された形態を示す。

ケース１〜８は、３つのデータ（反射波信号、信号処理データ、超音波画像データ）を用いて、第二の超音波診断装置の状態を判定する形態である。ここでは、３つのデータについて説明するが、これらデータに限らず、他のデータにおいても適用することができる。

ケース１では、反射波信号、信号処理データ、超音波画像データがいずれも記号×である。判定部１１６は、第二の超音波診断装置は故障状態であると判定する。

ケース２では、反射波信号、信号処理データが記号×であり、超音波画像データが記号〇である。反射波信号、信号処理データの判定と、超音波画像データ判定が異なっているが、超音波診断装置における上流側の処理の判定が優先される。ここでは、反射波信号の判定＞信号処理データの判定＞超音波画像データの判定のような優先関係となっている。判定部１１６は、反射波信号、信号処理データが記号×であるため、第二の超音波診断装置は故障状態であると判定する。

ケース３では、反射波信号、超音波画像データが記号×であり、信号処理データが記号〇である。上記優先関係を利用して、判定部１１６は、反射波信号が記号×であるため、第二の超音波診断装置は故障状態であると判定する。

ケース４では、反射波信号が記号×であり、超音波画像データ、信号処理データが記号〇である。判定部１１６は、反射波信号が記号×であるが、他の２つのデータが記号〇であり、反射波信号のみが他の影響を受けている可能性があるため、第二の超音波診断装置は故障状態であると判定せず、故障可能性有と判定する。

ケース５では、反射波信号、信号処理データ、超音波画像データがいずれも記号〇である。判定部１１６は、第二の超音波診断装置は正常状態であると判定する。

ケース６では、反射波信号、信号処理データが記号〇であり、超音波画像データが記号×である。反射波信号、信号処理データの判定と、超音波画像データ判定が異なっているが、超音波診断装置における上流側の処理の判定が優先される。判定部１１６は、反射波信号、信号処理データが記号〇であるため、第二の超音波診断装置は正常状態であると判定する。

ケース７では、反射波信号、超音波画像データが記号〇であり、信号処理データが記号×である。上記優先関係を利用して、判定部１１６は、反射波信号が記号〇であるため、第二の超音波診断装置は正常状態であると判定する。

ケース８では、反射波信号が記号〇であり、超音波画像データ、信号処理データが記号×である。判定部１１６は、反射波信号が記号〇であるが、他の２つのデータが記号×であり、反射波信号のみが他の影響を受けている可能性があるため、第二の超音波診断装置は正常状態であると判定せず、故障可能性有と判定する。

ケース９〜１２は、２つのデータ（信号処理データ、超音波画像データ）を用いて、第二の超音波診断装置の状態を判定する形態である。

ケース９、１０は、信号処理データが記号×である。超音波診断装置における上流側の処理の判定が優先され、信号処理データの判定＞超音波画像データの判定のような優先関係となっている。判定部１１６は、信号処理データが記号×であるため、第二の超音波診断装置は故障状態であると判定する。

ケース１１、１２は、信号処理データが記号〇である。超音波診断装置における上流側の処理の判定が優先され、信号処理データの判定＞超音波画像データの判定のような優先関係となっている。判定部１１６は、信号処理データが記号〇であるため、第二の超音波診断装置は正常状態であると判定する。

学習装置２００は、超音波診断装置の外部に設置されていてもよい。図８は、学習装置２００が超音波診断装置の外部に設置された一例を示す。

学習装置２００は、例えば、病院内のネットワークや、病院外のクラウドにあってもよい。学習装置２００には、複数の超音波診断装置５００、５０２、５０４に接続されている。ここでは、複数の超音波診断装置は、３台存在する形態を示すが、複数の超音波診断装置は、４台以上存在してもよい。

例えば、学習装置２００は、超音波診断装置５００において生成された故障状態のデータを教師データとして学習し、学習済みモデルを生成する。また、学習装置２００は、超音波診断装置５００と異なる超音波診断装置５０２において生成された故障状態のデータを教師データとして学習し、学習済みモデルを更新する。同様にして、学習装置２００は、超音波診断装置５００及び超音波診断装置５０２と異なる超音波診断装置５０４において生成された故障状態のデータを教師データとして学習し、学習済みモデルを更新する。学習装置２００で生成（更新）された学習済みモデルは、複数の超音波診断装置５００、５０２、５０４にそれぞれ伝達される。複数の超音波診断装置５００、５０２、５０４は、学習装置２００で生成された最新の学習済みモデルをそれぞれ記憶する。

このように、学習装置２００は、複数の超音波診断装置５００、５０２、５０４において設定された故障状態データを教師データとして学習することができる。よって、学習装置２００は、複数の超音波診断装置５００、５０２、５０４に対応した学習済みモデルを生成することができる。また、学習装置２００は、複数の超音波診断装置５００、５０２、５０４で生成された故障状態のデータをまとめて教師データとして学習することもできる。ここでは、複数の超音波診断装置５００、５０２、５０４が第一の超音波診断装置にも、第二の超音波診断装置にもなりうる。

次に、図９を用いて報知部１０８（表示部１０６）の報知形態（表示形態）を説明する。報知部１０８は、第二の超音波診断装置が故障状態であることが判定部において判定された旨を報知する。この場合、故障状態であることに加え、故障箇所を併せて報知するようにしても良い。

推論部２０８は、第二の超音波診断装置から生成されたデータを用いて故障を判定するように学習された学習済みモデルを用いて、表示部１０６に表示されている超音波画像データ６００や超音波診断装置内部のデータをチェックし、故障の有無を判定する。

そして、推論部２０８で第二の超音波診断装置が故障状態であると判定された場合には、報知部１０８は、操作者へ報知する。報知部１０８は、表示部１０６の表示機能として機能してもよく、アラーム音などを利用して報知してもよい。第二の超音波診断装置が故障を判定した際には、故障を判定した旨を表示部１０６に表示して操作者に伝えるだけでなく、加えて修理依頼の連絡先を表示部１０６に表示する。報知部１０８はコールセンターへ報知を行ってもよい。なお、報知部１０８の報知に関しては、超音波診断に影響がないようにするためのいかなるアプローチが採られてもよく、特定のアプローチに限定されない。

図１０を用いて、超音波診断装置における学習フェーズの動作を説明する。

Ｓ７００：第一の超音波診断装置において、故障状態のデータが取得される。例えば、第一の超音波診断装置で生成されるデータとしては、実際に故障を起こした、もしくは故障状態を模擬した反射波信号、信号処理データ、超音波画像データなどが故障状態のデータとなり得る。また、第一の超音波診断装置の外部装置で生成した故障状態を模擬した模擬データを第一の超音波診断装置に入力するようにしてもよい。

Ｓ７０１：学習装置２００は、故障状態のデータを教師データとして学習し、学習済みモデルを生成する。Ｓ７０１の後、学習フェーズの動作が終了する。

次に、図１１を用いて、超音波診断装置における推論フェーズの動作を説明する。

図１１では、第二の超音波診断装置において超音波画像データになる前のデータを対象に故障判定を行う場合を示す。

Ｓ８００：送受信部１１０は、超音波探触子１００に対して超音波を送受信させる。超音波探触子１００は、空中に超音波を送受信してもよい。

Ｓ８０１：判定部１１６は、超音波探触子１００に対して超音波を送受信させて取得された反射波信号データ、信号処理データ、超音波画像データの少なくとも一つを用いて故障判定を行う。

故障が判定された場合、Ｓ８０３に進み、報知部１０８を用いて警告報知を行うが、その後、Ｓ８０２に進み、超音波画像生成部１１４は超音波画像の生成を行う。

故障が判定されない場合、そのままＳ８０２に進み、超音波画像生成部１１４は超音波画像の生成を行う。

Ｓ８０２：超音波画像生成部１１４は、Ｓ８０１で生成されたデータを用いて超音波画像を生成する。このステップでは、超音波画像の視認性を向上させるための画像処理も行なうこともできる。

Ｓ８０６：表示部１０６は、超音波画像生成部１１４において生成された超音波画像に加え、報知部１０８（表示部１０６）は、故障が判定されていれば警告を表示する。Ｓ８０６の後、推論フェーズの動作が終了する。

次に、図１２を用いて、超音波診断装置における推論フェーズの動作を説明する。

図１２では、第二の超音波診断装置で生成された超音波画像データを対象に故障判定を行う場合を示す。

Ｓ８００：操作者は、送受信部１１０は、超音波探触子１００に対して超音波を送受信させる。超音波探触子１００は、空中に超音波を送受信してもよい。

Ｓ８０２：超音波画像生成部１１４は、送受信部１１０が反射波信号に対して、各種の信号処理を行ない、超音波画像データを生成する。このステップでは、信号処理に加え、超音波画像の視認性を向上させるための画像処理も行なうこともできる。

Ｓ８０４：判定部１１６は、Ｓ８０２で超音波画像生成部１１４が生成した超音波画像データを用いて故障判定を行う。故障が判定された場合、Ｓ８０５に進み、報知部１０８（表示部１０６）は、警告を表示するが、その後Ｓ８０６に進み超音波画像の表示を行う。

故障が判定されない場合は、そのままＳ８０６に進み、表示部１０６は超音波画像の表示を行う。

Ｓ８０６：表示部１０６は、超音波画像生成部１１４において生成された超音波画像に加え、故障が判定されていれば警告を表示する。Ｓ８０６の後、推論フェーズの動作が終了する。

以上、本発明の超音波診断装置の故障判定装置では、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する判定部１１６と、判定部１１６の判定結果を報知する報知部１０８とを備える。よって、本発明よれば、精度よく超音波診断装置の故障判定を行うことができる。

なお、正常状態の超音波診断装置を用いて学習済みモデルを生成してもよい。正常状態である第三の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、判定部１１６は、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定してもよい。正常状態である第三の超音波診断装置における送受信部１１０で受信された反射波信号、信号処理部１１２において信号処理された信号処理データ、超音波画像生成部１１４が生成した超音波画像データをそれぞれ学習して学習済みモデルを生成する学習装置を備える。判定部１１６は、学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する。そして、報知部１０８は、判定部１１６の判定結果を報知する。

図１３、図１４を用いて、本発明の実施例２における超音波診断装置を説明する。実施例１と異なる点は、実施例２においては、第二の超音波診断装置が故障状態である場合、制御部１１８は、第二の超音波診断装置の故障状態のデータを補正する処理を行う点が実施例１と異なる。制御部１１８は、例えば、第二の超音波診断装置において故障状態と判定されていない正常状態のデータを用いて第二の超音波診断装置の故障状態のデータを補正する。

図示はしないが、本発明の実施例２においては、学習フェーズにおいて、第一の超音波診断装置の正常状態のデータと故障状態のデータを対応づけ、学習装置２００に学習させる。

図１３を用いて、第二の超音波診断装置における推論フェーズの動作を説明する。図１３では、第二の超音波診断装置で生成され、超音波画像データになる前のデータを対象に故障判定を行う場合を示す。

Ｓ８００：操作者は、送受信部１１０は、超音波探触子１００に対して超音波を送受信させる。超音波探触子１００は、空中に超音波を送受信してもよい。

Ｓ８０１：超音波診断装置は、超音波探触子１００に対して超音波を送受信させて取得された反射波信号、信号処理データを用いて故障判定を行う。

故障が判定された場合、Ｓ８０３に進み、報知部１０８（表示部１０６）は、に警告を表示する。そして、制御部１１８は、Ｓ８１３の処理で故障状態となっているデータの補正を行い、Ｓ８０２に進み、超音波画像生成部１１４は超音波画像の生成を行う。このようにすることで、簡易的に超音波診断装置を故障状態から回復させることが可能となる。

故障が判定されない場合は、そのままＳ８０２に進み、超音波画像生成部１１４は超音波画像の生成を行う。

Ｓ８０２：超音波画像生成部１１４は、Ｓ８０１で生成されたデータを用いて超音波画像を生成する。このステップでは、超音波画像の視認性を向上させるための画像処理も行われる。

Ｓ８０６：表示部１０６は、超音波画像生成部１１４において生成された超音波画像を表示し、報知部１０８は、故障が判定されていれば警告を表示する。Ｓ８０６の後、推論フェーズの動作が終了する。

図１４を用いて、超音波診断装置で生成された超音波画像データを対象に故障判定を行う場合を示す。

Ｓ８００：操作者は、送受信部１１０は、超音波探触子１００に対して超音波を送受信させる。超音波探触子１００は、空中に超音波を送受信してもよい。

Ｓ８０２：超音波画像生成部１１４は、送受信部１１０が反射波信号に対して、各種の信号処理を行ない、超音波画像データを生成する。このステップでは、信号処理に加え、超音波画像の視認性を向上させるための画像処理も行われる。

Ｓ８０４：超音波診断装置は、超音波画像生成部１１４が生成した超音波画像データを用いて故障判定を行う。故障が判定された場合、Ｓ８０５に進み、報知部１０８は、表示部１０６に警告を表示する。そして、制御部は、Ｓ８１５の処理で故障状態のデータの補正を行い、Ｓ８０６に進み超音波画像の表示を行う。このようにすることで、簡易的に超音波診断装置を故障状態から回復させることが可能となる。

故障が判定されない場合は、そのままＳ８０６に進み、表示部１０６は超音波画像の表示を行う。

Ｓ８０６：表示部１０６は、超音波画像生成部１１４において生成された超音波画像を表示する。報知部１０８は、故障が判定されていれば警告を表示する。Ｓ８０６の後、推論フェーズの動作が終了する。

以上、本実施例における超音波診断装置の故障判定装置は、第二の超音波診断装置の故障状態を判定すると第二の超音波診断装置で生成されるデータを補正し、簡易的に超音波診断装置を故障状態から回復させることができる。

実施例１〜２の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体（図示しない。）を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した超音波画像表示方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで超音波診断装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。

また、実施例１〜２に記載の事項は、超音波診断装置に接続される超音波探触子１００の種類が異なる場合には、各々の種類の超音波探触子１００に対し、最適となるように個別の学習、推論が行われてもよい。

１００ 超音波探触子
１０４ 操作部
１０６ 表示部
１１０ 送受信部
１１２ 信号処理部
１１４ 超音波画像生成部
１１６ 判定部
１１８ 制御部
２００ 学習装置
２０２ 教師データ生成部
２０４ 学習部
２０６ 記憶部
２０８ 推論部

Claims (17)

1. 故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、前記第二の超音波診断装置が故障状態であるか否かを判定する判定部と、
   前記判定部の判定結果を報知する報知部とを備えることを特徴とする超音波診断装置の故障判定装置。
2. 前記第一の超音波診断装置で生成されたデータを教師データとして学習し、前記学習済みモデルを生成する学習装置を備えることを特徴とする請求項１に記載の超音波診断装置の故障判定装置。
3. 前記学習装置は、ニューラルネットワークを用いて、前記第一の超音波診断装置で生成された前記データを教師データとして対応づけて学習することにより前記学習済みモデルを生成することを特徴とする請求項２に記載の超音波診断装置の故障判定装置。
4. 前記学習装置において生成された学習済みモデルを記憶する記憶部を備えることを特徴とする請求項２に記載の超音波診断装置の故障判定装置。
5. 前記学習装置は、前記第一の超音波診断装置の外部に設置されていることを特徴とする請求項２に記載の超音波診断装置の故障判定装置。
6. 前記学習装置は、故障状態である複数の第一の超音波診断装置において生成された前記データを教師データとして学習することを特徴とする請求項５に記載の超音波診断装置の故障判定装置。
7. 前記学習装置は、前記第一の超音波診断装置で生成されたデータの種類に応じて、学習済みモデルをそれぞれ生成することを特徴とする請求項２に記載の超音波診断装置の故障判定装置。
8. 前記第二の超音波診断装置で生成された前記データは、反射波信号、信号処理データ、超音波画像データの少なくとも１つであることを特徴とする請求項１に記載の超音波診断装置の故障判定装置。
9. 前記第二の超音波診断装置で生成された前記データの種類に応じて優先度が設定され、前記判定部は、前記優先度に応じて、前記第二の超音波診断装置が故障状態であるか否かを判定することを特徴とする請求項１に記載の超音波診断装置の故障判定装置。
10. 前記優先度は、操作者によって設定されることを特徴とする請求項９に記載の超音波診断装置の故障判定装置。
11. 前記優先度は、前記データの処理内容によって重みが設定されていることを特徴とする請求項９に記載の超音波診断装置の故障判定装置。
12. 前記優先度は、反射波信号、信号処理データ、超音波画像データの順で重みが設定されていることを特徴とする請求項９に記載の超音波診断装置の故障判定装置。
13. 前記第二の超音波診断装置が故障状態である場合、前記第二の超音波診断装置の故障状態のデータを補正する処理を行う制御部を備えることを特徴とする請求項１に記載の超音波診断装置の故障判定装置。
14. 正常状態である第三の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、前記第二の超音波診断装置が故障状態であるか否かを判定する判定部と、
    前記判定部の判定結果を報知する報知部とを備えることを特徴とする超音波診断装置の故障判定装置。
15. 故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、前記第二の超音波診断装置が故障状態であるか否かを判定するステップを有する故障判定方法。
16. 正常状態である第三の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、前記第二の超音波診断装置が故障状態であるか否かを判定するステップを有する故障判定方法。
17. 請求項１５又は１６の故障判定方法をコンピュータに実行させるためのプログラム。

Images