JP2022172565A - 超音波画像診断装置、識別器変更方法および識別器変更プログラム - Google Patents

Abstract

【課題】識別器を利用して超音波画像に写っている識別対象物を識別する場合、識別器を切り替える手間を軽減することが可能な超音波画像診断装置、識別器変更方法および識別器変更プログラムを提供する。
【解決手段】超音波画像診断装置は、超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得する超音波画像取得部と、入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された超音波画像を入力することによって、識別器から出力される識別結果を取得する識別結果取得部と、取得された超音波画像が入力される識別器を変更する識別器変更部と、を備える。
【選択図】図２

Description

本発明は、超音波画像診断装置、識別器変更方法および識別器変更プログラムに関する。

従来、超音波探触子（プローブ）にて生体等の被検体に対して超音波の送受信を行い、受信した超音波から得られた信号に基づいて超音波画像データを生成し、これに基づく超音波画像を画像表示装置に表示する超音波画像診断装置が知られている。超音波画像診断装置による超音波画像診断は、超音波探触子を被検体の体表に当てるだけの簡単な操作で心臓の拍動や胎児の動き等の様子がリアルタイムで得られ、かつ非侵襲で安全性が高いため、繰り返して実施することができる。

ところで、画像内に写っている被写体等を識別する画像認識技術として、ディープラーニング等の機械学習を利用する技術が知られている。

この種の画像認識技術においては、識別器（例えば、Convolutional Neural Network；以下、「ＣＮＮ」とも称する）に対して、教師画像を用いた機械学習を施すことによって、画像データに潜在する確率分布の特徴を把握させる。学習済みの識別器は、典型的には、画像のピクセル値情報を入力するだけで、画像パターンを識別し得るようになる。

特許文献１には、超音波スキャンによるデジタル画像の解析の分野に関し、麻酔医の作業を手助けするために一連のエコー画像において神経を自動的に検出する技術が記載されている。特許文献１に記載の技術では、エコー画像において神経らしき領域を確率分布で生成し、生成した確率分布によって決定された領域に対して、どの神経なのかについて分類する。

特表２０２０－５０１２８９号公報

ところで、超音波画像に表される画像特徴が異なる複数の神経（例えば、正中神経、尺骨神経、橈骨神経、腕神経叢など）が存在する。また、同一の神経でも、超音波探触子（プローブ）を当てている位置によって画像の見え方が全く異なる。また、人によって、神経そのものや、神経以外（血管や脂肪、筋肉）の走行配置パターンが複数存在する。同一人物であっても、左側と右側で神経そのものや神経以外の走行／配置パターンが異なる。以上のように、神経には識別しなければならない画像パターンが非常に多い。

上記した神経のように、画像パターンが非常に多い識別対象物の識別精度を向上させるため、超音波画像に写っている識別対象物を識別する画像認識技術として識別器（ＣＮＮ）を利用する場合、識別対象物毎に最適化された複数の識別器を切り替えながら利用することが考えられる。しかしながら、この場合、個別部位に最適化された複数の識別器を切り替えるための複雑なＵＩ（User Interface）操作が必要となり、ユーザー（例えば、医師）は、本来行いたい処置（例えば、穿刺）を行うことが困難であるという問題があった。

本発明は、識別器を利用して超音波画像に写っている識別対象物を識別する場合、識別器を切り替える手間を軽減することが可能な超音波画像診断装置、識別器変更方法および識別器変更プログラムを提供することを目的とする。

本発明に係る超音波画像診断装置は、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得する超音波画像取得部と、
入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得する識別結果取得部と、
取得された前記超音波画像が入力される前記識別器を変更する識別器変更部と、
を備える。

本発明に係る識別器変更方法は、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得し、
入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得し、
取得された前記超音波画像が入力される前記識別器を変更する。

本発明に係る識別器変更プログラムは、
コンピューターに、
超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得する処理と、
入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得する処理と、
取得された前記超音波画像が入力される前記識別器を変更する処理と、
を実行させる。

本発明によれば、識別器を利用して超音波画像に写っている識別対象物を識別する場合、識別器を切り替える手間を軽減することができる。

超音波画像診断装置の外観図である。 超音波画像診断装置の機能構成を示すブロック図である。 表示部により表示される表示画像の例を示す図である。

以下、本実施の形態における超音波画像診断装置１００について、図面を参照して詳細に説明する。図１は、超音波画像診断装置１００の外観図である。

図１に示すように、超音波画像診断装置１００は、超音波画像診断装置本体１と、超音波探触子２と、を備える。なお、超音波画像診断装置本体１としてタブレット端末やスマートフォン等のモバイル端末を使用しても良い。

超音波探触子２は、図示しない生体等の被検体内に対して超音波（送信超音波）を送信するとともに、この被検体内で反射した超音波の反射波（反射超音波：エコー）を受信する。

超音波画像診断装置本体１は、ケーブル３を介して超音波探触子２と接続され、超音波探触子２に電気信号の駆動信号を送信することによって超音波探触子２から被検体に対して送信超音波を送信させる。

また、超音波画像診断装置本体１は、超音波探触子２にて受信した被検体内からの反射超音波に応じて超音波探触子２で生成された電気信号である受信信号に基づいて、被検体内の内部状態を超音波画像として画像化する。また、超音波画像診断装置本体１は、後述する操作入力部１１および表示部１８を備える。

超音波探触子２は、圧電素子からなる振動子２ａ（図２を参照）を備えている。振動子２ａは、例えば、方位方向（走査方向）に一次元アレイ状に複数配列されている。本実施の形態では、例えば、１９２個の振動子２ａを備えた超音波探触子２を用いている。

なお、振動子２ａは、二次元アレイ状に配列されたものであっても良い。また、振動子２ａの個数は、任意に設定することができる。また、本実施の形態では、超音波探触子２としてリニア電子スキャンプローブを用いて、リニア走査方式による超音波の走査を行うものとするが、セクタ走査方式、コンベックス走査方式、ラジアル走査方式、サーキュラ走査方式の何れの方式を採用することもできる。超音波画像診断装置本体１と超音波探触子２との通信は、ケーブル３を介する有線通信に代えて、ＵＷＢ（Ultra Wide Band）等の無線通信により行うこととしても良い。

次に、図２を参照して、超音波画像診断装置１００の機能構成を説明する。図２は、超音波画像診断装置１００の機能構成を示すブロック図である。

図２に示すように、超音波画像診断装置本体１は、操作入力部１１と、送信部１２と、受信部１３と、画像生成部１４と、判別部１５と、記憶部１６と、確信度取得部１７と、表示部１８と、制御部１９とを備える。なお、確信度取得部１７は、本発明の「超音波画像取得部」および「識別結果取得部」として機能する。制御部１９は、本発明の「識別器変更部」として機能する。

操作入力部１１は、各種スイッチ、ボタン、トラックパッド、トラックボール、マウス、キーボード、表示部１８の表示画面に一体的に設けられ当該表示画面に対するタッチ操作を検知するタッチパネル等を備える。操作入力部１１は、例えば、超音波探触子２の脱着（接続／解除）、診断部位（プリセット）の選択、診断開始／診断終了、計測項目の選択、装置やアプリケーションの起動／終了、フリーズ開始／解除、識別器を用いた識別対象物の識別処理を行うプロセッサーの選択を指示するコマンド、被検体の個人情報等のデータ、および、表示部１８に超音波画像を表示するための各種パラメーターの入力などを行う。識別器を用いた識別対象物の識別処理を行うプロセッサーとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などが挙げられる。操作入力部１１は、入力した操作に対応する操作信号を制御部１９に出力する。

なお、操作入力部１１を介して選択が行われる計測項目は、超音波画像を用いた形態的計測（例えば、長さ、面積、角度、速度、体積）、輝度値を用いた計測（例えば、ヒストグラム）、心臓計測、婦人科計測、産科計測などである。

送信部１２は、制御部１９の制御に従って、ケーブル３を介して超音波探触子２に電気信号である駆動信号を供給して超音波探触子２に送信超音波を発生させる回路である。

また、送信部１２は、例えば、クロック発生回路、遅延回路、パルス発生回路を備えている。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。遅延回路は、振動子２ａ毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させて送信超音波によって構成される送信ビームの集束（送信ビームフォーミング）等を行うための回路である。パルス発生回路は、設定された電圧および時間間隔で駆動信号としてのパルス信号を発生させるための回路である。

上述のように構成された送信部１２は、制御部１９の制御に従って、駆動信号を供給する複数の振動子２ａを、超音波の送受信毎に所定数ずらしながら順次切り替え、出力の選択された複数の振動子２ａに対して駆動信号を供給することにより走査（スキャン）を行う。

受信部１３は、制御部１９の制御に従って、ケーブル３を介して超音波探触子２から電気信号である受信信号を受信する回路である。受信部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を備えている。

増幅器は、受信信号を、振動子２ａ毎に対応した個別経路毎に、予め設定された増幅率で増幅させるための回路である。Ａ／Ｄ変換回路は、増幅された受信信号をアナログ－デジタル変換（Ａ／Ｄ変換）するための回路である。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、振動子２ａ毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算（整相加算）して音線データを生成するための回路である。すなわち、整相加算回路は、振動子２ａ毎の受信信号に対して受信ビームフォーミングを行って音線データを生成する。

画像生成部１４は、制御部１９の制御に従って、受信部１３からの音線データに対して包絡線検波処理や対数圧縮などを実施し、ダイナミックレンジやゲインの調整を行って輝度変換することにより、２次元断層画像データとしてのＢモード画像データ（以下、超音波画像データ）を生成する。すなわち、超音波画像データは、受信信号の強さを輝度によって表したものである。画像生成部１４は、生成した超音波画像データを判別部１５、確信度取得部１７および制御部１９に出力する。なお、画像生成部１４は、Ａモード画像データ、Ｍモード画像データ（２次元断層画像データ）、ドプラ画像データ、カラーモード画像データまたは３次元画像データを生成しても良い。

また、画像生成部１４は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーによって構成された画像メモリー部（図示せず）を備えている。画像生成部１４は、生成した超音波画像データをフレーム単位で画像メモリー部に記憶させる。

また、画像生成部１４は、画像メモリー部から読みだした超音波画像データに対して画像フィルタ処理や時間平滑化処理などの画像処理を施し、表示部１８へ表示するための表示画像パターンに走査変換する。

判別部１５は、画像生成部１４から出力された超音波画像データを解析して、当該超音波画像データに対応する超音波画像の画像パターンを判別する。具体的には、判別部１５は、超音波画像に写っている身体部位の判別を行ったり、身体に超音波探触子２が当たっていない状態（空中放射状態）を行ったりする。そして、判別部１５は、超音波画像の判別結果を示す判別結果情報を制御部１９に出力する。判別結果情報には、手足や首、腰などを示す身体部位情報、神経（正中神経や尺骨神経、橈骨神経、腕神経叢）や筋肉、血管などを示す解剖学情報、空中放射状態であるか否かを示す情報が含まれる。

記憶部１６は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の情報の書き込み及び読み出しが可能な記憶部である。

本実施の形態では、記憶部１６は、画像生成部１４により生成された超音波画像に写っている識別対象物を識別するために確信度取得部１７で利用される複数の識別器（畳み込みニューラルネットワーク：ＣＮＮ）を記憶する。

ここで、識別対象物は、神経、筋膜、筋肉、血管、針、心臓、胎盤、リンパ節、脳、前立腺、頚動脈または乳房であり、細部構造に限らず臓器そのものや、手足や顔、首、腰などの身体構造でも良いし、何らかの疾患を示す病変部や、超音波画像内の異常な輝度領域としても良い。記憶部１６は、識別対象物毎に当該識別対象物の識別精度が高くなるように最適化された複数の識別器を記憶する。

畳み込みニューラルネットワークは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。畳み込みニューラルネットワークの各層によれば、複数のニューロン（Neuron）を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。公知の畳み込みニューラルネットワークモデルとしては、例えば、GoogleNet、ResNet、SENet、U-Net、MobileNetなどが挙げられるが、この目的に適合する畳み込みニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。

識別器は、画像生成部１４により生成された超音波画像データを入力し、当該超音波画像データに対応する超音波画像に識別対象物（具体的には、識別対象物の位置、境界または領域）が写っている確からしさを表す確信度を、当該超音波画像を構成する所定部分ごとに出力するように予め学習されている。本実施の形態では、識別器から出力される確信度は、０より大きく１以下の値で表される。確信度が高いほど、超音波画像上において識別対象物が写っている確からしさが高いことを意味する。

識別器に対する学習処理は、予め用意された教師データに基づいて、公知の教師あり学習、具体的には、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いた重み係数、バイアス等を含むネットワークパラメータの調整によって行われる。教師データは、過去に生成された超音波画像データと、それに対応した正解データとの組である。正解データとしては、例えば、超音波画像データに対応する超音波画像内の所望領域を任意の値でラベリングしたラベリング画像、所望領域を座標で示した座標データ、または所望領域の境界を示す直線や曲線の式などが使用される。本実施の形態では、正解データとしてラベリング画像が使用され、教師データとしての超音波画像において、識別対象物が写っている部分には「１」がラベリングされ、識別対象物が写っていない部分には「０」がラベリングされている。

なお、識別器としては、畳み込みニューラルネットワークに限らず、計算アルゴリズムや係数を含む数理モデルを用いても良い。また、記憶部１６は、入力された超音波画像に複数の識別対象物（汎用的な複数の部位(クラス)に対応）が写っている確からしさを表す確信度を出力するように学習されている識別器（汎用モデル、本発明の「第１の識別器」に対応）と、入力された超音波画像に特定の識別対象物（特定の部位に対応）が写っている確からしさを表す確信度を出力するように学習されている識別器（専用モデル、本発明の「第２の識別器」に対応）とを有しても良い。また、記憶部１６は、同一の識別対象物を識別するために確信度取得部１７で利用される識別器として、識別精度よりも応答性（識別処理時間、リアルタイム性）を重視した応答性重視モデルの識別器と、応答性よりも識別精度を重視した識別精度重視モデルの識別器とを記憶しても良い。

確信度取得部１７は、制御部１９から出力された識別器特定情報により特定される識別器を記憶部１６から読み出し、画像生成部１４により生成された超音波画像データを当該識別器に入力させる。そして、確信度取得部１７は、超音波画像データに対応する超音波画像を構成する所定領域ごとに識別器から出力された確信度を取得し、取得した確信度を示す確信度情報を表示部１８に出力する。

表示部１８は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode-Ray Tube）ディスプレイ、有機ＥＬ（Electronic Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ等の表示装置である。表示部１８は、制御部１９の制御に従って、画像生成部１４により生成された超音波画像データに対応する超音波画像と、確信度取得部１７から出力された確信度情報とに基づく表示画像を表示画面上に表示する。

図３は、表示部１８により表示される表示画像の例を示す図である。図３Ａは、表示画像として、超音波画像データに対応する超音波画像の例を示す図である。図３Ｂは、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の境界を示す境界画像２０，２１を重畳した重畳画像の例を示す図である。境界画像２０，２１で表される識別対象物の境界は、確信度取得部１７から出力された確信度情報により示される確信度が所定値以上、すなわち識別対象物の境界が写っている確からしさが高い部分から構成される。

図３Ｃは、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の領域を示す領域画像２２，２３を重畳した重畳画像の例を示す図である。領域画像２２，２３で表される識別対象物の領域は、確信度取得部１７から出力された確信度情報により示される確信度が所定値以上、すなわち識別対象物の領域が写っている確からしさが高い部分から構成される。

図３Ｄは、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の位置を×印で示す位置画像２４，２５を重畳した重畳画像の例を示す図である。位置画像２４，２５で表される識別対象物の位置は、確信度取得部１７から出力された確信度情報により示される確信度が所定値以上、すなわち識別対象物の位置が写っている確からしさが高い部分から構成される。なお、図３Ｅに示すように、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の位置を矢印で示す位置画像２６，２７を重畳した重畳画像を表示画面上に表示させても良い。また、図示しないが、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の位置を点で示す位置画像を重畳した重畳画像を表示画面上に表示させても良い。

ユーザーは、表示画面上に識別対象物が強調表示される重畳画像を確認することによって、超音波画像において識別対象物の位置、境界または領域が写っている部分を直感的に把握することができる。例えば、表示画面上において抹消神経等の神経構造を強調表示することによって、ユーザーは、通常の超音波画像では専門医でも把握しづらい神経領域を把握することが容易となり、ひいては例えば穿刺等処置を行いやすくなる。または、胎児の脳等の臓器を強調表示することによって、ユーザーは、把握しづらい臓器の発育状態を把握することが容易となり、ひいては先天的／後天的課題の有無について容易に把握することができる。

制御部１９は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭに記憶されているシステムプログラム等の各種処理プログラムを読み出してＲＡＭに展開し、展開したプログラムに従って超音波画像診断装置本体１の各部の動作を集中制御する。

ＲＯＭは、半導体等の不揮発メモリー等により構成され、超音波画像診断装置１００に対応するシステムプログラム及び該システムプログラム上で実行可能な各種処理プログラムや、ガンマテーブル等の各種データ等を記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、ＣＰＵは、当該プログラムコードに従った動作を逐次実行する。ＲＡＭは、ＣＰＵにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。本実施の形態では、制御部１９のＲＯＭに「識別器変更プログラム」が記憶されている。

制御部１９は、確信度取得部１７において、画像生成部１４により生成された超音波画像データが入力される識別器を選択する。そして、制御部１９は、選択した識別器を特定する識別器特定情報を確信度取得部１７に出力する。ここで、超音波画像データが入力される識別器を選択することには、識別器の一部分だけを変更することや、識別器の全体を変更することが含まれる。識別器の一部分だけを変更する場合、識別器の計算アルゴリズムを変更せずに、当該計算アルゴリズムで用いられる係数（パラメーター）のみを変更しても良い。このように、識別器の一部分だけを変更する場合、識別器を切り替える速度が速くなるため、新しい識別器に切り替えるまでに発生する遅延を少なくすることができる。

例えば、制御部１９は、操作入力部１１に入力された操作（超音波画像診断装置１００に対するユーザーの操作入力）に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。例えば、ユーザーが操作入力部１１を介して識別器を直接指定しなかった場合（例えば、診断部位のみが指定された場合、アプリケーションの起動／終了、フリーズの開始／終了等が指示された場合）、制御部１９は、操作入力部１１に入力された操作に応じて、確信度取得部１７において超音波画像データが入力される識別器を決定する。例えば、診断部位として腰が指定された場合、制御部１９は、座骨神経（識別対象物）を識別する識別器を、確信度取得部１７において超音波画像データが入力される識別器として決定する。これにより、ユーザーが普段行っている自然な診断ワークフロー（例えば、診断部位の選択、検査条件のプリセット選択等）で、識別器が適宜変更される（切り替わる）ため、ユーザーが識別器を逐一切り替える手間をなくすことができる。

また、ユーザーが操作入力部１１を介して識別器を直接指定した場合、制御部１９は、その指定された識別器を、確信度取得部１７において超音波画像データが入力される識別器として決定する。この場合、指定された識別器により識別される識別対象物を超音波画像に重畳した重畳画像が表示画面上に表示されるため、ユーザーは、超音波画像において識別対象物の位置、境界または領域が写っている部分を直感的に把握することができる。

なお、制御部１９は、直接指定された識別器とは別の識別器についても、確信度取得部１７において超音波画像データが入力される識別器として決定しても良い。この場合、別の識別器に識別される識別対象物を超音波画像に重畳した重畳画像が表示画面上に表示される、つまり当該別の識別器によって識別された補足的な識別対象物も強調表示されるため、ユーザーは、超音波画像において識別対象物の位置、境界または領域が写っている部分をより一層直感的に把握することができる。また、制御部１９は、過去に指定された識別器（例えば、診断終了やフリーズ時に指定されていた識別器）を、確信度取得部１７において超音波画像データが入力される識別器として決定しても良い。

また、制御部１９は、画像生成部１４により生成された超音波画像データに対応する超音波画像に写っている識別対象物の種類に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。具体的には、制御部１９は、判別部１５から出力された判別結果情報を参照し、超音波画像に写っている識別対象物（例えば、身体部位）の種類に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。これにより、ユーザーが不意に診断部位を変更した場合でも、識別器が適宜切り替えられるため、ユーザーが識別器を逐一切り替える手間をなくすことができ、さらに言えば、表示画面上において不適切な識別結果をユーザーに見せるリスクがなくなり、ユーザーの誤診を防止することができる。なお、制御部１９は、超音波画像に写っている識別対象物の種類と、操作入力部１１に入力された操作とに応じて、確信度取得部１７において超音波画像データが入力される識別器を変更しても良い。

制御部１９は、判別部１５から出力された判別結果情報を参照し、身体に超音波探触子２が当たっている状態に空中放射状態から切り替わったタイミングで、超音波画像に写っている識別対象物（例えば、身体部位）の種類に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。ユーザーは、診断部位を変更する場合や、所望の身体部位が見えづらいと感じた場合、超音波探触子２を身体から離すときがある。このようなとき、身体に超音波探触子２が当たっている状態に空中放射状態から切り替わったタイミングで識別器が適宜変更されることによって、ユーザーが識別器を逐一切り替える手間をなくすことができ、ユーザーは自然な流れで、表示画面上に表示される超音波画像において識別対象物の位置、境界または領域が写っている部分を直感的に把握することができる。

なお、制御部１９は、判別部１５から出力された判別結果情報を参照し、確信度取得部１７における識別器の識別処理の開始／終了またはフリーズの開始／終了を行っても良い。これにより、ユーザーが不意に診断部位を変更してしまった場合や、超音波探触子２を身体から離した場合に、識別器の識別処理や超音波画像等の表示が行われないようにすることが可能となり、表示画面上において不適切な識別結果をユーザーに見せるリスクがなくなり、ユーザーの誤診を防止することができる。さらに言えば、識別器の識別処理や超音波画像等の表示が不必要に行われないようにして、超音波画像診断装置１００の消費電力を節約することができる。

また、制御部１９は、判別部１５から出力された判別結果情報を参照し、空中放射状態が一定時間続いている場合、それまでの識別器の識別結果を一度リセットし、再度デフォルト（プリセット）の識別器に戻しても良い。超音波探触子２を身体から一度離して、再度身体に超音波探触子２を当てる場合、直前まで診断していた部位と異なる場合がある。超音波探触子２を当てる場所が変われば、超音波画像の特徴が大きく変わる。そのため、一定時間空中放射状態になった段階で例えば様々な部位に対応した識別器（汎用モデル）が選択されることによって、ユーザーは、不要な識別器を選択する操作を必要することなく、表示画面上に表示される超音波画像内の解剖学的構造を素早く把握することができる。

また、制御部１９は、超音波探触子２の種類（リニア走査方式、セクタ走査方式、コンベックス走査方式、ラジアル走査方式、あるいはサーキュラ走査方式）に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。超音波探触子２の種類の違いによって描出できる画像サイズ、フレームレート、画質が異なるため、超音波探触子２の種類に応じて識別器が最適化されることで、ユーザーによって使用される超音波探触子２が都度変更されたとしても、確信度取得部１７において安定した識別結果を取得することができる。

また、制御部１９は、識別器の識別結果（例えば、確信度の最大値、平均値、最頻値、標準偏差など）に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。例えば、制御部１９は、識別器の識別結果に応じて、より確信度が高くなる（識別精度がより高い）識別器に変更する。これにより、確信度取得部１７において精度の高い識別結果を取得することができる。また、制御部１９は、識別器の識別結果に応じて、時間的に確信度が最も安定している識別器に変更する。時間的に確信度が安定しているということは、識別精度が高いことを示しているため、表示画面上において精度の高い識別結果（重畳画像）を表示することができる。また時間的に確信度が不安定な識別結果をユーザーに不必要に見せることがなくなり、ユーザーの診断ワークフローの低下を防止することができる。

また、制御部１９は、識別器の識別に関する処理時間に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更する。ここで、識別器の識別に関する処理時間とは、識別器の識別処理が開始してから終了するまでの処理時間や、識別器の識別処理が開始してから終了して、識別結果が超音波画像に重畳して表示されるまでの時間（通信遅延時間を含む）である。例えば、制御部１９は、識別器の識別に関する処理時間に応じて、より応答性（リアルタイム性）が高くなる識別器に変更する。これにより、識別器の識別精度を損なうことなく識別器の識別に関する応答性が向上するため、ユーザーの診断ワークフローを向上させ、ユーザーの素早い処置が可能となる。

以上詳しく説明したように、本実施の形態では、超音波画像診断装置１００は、超音波を被検体に送受信する超音波探触子２で得られた受信信号に基づいて生成された超音波画像を取得する超音波画像取得部（確信度取得部１７）と、入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された超音波画像を入力することによって、識別器から出力される識別結果を取得する識別結果取得部（確信度取得部１７）と、取得された超音波画像が入力される識別器を変更する識別器変更部（制御部１９）とを備える。

このように構成した本実施の形態によれば、例えばユーザーが関心を有する身体部位、計測対象、識別処理を行うプロセッサー、超音波探触子２の種類などに応じて、超音波画像が入力される識別器が変更されて最適化されるため、超音波画像に写っている識別対象物の識別精度と、表示のリアルタイム性（なるべく即時に画像処理の結果を表示すること）との両立を実現させることができる。また、ユーザーが普段行っている自然な診断ワークフロー内（例えば、診断部位の選択、検査条件のプリセット選択やフリーズ開始／解除など）で、識別器が適宜切り替えられるため、ユーザーは、識別器を逐一切り替える手間がなくなり、本来行いたい処置に集中することができる。また、ユーザーは、どの識別器が最適かについて探索する必要がなくなり、表示のリアルタイム性が向上し、超音波画像診断装置１００内の不要な処理を減らすことができる。また、それによって並列で行っている別処理（例えば、カラードプラ処理や針先強調処理など）の応答性・精度を向上させることができる。

なお、上記実施の形態において、確信度取得部１７において超音波画像データが入力される識別器が適切でない場合や、要求されているタイミングまでに識別器の識別処理が完了しない（すなわち、間に合わない）場合には、超音波画像データに対応する超音波画像に対して識別対象物を示す画像を重畳せず、次以降のフレームの適切なタイミングで、超音波画像に対して識別対象物を示す画像を重畳した重畳画像を表示しても良い。これにより、余計な情報をユーザーに見せなくて良いため、ユーザーの診断ワークフローの低下を防止することができる。

また、上記実施の形態において、表示画像として、超音波画像データに対応する超音波画像に対して識別対象物の境界、領域、位置を示す画像を重畳した重畳画像を表示画面上に表示させる際、判別部１５の判別結果により特定された識別対象物の種類（例えば、〇〇神経）も一緒に表示させても良い。

また、上記実施の形態において、確信度取得部１７は、超音波画像診断装置１００上ではなく、別サーバー（別コンピューター）上に備えられても良い。この場合、超音波画像診断装置１００および別サーバーは、本発明の「超音波画像診断装置」に対応する。超音波画像診断装置１００上のプロセッサーは、（特に旧型の場合）処理性能が十分高くない場合があり、ある識別器で識別処理を行うと、処理速度または識別精度の観点でユーザーの要求に応えられない場合がある。そこで、別サーバー(より高いスペックのプロセッサーを有するコンピューター)上に備えられた確信度取得部１７で超音波画像データと制御部１９により選択された識別器を受け取り、選択された識別器を用いて識別処理を行い、超音波画像診断装置１００へ識別結果を送信し、表示部１８で表示する運用とすることで、より高精度な識別結果をより高速で表示させることができる。

また、上記実施の形態において、制御部１９は、超音波画像診断装置本体１と超音波探触子２との通信方式（有線通信または無線通信）に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更しても良い。超音波画像診断装置本体１と超音波探触子２との通信方式の違いによって通信速度に違いがあるため、当該通信方式に応じて識別器を変更することで、超音波画像に写っている識別対象物の識別精度と、表示のリアルタイム性との両立を実現させることができる。

また、上記実施の形態において、制御部１９は、超音波探触子２の傾き／角度に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更しても良い。超音波探触子２の身体への当たる角度によって超音波画像が変化するため、超音波探触子２の角度に合わせて用いる識別器を最適化することで、様々な超音波探触子２の当て方に対して安定した識別器の識別結果を取得することができる。

また、上記実施の形態において、制御部１９は、被検体の情報(例えば患者の氏名や年齢、性別、BMI、怪我や病気の既往歴など)に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更しても良い。被検体である患者の年齢や性別、BMI、既往歴によって身体特徴が異なることから超音波画像の特徴が変わってしまう。したがって、被検体の情報に応じて識別器を変更することで、異なる身体特徴を持った被検体に対しても、超音波画像に写っている識別対象物の識別精度と、表示のリアルタイム性との両立を実現させることができる。

また、上記実施の形態において、制御部１９は、超音波画像診断装置１００を使用しているユーザーの情報(例えば、どの医師や技師が現在使用しているかなど)に応じて、確信度取得部１７において超音波画像データが入力される識別器を変更しても良い。超音波探触子２の当て方がユーザーによって異なるため、ユーザーによって超音波画像が変化してしまう。したがって、超音波画像診断装置１００を使用しているユーザーの情報に応じて識別器を変更することで、超音波画像に写っている識別対象物の識別精度と、表示のリアルタイム性を、ユーザーごとに最適化することができる。

また、上記実施の形態において、制御部１９は、最初に太い神経（識別対象物）を識別する識別器を選択して識別対象物の概要を把握し、ある程度見たい断面が定まってきた時点で細かい神経（識別対象物）を識別する識別器に変更しても良い。これにより、ユーザーは、超音波画像に対して識別対象物を示す画像が重畳された重畳画像を表示画面上で確認し、いきなり細かい神経を探すより太い神経から細くなっていく領域まで辿っていくことで、より安心して細い神経を把握することができる。

また、上記実施の形態において、制御部１９は、最初に、汎用的な複数の部位(クラス)に対応した識別器（汎用モデル）を選択しておき、しばらく走査（スキャン）を行った後、特定の部位（クラス）に特化した識別器（専用モデル）を選択してもよい。この場合、表示部１８は、ユーザーが選択可能に、選択候補となる識別器（専用モデル）を表示画面上に表示してもよい。超音波探触子２の当て方が適切でない場合などでは、そもそも所望の部位が画像として描出できていないため、ある部位に特化した専用モデル（識別器）でも精度よく識別できず、序盤から専用モデルを使用するのは適切ではない場合がある。特に初学者の場合、専用モデルで限られた部位の情報を表示するよりも、多少精度は悪くても複数部位の識別結果など多くの情報を表示した方が、解剖学的な理解が容易となる点、ユーザーが所望する領域の凡その位置、つまり当てる超音波探触子２の位置を素早く把握できる点などの理由から、適切な場合があるからである。そこで、超音波探触子２の当て始めは複数部位について識別結果の表示を行い、断面が固定されてきた段階つまり識別する識別対象物が絞られてきた段階で専用モデルに切り替えることで、ユーザーは、スムーズに所望の部位（識別対象物）を把握することができる。

また、上記実施の形態において、超音波画像診断装置１００が備える送信部１２、受信部１３、画像生成部１４、判別部１５、確信度取得部１７、制御部１９について、各々の機能ブロックの一部又は全部の機能は、集積回路などのハードウェア回路として実現することができる。集積回路とは、例えばＬＳＩ（Large Scale Integration）であり、ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよいし、ＦＰＧＡやＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。また、各々の機能ブロックの一部又は全部の機能をソフトウェアにより実行するようにしてもよい。この場合、このソフトウェアは一つ又はそれ以上のＲＯＭなどの記憶媒体、光ディスク、又はハードディスクなどに記憶されており、このソフトウェアが演算処理器により実行される。

また、上記実施の形態では、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 超音波画像診断装置本体
２ 超音波探触子
２ａ 振動子
３ ケーブル
１１ 操作入力部
１２ 送信部
１３ 受信部
１４ 画像生成部
１５ 判別部
１６ 記憶部
１７ 確信度取得部
１８ 表示部
１９ 制御部
１００ 超音波画像診断装置

Claims (12)

1. 超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得する超音波画像取得部と、
   入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得する識別結果取得部と、
   取得された前記超音波画像が入力される前記識別器を変更する識別器変更部と、
   を備える超音波画像診断装置。
2. 前記識別器変更部は、前記超音波画像診断装置に対するユーザーの操作入力に応じて、取得された前記超音波画像が入力される前記識別器を変更する、
   請求項１に記載の超音波画像診断装置。
3. 前記識別器変更部は、取得された前記超音波画像に写っている識別対象物の種類に応じて、当該超音波画像が入力される前記識別器を変更する、
   請求項１に記載の超音波画像診断装置。
4. 取得された前記超音波画像に写っている識別対象物の種類を判別する判別部を備える、
   請求項３に記載の超音波画像診断装置。
5. 前記識別器変更部は、前記超音波探触子の種類に応じて、取得された前記超音波画像が入力される前記識別器を変更する、
   請求項１に記載の超音波画像診断装置。
6. 前記識別器変更部は、前記識別器の識別結果に応じて、取得された前記超音波画像が入力される前記識別器を変更する、
   請求項１に記載の超音波画像診断装置。
7. 前記識別器変更部は、前記識別器の識別に関する処理時間に応じて、取得された前記超音波画像が入力される前記識別器を変更する、
   請求項１に記載の超音波画像診断装置。
8. 前記識別器は、入力された超音波画像上で識別対象物が写っている確からしさを表す確信度を出力するように学習されている、
   請求項１～７の何れか１項に記載の超音波画像診断装置。
9. 前記複数の識別器は、
   入力された超音波画像上で複数の識別対象物が写っている確からしさを表す確信度を出力するように学習されている第１の識別器と、
   入力された超音波画像上で特定の識別対象物が写っている確からしさを表す確信度を出力するように学習されている第２の識別器と、を有する、
   請求項８に記載の超音波画像診断装置。
10. 取得された前記超音波画像と前記識別結果とに基づく表示画像を表示する表示部を備える、
    請求項１～８の何れか１項に記載の超音波画像診断装置。
11. 超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得し、
    入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得し、
    取得された前記超音波画像が入力される前記識別器を変更する、
    識別器変更方法。
12. コンピューターに、
    超音波を被検体に送受信する超音波探触子で得られた受信信号に基づいて生成された超音波画像を取得する処理と、
    入力された超音波画像に写っている識別対象物を識別する複数の識別器の何れかに、取得された前記超音波画像を入力することによって、前記識別器から出力される識別結果を取得する処理と、
    取得された前記超音波画像が入力される前記識別器を変更する処理と、
    を実行させる識別器変更プログラム。

Images