JP2023090023A - 超音波診断装置及び超音波画像処理方法 - Google Patents

Abstract

【課題】病変部検出を通知するマークと共に、マークとは別の検査支援情報を表示し、病変部の検査を総合的に支援する。【解決手段】断層画像４２上に病変部５０を特定するマーク４８が表示される。マーク４８の表示の有無にかかわらず、二次元マップ４４及びグラフ４６が表示される。二次元マップ４４は、空間的な病変部確率分布を示すものである。グラフ４６は、時間的な病変部確率変化を示すものである。【選択図】図２

Description

本開示は、超音波診断装置及び超音波画像処理方法に関し、特に、超音波検査を支援する情報の生成及び提供に関する。

超音波診断装置を用いた超音波検査においては、検査者により、超音波画像が観察され、同時に、プローブ（超音波プローブ）が操作される。超音波画像内に腫瘤等の病変部（正確には病変部候補）が出現した場合、その病変部が精査される。

超音波診断装置の中には、超音波画像内に出現した病変部を自動的に検出し、検出された病変部を通知する機能を備えるものがある。その機能は、ＣＡＤｅ（Computer Aided Detection）と称されている。ＣＡＤｅは、ＣＡＤ（Computer Aided Diagnosis）に属する又は関連する技術である。ＣＡＤｅの実行時においては、一般に、病変部確率（病変部スコア、病変部類似度）が算出され、病変部確率が閾値を超えた場合に病変部を囲む図形（マーク）が表示される。病変部確率が閾値よりも小さければマークは表示されない。このように閾値を用いてマーク表示の有無を制御することにより、超音波画像上にマークが頻繁に表示されてしまう事態の発生が回避されており、あるいは、超音波画像上に多数のマークが表示されてしまう事態の発生が回避されている。

特許文献１には、物体検出機能を備えた超音波診断装置が開示されている。特許文献１には、空間的な病変部確率分布や時間的な病変部確率変化を動的な画像として表示する技術は記載されていない。

特開２０２０－２８６８０号公報

超音波画像上に病変部を通知するマークが表示された場合、検査者において、病変部検出の事実を認識できるが、そのマークを通じて、空間的な病変部確率分布や時間的な病変部確率変化までを認識することはできない。病変部確率が閾値を超えない場合にはマークが表示されず、実際には病変部らしきものが検出されていても、それについての情報は検査者に提供されない。病変部を通知するマークの表示とは別に、病変部に関するより詳しい情報を補助的に表示することが望まれる。

本開示の目的は、検査者によるプローブ操作や画像観察を支援することにある。すなわち、本開示の目的は、マークと共に、マークとは別の検査支援情報を表示することにある。あるいは、本開示の目的は、検査者に対して、病変部を評価するための補助的情報を提供することにある。

本開示に係る超音波診断装置は、超音波画像中の病変部を検出する検出処理を実行する検出部と、前記検出部の出力情報に基づいて、前記病変部を通知するマークを生成するマーク生成部と、前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する参照情報生成部と、前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する表示器と、を含むことを特徴とする。

本開示に係る超音波画像処理方法は、超音波画像中の病変部を検出する検出処理を実行する工程と、前記検出処理の実行結果を表す出力情報に基づいて、前記病変部を通知するマークを生成する工程と、前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する工程と、前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する工程と、を含むことを特徴とする。

本開示に係るプログラムは、情報処理装置において実行されるプログラムであって、超音波画像中の病変部を検出する検出処理を実行する機能と、前記検出処理の実行結果を表す出力情報に基づいて、前記病変部を通知するマークを生成する機能と、前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する機能と、前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する機能と、を含むことを特徴とする。

本開示によれば、検査者のプローブ操作や画像観察を支援できる。すなわち、本開示によれば、マークと共に、マークとは別の検査支援情報を表示できる。あるいは、本開示によれば、検査者に対して、病変部を評価するための補助的情報を提供できる。

実施形態に係る超音波診断装置を示すブロック図である。 表示画像の一例を示す図である。 検出処理及びそれに関連する幾つかの処理を示す概念図である。 マップ生成方法の第１例を示す図である。 マップ生成方法の第２例を示す図である。 カラー変換を説明するための図である。 グラフの変形例を示す図である。 表示画像の他の例を示す図である。

以下、実施形態を図面に基づいて説明する。

（１）実施形態の概要
実施形態に係る超音波診断装置は、検出部、マーク生成部、参照情報生成部、及び、表示器を有する。検出部は、超音波画像中の病変部を検出する検出処理を実行する。マーク生成部は、検出部の出力情報に基づいて、病変部を通知するマークを生成する。参照情報生成部は、出力情報に基づいて、マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する。表示器には、超音波画像、マーク及び参照情報がリアルタイムで表示される。

上記構成によれば、検査支援情報として、マークに加えて、参照情報が表示される。実施形態において、参照情報は、マーク表示の有無にかかわらず表示される。参照画像の観察を通じて、検査者は、現検査対象（現在の超音波診断対象）についてのより詳しい情報を得られる。これにより、病変部の精査を支援でき、あるいは、マーク表示の妥当性を検証できる。また、マークが表示されていない状況下においても、超音波画像の内容を評価することが可能となる。

実施形態において、超音波画像は、現検査対象を表示する動画像である。一定条件を満たす病変部が検出された時点でマークが表示される。参照情報は、現検査対象に対する検出部の反応を示す参照画像であり、それは継続的に表示される動画像である。このように、超音波検査中に、超音波画像、マーク及び参照情報がリアルタイムで表示される。

超音波画像上に多数の情報又は多様な情報が表示されると、超音波画像の観察の妨げとなる。一方、現検査対象を総合的又は多面的に評価する上では、マーク以外のより詳しい情報を提供することが求められる。そこで、実施形態においては、超音波画像上にマークが表示され、超音波画像の近傍に参照情報が表示される。

実施形態において、参照情報生成部は、参照情報として、空間的な病変部確率分布を表す二次元マップを生成するマップ生成部を含む。二次元マップの観察を通じて病変部を詳しく評価することが可能となる。また、通知対象となっていない部位を評価することも可能となる。

実施形態において、出力情報に、マーク表示条件を満たす情報及びマーク表示条件を満たさない情報が含まれる場合において、マーク生成部は、マーク表示条件を満たす情報に基づいてマークを生成する。マップ生成部は、マーク表示条件を満たす情報及びマーク表示条件を満たさない情報に基づいて二次元マップを生成する。通常、マークは断続的に表示される。一方、二次元マップは継続的に表示される。

実施形態において、参照情報生成部は、参照情報として、時間的な病変部確率変化を表すグラフを生成するグラフ生成部を含む。グラフを参照することにより、病変部の検出頻度を認識でき、あるいは、病変部を探索し易くなる。複数のオブジェクト又は複数のクラスに対応した複数のグラフが表示されてもよい。

実施形態において、グラフ生成部は、フレームごとにフレーム内における病変部確率の代表値を特定し、複数のフレームから特定された複数の代表値に基づいてグラフを生成する。例えば、フレームごとの代表値は最大値である。フレームは、受信フレーム又は表示フレームである。

実施形態において、マーク生成部は、出力情報がマーク表示条件を満たす場合にマークを生成する。マーク表示条件には、出力情報により特定される病変部確率が閾値を超えることを求める条件が含まれる。グラフには、閾値を示す表示要素が含まれる。グラフ生成部は、閾値の変更に従って表示要素を変化させる。この構成によれば、複数の代表値を参照しながら閾値を設定できる。

実施形態において、参照情報生成部は、マップ生成部、及び、グラフ生成部を含む。マップ生成部は、空間的な病変部確率分布を表す二次元マップを生成する。グラフ生成部は、時間的な病変部確率変化を表すグラフを生成する。参照情報には、二次元マップ及びグラフが含まれる。この構成によれば、検査者のプローブ操作及び画像観察を総合的又は多面的に支援できる。

実施形態に係る超音波画像処理方法は、検出工程、マーク生成工程、参照情報生成工程、及び、表示工程を含む。検出工程では、超音波画像中の病変部を検出する検出処理が実行される。マーク生成工程では、検出処理の実行結果を表す出力情報に基づいて、病変部を通知するマークが生成される。参照情報生成工程では、出力情報に基づいて、マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報が生成される。表示工程では、超音波画像、マーク及び参照情報がリアルタイムで表示される。

上記の超音波画像処理方法は、ソフトウエアの機能として又はハードウエアの機能として実現される。上記の超音波画像処理方法を実行するプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされてもよい。情報処理装置の概念には、超音波診断装置、医療システム、コンピュータ、等が含まれる。情報処理装置は、非一時的記憶媒体を備える。

（２）実施形態の詳細
図１には、実施形態に係る超音波診断装置が示されている。超音波診断装置は、医療機関等において、被検者（生体）に対して超音波検査を実施するための医用装置である。実施形態に係る超音波診断装置は、以下に詳述するように、ＣＡＤｅ機能を備えており、すなわち、断層画像に含まれる病変部を自動的に検出し、病変部をマークによって通知する機能を備えている。

図１において、プローブ１０は、生体内へ超音波を送信し、生体内からの反射波を受信するデバイスである。プローブ１０は、より詳しくは、プローブヘッド、ケーブル及びコネクタにより構成される。プローブヘッドが検査者により保持される。プローブヘッドがプローブ１０の主要部であり、以下、プローブヘッドを端的にプローブ１０と称する。

プローブ１０内には、複数の振動素子からなる振動素子アレイが設けられている。振動素子アレイによって、超音波ビーム１１が形成され、その超音波ビーム１１が電子走査される。電子走査方式として、電子リニア走査方式、電子セクタ走査方式等が知られている。超音波ビーム１１の電子走査により、走査面１２が形成される。超音波ビーム１１を繰り返し電子走査することにより、走査面１２が繰り返し形成される。プローブ１０内に二次元振動素子アレイを設け、生体内からボリュームデータが取得されてもよい。

送受信部１３は、送信時において、振動素子アレイに対して複数の送信信号を並列的に供給する。これにより送信ビームが形成される。送受信部１３は、受信時において、振動素子アレイからの並列的に出力される複数の受信信号を処理する。その処理には、Ａ／Ｄ変換処理、整相加算（遅延加算）等が含まれる。

複数の受信信号の処理の結果、受信ビームデータが生成される。電子走査方向に並ぶ複数の受信ビームデータにより受信フレームデータが構成される。時間軸上に並ぶ複数の受信フレームデータにより受信フレームデータ列が構成される。個々の受信ビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。

画像形成部１４は、受信フレームデータ列に基づいて表示フレームデータ列を生成するモジュールである。画像形成部１４は、座標変換機能、画素補間機能、フレームレート調整機能、等を有する。画像形成部１４は、具体的には、デジタルスキャンコンバータ（ＤＳＣ）により構成される。各表示フレームデータが、静止画像としての断層画像に相当し、表示フレームデータ列が、動画像としての断層画像に相当する。断層画像以外の超音波画像が形成されてもよい。実施形態においては、表示フレームデータ列が、表示処理部１８に送られ、また、病変部検出部２２に送られている。

受信フレームデータ列がメモリ１６に一時的に格納されてもよい。同様に、表示フレームデータ列がメモリ２０に一時的に格納されてもよい。メモリ１６及びメモリ２０は、それぞれ、リングバッファ構造を有するシネメモリとして機能する。リアルタイム動作後のフリーズ状態（送受信停止状態）において、メモリ１６及びメモリ２０に格納されたフレームデータ列が読み出される。

病変部検出部２２は、機械学習型の物体検出器により構成される。詳しくは、病変部検出部２２は、ＣＮＮ等の物体検出ネットワーク（物体検出モデル）を備えており、その物体検出ネットワークは、直列に設けられた複数のレイヤ部を有する。複数のレイヤ部は、複数の検出工程を段階的に実行するものである。個々のレイヤ部は、１つ又は複数の畳み込みレイヤを含み、また、必要に応じて、１つ又は複数のプーリングレイヤを含む。複数の検出工程により一連の検出処理が構成される。なお、物体検出ネットワークとして、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎａｌ ＣＮＮ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、Ｍ２Ｄｅｔ、ＹＯＬＯ等が知られている。

病変部検出部２２に対して、１枚の断層画像を入力すると、その断層画像の特徴量が反映された出力情報が生成される。出力情報は、病変部の検出結果を表すものである。出力情報が後処理部２４及びマップ生成部３０へ送られている。

後処理部２４では、表示フレームごとに、最大値判定処理、及び、閾値処理が実行される。出力情報は、空間的な病変部確率分布を表す情報である。つまり、出力情報には、二次元配列された複数の病変部確率（病変部スコア）が含まれる。最大値判定処理では、複数の病変部確率の中の最大値が判定される。閾値処理では、判定された最大値が閾値と比較される。最大値が閾値を超える場合、病変部検出を示すマークの表示が判定される。最大値が閾値を下回る場合、マークは表示されない。

後処理部２４において、除外処理が適用されてもよい。例えば、除外処理において、誤検出に係る病変部が棄却されてもよい。最大値判定処理において判定された最大値がグラフ生成部２８に送られる。閾値処理後の最大値がマーク生成部２６へ送られる。

マーク生成部２６は、マーク表示条件が満たされた場合に（つまり最大値が閾値を超える場合に）、最大値に対応するセル情報に基づいて、病変部を囲む矩形の枠をマークとして生成する。マークはグラフィック要素である。マークを表す画像が表示処理部１８へ送られている。マーク生成を常時行い、病変部の表示が判定された時点で、マークが実際に描画されるようにしてもよい。いずれにしても、マーク表示条件が満たされた場合に、マークが画面上に登場する。

マップ生成部３０は、表示フレームごとに、出力情報に基づいて、空間的な病変部確率分布を示す二次元マップ（二次元カラーマップ）を生成する。時系列順で並ぶ複数の表示フレームに対応する複数の二次元マップにより、動画像としての二次元マップが構成される。動画像としての二次元マップを示す情報が表示処理部１８へ送られている。その二次元マップは、動画像としての断層画像に対応する動画像であり、超音波検査を支援する第１参照画像である。

グラフ生成部２８は、時系列順で並ぶ複数の最大値に基づいてグラフを生成する。そのグラフは、時間的な病変部確率変化を示す動画像であり、超音波検査を支援する第２参照画像である。複数の最大値は、複数の二次元マップを代表する複数の代表値である。複数の最大値以外の複数の代表値が用いられてもよい。例えば、複数の平均値が用いられてもよい。生成されたグラフを示すデータが表示処理部１８へ送られている。

なお、グラフ生成部２８により生成されるグラフには、複数の最大値を示す複数のバーに加えて、閾値を示すラインが含まれる。後述する制御部３４から、後処理部２４及びグラフ生成部２８に対して、現在設定されている閾値を示す情報が送られている。

表示処理部１８は、画像合成機能、カラー演算機能等を有している。表示処理部１８により、表示器３２の画面上に表示される表示画像が生成される。表示画像には、超音波画像としての断層画像、断層画像に重畳表示されるマーク、第１参照画像としての二次元マップ、及び、第２参照画像としてのグラフ、が含まれる。断層画像、マーク、二次元マップ、及び、グラフは、それぞれ、現在の検査対象に関する情報をリアルタイムで表示する動画像に相当する。なお、フリーズ状態において、断層画像、マーク、二次元マップ、及び、グラフが動画像又は静止画像として表示されてもよい。

制御部３４は、プログラムを実行するプロセッサ（例えばＣＰＵ）により構成される。制御部３４により、図１に示されている各構成要素の動作が制御される。画像形成部１４、表示処理部１８、病変部検出部２２、後処理部２４、マーク生成部２６、グラフ生成部２８、及び、マップ生成部３０が、それぞれ、プロセッサにより構成されてもよいし、それらが例えばＣＰＵが発揮する機能として実現されてもよい。

操作パネル３６は、複数のスイッチ、複数のつまみ、キーボード、トラックボール等を有する入力デバイスである。操作パネル３６を用いて上記の閾値が設定される。表示器３２は、例えば、液晶表示器、有機ＥＬ表示デバイスにより構成される。

図２には、表示画像の一例が示されている。表示画像４０は、表示器の画面上に表示されるものであり、それには、断層画像４２、二次元マップ４４、グラフ４６等が含まれている。

断層画像４２は白黒画像であり、断層画像４２上には、カラー図形としてのマーク４８が重畳表示されている。断層画像４２において、図示の例では、横軸は電子走査方向に対応しており、縦軸は深さ方向に対応している。断層画像４２内には、現時点で、病変部（腫瘤の断面像）５０が含まれ、マーク４８がその病変部５０を囲んでいる。マーク４８として、任意の図形を用い得るが、病変部の観察を妨げないように、マーク４８の形態やサイズが定められる。プローブの位置及び姿勢の変化に応じて断層画像４２の内容が大きく変化する。断層画像４２上に二次元血流像が合成表示されてもよい。

二次元マップ４４は、二次元空間における病変部確率分布を示すものである。二次元マップ４４は、断層画像４２が有する座標系に対応する座標系を有する。二次元マップ４４において、横軸は電子走査方向に対応しており、縦軸は深さ方向に対応している。二次元マップ４４は、断層画像４２が示している走査面と同じ走査面を示すものである。二次元マップ４４のサイズは、断層画像４２のサイズよりも小さく、二次元マップ４４は断層画像４２の縮小画像に相当する。二次元マップ４４においては、色相の変化によって病変部確率の変化が表現されている。符号５１は、断層画像４２内の病変部５０に対応する色相変化部分を示している。二次元マップ４４は動画像であり、プローブの位置及び姿勢の変化により、その内容が動的に変化する。

なお、断層画像４２においては、縦軸に沿って深さ目盛り５６が設けられている。これに対応して、二次元マップ４４においても、縦軸に沿って深さ目盛り５８が設けられている。

二次元マップ４４は、図示の例では、断層画像４２の右側に表示されているが、それが断層画像の左側、上側、又は、下側に表示されてもよい。断層画像４２と二次元マップ４４の同時観察の便宜を考慮すると、同じ画面内において、断層画像４２に重なることなく、断層画像４２の近傍に二次元マップを表示することが望まれる。

二次元マップ４４の近傍には、カラーバー５２が表示されている。カラーバー５２は、病変部確率の変化に対応する色相の変化を表したカラー見本である。図示の例では、カラーバー５２の長手方向が水平方向に平行になるようにカラーバー５２が表示されている。カラーバー５２の左端が病変部確率０．０に対応しており、その右端が病変部確率１．０に対応している。カラーバー５２上には、現在設定されている閾値を示すライン５５が表示されている。カラーバー５２の長手方向が垂直方向に平行になるようにカラーバー５２を表示してもよい。閾値を変更すると、それに連動してライン５５が水平方向へ運動する。

グラフ４６は、時間的な病変部確率変化を示すものである。グラフ４６において、横軸が時間軸に対応しており、縦軸が病変部確率を示している。グラフ４６は、表示フレームごとに特定されるバー６０により構成され、バー６０の高さが病変部確率を示している。具体的には、各バー６０の高さが表示フレーム内における病変部確率の最大値を示している。一定時間間隔ごとにバーが表示されてもよいし、時間軸方向に平滑化された最大値が曲線で表現されてもよい。インジケータ６２は、現時点を示している。インジケータ６２の表示位置は固定されているが、その表示位置を水平方向に走査してもよい。

グラフ４６には、複数のバー６０の他に、閾値ライン６４が含まれる。閾値ライン６４は、各時刻において設定された閾値を示すものである。インジケータ６６は、現在の閾値を示している。操作パネルを用いて閾値を変更した場合、それに連動してインジケータ６６が上下方向に運動する。インジケータ６６それ自体を操作することも可能であり、それを上下方向に運動させることにより、閾値を変更し得る。

図示の表示例では、二次元マップ４４の下側にボディマーク６８が表示され、また、プローブマーク７０が表示されている。実施形態において、診断対象組織は乳房であり、ボディマーク６８は乳房を模式的に表している。

マーク４８がオーバーレイされる断層画像と一緒に、二次元マップ４４及びグラフ４６をリアルタイムで表示することにより、検査者において、病変部を総合的又は多面的に評価することが可能となる。例えば、二次元マップ４４の観察を通じて、マーク４８によって通知された病変部についての詳しい確率分布を認識することが可能となり、あるいは、マーク表示条件を満たさない他の病変部の存在を認識することが可能となる。また、グラフ４６の観察を通じて、病変部検出の頻度を認識でき、それをプローブ操作に役立てることが可能となる。通知対象とならない病変部の出現を認識することも容易である。

図３には、病変部の検出処理及びそれに関連する幾つかの処理が模式的に示されている。病変部検出部２２においては、複数の検出工程からなる検出処理が実行される。複数の検出工程は、図３において、時系列順で並ぶ複数のレイヤ部において実行される。複数のレイヤ部は、学習済みネットワークに相当する。

具体的には、図３においては、レイヤ部Ｌ１～Ｌ５を含む複数のレイヤ部が示されている。各レイヤ部には、１又は複数のコンボリューションレイヤが含まれ、また、必要に応じて、１又は複数のプーリングレイヤが含まれる。

レイヤ部Ｌ１が入力レイヤ部であり、それには入力画像としての断層画像７６が入力される。図示の構成例において、複数のレイヤ部の中には、Ｍ個の出力レイヤ部が含まれる。Ｍ個の出力レイヤ部からＭ個の出力マップ７８－１～７８－Ｍが出力される。Ｍは１以上の整数であり、例えば、Ｍが２又は３であってもよい。Ｍ個の出力マップ７８－１～７８－Ｍにより、出力情報７７が構成される。Ｍ個の出力マップ７８－１～７８－Ｍは、病変部サイズに依って互いに異なる応答を呈する。出力マップ７８－１は、大きなサイズを有する病変部に大きく応答し、それ故、大きなサイズを有する病変部の検出結果を表しやすいものである。出力マップ７８－Ｍは、小さなサイズを有する病変部に大きく応答し、それ故、小さなサイズを有する病変部の検出結果を表しやすいものである。個々の出力マップ７８－１～７８－Ｍは、二次元配列された複数のセル７９－１～７９－Ｍにより構成される。個々のセル７９－１～７９－Ｍは、特定の座標に対応付けられたセル情報を有する。

図３の右上に、セル情報の例が示されている。図示されたセル情報８０は、例えば、検出した病変部の中心座標を特定するＸ座標８２及びＹ座標８４、検出した病変部の横幅Ｗを示す情報８６、検出した病変部の高さ（縦幅）Ｈを示す情報８８、病変部が特定のクラスに該当する確率を示すオブジェクトスコア（ＯＳ）９０、等を含む。個々のセルごとに、ｎ個のクラスに対応するｎ個のセル情報が生成されてもよい。

後処理部２４には、最大値判定部７２及び閾値処理部７４が含まれる。最大値判定部７２において、表示フレームごとに、出力情報７７（つまり、複数の出力マップ７８－１～７８－Ｍ）の中から、最大のオブジェクトスコアが最大値として特定される。閾値処理部７４では、特定された最大値が閾値と比較される。最大値が閾値を超える場合には、マーク生成部２６がマークを生成する。最大値が閾値に達しない場合には、マークが生成されない。なお、最大値の判定に代えて、上位Ｋ個のオブジェクトスコアを判定する処理が実行されてもよい。その場合、上位Ｋ個のオブジェクトスコアに基づいて最大Ｋ個のマークが同時に生成される。Ｋは２以上の整数である。但し、グラフの生成に当たっては最大値が参照される。

グラフ生成部２８は、表示フレームごとの最大値をバーで表現し、これを繰り返すことによりグラフを生成する。時系列順の複数の最大値を示すグラフに代えて、時系列順の複数の平均値を示すグラフが生成されてもよい。最大値を示すグラフに対して移動平均処理等が適用されてもよい。生成されたグラフには、マーク表示条件を満たさない最大値を示すバーも含まれ得る。

図３に示す例では、出力情報７７（つまり複数の出力マップ７８－１～７８－Ｍ）がそのままマップ生成部３０に送られている。実施形態においては、マップ生成部３０は、出力情報７７に基づいて、二次元マップを生成している。具体的には、個々のセルから取り出されるオブジェクトスコアつまり病変部確率がカラーに変換されている。変換されたカラーが二次元空間にマッピングされている。複数の出力マップ７８－１～７８－Ｍのサイズは互いに異なっているが、それらは共通の座標系を有している。その共通の座標系に対して各カラーがマッピングされる。出力情報７７の中の一部がマッピング対象とされてもよい。

出力情報７７に、マーク表示条件を満たす情報及びマーク表示条件を満たさない情報が含まれる場合、マーク生成部２６は、マーク表示条件（最大値条件及び閾値条件）を満たす情報のみに基づいてマークを生成する。一方、マップ生成部３０は、マーク表示条件を満たす情報及びマーク表示条件を満たさない情報の両方に基づいて二次元マップを生成する。グラフ生成部２８は、最大値条件を満たす情報のみに基づいてグラフを生成する。

なお、複数の出力マップ７８－１～７８－Ｍの生成に際して、検出処理の途中から取り出された特徴マップ９２，９４が利用されてもよい。

図４には、二次元マップの第１生成例が示されている。中間情報１００において、図示の例では、２つの座標１０２，１０４でそれぞれ病変部が検出されている。実際には、１つの表示フレーム内において、例えば、数十個又数百個の座標で病変部が検出される。

座標１０２での病変部確率は（０．８）であり、座標１０４での病変部確率は（０．４）である。座標１０２で検出された病変部のサイズが符号１０２Ａで示されており、座標１０４で検出された病変部のサイズが符号１０４Ａで示されている。

第１生成例では、病変部確率がカラーコードに変換される。例えば、座標１０２での病変部確率（０．８）がカラーコード（２０４）に変換され、座標１０４での病変部確率（０．４）がカラーコード（１２０）に変換される。符号１０６は、変換後の情報を示している。各カラーコードに対応するカラー（Ｒ値，Ｇ値，Ｂ値）を二次元空間にマッピングすることにより、二次元マップ１０８が生成される。二次元マップ１０８の生成過程において縮小処理及び拡大処理が実行されてもよい。カラーマッピング後に補間処理や平滑化処理が適用されてもよい。

図５には、二次元マップの第２生成例が示されている。既に説明した中間情報１００が次のように処理される。座標１０２で特定されたサイズ１０２Ａに基づいて一定の広がりを有する局所領域１０２Ｂが定義され、同様に、座標１０４で特定されたサイズ１０４Ａに基づいて一定の広がりを有する局所領域１０４Ｂが定義される。局所領域１０２Ｂ，１０４Ｂは、例えば、サイズ１０２Ａ，１０４Ａを縮小することにより生成され得る。

座標１０２での病変部確率（０．８）がカラーコード（２０４）に変換され、そのカラーコードが局所領域１０２Ｂの全体に対して割り当てられる。同様に、座標１０４での病変部確率（０．４）がカラーコード（１２０）に変換され、そのカラーコードが局所領域１０４Ｂの全体に対して割り当てられる。このように構成された情報１１０に基づいて、各カラーコードに対応するカラー（Ｒ値，Ｇ値，Ｂ値）を二次元空間にマッピングすることにより、二次元マップ１１２が生成される。

なお、第２生成例において、サイズ１０２Ａ，１０４Ａをそのまま局所領域１０２Ｂ，１０４Ｂとして用いてもよい。

図６には、カラー変換の一例が示されている。符号１１４は、カラー変換関数セットを示している。カラー変換関数セット１１４は、具体的には、Ｂ変換関数１１８Ｂ、Ｇ変換関数１１８Ｇ及びＲ変換関数１１８Ｒにより構成される。横軸はカラーインデックスを示しており、それは病変部スコアに相当する。縦軸は相対輝度を示している。図６には、各カラーインデックスにより定義されるカラーを表現したカラーバー１１６が示されている。図６に示すカラー変換関数セット１１４は、一例に過ぎないものであり、多様なカラー変換関数セットつまり多様なカラーバーを採用し得る。病変部スコアをグレースケール表現することも可能である。

図７には、グラフの変形例が示されている。グラフ１２０は、病変部確率を示す複数のバーにより構成される。インデックス１２２は現在の時刻を示している。閾値ライン１２６には段差が生じている。その段差は閾値変更を意味している。段差よりも時間的に古い部分１２６Ｂは、相対的に見て高い閾値を示しており、段差よりも時間的に新しい部分１２６Ａは、相対的に見て低い閾値を示している。インデックス１２４を上下運動させて現在の閾値を変更し得る。閾値の変更により閾値ライン１２６の形態が変化する。

例えば、シネメモリに格納されたフレームデータ列に基づいて、断層画像、二次元マップ及びグラフが生成され、それらが表示されてもよい。その場合において、それらの画像が動画像としてではなく、過去の特定タイミングに対応付けられた静止画像として表示されてもよい。その場合において、過去の特定タイミングが要素１２８により指定されてもよい。要素１２８は、グラフ１２０の横軸に沿って運動するマークである。例えば、病変部が検出された過去の特定の時点が、要素１２８によって指定されてもよい。

図８には、表示画像の他の例が示されている。表示画像４０Ａには、断層画像４２、二次元マップ４４Ａ、グラフ４６Ａ，４６Ｂ、等が含まれる。断層画像４２には、病変部５０が含まれ、それを通知するマーク４８が重畳表示されている。この他の例では、２種類の病変部（例えば、腫瘤及び非腫瘤）が検出対象となっており、それぞれの病変部ごとに病変部確率つまり病変部スコアが演算されている。

二次元マップ４４Ａにおいては、例えば、第１病変部確率が青系の色相の輝度で表現され、第２病変部確率が赤系の色相の輝度で表現される。第１病変部確率と青系の色相の輝度の関係が第１カラーバー５２Ａによって表現されており、第２病変部確率と赤系の色相の輝度の関係が第２カラーバー５２Ｂによって表現されている。それぞれのカラーバー５２Ａ，５２Ｂ上には、閾値を示すライン５５Ａ，５５Ｂが表示されている。

第１病変部確率分布を示す第１二次元マップと第２病変部確率分布を示す第２二次元マップとが別々に生成及び表示されてもよい。断層画像４２上においては、第１病変部及び第２病変部が区別なく同じマーク４８によって特定されているが、病変部種別ごとに異なるマーカーが表示されてもよい。

第１グラフ４６Ａは、第１病変部確率（最大値）の時間的変化を示すものである。第２グラフ４６Ｂは、第２病変部確率（最大値）の時間変化を示すものである。第１グラフ４６Ａには、閾値を示す表示要素としてのライン６４Ａが含まれ、第２グラフ４６Ｂには、閾値を示す表示要素としてのライン６４Ｂが含まれる。

上記の実施形態によれば、検査支援情報として、マークに加えて、二次元マップ及びグラフが表示される。二次元マップ及びグラフは、マーク表示の有無にかかわらず表示されるものである。よって、検査者は、表示されたそれらの情報の観察を通じて、現検査対象についてのより詳しい情報を得られる。これにより、マーク表示を通じて通知された病変部の精査を支援でき、あるいは、マーク表示の妥当性を検証できる。また、マークが表示されてない状況下において現検査対象を評価することが可能となる。

１０ プローブ、１４ 画像形成部、２２ 病変部検出部、２４ 後処理部、２６ マーク生成部、２８ グラフ生成部、３０ マップ生成部、４２ 断層画像、４４ 二次元マップ、４６ グラフ、４８ マーク、５２ カラーバー。

Claims (12)

1. 超音波画像中の病変部を検出する検出処理を実行する検出部と、
   前記検出部の出力情報に基づいて、前記病変部を通知するマークを生成するマーク生成部と、
   前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する参照情報生成部と、
   前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する表示器と、
   を含むことを特徴とする超音波診断装置。
2. 請求項１記載の超音波診断装置において、
   前記超音波画像上に前記マークが表示され、
   前記超音波画像の近傍に前記参照情報が表示される、
   ことを特徴とする超音波診断装置。
3. 請求項１記載の超音波診断装置において、
   前記参照情報生成部は、前記参照情報として、前記空間的な病変部確率分布を表す二次元マップを生成するマップ生成部を含む、
   ことを特徴とする超音波診断装置。
4. 請求項３記載の超音波診断装置において、
   前記出力情報にマーク表示条件を満たす情報及び前記マーク表示条件を満たさない情報が含まれる場合において、前記マーク生成部は前記マーク表示条件を満たす情報に基づいて前記マークを生成し、前記マップ生成部は前記マーク表示条件を満たす情報及び前記マーク表示条件を満たさない情報に基づいて前記二次元マップを生成する、
   ことを特徴とする超音波診断装置。
5. 請求項１記載の超音波診断装置において、
   前記参照情報生成部は、前記参照情報として、前記時間的な病変部確率変化を表すグラフを生成するグラフ生成部を含む、
   ことを特徴とする超音波診断装置。
6. 請求項５記載の超音波診断装置において、
   前記グラフ生成部は、
   フレームごとにフレーム内における病変部確率の代表値を特定し、
   複数のフレームから特定された複数の代表値に基づいて前記グラフを生成する、
   ことを特徴とする超音波診断装置。
7. 請求項６記載の超音波診断装置において、
   前記フレームごとの前記代表値は最大値である、
   ことを特徴とする超音波診断装置。
8. 請求項５記載の超音波診断装置において、
   前記マーク生成部は、前記出力情報がマーク表示条件を満たす場合に前記マークを生成し、
   前記マーク表示条件には、前記出力情報により特定される病変部確率が閾値を超えることを求める条件が含まれ、
   前記グラフには、前記閾値を示す表示要素が含まれる、
   ことを特徴とする超音波診断装置。
9. 請求項８記載の超音波診断装置において、
   前記グラフ生成部は、前記閾値の変更に従って前記表示要素を変化させる、
   ことを特徴とする超音波診断装置。
10. 請求項１記載の超音波診断装置において、
    前記参照情報生成部は、
    前記空間的な病変部確率分布を表す二次元マップを生成するマップ生成部と、
    前記時間的な病変部確率変化を表すグラフを生成するグラフ生成部と、
    を含み、
    前記参照情報には前記二次元マップ及び前記グラフが含まれる、
    ことを特徴とする超音波診断装置。
11. 超音波画像中の病変部を検出する検出処理を実行する工程と、
    前記検出処理の実行結果を表す出力情報に基づいて、前記病変部を通知するマークを生成する工程と、
    前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する工程と、
    前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する工程と、
    を含むことを特徴とする超音波画像処理方法。
12. 情報処理装置において実行されるプログラムであって、
    超音波画像中の病変部を検出する検出処理を実行する機能と、
    前記検出処理の実行結果を表す出力情報に基づいて、前記病変部を通知するマークを生成する機能と、
    前記出力情報に基づいて、前記マークとは別の検査支援情報として、空間的な病変部確率分布及び時間的な病変部確率変化の内の少なくとも一方を表す参照情報を生成する機能と、
    前記超音波画像、前記マーク及び前記参照情報をリアルタイムで表示する機能と、
    を含むことを特徴とするプログラム。
    

Images