JP2019000315A - 超音波診断装置、及び医用画像処理装置 - Google Patents

Abstract

【課題】 対象とする疾患近辺の超音波画像に類似する過去画像の検索を、正確、かつ、効率的に行うことを可能とすることにある。
【解決手段】 実施形態によれば、超音波診断装置は、取得部、算出部、画像抽出部、及び表示制御部を具備する。取得部は、ボディマーク、プローブマーク、及びアノテーションのうち、少なくとも一つを含む付帯情報が画像情報として付された第１の画像を取得する。算出部は、前記第１の画像に付された前記付帯情報を画像認識することにより、当該第１の画像について、撮像位置を特定するための位置特定情報を算出する。画像抽出部は、過去に取得された複数の第２の画像の中から、前記算出された位置特定情報と対応する位置特定情報を含む付帯情報が付された第３の画像を抽出する。表示制御部は、前記第３の画像を表示する。
【選択図】 図１

Description

本発明の実施形態は、超音波診断装置、及び医用画像処理装置に関する。

超音波画像を観察している際に、過去に同じ位置から撮影した類似画像を読み出して、超音波画像と読み出した類似画像とを比較したいというニーズがある。

類似画像を読み出す方法としては、第１の方法として、例えば超音波画像の画素値に基づく画素値分布同士を比較して、類似する内容の過去画像を抽出する方法が挙げられる。しかしながら、比較対象となる超音波画像の画素値分布は、体内の同じ場所を撮影していたとしてもプローブの当て方や撮像パラメータによって異なってしまう場合があり、検出確度が絶対ではない。さらに、画素値に基づく画像特徴量同士の比較により類似画像を抽出する処理は、計算に要する負荷が大きく、過去画像の量が膨大になると多くの処理時間を要する。

また、第２の方法として、例えば超音波画像に付された、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）タグ等の付帯情報を参照して、類似する付帯情報を持つ過去画像を抽出する方法が挙げられる。第２の方法では、例えばボディマーク毎に割り当てられるボディマークＩＤ、又は検査部位を比較することにより、類似画像が抽出される。しかしながら、ボディマークＩＤの割り当て方法は、メーカーや製品のバージョンにより異なるため、比較対象となる過去画像に異なるメーカー、及び異なる製品のバージョンのボディマークＩＤが含まれる場合には対応できない。また、検査部位が同じでも、実際の撮像位置が異なれば、超音波画像としては同じ撮像部位を撮像しているとは限らない。

このように、上記画素値に基づく画像特徴量同士を比較する方法、及び付帯情報を比較する方法では、検索精度、及び検索効率の観点から問題がある。

特開２０１５−００８７７５号公報

本実施形態の目的は、対象とする疾患近辺の超音波画像に類似する過去画像の検索を、正確、かつ、効率的に行うことを可能とすることにある。

実施形態によれば、超音波診断装置は、取得部、算出部、画像抽出部、及び表示制御部を具備する。取得部は、ボディマーク、プローブマーク、及びアノテーションのうち、少なくとも一つを含む付帯情報が画像情報として付された第１の画像を取得する。算出部は、前記第１の画像に付された前記付帯情報を画像認識することにより、当該第１の画像について、撮像位置を特定するための位置特定情報を算出する。画像抽出部は、過去に取得された複数の第２の画像の中から、前記算出された位置特定情報と対応する位置特定情報を含む付帯情報が付された第３の画像を抽出する。表示制御部は、前記第３の画像を表示する。

図１は、第1の実施形態に係る超音波診断装置の構成を示す図である。 図２は、第１の実施形態に係る超音波診断装置が超音波画像データにサンプルモデルを関連付ける際の制御回路の動作を示すフローチャートである。 図３は、第１の実施形態に係る表示機器に表示されるボディマーク領域が含まれる超音波画像を表す図である。 図４は、第１の実施形態に係るサンプルモデル情報に登録されるサンプルモデルを説明するための図である。 図５は、第１の実施形態に係る超音波診断装置がサンプルモデルを人体モデルへ対応付ける具体的方法を説明するための図である。 図６は、第１の実施形態に係る超音波診断装置がサンプルモデルに係るボディマークに含まれるプローブマークの形状に基づいて撮像情報を算出する具体的方法を説明するための図である。 図７は、第１の実施形態に係る超音波診断装置がプローブマークを人体モデルへ対応付ける具体的方法を説明するための図である。 図８は、第１の実施形態に係る超音波診断装置が、取得された超音波画像データに係る超音波画像に類似する過去画像を検索する際の制御回路の動作を示すフローチャートである。 図９は、第１の実施形態に係る超音波診断装置がプローブマークをサンプルモデル及び人体モデルへ対応付ける具体的方法を説明するための図である。 図１０は、第２の実施形態に係る超音波診断装置の構成を示す図である。 図１１は、第２の実施形態に係る超音波診断装置が、指定されたサンプルプローブマークに類似するサンプルプローブマークを有する過去画像を検索する際の制御回路の動作を示すフローチャートである。 図１２は、第２の実施形態に係る表示機器に表示される人体モデルを示す図である。 図１３は、第３の実施形態に係る超音波診断装置の構成を示す図である。 図１４は、第３の実施形態に係る超音波診断装置が、取得された超音波画像データに係る超音波画像に類似する過去画像を検索する際の制御回路の動作を示すフローチャートである。

以下、実施の形態について、図面を参照して説明する。

［第１の実施形態］
第１の実施形態に係る超音波診断装置１を図１のブロック図を参照して説明する。

図１に示されるように、超音波診断装置１は、装置本体１０、超音波プローブ７０、位置センサシステム３０、表示機器５０、及び入力装置６０を備える。装置本体１０は、ネットワーク１００を介して外部装置４０と接続される。また、装置本体１０は、位置センサシステム３０、表示機器５０、及び入力装置６０と接続される。

位置センサシステム３０は、超音波プローブ７０及び超音波画像の３次元の位置情報を取得するためのシステムである。位置センサシステム３０は、位置センサ３１と位置検出装置３２とを備える。

位置センサシステム３０は、例えば、磁気センサ、赤外線センサまたは赤外線カメラ用のターゲット等を位置センサ３１として超音波プローブ７０に装着させることで、超音波プローブ７０の３次元の位置情報を取得する。なお、超音波プローブ７０にジャイロセンサ（角速度センサ）を内蔵させ、このジャイロセンサにより超音波プローブ７０の３次元の位置情報を取得してもよい。また、位置センサシステム３０は、超音波プローブ７０をカメラで撮影し、撮影した画像を画像認識処理することにより超音波プローブ７０の３次元の位置情報を取得してもよい。また、位置センサシステム３０は、超音波プローブ７０をロボットアームで保持し、ロボットアームの３次元空間の位置を超音波プローブ７０の位置情報として取得してもよい。

以下では、位置センサシステム３０が磁気センサを用いて超音波プローブ７０の位置情報を取得する場合を例に説明する。具体的には、位置センサシステム３０は、例えば磁気発生コイルなどを有する磁気発生器（図示せず）をさらに含む。磁気発生器は、磁気発生器自身を中心として、外側に向かって磁場を形成する。形成された磁場には、位置精度が保証される磁場空間が定義される。よって、磁気発生器の配置は、検査の対象となる生体が、位置精度が保証される磁場空間内に包含されるように配置されればよい。超音波プローブ７０に装着される位置センサ３１は、磁気発生器によって形成される３次元の磁場の強度及び傾きを検出する。これにより、超音波プローブ７０の位置と方向とを取得することができる。位置センサ３１は、検出した磁場の強度及び傾きを位置検出装置３２へ出力する。

位置検出装置３２は、位置センサ３１で検出された磁場の強度及び傾きに基づき、例えば、所定の位置を原点とした３次元空間における超音波プローブ７０の位置（スキャン面の位置（ｘ，ｙ，ｚ）及び回転角度（θｘ，θｙ，θｚ））を算出する。このとき、所定の位置は、例えば、磁気発生器が配置される位置とする。位置検出装置３２は、算出した位置（ｘ，ｙ，ｚ，θｘ，θｙ，θｚ）に関する位置情報を装置本体１０へ送信する。

なお、上述のように取得した位置情報と超音波プローブ７０から送受信された超音波の超音波画像データとを時刻同期などで対応付けることにより、超音波画像データに位置情報を付与することができる。

超音波プローブ７０は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ７０は、装置本体１０と着脱自在に接続される。複数の圧電振動子は、装置本体１０が有する超音波送信回路１１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ７０には、後述するオフセット処理や、超音波画像のフリーズなどの際に押下されるボタンが配置されてもよい。

超音波プローブ７０から生体Ｐに超音波が送信されると、送信された超音波は、生体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ７０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。超音波プローブ７０は、生体Ｐからの反射波信号を受信して電気信号に変換する。

図１に示される装置本体１０は、超音波プローブ７０が受信した反射波信号に基づいて超音波画像を生成する装置である。装置本体１０は、図１に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１６、内部記憶回路１７、画像メモリ１８（シネメモリ）、画像データベース１９、入力インタフェース回路２０、通信インタフェース回路２１及び制御回路２２を含む。

超音波送信回路１１は、超音波プローブ７０に駆動信号を供給するプロセッサである。超音波送信回路１１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、制御回路２２の制御の下、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ７０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、制御回路２２の制御の下、レートパルスに基づくタイミングで、超音波プローブ７０に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。

超音波受信回路１２は、超音波プローブ７０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、及び加算器等により実現される。アンプ回路は、超音波プローブ７０が受信した反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。

Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

ドプラ処理回路１４は、超音波受信回路１２から受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理回路１４は、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（ドプラデータ）を生成する。生成されたドプラデータは、２次元的な超音波走査線上のドプラＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

３次元処理回路１５は、Ｂモード処理回路１３、及びドプラ処理回路１４により生成されたデータに基づき、ボリュームデータ（３次元画像データ）を生成可能なプロセッサである。

３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ−ボクセル変換を実行することで、所望の範囲のボクセルから構成されるボリュームデータを生成する。

また、３次元処理回路１５は、発生したボリュームデータに対してレンダリング処理を施し、レンダリング画像データを生成する。

表示処理回路１６は、各種画像を表示機器５０に表示するプロセッサである。表示処理回路１６は、座標変換処理等により、表示画像としての超音波画像データを生成する。座標変換処理とは、例えば、Ｂモードデータ、及びドプラデータからなる超音波走査の走査線の信号列を、テレビ等に代表される一般的なビデオフォーマットの走査線信号列であるビデオ信号に変換する処理である。生成された超音波画像データには、入力インタフェース回路を介し、所定のボディマーク及び当該ボディマーク上に設定される少なくとも１つのサンプルプローブマークが付される。そして、ボディマーク及び当該ボディマーク上に設定される少なくとも１つのサンプルプローブマークが付された超音波画像データは、例えばＤＩＣＯＭ（digital imaging and communication in medicine）規格に準拠したフォーマットに変換され、例えば画像データベース１９に記憶される。

表示処理回路１６は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに基づいてＢモード画像データを生成する。Ｂモード画像データは、音波の集束などの超音波プローブの特性や超音波ビーム（例えば、送受信ビーム）の音場特性などが反映された画素値（輝度値）を有する。例えば、Ｂモード画像データにおいて、被走査領域において超音波のフォーカス付近では、非フォーカス部分よりも相対的に高輝度となる。表示処理回路１６は、生成したＢモード画像データを表示機器５０に超音波画像として表示させる。

また、表示処理回路１６は、ＲＡＷデータメモリに記憶されたドプラＲＡＷデータに基づいて、平均速度画像、分散画像、パワー画像等に係るドプラ画像データを生成する。表示処理回路１６は、生成したドプラ画像データを表示機器５０に超音波画像として表示させる。

また、表示処理回路１６は、３次元処理回路１５において生成された各種画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正、及びＲＧＢ変換などの各種処理を実行することで、画像データをビデオ信号に変換する。表示処理回路１６は、ビデオ信号を表示機器５０に超音波画像として表示させる。

なお、表示処理回路１６は、操作者（例えば、術者）が入力インタフェース回路２０により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示機器５０に表示させてもよい。表示機器５０としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

内部記憶回路１７は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶回路１７は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶回路１７は、本実施形態に係る各種機能を実現するための制御プログラムを記憶している。また、内部記憶回路１７は、診断情報（例えば、患者ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位ごとに予め設定する変換テーブルなどのデータ群を記憶している。また、内部記憶回路１７は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。

また、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で生成されたボリュームデータ、及びレンダリング画像データを記憶する。なお、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で生成したボリュームデータ、及びレンダリング画像データを、操作順番及び操作時間を含めて記憶してもよい。内部記憶回路１７は、記憶しているデータを、通信インタフェース回路２１を介して外部装置へ転送することも可能である。

また、内部記憶回路１７は、ボディマークに関するサンプルモデル情報１７１を記憶する。サンプルモデル情報１７１は、超音波画像に画像情報として付されているボディマークを、過去画像を検索する際の検索キーとして用いるためにボディマーク毎に規格化した情報（以下、サンプルモデルと称する）の集合体である。サンプルモデル情報１７１に含まれるそれぞれのサンプルモデルには、例えば、ボディマークの形状を表す画像データ、ボディマークが付された超音波画像に係る画像の位置、及び画像の向き等が含まれる。ボディマークの形状を表す画像データに係る画像には、当該ボディマーク上で設定された少なくとも１つのプローブマークを表す画像が含まれている。

画像の位置及び画像の向きは、それぞれ超音波画像の撮像位置を特定するための情報の１つである。撮像位置を特定するための情報とは、超音波画像データに付された付帯情報に含まれる情報、又は／及び、当該超音波画像データに基づく超音波画像を画像認識して得られる情報である。撮像位置を特定するための情報は、例えば実際に超音波画像が撮像された際の撮像位置が類似しているかという観点から、過去画像データに基づく過去画像を検索するためのキーとして用いられる。

画像の位置は、被検体のどの位置（部位）を撮像したかを表す。画像の位置は、例えば、検査部位が特定可能な解剖学的部位の名称で表されてもよいし、所定の基準位置を原点とした座標で表されてもよい。画像の向きは、被検体が向いている方向によって定義される。画像の向きは、例えば、被検体の前頭面が向いている方向を示す単位ベクトルである法線ベクトルで表される。なお、画像の位置、及び画像の向きは、例えば、超音波画像に係る超音波画像データに付帯された、例えばＤＩＣＯＭタグ等の付帯情報に含まれている。

また、内部記憶回路１７は、人体全身の解剖学的構造を表す人体モデルを記憶する。人体モデルは、例えば複数の検査部位を構成要素として含む解剖学的マップ、又は３次元座標情報を含む３Ｄ画像データ等である。

画像メモリ１８は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１８は、入力インタフェース回路２０を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１８に記憶されている画像データは、例えば、連続表示（シネ表示）される。

画像データベース１９は、外部装置４０から転送される画像データを記憶する。例えば、画像データベース１９は、過去の診察において取得された同一患者に関する過去画像データを、外部装置４０から取得して記憶する。過去画像データには、超音波画像データ、ＣＴ（Computed Tomography）画像データ、ＭＲ画像データ、ＰＥＴ（Positron Emission Tomography）−ＣＴ画像データ、ＰＥＴ−ＭＲ画像データ及びＸ線画像データが含まれる。また、過去画像データは、例えば３次元ボリュームデータ、及びレンダリング画像データとして記憶されている。

なお、画像データベース１９は、ＭＯ、ＣＤ−Ｒ、ＤＶＤなどの記録媒体（メディア）に記録された画像データを読み込むことで、所望の画像データを格納してもよい。

入力インタフェース回路２０は、入力装置６０を介して、操作者からの各種指示を受け付ける。入力装置６０は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネル及びタッチコマンドスクリーン（ＴＣＳ）である。入力インタフェース回路２０は、例えばバスを介して制御回路２２に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御回路２２へ出力する。なお、本明細書において入力インタフェース回路２０は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御回路２２へ出力する電気信号の処理回路も入力インタフェース回路２０の例に含まれる。

通信インタフェース回路２１は、位置センサシステム３０と例えば無線により接続し、位置検出装置３２から送信される位置情報を受信する。また、通信インタフェース回路２１は、ネットワーク１００等を介して外部装置４０と接続され、外部装置４０との間でデータ通信を行う。外部装置４０は、例えば、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication System）のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置４０は、例えば、Ｘ線ＣＴ装置、及びＭＲＩ（Magnetic Resonance Imaging）装置、核医学診断装置、及びＸ線診断装置等、本実施形態に係る超音波診断装置１以外の各種医用画像診断装置である。なお、外部装置４０との通信の規格は、如何なる規格であっても良いが、例えば、ＤＩＣＯＭが挙げられる。

制御回路２２は、例えば、超音波診断装置１の中枢として機能するプロセッサである。制御回路２２は、内部記憶回路１７に記憶されている動作プログラムを実行することで、この動作プログラムに対応する機能を実現する。具体的には、制御回路２２は、画像認識機能２２１、サンプルモデル登録機能２２３、マッピング機能２２５、類似度算出機能２２７、類似画像抽出機能２２９、表示制御機能２３１、及びシステム制御機能２３３を有する。

画像認識機能２２１は、所定の付帯情報が画像情報として付された超音波画像等を画像認識し、必要な情報を取得する機能である。画像認識機能２２１が実行されると、制御回路２２は、ボディマークが付された超音波画像を所定の画像認識手法により画像認識する。制御回路２２は、超音波画像から、ボディマークの形状を含む領域をボディマークの形状を表す画像データとして抽出する。

また、制御回路２２は、所定の画像認識手法によりプローブマーク領域が含まれるボディマーク領域を画像認識する。例えば、制御回路２２は、ボディマークに対するプローブマークの相対的な位置を認識する。また、制御回路２２は、抽出したボディマークの形状を含む領域から、プローブマークの形状を含む領域をプローブマークの形状を表す画像データとして抽出する。制御回路２２は、認識したボディマークに対するプローブマークの相対的な位置、及び抽出したプローブマークの形状を表す画像データに基づいて超音波プローブに関する撮像情報を算出する。

撮像情報は、超音波画像の撮像位置を特定するための情報の１つである。撮像情報には、プローブの中心位置、プローブの向き、及び超音波プローブの扇ぎ方向を示す撮像方向等が含まれる。プローブの中心位置は、例えば、ボディマークの所定の位置を原点とした直交座標系で表されるプローブの重心の位置を表す。プローブの向きは、例えば、ボディマークの所定の位置を原点とした直交座標系の所定の軸を基準としたプローブマークの傾きを表す。撮像方向は、例えば、被検体の体表面から被検体内の撮像対象への撮像角度、例えば煽り角を表す。撮像方向は、ボディマークに係る画像の向きとプローブの向きとの相対的な方向関係によって算出される。

サンプルモデル登録機能２２３は、画像認識機能２２１により抽出されたボディマークの形状を表す画像データに、必要な情報を関連付けてサンプルモデル情報１７１に登録する機能である。サンプルモデル登録機能２２３が実行されると、制御回路２２は、画像認識機能２２１により抽出されたボディマークの形状を表す画像データに、画像の位置及び画像の向きを関連付ける。制御回路２２は、この画像の位置及び画像の向きが関連付けられた画像データを、サンプルモデルとして、内部記憶回路１７に記憶されたサンプルモデル情報１７１に登録する。

マッピング機能２２５は、サンプルモデル及びプローブマーク等を、所定の人体モデルに対応付ける機能である。マッピング機能２２５が実行されると、制御回路２２は、サンプルモデルを、サンプルモデルに含まれるボディマークの形状を表す画像データ、画像の位置及び画像の向きに基づいて、内部記憶回路１７に記憶された人体モデルに対応付ける。これにより、人体モデル上におけるサンプルモデルの位置が定まる。人体モデル上におけるサンプルモデルの位置は、超音波画像の撮像位置を特定するための情報の１つである。

また、制御回路２２は、プローブマークを、当該プローブマークの形状を表す画像データから算出される撮像情報に基づいて、内部記憶回路１７に記憶された人体モデルに対応付ける。これにより、人体モデル上におけるプローブマークの位置が定まる。人体モデル上におけるプローブマークの位置は、超音波画像の撮像位置を特定するための情報の１つである。

類似度算出機能２２７は、超音波画像に関する類似度を算出する機能である。類似度算出機能２２７が実行されると、制御回路２２は、検索のキー画像となる超音波画像に係る
人体モデル上におけるサンプルモデルの位置、及び画像の向きと、過去画像データに基づく過去画像に係る人体モデル上におけるサンプルモデルの位置、及び画像の向きとを比較し、所定の評価関数を用いてボディマークに関する類似度をサンプルモデル毎に算出する。

また、類似度算出機能２２７が実行されると、制御回路２２は、画像認識機能２２１により算出される検索のキー画像となる超音波画像に係るサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報と、過去画像データに関連付けられたサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報とを比較し、所定の評価関数を用いてサンプルモデルに関する類似度を過去画像データ毎に算出する。

また、類似度算出機能２２７が実行されると、制御回路２２は、例えば超音波画像の画素値に基づく画像特徴量と過去画像データに基づく過去画像の画素値に基づく画像特徴量とを比較し、所定の評価関数を用いて画像特徴量に関する類似度を過去画像データ毎に算出する。画像特徴量は、例えば、画素値、及び画素値分布等を含む。

類似画像抽出機能２２９は、類似度算出機能２２７により算出された各種類似度に基づいて、所定の条件を満たすサンプルモデル又は過去画像等を抽出する機能である。類似画像抽出機能２２９が実行されると、制御回路２２は、ボディマークに関する類似度に基づいて、サンプルモデル情報１７１に登録されたサンプルモデルのうち、所定の条件を満たすサンプルモデルを抽出する。制御回路２２は、例えば予め設定される閾値と、ボディマークに関する類似度とをサンプルモデル毎に比較する。制御回路２２は、サンプルモデル情報１７１に登録されたサンプルモデルのうち、ボディマークに関する類似度が予め設定される閾値より高いサンプルモデルを抽出する。

また、制御回路２２は、サンプルモデルに関する類似度に基づいて、過去画像データに基づく過去画像のうち、所定の条件を満たす過去画像を抽出する。制御回路２２は、例えば予め設定される閾値と、算出された類似度とを過去画像データ毎に比較する。制御回路２２は、過去画像データに基づく過去画像のうち、サンプルモデルに関する類似度が、予め設定される閾値より高い過去画像データを抽出する。

また、制御回路２２は、画像特徴量に関する類似度に基づいて、過去画像データに基づく過去画像のうち、所定の条件を満たす過去画像を抽出する。制御回路２２は、例えば予め設定される閾値と、算出された画像特徴量に関する類似度とを過去画像データ毎に比較する。制御回路２２は、過去画像データに基づく過去画像のうち、画像特徴量に関する類似度が、予め設定される閾値より高い過去画像データを抽出する。

表示制御機能２３１は、操作者に対し選択候補となるボディマーク又は過去画像を表示する機能である。表示制御機能２３１が実行されると、制御回路２２は、類似画像抽出機能２２９により抽出されたサンプルモデルに基づくボディマークを表示機器５０に表示する。また、制御回路２２は、類似画像抽出機能２２９により抽出された過去画像データに基づく過去画像を表示機器５０に表示する。

システム制御機能２３３は、超音波診断装置１の入出力等の基本動作を制御する機能である。システム制御機能２３３が実行されると、制御回路２２は、例えば入力インタフェース回路２０を介し、サンプルモデルに基づくボディマークの選択を受け付ける。また、制御回路２２は、例えば入力インタフェース回路２０を介し、過去画像データに基づく過去画像の選択を受け付ける。制御回路２２は、選択された過去画像に係る過去画像データを画像データベース１９から読み出す。

画像認識機能２２１、サンプルモデル登録機能２２３、マッピング機能２２５、類似度算出機能２２７、類似画像抽出機能２２９、表示制御機能２３１、及びシステム制御機能２３３は、制御プログラムとして組み込まれていてもよいし、制御回路２２自体または装置本体１０に制御回路２２が参照可能な回路として、各機能を実行可能な専用のハードウェア回路が組み込まれていてもよい。

次に、第１の実施形態に係る超音波診断装置１の各種動作について、図２、及び図８のフローチャートを参照して説明する。

まず、サンプルモデルを超音波画像データに関連付ける動作について説明する。図２は、第１の実施形態に係る超音波診断装置１が超音波画像データにサンプルモデルを関連付ける際の制御回路２２の動作の例を示すフローチャートである。以下の説明では、表示処理回路１６により生成された超音波画像データには、ボディマーク及び少なくとも１つのプローブマークが予め設定された後に、画像データベース１９に記憶されるものとする。また、超音波画像データには、画像の位置、及び画像の向きが付帯情報として予め付されているものとする。

制御回路２２は、例えば表示処理回路１６により生成された超音波画像データが画像データベース１９に記憶されると、画像認識機能２２１を実行し、記憶された超音波画像データを読み出す（ステップＳＡ１）。この超音波画像データには、ボディマーク及び少なくとも１つのプローブマークが画像情報として付されている。

制御回路２２は、読み出した超音波画像データに係る超音波画像に対し、画像認識を実行する。これにより、制御回路２２は、超音波画像から、ボディマークの形状を含む領域をボディマークの形状を表す画像データとして抽出する（ステップＳＡ２）。

図３は、第１の実施形態に係る表示機器５０に表示されるボディマーク領域が含まれる超音波画像の例を表す図である。図３に示されるように、制御回路２２は、例えば、超音波画像上で最大輝度、又は、最小輝度となる画素の集合が含まれる領域を認識し、この領域に外接する矩形領域をボディマーク領域ＢＭとして抽出する。

制御回路２２は、超音波画像からボディマークの形状を表す画像データを抽出すると、サンプルモデル登録機能２２３を実行し、抽出されたボディマークの形状を表す画像データに、超音波画像に付された付帯情報に含まれる画像の位置及び画像の向きを関連付ける。制御回路２２は、この画像の向きが関連付けられた画像データを、サンプルモデルとして、内部記憶回路１７に記憶されたサンプルモデル情報１７１に登録する（ステップＳＡ３）。図４は、第１の実施形態に係るサンプルモデル情報１７１に登録されるサンプルモデルの例を説明するための図である。図４に示されるＸ軸、Ｙ軸、及びＺ軸は、画像の向きを表すための３次元直行軸である。図４に示される各サンプルモデルには、ボディマークの形状を表す画像データ、画像の位置、及び画像の向きが含まれる。

図４に示されるように、サンプルモデルＳＭ１については、ボディマークの形状は頭部を表しており、画像の向きは法線ベクトル（１、０、０）で表される。サンプルモデルＳＭ２については、ボディマークの形状は頭部を表しており、画像の向きは法線ベクトル（０、１、０）で表される。サンプルモデルＳＭ３については、ボディマークの形状は頭部を表しており、画像の向きは法線ベクトル（−１、０、０）で表される。サンプルモデルＳＭ４については、ボディマークの形状は胸部を表しており、画像の向きは法線ベクトル（０、１、０）で表される。サンプルモデルＳＭ５については、ボディマークの形状は腰部を表しており、画像の向きは法線ベクトル（０、１、０）で表される。サンプルモデルＳＭ６については、ボディマークの形状は腰部を表しており、画像の向きは法線ベクトル（０．７０７、０．７０７、０）で表される。サンプルモデルＳＭ７については、ボディマークの形状は腰部を表しており、画像の向きは法線ベクトル（０、−１、０）で表される。

制御回路２２は、マッピング機能２２５を実行し、サンプルモデルを、サンプルモデルに含まれるボディマークの形状を表す画像データ、画像の位置、及び画像の向きに基づいて、内部記憶回路１７に記憶された人体モデルに対応付ける（ステップＳＡ４）。図５は、第１の実施形態に係る超音波診断装置１がサンプルモデルを人体モデルへ対応付ける具体的方法の例を説明するための図である。図５によれば、人体モデルＨＭの解剖学的部位を表す各構成要素に、サンプルモデルが対応付けられている。各解剖学的部位には、向きの要素も含まれる。具体的には、人体モデルＨＭ上の領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、及びＲ６は、例えば、頭部右側面、腰部右斜め側面、腰部正面、頭部左側面、頭部正面、及び胸部正面をそれぞれ表す。そして、制御回路２２は、人体モデルＨＭ上の領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、及びＲ６に対し、図４に示されるサンプルモデルＳＭ１、ＳＭ６、ＳＭ５、ＳＭ３、ＳＭ２、及びＳＭ４をそれぞれ対応付ける。これにより、各サンプルモデルの人体モデルＨＭ上での位置が定まる。

制御回路２２は、画像認識機能２２１を実行し、制御回路２２は、所定の画像認識手法によりボディマーク領域を画像認識する。具体的には、制御回路２２は、ステップＳＡ３においてサンプルモデル情報１７１に登録したサンプルモデルに含まれるボディマークの形状を表す画像データを画像認識し、ボディマークに対するプローブマークの相対的な位置を認識する。また、制御回路２２は、ステップＳＡ３においてサンプルモデル情報１７１に登録したサンプルモデルに含まれるボディマークの形状を表す画像データから、プローブマークの形状を含む領域をプローブマークの形状を表す画像データとして抽出する。制御回路２２は、ボディマークに対するプローブマークの相対的な位置、及び抽出したプローブマークの形状を表す画像データから超音波プローブに関する撮像情報を算出する（ステップＳＡ５）。制御回路２２は、算出された撮像情報に基づいて、プローブマークをサンプルモデルに関連付ける。

図６は、第１の実施形態に係る超音波診断装置１がサンプルモデルに係るボディマークに含まれるプローブマークの形状に基づいて撮像情報を算出する具体的方法の例を説明するための図である。図６によれば、図４に示されるサンプルモデルＳＭ５に係るボディマークにプローブマークＰＭ１が含まれている。プローブマークＰＭ１は、リニア型プローブを表しており、正方形で表される領域ＰＭ１１と、長方形で表される領域ＰＭ１２を含む。領域ＰＭ１１は、例えば電子走査方向の開始端を示している。領域ＰＭ１２は、例えば走査面を示している。

制御回路２２は、例えばサンプルモデルＳＭ５に係るボディマークの形状及び領域ＰＭ１２の形状に基づいて、当該ボディマークの所定の位置を原点とした直交座標系で表されるプローブの中心位置ＰＭ１３を算出する。制御回路２２は、例えばサンプルモデルＳＭ５に係るボディマークの形状及び領域ＰＭ１２の形状に基づいて、当該ボディマークの所定の位置を原点とした直交座標系の所定の軸を基準としたプローブマークの傾きをプローブの向きとして算出する。制御回路２２は、サンプルモデルＳＭ５に係るボディマークに係る画像の向きとプローブの向きとの相対的な方向関係に基づいて、当該ボディマークの所定の位置を原点とした直交座標系の所定の面を基準とした傾きを撮像方向として算出する。

なお、制御回路２２は、扇型の基本形状を有するセクタ型プローブのプローブマーク、及び弓形の基本形状を有するコンベックス型プローブのプローブマーク等、プローブマークの形状に応じて、撮像情報の算出方法を変更してもよい。

制御回路２２は、マッピング機能２２５を実行し、算出された撮像情報に係るプローブマークを人体モデルに対応付ける（ステップＳＡ６）。具体的には、制御回路２２は、撮像情報の座標系を人体モデルの座標系に変換する。図７は、第１の実施形態に係る超音波診断装置１がプローブマークを人体モデルへ対応付ける具体的方法の例を説明するための図である。図７によれば、図４に示されるサンプルモデルＳＭ５に係るボディマーク画像上に含まれるプローブマークＰＭ１が、算出された撮像情報、及びサンプルモデルＳＭ５の人体モデル上の位置に基づいて、人体モデルＨＭに対応付けられる。制御回路２２は、例えば、ステップＳＡ５において算出した撮像情報の座標系を人体モデルで規定される座標系に変換することにより、プローブマークを人体モデルへ対応づける。

制御回路２２は、人体モデルにサンプルモデル及び当該サンプルモデルに係るプローブマークを対応付けると、当該サンプルモデルを超音波画像データに関連付けて、過去画像データとして画像データベース１９に記憶する（ステップＳＡ７）。

次に、過去画像データの検索動作について説明する。図８は、第１の実施形態に係る超音波診断装置が、取得された超音波画像データに係る超音波画像に類似する過去画像を検索する際の制御回路の動作を示すフローチャートである。

以下の説明では、過去画像データに人体モデルに対応付けられたサンプルモデルが関連付けられているものとする。また、表示処理回路１６により生成された超音波画像データには、画像の位置及び画像の向きが付帯情報として予め関連付けられているものとする。また、検索のキー画像となる超音波画像に係る超音波画像データには、サンプルモデルは関連付けられていないものとする。

制御回路２２は、例えば手術前、又は手術中に表示処理回路１６により生成された超音波画像データが画像データベース１９に保存されると、画像認識機能２２１を実行し、保存された超音波画像データを読み出す（ステップＳＢ１）。

制御回路２２は、読み出した超音波画像データに係る超音波画像に対し、画像認識を実行する。これにより、制御回路２２は、超音波画像から、ボディマークの形状を含む領域をボディマークの形状を表す画像データとして抽出する（ステップＳＢ２）。

制御回路２２は、類似度算出機能２２７を実行し、読み出した超音波画像データの付帯情報から画像の位置及び画像の向きを抽出する。制御回路２２は、抽出した画像の位置及び画像の向き、並びに、ステップＳＢ２において抽出したボディマークの形状を表す画像データと、サンプルモデル情報１７１に登録されたサンプルモデルに含まれる画像の位置及び画像の向き、並びに、ボディマークの形状を表す画像データとを比較し、所定の評価関数を用いてボディマークに関する類似度をサンプルモデル毎に算出する（ステップＳＢ３）。類似度は、例えば０から１までの数値で表され、１に近いほど類似度していることを表す。

なお、制御回路２２は、超音波画像の付帯情報から抽出した画像の向きと、サンプルモデルに含まれる画像の向きが異なる場合、超音波画像の付帯情報から抽出した画像の向きをサンプルモデルに含まれる画像の向きに合わせるようにしてもよい。このとき、制御回路２２は、例えば画像の向きの変更に合わせて、超音波画像から抽出したボディマークの形状を変更する。そして、制御回路２２は、変更後の画像の向き、及びボディマークの形状を表す画像データと、サンプルモデル情報１７１に登録されたサンプルモデルに含まれる画像の向き、及びボディマークの形状を表す画像データとを比較し、ボディマークに関する類似度を算出する。

制御回路２２は、類似画像抽出機能２２９を実行し、予め設定される閾値と、ボディマークに関する類似度とをサンプルモデル毎に比較する。制御回路２２は、サンプルモデル情報１７１に登録されたサンプルモデルのうち、ボディマークに関する類似度が予め設定される閾値より高いサンプルモデルを抽出する（ステップＳＢ４）。予め設定される閾値は、例えば０．８である。

制御回路２２は、表示制御機能２３１を実行し、ステップＳＢ４において抽出されたサンプルモデルに基づくボディマークを表示機器５０に表示する（ステップＳＢ５）。

制御回路２２は、抽出されたサンプルモデルを表示すると、入力インタフェース回路２０を介して、表示したサンプルモデルの中から、所定のサンプルモデルを選択する選択入力を受け付ける（ステップＳＢ６）。

制御回路２２は、所定のサンプルモデルを選択する選択入力がなされると、選択されたサンプルモデルをサンプルモデル情報１７１に登録する（ステップＳＢ７）。また、制御回路２２は、選択されたサンプルモデルをステップＳＢ１において読み出した超音波画像データに関連付ける。

制御回路２２は、画像認識機能２２１を実行し、所定の画像認識手法によりステップＳＢ７において超音波画像データに関連付けられたサンプルモデルに係るボディマーク領域を画像認識する。具体的には、制御回路２２は、サンプルモデルに含まれるボディマークの形状を表す画像データを画像認識し、ボディマークに対するプローブマークの相対的な位置を認識する。また、制御回路２２は、サンプルモデルに含まれるボディマークの形状を表す画像データから、プローブマークの形状を含む領域をプローブマークの形状を表す画像データとして抽出する。制御回路２２は、ボディマークに対するプローブマークの相対的な位置、及び抽出したプローブマークの形状を表す画像データから超音波プローブに関する撮像情報を算出する（ステップＳＢ８）。制御回路２２は、図２に示されるステップＳＡ５において説明したように、プローブマークの形状に応じて撮像情報の算出方法を変更するようにしてもよい。

制御回路２２は、マッピング機能２２５を実行し、算出した撮像情報に係るプローブマークをステップＳＢ６において選択されたサンプルモデルに対応付ける。また、制御回路２２は、サンプルモデルに対応付けられた撮像情報を、内部記憶回路１７に記憶された人体モデルに対応付ける（ステップＳＢ９）。図９は、第１の実施形態に係る超音波診断装置１がプローブマークをサンプルモデル及び人体モデルへ対応付ける具体的方法の例を説明するための図である。図９によれば、制御回路２２は、超音波画像上のボディマーク領域ＢＭに含まれるプローブマークＰＭ２に係る撮像情報の座標系をサンプルモデルＳＭ５で規定されている座標系に変換する。これにより、プローブマークＰＭ２がサンプルモデルＳＭ５に対応付けられる。そして、制御回路２２は、サンプルモデルＳＭ５で規定されている座標系に変換した撮像情報を、さらに人体モデルＨＭで規定されている座標系に変換する。これにより、プローブマークＰＭ２が人体モデルＨＭに対応付けられる。

制御回路２２は、類似度算出機能２２７を実行し、ステップＳＢ１において読み出した超音波画像データに係るサンプルモデル及び撮像情報と、過去画像データに係るサンプルモデル及び撮像情報とを、過去画像毎に比較し、過去画像それぞれについて類似度を算出する（ステップＳＢ１０）。具体的には、制御回路２２は、読み出した超音波画像データに基づく超音波画像に係るサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報と、過去画像データに関連付けられたサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報とを比較し、所定の評価関数を用いてサンプルモデルに関する類似度を過去画像データ毎に算出する。

制御回路２２は、類似画像抽出機能２２９を実行し、例えば算出されたサンプルモデルに関する類似度と、予め設定される閾値とを過去画像データ毎に比較する。制御回路２２は、過去画像データに基づく過去画像のうち、サンプルモデルに関する類似度が、予め設定される閾値より高い過去画像データを抽出する（ステップＳＢ１１）。なお、予め設定される閾値は、例えば０．８である。

制御回路２２は、類似度算出機能２２７を実行し、例えばステップＳＢ１において読み出した超音波画像データに基づく超音波画像の画素値に基づく画像特徴量と過去画像データに基づく過去画像の画素値に基づく画像特徴量とを比較し、所定の評価関数を用いて画像特徴量に関する類似度を過去画像データ毎に算出する（ステップＳＢ１２）。なお、制御回路２２は、画素値に基づく画像特徴量の比較を行う際、形状の変化しやすい病変部位以外の箇所を比較対象とすることが好適である。

制御回路２２は、類似画像抽出機能２２９を実行し、予め設定される閾値と、算出された画像特徴量に関する類似度とを過去画像データ毎に比較する。制御回路２２は、過去画像データに基づく過去画像のうち、画像特徴量に関する類似度が、予め設定される閾値より高い過去画像データを抽出する（ステップＳＢ１３）。

制御回路２２は、表示制御機能２３１を実行し、ステップＳＢ１３において抽出された過去画像データに基づく過去画像を表示機器５０に表示する（ステップＳＢ１４）。

第１の実施形態によれば、制御回路２２は、ボディマーク及びプローブマークが付された検索のキー画像となる超音波画像に係る超音波画像データの付帯情報から画像の位置及び画像の向きを抽出する。制御回路２２は、ボディマーク及びプローブマークがふされた付された超音波画像を画像認識し、プローブの中心位置、プローブの向き、及び超音波プローブの扇ぎ方向を示す撮像方向等の撮像情報を算出する。制御回路２２は、検索のキー画像となる超音波画像に係るサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報と、過去画像データに付加されたサンプルモデルの人体モデル上における位置、画像の向き、及び撮像情報とを比較し、所定の評価関数を用いてサンプルモデルに関する類似度を過去画像データ毎に算出する。制御回路２２は、サンプルモデルに関する類似度に基づいて、過去画像データに基づく過去画像のうち、所定の条件を満たす過去画像を抽出する。制御回路２２は、抽出された過去画像データに基づく過去画像を表示機器５０に表示する。

これにより、実際の撮像位置を考慮した検索条件で過去画像データの検索を行うことができる。また、撮像位置を特定するための情報の比較計算は、画素値等の画像特徴量の比較に比べて計算負荷が軽い。

したがって、第１の実施形態に係る超音波診断装置によれば、対象とする疾患近辺の超音波画像に類似する過去画像の検索を、正確、かつ、効率的に行うことが可能となる。

また、第１の実施形態によれば、制御回路２２は、計算負荷の比較的軽いサンプルモデルに関する類似度の算出による検索を行い、検索対象となる過去画像データの絞り込みを行った後、計算負荷の比較的重い画像特徴量に関する類似度の算出による検索を行っている。これにより、画像特徴量に関する類似度の算出による検索のみを行う場合に比べて、より効率的な検索を行うことが可能となる。

［第２の実施形態］
第１の実施形態では、検索のキー画像となる超音波画像に画像認識を施し、比較対象となるボディマーク及びサンプルプローブマークに関する情報を取得し、当該情報を用いて過去画像データを検索する場合について説明した。第２の実施形態では、操作者等に、人体モデルに対応付けられたプローブマークを選択させ、選択されたプローブマークに関連付けられた撮像情報を取得し、当該撮像情報を用いて過去画像データを検索する場合について説明する。

第２の実施形態に係る超音波診断装置１Ａを図１０のブロック図を参照して説明する。

図１０に示されるように、超音波診断装置１Ａは、装置本体１０Ａ、超音波プローブ７０、位置センサシステム３０、表示機器５０、及び入力装置６０を備える。装置本体１０は、ネットワーク１００を介して外部装置４０と接続される。また、装置本体１０は、位置センサシステム３０、表示機器５０、及び入力装置６０と接続される。

図１０に示される装置本体１０Ａは、超音波プローブ７０が受信した反射波信号に基づいて超音波画像を生成する装置である。装置本体１０Ａは、図１０に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１６、内部記憶回路１７、画像メモリ１８（シネメモリ）、画像データベース１９、入力インタフェース回路２０、通信インタフェース回路２１及び制御回路２２Ａを含む。

制御回路２２Ａは、例えば、超音波診断装置１Ａの中枢として機能するプロセッサである。制御回路２２Ａは、内部記憶回路１７に記憶されている動作プログラムを実行することで、この動作プログラムに対応する機能を実現する。具体的には、制御回路２２Ａは、画像認識機能２２１、サンプルモデル登録機能２２３、マッピング機能２２５、類似度算出機能２２７Ａ、類似画像抽出機能２２９Ａ、表示制御機能２３１、及びシステム制御機能２３３を有する。

類似度算出機能２２７Ａは、類似度算出機能２２７が有する機能に加えて、所定のプローブマークと過去画像データに設定されたプローブマークとを比較し、プローブマークに関する類似度を算出する機能を有する。類似度算出機能２２７Ａが実行されると、制御回路２２Ａは、人体モデルに対応付けられたプローブマークに関連付けられた撮像情報と、過去画像データに設定されたプローブマークに関連付けられた撮像情報とを比較し、所定の評価関数を用いてプローブマークに関する類似度を算出する。

類似画像抽出機能２２９Ａは、類似度算出機能２２７Ａにより算出されたプローブマークに関する類似度に基づいて、所定の条件を満たす過去画像等を抽出する機能である。類似画像抽出機能２２９Ａが実行されると、制御回路２２Ａは、過去画像データに基づく過去画像から所定の条件を満たす過去画像を抽出する。制御回路２２Ａは、例えば予め設定される閾値と、過去画像データに係るプローブマーク毎に算出されたプローブマークに関する類似度とを比較する。制御回路２２Ａは、算出された類似度が予め設定される閾値より高い過去画像データを抽出する。

次に、第２の実施形態に係る超音波診断装置１Ａの動作について、図１１のフローチャートを参照して説明する。

図１１は、第２の実施形態に係る超音波診断装置１Ａが、指定されたプローブマークに類似するプローブマークを有する過去画像を検索する際の制御回路２２Ａの動作の例を示すフローチャートである。以下の説明では、人体モデルに予め複数のプローブマークが対応付けられているものとする。また、各プローブマークは、人体モデルに対応付けられた、すなわち人体モデルで規定されている座標系に変換された撮像情報が関連づけられているものとする。

制御回路２２Ａは、表示制御機能２３１を実行し、複数のプローブマークが対応付けられた人体モデルを表示機器５０に表示する（ステップＳＣ１）。図１２は、第２の実施形態に係る表示機器５０に表示される人体モデルの例を示す図である。図１２に示される人体モデルＨＭ上には、プローブマークＰＭ１、ＰＭ２、及びＰＭ３が表示されている。

制御回路２２Ａは、入力インタフェース回路２０を介し、表示機器５０に表示された人体モデル上におけるプローブマークの選択を受け付ける（ステップＳＣ２）。具体的には、制御回路２２Ａは、図１２に示されるプローブマークＰＭ１、ＰＭ２、及びＰＭ３のうちいずれかのプローブマークの選択を受け付ける。以下では、プローブマークＰＭ１が指定されるものとする。

制御回路２２Ａは、図１２に示されるプローブマークＰＭ１が指定されると、指定されたプローブマークＰＭ１と、過去画像データに係るプローブマークとの類似度を算出する（ステップＳＣ３）。具体的には、制御回路２２Ａは、プローブマークＰＭ１に関連付けられた撮像情報と、過去画像データに係るプローブマークに関連付けられた撮像情報とを所定の評価関数を用いて過去画像データ毎に比較し、プローブマークに関する類似度を算出する。

制御回路２２Ａは、類似画像抽出機能２２９Ａを実行し、例えば予め設定される閾値と、過去画像データ毎に算出されたプローブマークに関する類似度とを比較する。制御回路２２Ａは、算出されたプローブマークに関する類似度が予め設定される閾値より高いプローブマークが設定された過去画像データを抽出する（ステップＳＣ４）。

制御回路２２Ａは、表示制御機能２３１を実行し、ステップＳＣ４において抽出された過去画像データに基づく過去画像を表示機器５０に表示する（ステップＳＣ５）。

第２の実施形態によれば、制御回路２２Ａは、人体モデル上から選択されたプローブマークに関連付けられた撮像情報を検索キーとして、撮像情報が類似する過去画像データを抽出する。これにより、プローブマークから直接過去画像データを検索することが可能となる。よって、対象とする疾患近辺の超音波画像に類似する過去画像の検索のバリエーションを広げることが可能となる。

なお、第２の実施形態では、操作者等に、人体モデルに対応付けられたプローブマークを選択させて、当該プローブマークに類似するプローブマークが設定された過去画像データを検索していたがこれに限定されない。例えば、ボディマークに対応付けられたプローブマークを選択させて、当該プローブマークに類似するプローブマークが設定された過去画像データを検索するようにしてもよい。

［第３の実施形態］
第１の実施形態では、検索のキー画像となる超音波画像に画像認識を施し、比較対象となるボディマーク及びサンプルプローブマークに関する情報を取得し、当該情報を用いて過去画像データを検索する場合について説明した。第３の実施形態では、検索のキー画像となる超音波画像に画像認識を施し、比較対象となるアノテーションに関する情報を取得し、当該情報を用いて過去画像データを検索する場合について説明する。

第３の実施形態に係る超音波診断装置１Ｂを図１３のブロック図を参照して説明する。

図１３に示されるように、超音波診断装置１Ｂは、装置本体１０Ｂ、超音波プローブ７０、位置センサシステム３０、表示機器５０、及び入力装置６０を備える。装置本体１０は、ネットワーク１００を介して外部装置４０と接続される。また、装置本体１０は、位置センサシステム３０、表示機器５０、及び入力装置６０と接続される。

図１３に示される装置本体１０Ｂは、超音波プローブ７０が受信した反射波信号に基づいて超音波画像を生成する装置である。装置本体１０Ｂは、図１３に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１６、内部記憶回路１７、画像メモリ１８（シネメモリ）、画像データベース１９、入力インタフェース回路２０、通信インタフェース回路２１及び制御回路２２Ｂを含む。

制御回路２２Ｂは、例えば、超音波診断装置１Ｂの中枢として機能するプロセッサである。制御回路２２Ｂは、内部記憶回路１７に記憶されている動作プログラムを実行することで、この動作プログラムに対応する機能を実現する。具体的には、制御回路２２Ｂは、画像認識機能２２１Ｂ、サンプルモデル登録機能２２３、マッピング機能２２５、類似度算出機能２２７Ｂ、類似画像抽出機能２２９Ｂ、表示制御機能２３１、及びシステム制御機能２３３を有する。

画像認識機能２２１Ｂは、画像認識機能２２１が有する機能に加えて、アノテーションが付された超音波画像を画像認識する機能を有する。画像認識機能２２１Ｂが実行されると、制御回路２２Ｂは、所定のアノテーションが付された超音波画像を所定の画像認識手法により画像認識する。制御回路２２Ｂは、超音波画像からアノテーション領域を抽出する。具体的には、制御回路２２Ｂは、例えば超音波画像上で、例えば、超音波画像上で最大輝度、又は、最小輝度となる画素の集合が含まれる領域を認識し、この領域に外接する矩形領域をアノテーション領域として抽出する。

類似度算出機能２２７Ｂは、類似度算出機能２２７が有する機能に加えて、超音波画像に付されたアノテーションと、過去画像データに付されたアノテーションとを比較し、類似度を算出する機能を有する。類似度算出機能２２７Ｂが実行されると、制御回路２２Ｂは、超音波画像から抽出されたアノテーション領域から文字列を抽出する。抽出される文字列は、撮像位置を特定するための情報の１つである。文字列は、例えば、被検体の左右を表す文字列、及び被検体の部位を表す文字列等である。制御回路２２は、抽出した文字列と、過去画像データに付されたアノテーションに含まれる文字列とを比較し、所定の評価関数を用いてアノテーションに関する類似度を算出する。

類似画像抽出機能２２９Ｂは、類似度算出機能２２７Ｂにより算出された類似度に基づいて、所定の条件を満たす過去画像等を抽出する機能である。類似画像抽出機能２２９Ｂが実行されると、制御回路２２Ｂは、過去画像データに基づく過去画像から所定の条件を満たす過去画像を抽出する。制御回路２２Ｂは、例えば予め設定される閾値と、過去画像データに係るアノテーション毎に算出されたアノテーションに関する類似度とを比較する。制御回路２２Ａは、算出された類似度が予め設定される閾値より高い過去画像を抽出する。

次に、第３の実施形態に係る超音波診断装置１Ｂの動作について、図１４のフローチャートを参照して説明する。

図１４は、第３の実施形態に係る超音波診断装置１Ｂが、取得された超音波画像データに係る超音波画像に類似する過去画像を検索する際の制御回路２２Ｂの動作を示すフローチャートである。

以下の説明では、過去画像データには、アノテーションが画像情報として予め付されているものとする。また、過去画像データに係る過去画像に対し、予め画像認識が施され、付されたアノテーションに係る文字列が抽出されているものとする。さらに、抽出された文字列は、過去画像データに関連付けられているものとする。また、検索のキー画像となる超音波画像データには、アノテーションが画像情報として予め付されているが、画像認識は施されていないものとする。

制御回路２２Ｂは、例えば手術前、又は手術中に、表示処理回路１６により生成された超音波画像データにアノテーションが付され、画像データベース１９に保存されると、画像認識機能２２１Ｂを実行し、保存された超音波画像データを読み出す（ステップＳＤ１）。この超音波画像データには、アノテーションが画像情報として付されている。

制御回路２２Ｂは、取得した超音波画像データに係る超音波画像に対し、画像認識を実行する。これにより、制御回路２２Ｂは、超音波画像からアノテーション領域を抽出する（ステップＳＤ２）。

制御回路２２Ｂは、類似度算出機能２２７Ｂを実行し、抽出したアノテーション領域から文字列を抽出する。制御回路２２Ｂは、抽出した文字列と、過去画像データに付されたアノテーション領域に含まれる文字列とを比較し、所定の評価関数を用いてアノテーションに関する類似度を算出する（ステップＳＤ３）。なお、制御回路２２は、超音波画像上におけるアノテーションの位置を、アノテーションに関する類似度を算出する際の要素として追加してもよい。このとき、制御回路２２は、病変部が中央にあると想定し、例えば文字列が超音波画像の中心に近い位置にあるほど、アノテーションに関する類似度を高くする。これにより、操作者等がより観察したい過去画像データを抽出することが可能となる。

制御回路２２Ｂは、類似画像抽出機能２２９Ｂを実行し、例えば予め設定される閾値と、過去画像データ毎に算出されたアノテーションに関する類似度とを比較する。制御回路２２Ｂは、算出されたアノテーションに関する類似度が予め設定される閾値より高いアノテーションが付された過去画像データを抽出する（ステップＳＤ４）。

制御回路２２Ｂは、表示制御機能２３１を実行し、ステップＳＤ４において抽出された過去画像データに基づく過去画像を表示機器５０に表示する（ステップＳＤ５）。

第３の実施形態によれば、制御回路２２Ｂは、検索のキー画像となる超音波画像データに含まれるアノテーションに画像認識を施し、アノテーション領域を抽出する。制御回路２２Ｂは、抽出したアノテーション領域から文字列を抽出する。制御回路２２Ｂは、抽出した文字列を検索キーとして過去画像データを検索する。これにより、対象とする疾患近辺の超音波画像に類似する過去画像の検索のバリエーションを広げることが可能となる。

なお、第３の実施形態では、制御回路２２Ｂは、画像データベース１９に保存された超音波画像データに基づく超音波画像に画像認識を施し、当該超音波画像に付されたアノテーション領域から文字列を抽出したものを検索キーとしていたがこれに限定されない。制御回路２２Ｂは、操作者等から指定された文字列を検索キーとして、過去画像データを検索するようにしてもよい。

なお、第３の実施形態において、制御回路２２Ｂは、超音波画像上におけるアノテーションの位置に基づいて、当該アノテーションを人体モデルに対応付けてもよい。このとき、制御回路２２Ｂは、人体モデル上におけるアノテーションの位置及びアノテーション領域から抽出された文字列を比較し、所定の評価関数を用いてアノテーションに関する類似度を算出する。なお、アノテーションの位置は、超音波画像の撮像位置を特定するための情報の１つである。

また、第３の実施形態において、制御回路２２Ｂは、アノテーションが付された超音波画像を画像認識した結果取得される文字列、及びアノテーションの位置等を当該超音波画像データに関連付けて画像データベース１９等に記憶してもよい。

［他の実施形態］
上記実施形態では、ボディマーク、プローブマーク、及び／又はアノテーションに対する画像認識は、検索のキー画像となる超音波画像と過去画像データに係る過去画像の両方に施していたがこれに限定されない。すなわち、検索のキー画像となる超音波画像及び過去画像データに係る過去画像のうち少なくともどちらかに対して画像認識を行えばよい。例えば、第１の実施形態に係る制御回路２２は、過去画像に対してはボディマーク及びプローブマークに対する画像認識を行って撮像位置を特定するための情報を算出するが、検索のキー画像となる超音波画像に対しては画像認識を行わない。制御回路２２は、代わりに位置センサシステム３０により取得された超音波プローブ７０及び超音波画像の３次元の位置情報を用いて、検索のキー画像となる超音波画像に係る撮像位置を特定するための情報を算出する。

また、上記実施形態では、画像検索において、比較対象となる画像は、両者とも超音波画像としていたがこれに限定されない。例えば、比較対象の一方が超音波画像である場合に、他方がＣＴ画像、及びＭＲＩ画像等、超音波診断装置とは異なる他のモダリティで取得された医用画像であってもよい。この場合、例えば、第１の実施形態に係る制御回路２２は、ＣＴボリュームデータと、被検体の3次元モデルとの対応付けを事前に行う。また、制御回路２２は、ＣＴボリュームデータに係るＣＴ画像を撮像した撮像位置を特定するための情報を予め定義する。その後、制御回路２２は、検索のキー画像となる超音波画像に設定されたボディマーク及びプローブマークを画像認識する。

これにより、検索のキー画像となる超音波画像の撮像位置を特定するための情報を被検体の3次元モデル中で確定すれば、対応する位置の断層像をＣＴボリュームデータから再構成して表示させることができる。

ＣＴボリュームデータと被検体の3次元モデルとの対応付け方法としては、例えばボリュームデータから被検体の体表の形状を認識して、３次元モデルの中で類似する体表形状を持つ箇所に当てはめる方法が挙げられる。

また、３次元モデルと対応付けるのに十分な広範囲に渡って、撮像範囲について位置決めするためのスキャノ像を撮像し、スキャノ像の輪郭と３次元モデルの輪郭を比較することにより、スキャノ像と３次元モデルとの対応付けを事前に行った後、撮影したＣＴボリュームデータを３次元モデルに当てはめる方法等が挙げられる。

なお、上記実施形態においては、超音波診断装置を前提に説明したがこれに限定されない。例えば、超音波診断装置により取得され、ボディマーク、プローブマーク、及び／又はアノテーションのうち少なくとも１つが付された超音波画像データを、ＰＣ（personal computer）及びワークステーション等に転送し、医用画像処理装置として上記実施形態に係る制御回路が実現する各機能を実行するようにしてもよい。

なお、第１の実施形態において、算出部は、例えば画像認識機能２２１、サンプルモデル登録機能２２３、マッピング機能２２５、及び類似度算出機能２２７等により実現される。また、第２の実施形態において、算出部は、画像認識機能２２１、サンプルモデル登録機能２２３、及び類似度算出機能２２７Ａ等により実現される。また、第３の実施形態において、算出部は、画像認識機能２２１Ｂ、及び類似度算出機能２２７Ｂ等により実現される。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図１０、及び図１３における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１Ａ、１Ｂ…超音波診断装置、３…ドプラ処理回路、１０、１０Ａ、１０Ｂ…装置本体、１１…超音波送信回路、１２…超音波受信回路、１３…モード処理回路、１４…ドプラ処理回路、１５…次元処理回路、１６…表示処理回路、１７…内部記憶回路、１８…画像メモリ、１９…画像データベース、２０…入力インタフェース回路、２１…通信インタフェース回路、２２、２２Ａ、２２Ｂ…制御回路、３０…位置センサシステム、３１…位置センサ、３２…位置検出装置、４０…外部装置、５０…表示機器、６０…入力装置、７０…超音波プローブ、１７１…サンプルモデル情報、２２１、２２１Ｂ…画像認識機能、２２３…サンプルモデル登録機能、２２５…マッピング機能、２２７、２２７Ａ、２２７Ｂ…類似度算出機能、２２９、２２９Ａ、２２９Ｂ…類似画像抽出機能、２３１…表示制御機能、２３３…システム制御機能。

Claims (12)

1. ボディマーク、プローブマーク、及びアノテーションのうち、少なくとも一つを含む付帯情報が画像情報として付された第１の画像を取得する取得部と、
   前記第１の画像に付された前記付帯情報を画像認識することにより、当該第１の画像について、撮像位置を特定するための位置特定情報を算出する算出部と、
   過去に取得された複数の第２の画像の中から、前記算出された位置特定情報と対応する位置特定情報を含む付帯情報が付された第３の画像を抽出する画像抽出部と、
   前記第３の画像を表示する表示制御部と
   を具備する超音波診断装置。
2. 前記算出された位置特定情報に基づいて、前記ボディマーク、前記プローブマーク、及び前記アノテーションのうち、少なくとも１つを３次元モデルに対応付けるマッピング部をさらに具備する請求項１に記載の超音波診断装置。
3. 前記画像抽出部は、前記第１の画像及び前記第３の画像の画素値に基づく画像特徴量に基づいて、前記抽出された複数の第３の画像の中から、前記第１の画像と類似する少なくとも１つの第４の画像を抽出する請求項１又は２に記載の超音波診断装置。
4. 前記付帯情報は、プローブマークが付されたボディマークを含み、
   前記算出部は、前記ボディマークを画像認識し、当該ボディマークに含まれるプローブマークから超音波プローブに関する撮像情報を算出する請求項１乃至３のうちいずれかに記載の超音波診断装置。
5. 前記算出部は、前記プローブマークの形状に応じて、前記撮像情報の算出方法を変更する請求項４に記載の超音波診断装置。
6. 前記第１の画像に付された付帯情報は、前記第１の画像に係る画像の向き及びボディマークを含み、かつ、前記第２の画像に付された付帯情報は、前記第２の画像に係る画像の向き及びボディマークを含み、
   前記算出部は、前記第１の画像に係る画像の向き、及び前記第２の画像に係る画像の向きが一致するように、前記第１の画像に係る画像の向き、又は前記第２の画像に係る画像の向きを変更し、前記変更に合わせて、前記第１の画像又は前記第２の画像に付されたボディマークの形状を変更する請求項１乃至３のうちいずれかに記載の超音波診断装置。
7. 前記算出部は、前記第１の画像及び前記第３の画像について、形状の変化しやすい病変部位以外の箇所における画素値に基づく画像特徴量を比較する請求項３に記載の超音波診断装置。
8. 前記画像抽出部は、人体モデル上から選択されたプローブマークを検索キーとして、前記複数の第２の画像の中から、前記第３の画像を抽出する請求項１乃至３のうちいずれかに記載の超音波診断装置。
9. 前記画像抽出部は、ボディマーク上から選択されたプローブマークを検索キーとして、前記複数の第２の画像の中から、前記第３の画像を抽出する請求項１乃至３のうちいずれかに記載の超音波診断装置。
10. 前記付帯情報は、アノテーションを含み、
    前記画像抽出部は、前記アノテーションに含まれる文字列及び前記アノテーションの前記第１の画像上における位置を検索キーとして、前記複数の第２の画像の中から、前記第３の画像を抽出する請求項１乃至３のうちいずれかに記載の超音波診断装置。
11. ボディマーク、プローブマーク、及びアノテーションのうち、少なくとも一つを含む付帯情報が画像情報として付された第１の画像を取得する取得部と、
    前記第１の画像に付された前記付帯情報を画像認識することにより、当該第１の画像について、撮像位置を特定するための位置特定情報を算出する算出部と、
    前記位置特定情報を、前記第１の画像に関連付けて所定の記憶装置に記憶する記憶制御部と
    を具備する超音波診断装置。
12. ボディマーク、プローブマーク、及びアノテーションのうち、少なくとも一つを含む付帯情報が画像情報として付された第１の画像を取得する取得部と、
    前記第１の画像に付された前記付帯情報を画像認識することにより、当該第１の画像について、撮像位置を特定するための位置特定情報を算出する算出部と、
    過去に取得された複数の第２の画像の中から、前記算出された位置特定情報と対応する位置特定情報を含む付帯情報が付された第３の画像を抽出する画像抽出部と、
    前記第３の画像を表示する表示制御部と
    を具備する医用画像処理装置。