JP2023073109A - 情報処理装置、医用画像診断装置、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】オクルージョンに対してロバストな検査部位の推定を可能にすること。【解決手段】実施形態の情報処理装置は、取得手段と、ケーブル推定手段と、推定手段と、検査部位推定手段とを備える。取得手段は、被検体を走査する検査デバイスを含む画像を取得する。ケーブル推定手段は、画像に基づいて検査デバイスのケーブルの位置を推定する。推定手段は、検査デバイスのケーブルの位置に基づいて検査デバイスの位置及び方向を推定する。検査部位推定手段は、検査デバイスの位置及び方向に基づいて、検査デバイスによる検査部位を推定する。【選択図】図３

Description

本明細書等に開示の実施形態は、情報処理装置、医用画像診断装置、プログラム及び記憶媒体に関する。

医療の分野において、医師は、様々なモダリティ（医用画像診断装置）によって撮影された医用画像を用いて診断を行っている。モダリティとしては、超音波診断装置、光音響撮像装置（以下、ＰＡＴ（ＰｈｏｔｏＡｃｏｕｓｔｉｃ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）が挙げられる。また、その他のモダリティとしては、磁気共鳴撮像装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置と呼ぶ）、コンピュータ断層撮影装置（以下、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）等が挙げられる。

これらの診断に用いられる医用画像が被検体の何れの部位を撮像したものであるかを、医用画像診断装置と被検体との位置関係に基づいて判別（特定）するシステムが知られている。具体的には、当該システムは、検査中の被検体と超音波プローブを撮像した外観画像から、それぞれのテンプレート画像とのテンプレートマッチングによって被検体と超音波プローブの位置を特定し、それらの位置関係から検査部位を算出する。

特開２０１８－１７５００７号公報

本明細書等に開示の実施形態が解決しようとする課題の一つは、オクルージョンに対してロバストな検査部位の推定を可能にすることである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置づけることもできる。

実施形態の情報処理装置は、取得手段と、ケーブル推定手段と、推定手段と、検査部位推定手段とを備える。取得手段は、被検体を走査する検査デバイスを含む画像を取得する。ケーブル推定手段は、前記画像に基づいて前記検査デバイスのケーブルの位置を推定する。推定手段は、前記検査デバイスのケーブルの位置に基づいて前記検査デバイスの位置及び方向を推定する。検査部位推定手段は、前記検査デバイスの位置及び方向に基づいて、前記検査デバイスによる検査部位を推定する。

図１は、第１の実施形態に係る超音波診断装置の構成例を示す図である。 図２は、第１の実施形態に係る超音波プローブの構成例を示す図である。 図３は、第１の実施形態に係る超音波診断装置本体の構成例を示すブロック図である。 図４は、第１の実施形態に係る超音波診断装置の全体フローを示すフローチャートである。 図５は、第１の実施形態に係る計測処理の処理フローを示すフローチャートである。 図６は、第１の実施形態に係る超音波画像処理の処理フローを示すフローチャートである。 図７は、第１の実施形態に係る計測処理の変形例１の処理フローを示すフローチャートである。 図８は、第１の実施形態に係る人体位置姿勢推定処理の処理フローを示すフローチャートである。 図９は、第１の実施形態に係る検査部位特定処理の処理フローを示すフローチャートである。 図１０は、第１の実施形態に係る計測処理後の動作を示すフローチャートである。 図１１は、第１の実施形態に係る超音波診断装置を用いた計測のイメージ図である。 図１２Ａは、第１の実施形態に係る計測時に得られる出力結果のイメージ図である。 図１２Ｂは、第１の実施形態に係る計測時に得られる出力結果のイメージ図である。 図１２Ｃは、第１の実施形態に係る計測時に得られる出力結果のイメージ図である。 図１２Ｄは、第１の実施形態に係る計測時に得られる出力結果のイメージ図である。 図１３は、第１の実施形態に係る外観画像と外観画像に収まる超音波プローブを示すイメージ図である。 図１４Ａは、第１の実施形態に係る超音波プローブの位置推定処理時に得られるイメージ図である。 図１４Ｂは、第１の実施形態に係る超音波プローブの位置推定処理時に得られるイメージ図である。 図１４Ｃは、第１の実施形態に係る超音波プローブの位置推定処理時に得られるイメージ図である。 図１４Ｄは、第１の実施形態に係る超音波プローブの位置推定処理時に得られるイメージ図である。 図１５は、第１の実施形態に係る人体位置姿勢の推定結果としての骨格情報とプローブ位置の推定結果としての十字線を重畳したイメージ図である。 図１６は、第１の実施形態に係る超音波画像の計測時にディスプレイに表示される画面の一例を示す図である。 図１７Ａは、第１の実施形態に係る検査部位の特定の際にディスプレイに表示される画面のイメージ図である。 図１７Ｂは、第１の実施形態に係る検査部位の特定の際にディスプレイに表示される画面のイメージ図である。 図１８は、変形例４に係るケーブル関心領域の一例を示すイメージ図である。

以下、添付図面を参照して、本願に係る情報処理装置、医用画像診断装置、プログラム及び記憶媒体の実施形態を詳細に説明する。なお、本願に係る情報処理装置、医用画像診断装置、プログラム及び記憶媒体は、以下に示す実施形態によって限定されるものではない。また、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。

（第１の実施形態）
実施の一形態について説明する。ここで、第１の実施形態では、本願に係る医用画像診断装置の一例としての超音波診断装置について説明する。すなわち、第１の実施形態では、本願に係る情報処理装置を含む超音波診断装置の例について説明する。なお、本願に係る情報処理装置は、医用画像診断装置に適用するだけでなく、撮像された画像を処理することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

図１は、第１の実施形態に係る超音波診断装置１００の構成例を示す図である。図１に示すように、超音波診断装置１００は、超音波診断装置本体１と、超音波プローブ２と、カメラ３と、アーム４と、ディスプレイ５と、コントロールパネル６とを備える。超音波診断装置本体１は情報処理装置として各種コントロールユニットと電源、通信Ｉ／Ｆ（インターフェース）を備えたコンピュータが筐体に内蔵される。

超音波プローブ２は、本実施形態に係る検査デバイスの一例であり、被検体の表面にその先端面を接触させた状態で、超音波の送受信を行う超音波探触子である。超音波プローブ２は、複数の圧電振動子を有し、超音波診断装置本体１に接続される。超音波プローブ２は、複数の圧電振動子において、超音波診断装置本体１から供給される制御信号に基づき超音波を発生し、被検体からの反射波を受信して電気信号（エコー信号）に変換する。例えば、超音波プローブ２は、セクタ型、リニア型又はコンベックス型など、どのような超音波プローブでもよい。また、超音波プローブ２は、複数の圧電振動子が一列で配置された１次元超音波プローブでもよく、１次元超音波プローブの複数の圧電振動子を機械的に揺動する超音波プローブでもよく、或いは、複数の圧電振動子が格子状に２次元で配置された２次元超音波プローブでもよい。

図２は、第１の実施形態に係る超音波プローブ２の構成例を示す図である。図２に示すように、超音波プローブ２は、プローブ本体２０１と、ケーブル２０２と、ケーブルブッシュ２０３と、フリーズボタン６ａと、確定ボタン６ｂとを備える。

プローブ本体２０１は、複数の圧電振動子を内蔵し、ケーブル２０２を介して受信した制御信号に基づいて超音波を送受信し、反射波に基づくエコー信号をケーブル２０２を介して超音波診断装置本体１に送信する。ケーブル２０２は、超音波診断装置本体１とプローブ本体とを電気的に接続するケーブルである。ケーブルブッシュ２０３は、ケーブル２０２を保護する保護部材である。フリーズボタン６ａは、プローブ本体２０１における超音波送受信を一時停止するためのボタンである。確定ボタン６ｂは、超音波画像を保存させるためのボタンである。

カメラ３は、超音波診断装置本体１に設置されたアーム４の先端に設置され、超音波診断装置１００の周辺の様子を撮像するために用いることができる。本実施形態では、カメラ３は、主に超音波プローブ２を用いた被検体への検査時に検査部位の特定のための外観画像を取得するために用いられる。具体的には、カメラ３は、超音波プローブ２を用いた被検体への検査時に検査部位と超音波プローブ２とを含む外観画像を撮像する。

カメラ３は、撮像光学系、撮像素子、ＣＰＵ、画像処理回路、ＲＯＭ、ＲＡＭ、少なくとも１つの通信Ｉ／Ｆなど、一般的なカメラとしての構成を備える。被写体からの光束がレンズ等の光学素子からなる撮像光学系によってＣＣＤやＣＭＯＳセンサ等からなる撮像素子に結像され撮像を行う。撮像光学系はレンズ群を備え、カメラ３はレンズ群を光軸方向に駆動させることでズーム、フォーカスを制御するレンズ駆動制御回路も備える。撮像素子から出力された電気信号をＡ／Ｄ変換器にてデジタル画像データに変換し、画像処理回路にて各種画像処理が施され、外部装置に出力される。画像処理回路で行われる画像処理の少なくとも一部は、通信Ｉ／Ｆを介して外部装置に出力してから外部装置の処理回路にて処理されてもよい。

また本実施形態においては、カメラ３は、主に可視光領域の光を受光して撮像する撮像素子を用いるものとする。しかし、カメラ３の例としてはこれに限らず、赤外光領域の光を受光して撮像するカメラであってもよいし、可視光、赤外光など複数の波長領域の光を受光して撮像するカメラを備えていてもよい。また、外観画像に加えて距離計測を可能とするステレオカメラや、距離計測用としてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを備えたカメラであってもよい。以降、カメラ３により撮像された画像をカメラ画像と称することとする。

アーム４は、超音波診断装置本体１に設置され、被検体の検査部位と超音波プローブ２とを含む外観画像が撮像可能な位置姿勢にカメラ３を配置するために使用される。本実施形態においては、アーム４は、５つのジョイント（関節）を持つシリアルリンク機構のアームである。アーム４の先端のカメラ３が接続されているジョイントは、ボールジョイントでカメラ３の姿勢を簡易に設定可能である。

ディスプレイ５は、ＬＣＤ等の表示デバイスを含み、超音波診断装置本体１から入力される画像やメニュー画面、グラフィカルユーザーインターフェース（ＧＵＩ）などを表示デバイスに表示する。具体的には、ディスプレイ５は、超音波診断装置本体１のメモリに記憶されている画像や不揮発性メモリに記録されている画像を表示デバイスに表示する。また、ディスプレイ５は、超音波画像やカメラ画像、ボディマーク画像、プローブマーク画像、部位特定結果などを表示する。ここで、ボディマーク画像は、身体の形状を簡易に表現した画像であり、超音波診断装置で一般的に使用されている。また、プローブマーク画像は、ボディマーク画像に重畳して表示されるマークであり、身体の接平面に対して超音波プローブ２がどのような角度で接しているか一目で特定する目的で付与される。

コントロールパネル６は、キーボード、トラックボール、スイッチ、ダイヤル、タッチパネル等によって構成される。コントロールパネル６は、これらの操作部材を用いて検査者による超音波プローブ２を用いた撮像やカメラ３を用いた撮像の撮像指示、各種画像の画像表示の指示、画像の切り替え、モード指定、各種設定の指示などの様々な入力操作を受け付ける。受け付けた入力操作信号は、超音波診断装置本体１に入力され、種々の制御に反映される。コントロールパネル６がタッチパネルである場合にはディスプレイ５と一体であっても良く、検査者がディスプレイ上に表示されたボタンに対してタッチやドラッグの操作を行うことで、超音波診断装置本体１の各種設定や操作をすることができる。

超音波プローブ２から信号を受信して、超音波診断装置本体１におけるメモリの超音波画像が更新されている状態において、検査者によりフリーズボタン６ａが操作されると、超音波プローブ２からの信号が停止し、超音波画像のメモリの更新が一時停止される。このとき、カメラ３からの信号も停止し、カメラ画像のメモリの更新が一時停止される。カメラ画像のメモリの更新が停止された状態からフリーズボタン６ａが操作された場合、再度、超音波プローブ２から信号を受信して、超音波画像のメモリの更新が開始され、同様にしてカメラ画像の更新も開始される。フリーズボタン６ａの押下により超音波画像がひとつに定まっている状態で検査者により確定ボタン６ｂが操作されると、当該超音波画像が不揮発性メモリに保存される。また、フリーズボタン６ａ及び確定ボタン６ｂは、超音波プローブ２ではなく、コントロールパネル６に備えられる場合でもよい。

図３は、第１の実施形態に係る超音波診断装置本体１の構成例を示すブロック図である。超音波診断装置本体１は、内部バス１７に対して、送受信回路１２と、信号処理回路１３と、画像生成回路１４と、カメラ制御回路１５と、処理回路７と、メモリ８と、不揮発性メモリ９と、通信Ｉ／Ｆ１０と、電源１１とを備えている。内部バス１７に接続される各構成は、内部バス１７を介して互いにデータのやり取りを行うことができるように構成される。

超音波診断装置１００においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１５４へ記憶されている。送受信回路１２、信号処理回路１３、画像生成回路１４、カメラ制御回路１５、及び、処理回路７は、不揮発性メモリ９からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の各回路は、読み出したプログラムに対応する機能を有することとなる。

なお、上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。

メモリ８は、例えば、ＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。処理回路７は、例えば、不揮発性メモリ９に格納されるプログラムに従い、メモリ８をワークメモリとして用いて、超音波診断装置本体１の各構成を制御する。例えば、処理回路７は、図３に示すように、制御機能７ａと、画像取得機能７ｂと、推定機能７ｃとを実行することで、超音波診断装置１００における各種処理を実行する。ここで、制御機能７ａは、制御手段の一例である。また、画像取得機能７ｂは、取得手段の一例である。また、推定機能７ｃは、ケーブル推定手段、推定手段、検査部位推定手段、第１の姿勢推定手段、及び、第２の姿勢推定手段の一例である。

制御機能７ａは、超音波画像の撮像や、超音波画像の表示に関する種々の処理を実行する。また、画像取得機能７ｂは、外観画像の取得に関する種々の処理を実行する。また、推定機能７ｃは、超音波プローブ２による被検体の走査の走査位置の推定に関する種々の処理を実行する。なお、制御機能７ａ、画像取得機能７ｂ及び推定機能７ｃの処理の詳細については、後述する。

不揮発性メモリ９には、画像データや被検体のデータ、処理回路７を含む各回路が動作するための各種プログラムなどが格納される。不揮発性メモリ９は、例えば、（ＨＤ）やＲＯＭなどで構成される。

送受信回路１２は、超音波プローブ２に電力を供給、制御信号を送信、エコー信号を受信するなどのために少なくとも１つの通信Ｉ／Ｆを備える。送受信回路１２は、例えば処理回路７からの制御信号に基づき超音波プローブ２に超音波ビームを送信させるための制御信号を供給する。更に、送受信回路１２は、超音波プローブ２からの反射波信号、すなわちエコー信号を受信し、その受信信号に対して整相加算を行い、その整相加算により取得した信号を信号処理回路１３に出力する。

信号処理回路１３は、Ｂモード処理回路（あるいはＢｃモード処理回路）やドプラモード処理回路、カラードプラモード処理回路などを有している。Ｂモード処理回路は、公知の処理により送受信回路１２から供給された受信信号の振幅情報の映像化を行い、Ｂモード信号のデータを生成する。ドプラモード処理回路は、公知の処理により送受信回路１２から供給された受信信号からドプラ偏移周波数成分を取り出し、さらに、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓ ｆｏｒｍ）処理などを施し、血流情報のドプラ信号のデータを生成する。カラードプラモード処理回路は、公知の処理により送受信回路１２から供給された受信信号に基づいて血流情報の映像化を行い、カラードプラモード信号のデータを生成する。信号処理回路１２は、生成した各種のデータを画像生成回路１４に出力する。

画像生成回路１４は、信号処理回路１３から供給されたデータに基づいて公知の処理によりスキャン領域に関する２次元や３次元の超音波画像を生成する。例えば、画像生成回路１４は、供給されたデータからスキャン領域に関するボリュームデータを生成する。画像生成回路１４は、生成したボリュームデータからＭＰＲ処理（多断面再構成法）により２次元の超音波画像のデータやボリュームレンダリング処理により３次元の超音波画像のデータを生成する。なお、超音波画像としては、例えば、Ｂモード画像やドプラモード画像、カラードプラモード画像、Ｍモード画像などがある。

カメラ制御回路１５は、カメラ３に電力を供給、制御信号を送受信、画像信号を送受信するなどのために少なくとも１つの通信Ｉ／Ｆを備える。なお、カメラ３は超音波診断装置本体１からの電力供給を受けず、単体で駆動するための電源を備えていてもよい。また、カメラ制御回路１５は、通信Ｉ／Ｆを介してカメラ３に制御信号を送信することでカメラ３のズーム、フォーカス、絞り値など各種撮像パラメータを制御することが出来る。カメラ３が自動でパンチルト可能な雲台を備え、パンチルト制御信号を受信し、パンチルト駆動による位置姿勢制御が可能な構成となっていてもよい。この他、アーム４の先端にカメラ３の位置姿勢を電動で制御するための駆動部および駆動制御回路を備えて、カメラ制御回路１５あるいは処理回路７からの制御信号に基づきカメラ３の位置姿勢を制御してもよい。

以上、本実施形態に係る超音波診断装置１００の構成について説明した。かかる構成のもと、超音波診断装置１００は、オクルージョンに対してロバストな検査部位（走査位置）の推定を可能にする。超音波診断装置１００による検査では、超音波画像を取得するごとに、超音波プローブによる検査部位（超音波プローブの接触位置）の情報をプローブマークとして入力することができる。しかしながら、検査部位が多い場合や、被検体の人数が多い場合、検査者への負担が大きく、入力ミスが生じるおそれもある。

そこで、検査部位の入力を自動化するための方法として、例えば、上記した外観画像を用いた方法が提案されてきている。しかしながら、超音波プローブの形状・デザインは操作性が考慮され、また医療従事者に長年使用してもらうことで決まってきた。そのため、可能な限りその形状・デザインへの変更がなく、操作性への影響の少ないものが好ましい。したがって、そのような制約の中で外観画像を用いた超音波プローブの検査部位の推定を行う場合、超音波プローブが手に持って操作されるものであるがゆえに、手による隠れ（オクルージョン）によって、プローブ自身を認識可能なようにプローブを安定的に画像に収めることができない場合がある。

検査者の手の大きさや、超音波プローブの持ち方はまちまちである。また、同じ検査者でも、検査部位に応じて超音波プローブの持ち方を変えながら操作をおこなうことが普通である。そこで、本実施形態では、超音波プローブのオクルージョンに対してロバストな検査部位の推定を可能にする。

以下、超音波診断装置１００による処理について説明する。図４は、第１の実施形態に係る超音波診断装置１００の全体フローを示すフローチャートである。ここで、図４に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

制御機能７ａは、ステップＳ４０１において、検査者による操作に応じて電源をＯＮにし、不揮発性メモリ９に記憶されたＯＳ（オペレーティングシステム）をロードして起動した後に、ステップＳ４０２において、自動的に超音波診断アプリ（アプリケーション）を起動する。このとき、制御機能７ａは、ディスプレイ５に起動画面の画像信号を送信して、表示させる。

そして、制御機能７ａは、超音波診断アプリの起動後、初期化処理を経てディスプレイ５の表示画面を被検体情報登録画面に移行させ、ステップＳ４０３において、検査者のコントロールパネル６への操作に応じて被検体情報の登録指示を受け付ける。ここで、被検体情報とは、被検体の病状に応じた検査部位（乳腺、心臓、動脈、腹部、頸動脈、甲状腺、静脈、等）、被検体ＩＤ、氏名、性別、生年月日、年齢、身長、体重、入院か外来か、などである。被検体情報の入力後、検査者の操作により、コントロールパネル６（ディスプレイ上あるいは操作パネル上）の開始ボタンが押下されると、制御機能７ａは、被検体情報をメモリ８あるいは不揮発性メモリ９に保存する。その後、制御機能７ａは、ディスプレイ５の表示画面を超音波診断アプリによる計測画面の表示に移行させる。

また、ステップＳ４０３において、制御機能７ａは、検査部位を手動で設定するか、自動で設定するかの設定を受け付ける。なお、検査部位が手動で設定される際のフローについては、図５を用いて後述する。また、検査部位が自動で設定される際のフロー（変形例１）については、図７を用いて後述する。

そして、超音波診断アプリの計測画面に移行した後、制御機能７ａは、ステップＳ４０４において検査者の操作に応じた超音波診断の計測処理を行う。なお、計測処理の詳細は後述する。

全ての部位を検査し終えると、制御機能７ａは、ステップＳ４０５において検査によって得られた検査データを不揮発性メモリ９あるいは不図示の外部メディアに保存するか、または通信Ｉ／Ｆ１０を介して外部装置（外部サーバ）へ転送する。

全ての処理が終了し、検査者の操作によって電源ＯＦＦの操作がなされると、制御機能７ａは、ステップＳ４０６において超音波検査アプリおよびＯＳの終了処理を行い、一連の処理を終了する。

次に、ステップＳ４０４の処理の詳細について説明する。図５は、第１の実施形態に係る計測処理の処理フローを示すフローチャートである。ここで、図５は、検査者によって検査部位を手動で設定するように設定された場合の処理を示す。また、図５に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

制御機能７ａは、ステップＳ５０１において、プローブ２から受信するエコー信号に対して、信号処理および画像処理を施すことで超音波画像を生成してディスプレイ５に表示する。なお、ステップＳ５０１における超音波画像処理の詳細は後述する。

検査者はディスプレイ５に表示されている超音波画像を確認して、所望の超音波画像が得られる状態になった場合に、確定ボタン６ｂを押下する。制御機能７ａは、ステップＳ５０２において、検査者の操作に応じて超音波画像を確定し、超音波画像をメモリ８に保持する。

ここで、制御機能７ａは、検査部位を設定するための画面をディスプレイ５に表示させる。図１６は、第１の実施形態に係る超音波画像の計測時にディスプレイに表示される画面の一例を示す図である。例えば、制御機能７ａは、図１６に示すように、超音波画像２１０１、検査部位２１０２、及び、超音波プローブ２を含む外観画像２１０３を表示させる画面をディスプレイ５に表示させる。

検査者は、図１６の画面を参照しながら、種々の操作を行う。検査者の操作に応じて、制御機能７ａは、ステップＳ５０３において、検査した部位がどこであるかの情報を記録するために、検査部位名、ボディマークおよびプローブマークといった検査部位の情報を設定する。また、制御機能７ａは、検査者の操作に応じて、ディスプレイ５にコメントや矢印などのアノテーションを付与することができる。

検査者の操作によって確定ボタンが押下されると、制御機能７ａは、ステップＳ５０４において、検査部位の情報をメモリ８に保持させる。

ある検査部位の計測処理が終了すると、ステップＳ５０５において、処理回路７は、予め検査内容に応じて決まっている検査部位を全て計測したかどうかの判定をおこなう。ここで、検査していない部位が残っていた場合には（ステップＳ５０５、Ｎｏ）、制御機能７ａは、再度ステップＳ５０１に戻り、処理を継続する。なお、検査内容の情報は、予め不揮発性メモリ９に検査部位や症状に応じて分類され記録されたものから検査者の操作に応じて選択され、設定される。一方、検査部位の計測処理が全て終了したと判定された場合には（ステップＳ５０５、Ｙｅｓ）、制御機能７ａは、ステップＳ４０４の処理を終了する。

次に、ステップＳ５０１の処理の詳細について説明する。図６は、第１の実施形態に係る超音波画像処理の処理フローを示すフローチャートである。ここで、図６に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

上述したように、超音波プローブ２は検査デバイスの一例であり、各圧電振動子により被検体内に超音波を送信しながらスキャン領域を走査し、被検体からの反射波をエコー信号として受信する。本実施形態では、超音波プローブ２は検査者が手に持って操作できるようになっている。超音波プローブ２から送られたエコー信号を、ステップＳ６０１において、信号処理回路１３及び画像生成回路１４により信号処理および画像処理し超音波画像を生成して、処理回路７がディスプレイ５に表示する。

検査者は所望の画像を得るために、ディスプレイ５に表示された超音波画像を確認しながら、コントロールパネル６を用いてさらに各種処理パラメータを調整し補正を行うことができる。すなわち、ステップＳ６０２において、コントロールパネル６によって受け付けられた操作信号に応じて各種パラメータ（モードやゲイン、フォーカス、エコーレベル、等）が変更され、変更後の超音波画像が再生成されディスプレイ５に表示される。

超音波プローブ２にはフリーズボタン６ａが設けられており、制御機能７ａは、ステップＳ６０３において、フリーズボタン６ａが押下されたか否かを判定する。フリーズボタン６ａが押下されない場合（ステップＳ６０３、Ｎｏ）、ステップＳ６０１とステップＳ６０２とが繰り返される。一方、フリーズボタン６ａが押下された場合（ステップＳ６０３、Ｙｅｓ）、所望の超音波画像が取得されたとして、制御機能７ａは、その時点において撮像、生成された超音波画像をディスプレイ５に表示して、ステップＳ６０４において、確定ボタン６ｂが押下されたか否かを判定する。

ここで、確定ボタン６ｂが押下されていない場合（ステップＳ６０４、Ｎｏ）、ステップＳ６０１とステップＳ６０２とが繰り返される。一方、確定ボタン６ｂが押下された場合（ステップＳ６０４、Ｙｅｓ）、制御機能７ａは、超音波画像処理の処理フローを終える。

（変形例１）
ここで、ステップＳ４０４の計測処理に変形例について説明する。図７は、第１の実施形態に係る計測処理の変形例１の処理フローを示すフローチャートである。ここで、図７は、検査者によって検査部位を自動で設定するように設定された場合の処理を示す。すなわち、変形例１では、図５のステップＳ５０３において、検査者の操作に応じて行っていた検査部位の設定を自動化する。なお、図７に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

ステップＳ７０１において、制御機能７ａは、カメラ制御回路１５にカメラ３を起動・制御させ、被検体を含む画像を撮像させる。図１１は、第１の実施形態に係る超音波診断装置１００を用いた計測のイメージ図である。図１１に示すように、超音波診断装置１００を用いた検査では、検査者が超音波プローブ２を把持し、被検体Ｐの体表に超音波プローブの送受信面を接触させ、超音波を送受信させることで、被検体内の検査部位を走査する。

ここで、本実施形態では、検査者がアーム４を動かすことでカメラ３を被験者の一部とプローブ２を画角に含む適切な位置姿勢に配置し、コントロールパネル６あるいはカメラ３にあらかじめ配されたシャッターボタン等の操作部材を用いた操作によってカメラ３で外観画像を撮像する。なお、外観画像の撮像はこれに限らず、カメラ３の位置姿勢制御、撮像制御のための各ステップのうち、少なくとも１つを自動化してもよい。例えば、アーム４の先端にパンチルト機構を備えた雲台つきのカメラ３が取り付けられている場合、カメラ制御回路１５がカメラ３の位置姿勢を適切な位置姿勢に駆動制御する。一例を挙げると、カメラ制御回路１５は、被検体Ｐと超音波プローブ２を現在のカメラ位置姿勢における撮像画像から画像解析等で検出し、両者の少なくとも１つが画角に含まれるようにパンチルト制御によってカメラ３の位置姿勢を制御する。あるいは、アーム４を６軸多関節ロボットとし、カメラ制御回路１５が、６軸多関節ロボットを制御することで、カメラ３の位置姿勢を制御してもよい。

ここで、現在のカメラ３の位置姿勢における撮像画像から被検体の一部が検出できない場合は、カメラ制御回路１５は、異なる画角にカメラをパンチルトして検出できるまで所定回数、移動と撮像を繰り返す。カメラ３が適切な位置姿勢に制御された後（あるいは、適当な配置のカメラが決定された後）、画像取得機能７ｂは、カメラ３により被検体の一部を含む外観画像を撮像させ、外観画像を取得する。また、被検体の位置姿勢の推定処理のために複数画角（複数視点、複数の位置姿勢）の撮像画像が必要であれば複数の位置姿勢にカメラ３を駆動制御した上で複数回の撮像を行わせてもよい。

推定機能７ｃは、カメラ３から取得した外観画像からベッド等に横たわった被検体の位置姿勢の推定を行い、推定結果をディスプレイ５に表示させる。検査者のコントロールパネル６に対する操作に応じて被検体の位置姿勢の推定結果が確定されると、その時点での被検体の位置姿勢をメモリ８に保持する。なお、画角内に収めた被検体の位置姿勢の推定処理と超音波プローブ２の位置姿勢の推定処理と、両推定結果に基づく検査部位の特定処理の詳細は後述する。

その後、ステップＳ７０２の超音波画像処理のフローとステップＳ７０３の検査部位特定Ａのフローとが並列に処理される。なお、ステップＳ７０２は、先に図６を用いて説明したステップＳ５０１における超音波画像処理のフローと同等のフローである。

ステップＳ７０３において、推定機能７ｃは、カメラ３から取得した外観画像を使って自動で検査部位を推定し、推定結果をディスプレイ５に表示する。検査部位の推定処理の詳細は後述する。そして、検査者の操作によって超音波プローブ２のフリーズボタン６ａが押下されると、超音波プローブ２からのエコー信号に基づくディスプレイ５の超音波画像の更新が停止され確定される。超音波画像が確定されるとともにあるいは次いで、制御機能７ａは、フリーズボタン６ａが押下された際の検査部位の推定結果をディスプレイ５に表示し、ステップＳ７０２およびステップＳ７０３を抜ける。

ステップＳ７０４において、制御機能７ａは、超音波画像が確定されたか否かを判定する。例えば、超音波画像が所望のものであれば、検査者は、確定ボタン６ｂを押下して超音波画像を確定させる。一方、超音波画像が所望のものでなければ、検査者は、確定ボタン６ｂを押下せずに、超音波画像を確定させない。制御機能７ａは、検査者によって確定ボタン６ｂが押下された場合（ステップＳ７０４、Ｙｅｓ）、ステップＳ７０５に進み、記録、表示等の計測後処理をおこなう。一方、検査者が確定ボタン６ｂを押下げない、あるいは他の所定の操作を行った場合（ステップＳ７０４、Ｎｏ）、制御機能７ａは、ステップＳ７０２およびステップＳ７０３の並列処理に戻る。なお、上記他の所定の操作としては、例えば、フリーズボタン６ａの再押下などが挙げられる。

ステップＳ７０６において、制御機能７ａは、予め検査内容に応じて決まっている検査部位を全て計測したかどうかを判定する。ここで、検査していない部位が残っている場合には（ステップＳ７０６、Ｎｏ）、制御機能７ａは、再度ステップＳ７０２およびステップＳ７０３の並列処理に戻る。一方、全部位の計測が終了した場合には（ステップＳ７０６、Ｙｅｓ）、制御機能７ａは、ステップＳ４０４の計測処理を終了する。なお、本実施形態では、複数の検査部位を検査する検査内容を予め不揮発性メモリ９に記憶しておき、ステップＳ７０６にて判定しているが、１の検査部位の撮像、保存が完了した後、上記判定を行わずフローが終了するような形態でもよい。

次に、ステップＳ７０１の処理の詳細について、図８及び図１２Ａ～図１２Ｄを用いて説明する。図８は、第１の実施形態に係る人体位置姿勢推定処理の処理フローを示すフローチャートである。図１２Ａ～図１２Ｄは、第１の実施形態に係る計測時に得られる出力結果のイメージ図である。なお、図８に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

ステップＳ８０１において、画像取得機能７ｂは、被検体を走査する検査デバイスを含む画像を取得する。例えば、画像取得機能７ｂは、カメラ制御回路１５を制御して、図１２Ａに示すように、カメラ３でベッド等に横たわった被検体を撮像させる。カメラ３では所定のフレームレートで順次撮像が行われ、制御機能７ａは、カメラ制御回路１５の通信Ｉ／Ｆを介して外観画像を受信し、順次ディスプレイ５に表示する。

検査者はディスプレイ５に表示される外観画像を確認しながら、少なくとも被検体の一部で着目している検査部位がカメラ３の画角に収まるようにアーム４の位置を調節する。なお、ディスプレイ５には、表示された外観画像内の所定の位置に被検体の検査部位がくるように検査者がカメラ３の配置をガイドするための線を表示してもよい。かかる場合に、ガイドするための線（例えば、表示画像上に重畳するＧＵＩデータ）が検査部位の情報などと対応付けて予め不揮発性メモリ９に記憶される。制御機能７ａは、検査部位の情報と、不揮発性メモリ９に記憶された情報とに基づいて、カメラ３の視野を調整するためのガイド線を表示させる。

ステップＳ８０２において、推定機能７ｃは、外観画像として取得したカメラ３からの画像に基づき画像解析処理により人体の位置姿勢を推定する。ここで、本実施形態では、人体の位置姿勢情報として、各関節等の特徴点の位置座標などからなる骨格情報を出力する。関節等とは、鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、中央尻、右尻、右膝、右踝、左尻、左膝、左踝、右目、左目、右耳、左耳、左親指、左小指、左踵、右親指、右小指、右踵、等である。画像から骨格情報を得る手段としては、機械学習（ディープラーニング）の方法を使って学習した学習器を用いる。例えば、本実施形態では、被検体としての人体の含まれる複数の学習用画像と各学習用画像における骨格情報（関節等の確率分布）の正解情報とのセットで予め学習された学習モデル（学習器）を用いる。本方法では、カメラ（ステレオカメラ、赤外線カメラ、ＴＯＦカメラを含む、）から得られる情報が、輝度画像のみ、深度画像のみ、その両方の画像のいずれであっても、骨格情報を２Ｄ座標または３Ｄ座標で取得することが可能である。このような学習器として、例えば、カーネギーメロン大学のＯｐｅｎｐｏｓｅ（登録商標）などが知られている。

本実施形態では、機械学習が行われた学習器で推定する位置姿勢情報（骨格情報）を配列またはリストなどの形でメモリに保持する。具体的には、上述したような関節等の複数の部位について、各部位が画像内で存在する確率の分布を示す情報が、推定された位置姿勢情報として出力される。画像上で部位ｎ（ｎは整数）が存在する信頼度の分布（確率分布）をＲｎ（ｘ，ｙ）とすると、骨格情報としての出力ＲはＲ＝｛Ｒｎ（ｘ，ｙ）｜ｎ＝１，２，‥‥，Ｎ，Ｎは整数｝で表される。また、Ｒｎ（ｘ，ｙ）は画像上の全領域の信頼度の分布でなくてもよく、閾値より大きい信頼度を有する領域だけの信頼度の分布であってもよい。また、Ｒｎ（ｘ，ｙ）として信頼度のピーク値だけをその座標と関連付けて保持していてもよい（例えば部位３：右肩、信頼度：0.5、座標：（ｘ，ｙ）＝（122, 76））。

骨格情報として出力された出力Ｒにおいて、各部位の信頼度のピーク値の位置（すなわち最も各部位が存在する確率が高く検出された位置）を抽出し、この情報を元に骨格情報を可視化したものの一例を図１２Ｂに示す。例えば、骨格情報は、図１２Ｂに示すように、外観画像に含まれる人体について、各関節の位置を点で示し、関節間を直線で繋いだものとして可視化させることができる。

なお、画像から骨格情報を得る手段は、上記した例に限られず、その他既知の手段を任意に適用することができる。また、本実施形態では、画像から学習済み学習器を使って骨格情報を得るための前処理として、ノイズ除去や歪補正、色変換、輝度、色の諧調補正などの画質の補正、画像の回転やフリップ等を行う。補正のためのパラメータは撮像するカメラ３の機種、撮像時の撮像条件などに応じてテーブル化されて不揮発性メモリ９に記憶される。推定機能７ｃは、入力される外観画像にこの補正パラメータを用いて補正処理を施し、学習で用いたデータセットの画像の撮像条件に近づけることでより精度よく推論を行う。例えば、暗い室内で撮像した画像には画像を明るく補正する際に高感度ノイズが生じ、学習で用いたデータセットと傾向が異なる場合が考えられる。そのような場合には入力される外観画像に対して高感度ノイズを除去する処理を掛けるのが好ましい。同様に、カメラ３のレンズが広角で周辺の歪が大きい場合には、入力される外観画像に対して歪補正を行うのが好ましい。また、データセットにある画像は頭が上であるものばかりであるような場合には、画像を頭が上になるように回転あるいはフリップして入力するのが好ましい。また、画像を何かしらの処理で変換した画像で学習させている場合には、入力画像も同様に変換させてから学習器に入力するのが好ましい。

図１２Ｂに示すように、ステップＳ８０２においては、被検体の他、検査者や周囲の人間の骨格情報も一緒に取得されている可能性がある。そのため、ステップＳ８０３において、推定機能７ｃは、ステップＳ８０２で得られた骨格情報の画像から被検体の骨格情報を特定する。

被検体の骨格情報の特定の方法としては、例えば以下のような方法が考えられる。１つの方法は、顔認証の処理と組み合わせる方法である。推定機能７ｃは、外観画像から不揮発性メモリ９にあらかじめ登録されている検査者の顔を認証する。例えば、推定機能７ｃは、検査者の顔が認証され検出された場所と、ステップＳ８０２で検出した骨格情報の中で顔の部位として検出された部分（目、鼻、耳、等）との距離関係から、検査者の骨格情報と被検体の骨格情報とを識別する。

他の方法としては、超音波診断装置１００を識別し超音波診断装置１００からの平面的（画像ＸＹ方向）あるいは立体的（Ｚ方向）距離関係から検査者と被検体とを識別してもよい。さらに他の方法としては、骨格情報の関節点の位置の関係から姿勢の種類を識別し、検査者と被検体とを識別する。さらに他の方法としては、カメラ３の画角を調整する際に決められた領域に被検体が写るように手続き化しておき、骨格情報の位置から被検体を識別する。

本実施形態では、推定機能７ｃは、上記識別手法の少なくとも１つを実行して検査者と被検体とを特定し、特定された被検体の位置姿勢情報を図１２Ｃのように可視化する。すなわち、推定機能７ｃは、図１２Ｃに示すように、被検体の骨格情報のみを含む位置姿勢情報を生成する。

そして、ステップＳ８０４において、制御機能７ａは、例えば、図１２Ｄに示すように、推定された被検体の位置姿勢情報を、カメラ３からの表示画像（外観画像）に重畳させた画像をディスプレイ５に表示させる。ここで、制御機能７ａがディスプレイ５に表示させる画像は、カメラ３で取得した画像を直接利用するのではなく、プライバシーに配慮して、公知の画像処理によりアバターやアニメーションに置換、あるいは３Ｄモデルに変換させて表示される場合でもよい。

次に、ステップＳ８０５において、推定機能７ｃは、検査者の操作に応じてフリーズボタン６ａが押下されると（ステップＳ８０５、Ｙｅｓ）、ディスプレイ５に順次表示されていた外観画像に基づく被検体の骨格情報（位置姿勢情報）の推定結果の更新を終え、ステップＳ８０６に進む。フリーズボタン６ａが押下されなければ（ステップＳ８０５、Ｎｏ）、推定機能７ｃは、ステップＳ８０１に戻って位置姿勢情報の推定を継続しておこなう。

ステップＳ８０５においてフリーズボタン６ａが押下された後、ステップＳ８０６において、検査者によってディスプレイ５に表示される位置姿勢情報の推定結果に問題がないことを検査者が確認して確定ボタンを操作すると（ステップＳ８０６、Ｙｅｓ）、推定機能７ｃは、人体位置姿勢の推定処理は終了する。一方、ステップＳ８０６において所望の位置姿勢の結果が得られず、確定ボタンが押下されない場合（ステップＳ８０６、Ｎｏ）、画像取得機能７ｂ及び推定機能７ｃは、ステップＳ８０１に戻って繰り返し位置姿勢の推定を行う。

ここで、ステップＳ８０６において検査者による確認を待つのは、被検体の姿勢が所望のものでなかったり、カメラアングルがよくなかったり、位置姿勢検出結果が人の目で見たものと著しく乖離していた場合などに対処するためである。また、他の実施形態として、ステップＳ８０５、ステップＳ８０６を省略（無視）してもよい。すなわち、検査者から後段の検査部位の特定処理が適切と判断され、確定操作が行われるまで、人体の位置姿勢情報は所定の時間間隔で更新され続けてもよい。

なお、外観画像から得られる情報（各関節点の位置関係、身体領域の大きさ、等）、あるいは登録されている被験者情報（性別、身長、体重等）によって、あらかじめモデリングされた１つ以上の人体モデルを選択、あるいは、それをパラメトリックに変形させることで、被検体の身体形状を推定してもよい。このような技術も機械学習を用いて実現が可能である。

次に、ステップＳ７０３の処理の詳細について、図９、図１３、図１４Ａ～図１４Ｄ、図１５、図１７Ａ、及び図１７Ｂを用いて説明する。図９は、第１の実施形態に係る検査部位特定処理の処理フローを示すフローチャートである。図１３は、第１の実施形態に係る外観画像と外観画像に収まる超音波プローブを示すイメージ図である。図１４Ａ～図１４Ｄは、第１の実施形態に係る超音波プローブの位置推定処理時に得られるイメージ図である。図１５は、第１の実施形態に係る人体位置姿勢の推定結果としての骨格情報とプローブ位置の推定結果としての十字線を重畳したイメージ図である。図１７Ａ及び図１７Ｂは、第１の実施形態に係る検査部位の特定の際にディスプレイに表示される画面のイメージ図である。なお、図９に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

ステップＳ９０１において、画像取得機能７ｂは、カメラ３から超音波プローブ２を含む外観画像（画像データ）をカメラ制御回路１５の通信Ｉ／Ｆを介して取得する。先のステップにおいて被検体を含むようにカメラ３の画角が調整されているのでそのまま撮像してもよいが、超音波プローブ２がより検出しやすい画角になるようにパン制御、チルト制御、ズーム制御等の少なくとも１つが行われてもよい。

かかる場合には、画像取得機能７ｂは、カメラ制御回路１５を制御して、超音波プローブ２がより検出しやすい画角になるように画角を制御する。例えば、図１３に示すように、画像取得機能７ｂは、カメラ３の画角を被検体主体の外観画像から、点線の矩形にて示す超音波プローブ２主体の画角に調整する。

推定機能７ｃは、画像に基づいて超音波プローブ２のケーブルの位置を推定する。具体的には、推定機能７ｃは、超音波プローブ２のケーブルブッシュ（ケーブル端に備えられた軸受け筒や突起などの部材の総称）を含むケーブルの位置を推定する処理を実行する。例えば、推定機能７ｃは、取得した外観画像に対して異なる二つの処理をおこない、その後にそれぞれの結果を結合する。１つ目の処理は、ステップＳ９０２において、推定機能７ｃは、取得した外観画像を解析して超音波プローブ２のケーブルブッシュ２０３のセグメンテーション処理をおこない、ケーブルブッシュセグメンテーションマップを得る。具体的には、推定機能７ｃは、不揮発性メモリ９に予め記憶されているケーブルブッシュのセグメンテーションをおこなう学習器によって、ケーブルブッシュらしさをピクセル毎に推論する。

ここで、学習器は、超音波プローブ２を操作している外観画像と、それらの画像内のケーブルブッシュ部位にアノテーションを付与したデータとを用いて学習されている。学習器としては様々なものが提案されているが、例えば、ＧｏｏｇｌｅのＤｅｅｐＬａｂなどがある。

ここで、セグメンテーション処理を行いやすくするために、超音波プローブ２のケーブルブッシュ２０３に他と識別しやすい画像的な特徴を与えることで、より学習が容易になり、検出精度を高めることが可能となる。例えば、ケーブルブッシュ２０３の色を特徴的なもの（例えば青）にしたり、特徴的なテクスチャ（網目模様など）にしたりする。あるいは、ケーブルブッシュ２０３に赤外線塗料を塗布しておき、赤外線照明および赤外線カメラで撮像する際にケーブルブッシュ部位の輝度値が高く際立った外観画像を得られたりするようにする。なお、赤外線ではなく紫外線を使用してもよい。

セグメンテーション処理の方法としては、機械学習を用いるのが環境変化に対してロバストでよい性能を示す。しかし、環境条件をコントロールできるような場合には、このような工夫をケーブルブッシュ２０３に施すことにより特徴的な画像を取得できるようにすることで、ルールベースの閾値処理等でおこなってもよい。

２つ目の処理は、ステップＳ９０３において、推定機能７ｃは、取得した外観画像を解析してプローブ本体２０１につながったケーブル部位のセグメンテーション処理をおこない、ケーブルセグメンテーションマップを得る。具体的な方法は、ステップＳ９０２に記したものと同様である。また、ステップＳ９０２と同様に、セグメンテーション処理を行いやすくするために、ケーブルに他と識別しやすい画像的な特徴を与えることで、より学習が容易になり、検出精度を高めることが可能となる。

なお、図９ではステップＳ９０２とステップＳ９０３とを別々のステップとして記述したが、１つの学習器でケーブルブッシュとケーブルのそれぞれのセグメンテーションマップを出力するように学習させた学習器を使用してもよい。

例えば、推定機能７ｃは、図１４Ａに示す外観画像を上記した学習器に入力させることで、図１４Ｂに示すセグメンテーション処理結果を取得する。すなわち、推定機能７ｃは、図１４Ｂに示すように、外観画像におけるケーブルブッシュ領域Ｒ１と、ケーブル領域Ｒ２とを推定する。

そして、ステップＳ９０４において、推定機能７ｃは、ステップＳ９０２で取得したセグメンテーションマップを基にブロブ解析をおこなう。具体的には、推定機能７ｃは、セグメンテーションマップに対してガウシアンフィルタ等を使ったブラー処理により画像をスムージングした後、二値化処理をおこなう。また更にモルフォロジ処理をおこなって、ノイズを除去するととともに、断片的になった領域を結合し、連結したピクセルの領域（ブロブ）を得る。

その後、ステップＳ９０５において、推定機能７ｃは、抽出されたブロブの面積が不揮発性メモリ９に予め保持された閾値以上か否かを判定する。ここで、ブロブの面積が閾値以上の場合（ステップＳ９０５、Ｙｅｓ）、推定機能７ｃは、以降、抽出されたブロブをケーブルブッシュ領域として使用することとし、ステップＳ９０６に進む。一方、抽出されたブロブの面積が予め定めた閾値未満の場合には（ステップＳ９０５、Ｎｏ）、推定機能７ｃは、ステップＳ９０９に進む。

ステップＳ９０６において、推定機能７ｃは、取得したケーブルブッシュ領域のモーメントを計算することにより、ブロブの長軸と短軸を求め、短軸と長軸の比ａを得る。そして、推定機能７ｃは、長軸と短軸の比ａが不揮発性メモリ９に予め設定されている閾値ｔ（ｔは１以上の実数でパラメータ）以上であるか否かを判定する。ここで、長軸と短軸の比ａが閾値ｔ以上である場合には（ステップＳ９０６、Ｙｅｓ）、推定機能７ｃは、ステップＳ９０７に進む。一方、長軸と短軸の比ａが設定されている閾値ｔ未満である場合には（ステップＳ９０６、Ｎｏ）、推定機能７ｃは、ステップＳ９０９に進む。

ステップＳ９０７、ステップＳ９０８において、推定機能７ｃは、外観画像に基づいてプローブ本体２０１の位置及び方向を推定する。すなわち、推定機能７ｃは、画像における超音波プローブのケーブルブッシュとケーブルとの位置関係に基づいて、プローブ本体の位置及び方向を推定する。具体的には、ステップＳ９０７において、推定機能７ｃは、ケーブルの有無に関して関心のある画像内の２つのケーブル関心領域を求める。例えば、推定機能７ｃは、まずケーブルブッシュ領域の長軸の２つの端点座標Ｐ（ｘ１、ｙ１）、Ｑ（ｘ２、ｙ２）を求める。さらに、推定機能７ｃは、ケーブルブッシュ領域の重心座標Ｇ（ｘ０、ｙ０）を求める。

次に、推定機能７ｃは、ケーブルブッシュ領域の重心Ｇを頂点とした２つの二等辺三角形領域を求める。この二等辺三角形は、一つは、線分ＧＰをＰ方向にｎ倍（ｎは実数でパラメータ）した線分ＧＰ´に対して、対称形となる二等辺三角形領域（ケーブル関心領域１）とする。もう一つは、同様にして、線分ＧＱをＱ方向にｎ倍（ｎは実数）した線分ＧＱ´に対して、対称形となる二等辺三角形領域（ケーブル関心領域２）とする。すなわち、推定機能７ｃは、ケーブルブッシュ領域の長軸方向における両側にケーブルの有無を判定するためのケーブル関心領域を設定する。なお、その目的に適っていれば、ケーブル関心領域は任意の形状でよく、頂点の一つがケーブルブッシュ領域の重心でなくてもよい。例えば、ケーブルブッシュの重心の代わりに、被検体の位置姿勢の推定結果（Ｒ）から求めた検査者の手の位置を利用してもよい。

ステップＳ９０８において、推定機能７ｃは、ステップＳ９０７で求めた２つのケーブル関心領域内それぞれにおいて、ステップＳ９０３で求めたケーブル領域が占める面積を求め、ケーブルブッシュ領域長軸のケーブル領域面積が少ない方向にプローブ本体２０１の先端中心があると判定する。すなわち、推定機能７ｃは、ケーブルブッシュ領域の長軸方向の両側において、ケーブルが含まれる側の反対側にケーブル本体２０１があると判定する。

例えば、推定機能７ｃは、図１４Ｃに示すように、ケーブルブッシュ領域の長軸に沿って２つのケーブル関心領域Ｒ３を設定する。そして、推定機能７ｃは、２つのケーブル関心領域Ｒ３のうち、ケーブル領域Ｒ２を含まない側（ケーブルブッシュの右下側）にプローブの先端中心があると判定する。

ここで、ステップＳ９０７、ステップＳ９０８では、画像処理でケーブルを認識してプローブ本体２０１の先端中心位置の方向を推定した。しかしながら、プローブ本体２０１のケーブル２０２との接続部付近、ケーブル２０２自体、或いは、検査者の手に画像処理で識別しやすいランドマークを付与することで、そのランドマークを基にプローブ本体２０１の先端中心位置の方向を推定してもよい。ランドマークは、例えば、特徴的な色（例えば緑）や、特徴的な形状や、ＬＥＤなどである。

続いて、ステップＳ９０９において、推定機能７ｃは、プローブ本体の先端中心（超音波送受信面の中心）であるプローブ先端位置を推定する。ここで、ステップＳ９０９における推定は、先のステップで求めた条件によって推定方法が異なる。

１つのケースとしては、ステップＳ９０５でブロブの面積があらかじめ設定された閾値未満であり、かつ、ステップＳ９０３で求めたケーブルの面積も設定された閾値未満である場合、推定機能７ｃは、プローブ本体２０１が画面に写っていないと推定する。

このような場合、推定機能７ｃは、外観画像に描出された検査者の手の形状に基づいて、プローブ本体２０１の位置及び方向を推定することができる。ここで、超音波プローブの持ち方は、同一種類のプローブでも様々であり、その際の手の形状も様々になる。そこで、まず、（１）プローブの種類、（２）手の持ち方情報（プローブが手で隠れた状態での外観画像上での手の形状に関する情報）、（３）プローブの位置及び向き（プローブ本体の先端中央位置）の情報、が予め対応付けてメモリ８に記憶される。なお、（２）における手の形状は、右手、左手の両方について対応づけられることが望ましい。

推定機能７ｃは、検査で使用される超音波プローブの種類を取得し、取得した種類に対応する対応情報を取得する。そして、推定機能７ｃは、外観画像から検査者の手の形状を抽出して、抽出した手の形状と、取得した対応情報とに基づいて、プローブ本体の位置及び向きを推定する。

また、他のケースとしては、ステップＳ９０５でブロブの面積があらかじめ設定された閾値未満であり、かつ、ステップＳ９０３で求めたケーブルの面積が設定された閾値以上である場合、推定機能７ｃは、ケーブルブッシュが見つからず、ケーブルだけが見つかったと判定し、ケーブル領域の端点をプローブ本体の先端中心位置と推定する。ここで、ケーブルブッシュが見つからないがケーブルだけが見つかるような状況としては、例えば、ケーブルブッシュを円筒と見なした場合にその底面方向から角度のあまりないアングルで撮影された状況が想定される。よって、ケーブルの端点の画像上の位置とプローブの先端中心の画像上の位置は、近い位置となるためである。

ケーブル領域の端点の求め方としては、例えば、推定機能７ｃは、ステップＳ９０３のケーブルセグメンテーションの後、ステップＳ９０４と同等のブロブ解析によりケーブル領域をもとめ、ケーブル領域を細線化処理した後に、画面中央に近い端点をケーブル端点と判定する。なお、ケーブルブッシュが見つからず、ケーブルだけが見つかった場合に、被検体の位置姿勢の推定結果（Ｒ）から求めた検査者の手の位置をプローブの先端中心位置の推定値としてもよい。

また、ケーブルブッシュが見つからず、ケーブルだけが見つかった場合、推定機能７ｃは、ケーブルの方向に基づいて、プローブ本体２０１の位置及び方向を推定することもできる。例えば、検査者の手などによってケーブルブッシュが隠され、外観画像に描出されていない状況などにおいて、推定機能７ｃは、ケーブルの方向に基づいて、プローブ本体２０１の位置及び方向を推定する。このように、ケーブルの方向を用いる場合、ケーブルの方向を検出するために、ケーブルの方向を示すランドマークがケーブルに付与される。

例えば、ケーブルのケーブルブッシュ近傍箇所において、ケーブルの周方向の配色を角度ごとに異ならせる。また、例えば、ケーブルのケーブルブッシュ近傍箇所において、ケーブルの長軸方向に沿って縞模様が付与される。ここで、ケーブルのケーブルブッシュ近傍箇所は、曲がりにくく、ねじれが生じにくいことから、超音波走査中においても、ケーブルの周方向の角度とプローブ本体２０１の向きとの関係、及び、縞模様における線と線との間の距離が一定に保たれているものとする。

推定機能７ｃは、外観画像において検出されたケーブルの色に基づいて、プローブ本体２０１の縦横の向きに係る状態を推定する。すなわち、推定機能７ｃは、被検体に対して圧電振動子の配列がどの方向となっているかを推定する。また、推定機能７ｃは、外観画像において検出されたケーブルの縞模様の疎密状態（線と線との間の距離）に基づいて、プローブ本体２０１の傾きに係る状態を推定する。すなわち、推定機能７ｃは、ケーブルの長軸方向に沿って付与された複数の線間の距離の変化に基づいて、プローブ本体２０１がどのような傾きかを推定する。

そして、推定機能７ｃは、線間の距離と、プローブ本体２０１の先端から縞模様のいずれかの線までの距離との対応関係に基づいて、プローブ本体２０１の先端中心位置を推定する。なお、上位対応関係は、予め調べられ、メモリ８に記憶されている。

また、その他のケースとしては、ステップＳ９０５でブロブの面積があらかじめ設定された閾値以上であり、かつ、ステップＳ９０６で求めたブロブの長軸と短軸の比ａが閾値ｔ未満である場合、推定機能７ｃは、ブロブの重心をプローブ本体の先端中心位置と推定する。ブロブの長軸と短軸の長さに差がないような状況としては、ケーブルブッシュを円筒と見なした場合にその底面方向から角度のあまりないアングルで撮影された状況が想定される。よって、ケーブルブッシュの重心の画像上の位置とプローブ本体の先端中心の画像上の位置は、近い位置となるためである。

また、その他のケースとしては、ステップＳ９０６で求めた長軸と短軸の比ａが設定されている閾値ｔ以上であった場合、推定機能７ｃは、以下のようにプローブ先端位置を推定する。具体的には、推定機能７ｃは、ケーブルブッシュ２０３とプローブ本体２０１の長さの比率ｒ（設計値）を取得する。そして、推定機能７ｃは、ステップＳ９０６で求めたケーブルブッシュの長軸の長さに対して、ステップＳ９０８で求めたプローブ先端中心側に長軸の長さをｒ倍した距離にある座標を求め、求めた座標をプローブ本体の先端中心と推定する。

ここで、ケーブルブッシュ２０３は超音波プローブ２の操作時に変形する可能性がある。変形が無視できない場合には以下のようにプローブ本体２０１の先端中心位置を求めてもよい。かかる場合には、まず、推定機能７ｃは、ケーブルブッシュ領域から適当な近似曲線を求める。次に、推定機能７ｃは、ステップＳ９０８で求めたプローブ先端中心側にあるケーブルブッシュの端点における、近似曲線の接線Ｔを求める。近似曲線のケーブルブッシュ領域における長さをＬとするとき、接線Ｔを、プローブ先端中心側のケーブルブッシュ端点からプローブ先端中心側に長さＬをｒ倍した距離にある座標を求め、これを先端中心として推定する。

一般に、プローブはカメラに対して傾いた姿勢で写り込むが、画像に写る物体はカメラと被写体との距離に応じて光学倍率が変化するため、単純にケーブルブッシュの長軸をｒ倍しただけでは距離の推定に誤差が生じる。

仮に、ケーブルブッシュの長さが５０ｍｍ、プローブ本体２０１とカメラ３との距離が５００ｍｍ、カメラの光軸に対して３０度の角度でプローブ本体２０１が傾いているとすると、ケーブルブッシュの推定長さに光学倍率の要因によって１０％（５ｍｍ）程度の誤差が生じる。これは、ケーブルブッシュからプローブ本体の先端中心までの距離を１００ｍｍとすると、プローブ本体の先端中心の推定誤差が１０ｍｍ程度出ることに相当する。一方、プローブ本体２０１とカメラの距離が１０００ｍｍのとき、ケーブルブッシュの長さの光学倍率要因による推定誤差は５％程度となり、プローブ本体の先端中心の推定誤差は５ｍｍ程度となる。

したがって、プローブ本体の先端位置の推定に求める精度条件にもよるが、超音波診断装置の場合、光学倍率の観点においてカメラ３と超音波プローブ２との距離は概ね５００ｍｍ以上にするのが好ましい。

また、カメラ３と超音波プローブ２との距離が近い場合に（例えば、５００ｍｍ未満）、ケーブルブッシュの長軸と短軸との比率に基づいて光学倍率を補正することで、プローブ本体の先端中心の推定誤差を小さくするようにしてもよい。すなわち、推定機能７ｃは、ケーブルブッシュを示す領域の長軸と短軸とを検出し、当該長軸と当該短軸との比率（上記比ａ）に応じてケーブルブッシュの長軸の長さを延長する比率（上記したｒ倍）を変えて検査デバイスの位置及び方向を推定することができる。なお、長軸と短軸との比率に対して、ケーブルの長軸の長さを延長する比率をどの程度にするかは、任意に設定することができる。

上記方法によってプローブの先端中心を推定した結果の例を、図１４Ｄに示す。例えば、推定機能７ｃは、ケーブルブッシュ２０３とプローブ本体２０１の長さの比率ｒ（設計値）を取得する。そして、推定機能７ｃは、図１４Ｄに示すように、ケーブルブッシュ領域Ｒ１の長軸の長さに対して、プローブ先端中心側に長軸の長さをｒ倍した距離にある座標（図中、矢頭の座標）を求め、求めた座標をプローブ本体の先端中心と推定する。

そして、ステップＳ９１０において、推定機能７ｃは、プローブ本体２０１の位置及び方向に基づいて、プローブ本体２０１による検査部位を推定する。具体的には、推定機能７ｃは、プローブ本体２０１の位置及び方向と被検体の位置とに基づいて、プローブ本体２０１による検査部位を推定する。例えば、推定機能７ｃは、ステップＳ７０１で先に求めてメモリ８に保持している被検体の位置姿勢の推定結果（Ｒ）とステップＳ９０９で求めたプローブ本体２０１の先端中心位置情報（ｘ，ｙ）（以下、位置情報（ｘ，ｙ））との関係から、検査部位を特定する。

ステップＳ９０１において画角が調整されており、被検体の位置姿勢の推定時と、プローブ本体２０１の位置情報の取得時で画像の画角が違う場合には、両画像間で対応付けをおこなう。例えば、被検体の位置姿勢に推定に用いた外観画像と、プローブ本体の位置の推定に用いた外観画像とが異なる場合、各画像を撮像する際に制御したカメラ３のパン制御値、チルト制御値、ズーム制御値から対応付けをしてもよいし、画像から特徴点を求めて、特徴点同士の関係から射影変化により位置・大きさの変換をおこなって対応付けしてもよいし、その両方をおこなってもよい。

ここで、本実施形態では、各骨格情報において検査部位としての評価値が高いものから複数の検査部位候補を特定結果として出力する。被検体の位置姿勢の情報として、骨格情報Ｒが取得されている場合の検査部位の特定方法としては以下のような方法がある。理解を助けるため、図１５に、被検体の位置姿勢の推定結果Ｒとプローブ本体２０１の位置情報（ｘ，ｙ）の関係を可視化して図示する。なお、図１５においては、被検体の骨格情報と、プローブ本体２０１の先端中心を十字で示す位置情報とを重畳して示す。

例えば、推定機能７ｃは、各部位の信頼度分布Ｒｎ（ｘ，ｙ）において信頼度がピーク値である位置、すなわち各部位である信頼度が最も高い位置の座標（単に各部位の座標とよぶ）を抽出する。そして、推定機能７ｃは、各部位の座標と、プローブ本体２０１の先端中心の位置情報からの距離（ユークリッド／マハラノビス距離等）に基づいて検査部位を特定する。すなわち、推定機能７ｃは、各部位の座標とプローブ本体２０１の先端中心との距離が近いほど評価値が高くなるように評価値を算出する。また、推定機能７ｃは、各部位の座標に対応する信頼度が大きいほど大きな重みがつくように各部位の評価値を算出する。そして、推定機能７ｃは、複数の部位において相対的に評価値が高い部位から順に検査部位の候補として抽出する。なお、評価値算出に当たっては、上記プローブ本体２０１の先端中心からの距離、各部位の信頼度分布のいずれか１方のみを参照して求めてもよい。

また各部位の信頼度分布Ｒｎ（ｘ，ｙ）を用いて画像内の各領域において評価値を算出してもよい。すなわち、推定機能７ｃは、各部位においてＲｎ（ｘ，ｙ）×（プローブ本体２０１の先端中心との距離に基づく重み）で求められる評価値分布を算出し、最も評価値の高い位置とその部位を検査部位として特定する。

また他の手法としては、上述した各部位の位置間を結ぶ直線と、プローブ本体２０１の先端中心の位置情報（ｘ，ｙ）との距離と、直線に対応する２点の部位の信頼度分布に基づいて評価値を算出し、検査部位を特定してもよい。

また他の手法としては、複数の部位の位置間をある割合で分割して得られる座標と、プローブ本体２０１の先端中心の位置情報（ｘ，ｙ）との距離と、分割元の２点の部位の信頼度分布に基づいて評価値を算出し、検査部位を特定してもよい。

また他の手法としては、複数の関節の関係からある割合で求めた点から２Ｄあるいは３Ｄの閉領域を作成し、その閉領域に対してプローブ本体２０１の先端中心の位置情報（ｘ，ｙ）の内外判定をおこなうことで評価値を算出し、検査部位を特定してもよい。

また、上述したような複数の手法の一部または全部の手法を組み合わせて評価値を算出してもよい。

なお、ステップ９１０において、ステップ７０１の後に被検体が動いてしまったために、メモリ８に保持していた被検体の位置姿勢と現在の被検体の位置姿勢とが異なってしまう場合がある。このように、異なった位置姿勢を使用して特定された検査部位は誤った結果である可能性がある。そこで、被検体が動いているか判別して、動きが検出された場合にはステップ７０１に戻り、再度人体の位置姿勢推定を実施しても良い。被検体が動いているか判別するための方法としては、例えば、差分画像を用いる方法や、オプティカルフローを用いる方法などを用いる。

差分画像を用いる場合には、例えば、推定機能７ｃは、検査者の手およびプローブの部分に関してマスク処理をおこない、残りの部分について輝度値や色相に変異がないかどうかを調べることで、被検体の動きを検出する。このとき統計的な処理によって差異を検出してもよい。

また、オプティカルフローを用いる場合には、例えば、推定機能７ｃは、人体の位置姿勢推定を実施したときのステップＳ８０１で取得したカメラ画像の人体をパターンとして登録しておき、ステップＳ９０１のカメラ画像に対してテンプレートマッチングをして動きを検出する。あるいは、推定機能７ｃは、ステップＳ８０１で取得したカメラ画像を一時的にメモリ８上に格納しておき、Ｓ９０１で取得した画像と２つの画像間で、ＳＨＩＦＴやＡＫＡＺＥ等で求めた特徴点の移動量を算出して、画像内の被検体の動きを検出する。その他、KCFトラッカーなど公知のトラッキングの手法を用いてもよい。

ステップＳ９１１において、制御機能７ａは、ステップＳ９１０において特定した検査部位をディスプレイ５に表示する。

ステップＳ９１２において、制御機能７ａは、検査者の操作によってコントロールパネル６においてＯＫに対応する操作、あるいはプローブ本体２０１にあるフリーズボタン６ａが押下されたか否かを判定する。例えば、制御機能７ｃは、図１７Ａに示す計測に関する画面に変えて、或いは、計測に関する画面に加えて、図１７Ｂに示す検査部位の特定結果の承認に関する画面をディスプレイ５に表示させる。

例えば、制御機能７ａは、図１７Ｂに示すように、被検体のボディに対応するＧＵＩのボディマーク１９０１に、超音波プローブ２に対応するＧＵＩのプローブマーク１９０２を該当する検査部位の位置に重畳する形でディスプレイ５に表示する。このとき検査部位の名前も特定できている場合には、ボディマーク、プローブマークと共に表示されていてもよい（図では尖中）。そして、制御機能７ａは、画面に検査結果の確認ウインドウを表示する。確認ウインドウは、ＯＫ、やり直しのアイコンボタンが表示している。検査者はコントロールパネル６を用いてＯＫあるいはやり直しボタンを選択指定するか、プローブ本体２０１にあるフリーズボタン６ａを押下することで、検査部位の確定あるいはやり直しの指示を行う。

制御機能７ａは、ＯＫボタンの選択指示、あるいはフリーズボタン６ａが押下されていれば一連の処理を終了し、やり直しボタンの選択指示、あるいはフリーズボタン６ａが押下されていなければ、ステップＳ９０１から繰り返し検査部位特定Ａのための処理を繰り返す。なお、ステップＳ９１２において、図１７Ｂに示す検査結果の確認を促すウインドウが表示されている間は検査部位推定のための処理が中断されていてもよい。

次に、図７のステップＳ７０５の処理について、図１０を用いて説明する。図１０は、第１の実施形態に係る計測処理後の動作を示すフローチャートである。ここで、図１０に示す各ステップは、処理回路７が対応する機能を不揮発性メモリ９から読み出して実行することで実現される。

ステップＳ１００１において、制御機能７ａは、ステップＳ７０４で確定された超音波画像を不揮発性メモリ９あるいは外部メディアに保存、あるいは外部にデータの転送をおこなうとともにステップＳ７０４で確定された超音波画像をディスプレイ５に表示する。

ステップＳ１００２において、制御機能７ａは、検査者による操作に応じて、ステップＳ７０３の検査部位特定の動作で特定された検査部位の確定を行う。このとき、ディスプレイ５において、ステップＳ７０４で確定された超音波画像とステップＳ９０４から行われているボディマーク及びプローブマークの表示が、同時あるいは切替可能に実行されている。検査者はディスプレイ５に表示されている検査部位を確認し、間違っていなければコントロールパネル６の所定の操作部材あるいはプローブ本体２０１にある確定ボタン６ｂを押下する。間違っていた場合、検査者のコントロールパネル６への操作によって、第２、第３の部位の候補がディスプレイ５に表示され、検査者の操作によって該当する検査部位が選択された後、上述したような確定操作によって確定される。

ステップＳ１００３において、制御機能７ａは、ステップＳ１００２において確定した検査部位を、ステップＳ７０４で確定された超音波画像と関連付けて不揮発性メモリ９あるいは外部メディアに保存、あるいは外部に転送する。

なお、上記した各フローチャートの処理の流れはあくまでも一例であり、人体位置姿勢推定処理とプローブ先端位置推定の処理が並列におこなわれるなど、各処理の実行の順番や並列性のバリエーションは無数にありうる。

上述したように、第１の実施形態によれば、画像取得機能７ｂは、被検体を走査する超音波プローブ２を含む画像を取得する。推定機能７ｃは、画像に基づいて超音波プローブ２のケーブルの位置を推定し、超音波プローブ２のケーブルの位置に基づいてプローブ本体の位置及び方向を推定し、プローブ本体の位置及び方向に基づいて、超音波プローブ２による検査部位を推定する。したがって、第１の実施形態に係る超音波診断装置１００は、検査者の手によってプローブ本体が隠されるオクルージョンが生じた場合でもプローブ本体による走査位置を特定することができ、オクルージョンに対してロバストな検査部位の推定を可能にする。

また、第１の実施形態によれば、推定機能７ｃは、超音波プローブ２のケーブルブッシュを含むケーブルの位置を推定する処理を実行する。推定機能７ｃは、画像における超音波プローブ２のケーブルブッシュとケーブルとの位置関係に基づいて、プローブ本体の位置及び方向を推定する。したがって、第１の実施形態に係る超音波診断装置１００は、オクルージョンに対してロバストな手法を容易に実現することを可能にする。

また、第１の実施形態によれば、推定機能７ｃは、ケーブルブッシュを示す領域の長軸と短軸とを検出し、当該長軸と当該短軸との比率に応じてケーブルブッシュの長軸の長さを延長する比率を変えてプローブ本体の位置及び方向を推定する。したがって、第１の実施形態に係る超音波診断装置１００は、光学倍率要因による推定誤差を低減することを可能にする。

また、第１の実施形態によれば、推定機能７ｃは、超音波プローブ２のケーブルブッシュを含むケーブルの位置を推定する処理を実行する。推定機能７ｃは、画像においてケーブルブッシュが検出されなかった場合に、ケーブルの端点の位置に基づいて、プローブ本体の位置及び方向を推定する。また、推定機能７ｃは、画像においてケーブルブッシュが検出されなかった場合に、超音波プローブを把持する検査者の手の位置又は手の形状に基づいて、プローブ本体の位置及び方向を推定する。また、推定機能７ｃは、画像においてケーブルブッシュが検出されなかった場合に、ケーブルの方向に基づいて、検査デバイスの位置及び方向を推定する。また、推定機能７ｃは、ケーブルに付与されたケーブルの方向を示すランドマークに基づいて、超音波プローブ２の位置及び方向を推定する。また、推定機能７ｃは、画像における超音波プローブのケーブルと、ケーブル又はプローブ本体に取り付けられたランドマークとの位置関係に基づいて、プローブの位置及び方向を推定する。また、推定機能７ｃは、画像に含まれる検査者の手又は検査者の手に取り付けられたランドマークの位置に基づいて、プローブ本体の位置及び方向を推定する。したがって、第１の実施形態に係る超音波診断装置１００は、検査中の種々の状況に応じて、プローブ本体の位置及び方向を推定することを可能にする。

また、第１の実施形態によれば、画像取得機能７ｂは、超音波プローブ２に対して照射された赤外線を検出することで撮像された超音波プローブを含む画像を取得する。したがって、第１の実施形態に係る超音波診断装置１００は、病院内の環境により適した手法により外観画像を取得することを可能にする。

また、第１の実施形態によれば、推定機能７ｃは、プローブ本体２０１の位置及び方向と被検体の位置とに基づいて、プローブ本体２０１による検査部位を推定する。したがって、第１の実施形態に係る超音波診断装置１００は、検査部位を精度よく推定することを可能にする。

また、第１の実施形態によれば、制御機能７ａは、画像を撮像するカメラの視野を調整するためのガイド線をディスプレイ５に表示させる。したがって、第１の実施形態に係る超音波診断装置１００は、より処理に適した外観画像を取得することを可能にする。

また、第１の実施形態によれば、検査デバイスは、ケーブル又はケーブルブッシュの少なくとも一方に、画像処理に応じた特徴を有する。また、特徴は、色、テクスチャ、又は、可視光外の光の照射に対して相対的に高い輝度値が得られる素材である。したがって、第１の実施形態に係る超音波診断装置１００は、セグメンテーション処理をより精度良く行うことを可能にする。

（変形例２）
上記したようにケーブル（及び、ケーブルブッシュ）をセグメンテーションした情報だけからプローブ本体の先端位置を推定するだけでなく、他の手法と組み合わせてプローブ本体の先端位置を推定してもよい。

具体的には、推定機能７ｃは、ケーブルの位置に基づいてプローブ本体の姿勢を推定し、超音波プローブ２のケーブルの端部の形状に基づいてプローブ本体の姿勢を推定し、ケーブル位置に基づく推定結果と、ケーブルの端部の形状に基づく推定結果とに基づいて、超音波プローブによる検査部位を推定する。

例えば、プローブ本体２０１のケーブルが接続している側に形状的に特徴的な構造物がある、あるいは、後から取り付けることが可能な場合、その構造物を手掛かりにして画像処理によりプローブ本体２０１の位置姿勢を求めることが可能である。具体的には、推定機能７ｃは、画像の中からＳＳＤ（Single Shot Multibox Detector）、ＹＯＬＯ（You only look once）等の物体検出用の学習器を用いてプローブ端の特徴的な構造物を検出した後、その構造物の見え方から、データベースとの照合により尤もらしいプローブの位置姿勢を推定する。あるいは、推定機能７ｃは、ＳＳＤ６Ｄ等の物体の姿勢推定用の学習器を用いて、プローブ端の特徴的な構造物を手掛かりに、プローブの位置姿勢を推定してもよい。

推定機能７ｃは、この推定結果に対して、先の実施形態でおこなったケーブルを用いた結果を用いてプローブの先端位置の推定結果のクロスチェックをおこなう。ここで、クロスチェックの方法としては、例えば、両手法で得られたプローブ本体の方向ベクトルのコサイン類似度を求める。類似度が高ければ、不揮発性メモリ９に予め定めた優先度に従って、プローブ本体の先端位置の推定結果を採用する。あるいは、平均値などの処理の結果を採用してもよい。類似度が低ければ、アラートを出して操作者による手動の設定を促すか、再度処理をやり直す。

上述したように、他の手法と組み合わせてプローブ本体の先端位置を推定することで、より精度の高い推定を行うことを可能にする。

（変形例３）
上記した例では、超音波診断装置１００は１台のカメラに接続されていたが、超音波診断装置１００は１つのアームに限らず、複数のアーム、あるいは壁・天井取り付け等々の複数のカメラと接続していてもよい。

かかる場合には、それぞれのカメラは、構成プレート等を用いて、あらかじめ配置関係が分かった状態とする。このとき、どのカメラの画像を使用するかについてはいくつかの方法が挙げられる。

例えば、制御機能７ａは、それぞれのカメラで撮像した画像をディスプレイ５に表示する。検査者は、ディスプレイ５に表示された画像を見比べて、最もよい画角のカメラをコントロールパネル６のボタンを操作して決定する。これにより、画像取得機能７ｂは、以降、このカメラから外観画像を取得する。

あるいは、推定機能７ｃは、図７に示した処理を複数のカメラの画像それぞれにおいておこない、図９のステップＳ９１０においてそれぞれの結果を統合して検査部位を推定する。具体的には、推定機能７ｃは、ケーブルブッシュ領域を推定し、その結果でプローブ先端位置を推定することができたカメラの結果を優先する。複数あった場合は、例えば、推定機能７ｃは、ケーブルブッシュ領域の面積が不揮発性メモリ９に予め定めた閾値以上で、ケーブルブッシュ領域の長軸と短軸の比率が大きい方の結果を採用する。ケーブルブッシュ領域がどのカメラからも見つからなかった場合には、推定機能７ｃは、不揮発性メモリ９に予め定めたカメラの優先順位に従って、ケーブル端の位置、あるいは手の位置をプローブの位置として推定する。

上述したように、画像取得機能７ｂは、複数のカメラ３によって撮像された複数の画像のうち、ケーブルを含む検査デバイスが描出された画像を選択する。したがって、プローブ本体の位置の推定をより精度よく行うことを可能にする。

（変形例４）
上記した例では、ケーブル関心領域を二等辺三角形で設定する場合について説明したが、ケーブル関心領域は、二等辺三角形に限らず、任意の形状、サイズで設定することができる。図１８は、変形例４に係るケーブル関心領域の一例を示すイメージ図である。

例えば、推定機能７ｃは、二等辺三角形のケーブル関心領域の設定と同様に、ケーブルブッシュ領域Ｒ１の長軸の２つの端点座標を求める。次に、推定機能７ｃは、図１８に示すように、ケーブルブッシュ領域Ｒ１の端点それぞれに対して、ケーブルブッシュ領域Ｒ１の長軸方向を長手方向とする矩形領域（ケーブル関心領域Ｒ３）をそれぞれ設定する。なお、ケーブル関心領域を用いた以後の処理は、二等辺三角形のケーブル関心領域の場合と同様である。

例えば、超音波プローブ２の操作中、プローブ本体２０１の長手方向に対してケーブル２０２が垂直に近い状態に曲がる場合がある。このような場合、ケーブル関心領域の形状を二等辺三角形とすると、ケーブル関心領域に占めるケーブル領域の面積が小さくなり、プローブ本体２０１の先端中心の位置を誤って推定する可能性がある。そこで、図１８に示すように、ケーブル関心領域の形状を矩形とすることにより、このような状況においても、プローブ本体２０１の先端中心の位置を正確に推定することが可能となる。

（変形例５）
上記した例では、超音波プローブ２がケーブル２０２及びケーブルブッシュ２０３を露出した状態で使用される場合について説明したが、検査中、ケーブル２０２及びケーブルブッシュがカバーによって覆われている場合でも本実施形態は適用可能である。

かかる場合には、ケーブル２０２及びケーブルブッシュがカバーによって覆われている超音波プローブ２を操作している外観画像と、それらの画像内のカバー部位、（識別可能であれば）ケーブルブッシュ部位及びケーブル部位にアノテーションを付与したデータとを用いて学習された学習器が用いられる。すなわち、推定機能７ｃは、上記学習器を用いて外観画像を解析して、カバー部位のセグメンテーション処理、ケーブルブッシュ部位のセグメンテーション処理、ケーブル部位のセグメンテーション処理をおこない、セグメンテーションマップを得る。

なお、カバー無しの場合の学習器と、カバー有りの場合の学習器とは、適宜切り替えて用いることができる。例えば、推定機能７ｃは、検査者による指定操作に応じて、学習器を使い分ける。また、例えば、推定機能７ｃは、外観画像に対して、両方の学習器を用いたセグメンテーション処理を実行し、セグメンテーション処理の精度に応じて、以後の処理に使用する処理結果を切り替える場合でもよい。

また、上記したセグメンテーション処理に用いられる学習器は、検査の種別ごとに学習されてもよい。超音波プローブ２を用いた検査では、検査の種別に応じて、被検体に対する超音波プローブ２の接触のさせ方が異なる場合が考えられる。そこで、検査の種別ごとに学習器を設け、推定機能７ｃは、検査の種別に応じて、セグメンテーション処理に用いる学習器を使い分ける。

（他の実施形態）
上記した例では、超音波診断装置１００にカメラ３が接続され、超音波診断装置１００の制御に応じてカメラ３が外観画像を撮像する場合について説明したが、カメラ３が独立して制御される場合でもよい。かかる場合には、画像取得機能７ｂは、通信Ｉ／Ｆ１０を介して、カメラ３から外観画像を取得する。

また、上記した例では、アーム４が超音波診断装置本体１に固定されている場合について説明したが、アーム４が超音波診断装置本体１から独立して移動可能となるように構成される場合でもよい。かかる場合には、例えば、アーム４は、キャスター付きのスタンドで構成され、カメラ３を保持する場合でもよい。

また、上記した例では、医用画像診断装置として超音波診断装置を一例に挙げて説明したが、医用画像診断装置はそれに限らず、ＰＡＴ装置であってもよい。かかる場合には、検査デバイスは、光音響計測用プローブとなる。

本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本実施形態の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、上記の実施形態の説明で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

以上、説明したとおり、実施形態によれば、オクルージョンに対してロバストな検査部位の推定を可能にすることを可能にする。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 超音波診断装置本体
２ 超音波プローブ
３ カメラ
４ アーム
５ ディスプレイ
６ コントロールパネル
７ 処理回路
７ａ 制御機能
７ｂ 画像取得機能
７ｃ 推定機能
８ メモリ
９ 不揮発性メモリ
１０ 通信Ｉ／Ｆ
１１ 電源
１２ 送受信回路
１３ 信号処理回路
１４ 画像生成回路
１５ カメラ制御回路

Claims (20)

1. 被検体を走査する検査デバイスを含む画像を取得する取得手段と、
   前記画像に基づいて前記検査デバイスのケーブルの位置を推定するケーブル推定手段と、
   前記検査デバイスのケーブルの位置に基づいて前記検査デバイスの位置及び方向を推定する推定手段と、
   前記検査デバイスの位置及び方向に基づいて、前記検査デバイスによる検査部位を推定する検査部位推定手段と、
   を備える、情報処理装置。
2. 前記ケーブル推定手段は、前記検査デバイスのケーブルブッシュを含むケーブルの位置を推定する処理を実行し、
   前記推定手段は、前記画像における前記検査デバイスのケーブルブッシュとケーブルとの位置関係に基づいて、前記検査デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
3. 前記推定手段は、前記ケーブルブッシュを示す領域の長軸と短軸とを検出し、当該長軸と当該短軸との比率に応じてケーブルブッシュの長軸の長さを延長する比率を変えて前記検査デバイスの位置及び方向を推定する、請求項２に記載の情報処理装置。
4. 前記ケーブル推定手段は、前記検査デバイスのケーブルブッシュを含むケーブルの位置を推定する処理を実行し、
   前記推定手段は、前記画像において前記ケーブルブッシュが検出されなかった場合に、前記ケーブルの端点の位置に基づいて、前記検査デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
5. 前記ケーブル推定手段は、前記検査デバイスのケーブルブッシュを含むケーブルの位置を推定する処理を実行し、
   前記推定手段は、前記画像において前記ケーブルブッシュが検出されなかった場合に、前記検査デバイスを把持する検査者の手の位置又は手の形状に基づいて、前記検査デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
6. 前記ケーブル推定手段は、前記検査デバイスのケーブルブッシュを含むケーブルの位置を推定する処理を実行し、
   前記推定手段は、前記画像において前記ケーブルブッシュが検出されなかった場合に、前記ケーブルの方向に基づいて、前記検査デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
7. 前記推定手段は、前記ケーブルに付与された前記ケーブルの方向を示すランドマークに基づいて、前記検査デバイスの位置及び方向を推定する、請求項６に記載の情報処理装置。
8. 前記推定手段は、前記画像における前記検査デバイスのケーブルと、前記ケーブル又は前記検査デバイス本体に取り付けられたランドマークとの位置関係に基づいて、前記検査デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
9. 前記ランドマークは、ＬＥＤである、請求項８に記載の情報処理装置。
10. 前記推定手段は、前記画像における前記検査デバイスのケーブルと、前記検査者の手に取り付けられたランドマークの位置に基づいて、前記デバイスの位置及び方向を推定する、請求項１に記載の情報処理装置。
11. 前記取得手段は、前記検査デバイスに対して照射された赤外線を検出することで撮像された前記検査デバイスを含む画像を取得する、請求項１～１０のいずれか１つに記載の情報処理装置。
12. 被検体を走査する検査デバイスを含む画像を取得する取得手段と、
    前記画像に基づいて前記検査デバイスのケーブルの位置を推定するケーブル推定手段と、
    前記ケーブルの位置に基づいて前記検査デバイスの姿勢を推定する第１の姿勢推定手段と、
    前記検査デバイスのケーブルの端部の形状に基づいて前記検査デバイスの姿勢を推定する第２の姿勢推定手段と、
    前記第１の姿勢推定手段による推定結果と、前記第２の姿勢推定手段による推定結果とに基づいて、前記検査デバイスによる検査部位を推定する検査部位推定手段と、
    を備える、情報処理装置。
13. 前記検査部位推定手段は、前記検査デバイスの位置及び方向と前記被検体の位置とに基づいて、前記検査デバイスによる検査部位を推定する、請求項１～１０のいずれか１つに記載の情報処理装置。
14. 前記取得手段は、複数の撮像手段によって撮像された複数の画像のうち、前記ケーブルを含む検査デバイスが描出された画像を選択する、請求項１～１３のいずれか１つに記載の情報処理装置。
15. 前記画像を撮像する撮像手段の視野を調整するためのガイド線を表示部に表示させる制御手段をさらに備える、請求項１～１４のいずれか１つに記載の情報処理装置。
16. 前記検査デバイスは、ケーブル又はケーブルブッシュの少なくとも一方に、画像処理に応じた特徴を有する、請求項１～１５のいずれか１つに記載の情報処理装置。
17. 前記特徴は、色、テクスチャ、又は、可視光外の光の照射に対して相対的に高い輝度値が得られる素材である、請求項１６に記載の情報処理装置。
18. 前記検査デバイスと、
    請求項１～１７のいずれか１つに記載の情報処理装置と、
    を備える、医用画像診断装置。
19. 請求項１～１７のいずれか１つに記載の情報処理装置の制御の各手段の機能を実現するための手順が記述されたコンピュータで実行可能なプログラム。
20. コンピュータに、請求項１～１７のいずれか１つに記載の情報処理装置の各手段の機能を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images