JP6017746B1 - 医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラム - Google Patents

Abstract

本発明にかかる医療用診断装置は、術者の手指の形状、および術者の手指の空間的な位置を検出する検出部と、実行する複数のコマンドを記憶する記憶部と、検出された術者の手指の形状および空間的な位置に応じて、実行可能な一または複数のコマンドを選択するコマンド選択部と、コマンド選択部が選択したコマンドに応じたコマンド画像を生成するコマンド画像生成部と、コマンド画像生成部が生成したコマンド画像、および観測画像を用いて表示画像を生成する表示画像生成部と、を備えた。

Description

本発明は、超音波を用いて観測対象を観測する医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラムに関する。

観測対象である生体組織または材料の特性を観測するために、超音波を適用することがある。具体的には、観測対象に超音波を送信し、その観測対象によって反射された超音波エコーに対して所定の信号処理を施すことにより、観測対象の特性に関する情報を取得する。

超音波を適用した体内の生体組織などの診断には、挿入部の先端に超音波振動子が設けられた超音波内視鏡が用いられる。医師などの術者は、挿入部を体内に挿入後、手元の操作部を操作することにより、超音波振動子が超音波エコーを取得し、該超音波エコーに基づく情報（例えば超音波画像）をもとに診断を行う。

図１６は、従来の超音波診断を行うシステムの構成を示す模式図である。図１６に示す超音波診断システム５００は、先端に超音波振動子および撮像素子が設けられた挿入部を有する超音波内視鏡５０１と、超音波内視鏡５０１が取得した超音波エコーおよび撮像信号に基づく画像を生成する画像処理装置５０２と、画像処理装置５０２と接続し、指示信号などの信号を入力するキーボード５０３と、超音波エコーに基づく画像を表示する超音波画像モニタ５０４と、撮像信号に基づく画像を表示する内視鏡画像モニタ５０５と、を備える。術者Ｓ１は、超音波内視鏡５０１の挿入部を被検体Ｓ２に挿入し、キーボード５０３や超音波内視鏡５０１に設けられた操作部を介して指示信号を入力することで、超音波画像の調整、具体的には画像の回転や移動などを行って診断する。

ところで、検査室などのレイアウト上、術者Ｓ１と画像処理装置５０２（キーボード５０３）とが離れてしまうことがある。術者Ｓ１と画像処理装置５０２（キーボード５０３）とが離れてしまうと、操作性が低下してしまう。この問題に対し、手指の形状を検出し、該形状に機能を割り当ててポインタおよびクリック操作を行うことで、術者が装置から離れていても超音波画像モニタ５０４などを見ながら操作できる技術が開示されている（例えば、特許文献１を参照）。

特開２００４−７８９７７号公報

しかしながら、上述した特許文献１に記載の技術は、マウス操作を手の形状に置き換えたのみであり、一つの手の形状に一つのコマンドを対応させているため、コマンド操作の都度、手の形状を変化させなければならない。このため、術者Ｓ１が超音波画像モニタ５０４から視線をそらさずにコマンドの入力操作などを行うには、入力操作の自由度が低かった。

本発明は、上記に鑑みてなされたものであって、モニタから視線をそらすことなく高い自由度で入力操作を行うことができる医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる医療用診断装置は、観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置であって、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出部と、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択部と、前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成部と、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成部と、を備えたことを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記術者の手指の空間的な位置と、前記コマンド画像の表示位置とに応じて実行対象のコマンドを選択する実行コマンド選択部をさらに備えたことを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記検出部は、所定の操作面と前記術者の手指との間の最短距離をさらに検出することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記表示画像生成部は、前記検出部が検出した前記最短距離が、該最短距離にかかる閾値より小さい場合に、少なくとも前記術者の手指の位置に応じた前記コマンド画像を強調表示する表示画像を生成することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記表示画像生成部は、前記最短距離が、前記閾値より小さく、かつ該閾値より小さい第２閾値以上の場合に、前記術者の手指の位置に応じた前記コマンド画像と、該コマンド画像と空間的に隣接するコマンド画像を強調表示する表示画像を生成し、前記最短距離が、前記第２閾値より小さい場合に、前記術者の手指の位置に応じた前記コマンド画像を強調表示する表示画像を生成することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記実行コマンド選択部は、前記最短距離が所定値以下である場合に、前記術者の手指の空間的な位置と、前記コマンド画像の表示位置との相対的な位置関係に応じて実行対象のコマンドを選択することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記観測画像および前記コマンド画像を表示可能な表示部と、前記表示部の表示面上に設けられ、前記術者の手指が接触する接触面を有し、該手指の接触位置に応じた入力を受け付けるタッチパネルと、をさらに備えたことを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記実行コマンド選択部は、前記タッチパネルが受け付けた前記術者の手指の接触位置と、前記コマンド画像の表示位置とに応じて実行対象のコマンドを選択することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記実行可能コマンド選択部は、前記術者の手指の形状、前記空間的な位置および動作モードに応じて実行可能な一または複数のコマンドを選択することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記表示画像生成部は、前記コマンド画像を、前記術者の手指の空間的な位置に応じて前記観測画像上に重畳して表示する表示画像、または前記観測画像と並べて表示する表示画像を生成することを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、当該医療用診断装置が実行する複数のコマンドと、前記術者の手指の形状および前記空間的な位置と、を関連付けて記憶する記憶部をさらに備えたことを特徴とする。

本発明にかかる医療用診断装置は、上記発明において、前記記憶部は、前記実行可能コマンド選択部が選択するコマンドを術者ごとに記憶することを特徴とする。

本発明にかかる超音波観察システムは、観測対象へ超音波を送信するとともに、前記観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号を生成する超音波振動子と、受光した光信号を電気信号に変換した撮像信号を生成する撮像部と、前記エコー信号および前記撮像信号の少なくとも一方に基づく複数の観測画像を表示する表示装置と、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出部と、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、実行可能な一または複数のコマンドを選択する実行可能コマンド選択部と、前記コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成部と、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成部と、を備えたことを特徴とする。

本発明にかかる医療用診断装置の作動方法は、観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置の作動方法であって、検出部が、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出ステップと、実行可能コマンド選択部が、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択ステップと、コマンド画像生成部が、前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成ステップと、表示画像生成部が、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成ステップと、を含むことを特徴とする。

本発明にかかる医療用診断装置の作動プログラムは、観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置の作動方法であって、検出部が、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出手順と、実行可能コマンド選択部が、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択手順と、コマンド画像生成部が、前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成手順と、表示画像生成部が、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成手順と、を前記医療用診断装置に実行させることを特徴とする。

本発明によれば、モニタから視線をそらすことなく高い自由度で入力操作を行うことができるという効果を奏する。

図１は、本発明の実施の形態１にかかる超音波診断システムの構成を示すブロック図である。 図２は、本発明の実施の形態１にかかる超音波診断システムが行うコマンド実行処理を説明するフローチャートである。 図３は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図４は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図５は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図６は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図７は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図８は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図９は、本発明の実施の形態１にかかるコマンド実行処理における表示画像を説明する図である。 図１０は、本発明の実施の形態１の変形例にかかる超音波診断システムの構成を示すブロック図である。 図１１は、本発明の実施の形態１の変形例にかかる超音波診断システムが行うコマンド実行処理を説明するフローチャートである。 図１２は、本発明の実施の形態１の変形例にかかるコマンド実行処理における距離検出処理を説明する図である。 図１３は、本発明の実施の形態１の変形例にかかるコマンド実行処理における表示画像を説明する図である。 図１４は、本発明の実施の形態１の変形例にかかるコマンド実行処理における表示画像を説明する図である。 図１５は、本発明の実施の形態２にかかる超音波内視鏡システムの構成を示すブロック図である。 図１６は、従来の超音波診断を行うシステムの構成を示す模式図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。また、以下の説明において、超音波エコーに基づく超音波画像を生成する医療用診断装置を含む超音波診断システムや超音波内視鏡システムを例示するが、この実施の形態によって本発明が限定されるものではない。また、同一の構成には同一の符号を付して説明する。

（実施の形態１）
図１は、本発明の実施の形態１にかかる超音波診断システムの構成を示すブロック図である。同図に示す超音波診断システム１は、超音波を用いて観測対象を観測するための装置であり、本発明にかかる医療用診断装置に相当する。

超音波診断システム１は、超音波を出力して反射した超音波エコーを受信する超音波プローブ２と、超音波プローブ２が取得した超音波エコーに基づく画像をそれぞれ生成する超音波観測装置３と、複数の入力指示情報を同時に受付可能であり、受け付けた情報を超音波観測装置３へ出力して該超音波観測装置３を操作する操作装置４と、超音波観測装置３により生成された超音波エコーに基づく画像を含む各種情報を表示する表示装置５と、を備える。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。

超音波プローブ２は、観測対象へ超音波パルスを出力するとともに、観測対象によって反射された超音波エコーを受信する超音波振動子２１を先端に有する。

ここで、観測対象が生体組織である場合、超音波振動子２１は、生体の体表から超音波を照射する体外式探触子の形態、消化管、胆膵管、血管等の管腔内に挿入する長軸の挿入部を備えたミニチュア超音波プローブの形態、管腔内超音波プローブに光学系をさらに備えた超音波内視鏡の形態、のいずれの形態であってもよい。このうち、超音波内視鏡の形態をとった場合には、管腔内超音波プローブの挿入部の先端側に超音波振動子２１が設けられ、管腔内超音波プローブは基端側で処理装置と着脱可能に接続する。

超音波振動子２１は、超音波観測装置３から受信した電気的なパルス信号を超音波パルス（音響パルス信号）に変換するとともに、外部の検体で反射された超音波エコーを電気的なエコー信号に変換する。超音波振動子２１は、超音波振動子をメカ的に走査させるものであってもよいし、複数の超音波振動子を電子的に走査させるものであってもよい。

超音波観測装置３は、送受信部３１、信号処理部３２、表示画像生成部３３、バッファ３４、実行可能コマンド選択部３５（コマンド選択部）、実行コマンド選択部３６、コマンド画像生成部３７、記憶部３８および制御部３９を有する。

送受信部３１は、超音波振動子２１との間で電気信号の送受信を行う。送受信部３１は、超音波振動子２１と電気的に接続され、電気的なパルス信号を超音波振動子２１へ送信するとともに、超音波振動子２１から電気的な受信信号であるエコー信号を受信する。具体的には、送受信部３１は、予め設定された波形および送信タイミングに基づいて電気的なパルス信号を生成し、この生成したパルス信号を超音波振動子２１へ送信する。

送受信部３１は、エコー信号を増幅する信号増幅部３１ａを有する。信号増幅部３１ａは、受信深度が大きいエコー信号ほど高い増幅率で増幅するＳＴＣ（Sensitivity Time Control）補正を行う。送受信部３１は、信号増幅部３１ａによって増幅されたエコー信号に対してフィルタリング等の処理を施した後、Ａ／Ｄ変換することによって時間ドメインのデジタル高周波（ＲＦ：Radio Frequency）信号を生成して出力する。

信号処理部３２は、電気的なエコー信号に対する信号処理を行う。具体的には、信号処理部３２は、エコー信号の振幅を輝度に変換して表示する超音波画像（観測画像）であるＢモード画像データを生成する。信号処理部３２は、デジタル信号に対してバンドパスフィルタ、対数変換、ゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うことによってＢモード画像データを生成する。Ｂモード画像は、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ（赤）、Ｇ（緑）、Ｂ（青）の値を一致させたグレースケール画像である。

信号処理部３２は、送受信部３１から出力されるデジタルＲＦ信号に対して順次信号処理を施して生成したＢモード画像データを表示画像生成部３３に出力するとともに、生成したＢモード画像データをバッファ３４に出力する。また、信号処理部３２は、例えば操作装置４を介して画像のフリーズ指示信号の入力があった場合に、Ｂモード画像データをバッファ３４から抽出し、抽出したＢモード画像をフリーズ画像として表示画像生成部３３に出力する。

表示画像生成部３３は、信号処理部３２により生成されたＢモード画像データに対して、表示装置５における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引きや、階調処理などの所定の処理を施した後、該処理後の信号を表示用の表示画像データとして出力する。また、表示画像生成部３３は、コマンド画像生成部３７が生成したコマンド画像と、超音波画像とを用いて表示画像データを生成する。具体的には、表示画像生成部３３は、コマンド画像を超音波画像に重畳した表示画像データ、またはコマンド画像を超音波画像と並べて表示した表示画像データを生成する。

バッファ３４は、例えばリングバッファを用いて実現され、信号処理部３２により生成された一定量（所定フレーム数）のＢモード画像を時系列に沿って記憶する。容量が不足すると（所定のフレーム数のＢモード画像データを記憶すると）、最も古いＢモード画像データを最新のＢモード画像データで上書きすることで、最新のＢモード画像を時系列順に所定フレーム数記憶する。

実行可能コマンド選択部３５は、当該超音波観測装置３が実行する複数のコマンドのうち、操作装置４から入力される検出情報に応じて、実行可能なコマンドを実行可能コマンドとして選択する。実行可能コマンド選択部３５は、例えば、記憶部３８に記憶されている複数のコマンドから、操作装置４から入力される検出情報に応じてコマンドを抽出する。実行可能コマンド選択部３５は、選択した実行可能コマンドに関する情報を、制御部３９に出力する。

実行コマンド選択部３６は、実行可能コマンド選択部３５により選択されたコマンドから、操作装置４から入力される検出情報に応じて、実行するコマンドを選択する。実行コマンド選択部３６は、選択したコマンドに関する情報を、制御部３９に出力する。

コマンド画像生成部３７は、実行可能コマンド選択部３５が選択したコマンドを選択するために表示装置５に表示させるコマンド画像、操作装置４から入力される検出情報に基づく術者の手指の形状に応じた画像（座標に関する情報を含む）を生成する。コマンド画像生成部３７は、生成したコマンド画像を表示画像生成部３３に出力する。

記憶部３８は、超音波診断システム１を動作させるための各種プログラム、および超音波診断システム１の動作に必要な各種パラメータ等を含むデータなどを記憶する。記憶部３８は、コマンド情報記憶部３８ａを有する。

コマンド情報記憶部３８ａは、当該超音波観測装置３が実行する複数のコマンドを、操作装置４から入力される検出情報（術者の手指の形状および配置）と関連付けて記憶する。コマンド情報記憶部３８ａは、例えば、一または複数のコマンドと検出情報とを関係づけたテーブルを記憶する。

また、記憶部３８は、超音波診断システム１の作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部３８は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。

制御部３９は、制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。制御部３９は、記憶部３８が記憶、格納する情報を記憶部３８から読み出し、超音波診断システム１の作動方法に関連した各種演算処理を実行することによって超音波診断システム１を統括して制御する。

操作装置４は、表示部４１と、タッチパネル４２（入力受付部）と、検知センサ部４３と、形状検出部４４と、位置検出部４５と、記憶部４６と、制御部４７と、を備える。

表示部４１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示部４１は、例えば、制御部３９，４７を介して入力されるＢモード画像データに対応する超音波画像や、操作にかかる各種情報を表示する。表示部４１は、例えば表示装置５に表示される画像と同じ画像を表示する。

タッチパネル４２は、表示部４１の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル４２は、術者が表示部４１に表示される操作アイコンに従ってタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた位置信号を含む操作信号を制御部４７へ出力する。タッチパネル４２は、表示部４１が超音波画像や各種情報を表示することで、グラフィカルユーザインターフェース（ＧＵＩ）として機能する。タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等があり、いずれの方式のタッチパネルであっても適用可能である。

検知センサ部４３は、例えば、赤外線センサを用いて実現される。具体的には、検知センサ部４３は、タッチパネル４２の面上を含む領域に赤外光を照射し、術者の手などにより反射した赤外光を受光する。検知センサ部４３は、検知した赤外光に係る情報（検知信号）を、形状検出部４４および位置検出部４５に出力する。

形状検出部４４は、検知センサ部４３から入力した検知信号に基づいて、形状を検出する。具体的には、形状検出部４４は、検知信号の信号パターン、具体的には反射により受信した信号の信号パターンをもとに、記憶部４６に記憶されている信号パターンとのパターンマッチングにより、手指の配置や形状を検出する。

位置検出部４５は、検知センサ部４３から入力した検知信号に基づいて、検出対象の位置を検出する。具体的には、位置検出部４５は、検知信号をもとに検知センサ部４３と術者の手指との距離を算出することで、タッチパネル４２（表示部４１）の表面（接触面）に対する術者の手の空間的な位置（以下、単に「術者の手の位置）という）を検出する。なお、術者の手の空間的な位置とは、タッチパネル４２の接触面に対する相対的な位置（座標）であって、この相対的な位置は、表示部４１が表示する画像（表示部）と対応付けられている。

検知センサ部４３、形状検出部４４および位置検出部４５は検出部を構成し、該検出部が行う検出処理は、上述した赤外線を用いた処理を行なう場合は、例えば特許第４８９９８０６号公報が開示するような従来の手法を用いて行われる。また、手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置の検出は、これに限らず、公知の手法により検出可能であって、例えば、タッチパネル４２上の領域を撮像し、得られた画像をもとに、手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の空間的な位置を検出するものであってもよい。

記憶部４６は、操作装置４を動作させるための各種プログラム、および操作装置４の動作に必要な各種パラメータ等を含むデータなどを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

記憶部４６は、形状情報記憶部４６ａを有する。形状情報記憶部４６ａは、操作装置４を操作する術者の手指の形状パターンを記憶する。具体的には、形状情報記憶部４６ａは、検知信号により得られる信号パターンを手指の形状パターンと関係づけて記憶する。

以上の構成を有する記憶部４６は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。

制御部４７は、操作装置４全体を制御する。制御部４７は、演算および制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。

続いて、以上の構成を有する超音波診断システム１が行うコマンド実行処理について、図面を参照して説明する。図２は、本実施の形態１にかかる超音波診断システムが行うコマンド実行処理を説明するフローチャートである。なお、以下のコマンド実行処理では、表示画像生成部３３において順次生成されるＢモード画像が、少なくとも表示装置５にライブ表示されていることを前提に説明する。

まず、操作装置４の制御部４７は、検知センサ部４３から検知信号の入力があるか否かを判断する（ステップＳ１０１）。制御部４７は、検知信号の入力がある場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。これに対し、制御部４７は、検知信号の入力がない場合（ステップＳ１０１：Ｎｏ）、ステップＳ１０１に戻り、検知信号の入力の確認を繰り返す。

ステップＳ１０２では、形状検出部４４および位置検出部４５が、検知信号をもとに、手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置の検出を行う（検出ステップ）。形状検出部４４および位置検出部４５は、検出した手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置（座標）を含む検出情報を制御部４７に出力する。制御部４７は、取得した検出情報を超音波観測装置３の制御部３９に出力する（ステップＳ１０３）。なお、この時点では、術者の手は、タッチパネル４２には触れていない。

超音波観測装置３では、制御部３９が、操作装置４から検出情報の入力があるか否かを判断する（ステップＳ１０４）。制御部３９は、検出情報の入力がないと判断した場合（ステップＳ１０４：Ｎｏ）、検出情報の入力の確認を繰り返す。これに対し、制御部３９は、検出情報の入力があると判断した場合（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。

ステップＳ１０５では、実行可能コマンド選択部３５は、当該超音波観測装置３が実行する複数のコマンドのうち、操作装置４から入力される検出情報または当該超音波観測装置３の動作モードに応じて、実行可能なコマンドを実行可能コマンドとして選択する（コマンド選択ステップ）。ここで、動作モードとは、例えば、ライブ表示、フリーズ表示などのＢモード画像の表示（観察）にかかる動作モードや、超音波の走査にかかる走査モードのことをいう。なお、後述する超音波内視鏡を備えた超音波内視鏡システムの場合は、被検体の体内画像の表示モードも含む。以下では、動作モードが、ライブ表示にかかる動作モードに設定されているものとして説明する。

本実施の形態１では、術者の手の位置（座標）と表示部４１の表示画面に付与された座標とが対応付けられており、表示部４１においてＢモード画像を表示する領域内に術者の手が配置される場合と、Ｂモード画像を表示する領域外に術者の手が配置される場合とで、実行可能なコマンドが異なる。例えば、Ｂモード画像を表示する領域外に術者の手が配置される場合、実行可能なコマンドは、パルスドプラ（ＰＷ）モード、フロー（ＦＬＯＷ）モード、コントラストハーモニック（ＣＨ）モードおよびエラストグラフィ（ＥＬＳＴ）モードなどの観察モードに関するコマンドが選択可能となる。

パルスドプラモードとは、設定された領域（サンプルボリューム）におけるドプラシフトを解析し、サンプルボリュームにおける血流の時間的変化情報（パルスドプラ波形）を取得するモードである。フローモードは、設定された領域（以下、フロー関心領域（ＲＯＩ）ともいう）におけるドプラシフトを解析して血液の流れに関する血流情報を取得し、Ｂモード画像上に血流の方向に応じた色情報を重畳するモードである。コントラストハーモニックモードは、超音波造影剤からの高調波成分を画像化するモードである。エラストグラフィモードは、設定された領域（以下、エラスト関心領域（ＲＯＩ）ともいう）における観測対象の硬さに関する情報を取得し、Ｂモード画像上に硬さに応じた色情報を重畳するモードである。

また、Ｂモード画像を表示する領域内に術者の手が配置される場合、実行可能なコマンドは、コメント入力モード、カーソル入力モード、Ｂモード画像の拡大、縮小、Ｂモード画像の追加、スクロール、ローテーションおよび距離計測などのＢモード画像に対する処理モードに関するコマンドのいずれかが選択可能となる。

実行可能コマンド選択部３５によるコマンド選択後、コマンド画像生成部３７が、実行可能コマンド選択部３５が選択したコマンドの表示用のコマンド画像を生成する（ステップＳ１０６：コマンド画像生成ステップ）。具体的には、コマンド画像生成部３７は、コマンド情報記憶部３８ａを参照して、実行可能コマンド選択部３５が選択したコマンドに応じた表示用のコマンド画像を取得し、表示用のコマンド画像データとして表示画像生成部３３に出力する。

その後、表示画像生成部３３は、コマンド画像生成部３７から入力されたコマンド画像を、形状検出部４４が検出した術者の手指の形状の画像（手指形状画像）とともに、Ｂモード画像データ（超音波画像）に重畳し、所定の信号処理を施して、表示画像データを生成するとともに、表示装置５に該表示画像データを表示させる処理を行う（ステップＳ１０７：表示画像生成ステップ）。

図３は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域外に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図である。表示部１０１には、Ｂモード画像を表示する超音波画像表示部１０２と、超音波画像表示部１０２とは異なる領域であって、コマンド画像等の各種情報を表示可能な情報表示部１０３と、を有する。超音波画像表示部１０２には、超音波振動子２１の操作範囲のうち、設定された所定の領域である関心領域（ＲＯＩ）の画像が表示されている。

例えば、術者の手指が、タッチパネル４２（表示部４１）上において人差し指を立てた状態で超音波画像表示部１０２の領域外に応じた位置にある場合に、図３に示すように、術者の手指の画像（ポインタ２００）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０３ａ〜１０３ｄが、情報表示部１０３に表示されている。ここで、コマンド画像１０３ａは、パルスドプラモードを示すコマンド画像であり、コマンド画像１０３ｂは、フローモードを示すコマンド画像であり、コマンド画像１０３ｃは、コントラストハーモニックモードを示すコマンド画像であり、コマンド画像１０３ｄは、エラストグラフィモードを示すコマンド画像である。

図４は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域内に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図である。例えば、術者の手指が、タッチパネル４２（表示部４１）上において人差し指を立てた状態で超音波画像表示部１０２の領域内に応じた位置にある場合、図４に示すように、術者の手指の画像（ポインタ２００）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０２ａ，１０２ｂが、超音波画像表示部１０２上に表示されている。ここで、コマンド画像１０２ａは、コメント入力モードを示すコマンド画像であり、コマンド画像１０２ｂは、カーソル入力モードを示すコマンド画像である。

図５は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域内に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図である。例えば、術者の手指が、タッチパネル４２（表示部４１）上において親指と人差し指とを近づけた状態で超音波画像表示部１０２上に応じた位置にある場合、図５に示すように、術者の手指の画像（ポインタ２０１）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０２ｃが、超音波画像表示部１０２上に表示されている。ここで、コマンド画像１０２ｃは、Ｂモード画像の拡大モード、または表示レンジを変更する表示レンジモードを示すコマンド画像である。

図６は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域内に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図である。例えば、術者の手指が、タッチパネル４２（表示部４１）上において親指と人差し指とを離した状態で超音波画像表示部１０２上に応じた位置にある場合、図６に示すように、術者の手指の画像（ポインタ２０２）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０２ｄ，１０２ｅが、超音波画像表示部１０２上に表示されている。ここで、コマンド画像１０２ｄは、Ｂモード画像の縮小モードを示すコマンド画像であり、コマンド画像１０２ｅは、指定した二点間の距離を計測する距離計測モードまたは表示レンジモードを示すコマンド画像である。

なお、ポインタ２００〜２０２は、手指の形状を示すことで、術者の意図している形状と合致しているかを確認できる点で好ましいが、これに限らず、矢印等の他の形状であってもよい。また、超音波画像表示部１０２上にポインタ２０１，２０２が存在する場合のコマンド画像の表示態様として、Ｂモード画像における超音波振動子２１の像（図５，６では、超音波画像表示部１０２の上方の半円）から一定の距離以上離れた位置にコマンド画像を配置することにより、コマンド（コマンド画像）の誤選択を一層確実に防止することができる。

図２のフローチャートに戻り、制御部４７は、検知センサ部４３から新たな検知信号があれば（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０２に戻り、上述した表示処理を繰り返す。一方で、制御部４７は、検知センサ部４３から新たな検知信号がなければ（ステップＳ１０８：Ｎｏ）、ステップＳ１０９に移行する。

ステップＳ１０９では、制御部４７が、タッチパネル４２から操作信号が入力されたか否かを判断する。ここで、制御部４７は、タッチパネル４２から操作信号が入力されていないと判断すると（ステップＳ１０９：Ｎｏ）、ステップＳ１０７に戻り、検知信号および操作信号の確認処理を繰り返す。一方、制御部４７は、タッチパネル４２から操作信号が入力されていると判断すると（ステップＳ１０９：Ｙｅｓ）、操作信号に応じた操作情報を、制御部３９に出力する（ステップＳ１１０）。

超音波観測装置３では、制御部３９が、操作装置４から操作情報の入力があるか否かを判断する（ステップＳ１１１）。制御部３９は、操作情報の入力がないと判断した場合（ステップＳ１１１：Ｎｏ）、操作情報の入力の確認を繰り返す。これに対し、制御部３９は、検出情報の入力があると判断した場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１２に移行する。

ステップＳ１１２では、実行コマンド選択部３６が、タッチパネル４２における入力位置の座標と、コマンド画像の表示位置との座標と、をもとに、選択されたコマンド画像を判定し、該判定したコマンド画像に応じたコマンドを実行するコマンドとして選択する。実行コマンド選択部３６は、選択したコマンドに関する情報を、制御部３９に出力する。制御部３９は、選択されたコマンドを実行する制御を行う（ステップＳ１１３）。

例えば、図３に示す状態において、コマンド画像１０３ｂが選択されると、制御部３９は、観察モードをフローモードに切り替える。フローモードに切り替え後、コマンド選択処理を行なうことがある。この場合、上述したステップＳ１０２〜Ｓ１１３を実行することで、さらなるコマンド実行処理を行なうことができる。

図７は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、フローモードに設定された状態において、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域外に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図である。

例えば、術者の手指が、タッチパネル４２（表示部４１）上において人差し指を立てた状態で超音波画像表示部１０２の領域外に応じた位置にある場合、図７に示すように、術者の手指の画像（ポインタ２００）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０３ｃ〜１０３ｆが、情報表示部１０３に表示されている。ここで、コマンド画像１０３ｅは、Ｂモード画像表示モードを示すコマンド画像であり、コマンド画像１０３ｆは、パルスドプラモードを示すコマンド画像である。上述したタッチパネル４２の操作により、コマンドが選択されると、制御部３９により、選択されたコマンドに応じた観察モードに切り替えられる。

図８は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上において超音波画像表示部１０２の領域外に応じた位置にある場合、表示装置５の表示部１０１に表示される画像を示す図である。例えば、術者の手指が、タッチパネル４２（表示部４１）上において親指と人差し指とを近づけた状態で超音波画像表示部１０２の領域内に応じた位置にある場合、図８に示すように、術者の手指の画像（ポインタ２０１）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０３ｇ，１０３ｈが、超音波画像表示部１０２上に表示されている。ここで、コマンド画像１０３ｇは、血流の流速レンジを変更する流速レンジ変更モードを示すコマンド画像であり、コマンド画像１０３ｈは、関心領域を拡大する関心領域拡大モードを示すコマンド画像である。

図９は、本実施の形態１にかかるコマンド実行処理における表示画像を説明する図であって、術者の手指が、タッチパネル４２（表示部４１）上において超音波画像表示部１０２の領域外に応じた位置にある場合に、表示装置５の表示部１０１に表示される画像を示す図である。例えば、術者の手指が、タッチパネル４２（表示部４１）上において親指と人差し指とを離した状態で超音波画像表示部１０２の領域内に応じた位置にある場合、図９に示すように、術者の手指の画像（ポインタ２０２）が、タッチパネル４２上の位置に応じて配置され、実行可能コマンド選択部３５により選択されたコマンドに応じたコマンド画像１０３ｇ，１０３ｉ，１０３ｊが、超音波画像表示部１０２上に表示されている。ここで、コマンド画像１０３ｉは、関心領域を縮小する関心領域縮小モードを示すコマンド画像であり、コマンド画像１０３ｊは、フローモードにおいて、指定した二点間の距離を計測する距離計測モードを示すコマンド画像である。

図８，９においても、上述したタッチパネル４２の操作により、コマンドが選択されると、制御部３９により、選択されたコマンドに応じたモードに切り替えられる。各モードに切り替え後、モードに応じた処理をさらに行う。例えば、コメント入力モードでは、コメント入力位置を指示するための画像が超音波画像表示部１０２に表示され、術者がタッチパネル４２を介して選択指示することにより、コメント入力位置を指定し、その後キーボードや音声入力によりコメントを入力することができる。カーソル入力モードでは、カーソル入力位置を指示するための画像が超音波画像表示部１０２に表示され、術者がタッチパネル４２を介して選択指示することにより、カーソル入力位置を指定することができる。

また、Ｂモード画像の拡大モードでは、画像を拡大するための入力受付モードに切り替えられ、術者がタッチパネル４２を介して指示、例えばピンチアウトすることにより、画像を拡大することができる。これに対して、Ｂモード画像の縮小モードでは、画像を縮小するための入力受付モードに切り替えられ、術者がタッチパネル４２を介して指示、例えばピンチインすることにより、画像を縮小することができる。

距離計測モードでは、計測を行う始点および終点の指示を受け付ける入力受付モードに切り替えられ、術者がタッチパネル４２を介して指示、例えば親指と人差し指でＢモード画像上で二点を指示することにより、該指示された二点を始点および終点とする直線の距離を計測することができる。

また、流速表示レンジ変更モードでは、流速レンジを変更するための画像が情報表示部１０３に表示され、術者がタッチパネル４２を介して選択指示することにより、流速レンジを変更することができる。

また、関心領域拡大モードでは、フローモードの設定領域としての関心領域（ＲＯＩ）を拡大するための入力受付モードに切り替えられ、術者がタッチパネル４２を介して指示、例えばピンチアウトすることにより、ＲＯＩを拡大することができる。これに対して、関心領域縮小モードでは、フローモードの設定領域としての関心領域（ＲＯＩ）を縮小するための入力受付モードに切り替えられ、術者がタッチパネル４２を介して指示、例えばピンチインすることにより、ＲＯＩを縮小することができる。

以上説明した本実施の形態１によれば、検出した手指の配置や形状、およびタッチパネル４２（表示部４１）に対する術者の手の位置に基づいて、実行可能なコマンドを選択して表示装置５に表示するとともに、タッチパネル４２のタッチ操作により実行するコマンドを選択するようにしたので、モニタ（表示部１０１）から視線をそらすことなく高い自由度で入力操作を行うことができる。また、本実施の形態１によれば、表示部１０１を確認しながらコマンドを選択、実行することができるため、誤操作を抑制するという効果を得ることができる。

なお、上述した実施の形態１では、観察モードとしてパルスドプラモード、フローモード、コントラストハーモニックモードおよびエラストグラフィモードに関するコマンドが選択されるものとして説明したが、これに限らず、例えば、ティシューハーモニックモードなどであってもよい。

また、上述した実施の形態１では、形状検出部４４および位置検出部４５が、操作装置４に設けられるものとして説明したが、超音波観測装置３または表示装置５に設けられていてもよい。この場合、形状情報記憶部４６ａも記憶部３８に記憶されていることが好ましい。

また、上述した実施の形態１では、表示部４１が、表示装置５に表示される画像と同じ画像を表示するものとして説明したが、異なる画像や、操作を案内する画像を表示してもよいし、画像を表示しないものであってもよい。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について図面を参照して説明する。図１０は、本実施の形態１の変形例にかかる超音波診断システムの構成を示すブロック図である。上述した実施の形態１では、検出した手指の配置や形状、およびタッチパネル４２（表示部４１）に対する術者の手の位置に基づいて、実行可能なコマンドを選択して表示するものとして説明したが、本変形例では、さらに検出した手指とタッチパネル４２との間の距離に応じて、コマンド画像を強調表示する。

図１０に示す超音波診断システム１ａは、上述した超音波診断システム１の構成に加えて、操作装置４が距離検出部４８を備える。距離検出部４８は、検知センサ部４３の検知信号をもとに、術者の指先と、タッチパネル４２の表面との間の距離が最少となる距離を検出する。また、本変形例では、記憶部３８が、術者の手指とタッチパネル４２の表面との間の最短距離に関する閾値を記憶する。

続いて、以上の構成を有する超音波診断システム１ａが行うコマンド実行処理について、図面を参照して説明する。図１１は、本実施の形態１の変形例にかかる超音波診断システムが行うコマンド実行処理を説明するフローチャートである。まず、上述した実施の形態１と同様に、操作装置４の制御部４７が、検知センサ部４３から検知信号の入力があるか否かを判断する（ステップＳ２０１）。制御部４７は、検知信号の入力がある場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に移行する。これに対し、制御部４７は、検知信号の入力がない場合（ステップＳ２０１：Ｎｏ）、ステップＳ２０１に戻り、検知信号の入力の確認を繰り返す。

ステップＳ２０２では、形状検出部４４および位置検出部４５が、検知信号をもとに、手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置の検出を行う。形状検出部４４および位置検出部４５は、検出した手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置を含む検出情報を、制御部４７を介して制御部３９に出力する（ステップＳ２０３）。なお、この時点では、術者の手は、タッチパネル４２には触れていない。

超音波観測装置３では、制御部３９が、操作装置４から検出情報の入力があるか否かを判断する（ステップＳ２０４）。制御部３９は、検出情報の入力がないと判断した場合（ステップＳ２０４：Ｎｏ）、検出情報の入力の確認を繰り返す。これに対し、制御部３９は、検出情報の入力があると判断した場合（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に移行する。

ステップＳ２０５では、実行可能コマンド選択部３５は、当該超音波観測装置３が実行する複数のコマンドのうち、操作装置４から入力される検出情報または当該超音波観測装置３の動作モードに応じて、実行可能なコマンドを実行可能コマンドとして選択する。

実行可能コマンド選択部３５によるコマンド選択後、コマンド画像生成部３７が、実行可能コマンド選択部３５が選択したコマンドの表示用のコマンド画像を生成する（ステップＳ２０６）。

その後、距離検出部４８が、検知センサ部４３の検知信号をもとに、術者の指先と、タッチパネル４２の表面との間の距離が最小となる距離（最短距離）を検出する。図１２は、本実施の形態１の変形例にかかるコマンド実行処理における距離検出処理を説明する図である。距離検出部４８は、図１２に示すように、術者の指先と、タッチパネル４２の表面との間の最短距離である距離ｄを検出する。距離検出部４８による距離算出は、例えば、赤外線を用いた公知の方法などにより算出される。距離検出部４８が検出した距離ｄは、制御部４７を介して制御部３９に出力される。

制御部３９は、距離検出部４８が検出した距離ｄと、記憶部３８に記憶されている閾値とを比較して、術者の指先と、タッチパネル４２の表面との相対的な位置関係を判断する（ステップＳ２０７，Ｓ２０８）。ステップＳ２０７では、制御部３９が、距離ｄと第１閾値ｄ₁とを比較し、距離ｄが第１閾値ｄ₁より小さいか否かを判断する。制御部３９は、距離ｄが第１閾値ｄ₁以上であると判断すると（ステップＳ２０７：Ｎｏ）、ステップＳ２０９に移行する。これに対し、制御部３９は、距離ｄが第１閾値ｄ₁より小さいと判断した場合（ステップＳ２０７：Ｙｅｓ）、ステップＳ２０７に移行する。

ステップＳ２０８では、制御部３９が、距離ｄと第２閾値ｄ₂（＜ｄ₁）とを比較し、距離ｄが第２閾値ｄ₂より小さいか否かを判断する。制御部３９は、距離ｄが第２閾値ｄ₂以上であると判断すると（ステップＳ２０８：Ｎｏ）、ステップＳ２０９に移行する。これに対し、距離ｄが第２閾値ｄ₂より小さいと判断した場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０に移行する。

ステップＳ２０９では、制御部３９が、複数のコマンド画像１０３のうち、手指の位置により選択可能なコマンド画像を強調表示する等、実行コマンド画像に対して強調表示するコマンド画像の設定を行う。ステップＳ２０７で判定されたように、術者の指先と、タッチパネル４２の表面との間の距離ｄが、第２閾値ｄ₂以上であって第１閾値ｄ₁より小さい場合、制御部３９は、手指と最短距離に位置する座標を含むコマンド画像と、該コマンド画像と空間的に隣接するコマンド画像を選択し、該選択したコマンド画像を絞り込み表示（強調表示）する設定を行う。

また、ステップＳ２１０においても、制御部３９が、実行コマンド画像に対して強調表示するコマンド画像の設定を行う。ステップＳ２０８で判定されたように、術者の指先と、タッチパネル４２の表面との間の距離ｄが、第２閾値ｄ₂より小さい場合、術者の指先と、タッチパネル４２の表面とが接近した状態となっているため、制御部３９は、手指と最短距離に位置する座標を含むコマンド画像のみを強調表示する設定を行う。

表示画像生成部３３は、コマンド画像生成部３７から入力されたコマンド画像を、形状検出部４４が検出した術者の手指の形状の画像とともにＢモード画像データに重畳し、強調表示設定されているコマンド画像を強調表示するように表示画像データを生成するとともに、表示装置５に該表示画像データを表示させる処理を行う（ステップＳ２１１）。

図１３は、本実施の形態１の変形例にかかるコマンド実行処理における表示画像を説明する図であって、距離ｄが、第２閾値ｄ₂以上であって第１閾値ｄ₁より小さい場合に、表示装置５の表示部１０１に表示される画像を示す図である。なお、図１３では、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域外に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図（図３参照）を用いて説明する。例えば、ポインタ２００がコマンド画像１０３ｃ上に位置する場合、制御部３９によって、コマンド画像１０３ｃと、該コマンド画像１０３ｃに隣接するコマンド画像（コマンド画像１０３ｂ，１０３ｄ）とが強調表示対象のコマンド画像として設定される。表示画像生成部３３は、設定に応じて、図１３に示すように、コマンド画像１０３ｂ〜１０３ｄを強調表示した画像を生成する。

図１４は、本実施の形態１の変形例にかかるコマンド実行処理における表示画像を説明する図であって、距離ｄが、第２閾値ｄ₂より小さい場合に、表示装置５の表示部１０１に表示される画像を示す図である。なお、図１４においても、術者の手指が、タッチパネル４２（表示部４１）上においてＢモード画像を表示する領域外に応じた位置に配置される場合に、表示装置５の表示部１０１に表示される画像を示す図（図３参照）を用いて説明する。例えば、ポインタ２００がコマンド画像１０３ｃ上に位置する場合、制御部３９によって、コマンド画像１０３ｃが強調表示対象のコマンド画像として設定される。表示画像生成部３３は、設定に応じて、図１４に示すように、コマンド画像１０３ｃを強調表示した画像を生成する。

図１１のフローチャートに戻り、制御部４７は、検知センサ部４３から新たな検知信号があれば（ステップＳ２１２：Ｙｅｓ）、ステップＳ２０２に戻り、上述した表示処理を繰り返す。一方で、制御部４７は、検知センサ部４３から新たな検知信号がなければ（ステップＳ２１２：Ｎｏ）、ステップＳ２１３に移行する。

ステップＳ２１３では、制御部３９が、タッチパネル４２から操作信号が入力されたか否かを判断する。ここで、制御部３９は、タッチパネル４２から操作信号が入力されていないと判断すると（ステップＳ２１３：Ｎｏ）、ステップＳ２１２に戻り、検知信号および操作信号の確認処理を繰り返す。一方、制御部３９は、タッチパネル４２から操作信号が入力されていると判断すると（ステップＳ２１３：Ｙｅｓ）、操作信号に応じた操作情報を、制御部３９に出力する（ステップＳ２１４）。

超音波観測装置３では、制御部３９が、操作装置４から操作情報の入力があるか否かを判断する（ステップＳ２１５）。制御部３９は、操作情報の入力がないと判断した場合（ステップＳ２１５：Ｎｏ）、操作情報の入力の確認を繰り返す。これに対し、制御部３９は、検出情報の入力があると判断した場合（ステップＳ２１５：Ｙｅｓ）、ステップＳ２１６に移行する。

ステップＳ２１６では、実行コマンド選択部３６が、タッチパネル４２における入力位置の座標と、コマンド画像の表示位置との座標と、をもとに、選択されたコマンド画像を判定し、該判定したコマンド画像に応じたコマンドを実行するコマンドとして選択する。実行コマンド選択部３６は、選択したコマンドに関する情報を、制御部３９に出力する。制御部３９は、選択されたコマンドを実行する制御を行う（ステップＳ２１７）。

以上説明した本変形例によれば、上述した実施の形態１と同様に、検出した手指の配置や形状、およびタッチパネル４２（表示部４１）に対する術者の手の位置に基づいて、実行可能なコマンドを選択して表示装置５に表示するとともに、タッチパネル４２のタッチ操作により実行するコマンドを選択するようにしたので、モニタ（表示部１０１）から視線をそらすことなく高い自由度で入力操作を行うことができる。また、本実施の形態１によれば、表示部１０１を確認しながらコマンドを選択、実行することができるため、誤操作を抑制するという効果を得ることができる。

また、本変形例によれば、術者の指先の位置に応じて、コマンド画像を強調表示するようにしたので、選択するコマンド画像の視認性を向上し、所望のコマンド画像を一層確実に選択することができる。

なお、本変形例では、術者の指がタッチパネル４２に接触したことに応じて、操作信号が出力され、該操作信号の位置情報（座標情報）に応じて実行コマンドが選択されるものとして説明したが、例えば、タッチパネル４２（操作面）と術者の指先との距離が、所定値（＜第２閾値ｄ₂）以下である場合に、ポインタ２００が重畳するコマンド画像（術者の手指の位置（座標）に応じたコマンド画像）に応じたコマンドを実行コマンドとして選択するようにしてもよい。また、例えば、タッチパネル４２と術者の指先との距離が、所定値（＜第２閾値ｄ₂）以下であり、指先の位置に応じた座標が、コマンド画像１０３ｃに最も近い場合に、術者によるタッチ位置がコマンド画像１０３ｃ上ではなくても、コマンド画像１０３ｃに応じたコマンドを実行コマンドとして選択するようにしてもよい。

また、本変形例では、第１および第２閾値を用いるものとして説明したが、いずれか一方の閾値を用いて絞り込み表示を行ってもよい。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１５は、本実施の形態２にかかる超音波内視鏡システムの構成を示すブロック図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態１では、超音波を用いて観測対象を観測するための装置である超音波診断システムを例に説明したが、本実施の形態２では、上述した超音波信号を送受信する超音波振動子と、光学領域を撮像する撮像素子とが併設された超音波内視鏡を備えた超音波観察システムとしての超音波内視鏡システムを例に説明する。

超音波内視鏡システム１ｂは、超音波パルスを出力して反射した超音波エコーを受信するとともに、超音波パルスの出力領域を含む撮像領域を撮像し、撮像信号として取得する超音波内視鏡６と、超音波内視鏡６が取得した超音波エコーに基づく画像を生成する超音波観測装置３と、複数の入力指示情報を同時に受付可能であり、受け付けた情報を超音波観測装置３へ出力して該超音波観測装置３を操作する操作装置４と、超音波内視鏡６が取得した超音波エコーおよび撮像信号に基づく画像をそれぞれ生成するプロセッサ７と、プロセッサ７により生成された超音波画像データおよび／または体内画像データを含む各種情報を表示する表示装置５と、超音波内視鏡６の先端から出射する照明光を発生する光源装置８と、フリーズ指示信号を含む各種の指示入力を行うための入力装置（例えばフットスイッチ９）と、を備える。

超音波内視鏡６は、被検体の体腔内に挿入することによって被検体の体内画像を撮像する撮像部６１と、観測対象へ超音波パルスを出力するとともに、観測対象によって反射された超音波エコーを受信する超音波振動子２１と、を先端に有する。

撮像部６１は、光を受光して光電変換を行うことにより撮像信号を生成する画素が２次元状に配列された撮像素子を用いて実現される。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが挙げられる。

プロセッサ７は、映像処理部７１、信号処理部７２、ＰｉｎＰ（Picture in Picture）制御部７３、バッファ７４、入力部７５、記憶部７６および制御部７７を有する。

映像処理部７１は、撮像部６１との間で電気信号の送受信を行う。映像処理部７１は、撮像部６１と電気的に接続され、撮像タイミングなどの撮像条件を撮像部６１に送信するとともに、撮像部６１が生成した撮像信号を受信する。

信号処理部７２は、映像処理部７１が受信した撮像信号をもとに、表示装置５が表示する体内画像データを生成する。信号処理部７２は、撮像信号に対して、所定の画像処理を実行して体内画像を含む体内画像データを生成する。体内画像（観測画像）は、色空間としてＲＧＢ表色系を採用した場合の変数であるＲ、Ｇ、Ｂの値をそれぞれ有するカラー画像である。

信号処理部７２は、映像処理部７１から出力される撮像信号に対して順次信号処理を施して生成した体内画像データをバッファ７４に出力する。また、信号処理部７２は、フットスイッチ９の押下により体内画像のフリーズ指示信号が入力された場合などに、体内画像データをバッファ７４から抽出し、抽出した体内画像をフリーズ画像としてＰｉｎＰ制御部７３に出力する。

ＰｉｎＰ制御部７３は、バッファ７４に記憶された体内画像データを取得し、該取得した体内画像データに対して、表示装置５における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引きや、階調処理などの所定の処理を施した後、該処理後の信号を表示用の体内画像データ（通常観察モードの画像データ）として出力する。また、ＰｉｎＰ制御部７３は、この表示用の体内画像データと、超音波観測装置３から送信されるＢモード画像データ（超音波観察モードの画像データ）とを、表示装置５に同時に表示するための制御を行う。例えば、ＰｉｎＰ制御部７３は、体内画像上や体内画像の周囲に、該体内画像より小さいサイズのＢモード画像を表示するような表示画像データを生成し、生成した表示画像データの表示制御を行ったり、体内画像またはＢモード画像を表示装置５にライブ表示させる一方、体内画像またはＢモード画像のうちフリーズ指示により選択されたフリーズ画像を表示装置５に表示させる表示制御を行ったりする。

バッファ７４は、例えばリングバッファを用いて実現され、信号処理部７２により生成された一定量（所定フレーム数）の体内画像データを時系列に沿って記憶する。容量が不足すると（所定のフレーム数の体内画像データを記憶すると）、最も古い体内画像データを最新の体内画像データで上書きすることで、最新の体内画像を時系列順に所定フレーム数記憶する。

入力部７５は、フットスイッチ９や、トラックボールキーボードなどの入力装置からの操作指示信号の入力を受け付け、制御部７７に出力する。入力部７５は、例えばフットスイッチ９が押下され、操作指示信号が入力された場合、該フットスイッチ９に割り当てられた機能、例えばフリーズ指示を含む指示信号を制御部７７に出力する。

記憶部７６は、超音波内視鏡システム１ｂを動作させるための各種プログラム、および超音波内視鏡システム１ｂの動作に必要な各種パラメータ等を含むデータなどを記憶する。また、記憶部７６は、プロセッサ７や超音波内視鏡システム１ｂの作動方法を実行するための作動プログラムを含む各種プログラムを記憶する。作動プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部７６は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）等を用いて実現される。

制御部７７は、制御機能を有するＣＰＵ（Central Processing Unit）や各種演算回路等を用いて実現される。制御部７７は、記憶部７６が記憶、格納する情報を記憶部７６から読み出し、超音波観測装置３を含む超音波内視鏡システム１ｂの作動方法に関連した各種演算処理を実行することによって超音波内視鏡システム１ｂを統括して制御する。

光源装置８は、光源８１と、光源ドライバ８２と、を備える。

光源８１は、照明光を出射する光源や、一または複数のレンズ等を用いて構成され、光源ドライバ８２の制御のもと、光源の駆動により光（照明光）を出射する。光源８１が発生した照明光は、ライトガイド６０１を経由して超音波内視鏡６の先端から被写体に向けて出射される。

光源ドライバ８２は、制御部７７の制御のもと、光源８１に対して電流を供給することにより、照明光を出射させる。制御部７７は、光源ドライバ８２の駆動を制御することにより、光源８１に供給する電力量を制御するとともに、光源８１の駆動タイミングを制御する。

フットスイッチ９は、足により踏み込むことによって信号の入力を受け付けるバーを有する。フットスイッチ９は、術者がバーを踏み込むことで、画像のフリーズ指示にかかる操作入力を受け付け、操作信号を入力部７５に出力する。

本実施の形態２では、ＰｉｎＰ制御部７３が、上述した実施の形態１または変形例にかかる超音波画像データ（コマンド画像を含む）と、撮像部６１により撮像された体内画像データとを表示装置５に表示させるための制御を行う。なお、コマンド実行処理は、上述した実施の形態１または変形例のような、超音波観察モードにおけるコマンド実行処理であってもよいし、通常観察モードにおけるコマンド実行処理であってもよい。通常観察モードの場合は、上述した表示部１０１と同様に、体内画像を表示する体内画像表示部と、体内画像表示部および上述した表示部１０１とは異なる領域であって、通常観察モードにかかるコマンド画像等の各種情報を表示可能な情報表示部と、を設けて、術者の手指の配置により、実行可能コマンドを選択して表示する。

通常観察モードにおけるコマンドとしては、体内画像表示部上に術者の手指が配置された場合、例えば、コメント入力モード、カーソル入力モード、体内画像の拡大モード、縮小モード、体内画像における距離計測モードなどが挙げられ、情報表示部上に術者の手指が配置された場合、例えば、ライブ表示画像モード、フリーズ画像表示モードなどが挙げられる。また、通常観察モードと超音波観察モードとの切り替えのトリガとなる信号を、例えばフットスイッチ９の押下により出力するものであってもよいし、超音波内視鏡６の操作部（図示せず）に設けられたボタンの押下により出力するものであってもよい。

通常観察モードにおいても、上述した実施の形態１および変形例に示したフローチャートに応じて、実行可能コマンドの選択、タッチパネル４２の操作による実行コマンドの選択を行うことができる。例えば、図２に示すフローチャートのステップＳ１０２において、形状検出部４４および位置検出部４５が、検知信号をもとに、手指の配置や形状、タッチパネル４２（表示部４１）に対する術者の手の位置の検出を行うとともに、制御部３９が観察モードの判定を行い、ステップＳ１０５において、実行可能コマンド選択部３５が、手指の配置や形状、位置、観察モードに応じて実行可能なコマンドを選択する。なお、タッチパネル４２による実行コマンドの選択は、フットスイッチ９の押下や、超音波内視鏡６の操作部のボタンによる押下に置き換えてもよい。

以上説明した本実施の形態２によれば、上述した実施の形態１と同様に、検出した手指の配置や形状、およびタッチパネル４２（表示部４１）に対する術者の手の位置に基づいて、実行可能なコマンドを選択して表示装置５に表示するとともに、タッチパネル４２のタッチ操作により実行するコマンドを選択するようにしたので、モニタ（表示部１０１）から視線をそらすことなく高い自由度で入力操作を行うことができる。また、本実施の形態２によれば、表示部１０１を確認しながらコマンドを選択、実行することができるため、誤操作を抑制するという効果を得ることができる。

また、本実施の形態２では、表示装置５およびフットスイッチ９がプロセッサ７側に接続されているものとして説明したが、超音波観測装置３に接続させるものであってもよいし、プロセッサ７および超音波観測装置３の両方に接続されるものであってもよい。

また、本実施の形態２では、ＰｉｎＰ制御部７３がプロセッサ７に設けられているものとして説明したが、超音波観測装置３に設けられるものであってもよい。

また、本実施の形態２では、内視鏡を用いる超音波観察システムとして説明したが、例えば、観測領域を撮影する定点カメラと、上述した超音波診断システム１，１ａとを備えた超音波観察システムなどであっても適用可能である。

また、上述した実施の形態１，２および変形例では、観測対象が生体組織であることを例に説明したが、材料の特性を観測する工業用の内視鏡であっても適用できる。本発明にかかる観測装置は、体内、体外を問わず適用可能である。また、超音波のほか、赤外線などを照射して観測対象の信号を送受信するものであってもよい。

また、上述した実施の形態１，２および変形例では、術者（操作者）によらず実行可能コマンドが選択されることを前提に説明したが、例えば、操作者ごとに選択する実行可能コマンドを記憶部３８などに登録しておけば、各操作者に応じた実行可能コマンドを選択することができ、個々の操作に応じたコマンド選択処理を行なうことができる。また、観察モードごとに手指の形状（パターン）を記憶部３８などに記憶して、該手指の形状によりモードを切り替えるものであってもよい。例えば、手指の形状に応じて、表示装置５の表示部に超音波画像のみを表示させたり、体内画像のみを表示させたりする表示モードの切り替えを行ってもよい。

上述した実施の形態１，２および変形例では、タッチパネル４２（表示部４１）の表面（接触面）を操作面として、該操作面に対する術者の手指の空間的な位置を検出するものとして説明したが、これに限らず、検出部によって所定の面（例えば操作卓の上面）を操作面とし、該操作面に対する術者の手指の空間的な位置（座標）と、表示装置５が表示する画像の位置（座標）との位置関係を対応付けて検出するものであればよい。

このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態を含みうるものである。

以上のように、本発明にかかる医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラムは、モニタから視線をそらすことなく高い自由度で入力操作を行うのに有用である。

１，１ａ 超音波診断システム
１ｂ 超音波内視鏡システム
２ 超音波プローブ
３ 超音波観測装置
４ 操作装置
５ 表示装置
６ 超音波内視鏡
７ プロセッサ
８ 光源装置
９ フットスイッチ
２１ 超音波振動子
３１ 送受信部
３２，７２ 信号処理部
３３ 表示画像生成部
３４，７４ バッファ
３５ 実行可能コマンド選択部（コマンド選択部）
３６ 実行コマンド選択部
３７ コマンド画像生成部
３８，４６，７６ 記憶部
３８ａ コマンド情報記憶部
３９，４７，７７ 制御部
４１ 表示部
４２ タッチパネル
４３ 検知センサ部
４４ 形状検出部
４５ 位置検出部
４６ａ 形状情報記憶部
４８ 距離検出部
６１ 撮像部
７１ 映像処理部
７３ ＰｉｎＰ制御部
７５ 入力部

Claims (15)

1. 観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置であって、
   術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出部と、
   前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択部と、
   前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成部と、
   前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成部と、
   を備えたことを特徴とする医療用診断装置。
2. 前記術者の手指の空間的な位置と、前記コマンド画像の表示位置とに応じて実行対象のコマンドを選択する実行コマンド選択部をさらに備えたことを特徴とする請求項１に記載の医療用診断装置。
3. 前記検出部は、所定の操作面と前記術者の手指との間の最短距離をさらに検出することを特徴とする請求項１に記載の医療用診断装置。
4. 前記表示画像生成部は、前記検出部が検出した前記最短距離が、該最短距離にかかる閾値より小さい場合に、少なくとも前記術者の手指の位置に応じた前記コマンド画像を強調表示する表示画像を生成することを特徴とする請求項３に記載の医療用診断装置。
5. 前記表示画像生成部は、前記最短距離が、前記閾値より小さく、かつ該閾値より小さい第２閾値以上の場合に、前記術者の手指の位置に応じた前記コマンド画像と、該コマンド画像と空間的に隣接するコマンド画像を強調表示する表示画像を生成し、前記最短距離が、前記第２閾値より小さい場合に、前記術者の手指の位置に応じた前記コマンド画像を強調表示する表示画像を生成することを特徴とする請求項４に記載の医療用診断装置。
6. 前記実行コマンド選択部は、前記最短距離が所定値以下である場合に、前記術者の手指の空間的な位置と、前記コマンド画像の表示位置との相対的な位置関係に応じて実行対象のコマンドを選択することを特徴とする請求項３に記載の医療用診断装置。
7. 前記観測画像および前記コマンド画像を表示可能な表示部と、
   前記表示部の表示面上に設けられ、前記術者の手指が接触する接触面を有し、該手指の接触位置に応じた入力を受け付けるタッチパネルと、
   をさらに備えたことを特徴とする請求項２に記載の医療用診断装置。
8. 前記実行コマンド選択部は、前記タッチパネルが受け付けた前記術者の手指の接触位置と、前記コマンド画像の表示位置とに応じて実行対象のコマンドを選択することを特徴とする請求項７に記載の医療用診断装置。
9. 前記実行可能コマンド選択部は、前記術者の手指の形状、前記空間的な位置および動作モードに応じて実行可能な一または複数のコマンドを選択することを特徴とする請求項１に記載の医療用診断装置。
10. 前記表示画像生成部は、前記コマンド画像を、前記術者の手指の空間的な位置に応じて前記観測画像上に重畳して表示する表示画像、または前記観測画像と並べて表示する表示画像を生成することを特徴とする請求項１に記載の医療用診断装置。
11. 当該医療用診断装置が実行する複数のコマンドと、前記術者の手指の形状および前記空間的な位置と、を関連付けて記憶する記憶部をさらに備えたことを特徴とする請求項１に記載の医療用診断装置。
12. 前記記憶部は、前記実行可能コマンド選択部が選択するコマンドを術者ごとに記憶することを特徴とする請求項１に記載の医療用診断装置。
13. 観測対象へ超音波を送信するとともに、前記観測対象に対して送信した超音波が前記観測対象によって反射された超音波エコーを電気信号に変換したエコー信号を生成する超音波振動子と、
    受光した光信号を電気信号に変換した撮像信号を生成する撮像部と、
    前記エコー信号および前記撮像信号の少なくとも一方に基づく複数の観測画像を表示する表示装置と、
    術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出部と、
    前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、実行可能な一または複数のコマンドを選択する実行可能コマンド選択部と、
    前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成部と、
    前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成部と、
    を備えたことを特徴とする超音波観察システム。
14. 観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置の作動方法であって、
    検出部が、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出ステップと、
    実行可能コマンド選択部が、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択ステップと、
    コマンド画像生成部が、前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成ステップと、
    表示画像生成部が、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成ステップと、
    を含むことを特徴とする医療用診断装置の作動方法。
15. 観測対象の画像を生成するための信号を取得し、取得した前記信号に基づく観測画像を外部の表示装置に表示させて診断を行うための医療用診断装置の作動方法であって、
    検出部が、術者の手指の形状、および前記術者の手指の空間的な位置を検出する検出手順と、
    実行可能コマンド選択部が、前記検出部により検出された前記術者の手指の形状および前記空間的な位置に応じて、当該医療用診断装置が実行可能な一または複数のコマンドを選択する実行可能コマンド選択手順と、
    コマンド画像生成部が、前記実行可能コマンド選択部が選択したコマンドに応じたコマンド画像、および前記術者の手指の形状を示す手指形状画像を生成するコマンド画像生成手順と、
    表示画像生成部が、前記コマンド画像生成部が生成したコマンド画像、前記手指形状画像および前記観測画像を用いて表示画像を生成する表示画像生成手順と、
    を前記医療用診断装置に実行させることを特徴とする医療用診断装置の作動プログラム。

Images