JP2016015024A - 操作支援装置及び操作支援システム - Google Patents

Abstract

【課題】複数の医用装置の操作性の向上を可能とすること。【解決手段】複数の医用装置３に対する操作者による操作を支援する操作支援装置２において、カメラ５は、操作者に装着され、操作者の視野に応じた範囲の画像を撮影する。選択部８は、撮影された画像に基づいて複数の医用装置３の一を選択する。操作特定部１２は、撮影された画像に基づいて選択された医用装置の表示画面上における操作者の指先の位置を特定するとともに、特定された指先の位置の変化に基づく操作種別を特定する。操作情報送信部１４は、選択された医用装置に特定された指先の位置に関する情報と特定された操作種別に関する情報とを送信する。【選択図】図２

Description

本発明の実施形態は、操作支援装置及び操作支援システム関する。

手術やカテーテル手技中に画像参照装置等で画像を参照したい時、滅菌された室内では、術者は直接機器に触れることができない。従って、術者は、アシスタントに機器の操作を依頼したり、操作のために手先以外の部位（例えば肘や口）を利用したり、滅菌されたタブレット端末やリモコン、Ｋｉｎｅｃｔ（登録商標）などのモーショントラッキングを用いたジェスチャ操作等を利用したりしている。

しかし、アシスタントを利用する場合、術者の指示がアシスタントに的確に伝わらないことが多くある。手先以外の部位を利用する場合、限定された単純な操作しかできない。タブレット端末を利用する場合、術者は直接操作できるが、タブレットを術者の使用し易いよう保持する必要がある。また、タブレット端末の画面は、術者が画像を閲覧するには小さい。リモコンを利用する場合、リモコンを術者の使用しやすいよう保持する必要がある。また、操作機器が複数ある場合、機器毎に異なるリモコンに持ち替える必要があり、取り違えによる操作ミスが懸念される。また、手術室内には複数の人間が存在しているため、他人の動作により操作する当人の意図とは異なる操作が実行される懸念がある。

目的は、複数の医用装置の操作性の向上を可能とする非接触の操作支援装置及び操作支援システムを提供することにある。

本実施形態に係る操作支援装置は、複数の医用装置に対する操作者による操作を支援する操作支援装置において、前記操作者に装着され、前記操作者の視野に応じた範囲の画像を撮影するカメラと、前記撮影された画像に基づいて前記複数の医用装置の一を選択する選択部と、前記撮影された画像に基づいて前記選択された医用装置の表示画面上における前記操作者の指先の位置を特定するとともに、前記特定された指先の位置の変化に基づく操作種別を特定する特定部と、前記選択された医用装置に前記特定された指先の位置に関する情報と前記特定された操作種別に関する情報とを送信する送信部と、を具備する。

本実施形態に係る操作支援システムの概観図。 本実施形態に係る操作支援システムの構成を示す図。 図２の操作支援装置の概観図の一例を示す図。 図２の識別子記憶部に記憶された操作対象装置識別テーブルの一例を示す図。 本実施形態に係る指先の位置の変化の種別と操作種別とを関連付けたテーブルの一例を示す図。 図５のテーブルにおいて操作種別がタップの場合の指先の動きを示す図。 図５のテーブルにおいて操作種別がドラッグの場合の指先の動きを示す図。 図５のテーブルにおいて操作種別がフリックの場合の指先の動きを示す図。 図５のテーブルにおいて操作種別がスクロールの場合の指先の動きを示す図。 図５のテーブルにおいて操作種別がパンの場合の指先の動きを示す図。 図５のテーブルにおいて操作種別がピンチの場合の指先の動きを示す図。 本実施形態に係る一連の動作の典型的な流れを示す図。 図２のカメラにより撮影された画像の一例を示す図。 図１２の接続判断処理の典型的な流れを示す図。 図２のカメラが、複数の識別子領域を認識した一例（１）を示す図。 図２のカメラが、複数の識別子領域を認識した一例（２）を示す図。 図２のカメラが、複数の識別子領域を認識した一例（３）を示す図。 図１２の接触判断処理の典型的な流れを示す図。 本実施形態に係る非接触状態から接触状態に切り替える動作について説明するための図。 図２の表示部による接触状態か非接触状態かを示す情報の表示の一例を示す図。 図１２の操作判断処理の典型的な流れを示す図。 本実施形態に係る操作入力の一例を示す図。 応用例に係る接触判断処理の典型的な流れを示す図。

以下、図面を参照しながら実施形態に係る操作支援装置及び操作支援システムを説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

まず、図１は、本実施形態に係る操作支援システム１の概観図である。操作支援システム１は、操作支援装置２と複数の医用装置３とを有する。複数の医用装置３には、医用装置３各々を識別するための固有の識別子が付与されている。操作支援装置２は、操作者に装着される。複数の医用装置３は、手術室内に設置されているとする。複数の医用装置３には、清潔のため滅菌が施されている。

図２は、本実施形態に係る操作支援システム１の構成を示す図である。操作支援システム１は、操作支援装置２と複数の医用装置３とを有する。以下、操作支援装置２と複数の医用装置３とについて説明する。

図３は、図２の操作支援装置２の概観図の一例を示す図である。操作支援装置２は、例えば、眼鏡のフレーム状の器具に取り付けられたコンピュータ４と、カメラ５と、表示部６とを有する。眼鏡のフレーム状の器具は、操作者に装着される。このような操作支援装置２は、例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のようなカメラ付きのウェアラブルコンピュータをベースとして実現される。なお、操作支援装置２は、眼鏡のレンズを有しても良いしレンズが無くても良い。なお、コンピュータ４と、カメラ５と、表示部６とが取り付けられる器具は眼鏡のフレーム状の器具に限定されず、ヘルメット、帽子、腕時計等、操作者に装着可能な如何なる器具でも良い。

初めに、カメラ５は、操作者の視野に応じた範囲の画像を繰り返し撮影する。カメラ５は、例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）のフレームに装備されたカメラにより実現される。

表示部６は、種々の画像を表示する。例えば、表示部６は、カメラ５により撮影された画像を表示する。なお、カメラ５により撮影された画像は、加工されて表示されても良い。また表示部６は、その他種々の情報を表示する。表示部６は、例えば、透明の素材を有する。表示部６は、例えば、図３に示すように、眼鏡のフレーム状の器具に装着される。

次に、コンピュータ４は、識別子記憶部７と、選択部８と、接続先切替部９と、接触判定部１０と、ジェスチャ記憶部１１と、操作特定部１２と、操作変換部１３と、操作情報送信部１４と、主記憶部１５と、システム制御部１６と、を有する。

識別子記憶部７は、複数の医用装置３と複数の識別子とを関連付けて記憶する。複数の医用装置３と複数の識別子とは、具体的にはＬＵＴ（Ｌｏｏｋｕｐ Ｔａｂｌｅ）で関連付けられている。以下、このＬＵＴを操作対象装置識別テーブルと呼ぶ。図４は、識別子記憶部７に記憶された操作対象装置識別テーブルの一例を示す図である。操作対象装置識別テーブルは、識別子に対応する識別情報と、装置名と、通信先とを関連付けるテーブルである。例えば、Ｉｎｄｅｘ１の識別情報は「ＩＤ００００１」、装置名は「ＴＯＳ−ＵＬ」、通信先情報は「１９２．１６８．１．８：３４５」であることを示している。なお通信先情報は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に限定される必要はない。例えば、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）通信などの近距離無線通信を用いる場合は、通信先情報は設定されなくても良い。

選択部８は、カメラ５により撮影された画像に基づいて複数の医用装置３の一を選択する。選択部８は、複数の医用装置３のうちの撮影された画像に描出された識別子に対応する医用装置３を選択する。選択部８は、識別子と操作対象装置識別テーブルとを照合することにより、識別子に対応する医用装置３を選択する。

接続先切替部９は、操作支援装置２と複数の医用装置３との間の接続を切り替える。具体的には、接続先切替部９は、操作支援装置２と選択部８により選択された医用装置３とを接続する。医用装置３の通信先情報は、操作対象装置識別テーブルに含まれる。

接触判定部１０は、カメラ５により撮影された画像に描出された指先の大きさと基準の大きさとの比較に基づいて、選択された医用装置３の接触状態と非接触状態とを切り替える。ここで、接触状態とは、タブレット端末に準えて、指先がタッチパネルに接触して操作情報を入力可能な状態を表す。非接触状態とは、タブレット端末に準えて、指先がタッチパネルに接触しておらず操作情報を入力不可能な状態を表す。なお、本実施形態における接触状態とは、タブレット端末に準えた表現であり、実際には操作者の指先は医用装置３に接触しない。接触判定の動作例の詳細については後述する。また、接触判定部１０は、接触状態／非接触状態を記憶するためのメモリを有する。

ジェスチャ記憶部１１は、指先の位置の変化の種別と操作種別とを関連付けて記憶する。図５は、本実施形態に係る指先の位置の変化の種別と操作種別とを関連付けたテーブルの一例を示す図である。指先の位置の変化の種別と操作種別とは、具体的にはＬＵＴで関連付けられている。以下、このＬＵＴをジェスチャテーブルと呼ぶ。以下に、操作支援装置２におけるジェスチャ操作をタブレット端末におけるジェスチャ操作に準えて説明する。実際には、操作者は、医用装置３に触れずにジェスチャ操作を行う。動作例について詳細は後述する。

図６は、図５のテーブルにおいて操作種別がタップの場合の指先の動きを示す図である。タップは、画面を軽く叩くように短く押す操作で、画像選択や文字入力等で使う基本操作である。なお、短く二度押す操作はダブルタップ、長く押す操作はロングタップと呼ばれる。図７は、図５のテーブルにおいて操作種別がドラッグの場合の指先の動きを示す図である。ドラッグは、長押ししている指を離さず移動させる操作で、画像等を移動させる操作である。図８は、図５のテーブルにおいて操作種別がフリックの場合の指先の動きを示す図である。フリックは、指で画面を左右に払うようになぞる操作で、画像や画面の切り替え等で使われる。図９は、図５のテーブルにおいて操作種別がスクロールの場合の指先の動きを示す図である。スクロールは、画面上から指を離さず上下または左右に動かす操作で、一画面に収まり切らない画像や画面等を上下に動かす場合等に使われる。図１０は、図５のテーブルにおいて操作種別がパンの場合の指先の動きを示す図である。パンは、指を全方向にドラッグさせる操作で、画像や画面を斜めに切り替えるときに使われる。図１１は、図５のテーブルにおいて操作種別がピンチの場合の指先の動きを示す図である。ピンチは、二本の指を画面に置いたまま広げたり（ピンチアウト）摘まんだり（ピンチイン）する操作である。ピンチアウトは、画像等を拡大するときに使われる。ピンチインは、画像等を縮小するときに使われる。なお、ジェスチャ記憶部１１は、指先を下に動かした後にそのまま右に動かす、指先を上に動かした後にそのまま下に動かす等、タブレット端末の基本操作以外の独自の指先の位置の変化の種別に、独自の操作種別を割り当ててジェスチャテーブルに記憶しても良い。また、ジェスチャ記憶部１１は、医用装置３毎に異なるジェスチャテーブルを記憶しても良い。

操作特定部１２は、撮影された画像に基づいて、選択された医用装置３の表示画面上における操作者の指先の位置を特定する。操作特定部１２は、特定された指先の位置の変化に基づく操作種別を特定する。具体的には、操作特定部１２は、指先の位置の変化の種別をジェスチャテーブルに照合することにより、操作種別を特定する。操作特定部１２は、操作種別として、特定された指先の位置の変化の種別に応じてタップ、ダブルタップ、ロングタップ、ドラッグ、フリック、スクロール、パン、ピンチ等を特定する。また、操作特定部１２は、指先の位置及び大きさを記憶するためのメモリを有する。なお、操作特定部１２のメモリは、指先に関する他の情報を取得しても良い。指先に関する他の情報とは、例えば、指先の回転、指先に記されたマーク、指先に付与された色などである。以下、指先に関する情報を全て含めて指先情報と呼ぶ。

操作変換部１３は、操作特定部１２により特定された指先の位置と、指先の位置の変化の種別と、操作種別とを、選択部８により選択された医用装置３が記憶可能な形式の信号に変換する。以下、三種の情報をまとめて操作情報と呼ぶ。

操作情報送信部１４は、接続先切替部９により接続された医用装置３に、操作情報を送信する。

主記憶部１５は、種々のデータを記憶する。主記憶部１５は、各種所定値や各種閾値を記憶する。また、主記憶部１５は、カメラ５で撮影された画像等を記憶しても良い。主記憶部１５は、記憶した画像を適宜、表示部６等へ出力する。

システム制御部１６は、操作支援装置２の中枢として機能する。システム制御部１６は、操作支援装置２に含まれる各構成要素を統括的に制御し、本実施形態に係る各種動作を実現する。

図２に示すように、複数の医用装置３各々は、接続管理部２１と、操作情報受信部２２と、操作処理部２３と、装置側表示部２４と、を有する。

接続管理部２１は、操作支援装置２から接続要求が送信された場合、操作支援装置２と通信可能に接続する。また、接続管理部２１は、操作支援装置２から通信の切断要求が送信された場合、操作支援装置２と通信不可能に接続を切断する。接続管理部２１は、それぞれの医用装置３固有の通信先情報を有する。

操作情報受信部２２は、操作支援装置２から送信された操作情報を受信する。

操作処理部２３は、操作情報受信部２２により受信された操作情報に基づいて、操作処理を行う。例えば、装置側表示部２４に左右に並んで表示された二つの画像のうち右の画像に対して操作者からある大きさへのピンチアウトの指示が出た場合、操作処理部２３は、右の画像を指示された大きさに拡大する。

装置側表示部２４は、種々の情報をモニタに表示する。装置側表示部２４は、例えば、医療検査により発生された画像を表示する。

以下、本実施形態に係る操作支援システム１の動作例について詳細に説明する。図１２を参照しながら、本実施形態における一連の動作例を説明する。図１２は、本実施形態に係る一連の動作の典型的な流れを示す図である。

まず、システム制御部１６は、カメラ５に画像を撮影させる（ステップＳ１１）。図１３は、カメラ５により撮影された画像の一例を示す図である。画像には、医用装置３の表示画面と、医用装置３のその他の部分と、識別子（ＱＲコード（登録商標））とが描出されている。なお、識別子は、例えば、ＱＲコード（登録商標）、バーコード、識別ナンバー、識別カラー等を記したボードやシール等であり、医用装置３各々に固有のものが付与される。以下、画像に描出された表示画面に関する画素の集合を、表示画面領域と呼ぶ。また、画像に描出された識別子に関する画素の集合を、識別子領域と呼ぶ。

ステップＳ１１が行われると、システム制御部１６は、選択部８に識別子領域を認識させる（ステップＳ１２）。ステップＳ１２において選択部８は、ステップＳ１１で撮影された画像に画像認識処理を施し、識別子領域を認識する。

ステップＳ１２が行われると、システム制御部１６は、ステップＳ１３（接続判断処理）、ステップＳ１４（接触判断処理）及びステップＳ１５（操作判断処理）を、同期を取りながら行う。ステップＳ１３、ステップＳ１４及びステップＳ１５はサブルーチンとして、説明は後述する。

ステップＳ１３、ステップＳ１４及びステップＳ１５の処理が終わると、再度ステップＳ１１が実行される。以上のようにして、ステップＳ１１、ステップＳ１２、ステップＳ１３、ステップＳ１４及びステップＳ１５の処理が連続的に繰り返される。カメラ５による画像撮影が終了されると、一連の動作は終了する。

（接続判断処理）
以下、図１４を参照しながら、図１２におけるステップＳ１３（接続判断処理サブルーチン）の動作例を説明する。図１４は、図１２の接続判断処理の典型的な流れを示す図である。接続判断処理とは、操作支援装置２と選択部８により選択された医用装置３とが現在接続されているか否かを判断し、接続されていない場合には接続を行う処理である。なお、操作支援装置２と選択された医用装置３とが接続されている時、操作支援装置２は選択された医用装置３に操作情報を送信可能である。

まず、システム制御部１６は、選択部８に識別情報の取得処理を行わせる（ステップＳ２１）。ステップＳ２１において選択部８は、ステップＳ１２で認識された識別子領域に基づいて、図４の操作対象識別テーブルにおける識別情報を取得する。具体的には、例えば、識別子がＱＲコード（登録商標）の場合、選択部８は、ステップＳ１２で認識されたＱＲコード（登録商標）領域からＱＲコード（登録商標）を画像認識により読み取る。選択部８は、読み取られたＱＲコード（登録商標）を変換することで、識別情報を取得する。ステップＳ１２において複数のＱＲコード（登録商標）領域が認識された場合は、選択部８は、複数のＱＲコード（登録商標）各々に対応した識別情報を取得する。

ステップＳ２１が行われると、システム制御部１６は、選択部８に接続先を選択させる（ステップＳ２２）。図１５は、カメラ５が、複数の識別子領域を認識した一例（１）を示す図である。図１５の場合、選択部８は、操作者の指先が重なっている表示画面領域を有する医用装置３の識別情報（ステップＳ２１において取得）を選択する。選択部８は、当該識別情報に操作対象判定テーブルにおいて関連付けられた医用装置３を選択する。図１６は、カメラ５が、複数の識別子領域を認識した一例（２）を示す図である。図１６の場合、選択部８は、撮影された画像が中央部に表示画面領域を有する医用装置３の識別情報を選択する。選択部８は、当該識別情報に操作対象判定テーブルにおいて関連付けられた医用装置３を選択する。図１７は、カメラ５が、複数の識別子領域を認識した一例（３）を示す図である。図１７の場合、選択部８は、直近に更新された表示画面領域を有する医用装置３の識別情報を選択する。選択部８は、当該識別情報に操作対象判定テーブルにおいて関連付けられた医用装置３を選択する。選択部８は、直近に更新されたか否かを、例えば、画像認識により判定する。直近に更新された医用装置３とは、具体的には、患者の最新画像が映し出されている医用装置３、又は直近に操作した医用装置３を示している。

なお、ステップＳ１２において識別子が一つのみ認識された場合、ステップＳ２２は省略される。この場合選択部８は、認識された一つの識別子を有する医用装置３を選択し、ステップＳ２３に進む。

ステップＳ２２が行われた場合、或いはステップＳ１２において識別子が一つのみ認識された場合、システム制御部１６は、選択部８に、選択された医用装置３が登録されているか否かを判定させる（ステップＳ２３）。ステップＳ２３において、選択部８は、ステップＳ２２において選択された医用装置３と操作対象装置識別テーブルとを照合し、選択された医用装置３が操作対象装置識別テーブルに登録されているか否かを判定させる。選択された医用装置３が操作対象装置識別テーブルに登録されていないと判定された場合（ステップＳ２３：Ｎｏ）、接続判断処理を終了する。

ステップＳ２３において、選択された医用装置３が操作対象装置識別テーブルに登録されていると判定されると（ステップＳ２３：Ｙｅｓ）、システム制御部１６は、接続先切替部９に、現在操作支援装置２が何れかの医用装置３と接続されているか否かを判定させる（ステップＳ２４）。

ステップＳ２４において接続中と判定されると（ステップＳ２４：Ｙｅｓ）、システム制御部１６は、接続先切替部９に、二つの装置が同一の装置か否かを判定させる（ステップＳ２５）。ステップＳ２４において、二つの装置とは、現在接続されている装置とステップＳ２２において選択された装置とを示す。同一の装置でないと判定された場合（ステップＳ２４：Ｎｏ）、接続判断処理を終了する。

ステップＳ２５において同一の装置でない判定された場合（ステップＳ２５：Ｎｏ）、システム制御部１６は、接続管理部２１に接続を切断させる（ステップＳ２６）。

ステップＳ２６が行われた場合、或いはステップＳ２４において接続でないと判定された場合（ステップＳ２４：Ｎｏ）、接続管理部２１に、操作対象装置識別テーブルから選択された医用装置３の接続情報（通信先情報）を取得させる（ステップＳ２７）。

ステップＳ２７が行われると、システム制御部１６は、接続管理部２１に、操作支援装置２と選択された医用装置３との接続処理を実行させる（ステップＳ２８）。ステップＳ２７において接続管理部２１は、ステップＳ２５で取得された、選択された医用装置３の接続情報に基づいて、操作支援装置２と選択された医用装置３との接続処理を実行する。

ステップＳ２８が行われると、システム制御部１６は、接続管理部２１に、操作支援装置２と選択された医用装置３とが正常に接続されたか否かを判定させる（ステップＳ２９）。ステップＳ２９において正常に接続されたと判定された場合（ステップＳ２９：Ｙｅｓ）、ステップＳ３０に進む。ステップＳ２９において正常に接続されていない（ステップＳ２９：Ｎｏ）、即ち接続失敗と判定された場合、ステップＳ２８に進む。なお、所定の回数接続失敗が繰り返されると、接続判断処理は終了される。

ステップＳ２９において正常に接続されたと判定された場合、システム制御部１６は、接続管理部２１に接続完了の信号を出力させる（ステップＳ３０）。接続完了の信号は、接続管理部２１に保持される。ステップＳ３０が行われると、接続判断処理は終了される。

以上の接続判断処理により、操作者が操作対象とする医用装置３のみに限定して入力可能となる。従って、他の医用装置３への操作の誤入力を回避できる。また、操作対象医用装置３の切り替えは、接続判断処理により自動的に行われるため、操作者の手動による切り替えが不要である。従って、操作者は、入力対象の医用装置３を変える度に発生するリモコンの持ち替え等の必要がなくなり、操作性が向上する。なお、接続判断処理は、カメラ５により画像が撮影される毎に行われても良いし、既定枚数置きに実行されても良い。

（接触判断処理）
接続判断処理により操作支援装置２と選択された医用装置３とが接続され、操作支援装置２が選択された医用装置３に操作情報を送信可能な状態にある時、接触判断処理が実行される。

以下、図１８を参照しながら、図１２におけるステップＳ１４（接触判断処理サブルーチン）の動作例を説明する。図１８は、図１２の接触判断処理の典型的な流れを示す図である。接触判断処理とは、操作者の指先の位置の変化の種別によるジェスチャ操作が入力可能か不可能かを判断する処理である。先述したとおり、本実施形態における接触状態と非接触状態とはタブレット端末に準えた表現で、実質的には入力可能状態と不可能状態とを意味している。なお、操作者の指先が接触状態である時、操作者はジェスチャ操作を入力可能である。

まず、システム制御部１６は、操作特定部１２に現在の指先情報の取得処理を行わせる（ステップＳ３１）。ステップＳ３１において操作特定部１２は、カメラ５によって撮影された画像に描出された指先の画素の集合（以下、指先領域と呼ぶ）の、画像上における位置及び大きさを取得する。詳細には、指先領域は、例えば、画像に描出された爪の領域として定義される。なお、操作特定部１２は、他の領域を指先領域と定義しても良い。例えば、操作特定部１２は、画像に描出された指の先端領域或いは爪の先端領域から爪の付け根領域までの指先の画素の集合を、指先領域と定義しても良い。また操作特定部１２は、画像に描出された指の先端における指の幅四方の領域画素の集合を、指先領域と定義しても良い。操作特定部１２は、取得された指先情報を、操作特定部１２のメモリＭ１に記憶する。

ステップＳ３１が行われると、システム制御部１６は、接触判定部１０に接触判定に必要な情報の取得処理を行わせる（ステップＳ３２）。ステップＳ３２において接触判定部１０は、操作特定部１２のメモリＭ１から接触判定に必要な情報の取得を行う。接触判定に必要な情報とは、例えば現在の指先情報、及び現在から所定の時間遡った分までの過去の指先情報である。所定の時間は、主記憶部１５に予め記憶されている。

ステップＳ３２が行われると、システム制御部１６は、接触判定部１０に接触判定を行わせる（ステップＳ３３）。ステップＳ３３において接触判定部１０は、現在の指先の大きさと過去の指先の大きさとを比較する。図１９は、本実施形態に係る非接触状態から接触状態に切り替える動作について説明するための図である。過去の指先領域の大きさのうち、所定の時間同程度だった指先領域の大きさを基準の指先領域の大きさとする。所定の時間は主記憶部１５に予め記憶されている。過去の指先領域の大きさが所定の時間同程度であると判定するための大きさの許容ぶれ幅或いはぶれ幅のパーセンテージは、主記憶部１５に予め記憶される。現在の指先の大きさを基準の指先の大きさで除した数値が閾値よりも小なる場合、接触判定部１０は、指先が非接触状態から接触状態に切り替わったと判定する。閾値は主記憶部１５に予め記憶されている。現在の指先領域の大きさを基準の指先の大きさで除した数値が閾値よりも大なる場合、接触判定部１０は、指先が接触状態から非接触状態に切り替わったと判定する。接触判定部１０は、判定した指先の接触状態か非接触状態かを示す情報を、接触判定部１０のメモリＭ２に記憶する。

ステップＳ３４が行われると、システム制御部１６は、表示部６に接触状態か非接触状態かを示す情報を表示する（ステップＳ３４）。図２０は、図２の表示部６による接触状態か非接触状態かを示す情報の表示の一例を示す図である。表示部６は、現在の接触状態か非接触状態かを示す情報をカメラ５により撮影された画像と位置整合して表示部６に表示する。

以上のようにして、ステップＳ３１、ステップＳ３２、ステップＳ３３及びステップＳ３４の処理が連続的に繰り返される。カメラ５による画像撮影が終了されると、一連の動作は終了する。なお、接触判断処理は、カメラ５により画像が撮影される毎に行われても良いし、既定枚数置きに実行されても良い。

以上の接触判断処理により、接触状態（入力可能状態）か非接触状態（入力不可能状態）かを判断できる。接触状態と非接触状態とを区別することにより、非接触状態における誤動作を削減することができる。具体的には、非接触状態における誤動作とは、操作者が眼鏡のずれを直す、汗を拭く、顔を掻く等、医用装置３ではなく操作支援装置２のカメラ５に近い範囲で行われる動作を操作と認識してしまうこと等である。

（操作判断処理）
接続判断処理により操作支援装置２と選択された医用装置３とが接続され、操作支援装置２が選択された医用装置３に操作情報を送信可能な状態にある時、操作判断処理が実行される。

以下、図２１を参照しながら、図１２におけるステップＳ１５（操作判断処理サブルーチン）の動作例を説明する。図２１は、図１２の操作判断処理の典型的な流れを示す図である。操作判断処理とは、操作者により入力された指先の位置の変化の種別をジェスチャテーブルに登録された操作種別のうち何れであるかを判断する処理である。

まず、システム制御部１６は、操作特定部１２に、表示領域に指先領域が重なっているか否かを判定させる（ステップＳ４１）。表示領域に指先領域が重なっていないと判定された場合（ステップＳ４１：Ｎｏ）、システム制御部１６は、所定の時間経過した後に再度ステップＳ４１を行う。

ステップＳ４１において表示領域に指先領域が重なっていると判定された場合（ステップＳ４１：Ｙｅｓ）、接触判定部１０は、接触状態であるか否かを判定する（ステップＳ４２）。ステップＳ４２において、接触判定部１０は、メモリＭ２に保存された接触状態か非接触状態かを示す情報のうち最新のものが接触状態を示しているか否かを判定する。

ステップＳ４２において接触状態を示していると判定された場合（ステップＳ４２：Ｙｅｓ）、システム制御部１６は、操作特定部１２に指先の位置の変化の種別の取得処理を行わせる（ステップＳ４３）。以下、図２２を参照しながら、ステップＳ４３における指先の位置、指先の位置の変化及び指先の位置の変化の種別を特定する一連の動きについて説明する。図２２は、本実施形態に係る操作入力の一例を示す図である。

まず、操作特定部１２は、カメラ５により撮影された画像における操作対象の医用装置３の表示画面における指先の位置を特定する。具体的には、操作特定部１２は、表示部６に表示された画像における表示画面領域Ｒ１と指先領域Ｒ２とを画像認識する。操作特定部１２は、操作入力を開始した時点の認識した表示画面領域Ｒ１の基準点に対する指先領域Ｒ２の相対位置を特定する。相対位置は、基準点から指先領域Ｒ２までの距離と方向とにより規定される。基準点は、例えば表示画面の中心点として定義される。なお、基準点は、表示画面の四隅のうちの一或いはＱＲコード（登録商標）の所定点として定義されても良い。操作特定部１２は、表示画面領域Ｒ１の大きさと実際の装置側表示部２４の表示画面の大きさとの比率Ｒを計算する。なお、装置側表示部２４の表示画面の大きさは、予め操作特定部１２のメモリ或いは主記憶部１５に記憶されている。表示画面領域Ｒ１が歪んでいた場合には、操作特定部１２は、比率を計算する前に、表示画面領域Ｒ１と指先領域Ｒ２とを含む範囲に歪み補正処理を行っても良い。操作特定部１２は、特定された相対位置と計算された比率とに基づいて、表示画面における指先の位置（２次元座標）を計算する。図２２において指先領域の中心は、例えば、座標（Ｘ１，Ｙ１）に位置すると認識される。座標（Ｘ１，Ｙ１）は、画像Ａ領域Ｒ３に含まれる。

次に操作特定部１２は、操作入力を開始した時点から連続して撮影された複数枚の画像を上記と同様に認識することにより、指先の位置の変化を特定する。ここで、指先の位置の変化とは、変化の方向と変化の量とを含む。変化の方向は、操作入力を開始した時点に撮影された画像から最新の画像までの表示画面における指先の位置の軌跡を用いて決定される。図２２において指先領域は、座標（Ｘ１，Ｙ１）から複数の画像に亘って連続的に略直線的に左方向に位置が変化していることを示している。即ち、変化の方向は、略直線的に左方向である。変化の量は、操作入力を開始した時点に撮影された画像から最新の画像までの表示画面における指先の位置の軌跡を用いて決定される。図２２において指先領域Ｒ２は、座標（Ｘ１，Ｙ１）から複数の画像に亘って連続的に直線的に位置が変化していることを示している。図２２における移動後の指先領域の中心は、例えば、座標（Ｘ２，Ｙ１）に位置すると認識される。座標（Ｘ２，Ｙ１）は、画像Ｂ領域Ｒ４に含まれる。即ち、変化の量は、座標（Ｘ１，Ｙ１）から座標（Ｘ２，Ｙ１）である。

操作特定部１２は、特定された指先の位置と指先の位置の変化とに基づいて、指先の位置の変化の種別を取得する。図２２において指先領域Ｒ２は、複数の画像に亘って連続的に直線的に座標（Ｘ１，Ｙ１）から座標（Ｘ２，Ｙ１）へ移動したことを示している。即ち、操作特定部１２は、「指先の位置の変化の種別：直線的移動」として取得する。

ステップＳ４３が行われると、システム制御部１６は、操作特定部１２に、操作種別の識別処理を行わせる（ステップＳ４４）。ステップＳ４４において操作特定部１２は、ステップＳ４３で取得された指先の位置の変化の種別をジェスチャテーブルに照合することにより、当該指先の位置の変化の種別に対応する操作種別を識別する。具体的には、例えば、操作特定部１２は、図２２における指先の位置の変化の種別をジェスチャテーブルに照合することにより、「操作種別：ドラッグ」と特定する。即ち、操作特定部１２は、操作者が入力した情報は、画像Ａを画像Ｂの位置にドラッグさせる操作であると特定する。以下、「画像Ａを画像Ｂの位置に」という操作の量を操作量と呼ぶ。なお、「操作種別：ピンチ」の場合等は、操作量は座標で示される。

ステップＳ４３が行われると、システム制御部１６は、操作特定部１２に、ステップＳ４３において取得された指先の位置の変化の種別がジェスチャテーブルに登録された既定の操作種別か否かを判定する（ステップＳ４５）。既定の操作種別でないと判定された場合（ステップＳ４５：Ｎｏ）、ステップＳ４１に進む。

ステップＳ４５において既定の操作種別であると判定された場合（ステップＳ４５：Ｙｅｓ）、操作変換部１３は、操作種別と操作量とを、医用装置３側で識別可能な形に変換する（ステップＳ４６）。ステップＳ４６において、操作変換部１３は操作情報に、例えば符号化等を施す。

ステップＳ４６が行われると、操作情報送信部１４は、ステップＳ４６において変換された操作情報を送信する（ステップＳ４７）。ステップＳ４７において送信された操作情報を接続された医用装置３の操作情報受信部２２が受信すると、医用装置３における操作処理部２３は、操作情報に従って操作処理を行う。操作処理が行われると、医用装置３における装置側表示部２４は、操作処理部２３により行われた操作処理を反映した画像を逐次表示する。

ステップＳ４７が行われると、操作情報送信部１４は、送信が成功したか否かを判定する（ステップＳ４８）。送信が失敗したと判定された場合（ステップＳ４８：Ｎｏ）、ステップＳ４７に戻り、再度接続処理を試みる。なお、送信が所定の回数連続して失敗したと判定された場合、一連の動作は終了する。所定の回数は、主記憶部１５に予め記憶される。なお、操作判断処理は、カメラ５により画像が撮影される毎に行われても良いし、既定枚数置きに実行されても良い。

以上のようにして、ステップＳ４１、ステップＳ４２、ステップＳ４３、ステップＳ４４、ステップＳ４５、ステップＳ４６、ステップＳ４７及びステップＳ４８の処理が連続的に繰り返される。カメラ５による画像撮影が終了されると、一連の動作は終了する。操作判断処理により、操作者は滅菌状態下の医用装置３を非接触かつタブレット端末のように直感的に操作可能である。

なお、本実施形態に係る操作支援装置２は、複数人が装着し、各々が異なる医用装置３を操作することも可能である。

（応用例）
上記実施形態では、カメラ５に一人の操作者の指先が写っているという前提で説明を行った。しかし、上記実施形態において、操作者は一人にとらわれず、複数人であっても良い。応用例では、カメラ５に複数人の操作者の指先が写っている場合について説明する。具体的には、応用例では、図１８の接触判断処理サブルーチンについて更に詳述する。

図２３は、応用例に係る接触判断処理の典型的な流れを示す図である。図２３の応用例に係る接触判断処理サブルーチンは、基本的には図１８の本実施形態に係る接触判断処理サブルーチンと同様であるため、操作者が一人の場合にもそのまま図１８の代わりに適用できる。

本実施形態に係る接触判断処理サブルーチンと応用例に係る接触判断処理サブルーチンとの大きな違いは、指先情報を記憶する操作特定部１２のメモリＭ１と指先の接触状態を示す情報を記憶する接触判定部１０のメモリＭ２とが、それぞれ複数人分あることである。メモリＭ１は、指先情報を、個人を特定する情報と関連付けて記憶する。メモリＭ２は、接触状態を示す情報を、個人を特定する情報と関連付けて記憶する。

操作特定部１２のメモリＭ１１は、１人目の操作者の指先情報を記憶する。メモリＭ１２は、２人目の操作者の指先情報を記憶する。メモリＭ１３は、３人目の操作者の指先情報を記憶する。なお、操作特定部１２は、所定の時間操作者の指先情報が存在しない場合、当該メモリを解放し、他の操作者或いは同操作者が使っても良い。所定の時間は、主記憶部１５に予め記憶される。

接触判定部１０のメモリＭ２１は、１人目の操作者の指先の接触状態を示す情報を記憶する。メモリＭ１２は、２人目の操作者の指先の接触状態を示す情報を記憶する。メモリＭ１３は、３人目の操作者の指先の接触状態を示す情報を記憶する。なお、接触判定部１０は、所定の時間操作者の指先の接触状態を示す情報が存在しない場合、当該メモリを解放し、他の操作者或いは同操作者が新たに使っても良い。所定の時間は、主記憶部１５に予め記憶される。

なおステップＳ３１’、ステップＳ３２’、ステップＳ３３’ 及びステップＳ３４’の動作は、メモリＭ１およびＭ２に登録された個人それぞれに関して、当該個人と関連付けられたメモリＭ１およびメモリＭ２を用いて行われる。

上記のとおり、本実施形態に係る操作支援システム１によれば、カメラ５により撮影された操作者の視野に応じた範囲の画像に基づいて、操作対象の医用装置３を非接触で接続することができる。また、複数の医用装置３各々に操作認識機器を接続させることなく、操作者は、一台の操作支援装置２で複数の医用装置３を操作できる。医用装置３側に操作認識機器を接続する場合は認識範囲が広範囲であり、操作者以外の他人の動きを誤認識してしまう。一方、本実施形態に係る操作支援システム１は、認識範囲が操作者視野に近似した範囲に限られるため、操作者以外の他人は意図して操作支援装置２の操作者視野に入り込まない限り操作を入力することは難しい。また、接触判定処理により、本人が意図しない動作（眼鏡のずれを直す、汗を拭く、顔を掻く等）による誤入力も低減される。更に、操作対象の医用装置３の表示画面とその画面上に重なっている操作者の指先から画面上の操作位置を算出し、タブレット端末等の機器に近いジェスチャ操作を実現することができる。かくして、本実施形態に係る操作支援システム１は、滅菌状態下における複数の医用装置３の操作性の向上することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…操作支援システム、２…操作支援装置、３…医用装置、４…コンピュータ、５…カメラ、６…表示部、７…識別子記憶部、８…選択部、９…接続先切替部、１０…接触判定部、１１…ジェスチャ記憶部、１２…操作特定部、１３…操作変換部、１４…操作情報送信部、１５…主記憶部、１６…システム制御部、２１…接続管理部、２２…操作情報受信部、２３…操作処理部、２４…装置側表示部

Claims (13)

1. 複数の医用装置に対する操作者による操作を支援する操作支援装置において、
   前記操作者に装着され、前記操作者の視野に応じた範囲の画像を撮影するカメラと、
   前記撮影された画像に基づいて前記複数の医用装置の一を選択する選択部と、
   前記撮影された画像に基づいて前記選択された医用装置の表示画面上における前記操作者の指先の位置を特定するとともに、前記特定された指先の位置の変化に基づく操作種別を特定する特定部と、
   前記選択された医用装置に前記特定された指先の位置に関する情報と前記特定された操作種別に関する情報とを送信する送信部と、
   を具備する操作支援装置。
2. 前記選択部は、前記複数の医用装置のうちの前記撮影された画像に描出された識別子に対応する医用装置を選択する、請求項１記載の操作支援装置。
3. 前記複数の医用装置と複数の識別子とを関連付けて記憶する識別子記憶部、を更に備え、
   前記選択部は、前記複数の医用装置のうちの、前記撮影された画像に描出された識別子に前記識別子記憶部において関連付けられた医用装置を選択する、請求項２記載の操作支援装置。
4. 前記選択部は、前記撮影された画像に含まれる複数の識別子を認識した場合、前記撮影された画像において前記操作者の指先が重なっている表示画面を有する医用装置に対応する識別子を特定し、前記特定された識別子に前記識別子記憶部において関連付けられた医用装置を選択する、請求項３記載の操作支援装置。
5. 前記選択部は、前記撮影された画像に含まれる複数の識別子を認識した場合、前記撮影された画像が中央部に描出されている表示画面を有する医用装置に対応する識別子を特定し、前記特定された識別子に前記識別子記憶部において関連付けられた医用装置を選択する、請求項３記載の操作支援装置。
6. 前記選択部は、前記撮影された画像に含まれる複数の識別子を認識した場合、被検者を対象とする画像のうち最新の画像が描出されている表示画面を有する医用装置に対応する識別子を特定し、前記特定された識別子に前記識別子記憶部において関連付けられた医用装置を選択する、請求項３記載の操作支援装置。
7. 前記選択部は、前記撮影された画像に含まれる複数の識別子を認識した場合、最も新しい時刻に操作された医用装置に対応する識別子を特定し、前記特定された識別子に前記識別子記憶部において関連付けられた医用装置を選択する、請求項３記載の操作支援装置。
8. 前記撮影された画像に描出された指先の大きさと基準の大きさとの比較に基づいて、前記選択された医用装置の操作可能状態と操作不可能状態とを切り替える操作可不可判定部、を更に備える、請求項１記載の操作支援装置。
9. 前記特定部は、前記操作可不可判定部により前記選択された医用装置が操作可能状態であると判定された場合に限り、前記撮影された画像に基づいて前記選択された医用装置の表示画面上における前記操作者の指先の位置を特定するとともに、前記特定された指先の位置の変化に基づく操作種別を特定する、請求項８記載の操作支援装置。
10. 前記特定部は、前記操作種別として、前記特定された指先の位置の変化の種別に応じてジェスチャ操作を特定する、請求項１記載の操作支援装置。
11. 前記特定部は、ジェスチャー入力としてタップ、ダブルタップ、ロングタップ、ドラッグ、フリック、スクロール、パン、ピンチを特定する、請求項１０記載の操作支援装置。
12. 前記特定部は、前記撮影された画像に基づいて前記選択された医用装置の表示画面上における複数の操作者の指先の位置を個別に特定するとともに、前記特定された複数の操作者の指先の位置の変化に基づく操作種別を個別に特定する、請求項１記載の操作支援装置。
13. 複数の医用装置に対する操作者による操作を支援する操作支援装置と複数の医用装置とを含む操作支援システムであって、
    前記操作支援装置は、
    前記操作者に装着され、前記操作者の視野に応じた範囲の画像を撮影するカメラと、
    前記撮影された画像に基づいて前記複数の医用装置の一を選択する選択部と、
    前記撮影された画像に基づいて前記選択された医用装置の表示画面上における前記操作者の指先の位置を特定するとともに、前記特定された指先の位置の変化に基づく操作種別を特定する特定部と、
    前記選択された医用装置に前記特定された指先の位置に関する情報と前記特定された操作種別に関する情報とを送信する送信部と、を有し、
    前記複数の医用装置はそれぞれ、
    前記操作支援装置における前記送信部から送信された情報を受信する受信部と、
    前記操作支援装置における前記特定部により特定された指先の位置と操作種別とに応じた情報処理を実行する処理部と、を有する、操作支援システム。