JP2019501747A - 医療情報との相互作用のための方法およびシステム - Google Patents

Abstract

医療施術者が医療情報と相互作用することを可能にするシステムであって、検知ユニットと相互作用するために使用される基準物体の位置を検出するための検知ユニットと、医療施術者によって実行されるジェスチャを判定するステップと、ジェスチャに対応する、医療情報に対するコマンドを識別し、医療情報を表示するためにコマンドを実行するステップと、基準物体の仮想表現、ならびに、少なくとも１つの仮想アイコンおよび／または検知ユニットの仮想表現を含むグラフィカルユーザインターフェースを生成するステップであり、少なくとも１つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの１つに対応する、生成するステップと、ＧＵＩを医療情報と共に表示するステップとを行うための少なくとも１つの制御ユニットとを備える、システム。

Description

本発明は、医療情報と相互作用するための方法およびシステムの分野に関する。

医療施術者（例えば、外科医、介入放射線医、看護師、医療助手、他の医療技術者など）が、医療的、外科的および介入的処置および／または手術の実行の前、最中および／または後などの、医学的に関連する情報などを操作する能力および／または他の様態で相互作用する能力にアクセスすることを可能にすることが望まれている。このような所望の医療情報には、非限定例として、放射線画像、血管造影画像、患者の身体の他の形態の画像、医療処置を受けている患者に関連する他の情報、処置自体に関連する他の情報、処置されている状態に関連する他の情報などが含まれ得る。このような所望の医療情報は、処置の実施前、処置の実行中、および／または処置の実行後に入手することができ、医療施術者が、画像誘導および／または画像依存医療処置の間に治療計画を策定または変更することを可能にすることができる。

現在、放射線画像のような医療情報への術中アクセス、操作および／または相互作用は、外科的滅菌環境の外部に位置する制御室のコンピュータワークステーション上で行われている。そのようなコンピュータワークステーションは、適切なネットワーク通信または他のデジタルアクセス技術を介して、画像保管通信システム（ＰＡＣＳ）、医用デジタル画像形成通信システム（ＤＩＣＯＭ）、病院情報システム（ＨＩＳ）、放射線情報システム（ＲＩＳ）などにアクセスすることによって、患者に関する画像データのアーカイブなどの情報にアクセスすることができる。そのようなワークステーションは、その後、個々の画像を適切なディスプレイ上に表示することができ、従来のコンピュータベースのユーザインターフェースを介して、例えば、マウスおよびキーボードならびにソフトウェア実装ユーザインターフェースを使用し、画像を操作することを可能にすることができる。ワークステーションは通常、外科的滅菌環境の外部に位置しているため、様々な画像にアクセスしたい放射線医のような医療施術者は、典型的には、（ａ）処置中に１つ以上の原因を受けて処置を離脱して手洗い消毒するか、または、（ｂ）所望の画像にアクセスする作業を、技術者または看護師のような別の人間に委任するか、いずれかを行わなければならず、委任された者はその後、放射線医の指示の下でワークステーションを操作しなければならない。

（ａ）の場合、医療施術者が画像ナビゲーションおよび解釈の目的で非滅菌制御室と滅菌手術環境との間を行き来することが必要であることで、不慮に汚染物質が非滅菌制御室から滅菌環境に転移することによって滅菌環境を汚染するリスクが増大し、手術を完了するために必要な時間が延長し、それによって処置費用が増加し、および／または、医療施術者の認識力の集中を妨害し、それにより患者の医学的リスクを増大させる可能性がある。（ｂ）の場合、一般的に、放射線医とワークステーションを操作する技術者との間の緊密な連絡が必要となる。関連情報（例えば、画像の移動量または拡大量）の伝達は困難で時間がかかり、何度か反復する必要がある場合がある。異なるソフトウェアプラットフォームを使用し、供給元固有の多層メニューを通じてナビゲートし、キーボードおよびマウスを使用して立体画像と相互作用することが必要であることによって、このプロセスはより困難になる可能性がある。（ａ）と（ｂ）の両方の場合において、外科医の疲労に寄与する要因があり、これは外科的および／または介入的処置中の大きな問題である。

術中計画立案および標的治療の確認のために多数の放射線画像にますます依拠することになることによって、放射線医が、滅菌環境中にいながら、直感的、包括的かつ適時の様式で、大量の画像情報（および／または他の医療関連情報）に迅速にアクセス、操作、および／または他の様態で相互作用する能力を向上させるソリューションを開発することが一般的に所望されている。

したがって、医療情報と相互作用するための改善された方法およびシステムが必要とされている。

第１の広範な態様によれば、医療施術者が医療情報と相互作用することを可能にするシステムが提供され、システムは、検知ユニットであって、少なくとも、医療施術者によって検知ユニットと相互作用するために使用される基準物体の位置を検出するための、検知ユニットと、検知ユニットによって検出される基準物体の位置を使用して医療施術者によって実行されるジェスチャを判定するステップと、受信されるジェスチャに対応する医療情報に対するコマンドを識別し、医療情報を表示ユニットに表示するためにそのコマンドを実行するステップと、基準物体の仮想表現、ならびに、検知ユニットの仮想表現および少なくとも１つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース（ＧＵＩ）を生成するステップであり、ＧＵＩ内の基準物体の仮想表現の位置は、検知ユニットによって検出される基準物体の位置に応じて選択され、少なくとも１つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの１つに対応する、生成するステップと、ＧＵＩを医療情報と共に表示ユニット上に表示するステップとを行うために、検知ユニットと通信する少なくとも１つの制御ユニットとを備える。

一実施形態では、コントローラは、医療情報に隣接してＧＵＩを表示するように構成される。

一実施形態では、コントローラは、ＧＵＩおよび医療情報を同じ表示装置に表示するように構成される。

別の実施形態では、コントローラは、医療施術者が表示されている医療情報を見るときにＧＵＩが医療施術者の視野にあるように、ＧＵＩおよび医療情報を、互いに隣接して位置決めされている別々の表示装置に表示するように構成される。

一実施形態では、検知ユニットは、基準物体の向きを検出するようにさらに適合され、ＧＵＩ内の基準物体の仮想表現の向きは、検知ユニットによって検出された基準物体の向きに応じて選択される。

一実施形態では、検知ユニットは、基準物体の位置および向きを判定し、医療施術者によって実行されるジェスチャを判定するように適合された単一のセンサを含む。

一実施形態では、単一のセンサは光センサを含む。
一実施形態では、光センサはカメラを含む。

一実施形態では、カメラは、３Ｄカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む。

一実施形態では、カメラは、基準面を撮像するように構成される。
一実施形態では、システムは、カメラによって撮像される基準面上に少なくとも１つの基準アイコンを投影するプロジェクタをさらに備え、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

一実施形態では、基準面は、少なくとも１つの基準アイコンが表示される画面を含み、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

別の実施形態では、検知ユニットは、基準物体の位置を判定するための第１のセンサと、基準物体の向きを判定する第２のセンサとを備え、ジェスチャは、第１のセンサおよび第２のセンサのうちの１つによって判定される。

一実施形態では、第１のセンサは、基準物体の位置を判定するための電場センサを含み、第２のセンサは、基準物体の向きを判定するための光センサを含む。

一実施形態では、光センサはカメラを含む。
一実施形態では、カメラは、２Ｄカメラ、モノクロカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む。

一実施形態では、カメラは、電場センサの上に位置する領域を撮像するように位置決めされる。

一実施形態では、システムは、電場センサ上または電場センサの周りに少なくとも１つの基準アイコンを投影するプロジェクタをさらに備え、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

一実施形態では、システムは、少なくとも１つの基準アイコンが表示される画面をさらに備え、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応し、電場センサは、画面上に位置決めされる。

一実施形態では、基準物体は、医療施術者の身体部分を含む。
一実施形態では、身体部分は、手および少なくとも１本の指のうちの一方を含む。

一実施形態では、基準物体は、導電性材料および半導体材料のうちの１つから作成される。

一実施形態では、基準物体は、ペン、スタイラス、ボール、リング、およびメスのうちの１つを含む。

一実施形態では、コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する。

一実施形態では、所与の既知のコマンドは、マウスコマンド、フットペダルコマンド、ジョイスティックコマンド、およびキーボードコマンドのうちの１つに対応する。

一実施形態では、医療情報は、医療画像、３Ｄモデル、およびそれらの任意の組み合わせまたはシーケンスを含む。

一実施形態では、医療情報に対するコマンドは、すでに表示されている医療画像の少なくとも１つの特性の変更を引き起こすコマンドを含む。

一実施形態では、少なくとも１つの特性は、形状、サイズ、向き、色、明るさ、テキストおよびコントラストの少なくとも１つを含む。

一実施形態では、コントローラは、医療施術者による所与の選択に応じて、少なくとも１つの仮想アイコンのうちの１つの外観を変更するように適合される。

別の広範な態様によれば、医療施術者が医療情報と相互作用することを可能にするコンピュータ実施方法が提供され、方法は、医療施術者によって検知ユニットと相互作用するために使用される基準物体の位置を検出するステップと、検出される基準物体の位置を使用して医療施術者によって実行されるジェスチャを判定するステップと、受信されるジェスチャに対応する医療情報に対するコマンドを識別し、医療情報を表示ユニットに表示するためにそのコマンドを実行するステップと、基準物体の仮想表現、ならびに、検知ユニットの仮想表現および少なくとも１つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース（ＧＵＩ）を生成するステップであり、ＧＵＩ内の基準物体の仮想表現の位置は、検出される基準物体の位置に応じて選択され少なくとも１つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの１つに対応する、生成するステップと、ＧＵＩを医療情報と共に表示ユニット上に表示するステップとを含む。

一実施形態では、上記ＧＵＩを表示するステップは、医療情報に隣接してＧＵＩを表示することを含む。

一実施形態では、上記ＧＵＩを表示するステップは、コントローラは、ＧＵＩおよび医療情報を同じ表示装置に表示することを含む。

別の実施形態では、上記ＧＵＩを表示するステップは、医療施術者が表示されている医療情報を見るときにＧＵＩが医療施術者の視野にあるように、ＧＵＩおよび医療情報を、互いに隣接して位置決めされている別々の表示装置に表示することを含む。

一実施形態では、この方法は、基準物体の向きを検出するステップをさらに含む。
一実施形態では、上記基準物体の位置および向きを検出するステップは、基準物体の位置および向きを判定し、医療施術者によって実行されるジェスチャを判定するように適合された単一のセンサを使用して実施される。

一実施形態では、上記検出するステップは光センサを使用して行われる。
一実施形態では、上記検出するステップはカメラを使用して行われる。

一実施形態では、上記検出するステップは、３Ｄカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを使用して実施される。

一実施形態では、カメラは、基準面を撮像するように構成される。
一実施形態では、方法は、カメラによって撮像される基準面上に少なくとも１つの基準アイコンを投影するステップをさらに含み、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

一実施形態では、基準面は、少なくとも１つの基準アイコンが表示される画面を含み、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

別の実施形態では、上記基準物体の位置を判定するステップは、第１のセンサを使用して実施され、上記基準物体の向きを判定するステップは、第２のセンサを使用して実施され、ジェスチャは、第１のセンサおよび第２のセンサのうちの１つを使用して判定される。

一実施形態では、第１のセンサは、基準物体の位置を判定するための電場センサを含み、第２のセンサは、基準物体の向きを判定するための光センサを含む。

一実施形態では、光センサはカメラを含む。
一実施形態では、カメラは、２Ｄカメラ、モノクロカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む。

一実施形態では、方法は、電場センサの上に位置する領域を撮像するように、カメラを位置決めするステップをさらに含む。

一実施形態では、方法は、電場センサ上または電場センサの周りに少なくとも１つの基準アイコンを投影するステップをさらに含み、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応する。

一実施形態では、方法は、少なくとも１つの基準アイコンを画面に表示するステップをさらに含み、少なくとも１つの基準アイコンの各々は、少なくとも１つの仮想アイコンのそれぞれに対応し、電場センサは、画面上に位置決めされる。

一実施形態では、基準物体は、医療施術者の身体部分を含む。
一実施形態では、身体部分は、手および少なくとも１本の指のうちの一方を含む。

一実施形態では、基準物体は、導電性材料および半導体材料のうちの１つから作成される。

一実施形態では、基準物体は、ペン、スタイラス、ボール、リング、およびメスのうちの１つを含む。

一実施形態では、コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する。

一実施形態では、所与の既知のコマンドは、マウスコマンド、フットペダルコマンド、ジョイスティックコマンド、およびキーボードコマンドのうちの１つに対応する。

一実施形態では、医療情報は、医療画像、３Ｄモデル、およびそれらの任意の組み合わせまたはシーケンスを含む。

一実施形態では、医療情報に対するコマンドは、すでに表示されている医療画像の少なくとも１つの特性の変更を引き起こすコマンドを含む。

一実施形態では、少なくとも１つの特性は、形状、サイズ、向き、色、明るさ、テキストおよびコントラストの少なくとも１つを含む。

一実施形態では、方法は、医療施術者による所与の選択に応じて、少なくとも１つの仮想アイコンのうちの１つの外観を変更するステップをさらに含む。

以下では、ジェスチャは静的ジェスチャまたは動的ジェスチャとして理解する必要がある。静的ジェスチャは、所与の期間内で実質的に動かない手の特定の構成、位置および／または向きとして定義される。例えば、静的ジェスチャは、拳を閉じて指を１本立てることによって構成することができる。動的ジェスチャは、所与の期間内での手の動きとして定義される。手は、一定であってもよく、または手の動きの間に変化してもよい特定の構成、位置および／または向きを有してもよい。例えば、動的ジェスチャは、他の指が折り畳まれている間に人指し指を回転させることに対応することができる。

本発明のさらなる特徴および利点は、添付の図面と組み合わせて取り上げられる、以下の詳細な説明から明らかになるであろう。

第１の実施形態による、医療情報と相互作用するためのシステムのブロック図である。 第２の実施形態による、医療情報と相互作用するためのシステムのブロック図である。 一実施形態による、電場センサの上または周囲にユーザインターフェースを表示するためのプロジェクタを備える、医療情報と相互作用するシステムを示す図である。 一実施形態による、アイコンを表示するためのディスプレイを組み込まれているセンサを備える、医療情報と相互作用するシステムを示す図である。 一実施形態による、ロボットアームを備える、医療情報にアクセスするためのシステムを示す図である。 一実施形態による、図３のシステムが設置されている手術室、および制御室の概略図である。 一実施形態による、手と、電場センサによって生成される電場との間の相互作用を示す図である。 一実施形態による、電場センサに対する指先の位置を示す図である。 一実施形態によるエアホイールジェスチャを示す図である。 １つの例示的なメニュー画像を示す図である。 一実施形態による、医療施術者によって実行される左スワイプジェスチャを示す図である。 一実施形態による、医療施術者によって実行されるエアホイールジェスチャを示す図である。 一実施形態による、電場センサの無効化を示す図である。 一実施形態による、第１の構成にあるロボットアームに固定された電場センサを示す図である。 一実施形態による、第２の異なる構成にある図９ａのロボットアームを示す図である。 一実施形態による、手と電場センサの表面との間の距離に感応する電場センサとの相互作用を示す図である。 一実施形態による、３Ｄ画像を回転させるための平行移動ジェスチャを示す図である。 一実施形態による、医療施術者が医療データと相互作用することを可能にする方法を示すフローチャートである。 一実施形態による、医療施術者が医療情報と相互作用することを可能にし、医療施術者に視覚フィードバックを提供するためのシステムのブロック図である。 一実施形態による、医療データとともに表示される例示的なグラフィカルユーザインターフェースを示す図である。 一実施形態による、医療画像およびオーバーレイグラフィカルユーザインターフェースの表示を示す図である。 一実施形態による例示的な静的ジェスチャを示す図である。 一実施形態による例示的な指タッピングジェスチャを示す図である。 一実施形態による、医療情報とオーバーレイＧＵＩの両方を表示するための単一の表示装置を備える、医療情報と相互作用するシステムを示す図である。 一実施形態による、医療情報およびＧＵＩを表示するための２つの別個の表示装置を備える、医療情報と相互作用するシステムを示す図である。

添付の図面全体を通して、同様の特徴は同様の参照符号によって識別されることに留意されたい。

本システムおよび方法は、医療施術者が、電場センサ（例えば、限定はしないが容量性近接センサのアレイ）を介して医療情報にアクセス、操作および／または他の様態で相互作用することを可能にする。例えば、医療処置中、医療施術者は、表示された医療情報を制御するために、手または身体のジェスチャ（例えば、無接触ジェスチャ）を使用して電場センサと相互作用することができる。ジェスチャは、医療施術者の手または指のような手の部分の構成、位置および／または動きに基づくことができる。例えば、ジェスチャは、医療施術者の手の少なくとも１本の指の構成、位置および／または動きに基づいてもよい。ジェスチャは、電場センサに対するジェスチャのロケーション／位置（例えば、施術者の手、指または指先のロケーション）に基づいて解釈することができる。ジェスチャは、付加的にまたは代替的に、ジェスチャの構成または動き（例えば、医療施術者の手または指の構成または動き）に基づいてもよい。そのようなジェスチャ位置、動きまたは構成は、電場センサに対するものであり得る。別の実施形態では、施術者は、電場センサと相互作用するために、手の中に導電性材料から作成される物体のような物体を保持してもよい。例えば、医療施術者は、ペン、スタイラス、金属メスなどを保持してもよい。この場合、ジェスチャは、施術者が保持する物体の構成、位置および／または動きに基づくことができる。ジェスチャはまた、施術者が保持する物体の構成、位置および／または動き、ならびに、物体を保持する施術者の手の構成、位置および／または動きに基づいてもよい。

そのようなシステムおよび方法は、医療施術者が、滅菌環境を離脱して手洗い消毒する必要なく、または処置が行われているベッド（ワークステーションが部屋の隅にある場合）を離れる必要なしに、また、滅菌環境の外部にいる技術者と連絡する必要なしに、医療情報またはデータと相互作用することを可能にする。一例として、医療処置中にアクセス、操作および／または他の方法で相互作用される医療情報またはデータは、患者の身体の放射線画像、血管造影画像、または他の形態の画像のような２Ｄまたは３Ｄ医療画像、患者の身体に関連しない医療ビデオ、２Ｄまたは３Ｄ画像、医療処置を受けている患者に関連する情報、処置自体に関する情報などを含むことができる。医療施術者と電場センサとの相互作用の結果として、医療情報が医療施術者に表示される。表示される情報は、２Ｄ／３Ｄ画像、テキスト、ビデオなどを含むことができる。

一実施形態では、システムは、医療施術者に視覚的フィードバックを提供するために、医療施術者に隣接してユーザインターフェースメニュー画像を投影するための投影装置を備えることができる。例えば、ユーザインターフェースメニューは、電場センサに隣接して、または電場センサの周りに投影することができる。

電場センサは、医療施術者によって実行され、電場センサによって検出されるジェスチャを医療データに対するコマンドに変換するように適合されたコントローラと通信している。一実施形態では、コントローラは、表示ユニットまたはモニタディスプレイと通信している。表示ユニットは、医療画像、テキスト、グラフ、図面、グラフィックスなどを含む画像のような画像をレンダリングするように適合されている。表示ユニットはまた、ビデオを表示するために使用することもできる。コントローラによる判定されたコマンドの実行によって、表示ユニット上に医療情報が表示される。例えば、医療施術者によって実行される第１のジェスチャは、所与の医療画像の表示を指令することができ、一方で、第２の異なるジェスチャは、患者の医療ファイルの表示を指令することができる。別の実施形態では、コントローラは、表示ユニットと通信しているコンピュータマシンと通信している。この場合、コントローラは、ディスプレイに画像を表示するためにコマンドを実行するコンピュータマシンにコマンドを送信するように適合されている。

ビデオは一連の画像であること、および、「画像を表示する」という表現は、ビデオの所与の画像またはビデオを表示するものとして理解され得ることを理解されたい。画像はテキストのみを含むことができることも理解されたい。同様に、画像は、テキスト、絵図、写真、図面、表、グラフィックスなどを含むことができる。

本システムが処置の間に使用される実施形態では、そのようなジェスチャの解釈に基づいて、コントローラは、医療施術者に見える画像（または他の情報）を表示ユニットにレンダリングさせることができる。表示される画像は、処置が実行されている患者に関する画像のライブラリからの画像または画像の一部分を含むことができる。そのようなジェスチャの解釈に基づいて、コントローラは、表示画像を操作するか、またはさらなる画像を表示することができる。例えば、そのような操作は、特定の表示画像に対してズームインまたはズームアウトすること、特定の表示画像の表示部分をパンまたは他の様態で動かすこと、特定の表示画像の輝度、コントラストおよび／または色パラメータを調整すること、表示用の新たな画像を選択するために画像のライブラリをスクロールすることなどを含むことができる。

図１ａは、医療施術者が医療情報と相互作用することを可能にするためのシステム１０の一実施形態を示す。システム１０は、少なくとも電場センサまたは電場近接センサ１２と、センサからデータを受信するために電場センサ１２と通信するコントローラ１４とを備える。

電場センサは、所定の電磁場または所定の静電場などの所定の電場を生成し、ジェスチャを検出および識別するために生成された電磁場を測定するように適合される。電場センサが電場を発生させる実施形態において、医療施術者が手および／または物体を使用して電場内でジェスチャを実行するとき、電場センサによって生成された電場は、施術者の手および／または物体の存在によって妨げられ、電場センサが、電場センサ１２によって生成された所定の電場と電場センサ１２によって測定された電場とを比較することによって、電場の変化を検出する。所定の電場と測定された電場との間の変化は、電場内の医療施術者のジェスチャによって引き起こされる歪みに対応する。電場センサ１２は、電場の変化から医療施術者によって実行されたジェスチャを判定し、判定されたジェスチャをコントローラ１４に送信するようにさらに適合される。

任意の適切な電場センサを使用することができることを理解されたい。例えば、容量性近接センサのアレイを含む電場センサを使用することができる。別の例では、電場センサは、電極のアレイを含むことができる。

一実施形態では、電場センサ１２によって出力されるジェスチャは、時間の関数としての、手の所与の点の２Ｄまたは３Ｄ位置などの医療施術者の手の２Ｄまたは３Ｄ位置に対応する。例えば、手の位置は、電場センサ１２に最も近い手の点として定義することができる。例えば、ジェスチャは、指先の２Ｄまたは３Ｄ位置に対応することができる。別の例では、ジェスチャは、複数の指の指先の２Ｄまたは３Ｄ位置に対応することができる。さらなる例では、ジェスチャは、医療施術者によって保持される物体の先端の２Ｄまたは３Ｄ位置に対応し得る。位置は、位置の変化を参照することもできることを理解されたい。

別の実施形態では、電場センサ１２によって出力されるジェスチャは、医療施術者が電場センサ１２によって生成される電場内でジェスチャを実行するときに生じる、判定される電場の変化に対応する。この場合、コントローラ１４は、電場センサ１２から受信される電場の変化から、医療施術者が実行するジェスチャを判定するように適合される。

一実施形態では、電場センサ１２によって出力されるジェスチャは、コントローラ１４に対する離散的な入力に対応する。この場合、医療施術者が行うジェスチャは実質的に静的である。すなわち、医療施術者は、手、指、および／または物体を所与の期間にわたって、電場内の固定位置に位置決めする。例えば、静的ジェスチャは、座標（Ｘ、Ｙ、Ｚ）によって表される位置に対応することができる。別の例では、静的ジェスチャは、（δＸ、δＹ、δＺ）によって表される位置の変化に対応することができる。

別の実施形態では、電場センサ１２によって出力されるジェスチャは、コントローラ１４に対する連続入力に対応する。この場合、医療施術者によって実行されるジェスチャは、連続的または動的である。すなわち、医療施術者は、所与の期間中、手、指、および／または物体を電場内で実質的に連続的に動かす。例えば、連続または動的ジェスチャは、時間の関数としての座標（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））によって表すことができる。

コントローラ１４は、電場センサ１２からジェスチャを受信し、実行すべきコマンドまたは動作を判定するように適合されている。実行されるべきコマンドは医療情報に関連する。コントローラ１４は、実行すべきコマンドを判定するためにデータベースにアクセスする。データベースは、実行されるべきコマンドのセットを備え、各コマンドはそれぞれの所定のジェスチャに関連付けられている。各コマンドは、医療情報、より詳細には、医療情報の表示、修正、および／または選択に関連する。したがって、コントローラ１４は、受信したジェスチャをデータベースに格納された所定のジェスチャと比較することによって、実行されるべきコマンドを取り出すように適合される。受信したジェスチャが所与の所定のジェスチャと一致すると、コントローラ１４は、実行されるべきコマンドを、所与の所定のジェスチャに対応するコマンドであるとして識別する。例えば、第１のコマンドの実行により、患者に関する医療情報を含むテキストが表示され得る。別の例では、第２のコマンドの実行によって医療画像が表示され得る。さらなる例では、第３のコマンドの実行によって、表示された医療画像が回転され得る。さらに別の例では、第４のコマンドの実行により、医療画像が拡大され得る。

電場センサ１２によって出力されるジェスチャが、座標（Ｘ、Ｙ、Ｚ）のような離散位置または座標（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））などの連続位置に対応する実施形態では、データベースは、実行されるべき所定のコマンドのセットを含み、各コマンドは、それぞれの所定の離散位置またはそれぞれの所定の一連の位置に関連付けられる。この場合、コントローラ１４は、受信された位置をデータベースに格納された位置のセットと比較し、実行されるべきコマンドを、受信された位置と一致する所定の位置に関連する所定のコマンドであるとして識別するように構成される。

電場センサ１２によって出力されるジェスチャが電場の変化に対応する実施形態では、データベースは実行されるべき所定のコマンドのセットを含み、各コマンドはそれぞれの所定の電場の変化に関連付けられる。この場合、コントローラ１４は、受信される電場の変化をデータベースに格納された所定の変化電場と比較することによって、実行すべきコマンドを取り出すように適合される。受信された電場の変化が所与の所定の電場の変化に一致するとき、電場の所与の所定の変化に対応するコマンドは、実行されるべきコマンドであるとして識別される。データベースに格納されたコマンドは医療情報に関連している。

一実施形態では、所定のコマンドおよび対応するジェスチャのデータベースは、コントローラ１４上にローカルに格納される。別の実施形態では、所定のコマンドのデータベースは外部に格納され、コントローラはデータベースが格納されているコンピュータマシンと通信している。

図１ａに示すように、コントローラ１４は表示ユニット１６と通信している。表示ユニット１６は、テキスト、グラフ、医療画像などの画像、ビデオを表示するように適合されている。実行されるべきコマンドが識別されると、コントローラはコマンドを実行するように適合される。このコマンドの実行により、表示ユニット１６は医療情報を含む画像または画像の一部分を表示させられる。上述したように、表示される画像は、患者に関する情報などのテキストを含むことができる。別の例では、表示される画像は医療画像に対応することができる。一実施形態では、コントローラ１４は、医療データベースが格納されている少なくとも１つのコンピュータマシンと通信している。医療データベースは、医療画像、医療ビデオ、医療情報（例えば、患者ファイル）などの医療情報を含む。

一実施形態では、システム１０は、ユーザインターフェースメニュー画像または他の有用なグラフィックスを表面上に投影するためのプロジェクタ１８をさらに備える。メニュー画像は、各々がシステム１０の異なる動作モードを表す少なくとも１つのアイコンを含むことができる。一実施形態では、アイコンが電場センサ１２に隣接して位置決めされるように、メニュー画像は、電場センサ１２の上および周囲に投影される。別の実施形態では、メニュー画像は、電場センサ１２から離れて投影されてもよい。一実施形態では、プロジェクタはコントローラ１６から独立している。別の実施形態では、プロジェクタはコントローラ１６と通信し、コントローラ１６によって制御される。この場合、プロジェクタは、電場センサ１２に隣接するアイコンを表す画像を投影することができる。例えば、各アイコンは、システム１０の動作モードを表すことができ、コントローラ１６は、医療施術者に視覚的フィードバックを提供するために、実際の動作モードに対応する所与のアイコンの色を所与の色に設定するように適合することができる。例えば、すべてのアイコンを白色にすることができ、医療施術者が電場センサ１２と相互作用することによって所与の動作モードを選択するとき、コントローラは、プロジェクタを介して、選択された動作モードに対応するアイコンの色を変更する。例えば、選択された動作モードに対応するアイコンの色を黄色に変更することができる。

コントローラ１４は表示ユニット１６に接続され、検出されたジェスチャに従って判定されたコマンドを実行するように適合されているが、図１ｂは、コントローラ２４が、表示ユニット１６に接続されたコンピュータマシン２６にコマンドを送信するように適合されている、医療情報と相互作用するためのシステム２０の一実施形態を示す。この場合、コントローラは、コントローラ１４に関して上述したように、電場センサ１２からジェスチャを受信し、受信したジェスチャに対応するコマンドを判定するように適合される。しかし、コマンドは、その後、表示ユニット１６の医療情報を表示するためにコマンドを実行するように適合されたコンピュータマシン２６に送信される。この場合、コントローラ１６は、電場センサ１２とコンピュータマシン２６との間のインターフェースと考えることができる。コントローラ２４は、電場センサ１２によって検出されたジェスチャを、コンピュータマシンによって知られ、理解されているコマンドに変換するように適合されている。例えば、コントローラ２４は、電場センサ１２によって検出されたジェスチャを、マウスコマンド（左クリックもしくは右クリックまたはダブルクリックなど）またはキーボードコマンドなどの、コンピュータ周辺機器によって生成されるコマンドに変換することができる。コンピュータマシン２６は、その後、コンピュータマシン２６に接続された周辺機器からコマンドを受信したかのように、コントローラ２４から受信したコマンドを実行する。

一実施形態では、システム１０は、患者の医療処置中に使用される。この場合、電場センサ１２、コントローラ１４、表示ユニット１６、および、ある場合はプロジェクタ１８は、処置が行われる殺菌環境内に配置される。コントローラは、非殺菌環境に対応する制御室内に位置する制御室ワークステーションのコンピュータマシンと通信することができる。制御室ワークステーションは、患者に関する医療画像および医療情報が格納されているサーバと通信することができる。コントローラ１４によって識別されたコマンドが医療画像または医療テキストの表示に対応するとき、コントローラ１４は、取り出されるべき医療画像または医療情報を示す要求を制御室ワークステーションに送信する。制御室ワークステーションは、適切なサーバと通信して、コントローラ１４によって要求された情報を取り出す。要求された医療画像または医療テキストを受信すると、制御室ワークステーションは受信したデータをコントローラ１４に送信し、コントローラ１４は受信した医療画像またはテキストを表示ユニット１６に表示するためにローカルに格納する。

図１ｂに示すシステム２０にも同じことが当てはまり得る。この場合、コンピュータマシン２６は、制御室ワークステーション２６に対応することができ、コントローラ２４は、電場センサ１２から受信したジェスチャを、コマンドを実行する制御室ワークステーション２６に送信されるコマンドに変換するように適合される。

以下では、医療施術者が医療処置中に医療情報と相互作用することを可能にする例示的なシステム５０について説明する。

上述したように、システムは、ユーザインターフェースメニュー画像を投影するためのプロジェクタを備えることができる。図２は、電場センサ３１と、コントローラ３２と、コンピュータ３３と、表示ユニット３４と、プロジェクタ３５とを備えるシステム３０の一実施形態を示す。コントローラ３２は、電場センサ３１およびプロジェクタ３５と通信する。プロジェクタ３５は、各々がシステム３０の動作モードを表す４つのアイコン３６ａ、３６ｂ、３６ｃおよび３６ｄを含むユーザインターフェースメニュー画像を投影するように適合されている。電場センサ３１は、医療施術者によって（図示のように）患者の上に、または患者が横たわっているベッドに隣接して位置決めされる。

一実施形態では、コントローラ３２は、以下に説明するように、医療施術者にシステム３０の実際の動作モードに関する視覚フィードバックを提供するために、４つのアイコン３６ａ〜３６ｄの外観を変更するように適合される。例えば、コントローラ３２は、実際の動作モードを表すアイコンの色および／または形状を変更することができる。

図３は、電場センサ３８と、コントローラ３２と、コンピュータ３３と、表示ユニット３４とを備えるシステム３７の一実施形態を示す。電場センサ３８は、その上面に一体化された４つのディスプレイ３９ａ、３９ｂ、３９ｃ、および３９ｄを備えている。コントローラ３２は、各ディスプレイ３９ａ〜３９ｄ上にアイコンを表示するように適合されており、各アイコンは、システムのそれぞれの動作モードを表す。

一実施形態では、コントローラ３２は、医療施術者にシステム３７の実際の動作モードに関する視覚フィードバックを提供するために、ディスプレイ３９ａ〜３９ｄ上に表示されている４つのアイコンの外観を変更するように適合される。例えば、コントローラ３２は、実際の動作モードを表すアイコンの色、輝度、および／または形状を変更することができる。

図４は、医療施術者によって実行される手および身体のジェスチャを検出するように適合された電場センサ５２と、少なくとも２自由度（ＤＯＦ）（図示せず）を有する関節式ロボットアーム５４と、メニュー画像を投影するためのオーバーヘッド光学投影器などの視覚フィードバックシステム（ＶＦＳ）５６と、電場センサ５２の位置を追跡するためのモノクロカメラまたは飛行時間型カメラなどの光学式２Ｄまたは３Ｄ位置追跡装置５８と、コントローラまたは組み込みコンピュータ６０と、医療画像などの医療情報を表示するための表示モニタ６２とを備えるシステム５０を示す。

一実施形態では、システム５０は、図５に示すように、手術室６４内の医療処置中に使用される。一実施形態では、医療施術者は、手術台上の自身の作業空間を、患者の身体に対する医療処置が行われる第１の区画６６と、迅速なアクセスのために様々な医療／手術ツールを配置するように意図されている、手術台の残りの部分に対応する第２の区画６８との２つの部分に分割する。例えば、図４に示すように、手術台上の患者の下半身／脚領域は、電場センサ５２を含むツールの配置に使用されている。電場センサ５２のこのロケーションにより、外科医は、手術台からモニタ６２に表示される医療画像を容易に制御することができる。この配置はまた、隣接する非無菌制御室７２に位置する制御室ワークステーション７０を使用するために医療施術者が手術室を出て、医療処置を続けるために手術室に戻って来る必要をなくすことを可能にする。

一実施形態では、電場センサ５２は、電場センサを１つの手術から別の手術へと使用することができるように、使い捨て滅菌バッグなどの滅菌バッグまたは容器に挿入される。別の実施形態では、電場センサ５２は、使い捨てにされ、手術中に一回使用された後に廃棄されてもよい。

図示した実施形態では、電場センサ５２は、この場合は手術台である受信面上に位置決めされる。動力式ロボットアーム５４は、処置室の天井に固定された第１の端部を有し、手術台は、動力式ロボットアーム５４の下になるように処置室内に配置される。コントローラ６０は、ロボットアーム５４の第２の端部に固定されている。ＶＦＳ５６は、コントローラ６０に隣接してロボットアーム５４に固定される。追跡装置５８は、ＶＦＳ５６に固定されている。

コントローラ６０は、電場センサ５２、ロボットアーム５４、ＶＦＳ５６、および追跡装置５８と通信している。一実施形態では、システム５０は、手術室などの滅菌環境に配置され、コントローラ６０は、滅菌室に隣接する非滅菌制御室に配置されたワークステーションとさらに通信する。ワークステーションは、当該ワークステーションに格納された医療情報を含むことができ、および／または、画像保管通信システム（ＰＡＣＳ）サーバのような、医療情報が格納された少なくとも１つのサーバと通信することができる。

任意の適切な通信方法を使用することができることを理解されたい。例えば、システム５０のいくつかの構成要素間で有線通信が行われてもよく、一方で、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＥｔｈｅｒｎｅｔ（登録商標）通信などの無線通信がシステム５０の他の構成要素間で行われてもよい。

図示された実施形態では、電場センサ５２は、短距離３Ｄ検知のためにその表面上に予め較正された電場エンベロープを生成するように適合された自己完結型矩形パッドである。図６に示すように、生成された電場の中でパッドの上に手などの物体が置かれると、生成される電場に歪みが生じ、生成される電場の一部が地面に分路される。電場センサ５２は、個々に測定される静電容量値の変化を検出することによって、生成される電場中の物体によって誘発される外乱を独立して測定する電極のアレイを含む。電場センサ５２は、電極によって測定される静電容量の変化を用いて、外乱を発生させた物体の２Ｄまたは３Ｄ位置を判定するようにさらに適合されている。例えば、電場センサ５２は、図７に示されるように、センサのベース座標フレームの原点Ｏに対する指先Ｐの３Ｄ位置を計算するように適合されてもよい。電場センサ５２は、判定されたジェスチャ、すなわち判定された位置をコントローラ６０に実質的にリアルタイムで送信するようにさらに適合されている。

コントローラ６０は、判定されたジェスチャを電場センサ５２から受信し、実行すべき対応するコマンドを判定するように適合されている。コントローラ６０は、所定のジェスチャのセットと、各所定のジェスチャに対するそれぞれのコマンドとを含むデータベースにアクセスする。受信されたジェスチャを、データベースに格納された所定のジェスチャのセットと比較することによって、コントローラ６０は、実行されるべき所与の所定のコマンドを識別する。コントローラ６０は、その後、受信したジェスチャに対応するコマンドを実行し、実行されたコマンドの結果もたらされる医療情報を表示モニタ６２に表示する。

一実施形態では、実行されるべきコマンドは、ワークステーションまたはＰＡＣＳサーバに格納された医療情報を必要とする。この場合、コントローラ６０は、非滅菌制御室に位置するワークステーションと通信して医療情報を取得する。受信されると、コントローラ６０は、ワークステーションを介してＰＡＣＳサーバから受信した医療情報を表示するなどの、識別されたコマンドを実行する。この場合、実行されるべきコマンドは、アプリケーションプログラミングインターフェース（ＡＰＩ）メッセージを含むことができる。

別の実施形態では、実行されるべきコマンドは、非滅菌制御室に配置されたワークステーションとの通信を一切必要としない。この場合、コントローラ６０は、識別されたコマンドを単に実行するだけである。この場合、コマンドの例は、すでに表示されている医療画像を拡大すること、すでに表示されている医療画像を回転させることなどを含むことができる。一実施形態では、制御室に位置するワークステーションとの通信を一切必要としないコマンドは、通常、ワークステーション上で実行されるマウスコマンドまたはキーボードコマンドに対応することができる。このような実施形態では、コントローラは、画像を表示するためにその中に組み込まれたディスプレイを備えていてもよい。

上述したように、システム５０は、手術台上などの表面上にメニュー画像を投影するように適合されたＶＦＳ５６を備える。図示の実施形態では、メニュー画像は、電場センサがメニュー画像の実質的に中心にあるアイコンの間に位置決めするように、互いに離間した４つのアイコンを含む。各アイコンは、コントローラ６０の相互作用または動作の異なるモードを表す。コントローラ６０は、ＶＦＳ５６を制御するようにさらに適合される。例えば、コントローラ５６は、医療施術者のために実際の動作モードを識別するために実際の動作モードに対応するアイコンの色を変更し、それによって医療施術者にフィードバックを提供することができる。動作モードの例は、医療施術者が画像をズームインまたはズームアウトすることができるズームモード、医療施術者が画像を動かすことができるモーションモード、医療施術者が一連の画像、画像スライスのシーケンスなどを通じてメニュー内をスクロールすることができるスクロールモード、医療施術者が表示画像の輝度および／またはコントラストを調整することができるウィンドウレベルモード、医療施術者が画像パンニングを行うことを可能にするパンモード、医療施術者が画像または画像セットを切り替えることができる画像変更モード、画像をそのデフォルト構成に変換し戻す画像リセットモードまたはコマンド、所与の順序において一連の画像またはビデオを通じた自動サイクルを開始するための自動再生コマンドまたはモード、コピー、貼り付け、切り取りなどの機能にアクセスすることができるファイル編集モード、少なくとも２つの画像の併合のような画像の操作を行うことができる画像操作モード、容易なナビゲーションのために医療データのセット内の所望の特徴の特定のセットに対応するマーカの配置を行うことができる特徴マーカ配置モードなどを含むことができる。

例えば、ウィンドウレベルモードにあるとき、ｘ軸に沿った手の特定の位置が特定の輝度レベルに対応することができ、ｙ軸に沿った位置がコントラストレベルに影響を及ぼす。画像変更モードにあるとき、医療施術者が３人の異なる患者についてＭＲＩスキャン（各スキャンが一連の画像からなる）を有する場合、ダブルエアタップジェスチャを画像変更コマンドとして使用して３人の異なる患者のスキャンの間をサイクルすることができる。自動再生コマンドにおいて、医療施術者は、例えば、より迅速に、スキャンされている器官の解剖学的構造をより良好に理解するために、ＭＲＩスキャン中の画像セットをアニメーション化およびサイクルすることができる。

画像操作モードにあるとき、エアタップジェスチャを使用して、例えば重ね合わせるために、Ｘ線スキャンおよびＣＴスキャンから２つの画像を選択することができる。選択が完了すると、左スワイプによって、一方の画像を他方の画像の上に置くことができ、それによって、医療施術者は、両方の画像の詳細を同時に観察することができる。特徴マーカ配置モードにあるとき、特徴とは、画像内の特定の静脈の位置または一連の画像内の特定の画像の位置など、画像内の任意の識別文字を指すことができる。例えば、一連の画像をスクロールするとき、医療施術者は画像をマークしてエアタップによって繰り返し参照することができる。以後、医療施術者は、マークされた画像を、以前の画像については左スワイプによって、次の画像については右スワイプによって、それぞれアクセスすることができる。

システム５０が複数の動作モードまたは相互作用モードを含む実施形態では、コントローラ６０は、２つのタイプのジェスチャを識別するように適合することができる。第１のタイプのジェスチャは、所望の動作モードを起動するため、またはある動作モードから別の動作モードに移行するために使用することができる。２つの動作モードが存在する例では、１つのモードから他のモードに移行するために単一のジェスチャを使用することができる。例えば、単一のジェスチャを実行すると、第１のモードから第２のモードに移行することが可能になる。同じジェスチャを２回実行すると、第２のモードから第１のモードに戻ることができる。別の例では、第１のジェスチャを使用して第１のモードを起動することができ、一方で、第２の異なるジェスチャを使用して第２のモードを起動することができる。実行され得る第２のタイプのジェスチャは、所与の動作モードが起動されると、コマンドを起動する。第２のタイプのジェスチャは、第１の種類のジェスチャとは異なってもよい。異なる操作モードにおいて同じジェスチャが使用されてもよい。しかし、異なる動作モードにおいて同じジェスチャによって起動されるコマンドは、異なるコマンドをトリガする。例えば、所与のジェスチャは、ズームモードではズームインを可能にすることができ、同じ所与のジェスチャが、輝度モードでは表示画像の輝度を増加させることができる。代替的に、ジェスチャは、異なる操作モードで同一のジェスチャを使用できないように一意であってもよい。

上述のように、システム５０は、コントローラ６０と通信する位置追跡装置５８をさらに備える。位置追跡システム５８は、物体の存在を検出し、物体の位置を判定するように適合されている。位置追跡システムは、関節式ロボットアーム５４の位置および構成を制御するように適合されたコントローラ６０に物体の位置を送信するようにさらに適合される。一実施形態では、位置追跡システムによって追跡される物体は電場センサ５２である。この場合、コントローラ６０は、電場センサ５２の位置が変更されたときに、ＶＦＳ５６によって投影されるアイコンが電場センサ５２の周囲に位置したままであることを確実にするように適合される。この場合、コントローラ６０は、受信した電場センサ５２の位置を使用し、アイコンが、新たな位置に配置された電場センサの周りに位置決めされることを保証するためのＶＦＳ５６の適切な位置を判定し、ＶＦＳを適切な位置に位置決めするためのロボットアーム５４の構成を判定し、判定された構成に従ってロボットアーム５４の構成を変更するように適合することができる。

一実施形態では、システム５０は、医療施術者に音響フィードバックを提供するために、スピーカをさらに備える。この場合、ＶＦＳ５６は省略されてもよく、されなくてもよい。

一実施形態では、ＶＦＳ５６は、可能な動作モードを表すアイコンを表示するように適合されたディスプレイに置き換えられてもよい。この場合、電場センサ５２は、ディスプレイ上に表示されたアイコンが電場センサ５２の上または周囲に位置するように、ディスプレイに位置決めまたは固定されてもよい。コントローラ６０はこのとき、ディスプレイを制御するように適合される。例えば、コントローラは、アイコンの色および／または形状など、実際の相互作用モードに対応するアイコンの外観を変更し、それによって医療施術者にフィードバックを提供することができる。さらなる実施形態では、その上にアイコンが印刷された受信面を使用して医療施術者を助けることができる。この場合、電場センサ５２は受信面に固定されていてもよいし、単にその上に位置決めされていてもよい。アイコンは、電場センサ５２の周囲に位置決めされるように受信面上に配置される。例えば、受信面は、実質的に剛性のプレート、手術台に置かれる布片などであってもよい。

さらなる実施形態では、ＶＦＳ５６は省略されてもよく、コントローラは、異なる動作モードを表すメニューアイコンを表示ユニット６２に直接表示してもよい。

以下では、コマンドが実行されるようにするために使用することができる、いくつかの例示的なジェスチャが提示される。第１の例示的なジェスチャは、スワイプジェスチャに対応し得る。電場センサ５２の一方の縁部から反対側の縁部まで指先または手を用いて掃引する動作を実行することを、所与のコマンドに関連付けることができる。一実施形態では、４つのスワイプジェスチャをコントローラ６０によって認識することができ、各々を左から右へのスワイプ、右から左へのスワイプ、上から下へのスワイプ、および、下から上へのスワイプの、それぞれのコマンドに関連付けることができる。例えば、上から下へのスワイプを、第１の相互作用モードから第２の相互作用モードに移行することに関連付けることができ、一方、下から上へのスワイプを、第２の動作モードから第１の動作モードに戻ることに関連付けることができる。同じまたは別の例において、左から右へのスワイプを、第１の医療画像から第２の医療画像への移動に関連付けることができ、右から左へのスワイプを、第２の医療画像から第１の医療画像に戻る移動に関連付けることができる。

第２の例示的なジェスチャは、図８に示されるようなエアホイールジェスチャに対応する。医療施術者は、指先または手を用いて、電場センサ５２の表面に実質的に平行な平面内で円運動を行う。この円運動は、その運動方向、すなわち時計回りまたは反時計回りに従って増加または減少するカウンタを提供する。例えば、医療施術者は、表示される画像を選択するためにドロップダウンメニューをスクロールするためにエアホイールジェスチャを使用することができる。

第３の例示的なジェスチャは、エアタップジェスチャに対応することができる。医療施術者が指先を電場センサ５２に向けて降下させ、その後迅速に上げ戻すことによって、エアタップジェスチャが実行される。医療施術者は、エアタップジェスチャを実行している間に、電場センサ５２に接触してもしなくてもよい。エアタップジェスチャは、例えば、マウスの左クリックコマンドに関連付けることができる。

別の例示的なジェスチャは、ダブルエアタップに対応し得る。医療施術者に２回のエアタップを短時間で連続的に実行させることにより、ダブルエアタップが実行される。例えば、ダブルエアタップは、マウスのダブル左クリックと関連付けられるものと同じコマンドに関連付けることができる。エアタップは、電場センサ５２の無接触使用を参照するが、ジェスチャは、電場センサ５２の表面に触れることを含んでもよいことを理解されたい。例えば、電場センサ５２の表面に触れることは、マウスクリックに対応することができる。

図示された実施形態では、ロボットアーム５４に固定されているが、コントローラ６０は、少なくとも電場センサ５２と通信したままである限り、任意の他の適切なロケーションに位置決めすることができることを理解されたい。同様に、電場センサ５２は、手術室内の任意の適切なロケーションに位置決めすることができる。

図９ａは、ＶＦＳ５６などのプロジェクタによって表示され得る１つの例示的なメニュー画像８０を示す。メニュー画像８０は、４つのアイコン８２〜８８を備え、各アイコン８２〜８８は、それぞれの相互作用モードに対応する。メニュー画像８０は、実質的に電場センサ９０の中心に置かれ、それによって、アイコン８２〜８８が電場センサ９０の周りに位置決めされる。その結果、アイコン８２は電場センサ９０の上に配置され、アイコン８４は電場センサ９０の右に配置され、アイコン８６は電場センサ９０の下に配置され、アイコン８８は電場センサ９０の左に配置される。

一実施形態では、所望の相互作用モードに対応するアイコン８２〜８８の方向にスワイプジェスチャを実行することによって、所与の相互作用モードが起動される。例えば、医療施術者は、表示された医療画像にズームインすることを所望する場合があり、アイコン８８は、医療施術者が表示された医療画像にズームインすることを可能にする相互作用モードに関連付けられ得る。この場合、アイコン８８はズームアイコンとして参照される。図９ｂおよび図９ｃは、所望の相互作用モードに対応するアイコンの方向にスワイプを実行することによってズームモードを起動する方法を示す。図示の例では、医療施術者は、ズームアイコン８８によって表されるズーム動作モードを起動するためにスワイプジェスチャを実行する。図９ｂでは、医療施術者は、電場センサ９０の上で電場センサ９０の右端に隣接して手を位置決めし、手を左に、すなわち所望の相互作用モードに対応するズームアイコン８８に向かって移動させることによって左スワイプジェスチャを実行する。左スワイプジェスチャは電場センサ９０によって検出され、判定されたジェスチャを示す信号が電場センサ９０によってコントローラ６０のようなコントローラに送信される。次に、コントローラは、左スワイプジェスチャに対応する相互作用の動作モードを判定し、対応する相互作用モードを起動する。

別の例では、医療施術者は、上スワイプジェスチャ、すなわちアイコン８２に向かって下から上にスワイプジェスチャを実行することによって、パン相互作用モードを起動することができる。パン相互作用モードになると、電場センサ９０の上の２Ｄ平面内で医療施術者の手の位置を変更することによって、画像パンが行われる。

一実施形態では、所与の相互作用モードの起動時に、コントローラは、上で説明したように、起動された相互作用モードに対応するアイコンの外観を変更することによってメニュー画像を変更することができる。

同じまたは別の実施形態では、コントローラは、表示アイコンを追加および／または削除することによって、表示されるメニュー画像を変更することができる。例えば、図９ａに示すように、コントローラは、医療施術者の左スワイプジェスチャに続くズーム相互作用モードの起動時に、投影メニュー画像８０に２つのアイコン９２および９４を追加することができる。図示の実施形態では、アイコン９２および９４は、電場センサ９０上に投影されるようにメニュー画像８０内に位置決めされる。アイコン９２および９４は、医療施術者を、ズーム相互作用モードの間にコントローラと相互作用するように誘導するように設計されている。アイコン９２は、「＋」記号が挿入されている時計回り方向の矢印を表し、これは、時計回りのエアホイールジェスチャを実行して、表示画像内でズームインを行うことができることを医療施術者に示す。アイコン９４は、「−」記号が挿入されている反時計回り方向の矢印を表し、これは、反時計回りのエアホイールジェスチャを実行して、表示画像内でズームアウトを行うことができることを医療施術者に示す。エアホイールを行うために、医療施術者は、図９ｃに示すように、指先を電場センサ９０の方に向け、指先を動かして円形または半円形の動きを実行する。

医療施術者が所望の動作を実行すると、医療施術者は、電場センサ９０から手を離し、所定の期間の後に、図９ｄに示すように、電場センサ９０を停止させる。停止されると、電場センサ９０は、再起動するまで、センサが検出し得る物体の一切の動きを無視する。例えば、電場センサ９０は、手のような物体を所定の期間にわたって、実質的に一定の位置にその表面の上に保持することによって再起動することができる。電場センサ９０を起動または停止させるために、任意の適切なジェスチャを使用することができることを理解されたい。

電場センサの上および周囲にメニュー画像を投影するために、ロボットアームを使用して電場センサの位置に対してプロジェクタの位置を制御する実施形態では、ロボットアームは、電場センサの位置が変化するときに、投影されたメニュー画像を電場センサ上に維持することを可能にする。メニュー画像が実質的に常に電場センサ上に投影されることを保証することに加えて、これは、医療施術者の視界が妨げられることなく、プロジェクタが電場センサの上に実質的に常に位置することをさらに保証し、医療施術者は、表示画像を常に見ることが可能になる。

ロボットアームが存在する実施形態では、電場センサは、図１０ａに示すようにロボットアームに取り付けられてもよい。この場合、電場センサに隣接して位置決めされたディスプレイは、電場センサの周囲にメニューアイコンを表示するために、電場センサを取り囲むことができる。代替的に、メニューアイコンを表示するために、電場センサに隣接してディスプレイを位置決めしてもよい。そのような実施形態では、医療施術者の手の位置などの医療施術者の位置を追跡するために、装置５８などの位置追跡装置が存在してもよく、コントローラは、図１０ｂに示すように、電場センサを医療施術者または医療施術者の手から所与の距離に位置決めするために、ロボットアームの構成を制御するように適合することができる。この場合、電場センサは、常に医療施術者にとって容易にアクセス可能であり得る。

上記の説明は動力式ロボットアームを参照しているが、プロジェクタ、電場センサ、位置追跡装置などを支持するために別のアームまたは構造を利用できることを理解されたい。例えば、手術室の天井に固定された受動的な関節アームを使用することができる。この場合、アームの構成は、医療施術者によって手動で変更されてもよい。この構造はさらに、プロジェクタ、電場センサ、位置追跡装置などを位置決めすることができる回転床テーブルであってもよい。

コマンドがエアホイールジェスチャに関連付けられる実施形態では、エアホイールジェスチャの間に実行される円または半円の直径が、エアホイールジェスチャに関連付けられるコマンドに影響を及ぼし得る。例えば、第１の直径を有するエアホイールジェスチャは、第１の動作が実行されることと関連付けられ得、第２の異なる直径を有する同じエアホイールジェスチャが、第２の異なる動作が実行されることと関連付けられ得る。別の実施形態では、異なる直径のエアホイールジェスチャを実行することにより、実行される同じ動作がトリガされ得るが、その動作の特性は、エアホイールジェスチャの直径に依存する。例えば、ズーム動作またはスクロール動作がエアホイールジェスチャに関連付けられる場合、エアホイールジェスチャの直径が、動作の感度または速度を変化させることができる。例えば、エアホイールジェスチャの間に指が完全に回転する結果として１０枚の画像がスクロールされる場合、エアホイールジェスチャの直径を大きくすることで、指が完全に回転する結果として２０枚の画像がスクロールされる。このような特徴は、実行される動作において、システムに追加の精度および分解能を提供する。

一実施形態では、電場センサは、医療施術者による物体保持または施術者の手の間の距離を判定するように適合され、判定された距離は、識別されたジェスチャと共にコントローラに送信される。この場合、判定された距離が、実行される動作に影響を及ぼすことができる。一実施形態では、電場センサからの第１の距離で実行される所与のジェスチャは、ズームなどの実行されるべき第１の動作に関連付けられてもよく、一方で、電場からの第２の異なる距離で実行される同じジェスチャが、パンなど、実行される異なる動作に関連付けられてもよい。別の実施形態では、電場センサから異なる距離において所与のジェスチャを実行することは、同じ実行されるべき動作に関連付けられ得るが、動作の特性は、図１１に示すように、医療施術者の手と電場センサとの間の距離に応じて変化し得る。一実施形態では、電場センサは、ジェスチャを実行している間に、その上面と施術者の手または施術者によって保持される物体との間の距離を判定し、判定された距離を使用して、実行されるジェスチャに対応する動作の速度を変化させることができる。例えば、医療施術者の手が電場センサから近いほど、対応する動作の速度を遅くすることができる。例えば、医療施術者がズーム相互作用モードを選択した場合、医療施術者は、表示画像をズームインまたはズームアウトするために、電場センサの表面に実質的に平行な平面内でエアホイールジェスチャを実行することができる。エアホイールジェスチャが電場センサの表面の近くで行われる場合、ズームの速度は、電場センサの表面から離れて行われるエアホイールジェスチャに起因するズームの速度よりも遅くなり得る。パンなどの実行されるべき他の動作には、同じまたは逆のことが適用され得る。

一実施形態では、電場センサは、実質的に同時に実行される少なくとも２つの異なるジェスチャを検出するように適合されてもよい。例えば、電場センサは、結合されたジェスチャを検出するために医療施術者による物体保持または施術者の手の同時の平行移動および回転を検出するように適合されてもよい。例えば、電場センサの表面に平行な回転軸に従って手を回転させると、表示画像の回転がトリガされ得、一方、電場の表面に実質的に平行な平面内で手を平行移動またはスワイプすると、表示画像が平行移動され得る。手が同時に平行移動および回転されると、表示画像も同時に回転および平行移動される。

一実施形態では、平行移動ジェスチャは、表示画像を回転させるためのコマンドとして解釈され得る。図１２に示すように、電場センサの所与の軸に沿って手を平行移動させることは、所与の軸を中心とした表示される３Ｄ画像の回転に変換することができる。例えば、手をｘ方向に５ｃｍ、およびｙ方向に１０ｃｍ平行移動させることは、コントローラによって、３Ｄ画像をそれぞれＩｘ軸を中心として１０度回転させること、および３Ｄ画像をＩｙ軸を中心として２０度回転させることと解釈される。

一実施形態では、直感的な慣性が３Ｄジェスチャに加えられてもよい。例えば、あまりにも多大な物理的な努力なしに大規模な一連の画像をスクロールまたはズームイン／アウトするために、エアホイールジェスチャ制御に慣性効果を加えることができる。一実施形態では、３つの別個のモード、すなわち、１）低速モード、２）高速モード、３）慣性モードが存在し得る。

低速モードは、エアホイールジェスチャの速度が所与の閾値を下回ると起動する。このモードでは、施術者からの未処理のエアホイール入力が直接、画像セットの正確な１対１の制御のためにスクロールまたはズームコマンドに変換される。エアホイールが所定の閾値を上回る速度で実行されると、高速モードが起動される。低速スクロールは、施術者が画像セットをフレームごとにナビゲートすることを可能にする。

高速モードでは、医療施術者が所与の閾値よりも速い速度でエアホイールジェスチャを実行する限り、複数の画像セットのスクロールまたは高速ズームが行われる。しかしながら、医療施術者がエアホイールジェスチャを停止すると、低速スクロールモードとは異なり、スクロールまたはズーム動作は停止しない。代わりに、慣性モードが起動される。

慣性モードが起動される前に、医療施術者がエアホイールジェスチャを実行した最新の速度が記録される。記録された速度は、その後、自動エアホイールが慣性スクロールのために受け取る「キック」すなわち初期速度を計算するための入力として使用される。慣性モードが起動されると、ユーザからの入力が受け取られない場合でもシステムはズーム／スクロールを継続するようにされる。円滑にするため慣性モードにおいて弾性ゴムバンド効果がエミュレートされ、この効果において、自動エアホイールは、最初は速く、所定の期間にわたって緩やかに減速して停止に至る。

一実施形態では、上述のように、システムは、電場センサを操作する医療施術者に音響フィードバックを提供するためにコントローラによって制御されるスピーカを備えることができる。音響フィードバックは、医療施術者に、様々なメニューをナビゲートするための容易な参照を提供することができる。特定のジェスチャがコントローラによって首尾よく認識されると、一意のそれぞれの音響キュー（例えば、ビープ音または一連のビープ音）が、システム状態のこの変更を施術者に知らせる。これにより、医療施術者は、表示モニタから一度も目を離す必要なく、電場センサを使用することができる。

一実施形態では、システムは、コントローラに接続されたマイクロフォンを備え、医療施術者は、電場センサによって検出されるジェスチャを介して生成されるコマンドに加えて、マイクロフォンを介して音声コマンドを入力することができる。例えば、医療施術者は、「スクロール」と言って、スクロールモードを起動し、その後、エアホイールジェスチャを使用して画像をスクロールなどすることができる。

図１３は、医療施術者が医療画像などの医療データと相互作用することを可能にする方法１５０の一実施形態を示す。方法１５０は、システム１０，５０を使用して実施されることを理解されたい。

ステップ１５２において、コントローラは待機状態にあり、電場センサによるジェスチャの検出を待つ。ステップ１５４において、コントローラは、ジェスチャが電場ジェスチャによって検出されたか否かを判定する。ジェスチャが検出された場合、コントローラは、ステップ１５６において較正が必要か否かを判定する。一実施形態では、電場センサは、電極から高周波数信号および低周波数信号の両方を受信する。高周波信号は通常、システム内の電気ノイズに対応する。ノイズ対低周波信号比が所定の閾値よりも大きい場合、較正が必要であると判定される。ジェスチャが検出されない場合、ステップ１５８において、ジェスチャが検出されなかった期間の持続時間が持続時間閾値と比較される。ジェスチャが検出されなかった持続時間が持続時間閾値以下である場合、方法はステップ１５２に戻る。ジェスチャが検出されなかった持続時間が持続時間閾値より大きい場合、ステップ１５６が実行される。

コントローラが較正を必要としないと判定した場合、コントローラは電場センサ上にメニュー画像を投影し、ステップ１６０においてリモートワークステーション上でマウスエミュレーションを開始する、すなわちコントローラは対応するジェスチャの検出時にマウスコマンドに対応するコマンドを送信し始める。較正が必要とコントローラが判定した場合、現在のノイズ対信号比の正規化を使用して較正が実行される。

ステップ１６４において、電場センサの位置が、位置追跡装置を用いて追跡される。任意選択的に、投影面がまた、位置追跡装置、またはＩＲ深度カメラ、ステレオカメラシステムなどの他の適切な装置によってスキャンされてもよい。投影画像のスキャンは、投影面の、投影軸に直交していない部分などの、投影面上の任意の不規則性を判定することを可能にする。

ステップ１６６において、コントローラは、プロジェクタを電場センサの上方に位置決めするためにロボットアームを操作する。ステップ１６８において、コントローラは、パースペクティブコレクションのために表示されるべき画像を予め歪ませる。画像を予め歪ませることによって、投影面が不規則性を呈する場合であっても投影画像が正常に見えるように、プロジェクタによって投影される画像を修正することが可能である。

ステップ１７０において、電場センサによってジェスチャが検出されたと判定した場合、コントローラは、電場センサ上にメニュー画像を投影するようにプロジェクタに命令する。ステップ１７２において、コントローラは、検出されたジェスチャを実行することによって医療施術者によって選択された相互作用モードに対応するメニューアイコンを強調表示するようにプロジェクタに命令する。ステップ１７４において、コントローラは、表示される医療画像の所与の操作など、検出されたジェスチャに関連付けられるコマンドを実行する。次に、方法はステップ１５４に戻る。

一実施形態では、ズームモード、パンモードなどのような所与の動作モードを選択するために、いくつかのジェスチャの第１のセットが使用される。所与の動作モードが選択されると、第２のセットのアイコンジェスチャを使用して医療情報と相互作用することができる。一実施形態では、ジェスチャの第１のセットおよび第２のセットは、第１のセットに存在するジェスチャが第２のセットに含まれないように、異なる。別の実施形態では、同じジェスチャが、ジェスチャの第１のセットおよび第２のセットの両方に含まれてもよい。この場合、所与の動作モードを起動するために所与のジェスチャを使用し、所与の動作モードが起動されると、同じジェスチャを使用して、例えばズームインなどの異なる動作を実行することができる。

一実施形態では、プロジェクタは、システムの所与の動作モードに各々対応する第１のセットのメニューアイコンを表示するように適合されてもよい。所与の動作モードが対応するジェスチャを使用して起動されると、プロジェクタは、選択された動作モード内での医療データとのそれぞれの相互作用に各々対応する第２のセットのメニューアイコンを投影するように適合され得る。一実施形態では、所与の動作モードが起動されると、第１のアイコンセットはもはや投影されず、第２のアイコンセットのみが投影される。別の実施形態では、所与の動作モードが起動されると、アイコンの両方のセットが同時に表示される。

以下は、手のひらを下にした水平の手の動きおよび一本指の動きに基づくジェスチャのための例示的な語彙を提供する。

人指し指（Ｆｉｓｔ／Ｆｉｎｇｅｒ）：マウスカーソルを画面上で移動させる。
シングルエアタップ：領域およびシステム状態を反応させる。

ダブルエアタップ：画像をリセットする。
左スワイプ：ズームモードを起動する。

右スワイプ：スクロールモードを起動する。
上スワイプ：パンモードを起動する。１本の指でカーソルを所望のロケーションに移動することによってパンする。

ダウンスワイプ：ウィンドウレベルモードを起動する。表示面が、例えば、各々が予め設定されたウィンドウレベルを表す４つの象限に分割される。特定の象限の上にホバリングすると、所望の画像輝度およびコントラストが選択される。

上記提示された例示的なジェスチャの組み合わせおよび／またはこれらの例示的なジェスチャの変形を使用することができることを理解されたい。

一実施形態では、医療データと相互作用する上述のシステムおよび方法は、外科手術／介入環境の実際の要件および制約に特に注意しながら、無菌環境における医療画像との直感的かつ人間工学的な無接触の相互作用を可能にする。

一実施形態では、電場検知を使用することは、必要な処理能力を大幅に少なくし、その周囲の照明条件とは無関係に動作する。これらの機能により、障害およびエラーのリスクがほとんどなく、対象物を確実に追跡することができる。そのように施術者の手をリアルタイムで確実に追跡することはまた、例えば以下のようないくつかの新規な人間工学的ジェスチャの検出および実施をも可能にする。

一実施形態では、本システムは、医療施術者が、システムが使用される照明条件とは独立して医療情報と相互作用することを可能にする。電場センサの動作は照明条件に依存しないため、例えば暗闇でも医療情報と相互作用することができる。

一実施形態では、本システムおよび方法は、初心者ユーザが迅速にシステムをピックアップして快適性を得ることを容易にする。自然で覚えやすいジェスチャは、新規のユーザの学習曲線を非常に小さくすることを保証する。本システムを使用して数分以内に、医療施術者は、医療画像が表示されるモニタによって見通し線を中断することなく使用するのに十分な快適性を得ることができる。

一実施形態では、電場センサは、非接触式に、または無接触式に使用される。これは、電場センサの表面上に存在し得る任意の汚染物質を転移させる一切の危険性を低減することを可能にする。

一実施形態では、電場センサは、視野が物体によって遮られている場合であっても動作することができる。例えば、電場センサは、手術用ドレープによって覆われていても動作可能である。

上記の説明では、医療施術者によって実行されるジェスチャを検出し、そのジェスチャに従って医療情報のみを表示するために電場センサが使用されているが、以下は、医療施術者に、センサとの相互作用に関する視覚フィードバックをさらに提供するためのシステムを提示する。

図１４は、医療画像などの医療データと相互作用し、医療施術者などのユーザに、システム２００との相互作用に関する視覚フィードバックを提供するシステム２００の一実施形態を示す。システム２００は、少なくとも検知ユニット２０２と、コントローラ２０４と、表示ユニット２０６とを備える。検知ユニット２０２は、システム２００を使用する医療施術者によって実行されるジェスチャを検出するように適合されている。上述のように、医療施術者は、手または物体のうちの１つを使用して、検知ユニット２０２と相互作用することができる。検知ユニット２０２は、手または医療施術者によって使用される物体の位置および向きを検出するようにさらに適合される。

コントローラ２０４は、上述したように、検知ユニット２０２によって検出されるジェスチャに従ってコマンドを実行し、医療情報を表示ユニット２０６に表示するように適合されている。コントローラ２０４は、グラフィカルユーザインターフェース（ＧＵＩ）を生成し、生成されたＧＵＩを、医療データが表示される同じ画面上などの表示ユニット２０６上に表示するようにさらに適合される。ＧＵＩは、医療施術者に、検知ユニット２０２との相互作用に関する視覚フィードバックを提供する。

一実施形態では、ＧＵＩは、各々がそれぞれのジェスチャの検出時に実行されるべきそれぞれのコマンドに対応する少なくとも１つのアイコンを含む。ＧＵＩは、医療施術者が検知ユニット２０２と相互作用するために使用する手または物体を表すためのグラフィックまたは仮想オブジェクトをさらに含む。例えば、グラフィックオブジェクトは矢印に対応することができる。ＧＵＩ内のアイコンに対するグラフィックオブジェクトの位置は、医療施術者が使用する手または物体の位置に応じて選択される。一実施形態において、ＧＵＩ内のアイコンに対するグラフィックオブジェクトの位置は、医療施術者が使用する手または物体の３Ｄ位置に応じて選択される。一実施形態において、ＧＵＩ内のアイコンに対するグラフィックオブジェクトの位置は、検知ユニット２０２に対する、医療施術者が使用する手または物体の位置に応じて選択される。

手または物体の位置を判定することは、手または物体の単一の点の位置を判定することに対応し得ることを理解されたい。例えば、手の位置は、指先の位置を知ることによって判定することができる。別の例では、ペンを保持している手の反対側のペンの端部の位置を知ることで、ペンの位置を判定することができる。

ＧＵＩ内のアイコンに対するグラフィックオブジェクトの向きもまた、検知ユニット２０２に対する、医療施術者が使用する手または物体の向きに応じて選択される。

一実施形態では、外科医が繊細な手術の作業に忙しいとき、医療画像との相互作用は、この繊細な外科手術の流れを妨げてはならない。したがって、外科医は、検知ユニット２０２に対する手の位置を見続けることができず、手と、医療データが表示される表示ユニット２０６との間を行き来することができない。ＧＵＩが、外科医に、手と検知ユニットとの間の相対位置および手の向きの視覚的フィードバックを提供するとき、外科医の注視はディスプレイ上に残り、外科医は、システム２００と相互作用するために、手または検知ユニット２０２を見る必要がない。

一実施形態では、医療施術者によって使用される物体の位置および向きは、グラフィックオブジェクトの位置および向きがＧＵＩ内で実質的にリアルタイムで更新されるように実質的に連続的に監視される。

一実施形態では、ＧＵＩは、以下、グラフィック検知ユニットと呼ばれる検知ユニット２０２のグラフィックまたは仮想表現をさらに備える。この場合、アイコンはＧＵＩ内のグラフィック検知ユニットに対するそれぞれのロケーションに各々位置決めされる。例えば、アイコンは、グラフィック検知ユニットの上またはグラフィック検知ユニットの周りに位置決めすることができる。図１５は、各々がそれぞれの動作モードに対応する４つのアイコン２３２，２３４，２３６および２３８と、グラフィック検知ユニット２４０と、医療施術者の手を提示するための仮想手２４２とを備える例示的なＧＵＩ２３０を示す。アイコン２３２〜２３８の位置およびグラフィック検知ユニットの位置はＧＵＩ２３０内で固定され、一方で、仮想手２４２の位置および向きは、ＧＵＩ内で手の位置および医療施術者の手の向きに応じて調整される。これにより、医療施術者は、手または検知ユニット２０２を見る必要なしに、医療データが表示される表示ユニット２０６だけを見ながら、検知ユニット２０２に対する手の位置を知ることができる。

一実施形態では、コントローラ２０４は、物体認識を使用して、医療施術者が検知ユニット２０２と相互作用するために使用する物体を判定する。この場合、医療施術者によって使用される物体を表すグラフィックオブジェクトは、この物体のグラフィック表現であってもよい。例えば、医療施術者が指のうちの１つを使用して検知ユニット２０２と相互作用する場合、コントローラ２０４は、医療施術者の手を表すために指が突き出た、閉じた拳のグラフィック表現を生成することができる。医療施術者が検知ユニット２０２と相互作用するためにペンを使用する場合、コントローラ２０４は、ペンのグラフィック表現を生成し、このグラフィック表現をＧＵＩ内に表示することができる。一実施形態では、システム２００は、所定の仮想オブジェクトを含むデータベースを備え、コントローラ２０４は、実行された物体認識に従って所定の仮想オブジェクトの所与の１つを選択するように適合される。コントローラ２０４は、現実の物体の形状に一致する形状の仮想オブジェクトであってもよい。

一実施形態では、ＧＵＩは、同じ表示ユニット上の医療データに隣接して表示される。この場合、表示ユニット２０６の画面は、２つの区画、すなわち、医療画像などの医療データを表示するための第１の区画と、ＧＵＩを表示するための第２の区画とに分割することができる。別の実施形態では、ＧＵＩは、図１６に示すように、表示されている医療データ上に表示されるオーバーレイＧＵＩに対応する。

一実施形態では、検知ユニット２０２は、医療施術者によって実行されるジェスチャと、医療データと相互作用するために医療施術者によって使用される物体の空間における位置および方向の両方を判定する単一のセンサを備える。例えば、単一のセンサは、カメラなどの光学センサであってもよい。別の実施形態では、単一のセンサは、ジェスチャ認識ならびに手または物体の位置および向きの判定のための着用可能な慣性測定ユニット（ＩＭＵ）と組み合わされた超音波センサアレイを含むことができる。この場合、医療施術者によって実行されるジェスチャは、カメラによって取得される画像のような、センサによって取得されるデータを使用してコントローラ２０６によって判定される。コントローラ２０４は、その後、ジェスチャに対応するコマンドを判定し、それらのコマンドに従って医療データを表示ユニット２０６に表示する。コントローラ２０４は、表示ユニット２０６上に表示されたＧＵＩ内でシステム２００と相互作用するために使用される物体の仮想表現を表示するようにさらに適合される。この実施形態では、３Ｄカメラ、少なくとも２つのカメラを含むステレオカメラシステム、飛行時間型カメラなどのようなカメラを使用することができる。環境からの光を受け、検出された光を２Ｄまたは３Ｄ情報に解釈してジェスチャならびに物体の手の位置および向きの検出を可能にするように適合された任意の適切な光学センサを使用できることを理解されたい。

一実施形態では、上述のように、アイコンは、カメラによって撮像された基準面上に表示される。例えば、プロジェクタは、上述したように基準面上にアイコンを表示することができる。別の実施形態では、基準面は、アイコンが表示される画面を含むことができる。表示されるアイコンは各々、ＧＵＩに含まれるそれぞれのアイコンに対応する。一実施形態では、ＧＵＩに含まれるアイコン間の相対位置は、基準面上に表示されるアイコン間の相対位置に対応する。

別の実施形態では、検知ユニット２０２は、医療施術者によって実行されるジェスチャ、ならびに医療施術者によって使用される手または物体の位置および向きを判定するために２つの異なるセンサ間の融合を使用する。第１のセンサは、医療施術者によって使用される手または物体の位置を検出するために使用され、一方で、第２のセンサは、手または物体の向きの検出に使用される。例えば、検知ユニット２０２は、位置を検出するための電場センサを備えてもよく、カメラなどの光学センサが、その向きを判定するために手または物体を撮像するために使用される。光センサによって取得された画像から手または物体の向きを判定するための任意の適切な方法を使用することができることを理解されたい。２Ｄカメラ、モノクロカメラ、ステレオカメラ、飛行時間型カメラなどのようなカメラを用いてもよい。ジェスチャは、第１のセンサおよび／または第２のセンサによって検出することができる。一例では、医療施術者が検知ユニット２０２と相互作用するために使用する手または物体の位置は、指先または医療施術者が保持する物体の端部の位置を測定する電場センサによって取得されるデータから判定され、一方で、物体の向きは、カメラによって取得される画像を用いて判定される。ジェスチャは、電場センサおよび／またはカメラを使用して判定することができる。例えば、図１７に示すジェスチャなどの静的ジェスチャは、カメラによって取得される画像を使用して判定することができ、一方で、少なくともいくつかの動的ジェスチャは、電場センサによって取得されるデータを使用して判定することができる。少なくともいくつかの動的ジェスチャはまた、カメラによって取得される画像を使用して判定されてもよいことを理解されたい。

図１８は、適切なカメラによって検出され得る動的ジェスチャの一実施形態を示す。図示した動的ジェスチャは、指タッピングに対応する。指タッピングを実行するために、医療施術者は人差し指を伸ばし、先端を上下に動かしてボタンに対するタップをシミュレートする。医療施術者はまた、ボタンのように「感じる」ように、親指を伸ばして親指で人差し指をタップしてもよい。このような動的ジェスチャは、コントローラ２０４によって、マウスクリックコマンドとして解釈することができる。

カメラが電場センサに関連して使用される場合、カメラは、電場センサまたは、基準物体、例えば、医療施術者の手または医療施術者が使用する物体が存在する、電場センサの上の領域を撮像するように位置決めされることを理解されたい。

一実施形態では、表示ユニット２０６に表示されるＧＵＩのサイズおよび／または位置は調整可能である。例えば、適切なジェスチャを使用して、医療施術者は、ＧＵＩを画面内の別のロケーションに移動させ、ＧＵＩのサイズを増減させ、および／またはＧＵＩの表示を抑制するコマンドを入力することができる。

上記の説明は、医療情報／データとＧＵＩの両方が表示される単一の画面を含む表示ユニットを参照しているが、当業者であれば、表示ユニットは２つ以上の画面を含んでもよいことを理解するであろう。例えば、表示ユニットは、医療画像などの医療情報が表示される第１の画面と、ＧＵＩが表示される第２の別の画面とを含むことができる。この場合、２つの画面間の相対位置および画面の寸法は、医療施術者が表示ユニットの第１の画面に表示された医療情報を見ている間に、第２の画面に表示されたＧＵＩが医療施術者の視野に入るように選択される。これは、医療施術者が第１の画面を見ている間に第２の画面が医療施術者の視野内にあるように、第２の画面を第１の画面に隣接して位置決めすることによって第２の画面を有することによって達成され得る。例えば、第２の画面は、第１の画面と物理的に接触し、第１の画面の下に位置決めされてもよい。第２の画面は、第１の画面よりも小さくなるように選択することができる。

第１の画面および第２の画面は、単一の表示装置の一部であってもよいことを理解されたい。代替的に、第１の画面および第２の画面は各々、表示ユニットが２つの別個の表示装置を備えるように、それぞれの表示装置の一部であってもよい。

図１９は、同じ画面上にＧＵＩおよび医療画像を表示するように適合された例示的なシステム３００を示す。システム３００は、電場センサ３０２と、カメラ３０４と、アイコンを投影するためのプロジェクタ３０６と、コントローラ３１０と、コンピュータマシン３１２と、単一の表示装置３１４とを備える。コントローラ３１０は、電場センサ３０２、カメラ３０４、プロジェクタ３０６およびコンピュータマシン３１２と通信している。

コントローラ３１０は、カメラ３０４から取得した画像を受信し、受信した画像から少なくとも医療施術者の手の向きを判定するように適合されている。コントローラ３１０は、電場センサ３０２から医療施術者の指先の時間的位置を受信し、指先の受信位置から医療施術者によって実行されるジェスチャを判定するようにさらに適合されている。コントローラ３１０は、実質的にリアルタイムでＧＵＩを生成するようにさらに適合される。ＧＵＩは、４つの仮想アイコンと、医療施術者の手の仮想表現とを含む。ＧＵＩ内での手の仮想表現の位置は、電場センサ３０２から受信された指先の位置を使用して判定される。ＧＵＩ内の手の仮想表現の向きは、カメラ３０４から受信される画像から得られる手の判定される方向に従って判定される。

ＧＵＩを作成した後、コントローラ３１０は、表示装置３１４上に医療情報を表示することを担当するコンピュータマシン３１２にＧＵＩを送信する。コントローラ３１０はまた、検出されたジェスチャに対応するコマンドを取り出し、コマンドを実行するコンピュータマシンに任意の検出されたジェスチャを送信することも理解されたい。代替的に、コントローラ３１０は、検出されたジェスチャに対応するコマンドを判定し、次いで、コマンドを実行するコンピュータマシンにコマンドを送信するように適合されてもよい。

図示の実施形態では、コンピュータマシン３１２は、医療画像３１６とオーバーレイＧＵＩ３１８の両方を同じ表示装置３１４に表示するように適合されている。図示された例では、オーバーレイＧＵＩ３１８は、表示装置３１４の画面の右下隅で、医療画像３１６上に表示される。当業者は、他の構成も可能であることを理解するであろう。

医療画像およびＧＵＩを同じ表示装置に表示する結果として、医療施術者が表示装置３１４の画面を見てその上に表示される医療情報を確認している間に、ＧＵＩは医療施術者の視野３２０内に常に存在する。

一実施形態では、ＧＵＩはリアルタイムで更新され、それによって、仮想手の位置および向きは実質的に常に実際の手の位置および向きに対応する。

システム３００は、単一の表示装置３１４を備えるが、図２０は、２つの別個の表示装置を備えるシステム３３０の実施形態を示す。システム３３０は、システム３００に含まれるものと同じカメラ３０４、プロジェクタ３０６、電場センサ３０２およびコントローラ３１０を備える。システム３３０は、コンピュータマシン３３２、第１のまたは主表示装置３３４、および第２のまたは補助表示装置３３６をさらに備える。

コンピュータマシン３３２は、医療画像３１６を第１の表示装置３３４の画面上に表示し、ＧＵＩ３１８を第２の表示装置３３６の画面上に表示するように適合されている。第１の表示装置３３４に対する第２の表示装置３３６の位置は、医療施術者が医療画像３１６を見ている間に、ＧＵＩ３１８が医療施術者の視野３２０に含まれるように選択される。これは、第２のディスプレイ３３６の画面のサイズを適切に選択し、第２の表示装置３３６を第１の表示装置３３４に隣接して位置決めすることによって達成することができる。例えば、第２の表示装置３３６は、第１の表示装置３３４と物理的に接触していてもよい。図２０に示す第１の表示装置３３４と第２の表示装置３３６との間の相対的な位置は単なる例示であることを理解されたい。

医療情報／データおよびＧＵＩを表示するために、任意の適切なタイプの表示装置を使用することができることを理解されたい。例えば、発光ダイオードディスプレイ、液晶ディスプレイなどを使用することができる。

上記の説明では、ＧＵＩは、少なくとも、医療施術者が検知ユニット２０２と相互作用するために使用する物体の仮想表現および少なくとも１つの仮想アイコンを含むが、他の構成も可能であり得ることを理解されたい。例えば、ＧＵＩは、検知ユニット２０２の仮想表現、または、検知ユニット２０２がカメラと電場センサの両方を備える場合は電場センサの仮想表現のような、検知ユニット２０２の要素の仮想表現をさらに含むことができる。別の例では、ＧＵＩは、医療施術者が検知ユニット２０２と相互作用するために使用する物体の仮想表現、および、検知ユニット２０２の仮想表現、または、検知ユニット２０２がカメラと電場センサの両方を備える場合には電場センサの仮想表現のような、検知ユニットの構成要素の仮想表現のみを含んでもよい。この場合、ＧＵＩは仮想アイコンを含まず、検知ユニットの仮想表現に対する物体の仮想表現の位置は、検知ユニット２０２によって判定される物体の位置に従って判定される。

上記の説明では、検知ユニット２０２は、医療施術者が検知ユニット２０２と相互作用するために使用する物体の位置と向きの両方を検出するように適合されているが、検知ユニット２０２は、物体の位置のみを検出するように適合されてもよいことを理解されたい。この場合、ＧＵＩ内の物体の仮想表現の位置は、検知ユニット２０２によって判定される検知ユニット２０２に対する物体の位置を使用して判定され、物体の向きはＧＵＩでは表されない。

ＧＵＩは、検知ユニットが物体の位置のみを検出するように構成されている場合、物体およびアイコンおよび／または検知ユニットの２Ｄ表現に対応することができることを理解されたい。検知ユニットが、検知ユニットに対する物体の位置と向きの両方を判定するように適合される場合、ＧＵＩは、物体の３Ｄ仮想表現を含むことができる。

上記の説明および図では、検知ユニットがベッド上に位置決めされて表現されているが、検知ユニットのこの特定の位置は例示的なものに過ぎず、検知ユニットは、例えばベッドに隣接するテーブル上のような任意の適切な位置に位置決めされてもよいことは理解されたい。一実施形態では、検知ユニットは、医療施術者によって保持され、必要なときにベッド上のような表面上に位置決めされ得る手持ち式装置であってもよい。

上述したシステムの複数の異なる要素を接続するために、有線または無線通信を使用することができることを理解されたい。上述した本発明の実施形態は、単なる例示であることが意図されている。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図されている。

Claims (58)

1. 医療施術者が医療情報と相互作用することを可能にするシステムであって、
   検知ユニットであって、少なくとも、前記医療施術者によって前記検知ユニットと相互作用するために使用される基準物体の位置を検出するための、検知ユニットと、
   前記検知ユニットによって検出される前記基準物体の前記位置を使用して前記医療施術者によって実行されるジェスチャを判定するステップと、
   前記受信されるジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
   前記基準物体の仮想表現、ならびに、前記検知ユニットの仮想表現および少なくとも１つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース（ＧＵＩ）を生成するステップであり、前記ＧＵＩ内の前記基準物体の前記仮想表現の位置は、前記検知ユニットによって検出される前記基準物体の前記位置に応じて選択され、前記少なくとも１つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの１つに対応する、生成するステップと、
   前記ＧＵＩを前記医療情報と共に前記表示ユニット上に表示するステップと
   を行うために、前記検知ユニットと通信する少なくとも１つの制御ユニットと
   を備える、システム。
2. 前記コントローラは、前記医療情報に隣接して前記ＧＵＩを表示するように構成される、請求項１に記載のシステム。
3. 前記コントローラは、前記ＧＵＩおよび前記医療情報を同じ表示装置に表示するように構成される、請求項２に記載のシステム。
4. 前記コントローラは、前記医療施術者が前記表示されている医療情報を見るときに前記ＧＵＩが前記医療施術者の視野にあるように、前記ＧＵＩおよび前記医療情報を、互いに隣接して位置決めされている別々の表示装置に表示するように構成される、請求項２に記載のシステム。
5. 前記検知ユニットは、前記基準物体の向きを検出するようにさらに適合され、前記ＧＵＩ内の前記基準物体の前記仮想表現の向きは、前記検知ユニットによって検出される前記基準物体の前記向きに応じて選択される、請求項１〜４のいずれか一項に記載のシステム。
6. 前記検知ユニットは、前記基準物体の前記位置および前記向きを判定し、前記医療施術者によって実行される前記ジェスチャを判定するように適合されている単一のセンサを含む、請求項５に記載のシステム。
7. 前記単一のセンサは光センサを含む、請求項６に記載のシステム。
8. 前記光センサはカメラを含む、請求項７に記載のシステム。
9. 前記カメラは、３Ｄカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む、請求項８に記載のシステム。
10. 前記カメラは、基準面を撮像するように構成されている、請求項８または９に記載のシステム。
11. 前記カメラによって撮像される前記基準面上に少なくとも１つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項１０に記載のシステム。
12. 前記基準面は、少なくとも１つの基準アイコンが表示される画面を含み、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項１０に記載のシステム。
13. 前記検知ユニットは、前記基準物体の前記位置を判定するための第１のセンサと、前記基準物体の前記向きを判定する第２のセンサとを備え、前記ジェスチャは、前記第１のセンサおよび前記第２のセンサのうちの１つによって判定される、請求項５に記載のシステム。
14. 前記第１のセンサは、前記基準物体の前記位置を判定するための電場センサを含み、前記第２のセンサは、前記基準物体の向きを判定するための光センサを含む、請求項１３に記載のシステム。
15. 前記光センサはカメラを含む、請求項１４に記載のシステム。
16. 前記カメラは、２Ｄカメラ、モノクロカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む、請求項１５に記載のシステム。
17. 前記カメラは、前記電場センサの上に位置する領域を撮像するように位置決めされる、請求項１４〜１６のいずれか一項に記載のシステム。
18. 前記電場センサ上または前記電場センサの周りに少なくとも１つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項１７に記載のシステム。
19. 少なくとも１つの基準アイコンが表示される画面をさらに備え、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応し、前記電場センサは、前記画面上に位置決めされる、請求項１７に記載のシステム。
20. 前記基準物体は、前記医療施術者の身体部分を含む、請求項１〜１９のいずれか一項に記載のシステム。
21. 前記身体部分は、手および少なくとも１本の指のうちの一方を含む、請求項２０に記載のシステム。
22. 前記基準物体は、導電性材料および半導体材料のうちの１つから作成される、請求項２０に記載のシステム。
23. 前記基準物体は、ペン、スタイラス、ボール、リング、およびメスのうちの１つを含む、請求項２０に記載のシステム。
24. 前記コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する、請求項１〜２３のいずれか一項に記載のシステム。
25. 前記所与の既知のコマンドは、マウスコマンド、フットペダルコマンド、ジョイスティックコマンド、およびキーボードコマンドのうちの１つに対応する、請求項２４に記載のシステム。
26. 前記医療情報は、医療画像、３Ｄモデル、およびそれらの任意の組み合わせまたはシーケンスを含む、請求項１〜２５のいずれか一項に記載のシステム。
27. 前記医療情報に対する前記コマンドは、すでに表示されている医療画像の少なくとも１つの特性の変更を引き起こすコマンドを含む、請求項１〜２６のいずれか一項に記載のシステム。
28. 前記少なくとも１つの特性は、形状、サイズ、向き、色、輝度、テキストおよびコントラストの少なくとも１つを含む、請求項２７に記載のシステム。
29. 前記コントローラは、前記医療施術者による所与の選択に応じて、前記少なくとも１つの仮想アイコンのうちの１つの外観を変更するように適合されている、請求項１〜２８のいずれか一項に記載のシステム。
30. 医療施術者が医療情報と相互作用することを可能にするコンピュータ実施方法であって、
    前記医療施術者によって検知ユニットと相互作用するために使用される基準物体の位置を検出するステップと、
    前記検出される基準物体の位置を使用して前記医療施術者によって実行されるジェスチャを判定するステップと、
    前記受信されるジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
    前記基準物体の仮想表現、ならびに、前記検知ユニットの仮想表現および少なくとも１つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース（ＧＵＩ）を生成するステップであり、前記ＧＵＩ内の前記基準物体の前記仮想表現の位置は、前記検出される基準物体の位置に応じて選択され、前記少なくとも１つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの１つに対応する、生成するステップと、
    前記ＧＵＩを前記医療情報と共に前記表示ユニット上に表示するステップと
    を含む、コンピュータ実施方法。
31. 前記ＧＵＩを表示する前記ステップは、前記医療情報に隣接して前記ＧＵＩを表示することを含む、請求項３０に記載のコンピュータ実施方法。
32. 前記ＧＵＩを表示する前記ステップは、前記ＧＵＩおよび前記医療情報を同じ表示装置に表示することを含む、請求項３１に記載のコンピュータ実施方法。
33. 前記表示するステップは、前記医療施術者が前記表示されている医療情報を見るときに前記ＧＵＩが前記医療施術者の視野にあるように、前記ＧＵＩおよび前記医療情報を、互いに隣接して位置決めされている別々の表示装置に表示することを含む、請求項３１に記載のコンピュータ実施方法。
34. 前記基準物体の向きを検出することをさらに含む、請求項３０〜３３のいずれか一項に記載のコンピュータ実施方法。
35. 前記基準物体の前記位置および前記向きを検出する前記ステップは、単一のセンサを用いて実行される、請求項３４に記載のコンピュータ実施方法。
36. 前記検出するステップが、光センサを使用して実行される、請求項３５に記載のコンピュータ実施方法。
37. 前記検出するステップが、カメラを使用して実行される、請求項３６に記載のコンピュータ実施方法。
38. 前記検出するステップは、３Ｄカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを使用して実施される、請求項３７に記載のコンピュータ実施方法。
39. 前記カメラは、基準面を撮像するように構成されている、請求項３７または３８に記載のコンピュータ実施方法。
40. 前記カメラによって撮像される前記基準面上に少なくとも１つの基準アイコンを投影するステップをさらに含み、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項３９に記載のコンピュータ実施方法。
41. 前記基準面は、少なくとも１つの基準アイコンが表示される画面を含み、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項３９に記載のコンピュータ実施方法。
42. 前記基準物体の前記位置を判定する前記ステップは、第１のセンサを使用して実施され、前記基準物体の前記向きを判定するステップは、第２のセンサを使用して実施され、前記ジェスチャは、前記第１のセンサおよび前記第２のセンサのうちの１つを使用して判定される、請求項３５に記載のコンピュータ実施方法。
43. 前記第１のセンサは、前記基準物体の前記位置を判定するための電場センサを含み、前記第２のセンサは、前記基準物体の前記向きを判定するための光センサを含む、請求項４２に記載のコンピュータ実施方法。
44. 前記光センサはカメラを含む、請求項４３に記載のコンピュータ実施方法。
45. 前記カメラは、２Ｄカメラ、モノクロカメラ、ステレオカメラ、および飛行時間型カメラのうちの１つを含む、請求項４４に記載のコンピュータ実施方法。
46. 前記電場センサの上に位置する領域を撮像するように、前記カメラを位置決めするステップをさらに含む、請求項４３〜４５のいずれか一項に記載のコンピュータ実施方法。
47. 前記電場センサ上または前記電場センサの周りに少なくとも１つの基準アイコンを投影するステップをさらに含み、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応する、請求項４６に記載のコンピュータ実施方法。
48. 少なくとも１つの基準アイコンを画面に表示するステップをさらに含み、前記少なくとも１つの基準アイコンの各々は、前記少なくとも１つの仮想アイコンのそれぞれに対応し、前記電場センサは、前記画面上に位置決めされる、請求項４６に記載のコンピュータ実施方法。
49. 前記基準物体は、前記医療施術者の身体部分を含む、請求項３０〜４８のいずれか一項に記載のコンピュータ実施方法。
50. 前記身体部分は、手および少なくとも１本の指のうちの一方を含む、請求項４９に記載のコンピュータ実施方法。
51. 前記基準物体は、導電性材料および半導体材料のうちの１つから作成される、請求項４９に記載のコンピュータ実施方法。
52. 前記基準物体は、ペン、スタイラス、ボール、リング、およびメスのうちの１つを含む、請求項４９に記載のコンピュータ実施方法。
53. 前記コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する、請求項３０〜５２のいずれか一項に記載のコンピュータ実施方法。
54. 前記所与の既知のコマンドは、マウスコマンド、フットペダルコマンド、ジョイスティックコマンド、およびキーボードコマンドのうちの１つに対応する、請求項５３に記載のコンピュータ実施方法。
55. 前記医療情報は、医療画像、３Ｄモデル、およびそれらの任意の組み合わせまたはシーケンスを含む、請求項３０〜５４のいずれか一項に記載のコンピュータ実施方法。
56. 前記医療情報に対する前記コマンドは、すでに表示されている医療画像の少なくとも１つの特性の変更を引き起こすコマンドを含む、請求項３０〜５５のいずれか一項に記載のコンピュータ実施方法。
57. 前記少なくとも１つの特性は、形状、サイズ、向き、色、輝度、テキストおよびコントラストの少なくとも１つを含む、請求項５６に記載のコンピュータ実施方法。
58. 前記医療施術者による所与の選択に応じて、前記少なくとも１つの仮想アイコンのうちの１つの外観を変更するステップをさらに含む、請求項１〜２８のいずれか一項に記載のシステム。