JP2016095634A - 空中タッチパネルおよびこれを備えた手術用シミュレータ表示システム - Google Patents

Abstract

【課題】操作者の利便性を向上させた空中タッチパネルを提供する。
【解決手段】空中タッチパネル９、発光性を有する画像１０ａを表示する表示部４と、表示部４の画像１０ａを入力し画像１０ａと少なくとも一部が同一の画像１０ｂを第１空間Ｓ１に結像する結像部５と、画像１０ｂが表示される第１空間Ｓ１内の物体の位置を認識可能に設けられた光学式の位置入力部と、を備えている。位置入力部は、画像１０ｂが表示される第１空間Ｓ１よりも前方に配置された第２空間Ｓ２に対して入力が可能である。
【選択図】図３

Description

本発明は、例えば、医療用の操作パネルとして用いられる空中タッチパネルおよびこれを用いた手術用シミュレータ表示システムに関するものである。

従来の空中タッチパネルは、発光性を有する第１の画像を表示する表示器と、表示器の第１の画像を入力し第１の画像と少なくとも要部が同一の第２の画像を第１空間に結像する結像部と、第２の画像Ｂが表示される第１空間に配置された光学式の位置入力部とを備えていた（下記特許文献１）。
また、手術用シミュレータ装置は、シミュレータ画像を生成する制御装置と、この制御装置を操作する手段として、マウス、またはキーボードを用いていた（下記特許文献２、特許文献３）。

特開２０１４−６７０７１号公報 国際公開ＷＯ１３／１４５７３０号公報 特開２０１３−２０２３１３号公報

上記従来例における課題は、操作者の利便性が低いことであった。
すなわち、上記従来例においては、パネルに非接触なままで、操作が可能なので、衛生面においては効果が高い。しかし、入力する位置が、結像した画像上に配置されていた。このため、操作者に対してパネル位置が遠い場合には、操作者は、遠い位置で操作する必要があり、操作者の利便性が低かった。
そこで本発明は、操作者の利便性を高めた空中タッチパネルおよびこれを用いた手術用シミュレータ表示システムを提供することを目的とするものである。

そしてこの目的を達成するために本発明は、表示部と、結像部と、位置入力部と、を備えている。表示部は、発光性を有する第１の画像を表示する。結像部は、表示部に第１の画像を入力し、第１の画像と少なくとも一部が同一の第２の画像を第１空間に結像させる。位置入力部は、第２の画像が表示される第１空間内の物体の位置を認識する。位置入力部は、第２の画像が表示される第１空間よりも前方に形成された第２空間において入力可能である。

以上のように、本発明は、パネルよりも操作者に近い位置において入力が可能となるので、操作者の利便性を高めることができる。

本発明の一実施形態に係る空中タッチパネルを含む手術用シミュレータ表示システムが設置された手術室を示す図。 図１の手術用シミュレータ表示システムに含まれる空中タッチパネルを示す斜視図。 図２の空中タッチパネルの付加機能について説明する斜視図。 図２の空中タッチパネルの操作画面を示す図。 図２の空中タッチパネルの操作画面を示す図。 図２の空中タッチパネルの操作画面を示す図。 図２の空中タッチパネルの位置入力部を示す図。 図２の空中タッチパネルの制御ブロック図。 本発明の他の実施形態に係る手術用シミュレータ表示システムの制御ブロック図。 本発明のさらに他の実施形態に係る空中タッチパネルの制御ブロック図。

以下、本発明の一実施形態に係る医療用の空中タッチパネルを含む手術用シミュレータ表示システム１について、添付図面を用いて説明する。
（実施の形態１）
手術用シミュレータ表示システム１は、手術の前に、実際の外科的手術の一連のプロセスを、バーチャルリアリティに体験することを可能とするシステムである。
手術用シミュレータ表示システム１は、例えば、Ｘ線ＣＴ画像や核磁気共鳴画像（ＭＲＩ画像）、ＰＥＴ（陽電子放射断層法）によって取得された画像等の断層画像情報に基づいて、手術する部位の３次元画像を生成する。そして、手術用シミュレータ表示システム１では、この３次元画像をディスプレイに表示する。これにより、表示された３次元画像を、マウス等の入力装置を用いて任意の角度に表示させながら、手術プロセスのシミュレーションを実施することができる（詳しくは、上記特許文献１，２参照）。

手術用シミュレータ表示システムは、主に、手術前に使用されるものであるが、近年は、手術中においても、ポイント毎での手術プロセスの確認を行うために、逐次使用したいという病院関係からの要望が増えてきている。
そして、手術中は、術用手袋を着用した状態での操作になるため、通常のマウスやキーボードなどの接触型の入力装置を用いての操作は、衛生面の点から見ても好ましくない。
そこで、本実施形態の手術用シミュレータ表示システム１では、操作入力装置として、非接触で入力操作が可能な空中タッチパネル９を採用している。
図１では、本実施形態の空中タッチパネル９として、手術現場において、手術用シミュレータ表示システム１の空中タッチパネルを使用している。
手術の執刀医２は、手術中に、そのプロセスの再確認を行うために、手術用シミュレータ表示システム１に、手術前に予め記録しておいた手術プロセスの映像を映し出す操作を行う。この操作は、操作入力装置としての空中タッチパネル９によって結像させた空中の画面（結像画像３）において行われる。

結像画像３は、手術用シミュレータ表示システム１内に設けられた表示部４の表示画像を、空中結像パネル（結像部）５を介して、空間に平面画像として結像するものである。
執刀医２は、結像画像３上に表示された操作アイコンに手をかざすことで、結像画像３上に映し出された手術用シミュレータ画像を操作することができる。
結像画像３が映される第１空間Ｓ１には、物理的なものは存在していない。このため、執刀医２は、術用手袋を装着した状態においても、ものに触れることなく、手術用シミュレータ画像を操作することができる。この結果、手術中における執刀医２の衛生上の問題を解消することができる。
＜空中タッチパネル９の付加機能：操作入力部の切り替え機能＞
図２に、本実施形態の空中タッチパネル９の斜視図を示す。

空中タッチパネル９は、図２に示すように、表示部４と、結像部としての空中結像パネル５と、光学式の位置入力部２４（図８参照）と、を備えている。
表示部４は、発光性を有する画像１０ａを表示する。
空中結像パネル５は、表示部４の画像１０ａを入力し、画像１０ａと少なくとも一部が同一の画像１０ｂを第１空間Ｓ１に結像する。
位置入力部２４は、画像１０ｂが表示される第１空間Ｓ１に配置されている。画像１０ｂは、手術用シミュレーション画像を操作する操作画面１１を含む。
このような構成においては、操作者（執刀医２等）は、第１空間Ｓ１に結像した画像１０ｂに手をかざすことで、位置入力部２４が手の位置と操作画面１１との位置関係を算出する。

ここで、位置入力部２４は、操作者の手が操作画面１１の位置にあると判断した場合には、操作入力信号を生成し、制御部２３（図８参照）へと送信する。
このような構成とすることで、手術用シミュレーションの操作者（例えば、手術の執刀医２）は、術用手袋を装着した状態においても、ものに触れることなく、手術用シミュレータ画像を操作することができる。
ここで、手術現場においては、手術の邪魔になるために、執刀医２の周辺に機器類を設置することは難しいという制約がある。
このような環境下においては、手術現場におけるレイアウトの制約上、手術の執刀医２に対して、空中タッチパネル９の画像１０ｂの位置が遠すぎる場合がある。この場合には、空中タッチパネル９に執刀医２の手が届きにくいため、その操作が困難になるおそれがある。

図３に、空中タッチパネル９の付加機能として、操作入力位置の切り替え機能を備えた構成を示す。
空中タッチパネル９の位置入力部２４は、図３に示すように、画像１０ｂが表示される第１空間Ｓ１よりも前方に形成される第２空間Ｓ２に配置される。
この入力位置の切り替えは、画像１０ｂの操作画面１１に設けられたスイッチ１２を操作することによって行われる。具体的には、スイッチ１２の操作によって、位置入力部２４によって設定される入力位置を、第１空間Ｓ１に形成された画像１０ｂ上から、画像１０ｂよりも執刀医２側の前方に形成される第２空間Ｓ２に設定された操作面１３に切り替えることができる。
第２空間Ｓ２は、画像１０ｂが表示された第１空間Ｓ１よりも前方、すなわち執刀医２（操作者）に近い側の空間を示す。

第２空間Ｓ２に設定された操作面１３は、画像１０ｂよりも前方空間内に位置している。このため、執刀医２は、空中タッチパネル９が手の届かない遠い位置に配置されている場合でも、空中タッチパネル９よりも手前の位置において、操作面１３に手が届く。このため、手術現場のレイアウトの制約に関わらず、執刀医２（操作者）の利便性を向上させることができる。
＜空中タッチパネル９の付加機能：操作入力位置の通知機能＞
上記構成においては、第２空間Ｓ２に設定された操作面１３は、結像されていないので、目視することはできない。そして、操作面１３は、画像１０ｂ上に結像された操作画面１１を前方に平行移動した位置に配置されている。
したがって、執刀医２（操作者）は、第１空間Ｓ１の画像１０ｂ上に結像された操作画面１１の位置を確認しながら、その前方方向、すなわち、執刀医２から見て手前側に手を平行移動した位置で、感覚的に自分の手と操作面１３との位置決めを行う必要がある。この場合には、目視で、どの程度手前側に手を動かせばよいのか確認が難しいものになる。

そこで、本実施形態では、第１空間Ｓ１の画像１０ｂ上に結像された操作画面１１上に、第２空間Ｓ２における操作面１３の位置を通知・誘導するナビゲーション表示を行う。
図４（ａ）、図４（ｂ）および図４（ｃ）に、操作画面１１上におけるナビゲーション表示を示す。
図４（ａ）、図４（ｂ）、図４（ｃ）は、表示部４の画像１０ａに表示され、第２空間Ｓ２の操作面１３に対する操作者の手の位置を通知・誘導するナビゲーション表示の一例を示したものである。
図４（ｃ）に示すマーカ１４ｃは、操作者の手の位置が、第２空間Ｓ２における操作面１３と奥行き方向において交わった状態を示している。この場合には、マーカ１４ｃは、はっきりと表示される。

一方、図４（ａ）および図４（ｂ）に示すマーカ１４ａ，１４ｂは、操作者の手の位置が、第２空間Ｓ２における操作面１３よりも奥行き方向にずれた位置にある状態を示している。この場合には、マーカ１４のぼかし程度によって、ずれの程度を示すことができるつまり、操作面１３からの手の位置のずれが大きくなると、マーカ１４は、ぼかしの程度が大きくなるように表示される。
次に、図５に、ナビゲーション表示の別例を示す。
図５のナビゲーション表示は、横軸のメータ形式のグラフ表示に対するマーカ１５の位置を表示することによって、操作者の手の位置と、第２空間Ｓ２における操作面１３との奥行き方向のずれ程度を示している。
ここで、図５に示すように、マーカ１５がメータ形式のグラフの中央に表示されている場合には、ずれがない状態を示している。

一方、中央よりも左側にマーカ１５がある場合は、操作者の手の位置が操作面１３に対して手前側（操作者側）にある状態を示している。さらに、中央よりも右側にマーカ１５がある場合は、操作者の手の位置が操作面１３に対して奥側にある状態を示している。
さらに、本実施形態では、図６に示すように、マーカ１６は、画面上のどの位置に、操作者の手の位置があるのかについて、画面のＸ−Ｙ平面に表示することによって、奥行き方向の位置だけではなく、Ｘ−Ｙ平面上の位置も通知することが可能となる。
このような表示を行うことで、操作者は、自分の手の位置と操作面１３との位置関係を、Ｘ−Ｙ−Ｚの３次元的にずれを修正することが可能となる。よって、さらに操作者の利便性を高めることができる。
例えば、第１空間Ｓ１の画像１０ｂ上の操作画面１１を操作する場合には、操作者が画面１０ｂに対して正対した位置から画面１０ｂを見る場合は操作しやすい。しかし、操作者が、パネル画像に正対していない状態で、画像１０ｂに対して視野角を超えて見えにくい状態で操作する場合には、操作者の手が、画像１０ｂに対してどの位置にいるか認識しにくい。このため、甲のような状態では、誤操作をする場合があり、操作者の利便性が低かった。

本実施形態の空中タッチパネル９は、このような状態においても、画像１０ｂに表示されたナビゲーション表示を見ながら、操作者の手の位置を操作画面上に位置決めすることができる。よって、操作者の利便性を高めることができる。
また、本実施形態の空中タッチパネル９は、これらナビゲーション表示を含んだ映像信号を外部に出力する出力部２５（図８参照）を備えている。
このため、外部に設けられた表示装置に対してナビゲーション画面を表示させることができる。よって、空中タッチパネル９の画面を見なくても、外部の表示装置に表示されたナビゲーション画面を見ながら、操作を行うことができる。
より具体的には、執刀医２が、画像１０ｂに対して、画像１０ｂを目視することができない位置、すなわち、目視不可能な視野角外の位置から画像１０ｂ上の操作画面１１を操作しなければならない場合でも、執刀医２は、ナビゲーション表示が表示された外部表示装置を見ながら、画像１０ｂ上の操作画面１１の操作を行うことができる。よって、操作者の利便性が更に向上させることができる。

本実施形態の空中タッチパネル９によれば、以上のように、ナビゲーション画面に従って操作することで、操作者の手の位置（マーカ１４ａ〜１４ｃ等）が画面上のどこにあるか認識しながら操作を行うことができる。そして、ナビゲーション画面に対する奥行き方向についても、画像１０ｂ上に結像された操作画面１１に対して、どの程度、手を移動させれば、第２空間Ｓ２における操作面１３上に来るか容易に認識することができる。よって、操作者の利便性をさらに向上させることができる。
また、ナビゲーション表示は、図２に示す空中タッチパネル９の使用状態においても表示することができる。第１空間Ｓ１の画像１０ｂ上に結像された操作画面１１の位置に手を動かす際に、画像１０ｂに対して、執刀医２が正対しないで視野角度の範囲内の位置から操作する場合には、操作画面１１の位置に手を動かすことが、正対した場合に比べて難しい。

このような場合には、画像１０ｂ上に表示されたナビゲーション画面を見ながら、操作画面１１の位置に手を動かすことができるので、操作者の利便性が更に向上する。
＜位置入力部１７の構成＞
図７に、本実施形態の空中タッチパネル９の位置入力部１７を示す。
位置入力部１７では、ＴＯＦ方式（Time Of Flighｔ）のセンサが用いられている。センサの光源部１８（ＬＥＤ等）からは、近赤外線の光が照射される。そして、この光が測定対象である執刀医２の手２ａに当たり、その反射光が受光部１９において検出される。
受光部１９では、この反射光の位相遅れの程度を計測することで、執刀医２の手２ａが３次元空間のどの位置にあるのかを認識することができる。
また、本実施形態では、位置入力部１７は、２つのモードを有している。

第１のモードは、第１空間Ｓ１にある測定対象の位置を認識するモードである。第１のモードは、第１空間Ｓ１に結像した画像１０ｂに対する執刀医２の手２ａの位置を認識し、画像１０ｂ上に配置された操作面と執刀医２の手２ａとの位置関係から、操作面に触れたかどうかを認識するために用いられる。
第２のモードは、第１空間Ｓ１よりも前側、つまり操作者（例えば、執刀医２）に近い位置にある第２空間Ｓ２内の測定対象の位置を認識するモードである。第２のモードは、第２空間Ｓ２に配置された操作面１３と執刀医２の手２ａとの位置関係から、執刀医２の手２ａが操作面１３に触れたかどうかを認識するために用いられる。
ここで、第１のモードから第２のモードへの切り替えは、操作画面１１に設けられたスイッチ１２が操作されることによって行われる。反対に、第２のモードから第１のモードへの切り替えについても同様に、操作画面１１に設けられたスイッチ１２が操作されることによって行われる。

また、第２空間Ｓ２に設けられた操作面１３は、画像１０ｂ上に結像された操作画面１１を前方に平行移動した位置になる。このため、執刀医２は、画像１０ｂ上に結像された操作画面１１の位置を確認しながら、その前方方向、すなわち執刀医２から見て手前側に手２ａを平行移動した位置にある所定の位置に手２ａを位置させることで、第２のモードから第１のモードへの切り替えを行うことができる。
位置入力部１７では、光源部１８から測定対象までの距離について、上述した２つのモードによって切り替えている。
具体的には、第１のモードでは、測定対象が第１空間Ｓ１にある場合について、測定対象から光源部１８までの距離を認識するように設定される。そして、第２のモードでは、測定対象が第２空間Ｓ２にある場合について、測定対象から光源部１８までの距離を認識するように設定される。

＜空中タッチパネル９の制御ブロック＞
図８に、本実施形態の空中タッチパネル９の制御ブロック図を示す。
入力部２０は、表示部４に表示するための映像情報を入力する。なお、この映像情報には、操作画面情報が含まれている。
表示部４は、この映像情報を表示する。表示部４において光学的に表示された映像は、結像部２２によって、空間に結像画面として表示される。
制御部２３は、入力部２０から受け取った操作画面情報と、位置入力部２４からの操作者の操作状態（例えば、結像画面に対する操作者の手の位置）と、を比較しながら、操作画面が操作されたか否かを判断する。そして、制御部２３は、その比較結果を出力部２５から外部の表示装置等に出力する。また、制御部２３では、結像画面に対する操作者の手の位置を認識しながら、ナビゲーション画面を表示部４に表示させる。

制御部２３では、第１空間Ｓ１の結像画面である画像１０ｂ、あるいは第２空間Ｓ２の操作面１３と、両方の２つの空間Ｓ１，Ｓ２から対象物の位置情報（例えば、操作者の手の位置）と、を認識することができる。
また、制御部２３が誤って認識することがないように、対象物の位置を認識する位置として、第１空間Ｓ１の結像画面である画像１０ｂと、あるいは、第２空間Ｓ２の操作面１３との間で切り替えて使用することもできる。切り替える場合は、制御部２３は、位置入力部２４からの操作情報に応じて、位置入力部２４のモードを切り替える。
また、上述したように、出力部２５からは、表示部４に表示される映像情報を外部の表示装置等に出力可能である。
以上のように、本実施形態の空中タッチパネル９は、発光性を有する画像１０ａを表示する表示部４と、表示部４の画像１０ａを入力し画像１０ａと少なくとも一部が同一の画像１０ｂを第１空間Ｓ１に結像する結像部２２と、画像１０ｂが表示される第１空間Ｓ１内の物体を認識可能に設けられた光学式の位置入力部２４と、を備えている。位置入力部２４は、画像１０ｂが表示される第１空間Ｓ１よりも前方に配置された第２空間Ｓ２に対して入力が可能である。

これにより、操作者の利便性を高めた空中タッチパネルを提供することができる。
すなわち、本実施形態の空中タッチパネル９では、パネルよりも操作者に近い位置で入力操作が可能となるので、操作者の利便性を高めることができる。
また、本実施形態の空中タッチパネル９は、発光性を有する画像１０ａを表示する表示部４と、表示部４の画像１０ａを入力し画像１０ａと少なくとも一部が同一の画像１０ｂを第１空間Ｓ１に結像する結像部２２と、画像１０ｂが表示される第１空間Ｓ１内の物体を認識可能に設けられた光学式の位置入力部２４と、を備えている。位置入力部２４は、第１空間Ｓ１での入力位置を通知するナビゲーション表示を生成し、このナビゲーション表示を含む映像信号を表示部４に表示させる。これにより、操作者の利便性を高めることができる。

すなわち、本実施形態の空中タッチパネル９は、操作者が、画像１０ｂに正対せずに画像１０ｂに対して視野角外の見えにくい状態で操作する場合でも、ナビゲーション表示を見ながら、手を操作画面上に位置決めすることができる。これにより、操作者の利便性を高めることができる。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、図１に示すように、空中タッチパネル９において、表示部６に手術用シミュレーション画像を操作表示画像と重ねて表示する構成とした。しかし、本発明はこれに限定されるものではない。

例えば、図９に示すように、表示部６を、操作入力部８とは別に設け、制御部７によって手術用シミュレーション画像を表示部６に映し出す構成としてもよい。
図９に、手術用シミュレータ表示システム１００の制御ブロック図を示す。
手術用シミュレータ表示システム１００は、手術用シミュレーション画像を表示する表示部６と、表示部６に表示するためのシミュレーション映像を生成する制御部７と、制御部７に対して使用者からの操作入力を伝える操作入力部８と、によって構成されている。
なお、制御部７は、操作入力部８に表示するための操作表示画像を生成する機能も備えている。
これにより、上記実施形態で説明した構成と同様の効果を得ることができる。
（Ｂ）
上記実施形態では、図４と図６の表示の組み合わせ、あるいは図５と図６の表示の組み合わせによって、操作面１３と実際の操作者の手の位置とのずれを表示し、Ｘ−Ｙ−Ｚの３次元的にずれを修正する構成を例に挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、３次元的にずれの程度を表示する構成は必須ではなく、図４または図５に示す奥行き方向におけるずれの程度だけを表示して、ずれの修正を行う構成であってもよい。
（Ｃ）
上記実施形態では、操作面１３と操作者の手の位置とのずれを、マーカ１４ａ〜１４ｃのぼかしの程度やグラフによって示す例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、操作者の手の位置と操作面との位置関係を色によって表現してもよい。具体的には、マーカが黄色の場合は、まだ操作面上に手が位置していないという表示とし、マーカが緑色に変わった場合は、操作面上に手が位置しているという表示としてもよい。
（Ｄ）
上記実施形態では、操作面１３と操作者の手の位置とのずれを、マーカ１４ａ〜１４ｃのぼかしの程度やグラフを用いて視覚的に示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、操作者の手の位置と、操作画面との位置関係を音によって表現してもよい。具体的には、操作面から離れている場合は、“ピッピッピ”という断続音とし、操作面に近づくにつれて断続音の速度を上げ、操作面上に重なった時に“ピー”という連続音に変化してもよい。
このような音による通知を行う空中タッチパネル５９は、図８に示す構成に加えて、図１０に示すように、音声出力部６０をさらに備えていればよい。
（Ｅ）
上記実施形態では、空中タッチパネル９におけるナビゲーション表示は、第２空間Ｓ２内にある操作面１３を基準とし、操作者の手の位置との位置関係に基づいて表示する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、第１空間Ｓ１に結像された画像１０ｂを基準として、操作者の手との位置関係を示すように表示制御されてもよい。
あるいは、例えば、第１空間Ｓ１における操作画面１１を基準とし、操作者の手の位置との位置関係に基づいて、認識・誘導する表示であってもよい。
（Ｆ）
上記実施形態では、第１の画像としての画像１０ａと、第２の画像としての画像１０ｂとが、少なくとも一部が同一である例を挙げて説明したが、例えば、第１の画像と第２の画像とが完全に一致する状態で表示されていてもよい。
（Ｇ）
上記実施形態では、光学式の位置入力部２４を用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、光学式以外にも、位置入力部として、操作者の手の位置を認識可能な各種手段を用いてもよい。

以上のように本発明に係る空中タッチパネルは、入力がパネルよりも操作者に近い位置で可能となるので、操作者の利便性を高めることができるという効果を奏するものであることから、空中タッチパネルを操作入力手段として用いる手術用シミュレータ表示システム等に対して広く適用可能である。

１ 手術用シミュレータ表示システム
２ 執刀医
２ａ 手
３ 結像画像
４ 表示部
５ 空中結像パネル（結像部）
６ 表示部
７ 制御部
８ 操作入力部
９ 空中タッチパネル
１０ａ 画像（第１の画像）
１０ｂ 画像（第２の画像）
１１ 操作画面
１２ スイッチ
１３ 操作面
１４ａ，１４ｂ，１４ｃ マーカ
１５ マーカ
１６ マーカ
１７ 位置入力部
１８ 光源部
１９ 受光部
２０ 入力部
２２ 結像部
２３ 制御部
２４ 位置入力部
２５ 出力部
５９ 空中タッチパネル
６０ 音声出力部
１００ 手術用シミュレータ表示システム

Claims (10)

1. 発光性を有する第１の画像を表示する表示部と、
   前記表示部に第１の画像を入力し、前記第１の画像と少なくとも一部が同一の第２の画像を第１空間に結像させる結像部と、
   前記第２の画像が表示される前記第１空間内の物体の位置を認識する位置入力部と、
   を備え、
   前記位置入力部は、前記第２の画像が表示される前記第１空間よりも前方に形成された第２空間において入力可能である、
   空中タッチパネル。
2. 前記位置入力部は、前記第１空間と前記第２空間とで入力先を切り替えるスイッチを有している、
   請求項１に記載の空中タッチパネル。
3. 前記スイッチは、前記第１空間に結像された前記第２の画像に表示される、
   請求項２に記載の空中タッチパネル。
4. 前記位置入力部は、前記第２の画像に前記第２空間における操作者の手の位置を通知するナビゲーション表示を行う、
   請求項１から３のいずれか１つに記載の空中タッチパネル。
5. 前記ナビゲーション表示は、表示画像のぼかしの程度を変更することによって通知する、
   請求項４に記載の空中タッチパネル。
6. 前記ナビゲーション表示は、表示画像の色を変更することによって通知する、
   請求項４に記載の空中タッチパネル。
7. 前記ナビゲーション表示は、表示画像のグラフ表示によって通知する、
   請求項４に記載の空中タッチパネル。
8. 前記ナビゲーション表示として音による通知を行う音声出力部を、さらに備えている、
   請求項４に記載の空中タッチパネル。
9. 前記第２の画像は、手術用シミュレーション画像を操作する操作画面を含む、
   請求項１から８のいずれか１つに記載の空中タッチパネル。
10. 請求項９に記載の空中タッチパネルと、
    前記手術用シミュレーション画像を生成する制御装置と、
    を備えた手術用シミュレータ表示システム。

Images