JP2018147054A - 非接触遠隔ポインター制御装置 - Google Patents

Abstract

【課題】自身の装置とは異なる離れた場所にある遠隔表示制御装置の表示画面に表示されているマウス等のポインターの動きを遠隔かつ非接触で制御することができる非接触遠隔ポインター制御装置を提供する。
【解決手段】自身の装置とは異なる離れた場所にある遠隔表示制御装置１０１の表示画面に表示されているポインターの動きを制御する非接触遠隔ポインター制御装置であって、そのポインターを動作させるポインティングデバイス画像をユーザが視認可能な三次元空間に空中画像２として表示させる画像結像プレート２０が表面に設置された筐体１と、三次元空間におけるユーザの手３の動きを検出する３Ｄセンサ３０と、ユーザの手３の動きによるジェスチャー操作を認識する制御ユニット４０と、ジェスチャー操作による信号を遠隔表示制御装置１０１へ送信する他装置ポインター操作情報送信部５０とを備える。
【選択図】図１

Description

この発明は、離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターの動きを遠隔で操作することが可能な非接触遠隔ポインター制御装置に関するものである。

近年では、医療装置のＩＴ化に伴って、患者のＣＴ、ＭＲＩ、ＤＳＡなどの画像や術前シミュレーション画像情報などのデータを、病院内ネットワークなどの医療システムに接続されている手術室内に設置されたコンピュータ（医療画像表示ＰＣ）の表示画面に表示させ、手術中に医師がそのコンピュータ上で患者のデータを閲覧したり確認したり、といった操作をしながら手術をする機会が増えている。

この場合、手術を行う医師（執刀医）によりそのコンピュータのマウス等のポインティングデバイスによるポインターを動かす細かい作業が必要とされるが、手術室内に設置されたコンピュータ（医療画像表示ＰＣ）は、執刀医から見える位置ではあるがすぐ近くではない離れた場所に設置されていることが多く、また、手術中に執刀医がコンピュータのマウス等のポインティングデバイスに触れるのは衛生上の問題があるため、他の医師や看護師に指示を出してその操作を委ねている。

一方、非接触で操作を行う端末装置としては、近年では、パソコン等の入力装置に対して、三次元空間におけるユーザの手の動き、すなわち、ジェスチャーに基づいて、ユーザの非接触操作指令を判別するジェスチャー操作装置が知られている（例えば、特許文献１）。

特開２０１１−２４８６０６号公報 特許第５６６５１４０号公報

ジェスチャーＵＩソリューション「フィンガージェスチャー」、ＮＥＣソリューションイノベータ株式会社、インターネット＜ＵＲＬ：http://www.nec-solutioninnovators.co.jp/sl/finger/＞

しかしながら、手術中にユーザ（執刀医）がコンピュータのマウス等のポインティングデバイスによる操作を、他の医師や看護師に指示を出して行わせる場合には、ユーザ（執刀医）にとって思い通りの操作がスムーズに展開されないこともあり、また、細かい手の動きまで指示することは難しいという課題があったが、手術中に執刀医がコンピュータのマウス等のポインティングデバイスに触れるのは衛生上の問題があるため、結局のところ、他の医師や看護師に指示を出してその操作を委ねているのが現状である。

また、前述のようなジェスチャー操作装置を、非接触操作が必要とされる手術室などの現場に適用することも考えられるが、例えば特許文献１に示すような従来のジェスチャー操作装置では、様々なマウス操作を行うための複数の空中ジェスチャーコマンドを新たに定義し、かつ、操作者がそれを覚えなければ使えないという操作者への負担増加という課題や、空中ジェスチャーを行う際に目標物がないために発生する操作者個人によるジェスチャー動作の差分（個人差）がジェスチャー認識の際の認識誤差となり使い勝手が悪い、という課題が考えられる。

この発明は、上記のような課題を解決するためになされたものであり、離れた場所にある遠隔表示制御装置の表示画面に表示されているマウス等のポインターの動きを遠隔かつ非接触で制御することができる非接触遠隔ポインター制御装置を提供することを目的とする。

上記目的を達成するため、この発明は、自身の装置とは異なる離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターの動きを制御する非接触遠隔ポインター制御装置であって、前記遠隔表示制御装置を使用するユーザに対して表示させて操作させたい対象である前記ポインターを動作させるポインティングデバイス画像を、前記ユーザが視認可能な三次元空間に空中画像として表示させる画像結像プレートが表面に設置された筐体と、前記三次元空間における前記ユーザの手の動きを検出する３Ｄセンサと、前記ポインティングデバイス画像の表示制御を行う画像表示制御部と、前記３Ｄセンサおよび前記画像表示制御部に接続され、前記三次元空間における前記ユーザの手の動きによるジェスチャー操作を認識する、ＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを搭載した制御ユニットと、前記制御ユニットにより認識された前記ユーザの手の動きによるジェスチャー操作による信号を、前記自身の装置とは異なる離れた場所にある遠隔表示制御装置へ送信する他装置ポインター操作情報送信部とを備えることを特徴とする。

この発明の非接触遠隔ポインター制御装置によれば、空中結像された、パソコン等の入力装置１０の内臓ディスプレイ１１に表示されたポインティングデバイス画像を、ユーザがあたかも指先で触って操作するような感覚で非接触操作することにより、離れた場所にある遠隔表示制御装置１０１に表示された情報を閲覧したり確認したりすることが可能である。この結果、ユーザ（手術の執刀医）自身が離れた場所から、かつ、非接触で遠隔表示制御装置１０１を直接操作することができるようになったので、ユーザ（執刀医）にとって思い通りの操作がスムーズに展開される。また、非接触操作であるため衛生面でも問題なく操作することができる。

この発明の実施の形態における非接触遠隔ポインター制御装置の概略構成を示す模式構成図である。 この発明の実施の形態における非接触遠隔ポインター制御装置の外観および内部構成の一例を示す斜視図である。 この発明の実施の形態における非接触遠隔ポインター制御装置の制御ユニットの機能構成を示す機能ブロック図である。 この発明の実施の形態における非接触遠隔ポインター制御装置の制御ユニットの動作を示すフローチャートである。 この発明の実施の形態の非接触遠隔ポインター制御装置において、空中画像に表示されるポインティングデバイス画像として、実マウス画像を採用した場合の表示例を示す図である。 図５に示す実マウス画像が空中画像に表示されている状態で、ユーザの手がそれをジェスチャー操作しようとしている様子を示す斜視図である。 この発明の実施の形態における非接触遠隔ポインター制御装置と、当該装置とは異なる離れた場所にある遠隔表示制御装置と、様々なデータを蓄積しているシステムサーバとによるシステムの全体構成を示す図である。 この発明の実施の形態における非接触遠隔ポインター制御装置の空中画像に表示されている実マウス画像の操作と、自身の装置とは異なる離れた場所にある遠隔表示制御装置のポインターの動きを示す説明図である。 この発明の実施の形態の非接触遠隔ポインター制御装置において、空中画像に表示されるポインティングデバイス画像として、サークルマウス画像を採用した場合の表示例を示す説明図である。

この発明の非接触遠隔ポインター制御装置は、自身の装置とは異なる離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターの動きを制御する非接触遠隔ポインター制御装置であって、ユーザが視認可能な三次元空間における、ユーザの手の動きによるジェスチャー操作機能が搭載されており、そのジェスチャー操作に基づいて、ユーザが離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターを自在に操作して、遠隔表示制御装置で表示される情報を直接目の前で使用しているのと同じように、かつ、非接触で操作することができるものである。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。

実施の形態．
図１は、この発明の実施の形態における非接触遠隔ポインター制御装置の概略構成を示す模式構成図である。この非接触遠隔ポインター制御装置は、自身の装置とは異なる離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターの動きを制御する非接触遠隔ポインター制御装置である。また、図２は、この発明の実施の形態における非接触遠隔ポインター制御装置の外観および内部構成の一例を示す斜視図であり、図２（ａ）が外観の一例を示す斜視図、図２（ｂ）が内部構成の一例を示す斜視図である。

図１および図２に示すように、この非接触遠隔ポインター制御装置は、筐体１を備えるものであり、その筐体１の内部には、パソコン等の入力装置の操作画面であるディスプレイ画像を表示させる液晶表示装置など、ユーザに対して表示させて操作させたい対象である、遠隔表示制御装置のポインターを動作させるポインティングデバイス画像を表示させる内臓ディスプレイ１１が設置されている。

また、筐体１の表面には、内臓ディスプレイ１１によるポインティングデバイス画像をユーザが視認可能な三次元空間に、空中画像２として表示させる画像結像プレート２０が設けられている。すなわち、空中画像２は、ユーザに対して表示させて操作させたい対象である、遠隔表示制御装置のポインターを動作させるポインティングデバイス画像を実像として三次元空間に浮かび上がらせたものである。なお、筐体１の内部に設置された内臓ディスプレイ１１の表示画面は、画像結像プレート２０側を向いていることは言うまでもない。

また、内臓ディスプレイ１１に表示されたポインティングデバイス画像を、ユーザが視認可能な三次元空間に、空中画像２として表示させる画像結像プレート２０としては、例えば、株式会社アスカネットのエアリアルイメージングプレート等の、既に知られている空中結像技術を用いればよいので、ここでは説明を省略する。なお、図中、空中画像２は一点鎖線で表しており、三次元空間に画像が浮かび上がっているものの、向こう側は透過して視認できる状態である。

さらに、筐体１の表面上の画像結像プレート２０が設置されていない位置には、画像結像プレート２０によって三次元空間に表示された空中画像２を操作するユーザの手３の動きを検出する３Ｄセンサ３０を備えている。なお、この３Ｄセンサ３０としては、例えばＴＯＦカメラ（ＴＯＦセンサ）など、三次元空間における位置などを検出できるものであれば、どのようなものであっても構わない。

また、図１，図２においては、筐体１の表面の画像結像プレート２０が設置されていない位置のうち、空中画像２やユーザの手３から遠い側（図中、画像結像プレート２０の左）に、３Ｄセンサ３０を設置した場合を示しているが、筐体１の表面の画像結像プレート２０が設置されていない位置であれば、例えば、空中画像２やユーザの手３から近い側（図中、画像結像プレート２０の右等）に、３Ｄセンサ３０を設置してもよい。

そして、３Ｄセンサ３０に接続された制御ユニット４０を備えており、この制御ユニット４０は、ユーザの手３の動きによる三次元空間におけるジェスチャー操作を検出・認識するものである。なお、制御ユニット４０は、筐体１の内部に設置されていてもよいし、筐体１の外部に設置されていてもよい。

また、パソコン等の入力装置の操作画面であるディスプレイ画像を表示させる液晶表示装置など、ユーザに対して表示させて操作させたい対象であるポインティングデバイス画像の表示制御を行う画像表示制御部１２を備えており、この画像表示制御部１２は、ポインティングデバイス画像を表示させる内臓ディスプレイ１１および制御ユニット４０に接続されている。そして、この実施の形態では、画像表示制御部１２と内臓ディスプレイ１１は、パソコン等の入力装置１０に一体となって組み込まれているものとする（図２および後述する図３参照）。

なお、画像表示制御部１２は、パソコン等の入力装置１０の本体に内蔵され、内臓ディスプレイ１１は、本体とは別体の液晶表示装置などであってもよい。すなわち、この実施の形態では、画像表示制御部１２は、内臓ディスプレイ１１と一体となって（入力装置１０に組み込まれて）筐体１の内部に設置されているが、画像表示制御部１２が内臓ディスプレイ１１と別体の場合には、画像表示制御部１２は、筐体１の内部に設置されていてもよいし、筐体１の外部に設置されていてもよい。

また、制御ユニット４０により検出・認識されたユーザの手３の動きによるジェスチャー操作に基づいて、ユーザが離れた場所にある遠隔表示制御装置１０１の表示画面に表示されている情報に対して、どのようなポインター操作を行いたいのかという情報、すなわち、遠隔表示制御装置１０１におけるポインターの動きを制御する信号を、遠隔表示制御装置１０１へ送信する他装置ポインター操作情報送信部５０を備えている。

この実施の形態では、制御ユニット４０と他装置ポインター操作情報送信部５０は、内臓小型ＰＣなどの一体型の装置として筐体１の内部に設置されているが、別々の装置であってもよく、他装置ポインター操作情報送信部５０についても、筐体１の内部に設置されていてもよいし、筐体１の外部に設置されていてもよい。
なお、他装置ポインター操作情報送信部５０からの信号を離れた場所にある遠隔表示制御装置１０１へ送信する際の通信（図中の破線で示す矢印）は有線であってもよいし、インターネット等による無線によるものであってもよいが、ここでは病院内ネットワーク（ＬＡＮ）を介して接続されるものとする。

図３は、この発明の実施の形態における非接触遠隔ポインター制御装置の制御ユニット４０の機能構成を示す機能ブロック図である。
制御ユニット４０は、空間操作認識部４１と、タッチ操作判別部４２と、操作制御部４３とを備えている。

空間操作認識部４１は、３Ｄセンサ３０によって検出されたユーザの手３の動きに基づいて、ユーザの手３の動きによる三次元空間におけるジェスチャー操作を認識するとともに、３Ｄセンサ３０からユーザの手３までの距離と、３Ｄセンサ３０から空中画像２までの距離との差を算出して、タッチ操作判別部４２へ送信する。

タッチ操作判別部４２は、空間操作認識部４１が算出した、３Ｄセンサ３０からユーザの手３までの距離と３Ｄセンサ３０から空中画像２までの距離との差が、あらかじめ定められた所定の範囲内（例えば、５ｍｍ以内）であるか否かを判断し、所定の範囲内である場合に、空間操作認識部４１により認識されたジェスチャー操作が、空中画像２に対して行われたタッチ操作であると判別し、操作制御部４３へ送信する。

操作制御部４３は、タッチ操作判別部４２によりユーザの手３の動きによるジェスチャー操作が空中画像２に対して行われたタッチ操作であると判別された場合に、ユーザにより空中画像２の元のポインティングデバイス画像に対して、どのようなタッチ操作が行われたかという情報を、画像表示制御部１２および他装置ポインター操作情報送信部５０に送信する。

他装置ポインター操作情報送信部５０は、制御ユニット４０により検出・認識されたユーザの手３の動きによるジェスチャー操作による信号を、ユーザが操作したい離れた場所にある遠隔表示制御装置１０１にＬＡＮ経由で送信する。この際、他装置ポインター操作情報送信部５０が、ジェスチャー操作による信号を遠隔表示制御装置１０１のポインティングデバイス・コマンドに変換して、ＬＡＮ経由で遠隔表示制御装置１０１に送信するようにしてもよいし、遠隔表示制御装置１０１が他装置ポインター操作情報送信部５０から受信したジェスチャー操作による信号を自身のポインティングデバイス・コマンドに変換する機能を備えている場合には、他装置ポインター操作情報送信部５０は、ジェスチャー操作による信号をそのまま遠隔表示制御装置１０１に送信すればよい。

ここで、制御ユニット４０の処理動作について説明する。
図４は、この発明の実施の形態における非接触遠隔ポインター制御装置の制御ユニット４０の動作を示すフローチャートである。
まず初めに、空間操作認識部４１が、３Ｄセンサ３０によって検出されたユーザの手３の動きに基づいて、ユーザの手３の動きによる三次元空間におけるジェスチャー操作を認識し、タッチ操作判別部４２へ送信する（ステップＳＴ１）。

このジェスチャー認識の方法については、既に様々な方法が知られており、例えば、特許文献２に示すような、本願出願人の一によるジェスチャー認識技術を用いればよいが、この発明では、本願出願人の一であるＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを用いるものとする。すなわち、この実施の形態の非接触遠隔ポインター制御装置における制御ユニット４０は、ＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを搭載している。以下の実施の形態においても、同様である。なお、このＮＥＣソリューションイノベータ社製のフィンガージェスチャーについては、公知の技術であるため、ここでは詳細な説明を省略する（非特許文献１参照）。

また、空間操作認識部４１は、３Ｄセンサ３０によって検出されたユーザの手３の動きに基づいて、３Ｄセンサ３０からユーザの手３までの距離と、３Ｄセンサ３０から空中画像２までの距離との差を算出し、タッチ操作判別部４２へ送信する（ステップＳＴ２）。

タッチ操作判別部４２は、空間操作認識部４１により算出された、３Ｄセンサ３０からユーザの手３までの距離と、３Ｄセンサ３０から空中画像２までの距離との差が、あらかじめ定められた所定の範囲内（例えば、５ｍｍ以内）であるか否かを判断し（ステップＳＴ３）、所定の範囲内であると判断した場合（ステップＳＴ３のＹＥＳの場合）に、空間操作認識部４１により認識されたジェスチャー操作が、空中画像２に対して行われたタッチ操作であると判別し、操作制御部４３へ送信する（ステップＳＴ４）。

一方、３Ｄセンサ３０からユーザの手３までの距離と、３Ｄセンサ３０から空中画像２までの距離との差が、あらかじめ定められた所定の範囲内でないと判別された場合（ステップＳＴ３のＮＯの場合）には、ステップＳＴ１へ戻って処理を繰り返す。
なお、ここで用いる「あらかじめ定められた所定の範囲」については、どのユーザによるジェスチャー操作であっても、精度よくその操作指令を判別することができるように、適宜変更が可能である。

そして、操作制御部４３は、タッチ操作判別部４２により、ユーザの手３の動きによるジェスチャー操作が空中画像２に対して行われたタッチ操作であると判別された場合に、ユーザにより空中画像２の元となる画像であるポインティングデバイス画像に対してどのようなタッチ操作が行われたかという情報を、このポインティングデバイス画像を表示させる内臓ディスプレイ１１と接続されているパソコン等の入力装置１０の画像表示制御部１２、および、他装置ポインター操作情報送信部へ送信する（ステップＳＴ５）。

なお、前述のとおり、制御ユニット４０は、本願出願人の一であるＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを搭載しているものであり、図４に示す処理動作は、このＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーにより実現されるものである。

ここで、離れた場所にある遠隔表示制御装置１０１におけるポインターを操作するポインティングデバイスとしては様々なものが考えられるが、この実施の形態では、ポインティングデバイスはマウスであるものとして説明する。また、ポインティングデバイスがマウスである場合に限定した場合であっても、空中画像２に表示させるポインティングデバイス画像としては、様々なものが考えられるが、この実施の形態では、図５に示すような実マウス画像１１１を例として説明する。

図５は、この発明の実施の形態の非接触遠隔ポインター制御装置において、空中画像２に表示されるポインティングデバイス画像として、実マウス画像１１１を採用した場合の表示例を示す図である。また、図６は、図５に示す実マウス画像１１１が空中画像２に表示されている状態で、ユーザの手３がそれをジェスチャー操作しようとしている様子を示す斜視図である。
このように、実マウス画像１１１は、実際のマウス（ポインティングデバイス）と同様の見た目で同様の操作を連想させるＧＵＩ画像である。

図７は、この発明の実施の形態における非接触遠隔ポインター制御装置１００と、当該装置とは異なる離れた場所にある遠隔表示制御装置１０１と、様々なデータを蓄積しているシステムサーバ２００とによるシステムの全体構成を示す図である。
この実施の形態では、医療システムを例に説明する。すなわち、図７におけるシステムサーバ２００は、病院内の（または病院外も含めた）医療システムサーバであり、ネットワーク３００は病院内ネットワーク、遠隔表示制御装置１０１は、手術室に設置されて患者の医療情報を表示させることが可能な医療画像表示ＰＣである。

そして、手術の執刀医である医師は、手術室内ではあるが少し離れた場所にある医療画像表示ＰＣ（遠隔表示制御装置）１０１の医療画像画面を見ながら、医療画像表示ＰＣ（遠隔表示制御装置）１０１のマウスを直接操作しているような感覚で、自身のすぐ近くにある非接触遠隔ポインター制御装置１００を介して非接触で操作することができる。

図８は、この発明の実施の形態における非接触遠隔ポインター制御装置１００の空中画像２に表示されている実マウス画像１１１の操作と、自身の装置とは異なる離れた場所にある遠隔表示制御装置１０１のポインターの動きを示す説明図である。
図８（ａ）は、図５，図６と同様に、ユーザが空中画像２として表示させている実マウス画像１１１を操作していない未操作状態を示している。

図８（ａ）に示すように、このＧＵＩ画像では、マウスの下半分をＭＯＶＥ（移動）エリア、従来のマウス操作を右手で行う際に人差し指が触れる左上位置をＬボタン（左ボタン）エリア、Ｌボタンよりさらに左上に位置するＬＤボタン（左ダブルクリックボタン）エリア、従来のマウス操作を右手で行う際に中指が触れる右上位置をＲボタン（右ボタン）エリア、Ｒボタンよりさらに右上に位置するＲＤボタン（右ダブルクリックボタン）エリア、ＬボタンとＲボタンの間の位置のＣボタン（中央ボタン）エリア、そして、マウスの左下に位置するＷＨＥＥＬ（ホイール）エリアという７つのエリアにわかれている。

図８（ｂ）の斜線部は、ＭＯＶＥエリアの認識領域を示している。そして、ユーザの手３がこのＭＯＶＥエリアにタッチダウンして移動することにより、タッチダウンした空中画像２の座標を中心に手が移動した方向に向かって遠隔表示制御装置１０１のポインター（マウスカーソル）が移動する。

図８（ｃ）の斜線部は、Ｌボタンエリアの認識領域を示している。そして、ユーザの手３がこのＬボタンエリアにタッチダウンして移動することにより、遠隔表示制御装置１０１において、マウスの左ボタンを押しながらドラッグしたのと同じ動作が起こる。また、ユーザの手３がこのＬボタンエリアにタッチダウンして手を移動させずにタッチアップした場合には、遠隔表示制御装置１０１において、マウスの左ボタンをクリックしたのと同じ動作が起こる。

図８（ｄ）の斜線部は、ＬＤボタンエリアの認識領域を示している。そして、ユーザの手３がこのＬＤボタンエリアにタッチダウンして手を移動させずにタッチアップすることにより、遠隔表示制御装置１０１において、マウスの左ボタンをダブルクリックしたのと同じ動作が起こる。

図８（ｅ）の斜線部は、Ｒボタンエリアの認識領域を示している。そして、ユーザの手３がこのＲボタンエリアにタッチダウンして移動することにより、遠隔表示制御装置１０１において、マウスの右ボタンを押しながらドラッグしたのと同じ動作が起こる。また、ユーザの手３がこのＲボタンエリアにタッチダウンして手を移動させずにタッチアップした場合には、遠隔表示制御装置１０１において、マウスの右ボタンをクリックしたのと同じ動作が起こる。

図８（ｆ）の斜線部は、ＲＤボタンエリアの認識領域を示している。そして、ユーザの手３がこのＲＤボタンエリアにタッチダウンして手を移動させずにタッチアップすることにより、遠隔表示制御装置１０１において、マウスの右ボタンをダブルクリックしたのと同じ動作が起こる。

図８（ｇ）の斜線部は、Ｃボタンエリアの認識領域を示している。そして、ユーザの手３がこのＣボタンエリアにタッチダウンして移動することにより、遠隔表示制御装置１０１において、マウスのセンターボタンを押しながらドラッグしたのと同じ動作が起こる。また、ユーザの手３がこのＣボタンエリアにタッチダウンして手を移動させずにタッチアップした場合には、遠隔表示制御装置１０１において、マウスのセンターボタンをクリックしたのと同じ動作が起こる。

図８（ｈ）の斜線部は、ＷＨＥＥＬエリアの認識領域を示している。そして、ユーザの手３がこのＷＨＥＥＬエリアにタッチダウンして上移動（ＵＰの方向へ移動）することにより、遠隔表示制御装置１０１において、マウスのホイールアップと同じ動作が起こる。また、ユーザの手３がこのＷＨＥＥＬエリアにタッチダウンして下移動（ＤＮの方向へ移動）した場合には、遠隔表示制御装置１０１において、マウスのホイールダウンと同じ動作が起こる。

また、図８（ｂ）、（ｃ）、（ｅ）、（ｇ）の斜線部に示す認識領域において、ユーザの手３がタッチダウンして移動することにより、タッチダウンした空中画像２の座標を中心に手が移動した方向に向かって遠隔表示制御装置１０１のポインター（マウスカーソル）が移動する際の移動量は、タッチダウンした空中画像２の座標から手が移動した距離に応じて変化し、距離が短いと遅く、距離が長いと速く移動する。このように、ポインターの可変移動量方式を採用することにより、ポインターの短時間での大きな移動や、時間をかけた微妙な移動が可能となる。なお、図８（ｈ）の斜線部に示すＷＨＥＥＬエリアの認識領域においてのみ、移動量変化はポインターの移動ではなくホイールの回転スピードを変化させる。

このように、非接触遠隔ポインター制御装置１００の空中画像２に表示されるポインティングデバイス画像が、特別なジェスチャー操作画像ではなく、実際のマウス等のポインティングデバイスと同様の操作を連想させるＧＵＩ画像になっているので、直感的に操作方法がわかるため、初めて操作する人にもわかりやすく、スムーズな操作を行うことができる。また、できるだけ少ない操作ステップで、医療画像表示ＰＣ（遠隔表示制御装置）１０１に表示された患者の医療情報について、医療画像表示ＰＣ（遠隔表示制御装置）１０１のマウスを実際に使用しているのと同じように細かい操作も行うことができる。

さらに、無理なジェスチャー（ユーザの手３の形）によるジェスチャー操作ではなく、シンプルで疲れにくい操作であるため、手術中の執刀医（ユーザ）に負担をかけることがなく、手術もポインティングデバイスの操作もスムーズに行うことができる。また、非接触で操作を行うことができるため、衛生上の問題もない。

また、執刀医（ユーザ）自身の手３による操作に連動して、医療画像表示ＰＣ（遠隔表示制御装置）１０１の画面上のカーソルが移動するので、その画面を見ながら操作するだけで、執刀医（ユーザ）は自身の操作のフィードバックを得ることができる。なお、操作音を出力したり、振動などの触覚により、ユーザにフィードバックを与えるようにしてもよい。

このように、この実施の形態の非接触遠隔ポインター制御装置１００によれば、空中結像された、パソコン等の入力装置１０の内臓ディスプレイ１１に表示されたポインティングデバイス画像を、ユーザがあたかも指先で触って操作するような感覚で非接触操作することにより、離れた場所にある遠隔表示制御装置１０１に表示された情報を閲覧したり確認したりすることが可能である。この結果、ユーザ（手術の執刀医）自身が離れた場所から、かつ、非接触で遠隔表示制御装置１０１を直接操作することができるようになったので、ユーザ（執刀医）にとって思い通りの操作がスムーズに展開される。また、非接触操作であるため衛生面でも問題なく操作することができる。

なお、この実施の形態では、離れた場所にある遠隔表示制御装置は１台であるものとして説明したが、例えば遠隔表示制御装置が５台（１０１〜１０５）ある場合であっても、非接触遠隔ポインター制御装置１００が信号のやりとりをする遠隔表示制御装置を切り替えることにより、非接触遠隔ポインター制御装置１００の空中画像２に表示されたポインティングデバイス画像を介して、遠隔表示制御装置１０１〜１０５のいずれの表示画面のポインター操作も行うことができる。

また、図９は、この発明の実施の形態の非接触遠隔ポインター制御装置１００において、空中画像２に表示されるポインティングデバイス画像として、図５，図６，図８に示すような実マウス画像１１１に代えて、サークルマウス画像を採用した場合の表示画面例を示す説明図である。

図９（ａ）は、ユーザの手３が空中画像２にタッチした際に表示される第１のメニュー画面であり、空中画像２のタッチ箇所にユーザの手３（指先）を中心としたサークル形状の６つのエリアからなる第１のメニュー画面が表示される。

この図９（ａ）に示す例では、右上から時計回りに、マウスのＲボタン（右ボタン）を押しながら移動させるＲ Ｄｒａｇエリア、Ｃボタン（センターボタン）を押しながら移動させるＣ Ｄｒａｇエリア、ＬＲ Ｄｒａｇエリア、ホイール移動させるＷｈｅｅｌエリア、ＣｕｓｏｒＭｏｖｅエリア、マウスのＬボタン（左ボタン）を押しながら移動させるＬ Ｄｒａｇエリアが表示されている。

この第１のメニュー画面が表示されている状態で、指先フリックでいずれかのエリアを選択し、ポインターの動作モードを決定する。ここで指先フリックとは、タッチダウンした指先をタッチダウンしたまま素早く任意の方向に移動させ戻す動作のことであり、ポインターを移動させる動きとは区別されるものである。そして、任意のエリアに指先フリックを行った後、指先をゆっくり動かすことによりポインターを移動させる。任意の場所にポインターを移動させた後、指先の移動を止めて一定時間（例えば、１秒）以上、指先を静止すると、その指先を中心としたサークル形状の６つのエリアからなる第２のメニュー画面（図９（ｂ））が表示される。

この図９（ｂ）に示す例では、右上から時計回りに、マウスのＲボタン（右ボタン）をクリックするＲ Ｃｌｉｃｋエリア、Ｒボタン（右ボタン）をダブルクリックするＲ Ｄ−Ｃｌｉｃｋエリア、Ｃボタン（センターボタン）をクリックするＣ Ｃｌｉｃｋエリア、何も割り当てられていないＮｏＡｃｔｉｏｎのエリア、マウスのＬボタン（左ボタン）をダブルクリックするＬ Ｄ−Ｃｌｉｃｋエリア、Ｌボタン（左ボタン）をクリックするＬ Ｃｌｉｃｋエリアが表示されている。

この第２のメニュー画面が表示されている状態で、指先フリックでいずれかのエリアを選択し、ポインターのクリック指示を決定することにより、１アクションの操作が完了する。

例えば、図９（ａ）に示す第１のメニュー画面が表示されている状態で、図中の左方向（時計の９時方向）に指先をフリックすると、ＣｕｒｓｏｒＭｏｖｅモードが選択され、その後ゆっくり指先を動かせば、ポインターＭＯＶＥの動作になる。そして、任意の場所にポインターを移動させたあと、一定時間（例えば、１秒）以上、指先の移動を止めて静止すると、図９（ｂ）に示す第２のメニュー画面が表示される。その後、例えば図中の左上方向（時計の１１時方向）に指先をフリックして指先を抜くか、フリックしながら指先を抜くと、Ｌ Ｃｌｉｃｋ指示が選択され、ポインターの位置で左クリックが発生する。

このように、非接触遠隔ポインター制御装置１００において、空中画像２に表示されるポインティングデバイス画像として、図９に示すようなサークルマウス画像を採用することにより、１アクションを一連の操作で実行することができるため、スピーディに操作することが可能である。また、指先を中心にメニュー画面が表示されるため、非接触遠隔ポインター制御装置１００における空中画像２に表示されたポインティングデバイス画像を見なくても、離れた場所にある遠隔表示制御装置１０１の表示画面を見ながら操作を完結することができる。

なお、この実施の形態では、非接触遠隔ポインター制御装置１００の空中画像２に表示されるポインティングデバイス画像として、従来のマウス等のポインティングデバイスと同様の見た目で同様の操作を連想させるＧＵＩ画像である実マウス画像１１１（図５，図６,図８参照）を採用する場合、および、図９に示すようなサークルマウス画像を採用する場合を例に説明したが、画像を見てマウス操作を連想でき、かつ、マウスを操作しているのと同じような感覚で使用できて、ユーザにとって操作方法がわかりやすいものであれば、他のＧＵＩ画像であってもよい。

また、この実施の形態では、遠隔表示制御装置１０１で使用するポインティングデバイスとしてマウスを想定しているが、マウス以外のポインティングデバイスを想定する場合には、実マウス画像１１１に代えて、その実際のポインティングデバイスと同様の見た目で同様の操作を連想させるＧＵＩ画像をポインティングデバイス画像とすればよい。

また、この実施の形態では、この発明の非接触遠隔ポインター制御装置１００を医療システムに適用する場合を例に説明したが、このように衛生上の問題により非接触で操作する必要がある医療システムや食品システム、工場のシステム、汚れている現場におけるシステムなど、他の作業をしながら非接触で情報を閲覧したり確認したりする必要がある分野であれば、どのようなシステムにも適用できるものである。

以上のように、この実施の形態の非接触遠隔ポインター制御装置によれば、空中結像された、パソコン等の入力装置１０の内臓ディスプレイ１１に表示されたポインティングデバイス画像を、ユーザがあたかも指先で触って操作するような感覚で非接触操作することにより、離れた場所にある遠隔表示制御装置１０１に表示された情報を閲覧したり確認したりすることが可能である。この結果、ユーザ（手術の執刀医）自身が離れた場所から、かつ、非接触で遠隔表示制御装置１０１を直接操作することができるようになったので、ユーザ（執刀医）にとって思い通りの操作がスムーズに展開される。また、非接触操作であるため衛生面でも問題なく操作することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ 筐体
２ 空中画像
３ ユーザの手
１０ 入力装置
１１ 内臓ディスプレイ
１２ 画像表示制御部
２０ 画像結像プレート
３０ ３Ｄセンサ
４０ 制御ユニット
４１ 空間操作認識部
４２ タッチ操作判別部
４３ 操作制御部
５０ 他装置ポインター操作情報送信部
１００ 非接触遠隔ポインター制御装置
１０１〜１０５ 遠隔表示制御装置（医療画像表示ＰＣ）
１１１ 実マウス画像
２００ システムサーバ（医療システムサーバ）
３００ ネットワーク（病院内ネットワーク）

Claims (3)

1. 自身の装置とは異なる離れた場所にある遠隔表示制御装置の表示画面に表示されているポインターの動きを制御する非接触遠隔ポインター制御装置であって、
   前記遠隔表示制御装置を使用するユーザに対して表示させて操作させたい対象である前記ポインターを動作させるポインティングデバイス画像を、前記ユーザが視認可能な三次元空間に空中画像として表示させる画像結像プレートが表面に設置された筐体と、
   前記三次元空間における前記ユーザの手の動きを検出する３Ｄセンサと、
   前記ポインティングデバイス画像の表示制御を行う画像表示制御部と、
   前記３Ｄセンサおよび前記画像表示制御部に接続され、前記三次元空間における前記ユーザの手の動きによるジェスチャー操作を認識する、ＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを搭載した制御ユニットと、
   前記制御ユニットにより認識された前記ユーザの手の動きによるジェスチャー操作による信号を、前記自身の装置とは異なる離れた場所にある遠隔表示制御装置へ送信する他装置ポインター操作情報送信部と、
   を備えることを特徴とする非接触遠隔ポインター制御装置。
2. 前記ＮＥＣソリューションイノベータ株式会社製のフィンガージェスチャーを搭載した制御ユニットは、前記３Ｄセンサにより検出された前記三次元空間における前記ユーザの手の動きに基づいて、前記ユーザの手の動きによるジェスチャー操作を認識するとともに、前記３Ｄセンサから前記ユーザの手までの距離と、前記３Ｄセンサから前記空中画像までの距離との差が、あらかじめ定められた所定の範囲内であるか否かを判断し、前記所定の範囲内であると判断した場合に、前記認識されたジェスチャー操作が前記空中画像に対して行われたタッチ操作であると判別し、前記ユーザにより前記空中画像の元となる前記ポインティングデバイス画像に対してどのようなタッチ操作が行われたかという情報を、前記画像表示制御部および前記他装置ポインター操作情報送信部に送信する
   ことを特徴とする請求項１記載の非接触遠隔ポインター制御装置。
3. 前記ポインティングデバイス画像は、実際のポインティングデバイスと同様の見た目で同様の操作を連想させるＧＵＩ画像である
   ことを特徴とする請求項１または請求項２記載の非接触遠隔ポインター制御装置。
   

Images