JP2016189120A - 情報処理装置、情報処理システム、及び頭部装着ディスプレイ - Google Patents

Abstract

【課題】医療行為中における頭部装着ディスプレイの操作を可能にする情報処理装置を提供する。【解決手段】装着者の眼前部を覆う頭部装着ディスプレイに設けられた検出部により検出された外界の物体と頭部装着ディスプレイとの距離に応じて、物体に基づく装着者のジェスチャの解析を実行するか否かを決定する処理部を備える、情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、情報処理システム、及び頭部装着ディスプレイに関する。

ユーザが装着して使用するウェアラブル端末の１つとして、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、頭部装着ディスプレイ；以下「ＨＭＤ」とする。）がある。ＨＭＤは、ユーザの頭部に装着して使用する表示装置であり、近年、ＡＶ機器やコンピュータゲーム等の表示装置の他、作業環境において作業しながらユーザが情報を確認するための表示装置としても使用されている。

例えば、医療現場において、内視鏡の映像を映し出すための表示装置としてＨＭＤが使用されている。術者は、ＨＭＤを装着し、ＨＭＤに映し出された映像を見ながら手術を行う。これまで内視鏡の映像は術者の近くに設置されたモニタに表示されるのが一般的であったため、術者はモニタと患部との間で視線を頻繁に動かす必要があった。内視鏡の映像をＨＭＤに映し出すことにより、術者は視線を大きく動かすことなくＨＭＤの表示部に表示された内視鏡の映像と患部とを確認することが可能となる。

ここで、ＨＭＤの操作は、例えばＨＭＤ本体に設けられた操作部からの入力や、音声入力、視線入力等により行われる。医療現場においては、ＨＭＤを非接触で操作可能であり、作業の妨げにもなりにくいことから、視線による操作入力が採用されている。視線による操作入力は、ＨＭＤの視線検出機能を有効とすることで実施できるが、常に視線が検出されていると、表示領域に表示されている視線位置を示すカーソルが視界を妨げたり、意図しない操作が実行されたりすることもある。そこで、例えば特許文献１では、ユーザのジェスチャ等により、視線検出機能を中断、再開し、ユーザの意思にしたがってカーソルを制御するインタフェースを備える装置が提案されている。

特開２００１−１００９０３号公報

しかし、特許文献１に記載の技術を医療現場でＨＭＤを使用する際に適用した場合、装着者以外の人（例えば、助手等）の動きや、周囲の器具等が検出され、装着者が意図しない処理を実行させてしまい、手術等の医療行為の進行を妨げる可能性がある。また、ジェスチャによる視線検出機能のオンオフの切り替えの際に、滅菌されていない不潔物であるＨＭＤに触れてしまう可能性もある。

そこで、本開示では、医療行為中における頭部装着ディスプレイの操作を可能にする、新規かつ改良された情報処理装置、情報処理システム、及び頭部装着ディスプレイを提案する。

本開示によれば、装着者の眼前部を覆う頭部装着ディスプレイに設けられた検出部により検出された外界の物体と頭部装着ディスプレイとの距離に応じて、物体に基づく装着者のジェスチャの解析を実行するか否かを決定する処理部を備える、情報処理装置が提供される。

また、本開示によれば、装着者の眼前部を覆う頭部装着ディスプレイに設けられ、外界の物体を検出する検出部と、頭部装着ディスプレイに設けられ、装着者に対して情報を提示する表示部と、検出部により検出された外界の物体と頭部装着ディスプレイとの距離に応じて、物体に基づく装着者のジェスチャの解析を実行するか否かを決定する処理部と、を備える、情報処理システムが提供される。

さらに、本開示によれば、外界の物体を検出する第１の検出部と、装着者に対して情報を提示する表示部と、装着者の視線を検出する第２の検出部と、を、装着者の眼前部を覆う本体部に備え、第２の検出部は、第１の検出部による検出結果に基づいてジェスチャ検出領域内で行われた装着者のジェスチャを解析し、解析したジェスチャに基づき所定の処理の実行可否を判定する情報処理装置の判定結果を受けて起動される、頭部装着ディスプレイが提供される。

以上説明したように本開示によれば、医療行為中における頭部装着ディスプレイの操作が可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

ＨＭＤを用いて内視鏡手術を行う様子を示す説明図である。 本開示の一実施形態に係るＨＭＤのジェスチャ検出機能について説明する説明図である。 同実施形態に係る情報処理システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。 同実施形態に係るジェスチャ判定処理を示すフローチャートである。 ジェスチャ検出領域を説明するための説明図である。 視線検出機能が機能されたときの初期表示状態を示す説明図である。 ＰＩＰオブジェクトが選択されたときの表示状態を示す説明図である。 ＦＬＩＰオブジェクトが選択されたときの表示状態を示す説明図である。 インプットオブジェクトが選択されたときの表示状態を示す説明図である。 カメラモードオブジェクトが選択された状態を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．構成
２．１．ＨＭＤ
２．２．プロセッサユニット
３．表示制御処理
３．１．ジェスチャ判定処理
３．２．視線による操作
４．まとめ

＜１．概要＞
まず、図１及び図２を参照して、本開示の一実施形態に係る情報処理装置により制御されるＨＭＤ１００のジェスチャ検出機能について説明する。なお、図１は、ＨＭＤ１００を用いて内視鏡手術を行う様子を示す説明図である。図２は、本実施形態に係るＨＭＤ１００のジェスチャ検出機能について説明する説明図である。

術者がＨＭＤ１００を装着して行う内視鏡手術では、例えば図１に示すように、ＨＭＤ１００の表示部には内視鏡装置により撮像された患部の様子の画像３００ａが表示され、術者は、表示された画像３００ａを視認しながら手術する。術者は、手術中、不潔物に触れることはできない。このため、例えばＨＭＤ１００の表示形態を画像３００ｂのように変更したい場合であっても、手でＨＭＤ１００を操作することができない。そこで、本実施形態に係るＨＭＤ１００は、ＨＭＤ１００を視線による操作入力を可能とする、視線検出機能を備えている。

上述したように、ＨＭＤ１００の視線検出機能を有効とすることで視線による操作入力が可能となるが、常に視線が検出されていると、表示領域に表示されている視線位置を示すカーソルが視界を妨げたり、意図しない操作が実行されたりすることもある。そこで、本実施形態に係るＨＭＤ１００は、ユーザの非接触ジェスチャを検出し、視線検出機能のオンオフの切り替えを行うジェスチャ検出機能を備えている。

ジェスチャ検出機能は、ＨＭＤ１００の装着者による手等の動きを検出し、その動きから推定されるジェスチャを特定する機能である。例えば、ジェスチャ検出機能により特定されたジェスチャが所定の処理が関連付けられているジェスチャであると判定された場合には、当該ジェスチャに関連付けられた処理が実行される。本実施形態では、ジェスチャ検出機能により、視線検出機能のオンオフを切り替えるジェスチャが行われたか否かを判定し、視線検出機能のオンオフを切り替える。

ジェスチャ検出機能を実現するため、本実施形態に係るＨＭＤ１００は、図２に示すように、装着者Ｐの眼前部を覆うＨＭＤ１００の本体部１１０に、外界の物体を検出する検出部であるジェスチャ検出センサ１３０を備えている。ジェスチャ検出センサ１３０は、例えば、直接手を触れることなく、離れた位置からユーザの手の位置や動きを３次元情報として取得可能な検出部であり、例えば３Ｄモーションセンサ等を用いることができる。ジェスチャ検出センサ１３０の検出結果に基づいて、ＨＭＤ１００の装着者Ｐのジェスチャが解析され、視線検出機能が関連付けられているジェスチャか否かが判定される。

処理に関連付けるジェスチャは適宜設定可能であるが、ユーザが行いやすいジェスチャが関連付けられるのが一般的である。例えば、図２に示すように、ＨＭＤ１００の装着者Ｐが顔に手のひらを向けるジェスチャ等を設定してもよい。ここで、手術等の医療行為中においては、ＨＭＤ１００等の滅菌されていない不潔物に触れることはできないが、ユーザがジェスチャを行った際に誤ってＨＭＤ１００に触れることもあり得る。また、手術時には、複数の医療従事者が手術室内で作業しているため、ジェスチャ検出センサ１３０がＨＭＤ１００の装着者Ｐ以外の者や器具を誤って検出することも考え得る。

そこで、本実施形態に係るＨＭＤ１００では、ジェスチャ検出センサ１３０によりＨＭＤ１００に対してジェスチャが行われている位置を取得し、ＨＭＤ１００に接触せず、装着者Ｐの手以外の物体等に反応しない領域でジェスチャが行われているかを判定する。これにより、ＨＭＤ１００の装着者Ｐがジェスチャを行う際に誤ってＨＭＤ１００に接触するのを防止することが可能となり、装着者Ｐが意図しない処理の実行も防ぐことができる。以下、本実施形態に係るＨＭＤ１００の構成と、それによる処理について、詳細に説明する。

＜２．構成＞
まず、図２及び図３に基づいて、情報処理システム１を構成するＨＭＤ１００及びプロセッサユニット２００の構成について説明する。なお、図３は、本実施形態に係る情報処理システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す機能ブロック図である。なお、図３では、ＨＭＤ１００の表示部の表示制御を行う際に機能する機能部を示しており、実際には、他の機能部を備えているものとする。プロセッサユニット２００は、ＨＭＤ１００への操作入力に基づき、ＨＭＤ１００の表示制御を行う表示制御装置として機能する。

［２．１．ＨＭＤ］
ＨＭＤ１００は、例えば内視鏡装置等の外部機器からの入力映像等の情報を表示する表示装置である。ＨＭＤ１００は、例えばゴーグル形状の非透過型のＨＭＤであって、ユーザが頭部に装着した状態で使用される。ＨＭＤ１００は、図２に示したように、当該ＨＭＤ１００の装着者に情報を提示する表示部を備える本体部１１０と、本体部１１０を頭部に固定させるための上部固定部および後部固定部とからなる。固定部で装着者の頭部に固定されると、本体部の表示部が装着者の左右の眼の前に位置するようになる。

本体部１１０は、装着者の両眼を覆う部位である。本体部１１０は、例えば装着者の左右のこめかみ付近まで覆うように構成されてもよい。このような形状とすることで、装着時に装着者の眼前をほぼ完全に被覆することができ、装着者の眼に外光が入射せずより画像を見やすくすることができる。本体部１１０の側部１１２には、例えば周辺環境を撮影するためのカメラ１２０を備えてもよい。これにより、ＨＭＤ１００の装着者は、プロセッサユニット２００を介して内視鏡装置等から提供される情報以外に、ＨＭＤ１００を装着していないときに見える周辺環境の情報も認識できるようになる（ビデオシースルー）。

本体部１１０の内部には、第１の表示部に左眼用画像を提示する第１の表示素子（図３の符号１６５）と、第２の表示部に右眼用画像を提示する第２の表示素子（図３の符号１６６）とが設けられている。各表示素子は、例えばプロセッサユニット２００より提供される内視鏡装置の画像や、本体部１１０のカメラ１２０により撮像された画像等を提示する。また、本体部１１０には、プロセッサユニット２００との情報の送受信を行うため、プロセッサユニット２００に接続されるケーブル（図示せず。）が設けられている。ＨＭＤ１００とプロセッサユニット２００との情報通信は、有線通信であってもよく、無線通信であってもよい。

ＨＭＤ１００の表示部に表示される情報は、例えば、装着者が足で踏み入力操作を行うフットスイッチ等のリモートコントローラや、ＨＭＤ１００の装着者の視線等より操作可能である。リモートコントローラ１０２からの入力情報や、視線検出機能により取得された装着者の視線方向に基づく視線入力情報は、プロセッサユニット２００へ出力される。

ＨＭＤ１００の表示処理機能についてみると、図３に示すように、ＨＭＤ１００は、ディスプレイポート１６２と、画像生成部１６４と、表示素子１６５、１６６と、視線検出センサ１７２と、ジェスチャ検出センサ１７４と、操作処理部１８０と、ジェスチャ判定処理部１９０とを備える。

ディスプレイポート１６２は、プロセッサユニット２００からの入力情報を受けるインタフェースである。ディスプレイポート１６２には、プロセッサユニット２００との情報通信を可能にするケーブルが接続される。ディスプレイポート１６２には、例えば表示素子１６５、１６６へそれぞれ出力する画像信号や、ＨＭＤ１００の装着者が視認している情報が入力される。ディスプレイポート１６２から入力された情報は、画像生成部１６４へ出力される。

画像生成部１６４は、プロセッサユニット２００を介して取得された情報に基づき、表示素子１６５、１６６へそれぞれ出力する画像信号を生成する。装着者に提示する画像が３Ｄ画像である場合には、画像生成部１６４は、第１の表示素子１６５へ出力される左眼用画像信号と第２の表示素子１６６へ出力される右眼用画像信号とにずれを生じさせるずらし処理を行う。ずらし処理では、例えば表示素子１６５、１６６と装着者の眼との距離や装着者の眼の間隔、虚像位置等に応じて、左眼用画像信号と右眼用画像信号とのずらし量が決定される。画像生成部１６４は、生成した画像信号を、第１の表示素子１６５および第２の表示素子１６６へ出力する。

また、画像生成部１６４は、ジェスチャ判定処理部１９０において装着者がＨＭＤ１００に接触する可能性の高い領域でジェスチャが行われていると判定された場合、装着者に対する警報を表示させるようにしてもよい。この場合、画像生成部１６４は、プロセッサユニット２００からの情報に基づき生成された画像信号に、警報内容を表す警報画像信号を重畳して、表示素子１６５、１６６へ出力する。

表示素子１６５、１６６は、画像生成部１６４から入力される画像信号に基づいて、表示部に向かって画像光を出射する。表示素子１６５、１６６は、例えばＨＭＤ１００の装着時に装着者の顔の前後方向に表示部と対向するように配置される。これにより、表示素子１６５、１６６から出射される画像光の光軸は、装着者が正面を向いたときの視線の方向と略平行になる。

表示素子１６５、１６６は、例えば有機ＥＬ（Electroluminescence）素子で構成される。表示素子１６５、１６６として有機ＥＬ素子を採用することで、小型で、高コントラスト、迅速な応答性等を実現することができる。表示素子１６５、１６６は、例えば複数の赤色有機ＥＬ素子、緑色有機ＥＬ素子、青色有機ＥＬ素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいはパッシブマトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。この駆動回路が画像生成部１６４で生成された画像信号に基づいて制御されることで、表示素子１６５、１６６には全体として所定の画像が表示され、表示部を介して装着者に画像が提供される。

なお、表示素子１６５、１６６と表示部との間には、光学系として、例えば複数の接眼レンズ（図示せず。）をそれぞれ配置させてもよい。これらの接眼レンズと装着者の眼とを所定距離で対向させることにより、装着者に対し、画像が所定位置（虚像位置）に表示されるように見える虚像を観察させることが可能となる。このような虚像を提示することで、３Ｄ画像を提供することができる。なお、虚像位置及び虚像の大きさは、表示素子１６５、１６６及び光学系の構成等によって設定される。

視線検出センサ１７２は、ＨＭＤ１００を装着するユーザの視線方向を検出する。視線検出センサ１７２は、図２に示すＨＭＤ１００の本体部１１０の、装着者Ｐの眼前と対向する側に設けられる。視線検出センサ１７２は、例えば、装着者の眼球に赤外帯域の光（赤外光）を照射する光源と、装着者の眼球を撮影する撮像部とからなる。視線検出センサ１７２は、表示部の表示面を観察する装着者の眼球に対して光源から光を照射し、撮像部により光が照射された眼球を撮影する。視線検出センサ１７２の撮像部により撮影された撮影画像は、操作処理部１８０へ出力される。

ジェスチャ検出センサ１７４は、ＨＭＤ１００を装着するユーザが行うジェスチャを検出する。ジェスチャ検出センサ１７４は、図２のジェスチャ検出センサ１３０に対応し、例えば３Ｄモーションセンサ等である。ジェスチャ検出センサ１７４は、当該センサを基準として検出した物体の位置を表す３次元情報を取得し、ジェスチャ判定処理部１９０へ出力する。

操作処理部１８０は、視線検出センサ１７２の検出結果から視線方向を推定し、装着者の視線による操作入力を解析する。装着者の視線方向は、例えば瞳孔角膜反射法等の手法を用いて、撮像部により撮影された撮影画像から推定することができる。操作処理部１８０は、例えば、表示領域における視線方向の位置（以下、「視線位置」ともいう。）に所定の処理が関連付けられた選択オブジェクトが表示されている場合、当該選択オブジェクトを選択状態とする。また、操作処理部１８０は、ある選択オブジェクトが選択状態とされているとき、ユーザが所定の動作を行ったことが検出された場合、当該選択オブジェクトに関連付けられた処理の実行を決定する。このように、操作処理部１８０は、ＨＭＤ１００の装着者の視線による操作入力を解析し、解析した結果をプロセッサユニット２００へ出力する。

ジェスチャ判定処理部１９０は、ジェスチャ検出センサ１７４の検出結果を解析してＨＭＤ１００の装着者による手等の動きから装着者が行ったジェスチャを特定し、特定したジェスチャに基づき所定の処理の実行可否を判定する情報処理装置である。ジェスチャ判定処理部１９０は、例えば領域判定部１９２と、ジェスチャ解析部１９４と、実行判定部１９６とからなる。

領域判定部１９２は、ジェスチャ検出センサ１７４により検出された物体の位置が、ＨＭＤ１００の装着者が行うジェスチャの解析を実行する領域（以下、「ジェスチャ検出領域」ともいう。）にあるか否かを判定する。本実施形態に係るＨＭＤ１００は医療現場で用いられることから、装着者は、滅菌されていない不潔物であるＨＭＤ１００に接触せず、かつ、装着者Ｐの手以外の物体等に反応しない領域でジェスチャを行うのが望ましい。領域判定部１９２は、ジェスチャ検出センサ１７４により検出された物体の位置がジェスチャ検出領域内にあるか否かを判定し、判定結果を画像生成部１６４及びジェスチャ解析部１９４へ出力する。

ジェスチャ解析部１９４は、ジェスチャ検出センサ１７４の検出結果に基づいて、ＨＭＤ１００の装着者が行っているジェスチャを解析する。ジェスチャ解析部１９４は、領域判定部１９２にて装着者がジェスチャ検出領域でジェスチャを行っていると判定されたとき、ジェスチャ検出センサ１７４により検出された手等の物体の位置の変化からジェスチャを解析する。ジェスチャ解析部１９４は、解析したジェスチャの内容を含むジェスチャ情報を、実行判定部１９６へ出力する。

実行判定部１９６は、ジェスチャ情報に基づいて、所定の処理を実行するか否かを判定する。例えば、本実施形態では、視線検出センサ１７２を起動して視線検出機能を機能させるジェスチャが予め設定されており、ジェスチャ情報に含まれるジェスチャの内容と一致するか否かを判定する。実行判定部１９６は、視線検出機能を機能させるためのジェスチャと解析されたジェスチャとが一致すると判定したとき、視線検出センサ１７２を起動して視線検出機能を機能させる。

なお、本実施形態では、操作処理部１８０及びジェスチャ判定処理部１９０を、ＨＭＤ１００に設けたが、本開示はかかる例に限定されず、プロセッサユニット２００に設けてもよく、さらに別の演算処理装置に設けてもよい。

［２．２．プロセッサユニット］
プロセッサユニット２００は、接続された機器を制御する制御装置である。プロセッサユニット２００には、例えば図１に示すユーザＰ１〜Ｐ４が装着する各ＨＭＤ１００のうち１または複数のＨＭＤ１００や、内視鏡装置等の外部機器、不特定のユーザが情報を見るためのディスプレイ等が接続される。例えば、プロセッサユニット２００は、外部機器から入力された情報を、ＨＭＤ１００の表示部やディスプレイに表示可能な情報に処理し、各表示装置へ出力する。また、プロセッサユニット２００は、各ＨＭＤ１００のリモートコントローラや視線検出機能からの操作入力に基づいて、ＨＭＤ１００の表示部に表示する情報を切り替える。

次いで、プロセッサユニット２００の表示処理機能についてみる。プロセッサユニット２００は、図３に示すように、プロセッサユニット２００は、画像入力部２１１と、画像処理部２１２と、入力部２１３と、表示制御部２１４と、出力部２１５と、操作入力部２１６と、設定記憶部２１７と、を備える。

画像入力部２１１は、外部機器からプロセッサユニット２００に入力される画像を受けるインタフェースである。図３の例では、外部機器として内視鏡装置１０が示されており、このとき画像入力部２１１には、内視鏡装置１０のカメラ（図示せず。）により撮像された画像が入力される。画像入力部２１１は、入力された画像を画像処理部２１２へ出力する。

画像処理部２１２は、プロセッサユニット２００に入力された画像を、ＨＭＤ１００に表示させるための画像に処理する。画像処理部２１２では、例えば、内視鏡装置１０のカメラにより撮像された画像から、ＨＭＤ１００の第１の表示部に表示させる左眼用画像と第２の表示部に表示させる右眼用画像とを生成する。画像処理部２１２により画像処理された画像は、表示制御部２１４へ出力される。

入力部２１３は、ＨＭＤ１００の操作処理部１８０から操作情報が入力されるインタフェースである。入力部２１３に入力された操作情報は、表示制御部２１４へ出力される。

表示制御部２１４は、ＨＭＤ１００の表示部に表示させる情報を制御する。表示制御部２１４は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を表示するように制御する。また、表示制御部２１４は、入力部２１３に入力された操作情報に基づいて、指示された情報を表示するように制御する。表示制御部２１４は、各ＨＭＤ１００に表示させる情報およびその表示設定を決定すると、出力部２１５を介して当該情報を各ＨＭＤ１００へ情報を出力する。

操作入力部２１６は、ＨＭＤ１００の装着者からの操作入力を受ける入力部である。本実施形態において、ＨＭＤ１００の表示部に表示される情報は、例えばリモートコントローラ１０２によって切替可能である。リモートコントローラ１０２に対する操作入力は操作入力部２１６へ出力され、操作入力部２１６はこの操作入力情報を表示制御部２１４に出力する。表示制御部２１４は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を、出力部２１５を介してＨＭＤ１００へ出力する。

設定記憶部２１７は、各ユーザ識別情報に対応するＨＭＤ１００の表示設定情報を記憶する記憶部である。設定記憶部１２７に記憶されている表示設定情報は、例えば、画質や画像の向き、画像の配置等の各種設定情報を含んで構成される。例えば、画質の設定情報は、画像の明るさや色合い等の設定値を表す情報である。画像の向きの情報は、表示部に表示される画像の表示向きを表す情報である。ここで、画像の表示向きとは、基準とする画像の表示状態に対する変化を表す。

例えば、図１に示すように、４人のユーザＰ１〜Ｐ４が作業している状況しており、各ユーザＰ１〜Ｐ４が装着しているＨＭＤ１００の表示部には、それぞれユーザＰ１が操作しているカメラにより撮影されている画像が表示されているとする。ユーザＰ１の装着するＨＭＤ１００の表示部には、図１右側に示す通常モードの画像が表示されている。しかし、この通常モードでの画像の表示がユーザＰ１以外のユーザＰ２〜Ｐ４にとって最適な表示であるとも限らないし、ユーザＰ１も図１右側に示す画像３００ａから図１左側に示す画像３００ｂのように表示形式を変更させたい場合もある。設定記憶部２１７には、このようなＨＭＤ１００の表示部に表示される画像の表示設定情報が、ユーザ識別情報に関連付けられて記憶される。なお、設定記憶部２１７に記憶されている表示設定情報は、ユーザが設定を変更することも可能であり、ユーザにより変更された場合には変更後の設定を記憶させるようにしてもよい。

以上、本実施形態に係る情報処理システム１の構成について説明した。

＜３．表示制御処理＞
以下、図４〜図１０に基づいて、図３に示した本実施形態に係る情報処理システム１における表示制御処理について説明する。

［３．１．ジェスチャ判定処理］
まず、図４及び図５に基づいて、ジェスチャ検出センサ１７４の検出結果に基づくジェスチャ判定処理について説明する。なお、図４は、本実施形態に係るジェスチャ判定処理を示すフローチャートである。図５は、ジェスチャ検出領域Ａ_２を説明するための説明図である。

ジェスチャ判定処理では、図４に示すように、まず、領域判定部１９２により、ジェスチャ検出センサ１７４により装着者の手が検出されたか否かを判定する（Ｓ１００）。本実施形態に係るジェスチャ検出センサ１７４は、例えば３次元空間における手の位置を検出可能な３Ｄモーションセンサである。３Ｄモーションセンサは、例えば、赤外光を照射する光源と、当該光源の反射光を受光する受光センサと、受光センサの検出値から３次元空間における物体の位置の座標を演算する演算処理回路とからなる。なお、３Ｄモーションセンサは、これらの構成要素を１つのユニットとしてまとめたものであってもよく、別個の要素を組み合わせて構成してもよい。

ここで、図５に、ＨＭＤ１００のジェスチャ検出センサ１３０（図３のジェスチャ検出センサ１７４）の検出領域を示す。ジェスチャ検出センサ１３０は、当該センサから検知距離Ｌ２までの範囲にある手を、視野角α及び仰角βの範囲内で検出することができる。すなわち、ジェスチャ検出センサ１３０の検出可能領域は、図５の領域Ａ_１及びＡ_２である。ジェスチャ検出センサ１３０から距離Ｌ２より離隔した領域Ａ_３は、ジェスチャ検出センサ１３０は手を検出することができない未反応領域となる。ステップＳ１００では、ＨＭＤ１００の装着者の手が領域Ａ_１及びＡ_２にあるか否かが判定される。

ステップＳ１００にて、装着者の手が領域Ａ_１及びＡ_２にはないと判定した場合には、領域判定部１９２は図４の処理を終了し、再びＳ１００からの処理を繰り返し行う。一方、ステップＳ１００にて装着者の手が領域Ａ_１及びＡ_２にあると判定した場合、領域判定部１９２は、検出された手が領域Ａ_１またはＡ_２のうちいずれの領域にあるかを判定する（Ｓ１１０）。

領域Ａ_１及びＡ_２はジェスチャ検出センサ１３０の検出可能領域であるが、当該センサに近い位置では装着者の手がＨＭＤ１００に触れる可能性がある。そこで、ジェスチャ検出センサ１３０から検知距離Ｌ１までの領域Ａ_１は、装着者の手がＨＭＤ１００に触れる可能性の高い領域であるとして、ジェスチャを行わせない近距離領域とする。検知距離Ｌ１は、例えば１５〜２０ｃｍ程度に設定される。そして、ジェスチャ検出センサ１３０の検出可能領域のうち領域Ａ_２が、ＨＭＤ１００の装着者が行うジェスチャの解析を実行するジェスチャ検出領域として設定される。また、ジェスチャ検出領域Ａ_２は、装着者の手の可動領域に応じて決定するのがよい。ジェスチャ検出センサ１３０の検出可能領域に装着者の手が届かない領域も含まれると、当該装着者以外の者や器具等もジェスチャ検出センサ１３０により検出してしまい、誤操作の要因となる。ジェスチャ検出領域Ａ_２を装着者の手の可動領域に限定することで、装着者が意図しない処理が実行されるのを防止できる。

ジェスチャ検出領域Ａ_２は、予め設定された規定の領域であってもよく、ユーザや使用状態に応じて変更してもよい。例えば手術用手袋の装着の有無や手術用手袋の色の違い等により、ジェスチャ検出センサ１３０による検出対象の検出精度（感度）が異なる。そこで、ＨＭＤ１００の使用開始前にジェスチャを行う手をＨＭＤ１００に対して近付けたり遠ざけたりして、ジェスチャ検出領域Ａ_２が適切であるか確認し、最適な設定値に変更してもよい。ジェスチャ検出領域Ａ_２の変更は、予めジェスチャ検出領域の設定値を規定した複数の領域設定モードから最適な領域設定モードを選択して行ってもよい。あるいは、ジェスチャ検出センサ１３０の検出結果から装着者が実際に手を動かしながら適切な領域を設定してもよい。

領域判定部１９２は、ジェスチャ検出センサ１３０の検出結果より、装着者の手がジェスチャ検出領域Ａ_２にあると判定したとき、ジェスチャ解析部１９４に対してジェスチャの解析指示を行う。一方、ジェスチャ検出センサ１３０の検出結果より、装着者の手が近距離領域Ａ_１にあると判定したとき、領域判定部１９２は、装着者に対して、手の位置がＨＭＤ１００に近すぎることを知らせる警報を報知させる（Ｓ１２０）。

警報の報知は、例えば、ＨＭＤ１００の表示部に、手の位置がＨＭＤ１００に近すぎることを知らせるメッセージやオブジェクト等の警報情報を表示させることにより行ってもよい。この場合、領域判定部１９２は、画像生成部１６４に対して警報情報を表示させるように指示する。あるいは、音声や振動等により警報を報知してもよい。

次いで、ジェスチャ解析部１９４は、ジェスチャ検出領域Ａ_２にある装着者の手の位置や動きから、装着者が行っているジェスチャを特定する（Ｓ１３０）。ジェスチャの解析処理は、周知の技術を用いて行うことができる。ジェスチャ解析部１９４は、例えば、手の動きや静止状態、指の数やＨＭＤ１００に対して向けられている手の部位（手のひら、手の甲等）等の形状の相違等から、ジェスチャを解析する。また、ジェスチャ解析部１９４は、検出対象の色を取得することができる場合には、手術用手袋の装着の有無や、手術用手袋の色も、ジェスチャを特定するための要素として考慮してもよい。

ジェスチャ解析部１９４によりジェスチャが特定されると、実行判定部１９６により、ジェスチャに基づき所定の処理の実行可否が判定される（Ｓ１４０）。本実施形態では、視線検出機能を機能させる開始トリガとしてジェスチャが利用されている。したがって、ステップＳ１４０において、実行判定部１９６は、視線検出機能を機能させる開始トリガとして設定されたジェスチャが行われたか否かを判定する。例えば、手のひらをＨＭＤ１００に対向させた状態で、手を顔前に向かって移動させるジェスチャを、視線検出機能を機能させる開始トリガとして設定してもよい。

ステップＳ１４０にて視線検出機能を機能させるためのジェスチャが行われなかったと判定された場合には、図４に示す処理を終了し、再び図４のＳ１００から処理を開始する。一方、ステップＳ１４０にて視線検出機能を機能させるためのジェスチャが行われたと判定された場合には、実行判定部１９６は、視線検出センサ１７２を起動し、視線検出機能を開始させる（Ｓ１５０）。

以上、本実施形態に係るジェスチャ判定処理について説明した。このように、ジェスチャ検出領域を設定することで、ＨＭＤ１００の装着者は、ＨＭＤ１００に触れることなく視線検出機能を機能させるためのジェスチャを行うことが可能となる。また、ジェスチャを行う手が近距離領域Ａ_１に位置した場合に装着者に対して警報を報知することで、装着者に対して手をＨＭＤ１００から遠ざけることを促し、手がＨＭＤ１００に接触することを防止することができる。

なお、ジェスチャにより視線検出機能を機能させる場合について説明したが、視線検出機能を停止させる場合も同様にジェスチャによって行うことができる。視線検出機能を停止させるためのジェスチャは、視線検出機能を機能させるときのジェスチャと同一でもよく、異なるものであってもよい。あるいは、視線検出機能の停止は、所定時間以上視線が移動されなかった場合に実行されるようにしてもよい。

［３．２．視線による操作］
次に、図６〜図１０に基づいて、上述のジェスチャ判定処理により視線検出機能が機能された後の、ＨＭＤ１００の装着者の視線による情報操作の例を説明する。なお、図６は、視線検出機能が機能されたときの初期表示状態を示す説明図である。図７は、ＰＩＰオブジェクト３０２が選択されたときの表示状態を示す説明図である。図８は、ＦＬＩＰオブジェクト３０４が選択されたときの表示状態を示す説明図である。図９は、インプットオブジェクト３０６が選択されたときの表示状態を示す説明図である。図１０は、カメラモードオブジェクト３０８が選択された状態を示す説明図である。

ジェスチャ判定処理により視線検出機能が機能されると、図６に示すように、ＨＭＤ１００の表示領域３００に、視線位置に応じて移動する指示オブジェクトであるカーソル３１０と、所定の処理が関連付けられた各種オブジェクとが表示される。ＨＭＤ１００の装着者は、視線によりカーソル３１０を所望のオブジェクトへ移動させて選択し、所定の決定処理（例えば、３回瞬きをする、カーソル３１０を３秒以上停止させる、等）を行うと、選択されたオブジェクトに関連付けられた処理が実行される。

例えば、図６においては、画面の表示を変更するための選択オブジェクトとして、ＰＩＰオブジェクト３０２、ＦＬＩＰオブジェクト３０４、インプットオブジェクト３０６、及びカメラモードオブジェクト３０８が、表示領域３００の外周部、例えば四隅に表示されている。表示領域３００の四隅のように外周部にオブジェクトを表示させることで、表示領域３００に表示されている画像の観察を妨げないようにすることができる。

ＰＩＰオブジェクト３０２が選択され、決定されると、表示領域３００にメイン画面とサブ画面とを設けるＰｉｎＰ機能が機能される。このとき、例えば図７に示すように、選択オブジェクトは非表示となり、ＰＩＰオブジェクト３０２が表示されていた位置に、設定可能な表示形態を示すオブジェクトＰＩＰ１〜３が表示される。ＨＭＤ１００の装着者が視線をオブジェクトＰＩＰ１〜３へ向けると、表示領域３００における視線位置を表すカーソル３１０が移動する。カーソル３１０があるオブジェクト（例えばオブジェクトＰＩＰ３）上に位置すると、選択状態を示す枠３２０が表示される。ＨＭＤ１００の装着者は、所望の表示形式を表すオブジェクトに視線を移動させ、所定の決定処理を行うことで、表示領域３００の表示を、決定したオブジェクトに関連付けられた表示形式に基づく表示に変更させることができる。

同等に、図６において、ＦＬＩＰオブジェクト３０４が選択され、決定されると、表示領域３００に表示される画像の向きを変更する機能が機能される。このとき、例えば図８に示すように、選択オブジェクトは非表示となり、ＦＬＩＰオブジェクト３０４が表示されていた位置に、設定可能な表示形態を示すオブジェクトＦＬＩＰ１〜３が表示される。ＨＭＤ１００の装着者が視線をオブジェクトＦＬＩＰ１〜３へ向けると、表示領域３００における視線位置を表すカーソル３１０が移動する。カーソル３１０があるオブジェクト（例えばオブジェクトＦＬＩＰ３）上に位置すると、選択状態を示す枠３２０が表示される。ＨＭＤ１００の装着者は、所望の表示形式を表すオブジェクトに視線を移動させ、所定の決定処理を行うことで、表示領域３００の表示を、決定したオブジェクトに関連付けられた表示形式に基づく表示に変更させることができる。

また、図６において、インプットオブジェクト３０６が選択され、決定されると、表示領域３００に表示される画像を変更する機能が機能される。このとき、例えば図９に示すように、選択オブジェクトは非表示となり、インプットオブジェクト３０６が表示されていた位置に、設定可能な入力画像を示すオブジェクトＩｎ１〜４が表示される。なお、図８のオブジェクトＩｎ１、２の選択により、プロセッサユニット２００のＤＶＩ入力端子１、２からの入力画像を表示させることができる。また、オブジェクトＩｎ３、４の選択により、プロセッサユニット２００のＳＤＩ入力端子１、２からの入力画像を表示させることができる。

ＨＭＤ１００の装着者が視線をオブジェクトＩｎ１〜４へ向けると、表示領域３００における視線位置を表すカーソル３１０が移動する。カーソル３１０があるオブジェクト（例えばオブジェクトＩｎ４）上に位置すると、選択状態を示す枠３２０が表示される。ＨＭＤ１００の装着者は、所望の表示形式を表すオブジェクトに視線を移動させ、所定の決定処理を行うことで、表示領域３００の表示を、決定したオブジェクトに関連付けられた表示形式に基づく表示に変更させることができる。

さらに、図６において、カメラモードオブジェクト３０８が選択され、決定されると、表示領域３００に、ＨＭＤ１００のカメラ１２０により撮影される映像が表示される。このとき、例えば図１０に示すように、選択オブジェクトは非表示となり、表示領域３００全体にカメラ１２０の映像が表示される。

このように、ＨＭＤ１００の装着者は、視線検出機能を用いることで、医療行為の進行を妨げることなく、安全に表示部の表示形式を変更することができる。

＜４．まとめ＞
以上、本実施形態に係るＨＭＤ１００を備える情報処理システム１について説明した。本実施形態によれば、装着者の視線により操作可能なＨＭＤ１００において、ジェスチャ検出機能により検出されたジェスチャに基づき視線検出機能のオンオフの切り替えを行う。このような非接触での操作入力を用いることで、医療行為中における頭部装着ディスプレイの操作を可能とする。また、ジェスチャ検出の際、装着者にジェスチャを行わせるジェスチャ検出領域を設けることで、ＨＭＤ１００の装着者がジェスチャを行う際に誤ってＨＭＤ１００に接触するのを防止することが可能となり、装着者が意図しない処理の実行も防ぐことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
装着者の眼前部を覆う頭部装着ディスプレイに設けられた検出部により検出された外界の物体と前記頭部装着ディスプレイとの距離に応じて、前記物体に基づく前記装着者のジェスチャの解析を実行するか否かを決定する処理部を備える、情報処理装置。
（２）
前記装着者のジェスチャの解析を実行する領域は、少なくとも前記頭部装着ディスプレイから第１の距離だけ離隔した位置に設定される、前記（１）に記載の情報処理装置。
（３）
前記装着者のジェスチャの解析を実行する領域は、前記頭部装着ディスプレイの装着者の手の可動領域である、前記（２）に記載の情報処理装置。
（４）
前記検出部により、前記頭部装着ディスプレイから第１の距離までの近距離領域内に前記物体があることが検出されたとき、前記処理部は当該装着者に警報を報知する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記装着者のジェスチャの解析を実行する領域は、前記検出部の検出対象に応じて決定される、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記装着者のジェスチャを実行する領域は、前記検出部により検出される手術用手袋の有無又は色に応じて決定される、前記（５）に記載の情報処理装置。
（７）
前記処理部は、前記装着者のジェスチャの解析結果に基づき所定の処理の実行可否を判定する、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記頭部装着ディスプレイは、装着者の視線を検出する視線検出部を備えており、
前記処理部は、解析したジェスチャに基づいて、前記頭部装着ディスプレイの装着者の視線を検出する視線検出機能の実行可否を判定する、前記（７）に記載の情報処理装置。
（９）
前記処理部は、前記視線検出機能を実行すると判定したとき、前記頭部装着ディスプレイの表示部に、前記装着者の視線位置を示すカーソルを表示させる、前記（８）に記載の情報処理装置。
（１０）
前記処理部は、前記視線検出機能を実行すると判定したとき、前記頭部装着ディスプレイの前記表示部に、所定の処理が関連付けられた１または複数の選択オブジェクトを表示させる、前記（９）に記載の情報処理装置。
（１１）
前記処理部は、前記表示部の表示領域外周部に前記選択オブジェクトを表示させる、前記（１０）に記載の情報処理装置。
（１２）
前記頭部装着ディスプレイは、滅菌されていない不潔物である、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
装着者の眼前部を覆う頭部装着ディスプレイに設けられ、外界の物体を検出する検出部と、
前記頭部装着ディスプレイに設けられ、前記装着者に対して情報を提示する表示部と、
前記検出部により検出された外界の物体と前記頭部装着ディスプレイとの距離に応じて、前記物体に基づく前記装着者のジェスチャの解析を実行するか否かを決定する処理部と、
を備える、情報処理システム。
（１４）

１ 情報処理システム
１０ 内視鏡装置
１００ ＨＭＤ
１０２ リモートコントローラ
１１０ 本体部
１２０ カメラ
１３０ ジェスチャ検出センサ
１６２ ディスプレイポート
１６４ 画像生成部
１６５ 第１の表示素子
１６６ 第２の表示素子
１７２ 視線検出センサ
１７４ ジェスチャ検出センサ
１８０ 操作処理部
１９０ ジェスチャ判定処理部
１９２ 領域判定部
１９４ ジェスチャ解析部
１９６ 実行判定部
２００ プロセッサユニット
２１１ 画像入力部
２１２ 画像処理部
２１３ 入力部
２１４ 表示制御部
２１５ 出力部
２１６ 操作入力部
２１７ 設定記憶部

Claims (14)

1. 装着者の眼前部を覆う頭部装着ディスプレイに設けられた検出部により検出された外界の物体と前記頭部装着ディスプレイとの距離に応じて、前記物体に基づく前記装着者のジェスチャの解析を実行するか否かを決定する処理部を備える、情報処理装置。
2. 前記装着者のジェスチャの解析を実行する領域は、少なくとも前記頭部装着ディスプレイから第１の距離だけ離隔した位置に設定される、請求項１に記載の情報処理装置。
3. 前記装着者のジェスチャの解析を実行する領域は、前記頭部装着ディスプレイの装着者の手の可動領域である、請求項２に記載の情報処理装置。
4. 前記検出部により、前記頭部装着ディスプレイから第１の距離までの近距離領域内に前記物体があることが検出されたとき、前記処理部は当該装着者に警報を報知する、請求項１に記載の情報処理装置。
5. 前記装着者のジェスチャの解析を実行する領域は、前記検出部の検出対象に応じて決定される、請求項１に記載の情報処理装置。
6. 前記装着者のジェスチャを実行する領域は、前記検出部により検出される手術用手袋の有無又は色に応じて決定される、請求項５に記載の情報処理装置。
7. 前記処理部は、前記装着者のジェスチャの解析結果に基づき所定の処理の実行可否を判定する、請求項１に記載の情報処理装置。
8. 前記頭部装着ディスプレイは、装着者の視線を検出する視線検出部を備えており、
   前記処理部は、解析したジェスチャに基づいて、前記頭部装着ディスプレイの装着者の視線を検出する視線検出機能の実行可否を判定する、請求項７に記載の情報処理装置。
9. 前記処理部は、前記視線検出機能を実行すると判定したとき、前記頭部装着ディスプレイの表示部に、前記装着者の視線位置を示すカーソルを表示させる、請求項８に記載の情報処理装置。
10. 前記処理部は、前記視線検出機能を実行すると判定したとき、前記頭部装着ディスプレイの前記表示部に、所定の処理が関連付けられた１または複数の選択オブジェクトを表示させる、請求項９に記載の情報処理装置。
11. 前記処理部は、前記表示部の表示領域外周部に前記選択オブジェクトを表示させる、請求項１０に記載の情報処理装置。
12. 前記頭部装着ディスプレイは、滅菌されていない不潔物である、請求項１に記載の情報処理装置。
13. 装着者の眼前部を覆う頭部装着ディスプレイに設けられ、外界の物体を検出する検出部と、
    前記頭部装着ディスプレイに設けられ、前記装着者に対して情報を提示する表示部と、
    前記検出部により検出された外界の物体と前記頭部装着ディスプレイとの距離に応じて、前記物体に基づく前記装着者のジェスチャの解析を実行するか否かを決定する処理部と、
    を備える、情報処理システム。
14. 外界の物体を検出する第１の検出部と、
    装着者に対して情報を提示する表示部と、
    前記装着者の視線を検出する第２の検出部と、
    を、装着者の眼前部を覆う本体部に備え、
    前記第２の検出部は、前記第１の検出部による検出結果に基づいてジェスチャ検出領域内で行われた前記装着者のジェスチャを解析し、解析した前記ジェスチャに基づき所定の処理の実行可否を判定する情報処理装置の判定結果を受けて起動される、頭部装着ディスプレイ。
    

Images