JP2017033195A - 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム - Google Patents

Abstract

【課題】従来よりも多彩なユーザーの手の動きに基づいて操作内容を特定して設定可能とし、これによりユーザーが直感的な操作によりデータ処理装置を操作可能とし、操作対象とする他の装置に所望のデータ処理を行わせる。【解決手段】透過型ウェアラブル端末１は、撮像部１０３と、撮像映像に写ったデータ処理装置２及びユーザーの手の動きを識別する映像解析部１０４と、データ処理装置２の装置状態を示すアイコンを表示させる装置状態表示制御部１０７と、ユーザーが注視するデータ処理装置２を特定する装置特定部１０８と、データ選択ＧＵＩにおいてユーザーが選択したデータを特定するデータ特定部１０９と、ユーザーによる手のジェスチャーに応じたデータ処理を特定する処理特定部１１０と、特定されたデータ処理装置２に対して、特定されたデータ処理の実行を要求するデータ処理要求部１１１とを備える。【選択図】図２

Description

本発明は、透過型ウェアラブル端末、データ処理装置、及びデータ処理システムに関し、特に、透過型ウェアラブル端末を使用してデータ処理装置に所望のデータ処理を行わせる技術に関する。

現在、ヘッドマウントディスプレイやメガネ型のウェアラブル機器は、操作対象となる他の装置の設定画面を仮想的に表示して、ユーザーがこの設定画面に対して手を動かして操作を行うと、ユーザーによる当該手の動きを検出して、当該手の動きの内容に対応する操作を受け付けて、当該他の装置を動作させることが可能とされている。また、ウェアラブル機器では、当該機器を装着したユーザーの眼球の中心位置を監視することで、ユーザーが注視している場所を特定することが可能となっている。例えば、下記特許文献１では、視点位置を算出する際に必要となる眼球中心位置の測定法を、眼球半径の個人差を考慮しつつ高速かつ安定に収束させる手段を提案している。このように人の視線や焦点距離を正確に観測・算出する技術が発展しているため、ヘッドマウントディスプレイやメガネ型のウェアラブル機器において、ユーザーの視線情報・焦点距離情報を利用した機能を実現することが可能である。

例えば、下記特許文献２では、画像形成装置の操作パネルを仮想パネルとして、ヘッドマウントディスプレイやメガネ型のウェアラブル機器を用いてユーザーに対して仮想的に表示し、ユーザーの手を視認・観測して、当該仮想パネルに対するユーザーの手の動きに応じた操作を設定することが可能とされている。

また、下記特許文献３では、ヘッドマウントディスプレイにおいて、ユーザーによる視線で特定された物に対して、ユーザーによる手の動きに応じて特定されるデータの送信などの処理を行わせる。この際、ユーザーが画像形成装置等の機器を視界にとらえると、当該画像形成装置等がデータ送信先として特定される。

特開２００８−１３６７８９号公報 特開２０１０−１４５８６０号公報 特開２０１４−９３０３６号公報

しかしながら、上記特許文献２の発明は、表示した仮想パネルに対するユーザーの手の動きを検知するものに留まっており汎用性が低い。また、上記特許文献３の発明は、視線で検知したもので操作の組み合わせを決めて選択肢を表示し、その選択肢に対するユーザーの手の動きを検知している。しかし、選択肢に対するユーザーの手の動きに基づいてしか操作内容を特定することができない。

本発明は、上記の問題を解決するためになされたものであり、ヘッドマウントディスプレイやメガネ型のウェアラブル機器、特に透過型ウェアラブル端末を使用して、従来よりも多彩なユーザーの手の動きに基づいて操作内容を特定して設定可能とし、これによりユーザーが直感的に操作によりデータ処理装置を操作でき、操作対象とする他の装置に所望のデータ処理を行わせることを可能にする目的とする。

本発明の一局面に係る透過型ウェアラブル端末は、ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視線及び焦点距離を検出する視線検出部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部の撮像映像を解析して、当該映像に写ったデータ処理装置、及びユーザーによる手の動きを識別する映像解析部と、
前記データ処理装置と通信する通信部と、
前記通信部を介して、前記映像解析部によって識別された前記データ処理装置から装置状態を取得し、当該装置状態を示すアイコンを、ユーザーの視界内における当該データ処理装置に近い位置に、前記表示部により表示させる装置状態表示制御部と、
前記視線検出部の検出結果に基づいて、前記映像解析部によって識別されたデータ処理装置のうちユーザーが注視するデータ処理装置を特定する装置特定部と、
ユーザーの視界内にデータ選択ＧＵＩを表示させ、前記映像解析部によって識別されたユーザーによる手の動きに基づいて、当該データ選択ＧＵＩにおいてユーザーが選択したデータを特定するデータ特定部と、
前記映像解析部によって識別されたユーザーの手のジェスチャーに応じたデータ処理を特定する処理特定部と、
前記通信部を介して、前記装置特定部によって特定されたデータ処理装置に対して、前記データ特定部によって特定されたデータについて前記処理特定部によって特定されたデータ処理を行うように要求するデータ処理要求部と、を備えたものである。

本発明によれば、従来よりも多彩なユーザーの手の動きに基づいて操作内容を特定して設定可能とし、これによりユーザーが直感的に操作によりデータ処理装置を操作でき、操作対象とする他の装置に所望のデータ処理を行わせることが可能になる。これにより、当該操作対象となるデータ処理装置の操作性も向上させることができる。

本発明の一実施形態に係るデータ処理システムの概要図である。 透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。 ユーザーの視界を模式的に表した図である。 ユーザーの視界を模式的に表した図である。 ユーザーの視界を模式的に表した図である。 ユーザーの視界を模式的に表した図である。 ユーザーの視界を模式的に表した図である。 データ処理システムにおけるデータ処理手順を示すフローチャートである。 初期映像表示の詳細なフローチャートである。 データ特定の詳細なフローチャートである。 装置特定の詳細なフローチャートである。 処理特定の詳細なフローチャートである。

以下、本発明の一実施形態に係るデータ処理システムについて図面を参照して説明する。図１は、本発明の一実施形態に係るデータ処理システム１０の概要図である。

データ処理システム１０は、透過型ウェアラブル端末１と、データ処理装置２とを備える。

透過型ウェアラブル端末１は、ユーザーの視界に映像を重ねて表示することができる端末であり、例えば、ヘッドマウントディスプレイやメガネ型ウェアラブル端末などである。ユーザーは透過型ウェアラブル端末１を頭部に装着して、視界に重ねて表示される映像を手で仮想的に操作する。このとき、透過型ウェアラブル端末１は、ユーザーによる当該操作に基づく手の動きを解析して、当該手の動きの内容に応じた操作内容で、データ処理装置２を操作して所望のデータ処理を行わせる。

データ処理装置２は、透過型ウェアラブル端末１により操作対象とされる装置である。データ処理装置２は、例えば、文書データや画像データを用紙に印字する画像形成装置である。

透過型ウェアラブル端末１と、データ処理装置２とは、ＬＡＮ又はインターネットなどのネットワーク４に接続されて互いに通信可能とされている。

なお、透過型ウェアラブル端末１とデータ処理装置２とは、ネットワーク４を介さずに近距離無線通信により直接の通信が可能とされている。従って、データ処理装置２は、透過型ウェアラブル端末１が保持するデータを透過型ウェアラブル端末１から直接に受信して、その受信データの処理を行うことが可能である。

図２は、透過型ウェアラブル端末１の主要内部構成を示す機能ブロック図である。透過型ウェアラブル端末１は、制御部１００、表示部１０１、視線検出部１０２、撮像部１０３、映像解析部１０４、通信部１０５、メモリー１０６、装置状態表示制御部１０７、装置特定部１０８、データ特定部１０９、処理特定部１１０、データ処理要求部１１１、及び操作パネル表示制御部１１２を備える。これら構成要素は、内部バス１１３で互いに接続されている。

制御部１００は、透過型ウェアラブル端末１の全体的な動作制御を司る。

表示部１０１は、ユーザーによる視認が可能に映像を表示する。本実施形態では、表示部１０１を、ユーザーの網膜に映像を投影するデバイスからなるものとする。表示部１０１が、ユーザーの網膜に映像を投影することにより、透過型ウェアラブル端末１で生成された映像を仮想現実としてユーザーの目の前に表示する。

視線検出部１０２は、ユーザーの視線及び焦点距離を検出するデバイスである。具体的には、視線検出部１０２は、ユーザーの瞳孔の向きを検出することで、人が顔を向けている方向の視野においてその人が注視している位置（視線位置）及び焦点距離を検出する。人間の視野は、瞳孔が真正面を向いた状態で、片眼の水平方向で、耳側に約９０〜１００度、鼻側に約６０度、上側に約６０度、下側に約７０度と言われている。人間は、目だけを動かして当該視野内のものを注視することができる。

視線位置の検出には公知の技術を利用することができる。例えば、透過型ウェアラブル端末１が備える図略の可視光カメラで人の片眼を撮影し、目頭を基準点として瞳孔の動きを検出することで視線位置を検出することができる。あるいは、透過型ウェアラブル端末１が備える図略の近赤外線ＬＥＤ光源から片眼の表面に近赤外光を照射し、透過型ウェアラブル端末１が備える図略の近赤外線カメラで当該近赤外光の反射光（プルキニエ像）と瞳孔を撮影し、プルキニエ像と瞳孔中心との相対位置関係から視線位置を検出する。

撮像部１０３は、ユーザーの視界映像を撮像するデバイスであり、例えば、小型ＣＣＤカメラである。

映像解析部１０４は、撮像部１０３による撮像映像を例えばパターンマッチング等により解析して、当該映像に写ったデータ処理装置２、ユーザーの手の動き、及びジェスチャーを識別するデバイスであり、例えば、ＤＳＰ（Digital Signal Processor）である。

通信部１０５は、データ処理装置２などの他の機器と無線通信するデバイスである。無線通信方式として、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等が利用可能である。

メモリー１０６は、ＲＯＭやフラッシュメモリーなどの不揮発性メモリーと、ＲＡＭなどの揮発性メモリーとを含むデバイスである。メモリー１０６は、透過型ウェアラブル端末１の動作プログラムや、データ処理装置２での処理対象となるデータなどを保持する他、撮像部１０３の撮像映像などを一時的に記憶する。

装置状態表示制御部１０７は、表示部１０１により映像を表示させて、ユーザーの視界内にあるデータ処理装置２の装置状態を仮想現実として表示させるモジュールである。具体的には、装置状態表示制御部１０７は、通信部１０５を介して、映像解析部１０４によって識別されたデータ処理装置２から装置状態を示す装置状態情報（以下、単に装置状態という）を取得する。装置状態表示制御部１０７は、当該装置状態を示すアイコンを、ユーザーの視界内のデータ処理装置２の近傍に表示させる。

装置特定部１０８は、ユーザーが注視するデータ処理装置２を、ユーザーの視線に応じて特定するモジュールである。具体的には、装置特定部１０８は、視線検出部１０２の検出結果に基づいて、映像解析部１０４によって識別されたデータ処理装置２のうちユーザーが注視するデータ処理装置２を特定する。これにより、ユーザーの視界に複数のデータ処理装置２が存在する場合であっても、ユーザーが、その中からいずれか１つを注視すると、装置特定部１０８により１つのデータ処理装置２が特定されることになる。これにより、ユーザーは複数のデータ処理装置の中から１台のデータ処理装置を視線により選択することができる。

データ特定部１０９は、データ処理装置２での処理対象のデータを特定するモジュールである。具体的には、データ特定部１０９は、表示部１０１によりユーザーの視界にデータ選択ＧＵＩを重ねて表示させ、映像解析部１０４によって識別されたユーザーの手の動きに基づいて、当該データ選択ＧＵＩにおいてユーザーが選択したデータを特定する。

処理特定部１１０は、データ処理装置２に行わせるべきデータ処理を特定するモジュールである。具体的には、処理特定部１１０は、映像解析部１０４によって識別されたユーザーの手のジェスチャーに応じたデータ処理を特定する。

データ処理要求部１１１は、データ処理装置２にデータ処理を要求するモジュールである。具体的には、データ処理要求部１１１は、通信部１０５を介して、装置特定部１０８によって特定されたデータ処理装置２に対して、データ特定部１０９によって特定されたデータについて、処理特定部１１０によって特定されたデータ処理を行うように要求する。

操作パネル表示制御部１１２は、表示部１０１に映像を投影させて、ユーザーの視界内にあるデータ処理装置２についての操作パネルを、仮想現実として表示させるモジュールである。具体的には、操作パネル表示制御部１１２は、映像解析部１０４によって識別されたデータ処理装置２をユーザーが注視したことを、視線検出部１０２の検出結果に基づいて装置特定部１０８が検知したとき、又は、映像解析部１０４によって識別されたユーザーの手の動きに基づいて、ユーザーが視界内のデータ処理装置２の近傍に表示部１０１により表示されたアイコンに触れたことを検知したときに、当該データ処理装置２の操作パネルＧＵＩをユーザーの視界に重ねて表示部１０１により表示させる。

なお、装置状態表示制御部１０７、装置特定部１０８、データ特定部１０９、処理特定部１１０、データ処理要求部１１１、及び操作パネル表示制御部１１２は、専用のハードウェア回路で構成される他、コンピュータープログラムとしてメモリー１０６に記憶しておき、図略のＣＰＵが当該コンピュータープログラムに従って動作することで、装置状態表示制御部１０７、装置特定部１０８、データ特定部１０９、処理特定部１１０、データ処理要求部１１１、及び操作パネル表示制御部１１２として機能することにより構成することも可能である。

次に、データ処理システム１０におけるデータ処理手順について説明する。図３乃至図７は、データ処理システム１０の使用時のユーザーの視界を模式的に表した図である。図８は、データ処理システム１０におけるデータ処理手順を示すフローチャートである。

まず、表示部１０１により初期映像が表示される（Ｓ１）。この初期映像表示は、図３に示すように、透過型ウェアラブル端末１を装着したユーザーの視界にデータ選択ＧＵＩ１１を表示させ、目の前のデータ処理装置２の近傍に当該装置の装置状態を示すアイコン２１を表示するものである（図３）。ここで、まず、当該初期映像表示を説明する。図９は、初期映像表示の詳細なフローチャートである。

透過型ウェアラブル端末１の主電源スイッチがオンになると、映像解析部１０４は、撮像部１０３の撮像映像を解析して、当該映像に写ったデータ処理装置２を識別する（Ｓ１１）。映像解析部１０４は、例えば、撮像部１０３の撮像映像に写ったデータ処理装置２の画像と、メモリー１０６に予め登録されているデータ処理装置２の画像とのパターンマッチングにより、撮像部１０３の撮像映像に写ったデータ処理装置２を識別する。

映像解析部１０４によりユーザーの視界内にデータ処理装置２があると判断された場合（Ｓ１２でＹＥＳ）、装置状態表示制御部１０７は、通信部１０５を介して、映像解析部１０４によって識別されたデータ処理装置２から装置状態、及びデータ処理装置２が内蔵する記憶装置に記憶している内容を示す情報を取得し（Ｓ１３）、当該装置状態を示すアイコン２１をユーザーの視界内のデータ処理装置２の近傍に表示部１０１により表示させる（Ｓ１４）。また、データ特定部１０９は、ユーザーの視界内の予め定められた位置に、上記データ処理装置２が内蔵する記憶装置に記憶している内容を示す情報に基づいて、まずは当該記憶装置を示す画像としてのデータ選択ＧＵＩ１１を表示部１０１により表示させる（Ｓ１５）。これらデータ選択ＧＵＩ１１及びアイコン２１は、表示部１０１がユーザーの網膜に映像を投影することで見えるものである。

なお、ユーザーが頭を動かすなどして視界内のデータ処理装置２の位置が変わっても、データ特定部１０９は、表示部１０１により、データ選択ＧＵＩ１１を視界内で移動させずに上記予め定められた位置に表示させるが、装置状態表示制御部１０７は、表示部１０１により、アイコン２１を、視界内のデータ処理装置２の移動に追従してデータ処理装置２の近傍に表示させる。これにより、表示部１０１による初期映像の表示が完了する。

図８に戻る。ユーザーが自身の手を、視界内のデータ選択ＧＵＩ１１の表示位置に重ね合わせる等の操作を行うと、データ特定部１０９は、データ処理装置２で処理を行わせるべきデータを特定する（Ｓ２）。ここで、当該データ特定の処理を説明する。図１０は、データ特定の詳細なフローチャートである。

データ特定部１０９は、ユーザーの視界内の予め定められた位置にデータ選択ＧＵＩ１１を表示部１０１により表示させている（Ｓ２１）。このデータ選択ＧＵＩ１１は、上記初期映像表示時に表示されるものである。例えば、データ選択ＧＵＩ１１として、上記データ処理装置２が内蔵する記憶装置を示すフォルダーの画像が表示される（図３）。このとき、ユーザーが自身の手をデータ選択ＧＵＩ１１に重ね合わる等の操作を行うと、映像解析部１０４が撮像部１０３の撮像映像を解析して、当該映像に写ったユーザーによる当該手５の動きを識別すると（Ｓ２２でＹＥＳ）、データ特定部１０９は、表示部１０１により、データ選択ＧＵＩ１１の表示を、フォルダーが展開したように見せかける表示に変化させ、上記データ処理装置２が内蔵する記憶装置に記憶している内容を示す情報に基づいて、フォルダー内の各種データを示すアイコンを表示させる（Ｓ２３）。例えば、図４に例を示すように、データ特定部１０９は、フォルダー内に画像データ１１ａ及びテキストデータ１１ｂが格納されている状態を示す画像を表示部１０１により表示させる。

映像解析部１０４は、引き続き撮像部１０３の撮像映像を解析して、ユーザーがデータを選択したか否かを判定する。例えば、図４に示したように、ユーザーが手５を画像データ１１ａの表示位置に重ね合わせて、画像データ１１ａをフォルダーの画像の外に出す動作をした場合（Ｓ２４でＹＥＳ）、データ特定部１０９は、映像解析部１０４による当該手５の動きの解析結果に基づいて、ユーザーによる当該手５の動きに合わせて画像データ１１ａのアイコンを移動させる表示を表示部１０１に行わせるとともに（Ｓ２５）、画像データ１１ａを、データ処理装置２で処理すべきデータとして特定する（Ｓ２６）。

図８に戻る。Ｓ２のあと、ユーザーが視界内のデータ処理装置２を注視すると、装置特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーが注視するデータ処理装置２を、ユーザーが選択したデータの処理を行わせるべき装置として特定する（Ｓ３）。ここで、当該装置特定の処理を説明する。図１１は、装置特定の詳細なフローチャートである。

視線検出部１０２は、ユーザーの視線６及び焦点距離を検出する（Ｓ３１）。装置特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーが映像解析部１０４によって識別されたデータ処理装置２を注視しているか否かを判定する。ユーザーがデータ処理装置２を注視していると判断した場合（Ｓ３２でＹＥＳ）、装置特定部１０８は、通信部１０５を介して、そのデータ処理装置２と通信して、当該データ処理装置２から、当該データ処理装置２で実行可能なデータ処理及びそれに対応するジェスチャーを示すジェスチャー情報２２を取得する（Ｓ３３）。そして、装置特定部１０８は、データ処理装置２の動作状態を示すアイコン２１の表示を表示部１０１に変更させ（Ｓ３４）、ジェスチャー情報２２をユーザーの視界内のデータ処理装置２の近傍に表示させる（Ｓ３５）。例えば、図５に例を示すように、装置特定部１０８は、アイコン２１の表示内容を、図４に示したそれまでの「動作可能」から、「データ受信ＯＫ」（図５）に変化させ、また、ジェスチャー情報２２として、ＢＯＸ保存及びプリント（一部）の二つのデータ処理の情報を表示部１０１により表示させる。

なお、ユーザーが頭を動かすなどして視界内のデータ処理装置２の位置が変わると、装置特定部１０８は、ジェスチャー情報２２を、視界内のデータ処理装置２の移動に追従させて、データ処理装置２の近傍に表示部１０１により表示させる。

図８に戻る。ユーザーが手５を動かしてジェスチャーすると、撮像部１０３によって撮像された当該ジェスチャーの映像に基づいて映像解析部１０４が当該ジェスチャーを解析し、処理特定部１１０は、この解析結果に基づいて、当該シェスチャーに対応するデータ処理を特定する。処理特定部１１０は、当該データ処理を、Ｓ２でユーザーが選択したデータについて、ユーザーが注視したデータ処理装置２に行わせる処理として特定する（Ｓ４）。

図１２は、処理特定の詳細なフローチャートである。映像解析部１０４が撮像部１０３の撮像映像を解析して（Ｓ４１）、当該映像に写ったユーザーの手５のジェスチャーを識別する（Ｓ４２）。処理特定部１１０は、映像解析部１０４によって識別されたジェスチャーと装置特定部１０８によって取得されたジェスチャー情報２２とが一致するか否かを判定し、一致する場合には（Ｓ４３でＹＥＳ）、当該ジェスチャーに対応する処理を、データ処理装置２で行わせるべき処理として特定する（Ｓ４４）。例えば、図６に示したように、ユーザーの手５のジェスチャーがプリントのジェスチャーと同じであれば、処理特定部１１０は、データ処理装置２で実行すべき処理としてプリントを特定する。

図８に戻る。データ処理要求部１１１は、通信部１０５を介して、装置特定部１０８によって特定されたデータ処理装置２に対して、データ特定部１０９によって特定されたデータについて処理特定部１１０によって特定されたデータ処理を行うように要求する（Ｓ５）。例えば、図６に示すように、ユーザーがプリントのジェスチャーをすると、図７に示すように、データ処理装置２に対して、データ処理要求部１１１により、画像データ１１ａをプリントする要求が送られる。データ処理装置２は、当該要求を受けると、当該要求に従って、上記特定された画像データ１１ａをプリントする処理を実行する。

また、例えば、ユーザーがデータ処理装置２を注視するか、又は、ユーザーがアイコン２１に触れることで、操作パネル表示制御部１１２が、ユーザーの視界に操作パネルＧＵＩを仮想現実として表示させるようにしてもよい。ユーザーがデータ処理装置２を注視するか、又は、ユーザーがアイコン２１に触れたとき、装置状態表示制御部１０７は、通信部１０５を介して、映像解析部１０４によって識別されたデータ処理装置２から、上記装置状態として、データ処理装置２において実行可能な動作及びその操作指示内容を示す情報を取得し、装置状態表示制御部１０７が、データ処理装置２で実行可能な当該各動作についての操作指示を受け付けるための操作パネルＧＵＩを表示部１０１により表示させる。上記と同様に、処理特定部１１０は、映像解析部１０４によって識別された上記操作パネルＧＵＩに対するユーザーの手のジェスチャーに応じて、識別された各ジェスチャーに対応するデータ処理を特定する。データ処理要求部１１１は、通信部１０５を介して、当該特定されたデータ処理の実行をデータ処理装置２に対して要求する。これにより、ユーザーは、当該操作パネルＧＵＩを通じてデータ処理装置２を操作することが可能になる。

本実施形態によれば、ヘッドマウントディスプレイやメガネ型のウェアラブル機器、特に透過型ウェアラブル端末を使用して、従来よりも多彩なユーザーの手の動きに基づいて操作内容を特定して設定可能となり、これによりユーザーが直感的に操作によりデータ処理装置を操作でき、操作対象とする他の装置としてのデータ処理装置２に、所望のデータ処理を行わせることが可能になる。これにより、透過型ウェアラブル端末１を使用してユーザーの手のジェスチャーによって直感的にデータを扱うことができ、データ処理装置２におけるデータの操作性を向上させることで利便性を高める効果が得られる。また、ユーザーの視線により特定されたデータ処理装置２から、当該データ処理装置２が持つジェスチャー情報を取得して、特定されるデータ処理装置２毎にジェスチャーパターンの認識を行うため、多種多様なデータ処理装置２に対しても対応が可能となっており、汎用性を高める効果が期待される。

なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。例えば、データ処理装置２で処理すべきデータを同時に複数選択できるようにしてもよい。この場合、データ特定部１０９は、映像解析部１０４によって識別されたユーザーの第１の指及び第２の指の動きに応じて、ユーザーの手の第１の指（例えば、人差し指）の動きに基づいて第１のデータを特定するとともに、第２の指（例えば、中指）の動きに基づいて第２のデータを特定することで、処理対象のデータとして複数のデータを特定する。

なお、図１乃至図１２を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。

１ 透過型ウェアラブル端末
２ データ処理装置
３ データ保持装置
５ ユーザーの手
１０ データ処理システム
１１ データ選択ＧＵＩ
２１ アイコン
２２ ジェスチャー情報
１０１ 表示部
１０２ 視線検出部
１０３ 撮像部
１０４ 映像解析部
１０５ 通信部
１０７ 装置状態表示制御部
１０８ 装置特定部
１０９ データ特定部
１１０ 処理特定部
１１１ データ処理要求部
１１２ 操作パネル表示制御部

Claims (6)

1. ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
   ユーザーによる視認が可能に映像を表示する表示部と、
   ユーザーの視線及び焦点距離を検出する視線検出部と、
   ユーザーの視界映像を撮像する撮像部と、
   前記撮像部の撮像映像を解析して、当該映像に写ったデータ処理装置、及びユーザーによる手の動きを識別する映像解析部と、
   前記データ処理装置と通信する通信部と、
   前記通信部を介して、前記映像解析部によって識別された前記データ処理装置から装置状態を取得し、当該装置状態を示すアイコンを、ユーザーの視界内における当該データ処理装置に近い位置に、前記表示部により表示させる装置状態表示制御部と、
   前記視線検出部の検出結果に基づいて、前記映像解析部によって識別されたデータ処理装置のうちユーザーが注視するデータ処理装置を特定する装置特定部と、
   ユーザーの視界内にデータ選択ＧＵＩを表示させ、前記映像解析部によって識別されたユーザーによる手の動きに基づいて、当該データ選択ＧＵＩにおいてユーザーが選択したデータを特定するデータ特定部と、
   前記映像解析部によって識別されたユーザーの手のジェスチャーに応じたデータ処理を特定する処理特定部と、
   前記通信部を介して、前記装置特定部によって特定されたデータ処理装置に対して、前記データ特定部によって特定されたデータについて前記処理特定部によって特定されたデータ処理を行うように要求するデータ処理要求部と、を備えた透過型ウェアラブル端末。
2. 前記装置特定部は、ユーザーが注視するデータ処理装置を特定したとき、当該データ処理装置から、当該データ処理装置で実行可能なデータ処理及びそれに対応するジェスチャー情報を取得し、当該ジェスチャー情報を、ユーザーの視界内における当該データ処理装置の近い位置に、前記表示部により表示させる、請求項１に記載の透過型ウェアラブル端末。
3. 前記データ特定部は、ユーザーの手の第１の指の動きに基づいて第１のデータを特定するとともに、第２の指の動きに基づいて第２のデータを特定することで、処理対象のデータとして前記ユーザーにより選択された複数のデータを特定する、請求項１又は請求項２に記載の透過型ウェアラブル端末。
4. 前記映像解析部によって識別された前記データ処理装置をユーザーが注視したことを、前記視線検出部の検出結果に基づいて前記装置特定部が検知したとき、又は、前記映像解析部によって識別されたユーザーの手の動きに基づいて、ユーザーが視界内の前記データ処理装置の近くの位置に前記表示部により表示されたアイコンに触れたことを検知したときに、当該データ処理装置の操作パネルＧＵＩをユーザーの視界内に表示させる操作パネル表示制御部を更に備えた、請求項１乃至請求項３のいずれかに記載の透過型ウェアラブル端末。
5. 請求項１乃至請求項４のいずれかに記載の透過型ウェアラブル端末からデータ処理要求を受けて当該要求に係るデータ処理を行うデータ処理装置。
6. 請求項１乃至請求項４のいずれかに記載の透過型ウェアラブル端末と、
   請求項５に記載のデータ処理装置と、を備えるデータ処理システム。