JP2017111537A - ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム - Google Patents
ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム Download PDFInfo
- Publication number
- JP2017111537A JP2017111537A JP2015244103A JP2015244103A JP2017111537A JP 2017111537 A JP2017111537 A JP 2017111537A JP 2015244103 A JP2015244103 A JP 2015244103A JP 2015244103 A JP2015244103 A JP 2015244103A JP 2017111537 A JP2017111537 A JP 2017111537A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- input
- thumb
- hand
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
特許文献1記載の入力方法は、左眼用の画面と右眼用の画面とを、タッチパネルの同一の表示領域に表示する表示処理と、表示領域内における操作に係るイベントを取得する取得処理と、左眼用の画面と右眼用の画面とのうち基準となる画面を特定する第1特定処理と、基準となる画面に基づいて、イベントによる指示を特定する第2特定処理とを含む。上記イベントによる指示は、数字、文字又は記号に係るコードを受け付けさせる指示であってもよい。
特許文献2記載のウェアラブルコンピュータ入力装置は、入力操作画面およびマウスポインタを表示するディスプレイを含み、オペレータの頭部に装着される画像表示装置と、画像表示装置に固定され、所定周期で質問電波を送信する質問電波送信器と、この質問電波送信器の質問電波に対する応答電波を受信可能に、画像表示装置に所定の間隔で配置された複数の応答電波受信器と、オペレータの手部に固定され、質問電波を受信して、第1のタグIDで変調された応答電波を送信する第1のRFIDタグと、オペレータの少なくとも2本の指先に固定された複数の接触センサと、これらの接触センサが互いに接触することによって動作し、質問電波を受信して、第2のタグIDで変調された応答電波を送信する第2のRFIDタグと、複数の応答電波受信器から出力された第1のタグIDに係る応答電波に基づいて手部から複数の応答電波受信器までの距離を演算し、この距離に基づいて入力操作画面の所定の位置にマウスポインタを表示させると共に、第2のタグIDに係る応答電波に基づいて入力操作画面における入力操作を受付ける通信制御装置と、を備えるものである。
特許文献3記載のまばたきによるクリック機能を有するポインティング装置は、眼の動きを捕捉し、ディスプレイ上の凝視している位置を検出し、眼のまばたきにより入力機能を実現する。入力機能は、クリック機能を中心とし、ディスプレイは、眼鏡型でコンピュータ画面を表示する眼鏡ディスプレイ2であり、眼の動きを捕捉し、眼鏡ディスプレイ2のどこを凝視しているかを検出するアイカメラ3を備え、眼鏡ディスプレイ2を支える眼鏡型フレーム1を備え、まばたきのうち左目および右目のまばたきを検出する左目まばたきセンサ4および右目まばたきセンサ5を備え、左目または右目の一方だけ閉じている期間が一定時間を超えている場合に、片目まばたきと判断し、両目が閉じていると判断したときにポインティング操作のキャンセルを行う機能を有する。
特許文献4記載の空間図形入力装置は、図形入力が開始されるまで仮想物体の画像データによる立体画像を表示し、図形入力が開始で、位置入力装置の磁気座標及びオペレータの位置を読み取り、実空間の座標値に変換する。次に視点位置を演算して視線方向を設定した後に視線方向を法線とし指示した座標点を通過する入力平面を生成し、入力平面により入力座標を制限し座標を出力する。従って、視線方向を法線とする入力平面上の座標成分のみ座標入力が可能のため、奥行き方向にぶれなく安定した入力が可能となる。
特許文献5記載のキーボード装置は、コンピュータ本体に情報を入力するキーボード装置は、左手入力用キー入力部と右手入力用キー入力部の2つのユニットから構成される。各キー入力部、には身体装着用のベルトが設けられ、左手入力用キー入力部は利用者の右前腕部に、右手入力用キー入力部は左前腕部にそれぞれ装着される。また、利用者の頭部には眼鏡型のアイグラスディスプレイが装着され、左右のキー入力部から入力した情報内容は該ディスプレイを通して確認することができる。なお、左右のキー入力部は左右の上腕部や脚に装着してもよい。
特許文献6の情報入力装置において、HMDは、使用者の頭部に装着される眼鏡形状の保持枠を備えている。保持枠には、使用者の左右の各眼球に対向する位置に、画像を表示するためのLCDパネルが設けられ、LCDパネルの下側にそれぞれ、使用者の左右の各眼球における視線を検出する視線検出器が設けられている。HMDを制御するコントローラは、視線検出器からの信号に基づいて、画面上の視点位置を決定し、この視点位置に関する情報を出力する。
特許文献7の入力装置において、作業者は、信号処理部を介してコンピュータに接続されている入出力部を、眼鏡のように頭部に装着する。コンピュータから出力された画像信号が画像拡大縮小部を介して画像表示部に入力され画像が表示される。作業者は、その画像を見ながら所望のオブジェクトに視点を移し、音声入力部に向かって所定の単語を発声する。すると、アイカメラはその視点を検出し視点位置計算部において座標変換を行い、また音声認識部がその単語を認識し、信号変換部でその視点位置および音声入力が対応付けられてコンピュータに入力される。コンピュータは、作業者が選択したオブジェクトを特定し、発声された単語の種類に対応した処理を行うものである。
特許文献8記載の情報入力装置および情報入力方法は、指し棒の赤外線発信部から赤外線、超音波発信部から超音波を同時に発信させる。ディスプレイ上の赤外線センサは赤外線を受信し、超音波センサは超音波を受信する。赤外線センサが赤外線を受信した時間を基準として、超音波センサが超音波を受信した時間との差を測定する。その時間の差と音速をかけ合わせることによって、超音波発信部と超音波センサまたは超音波発信部と超音波センサの距離を測定して、指し棒がディスプレイ上の指している位置を情報入力する。
特許文献9のデータ入力方法及びその装置には、眼鏡に内蔵された頭部動作検出部(HMD)により装置利用者の頭部の動きを検出する。例えば、情報処理装置(装置)によって表示された「はい」或いは「いいえ」の応答を促すメッセージに対して、装置利用者が“うなずく”動作をすれば、装置はこれをロー軸回りの回転と捉えて「はい」の応答とみなす。これに対して、装置利用者が“かぶりを振る”動作をすれば、装置はこれをピッチ軸回りの回転と捉えて「いいえ」の応答とみなすものである。
特許文献10の入力装置は、ディスプレイに電卓の3次元映像を表示する。このとき、ディスプレイは、現実に存在する机を透過して見ることができるようにする。ボタンを操作したか否かを、指先の位置とボタンの位置とから計算して求める。
また、仮想現実において、短時間で入力操作を行うことは、困難である。ウェアラブル、ヘッドマウントディスプレイにおいて短時間で入力操作を行うことが困難である。
一局面に従うヘッドマウントディスプレイは、立体視像を生成可能な表示装置と、手までの距離を測定する深度センサと、表示装置に仮想表示された入力文字と、深度センサによる手の動作に応じて仮想表示された入力文字の入力を判定する制御部と、を含み、制御部は、深度センサにより手の一の指と少なくとも他の指とを認識し、一の指と他の指との動作に応じて入力判定を行うものである。
第2の発明にかかるヘッドマウントディスプレイは、一局面に従うヘッドマウントディスプレイにおいて、一の指は、親指からなり、他の指は、人差し指および中指の少なくとも一方からなり、制御部は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態を判定して、当該入力文字の一部の位置を選定したと判定してもよい。
第3の発明にかかるヘッドマウントディスプレイは、一局面に従うヘッドマウントディスプレイにおいて、一の指は、親指からなり、他の指は、人差し指および中指の少なくとも一方からなり、制御部は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とを接触した状態から離れた状態を判定して、当該入力文字の一部の位置を選定したと判定してもよい。
第4の発明にかかるヘッドマウントディスプレイは、一局面から第3の発明にかかるヘッドマウントディスプレイにおいて、入力文字は、仮想表示されたキーボードからなってもよい。
第5の発明にかかるヘッドマウントディスプレイは、一局面に従うヘッドマウントディスプレイにおいて、一の指は、親指からなり、他の指は、人差し指および中指の少なくとも一方からなり、制御部は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態、当該接触した状態で入力文字の他部の位置まで移動した状態、および当該移動後前記手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定し、入力文字の一部から他部までの文字列を選定したと判定してもよい。
他の局面に従うヘッドマウントディスプレイのプログラムは、立体視像を生成可能な表示処理と、手までの距離を測定する深度センサ処理と、表示処理により仮想表示された入力文字と、深度センサ処理による手の動作に応じて仮想表示された入力文字の入力を判定する制御処理と、を含み、制御処理は、深度センサ処理により手の一の指と少なくとも他の指とを認識し、一の指と他の指との動作に応じて入力判定を行うものである。
第7の発明にかかるヘッドマウントディスプレイのプログラムは、他の局面に従うヘッドマウントディスプレイのプログラムにおいて、一の指は、親指からなり、他の指は、人差し指および中指の少なくとも一方からなり、制御処理は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態を判定して、当該入力文字の一部の位置を選定したと判定してもよい。
第8の発明にかかるヘッドマウントディスプレイのプログラムは、他の局面に従うヘッドマウントディスプレイのプログラムにおいて、一の指は、親指からなり、他の指は、人差し指および中指の少なくとも一方からなり、制御処理は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定して、当該入力文字の一部の位置を選定したと判定してもよい。
第9のヘッドマウントディスプレイのプログラムは、他の局面に従うヘッドマウントディスプレイのプログラムにおいて、一の指は、親指からなり、 他の指は、人差し指および中指の少なくとも一方からなり、制御処理は、仮想表示された入力文字の一部の位置において、手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態、当該接触した状態で入力文字の他部の位置まで移動した状態、および当該移動後手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定し、入力文字の一部から他部までの文字列を選定したと判定してもよい。
また、本発明は、以下に説明する眼鏡表示装置に限定されるものではなく、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
図1は、一実施の形態にかかる眼鏡表示装置100の基本構成の一例を示す模式的外観正面図であり、図2は、眼鏡表示装置100の一例を示す模式的外観斜視図である。
図1および図2に示すように、眼鏡ユニット200は、眼鏡フレーム210、一対の半透過ディスプレイ220および一対の表示調整機構600からなる。眼鏡フレーム210は、主にリムユニット211、テンプルユニット212を含む。
眼鏡フレーム210のリムユニット211により一対の半透過ディスプレイ220が支持される。また、リムユニット211には、一対の表示調整機構600が設けられる。さらに、リムユニット211には、赤外線検知ユニット410およびユニット調整機構500が設けられる。ユニット調整機構500の詳細については後述する。
一対の表示調整機構600は、後述するように一対の半透過ディスプレイ220の角度および位置を調整することができる。一対の表示調整機構600の詳細については、後述する。
また、当該レンズ類の一部に、半透過ディスプレイ220を埋め込んで設けてもよい。
また、一対の表示調整機構600を半透過ディスプレイ220の側部に設けているが、これに限定されず、半透過ディスプレイ220の周囲または内部に設けてもよい。
次に、通信システム300について説明を行なう。
通信システム300は、バッテリーユニット301、アンテナモジュール302、カメラユニット303、スピーカユニット304、GPS(Global Positioning System)ユニット307、マイクユニット308、SIM(Subscriber Identity Module Card)ユニット309およびメインユニット310を含む。
なお、カメラユニット303にはCCDセンサが備えられてもよい。スピーカユニット304は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。SIMユニット309には、NFC(Near Field Communication:近距離無線通信)ユニットおよび他の接触式ICカードユニット、ならびに非接触式ICカードユニットを含んでもよい。
したがって、ユーザは、眼鏡表示装置100を用いて、通信装置、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
続いて、操作システム400は、赤外線検知ユニット410、ジャイロセンサユニット420、加速度検知ユニット430および制御ユニット450からなる。赤外線検知ユニット410は、主に赤外線照射素子411および赤外線検知カメラ412からなる。
図2に示すように、ユニット調整機構500は、赤外線検知ユニット410の角度を調整することができる。具体的には、ユニット調整機構500は、矢印V5の水平軸周り、および、矢印H5の垂直軸周り、に赤外線検知ユニット410の角度を調整可能な構造である。
例えば、制御ユニット450により所定のジェスチャを認識した場合に、ユニット調整機構500を所定の角度で動作させてもよい。その場合、ユーザは、所定のジェスチャを行うことにより赤外線検知ユニット410の角度の調整を行うことができる。
ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。なお、ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、図5(a)に示すように、手のジェスチャを認識する。
これによって、図5(b)に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット303からの撮像データが表示されてよい。
次に、操作システム400の赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域との関係について説明を行なう。
図6は、赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域とを説明するための模式的斜視図であり、図7は図6の上面図であり、図8は、図6の側面図である。
三次元空間検知領域4103Dは、赤外線検知ユニット410からの円錐状または角錐状の三次元空間からなる。
また、本実施の形態においては、赤外線検知ユニット410を1個設けることとしているが、これに限定されず、赤外線検知ユニット410を複数個設けてもよいし、赤外線照射素子411を1個、赤外線検知カメラ412を複数個設けてもよい。
すなわち、実際には眼鏡表示装置100の半透過ディスプレイ220に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ220を透過し三次元空間領域2203DRで認識し、左目のイメージは左目側の半透過ディスプレイ220を透過し三次元空間領域2203DLで認識する。その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域2203Dで仮想イメージとして認識することができる。
また、図8に示すように、一対の半透過ディスプレイ220よりも赤外線検知ユニット410が上方(y軸正方向)に配設されている場合について説明しているが、鉛直方向(y軸方向)に対して、赤外線検知ユニット410の配設位置が半透過ディスプレイ220よりも下方(y軸負方向)または半透過ディスプレイ220と同位置であっても、同様に、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。
続いて、図9から図11は、図6から図8において示した検知領域と仮想表示領域との他の例を示す模式図である。
この場合、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
この場合でも、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図12および図13は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
また、三次元空間検知領域4103D内における操作領域410c以外の部分で、かつ腕の移動領域Lおよび移動領域Rを合わせた領域と重なる部分をジェスチャ領域410gとして設定する。
次いで、キャリブレーション処理について説明を行なう。図14は、キャリブレーション処理の説明を行なうためのフローチャートである。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域410cの調整を行なうものである。
なお、ジェスチャ領域410gは、仮想イメージ表示領域2203Dと重ならないように配置しかつ深さ方向(z軸正方向)に厚みを持たせることが好ましい。
そのため、赤外線検知ユニット410からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域2203Dから外れたとしても、そのような状態であることを体感しにくい。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
続いて、半透過ディスプレイ220に、像の周囲を指で囲んでくださいと、表示を行なう(ステップS16)。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ220に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。しかしながら、指によって形状を定める手法はこれに限定されず、表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図15は、指認識の一例を示す模式図である。図15において、(A)は指の先端付近の拡大図であり、(B)は指の根元付近の拡大図である。図16は、指認識の処理の一例を示すフローチャートである。
次に、赤外線検知ユニット410により画像データをピクセル単位で距離に置き換える(ステップS23)。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップを作成する(ステップS24)。
続いて、二値化した画像データから約100個の頂点を持つポリゴンを作成する(ステップS26)。そして、頂点が滑らかになるようにローパスフィルタ(LPF)により、より多くの頂点pnを有する新たな多角形を作成することによって、図15に示す手の外形OFを抽出する(ステップS27)。
なお、本実施の形態においては、ステップS26において二値化したデータからポリゴンを作成するために抽出する頂点の数を約100個としているが、これに限定されず、1000個、その他の任意の個数であってもよい。
その後、ステップS27で作成された新たな多角形と、ステップS28で作成された凸包との共有の頂点p0を抽出する(ステップS29)。このように抽出された共有の頂点p0自体を指の先端点として用いることができる。
さらに、頂点p0の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図15(A)に示すように頂点p0における外形OFの内接円の中心を先端点P0として算出することもできる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
グラフィック演算ユニット463は、キャリブレーションサービスユニット461を用いてキャリブレーションデータ記録ユニット457を参照し、表示の補正を行なう(ステップS36)。
最後に、ディスプレイ演算ユニット464により半透過ディスプレイ220に表示を行なう(ステップS37)。
次いで、図17は、掌認識の一例を示す模式図である。
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。
この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップS32の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
次に、図19は、眼鏡表示装置100の半透過ディスプレイ220の表示の一例を示す模式図である。
図20から図23は、図12から図14において説明した操作領域410cの他の例を示す模式図である。
図20および図21は、ユーザを上方から視認した状態を示す模式図であり、図22および図23は、ユーザを側方から視認した状態を示す模式図である。
すなわち、図21においては、ユーザが水平方向に手H1を移動させようとしているが、直線に近い移動軌跡RL2を通ることとなる。この場合、移動軌跡RL2の曲率半径はrad2である。ここで、人間工学に基づいて、当然のことながら、曲率半径rad1は、曲率半径rad2よりも小さい値となる。
すなわち、図23においては、ユーザが鉛直方向に手H1を移動させようとしているが、直線に近い移動軌跡RL4を通ることとなる。この場合、移動軌跡RL4の曲率半径はrad4である。ここで、人間工学に基づいて、当然のことながら、曲率半径rad3は、曲率半径rad4よりも小さい値となる。
図24は、文字入力における眼鏡表示装置100の制御ユニット450の動作の一例を示すフローチャートであり、図25は、半透過ディスプレイ220に表示されたキーボードKYの一例を示す模式図である。
また、図26、図27、図28および図29は、半透過ディスプレイ220に表示されたキーボードKYおよび手H1の一例を示す模式図である。
ここで、本実施の形態にかかる手H1の指認識は、親指と人差し指とを認識する。特に左手の手H1として認識する。
ここで、本実施の形態においては、親指と人差し指との接触を判定することとしているが、後述するように、親指と中指との接触、または親指と、人差し指および中指との接触を判定してもよい。
ここで、図26に示すように、制御ユニット450は、「あ」の文字を入力したと認識する。
この場合、文字「あ」が入力される。
ここで、接触した指同士が離間していないと判定した場合、制御ユニット450は、ステップS75の処理に戻り、処理を繰り返す。
例えば、図27に示すように、文字「え」と文字「お」との間の位置または文字「お」の位置で、指を接触させる。次いで、図28に示すように、文字「お」の位置から文字「さ」の位置まで移動させる。続いて、図29に示すように、文字「さ」の位置において、指を離間させる。
図30および図31に示すように、半透過ディスプレイ220に表示されたキーボードKYの「あ」の位置から親指と人差し指とを接触させた状態(ステップS73)で上方向(図中矢印方向)の文字「う」の位置に移動(ステップS75a))させて、文字「う」の位置で指同士離間(ステップS76a)を行った場合、制御ユニット450は、文字「う」を入力文字として認識する(ステップS79a)。
この場合、制御ユニット450は、指同士離間により入力文字を判定するので、文字「あ」の位置で、指同士接触が行われているが、文字「あ」を入力文字として認識せず、指同士離間の位置の文字「う」を入力文字として認識する。最後に、制御ユニット450は、文字「う」を入力文字として文字入力を行う(ステップS81a)。
なお、文字「あ」の位置で指同士離間が行われた場合には、当然、制御ユニット450は、文字「あ」を入力文字として認識する。
図32に示すように、半透過ディスプレイ220に表示されるキーボードKYは、パーソナルコンピュータ等で使用されるキーボードの配置であってもよい。
その結果、パーソナルコンピュータのキーボードの扱いに習熟しているユーザが容易に入力を行うことができる。
図33に示すように、制御ユニット450は、ステップS73の処理である指同士接触を親指と人差し指および中指との接触で判定してもよく、図34に示すように、ステップS73の処理である指同士接触を親指と中指との接触で判定してもよい。
また、図示していないが、制御ユニット450は、手H1の親指から小指までの全指を接触させて判定してもよい。
この場合、眼鏡表示装置100の半透過ディスプレイ220に表示された入力文字に対して、親指と人差し指および中指の少なくとも一方とをくっつける動作を行うことで、文字の入力を行うことができる。その結果、短時間で文字の入力操作を行うことができる。
なお、一の指と他の指とは、片側の手における親指、人差し指、中指、薬指、小指の少なくともいずれかと、当該片側の手における親指、人差し指、中指、薬指、小指の少なくともいずれかとであってもよく、または右手の親指、人差し指、中指、薬指、小指の少なくともいずれかと、左手の親指、人差し指、中指、薬指、小指の少なくともいずれかとであってもよいので、それぞれがくっつくことにより、文字の入力をすることができる。
例えば、上記の例以外に、ピースサインの人差し指と中指とをくっつけてもよく、左手の親指と右手の親指とをくっつけてもよく、左手の人差し指と右手の人差し指とをくっつけてもよく、左右の中指、左右の薬指、左右の小指をそれぞれくっつけてもよく、左手の親指と、右手の少なくともいずれかの指とをくっつけてもよく、左手の人指し指と、右手の少なくともいずれかの指とをくっつけてもよく、左手の薬指と、右手の少なくともいずれかの指とをくっつけてもよく、左手の中指と、右手の少なくともいずれかの指とをくっつけてもよく、左手の小指と、右手の少なくともいずれかの指とをくっつけてもよく、右手の親指と、左手の少なくともいずれかの指とをくっつけてもよく、右手の人指し指と、左手の少なくともいずれかの指とをくっつけてもよく、右手の薬指と、左手の少なくともいずれかの指とをくっつけてもよく、右手の中指と、左手の少なくともいずれかの指とをくっつけてもよく、右手の小指と、左手の少なくともいずれかの指とをくっつけてもよい。
220 半透過ディスプレイ
2203D 仮想イメージ表示領域(共有領域)
300 通信システム
303 カメラユニット
410 赤外線検知ユニット
410c 操作領域
420 ジャイロセンサユニット
430 加速度検知ユニット
4103D 三次元空間検知領域
450 制御ユニット
454 解剖学的認識ユニット
456 ジェスチャ識別ユニット
460 イベントサービスユニット
461 キャリブレーションサービスユニット
H1 手
RP 右肩関節
LP 左肩関節
Claims (9)
- 立体視像を生成可能な表示装置と、
手までの距離を測定する深度センサと、
前記表示装置に仮想表示された入力文字と、
前記深度センサによる手の動作に応じて前記仮想表示された入力文字の入力を判定する制御部と、を含み、
前記制御部は、前記深度センサにより前記手の一の指と少なくとも他の指とを認識し、前記一の指と他の指との動作に応じて入力判定を行う、ヘッドマウントディスプレイ。 - 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御部は、仮想表示された入力文字の一部の位置において、前記手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態を判定して、当該入力文字の一部の位置を選定したと判定する、請求項1記載のヘッドマウントディスプレイ。 - 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御部は、仮想表示された入力文字の一部の位置において、前記手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定して、当該入力文字の一部の位置を選定したと判定する、請求項1記載のヘッドマウントディスプレイ。 - 前記入力文字は、仮想表示されたキーボードからなる、請求項1から3のいずれか1項に記載のヘッドマウントディスプレイ。
- 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御部は、仮想表示された入力文字の一部の位置において、前記親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態、当該接触した状態で入力文字の他部の位置まで移動した状態、および当該移動後、前記親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定し、前記入力文字の一部から他部までの文字列を選定したと判定する、請求項1記載のヘッドマウントディスプレイ。 - 立体視像を生成可能な表示処理と、
手までの距離を測定する深度センサ処理と、
前記表示処理により仮想表示された入力文字と、
前記深度センサ処理による手の動作に応じて前記仮想表示された入力文字の入力を判定する制御処理と、を含み、
前記制御処理は、前記深度センサ処理により前記手の一の親指と少なくとも他の指とを認識し、前記親指と人差し指との動作に応じて入力判定を行う、ヘッドマウントディスプレイのプログラム。 - 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御処理は、仮想表示された入力文字の一部の位置において、前記手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態を判定して、当該入力文字の一部の位置を選定したと判定する、請求項6記載のヘッドマウントディスプレイのプログラム。 - 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御処理は、仮想表示された入力文字の一部の位置において、前記手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定して、当該入力文字の一部の位置を選定したと判定する、請求項6記載のヘッドマウントディスプレイのプログラム。 - 前記一の指は、親指からなり、
前記他の指は、人差し指および中指の少なくとも一方からなり、
前記制御処理は、仮想表示された入力文字の一部の位置において、前記手の親指と人差し指および中指の少なくとも一方とが離れた状態から接触した状態、当該接触した状態で入力文字の他部の位置まで移動した状態、および当該移動後前記手の親指と人差し指および中指の少なくとも一方とが接触した状態から離れた状態を判定し、前記入力文字の一部から他部までの文字列を選定したと判定する、請求項6記載のヘッドマウントディスプレイのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015244103A JP2017111537A (ja) | 2015-12-15 | 2015-12-15 | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015244103A JP2017111537A (ja) | 2015-12-15 | 2015-12-15 | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017111537A true JP2017111537A (ja) | 2017-06-22 |
Family
ID=59080815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015244103A Pending JP2017111537A (ja) | 2015-12-15 | 2015-12-15 | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017111537A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019133342A (ja) * | 2018-01-30 | 2019-08-08 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
CN110941328A (zh) * | 2018-09-25 | 2020-03-31 | 未来市股份有限公司 | 基于手势辨认的互动显示方法和装置 |
-
2015
- 2015-12-15 JP JP2015244103A patent/JP2017111537A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019133342A (ja) * | 2018-01-30 | 2019-08-08 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
JP6995650B2 (ja) | 2018-01-30 | 2022-01-14 | Dynabook株式会社 | ウェアラブル機器及びその操作方法 |
CN110941328A (zh) * | 2018-09-25 | 2020-03-31 | 未来市股份有限公司 | 基于手势辨认的互动显示方法和装置 |
JP2020052991A (ja) * | 2018-09-25 | 2020-04-02 | 未來市股▲ふん▼有限公司 | ジェスチャ認識に基づく対話型ディスプレイの方法及び装置 |
US10732725B2 (en) | 2018-09-25 | 2020-08-04 | XRSpace CO., LTD. | Method and apparatus of interactive display based on gesture recognition |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6195893B2 (ja) | 形状認識装置、形状認識プログラム、および形状認識方法 | |
JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6333801B2 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
JP6250024B2 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JP6250025B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP2017111537A (ja) | ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
JP2017111724A (ja) | 配管用ヘッドマウントディスプレイ | |
JP2017111721A (ja) | クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200609 |