JP2017045472A - タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 - Google Patents
タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 Download PDFInfo
- Publication number
- JP2017045472A JP2017045472A JP2016221061A JP2016221061A JP2017045472A JP 2017045472 A JP2017045472 A JP 2017045472A JP 2016221061 A JP2016221061 A JP 2016221061A JP 2016221061 A JP2016221061 A JP 2016221061A JP 2017045472 A JP2017045472 A JP 2017045472A
- Authority
- JP
- Japan
- Prior art keywords
- contact
- pointer
- display
- start position
- contact position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ヘッドマウントディスプレイとタッチパネル式装置とを連動させてヘッドマウントディスプレイ上の表示を操作するシステム、プログラム、及び方法【解決手段】タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、接触位置検出部にて検出した被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御部と、を備え、ヘッドマウントディスプレイはタッチパネル式装置と通信可能に接続されていることを特徴とする、システム。【選択図】図2
Description
本発明は、タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法に関し、より詳細には、タッチパネル式装置のタッチ面に対するタッチ操作により、ヘッドマウントディスプレイの表示領域に表示されるポインタを表示操作するシステム、プログラム、及び方法に関する。
近年、キーボードなどを有さず、入力がタッチ操作のみのタッチパネル式表示装置を備えた情報処理装置が広まっている。このようなタッチパネル式表示装置は、操作画面と表示画面が一体となっており、ユーザは画面を確認しながら指を画面に接触させて該画面上に示されるポインタを所望の位置に指定することができる。例えば、特許文献1〜4は、操作画面と表示画面が一体となったタッチパネル式表示装置に関する技術を開示しており、ユーザは画面を確認しながら該画面上に示されるポインタの所望の位置を指定することができる。また、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに画像を提示することが可能なヘッドマウントディスプレイ(HMD)が知られている。
タッチパネル式表示装置においては、ユーザはディスプレイ上に表示された画面を観察しながらタッチ操作を行うことができる。しかしながらタッチパネル式表示装置を、ユーザの目を完全に覆う非透過型のHMDと併せて用いる場合、HMDを装着しているユーザは仮想空間に完全に没入しており、ユーザは自身が保持しているタッチパネル式表示装置のタッチ面を観察することができないため、現在操作を行おうとしているタッチ面上の操作位置を観察することができない。
(1) 本発明は、タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、接触位置検出部にて検出した被接触物の接触位置の移動に基づく接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する表示制御部と、を備え、ヘッドマウントディスプレイはタッチパネル式装置と通信可能に接続されていることを特徴とするシステムに関係する。
(2) 本発明のシステムにおける他の実施形態によれば、システムはヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、表示制御部は接触位置検出部にて検出した被接触物の接触開始位置を、ポインタ位置取得部により取得されたポインタの操作開始位置に対応付けし、被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
(3) 本発明のシステムにおける他の実施形態によれば、システムは、被接触物の接触位置が、タッチパネル式装置のタッチ面に備えられる警告領域に存在するかを判定する接触位置判定部をさらに備え、被接触物の接触位置が前記警告領域に存在する場合に、タッチパネル式装置を振動させることを特徴とする。
(4) 本発明のシステムにおける他の実施形態によれば、接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、ポインタ位置取得部は、ポインタの前回の操作終了位置をポインタの次の操作開始位置に対応付けし、被接触物の前記次の接触開始位置に対する接触位置の移動に方向と距離に対応付けて、ポインタを前記次の操作開始位置から移動してヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
(2) 本発明のシステムにおける他の実施形態によれば、システムはヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、表示制御部は接触位置検出部にて検出した被接触物の接触開始位置を、ポインタ位置取得部により取得されたポインタの操作開始位置に対応付けし、被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
(3) 本発明のシステムにおける他の実施形態によれば、システムは、被接触物の接触位置が、タッチパネル式装置のタッチ面に備えられる警告領域に存在するかを判定する接触位置判定部をさらに備え、被接触物の接触位置が前記警告領域に存在する場合に、タッチパネル式装置を振動させることを特徴とする。
(4) 本発明のシステムにおける他の実施形態によれば、接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、ポインタ位置取得部は、ポインタの前回の操作終了位置をポインタの次の操作開始位置に対応付けし、被接触物の前記次の接触開始位置に対する接触位置の移動に方向と距離に対応付けて、ポインタを前記次の操作開始位置から移動してヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする。
この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。
以下、本実施形態について説明する。図1は、一実施例に係るシステムの構成図である。このシステムでは、タッチパネル式装置130と本体装置120が無線又は有線で通信可能に接続され、本体装置120とHMD110が無線又は有線で通信可能に接続されている。HMD110は、表示領域112を備えており、HMDを装着したユーザは表示領域112に表示される画像のみを観察することができる。タッチパネル式装置130は、タッチセンサ132と、振動部134を備えることができる。タッチセンサ132はユーザによるタッチ面に対する接触操作を検知する。非透過型のHMDを装着している場合、ユーザは保持しているタッチパネル式装置130の表示面を観察することはできないため、タッチセンサ132は、表示機能を有していなくても良い。振動部134は、本体装置120より受信する信号に応じてタッチパネル式装置を振動させるためのものである。本体装置120は、図2に示される機能を実現するための装置である。なお、タッチパネル式装置130は、公知のスマートフォン、タブレット端末、PDAにより実現され得る。
図2は、本発明の一実施例に係るシステムの機能的構成図である。本体装置120は、CPUなどの演算部に組み込まれたプログラムで制御された、接触位置検出部210と、表示制御部212と、接触位置判定部214と、ポインタ位置取得部216を備えている。なお、図2において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。
接触位置検出部210は、タッチセンサ132より出力された、ユーザの指などによる操作に基づく被接触物の接触に関する情報に基づいて、タッチパネル式装置130のタッチ面132に対する被接触物の接触位置を検出する。具体的には、タッチセンサ132がタッチパネル式装置130のタッチ面132に対する接触を検知すると、接触位置検出部210は、接触に関する情報を受信し、該情報に基づいてタッチパネル式表示装置の接触面上の直交するX、Y軸に基づいて、接触点の座標を接触位置T(xt、yt)として検出する。なお、接触位置検出部210は、タッチ面に対する被接触物の接触位置の検出だけではなく、接触面に指が接触したまま指が接触面を移動するスワイプ操作、タッチ面を叩くと言った短時間の接触によるタップ操作の検出を行うことができる。なお、以下では、被接触物が指である場合を例示して説明するが、被接触物は指であることに限定されない。
表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0(xt0、yt0)を、ポインタ位置取得部216により取得されたHMDの表示領域112におけるポインタの操作開始位置P0(xp0、yp0)に対応付けし、接触位置検出部にて検出した被接触物の接触開始位置からのスワイプ操作に基づく接触開始位置に対する接触位置の移動方向と距離に基づいて、HMDの表示領域上に表示するポインタを表示制御する。例えば、図3に示すように、タッチパネル式装置130のタッチ面132に対する被接触物(本実施例ではユーザの指)は、接触開始位置T0(xt0、yt0)を始点として、接触終了位置T1(xt1、yt1)までスワイプ移動している。被接触物の接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの移動方向と距離に基づいて、表示制御部212は、HMDの表示領域112上でポインタを操作開始位置P0(xp0、yp0)から操作終了位置(P1(xp1、yp1)へと移動表示する。なお、ポインタの形状は、矢印に限定されず、いかなる図形、例えばゲームキャラクタでもよい。また、ポインタの操作開始位置P0(xp0、yp0)は、本体装置120により実行されているアプリケーションの内容に基づいて決められる任意の位置、例えば操作中のゲームキャラクタの現在位置でも良いし、表示領域112上のあらかじめ定められた所定の位置、例えば表示領域112の中心位置でもよい。ポインタの操作開始位置P0(xp0、yp0)が表示領域112上のあらかじめ定められた所定の位置である場合には、表示制御部212はポインタ位置取得部によりポインタ位置を取得せずに、被接触物の接触開始位置T0(xt0、yt0)を、あらかじめ定められたポインタの所定の操作開始位置P0(xp0、yp0)に対応付けすることができる。
接触位置判定部214は、被接触物の接触位置が警告領域に存在するか否かを判定する。警告領域とは、タッチパネル式装置130のタッチ面132の一部の領域であり、例えば図4に示すように、タッチ面132の外延領域136である。
ポインタ位置取得部216は、HMD110の表示領域112上の直交するX,Y軸に基づいて、該表示領域112に表示されるポインタの座標をポインタ位置(xp、yp)として検出する。なお、上述したようにポインタの操作開始位置は、本体装置120により実行されているアプリケーションの内容等に基づいて定められているため、対応付けられているタッチ面上の接触位置T0とポインタの操作開始位置P0において、タッチ面132上の座標(xt、yt)が表示領域112上の座標(xp、yp)と同じわけではない。例えば図3に示すように、タッチ面132上の接触位置(xt0、yt0)はタッチ面132の中心より左下領域に存在するが、表示領域112上のポインタ操作開始位置P0は、表示領域112の中心より右上領域に存在する。HMDを装着しているユーザは、完全に外界の視界を失っているため、自身の保有するタッチ面132上のどの場所をタッチしているかを観察することができない。ユーザがタッチ面132を最初にタッチした場所を、HMDの表示領域112上に表示されているポインタの操作開始位置に対応付けることで、ユーザはタッチ面を観察することなしに、HMDの表示領域上に表示されている操作したいポインタを現在の表示位置から移動させることができる。
振動部134は、被接触物の接触位置が警告領域に存在する場合に、タッチパネル式装置を振動させる。HMDを装着しているユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。図4に示すように、ユーザの指がタッチ面の外縁領域136にかかるとき、すなわちユーザの指がタッチ面から外れそうであるときに、振動部134は、タッチパネル式装置を振動させることができる。ユーザはタッチ面を観察せずに、指がタッチ面から外れそうであることを直感的に理解することができる。
次に、図5を参照して、図2〜図4に対応するシステムの処理の流れを説明する。
まず、ユーザによりタッチパネル式装置のタッチ面に対する接触がなされると、センサ132はその接触を感知し、接触に関する情報を接触位置検出部210へ送信する。接触位置検出部210は、受信した接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0(xt0、yt0)を検出する(ステップ
502)。
まず、ユーザによりタッチパネル式装置のタッチ面に対する接触がなされると、センサ132はその接触を感知し、接触に関する情報を接触位置検出部210へ送信する。接触位置検出部210は、受信した接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0(xt0、yt0)を検出する(ステップ
502)。
次に、ステップ504において、表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0(xt0、yt0)を、ポインタ位置取得部216により取得された、HMDの表示領域112における操作位置を表すポインタの操作開始位置P0(xp0、yp0)に対応付けする。
次に、ユーザがタッチ面に指を接触したままの状態で指をスワイプ移動させている場合、すなわちセンサ132が連続的に接触を感知する場合、センサ132はユーザによるタッチ面に対する連続する接触に関する情報を接触位置検出部210へ出力する。接触位置検出部210は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触位置を検出する(ステップ506)。
次に、接触位置判定部214は、検出された接触位置が警告領域136内か否かを判定し、警告領域内にある場合には、タッチパネル式装置の振動部134を振動させ(ステップ510)、ステップ512に進む。ユーザはタッチパネル式装置の振動を感じると、ユーザはタッチ面から指が外れそうであることを直感的に認識することができる。検出された接触位置が警告領域内にない場合には、ステップ512に進む。
次に、表示制御部212は、タッチパネル式装置130のタッチ面上の被接触物の接触開始位置T0(xt0、yt0)に対する接触位置の移動方向と距離に対応付けて、HMDの表示領域112に表示されるポインタを、ポインタの操作開始位置P0(xp0、yp0)からHMDの表示領域に対して移動表示させる(ステップ512)。
そして、ステップ514において、接触位置検出部210が接触に関する情報をセンサ132より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、ユーザによるスワイプ操作が終了したとして操作を終了する。一方、接触位置検出部210は、接触に関する情報をセンサ132より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、ユーザによるスワイプ操作は継続しているとして、ステップ506に戻る。
ステップ506〜512の一連の処理を繰り返すことにより、図3に示すように、表示制御部212は、接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置P0(xp0、yp0)から操作終了位置P1(xp1,yp1)までHMDの表示領域112上に移動表示させることができる。接触位置Tと、該接触位置Tに対応づけられるポインタの操作位置Pは逐次メモリに格納することができる。
図6は、タッチパネル式装置のタッチ面132への被接触物による接触が一旦なくなり、すなわち、タッチ面132から指が一旦離され、新たに別の任意の場所においてタッチ面132への接触がなされた場合のタッチパネル式表示装置のタッチ面132と、それに対応するHMDの表示領域112を示す図である。図6の左側図は、タッチ面から指を離す前のタッチパネル式表示装置の表示領域132と、それに対応するHMDの表示領域112を示す。図6の右側図は、左側図に従ったタッチ面に対するスワイプ操作が行われた後、一旦タッチ面から指を離した後に、再度タッチパネル式表示装置のタッチ面がタッチされたときのタッチ面132と、それに対応するHMDの表示領域112を示す。
図6の左側図に示すタッチパネル式表示装置のタッチ面132と、それに対応するHMDの表示領域112は、図3に示されるものとほぼ同じものである。図6の左側図に示されるように、タッチパネル式装置130のタッチ面132に対する被接触物は、接触開始位置T0(xt0、yt0)を始点として、接触終了位置T1(xt1、yt1)までスワイプ移動している。被接触物の接触開始位置T0(xt0、yt0)から接触終了位置T1(xt1、yt1)までの方向と距離に基づいて、表示制御部212は、HMDの表示領域112上に表示されるポインタを操作開始位置P0(xp0、yp0)から操作終了位置P1(xp1、yp1)へ移動表示する。
ユーザは、タッチパネル式装置のタッチ面に対しスワイプ操作を行った後、一旦タッチ面から指を離してしまうと、HMDを装着したユーザは自身の保有するタッチパネル式装置のタッチ面を観察することができない。従ってユーザは、指を離す直前のタッチ面上の接触終了位置T1(xt1、yt1)を視認することができないため、ユーザにとってタッチ面上で指を離す直前の位置を探し当ててから、再度表示領域112上で前に操作していたポインタを再度操作することが難しい。
本発明によると、図6に示すように、図6の左側図に示される指を離す直前のポインタの操作終了位置P1(xp1,yp1)を、図6の右側図に示される指を離した後の表示領域112上のポインタの操作開始位置P1(xp1,yp1)とする。従って、ユーザは一旦指を離した後も、タッチパネル式装置のタッチ面132に対する任意の場所T0’ (xt0’、yt0’)を新たな接触開始位置として、表示領域112上のポインタを、前に操作終了した位置P1(xp1,yp1))を新たな操作開始位置として操作することができる。より詳細には、図6の右側図に示すように、タッチパネル式装置130のタッチ面132に対する被接触物は、任意の接触開始位置T0’(xt0’、yt0’)を始点として、接触終了位置T1’(xt1’、yt1’)までスワイプ移動している。被接触物の接触開始位置T0’(xt0’、yt0’)から接触終了位置T1’(xt1’、yt1’)までの方向と距離に基づいて、表示制御部212は、HMDの表示領域112上でポインタを操作開始位置P1(xp1、yp1)から操作終了位置P2(xp2、yp2)へと移動させる。図6の左側図におけるポインタの操作終了位置P1、右側図におけるポインタの操作終了位置P1は変化していない。
次に、図7を参照して、図6に対応するシステムの処理の流れを説明する。
まず、センサ132により出力された接触に関する情報に基づいて、接触位置検出部210は、ユーザによりタッチパネル式装置のタッチ面に対する新たな接触が検知されたか否かを判定する(ステップ702)。そして、ユーザによる接触が検知された場合に、接触位置検出部210は、該接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0’(xt0’、yt0’)を検出する(ステップ704)。
まず、センサ132により出力された接触に関する情報に基づいて、接触位置検出部210は、ユーザによりタッチパネル式装置のタッチ面に対する新たな接触が検知されたか否かを判定する(ステップ702)。そして、ユーザによる接触が検知された場合に、接触位置検出部210は、該接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触開始位置T0’(xt0’、yt0’)を検出する(ステップ704)。
次に、ポインタ位置取得部216は、ポインタの操作終了位置(例えば、図6の左側図におけるP1(xp1、yp1))がメモリに記憶されているか否かを判定する(ステップ706)。ポインタの操作終了位置が記憶されている場合に、ポインタ位置取得部216は、該操作終了位置(図6の左側図におけるP1(xp1、yp1))を次の操作開始位置(図6の右側図におけるP1(xp1、yp1))として取得する(ステップ708)。そして、ステップ710に進む。ポインタの操作終了位置が記憶されていない場合、ステップ710に進む。
次に、ステップ710において、表示制御部212は、接触位置検出部にて検出した被接触物の接触開始位置T0’(xt0’、yt0’)を、ポインタ位置取得部216により取得された、HMDの表示領域112における操作位置を表すポインタの操作開始位置(図6の右側図におけるP1(xp1、yp1))に対応付けする(ステップ710)。
次に、ユーザによりタッチ面に指を接触したままの状態で指を移動させている場合に、センサ132はユーザによるタッチ面に対する接触を感知し、接触に関する情報を接触位置検出部210へ出力する。接触位置検出部210は、前記接触に関する情報に基づいてタッチパネル式装置のタッチ面132に対する被接触物の接触位置を検出する(ステップ712)。
次に、表示制御部212は、被接触物の接触開始位置T0’(xt0’、yt0’)に対する接触位置の移動方向と距離に対応付けて、ポインタをポインタの操作開始位置P1(xp1、yp1)から移動表示する(ステップ714)。
そして、ステップ714において、接触位置検出部210は、接触に関する情報をセンサ132より受信しない場合、すなわち、タッチ面から被接触物が離れてしまった場合、タッチが終了したとして操作を終了する。一方、接触位置検出部210は、接触に関する情報をセンサ132より受信する場合、すなわち、タッチ面に被接触物が接触されたままである場合、タッチ操作は継続しているとして、ステップ712に戻る。
ステップ712〜716の処理を繰り返すことにより、表示制御部212は、接触開始位置T0’(xt0’、yt0’)から接触終了位置T1’(xt1’、yt1’)までの移動に伴う方向と距離に対応付けて、ポインタをポインタの操作開始位置P1(xp1、yp1)から操作終了位置P2(xp2,yp2)まで移動表示する。
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。
Claims (9)
- タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出部と、
前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御部と、を備え、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、システム。 - 請求項1記載のシステムは、
前記ヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得部をさらに備え、
前記表示制御部は、前記接触位置検出部にて検出した前記被接触物の接触開始位置を、前記ポインタ位置取得部により取得された前記ポインタの操作開始位置に対応付けし、前記被接触物の前記接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、システム。 - 請求項1記載のシステムは、
前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる前記警告領域内に存在するかを判定する接触位置判定部をさらに備え、
前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、システム。 - 請求項2記載のシステムであって、
前記接触位置検出部は、タッチ面に対する被接触物の次の接触開始位置を検出し、
前記ポインタ位置取得部は、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、システム。 - タッチパネル式装置に対する被接触物の移動をヘッドマウントディスプレイに対するポインタの表示に関連づける方法を、プロセッサに実行させるためのプログラムであって、該方法は、
タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御ステップと、を備え、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、プログラム。 - 請求項5記載のプログラムは、前記ヘッドマウントディスプレイの表示領域においてポインタの操作開始位置を取得するポインタ位置取得ステップをさらに備え、
前記表示制御ステップは、前記接触位置検出ステップにて検出した前記被接触物の接触開始位置を、前記ポインタ位置取得部により取得された前記ポインタの操作開始位置に対応付けし、前記被接触物の前記接触開始位置に対する接触位置の移動方向と距離に対応付けて、前記ポインタを前記ポインタの操作開始位置から操作終了位置まで移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、プログラム。 - 請求項5記載のプログラムは、
前記被接触物の接触位置が、前記タッチパネル式装置のタッチ面に備えられる前記警告領域内に存在するかを判定する接触位置判定ステップをさらに備え、
前記被接触物の接触位置が前記警告領域に存在する場合に、前記タッチパネル式装置を振動させることを特徴とする、プログラム。 - 請求項6記載のプログラムであって、
前記接触位置検出ステップは、タッチ面に対する被接触物の次の接触開始位置を検出し、
前記ポインタ位置取得ステップは、前記ポインタの前回の操作終了位置を、前記ポインタの次の操作開始位置に対応付けし、前記被接触物の前記次の接触開始位置に対する前記接触位置の移動方向と距離に対応付けて、前記ポインタを前記次の操作開始位置から移動して前記ヘッドマウントディスプレイの表示領域上で表示制御することを特徴とする、プログラム。 - タッチパネル式装置に対する被接触物の移動をヘッドマウントディスプレイに対するポインタの表示に関連づけるシステムの制御方法であって、
タッチパネル式装置のタッチ面に対する被接触物の接触位置を検出する接触位置検出ステップと、
前記接触位置検出部にて検出した前記被接触物の接触開始位置に対する接触位置の移動方向と距離に対応付けて、ヘッドマウントディスプレイの表示領域上で操作位置を表すポインタを表示制御する、表示制御ステップと、を備えており、
前記ヘッドマウントディスプレイは前記タッチパネル式装置と通信可能に接続されていることを特徴とする、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016221061A JP2017045472A (ja) | 2016-11-11 | 2016-11-11 | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016221061A JP2017045472A (ja) | 2016-11-11 | 2016-11-11 | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014251735A Division JP6074403B2 (ja) | 2014-12-12 | 2014-12-12 | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017045472A true JP2017045472A (ja) | 2017-03-02 |
Family
ID=58210547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016221061A Pending JP2017045472A (ja) | 2016-11-11 | 2016-11-11 | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017045472A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021527275A (ja) * | 2018-06-21 | 2021-10-11 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
-
2016
- 2016-11-11 JP JP2016221061A patent/JP2017045472A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021527275A (ja) * | 2018-06-21 | 2021-10-11 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
JP7382972B2 (ja) | 2018-06-21 | 2023-11-17 | マジック リープ, インコーポレイテッド | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102255774B1 (ko) | 제스처들을 이용한 디바이스와의 상호작용 | |
KR102408359B1 (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
JP4734435B2 (ja) | タッチパネル式ディスプレイを持った携帯型ゲーム装置 | |
KR101019254B1 (ko) | 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법 | |
JP6483556B2 (ja) | 操作認識装置、操作認識方法及びプログラム | |
JP7043166B2 (ja) | 表示制御装置、表示制御システム及び表示制御方法 | |
KR20130092074A (ko) | 제어 기기를 이용한 전자기기의 제어 방법 및 장치 | |
JP2014052950A (ja) | 情報端末 | |
JP2018049432A5 (ja) | ||
JP2015135572A (ja) | 情報処理装置とその制御方法 | |
JP5852514B2 (ja) | タッチセンサ | |
WO2017163566A1 (ja) | プログラム、コンピュータ装置、プログラム実行方法、及び、システム | |
JP6074403B2 (ja) | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 | |
JP4856136B2 (ja) | 移動制御プログラム | |
JP2017045472A (ja) | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 | |
JP5575027B2 (ja) | 表示一体型座標入力装置及び仮想キーボード機能の起動方法 | |
JP2016066254A (ja) | タッチ検出装置を備えた電子装置 | |
JP2016119019A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6548956B2 (ja) | システム、方法、およびプログラム | |
JP2015153197A (ja) | ポインティング位置決定システム | |
JP5769841B2 (ja) | タッチパネル式ディスプレイを持った携帯型ゲーム装置 | |
JP2017188140A (ja) | プログラム、コンピュータ装置、プログラム実行方法、及び、システム | |
KR101573287B1 (ko) | 전자기기에서 터치 위치 디스플레이 방법 및 장치 | |
JP6126639B2 (ja) | タッチパネル式ディスプレイを持った携帯型ゲーム装置及びゲームプログラム。 | |
KR101004671B1 (ko) | 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법 |