JP2010287004A - Head mounted video display device - Google Patents
Head mounted video display device Download PDFInfo
- Publication number
- JP2010287004A JP2010287004A JP2009139793A JP2009139793A JP2010287004A JP 2010287004 A JP2010287004 A JP 2010287004A JP 2009139793 A JP2009139793 A JP 2009139793A JP 2009139793 A JP2009139793 A JP 2009139793A JP 2010287004 A JP2010287004 A JP 2010287004A
- Authority
- JP
- Japan
- Prior art keywords
- display device
- head
- movement
- sensor
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、頭部装着型映像表示装置に関する。 The present invention relates to a head-mounted image display device.
頭部の動きを検出して、表示画面に表示される画像を制御することが可能な頭部装着型映像表示装置が知られている（例えば、特許文献１参照）。 There is known a head-mounted video display device capable of detecting the movement of the head and controlling the image displayed on the display screen (see, for example, Patent Document 1).
しかしながら、特許文献１に記載の頭部装着型映像表示装置では、操作スイッチによる操作に加え、頭部の振り動作が必要となる。その結果、利用者の操作が煩雑となってしまう可能性があった。 However, in the head-mounted image display device described in Patent Document 1, in addition to the operation by the operation switch, the head swing operation is required. As a result, the user's operation may become complicated.
そこで、本発明は、利用者が簡便な動きで、より直感的に操作できる頭部装着型表示装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a head-mounted display device that can be operated more intuitively by a user with a simple movement.
前記課題を解決するための本発明の頭部装着型映像表示装置は、表示装置を支持するアームと、前記アームに対する前記表示装置の動きを検出するセンサと、前記センサにより、前記アームに対する前記表示装置の特定の動きが検出された場合に、前記特定の動きに対応する所定の処理を行う制御装置と、を備えることを特徴とする In order to solve the above problems, the head-mounted image display device of the present invention includes an arm that supports a display device, a sensor that detects movement of the display device relative to the arm, and the display for the arm by the sensor. And a control device that performs a predetermined process corresponding to the specific movement when a specific movement of the device is detected.
以上のように、本発明によれば、利用者が簡便な動きで、より直感的に操作できる頭部装着型表示装置を提供することができる。 As described above, according to the present invention, it is possible to provide a head-mounted display device that allows a user to operate more intuitively with a simple movement.
以下、本発明を実施するための一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment for carrying out the present invention will be described with reference to the drawings.
図１に、本発明にかかる頭部装着型映像表示装置（以下、ヘッドマウントディスプレイ装置；ＨＭＤと略記する）１の斜視図を示す。 FIG. 1 is a perspective view of a head-mounted image display device (hereinafter, abbreviated as HMD) 1 according to the present invention.
図示するように、本実施形態にかかるＨＭＤ１は、装着帯１１と、スピーカ１２Ａおよび１２Ｂ（これらを区別しない場合は、単にスピーカ１２と記載する）と、筐体１３Ａおよび１３Ｂ（これらを区別しない場合は、単に筐体１３と記載する）と、第一の連結機構１４と、アーム１５と、表示装置１６と、第二の連結機構１７と、操作スイッチ群１８と、を備えている。
As shown in the figure, the HMD 1 according to the present embodiment includes a wearing
装着帯１１の長手方向両端側には、筐体１３Ａおよび１３Ｂが連結されている。また、筐体１３Ａにはスピーカ１２Ａが、筐体１３Ｂにはスピーカ１２Ｂが、それぞれ接続されている。スピーカ１２Ａおよび１２Ｂは、利用者の両方の耳にあてがわれて使用されるいわゆるヘッドホン用のスピーカである。
なお、図１においては、向かって右側のスピーカ１２Ａが左耳用、向かって左側のスピーカ１２Ｂが右耳用としているが、これらの左右の別については、利用者が任意に切り換えることができる。
In FIG. 1, the
なお、本実施形態においては、筐体１３Ｂには、本装置の制御処理を行う制御装置３００と、各装置に電力を供給するバッテリを備えるバッテリ１９（図２参照）と、が内蔵されているものとする。加えて、筐体１３Ｂの、スピーカ１２Ｂとは逆側の外壁面には操作スイッチ群１８が設けられている。
In the present embodiment, the housing 13B includes a
表示装置１６は、表示装置筐体２０と、当該筐体内に収容される光学系等の各部品と、画像を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイと、を備えており、制御装置３００から供給される画像信号に基づいて、ディスプレイに画像を表示する。
The
なお、表示装置筐体２０には、さらに、表示装置１６の動きを検出するためのセンサ群２００（図２参照）が収容されているが、これについては後述する。
The
第一の連結機構１４は、筐体１３Ｂにアーム１５の一端を、図１に示すＸ軸回りの回動方向Ｘ１、および、Ｚ軸回りの回動方向Ｚ１に、回動自在に連結する。
The first connecting mechanism 14 rotatably connects one end of the
なお、ここでは図１に示す軸について、鉛直方向（利用者が直立する方向）の軸をＺ軸、利用者の一側面から他側面に向かう水平方向（スピーカ１２Ａ、１２Ｂを貫通する方向）の軸をＸ軸、利用者の正面から背面に向かう水平方向の軸をＹ軸として説明する。
In addition, about the axis | shaft shown in FIG. 1, the axis | shaft of the perpendicular direction (direction where a user stands upright) is made into a Z axis | shaft, and the horizontal direction (direction which penetrates the
第一の連結機構１４によりアーム１５を回動方向Ｘ１へと回動させると、利用者は、表示装置１６を利用者の眼前の位置（以下、視聴位置と称する）、および、装着帯１１と重なる位置（以下、退避位置と称する）に移動させることが可能である。
When the
また、ここでは回動方向Ｘ１の回転角を３６０°とすることで、利用者は、スピーカ１２Ａおよび１２Ｂの左右が反転するようにＨＭＤを装着することによって、表示装置１６の位置（左眼前、または、右眼前）についても変更することが可能である。
Further, here, by setting the rotation angle in the rotation direction X1 to 360 °, the user wears the HMD so that the left and right of the
アーム１５は、表示装置１６が利用者の眼前に位置するように、その長手方向において湾曲している。また、アーム１５の第一の連結機構１４とは逆側の一端には、第二の連結機構１７によって、表示装置１６が連結されている。
The
第二の連結機構１７は、表示装置１６を、図１に示すＸ軸回りの回動方向Ｘ２、Ｚ軸回りの回動方向Ｚ２、および、Ｙ軸回りの回動方向Ｙ２に回動自在にアーム１５に連結する。
The
なお、第二の連結機構１７は、表示装置１６の位置の微調整を容易とするために、所定の回転角の範囲でのみ回動自在とし、所定の角度で回転が抑止されるような構成としてもよい。
The
次に、本実施形態にかかるＨＭＤ１の備えるセンサ群２００、および、制御装置３００について図２を用いて説明する。図２は、本発明の一実施形態であるＨＭＤ１の機能を説明するための概略構成図である。
Next, the
まず、センサ群２００について説明する。センサ群２００は、表示装置筐体２０に収納され、表示装置１６の動きを検出するための３つのセンサから構成されている。
First, the
具体的に、センサ群２００は、角速度検出素子（Ｚ）２０１Ａおよび角速度検出素子（Ｘ）２０１Ｂを備える角速度センサ２０１と、加速度センサ２０２と、を備えている。
Specifically, the
角速度センサ２０１は、２つの角速度検出素子を備え、特定の基準軸（ここでは、２軸）回りの動きの情報を、角速度として検出するものである。
The
具体的に、角速度検出素子（Ｚ）２０１Ａはヨーイング（Ｙａｗ）方向の角速度、すなわちＺ軸回りの回転角の傾きであるヨー角を検出する。また、角速度検出素子（Ｘ）２０１Ｂはピッチング（Ｐｉｔｃｈ）方向の角速度、すなわちＸ軸の回りの回転角の傾きであるピッチ角を検出する（図１参照）。 Specifically, the angular velocity detection element (Z) 201A detects an angular velocity in the yawing direction, that is, a yaw angle that is an inclination of a rotation angle around the Z axis. Further, the angular velocity detection element (X) 201B detects an angular velocity in the pitching direction, that is, a pitch angle that is a tilt of a rotation angle around the X axis (see FIG. 1).
ここで、利用者がＨＭＤ１を装着した場合、角速度検出素子（Ｚ）２０１Ａの検出対象とする動きは、第一の連結機構を介してアーム１５を回動方向Ｚ１へ動かす際の動き、および、第二の連結機構を介して表示装置１６を回動方向Ｚ２へ動かす際の動きである。
Here, when the user wears the HMD 1, the movement to be detected by the angular velocity detection element (Z) 201 </ b> A is a movement when the
また、角速度検出素子（Ｘ）２０１Ｂの検出対象とする動きは、利用者が第一の連結機構を介してアーム１５を回動方向Ｘ１へ動かす際の動き、および、第二の連結機構を介して表示装置１６を回動方向Ｘ２へ動かす際の動きである。
In addition, the movements to be detected by the angular velocity detection element (X) 201B are movements when the user moves the
加速度センサ２０２は、少なくともＺ軸方向の重力加速度（表示装置１６のＺ軸に対する傾き）を検出するための加速度検出素子を備えている。ただし、立位、臥位、横臥位等の利用者の姿勢を区別するためには、２軸以上の加速度検出素子を備えていることが望ましい。
The
本実施形態においては、各センサは、所定の周期（例えば、５０ｍｓｅｃ）毎にサンプリングを実行し、検出結果を角速度または加速度に比例するアナログ電圧値として出力する。出力された電圧値は、Ａ／Ｄ変換器（図示しない）によってデジタル信号へ変換され、制御装置３００へと送られる。
In this embodiment, each sensor performs sampling every predetermined period (for example, 50 msec), and outputs a detection result as an analog voltage value proportional to the angular velocity or acceleration. The output voltage value is converted into a digital signal by an A / D converter (not shown) and sent to the
なお、角速度センサ２０１および加速度センサ２０２の検出軸は、上述のものに限定しない。例えば、角速度センサ２０１に、表示装置１６を回動方向Ｙ２へと動かす動作を検出するための、Ｙ軸を基準軸とする角速度検出素子を設けてロール角を検出できるような構成としても良い。
Note that the detection axes of the
制御装置３００は、制御部３１０と、記憶部３２０と、入出力インターフェース部３３０と、を有する。
The
次に、制御部３１０が実行する処理の一例について説明する。
Next, an example of processing executed by the
制御部３１０は、動き解析部３１１と、処理決定部３１２と、信号制御部３１３と、を備えている。
The
動き解析部３１１は、利用者の指示動作のうち、「行き」の動き、および、「戻り」の動きを判断するためのフラグ情報７００を管理する。
The
図４に示すフラグ情報７００は、フラグ情報記憶領域３２２に予め格納されている。フラグ情報７００は、実行フラグ格納領域７０１と、逆方向検出フラグ格納領域７０２と、を有する。
The flag information 700 illustrated in FIG. 4 is stored in advance in the flag
実行フラグ格納領域７０１には、所定の閾値（Ｔｈ１）以上の絶対値を有する角速度が検出された際に、当該角速度の角方向（ここでは、上下左右）を識別するための情報が、実行フラグとして格納される。
In the execution
逆方向検出フラグ格納領域７０２には、実行フラグの示す方向とは逆方向の角速度が検出された際、当該角速度の角方向（ここでは、角方向が上の場合には下、右の場合には左、逆も同じ）を識別するための情報が、逆方向検出フラグとして登録される。これにより、利用者の一連の「行き」の動きおよび「戻り」の動きの判断がなされる。詳細については後述する。
In the reverse direction detection
動き解析部３１１は、検出された角速度とその方向とから、上記のような各フラグの登録と削除を実行して、登録された各フラグを処理決定部３１２に出力する。
The
処理決定部３１２は、動き解析部３１１から出力される各フラグと処理情報６００とに従って、実行する制御処理を決定する。
The
図３に示す処理情報６００は、処理情報記憶領域３２１に予め格納されている。
Processing information 600 shown in FIG. 3 is stored in the processing
処理情報６００は、ＨＭＤ１で動作するプログラムの状態（例えば、表示画面）を識別するための情報を格納する状態格納領域６０１と、状態に依存して行われる処理を実行するための要件（各フラグおよびフラグの示す方向）を格納する要件格納領域６０２と、当該要件を満たす信号が検出された場合に実行される制御処理の内容を格納する内容格納領域６０３と、から構成される。
The processing information 600 includes a
なお、図３では、動作するプログラムがＷｅｂブラウザであり、状態がＷｅｂ閲覧画面である場合の例について記載したが、処理情報記憶領域３２１には、ＨＭＤ１で動作する各プログラムに応じた処理情報６００がそれぞれ記憶されているものとする。
In FIG. 3, an example in which the operating program is a Web browser and the state is the Web browsing screen has been described. However, in the processing
処理決定部３１２は、動き解析部３１１から出力された実行フラグまたは逆方向検出フラグを受け付けると、受け付けたフラグおよび当該フラグの示す方向と、要件格納領域６０２に格納されている要件と、を比較して、合致する要件に応じた処理の実行を決定し、信号制御部３１３に処理要求を出力する。
When the
信号制御部３１３は、処理決定部３１２の決定した制御処理を実行するための制御信号、例えば、表示装置１６への画像出力や、スピーカ１２への音声出力に関わる信号を生成および出力する。同様に、操作スイッチ群１８を介して受け付けた利用者の指示に対応する制御信号についても生成および出力する。
The
なお、制御処理の内容とは、制御処理を実行するための信号が生成可能な程度に処理の内容を示す情報である。その内容は動作中のプログラムやその状態に依存するが、例えば、動画や音声等の再生、停止、早送り、巻戻し、画面のスクロールや切り替え、音量の変更、および、これらの処理時間や処理量、処理の取消等である。 The content of the control process is information indicating the content of the process to such an extent that a signal for executing the control process can be generated. The contents depend on the running program and its state, but for example, playback, stop, fast forward, rewind, scroll and switch of the screen, change of the volume, change of the volume, and the processing time and processing amount of the movie and sound, etc. , Cancel processing, etc.
Ｉ／Ｆ部３３０は、スピーカ１２と、表示装置１６と、操作スイッチ群１８と、センサ群２００と、を制御装置３００に接続する。また、ＨＭＤ１と、外部機器とをデータ転送可能に接続する汎用バスとして、各規格に準拠する端子や、ネットワークに接続するための無線ＬＡＮモジュール等を備えていてもよい。
The I /
ここで、ＨＭＤ１のハードウェア構成について説明する。図７は、ＨＭＤ１の電気的な構成を示すブロック図である。 Here, the hardware configuration of the HMD 1 will be described. FIG. 7 is a block diagram showing an electrical configuration of the HMD 1.
図７に示すように、ＨＭＤ１は、各装置への制御を担うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１と、各種データを書換え可能に記憶するメモリ８２と、各種のプログラム、プログラムの生成するデータ等を格納する不揮発性の補助メモリ８３と、各デバイスとＣＰＵ８１を接続するＩ／Ｆ部３３０と、を備える。制御部３１０は、例えば、補助メモリ８３に記憶されている所定のプログラムを、メモリ８２に読み込み、ＣＰＵ８１で実行することにより実現可能である。
As shown in FIG. 7, the HMD 1 stores a CPU (Central Processing Unit) 81 that controls each device, a
次に、動き解析部３１１の実行する処理の流れについて、図５および図６を参照しながら詳細に説明する。
Next, the flow of processing executed by the
以下、左右方向を示す角速度検出素子（Ｚ）２０１Ａの電圧値から求められた角速度をＡＶ（Ｚ）、上下方向を示す角速度検出素子（Ｘ）２０１Ｂの電圧値から求められた角速度をＡＶ（Ｘ）とする。加えて、角速度ＡＶ（Ｚ）の方向のうち、右方向をＺ＋、左方向をＺ−、角速度ＡＶ（Ｘ）の方向のうち、上方向をＸ−、下方向をＸ＋として説明する。 Hereinafter, the angular velocity obtained from the voltage value of the angular velocity detection element (Z) 201A indicating the left-right direction is AV (Z), and the angular velocity obtained from the voltage value of the angular velocity detection element (X) 201B indicating the vertical direction is AV (X ). In addition, among the directions of the angular velocity AV (Z), the right direction is Z +, the left direction is Z−, and among the directions of the angular velocity AV (X), the upward direction is X−, and the downward direction is X +.
図５は、制御部３１０によって所定の制御処理が実行される際の角速度の経時変化の一例を示すチャートである。
FIG. 5 is a chart showing an example of the temporal change in angular velocity when the
図５に示すチャートでは、横軸は時間を、縦軸は角速度を示している。さらに、横軸より上側の座標は下方向および右方向の、横軸より下側の座標は上方向および左方向の角速度を示す。なお、ここでは、曲線９０１はＡＶ（Ｚ±）（左右方向）の角速度の経時変化を表す。
In the chart shown in FIG. 5, the horizontal axis indicates time, and the vertical axis indicates angular velocity. Further, coordinates above the horizontal axis indicate downward and rightward coordinates, and coordinates below the horizontal axis indicate upward and leftward angular velocities. Here, a
なお、本実施形態における制御処理の実行は、利用者による一連の指示動作、すなわち、表示装置１６を所定の方向へ回動させてから戻す動作の角速度が検出されることで開始される。そこで、図５に示す曲線９０１は、「行き」の動きが右方向、「戻り」の動きが左方向の指示動作であるものとして、以下、説明する。
The execution of the control processing in the present embodiment is started by detecting a series of instruction operations by the user, that is, an angular velocity of an operation of rotating the
図６は、本実施形態にかかる動き解析部３１１が、角速度センサ２０１から電圧値を受信した際に行う処理を説明するフローチャートである。
FIG. 6 is a flowchart for explaining processing performed when the
動き解析部３１１は、角速度センサ２０１および加速度センサ２０２から出力された電圧値を受信する（Ｓ１０１）。そして、各電圧値と、予め生成された基準値と、から利用者の動きの角速度および加速度を算出して、処理決定部３１２に出力する。
The
さらに、動き解析部３１１は、フラグ情報７００において、実行フラグが登録されているか否かを判断する（Ｓ１０２）。実行フラグが登録されていない場合には（ＮＯ）、ステップ１０３へ進み、登録されている場合には（ＹＥＳ）ステップ１０５へと進む。
Further, the
実行フラグが登録されていない場合（Ｓ１０２でＮＯ）、動き解析部３１１は、検出された角速度が所定の閾値（Ｔｈ１）以上か否かを判断する（Ｓ１０３）。そして、閾値（Ｔｈ１）以上であった場合（ＹＥＳ）、動き解析部３１１は、実行フラグ格納領域７０１に、当該角速度の角方向を示す情報を実行フラグとして登録して（Ｓ１０４）、当該実行フラグを含む情報を処理決定部３１２へと出力する。
When the execution flag is not registered (NO in S102), the
ここで、例えば図５中に示すＴ１は、利用者が「行き」の動きを行っていると考えられる時点である。この時点では、実行フラグ（および、逆方向検出フラグ）は登録されておらず、また、ＡＶ（Ｚ±）あるいはＡＶ（Ｘ±）の絶対値がＴｈ１以上となっているため、動き解析部３１１は実行フラグを登録する。
Here, for example, T 1 shown in FIG. 5 is a time point at which the user is considered to be moving “going”. At this time, the execution flag (and the reverse direction detection flag) is not registered, and the absolute value of AV (Z ±) or AV (X ±) is equal to or greater than Th 1, so that the
なお、ＡＶ（Ｚ±）およびＡＶ（Ｘ±）の両方の角速度が所定の閾値（Ｔｈ１）以上となった場合、ここでは最大の角速度の方向を示す実行フラグを登録するものとする。 When the angular velocities of both AV (Z ±) and AV (X ±) exceed a predetermined threshold (Th 1 ), an execution flag indicating the direction of the maximum angular velocity is registered here.
実行フラグが登録されている場合（Ｓ１０２でＹＥＳ）、動き解析部３１１は、フラグ情報７００に逆方向検出フラグが登録されているか否かをさらに判断する（Ｓ１０５）。逆方向検出フラグが登録されていない場合には（ＮＯ）ステップ１０６へ進み、登録されている場合には（ＹＥＳ）、ステップ１０８へと進む。
When the execution flag is registered (YES in S102), the
逆方向検出フラグが登録されていない場合（Ｓ１０５でＮＯ）、動き解析部３１１は、検出された角速度の角方向が、既に格納されている実行フラグの示す方向とは逆方向であり、かつ、その絶対値がＴｈ２以上か否かを判断する（Ｓ１０６）。実行フラグの示す方向とは逆方向で、かつ、その絶対値がＴｈ２以上の角速度が検出されている場合（ＹＥＳ）、動き解析部３１１は、フラグ情報７００に当該角速度の角方向を示す情報を逆方向検出フラグとして登録する（Ｓ１０７）。
When the reverse direction detection flag is not registered (NO in S105), the
ここで、例えば図５中に示すＴ２は、時点Ｔ１を経て利用者が「戻り」の動き開始したと考えられる時点である。この時点では、実行フラグのみが登録されており、また、ＡＶ（Ｚ＋）がＡＶ（Ｚ−）に、あるいは、ＡＶ（Ｘ−）がＡＶ（Ｘ＋）に切り換わってその絶対値がＴｈ２以上となっているため、動き解析部３１１は逆方向検出フラグを登録する。
Here, for example, T 2 shown in FIG. 5 is a time point at which it is considered that the user has started a “return” movement after time point T 1 . At this time, only the execution flag is registered, and AV (Z +) is switched to AV (Z−) or AV (X−) is switched to AV (X +), and the absolute value thereof is Th 2 or more. Therefore, the
逆方向検出フラグが登録されている場合（Ｓ１０５でＹＥＳ）、動き解析部３１１は、実行フラグの示す角方向およびその逆方向を示す角速度の絶対値が、所定の閾値（Ｔｈ２）未満か否かを判断する（Ｓ１０８）。閾値（Ｔｈ２）未満であった場合（ＹＥＳ）、フラグ情報７００に登録されている両フラグを削除する（Ｓ１０９）。
When the reverse direction detection flag is registered (YES in S105), the
ここで、例えば、図５中に示すＴ３は、時点Ｔ２を経て利用者が一連の指示動作を終了すると考えられる時点である。この時点では、両フラグが登録されており、さらに角速度の絶対値が所定の閾値Ｔｈ２以下となったことが検出されるため、動き解析部３１１は両フラグを削除する。
Here, for example, T 3 shown in FIG. 5 is a time when the user through the time T 2 can be considered to end a series of instructions operating. At this point, both flags are registered, further the absolute value of the angular velocity is detected to a predetermined threshold value Th 2 or less, the
なお、Ｔｈ２は利用者が「戻り」の動きの開始および終了した状態の指標となるものであるため、Ｔｈ１よりも小さな値であることが望ましい。 It should be noted that Th 2 is a value smaller than Th 1 because it serves as an indicator of the state where the user starts and ends the “return” movement.
以上のように、動き解析部３１１は、検出される角速度から利用者の指示動作を構成する「行き」の動きおよび「戻り」の動きを判断するための指標となるフラグの登録と削除を実行する。
As described above, the
次に、処理決定部３１２の実行する処理について、詳細に説明する。ただし、処理決定部３１２の実行する処理は、動作中のプログラムとその状態に依存するものであるため、まず、処理決定部３１２の基本的な処理を説明する。
Next, the process executed by the
処理決定部３１２は、動き解析部３１１から実行フラグまたは逆方向検出フラグを受信すると、処理情報６００（図３参照）から、動作中のプログラムとその状態に対応するレコードを、状態格納領域６０１を参照しながら特定する。そして、受信したフラグおよび当該フラグの示す方向と、特定したレコードの要件格納領域６０２に格納されているフラグおよびフラグの示す方向と、が合致するレコードが存在するか否かを判断する。
When the
合致するレコードが存在する場合には、当該レコードの内容格納領域６０３に格納されている処理内容を読み出して、当該処理を実行するよう信号制御部３１３に要求する。
If there is a matching record, the processing content stored in the
なお、処理決定部３１２は、加速度の値から、表示装置１６の位置を判断して、出力画像の上下方向を決定する処理についても実行する。
Note that the
以下、具体的な各動作プログラムおよびその状態の例を挙げながら説明する。
＜システムの起動＞
処理決定部３１２は、電源スイッチがオンにされると、動き解析部３１１から出力される加速度および角速度の受け付けを開始する。そして、受信した加速度の値が、所定の閾値を満たしているか否かを検出することで、利用者の姿勢および表示装置１６が利用者の左右どちらの眼前に位置しているかを判断し、表示装置１６に表示する画像の上下を決定する。
Hereinafter, description will be given by giving specific examples of operation programs and their states.
<System startup>
When the power switch is turned on, the
例えば、Ｚ軸の加速度が、表示装置１６が利用者の眼前（視聴位置）にある場合に＋１Ｇまたは−１Ｇ、表示装置１６が退避位置にある場合に０Ｇとなるような加速度検出素子を利用することができる。これによれば、利用者が立位でかつ正面を向いた状態で表示装置１６を視聴位置にしている場合、Ｚ軸の加速度の値の正負により、表示装置１６が左眼前あるいは右眼前のどちらに位置しているかを判断し、表示画像の上下を設定することが出来る。
For example, an acceleration detecting element is used in which the Z-axis acceleration is + 1G or -1G when the
もちろん、３軸の加速度検出素子を備え、利用者の姿勢および表示装置１６の位置を追跡して、出力画像の上下を適宜修正しても良い。
Of course, a three-axis acceleration detecting element may be provided, and the user's posture and the position of the
処理決定部３１２は、このようにして決定した画像の設定方向を、信号制御部３１３へと出力する。信号制御部３１３は、以後、この設定方向にあわせて画像を生成、出力する。
＜メニュー画面＞
システムやアプリケーション等のメニュー画面では、表示装置１６には、例えば、画面上の所定の表示領域ごとにタスクを割り当てたユーザインターフェース画面が表示される。利用者は、このようなユーザインターフェース画面を通じて、起動するアプリケーション等の選択や、システムの設定を行うことができる。
The
<Menu screen>
In the menu screen of the system, application, etc., for example, a user interface screen in which tasks are assigned for each predetermined display area on the screen is displayed on the
ユーザインターフェース画面としては、プルダウンメニュー等、利用者が上下左右方向への指示動作を行うことで、アプリケーション選択用のフォーカスを移動させて選択操作を可能とするものであれば、どのような形式でも良い。 The user interface screen can be in any form, such as a pull-down menu, as long as the user can perform the selection operation by moving the focus for application selection by performing an up / down / left / right instruction operation. good.
処理決定部３１２は、動作中のプログラムとその状態（ここでは、メニュー画面）に応じた処理情報６００を検索して、受信したフラグおよびフラグの示す方向から、処理内容を決定する。
The
例えば、上下左右何れかの方向を示す実行フラグを受信した場合には、該当する方向へ選択用のフォーカスを移動させる。 For example, when an execution flag indicating one of up, down, left and right directions is received, the selection focus is moved in the corresponding direction.
また、プルダウンメニューの場合には、右方向を示す実行フラグを受信した場合にメニューをプルダウンさせ、左方向を示す実行フラグを受信した場合にメニューをプルアップさせて、選択用のフォーカスは上下方向のみに移動させるような構成としても良い。
＜画像閲覧＞
画像閲覧のアプリケーション等で実行される画像閲覧画面では、メニュー選択と同様に特定のユーザインターフェース画面が表示される。例えば、並んだ画像のサムネイルを利用者が選択するような画面が挙げられる。ここでは、横一列に並んだサムネイルを利用者が選択する際の処理について説明する。
In the case of a pull-down menu, the menu is pulled down when an execution flag indicating the right direction is received, and the menu is pulled up when an execution flag indicating the left direction is received. It is good also as a structure which moves only to.
<Browsing images>
On the image browsing screen executed by an image browsing application or the like, a specific user interface screen is displayed in the same manner as the menu selection. For example, there is a screen in which the user selects a thumbnail of the arranged images. Here, processing when the user selects thumbnails arranged in a horizontal row will be described.
具体的に、処理決定部３１２は、左右何れかの方向を示す実行フラグを受信した場合には、該当する方向へサムネイル選択用のフォーカスを移動させる。もちろん、一画面に１つのサムネイルのみを表示し、左右方向に画面ごと切り換えて表示されるサムネイルを変更しても良い。
Specifically, when receiving an execution flag indicating one of the left and right directions, the
また、実行フラグの受信によりフォーカスの移動および画面の切り換えを連続して開始し、逆方向検出フラグの受信により移動および切り換えを停止するような構成としても良い。 Alternatively, the focus movement and the screen switching may be continuously started by receiving the execution flag, and the movement and switching may be stopped by receiving the reverse direction detection flag.
なお、処理決定部３１２は、上方向を示す実行フラグを受信した場合には、サムネイルを拡大して画像を全画面表示し、全画面表示中に下方向を示す実行フラグを受信した場合には、全画面表示を解除してサムネイル画面に戻す。
＜ＷｅｂブラウザによるＷｅｂ閲覧＞
本実施形態に係るＷｅｂブラウザでは、利用者は、指示操作により、Ｗｅｂページのスクロールと、Ｗｅｂページを進める、および、戻すことが可能である。
When the
<Web browsing by Web browser>
In the Web browser according to the present embodiment, the user can scroll the Web page and advance and return the Web page by an instruction operation.
なお、ここでは、右方向の実行フラグを受信した場合にＷｅｂページを進め、左方向の実行フラグを受信した場合にＷｅｂページを戻す処理が実行されるものとする。 In this example, it is assumed that processing is performed to advance the Web page when a right execution flag is received, and to return the Web page when a left execution flag is received.
また、上下方向の実行フラグを受信した場合には、Ｗｅｂページを所定の方向にスクロールし、当該スクロール中に逆方向検出フラグを受信した場合には、スクロールを停止させる。 In addition, when the execution flag in the vertical direction is received, the Web page is scrolled in a predetermined direction, and when the reverse direction detection flag is received during the scrolling, the scrolling is stopped.
以上、本発明の一実施形態について説明した。 The embodiment of the present invention has been described above.
上記実施形態によれば、利用者は、アームおよび表示装置を動かすことで、より直感的な指示の入力操作を行うことが可能である。 According to the embodiment, the user can perform a more intuitive instruction input operation by moving the arm and the display device.
また、マウス等の外部のデバイスを必要とせず、頭部装着型映像表示装置のみにより使い勝手の良いインターフェースを提供することができる。 In addition, an easy-to-use interface can be provided by using only a head-mounted video display device without requiring an external device such as a mouse.
また、本発明は、上記のような実施形態には制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。 Further, the present invention is not limited to the embodiment as described above. The above embodiment can be variously modified within the scope of the technical idea of the present invention.
例えば、上記実施形態では、動き解析部３１１が角速度の閾値により利用者の動きを判断する構成としたが、あらかじめ所定の処理に対応する基準となる角速度の経時変化を示す理想波形を記憶部３２０に記憶しておき、検出される角速度の経時変化と相関を取って利用者の動きを判断しても良い。例えば、検出された角速度の経時変化と、基準となる理想波形と、の相関値を算出し、相関値が一定以上である場合に、対応する処理の実行が指示されたと判断することが可能である。
For example, in the above-described embodiment, the
また、例えば、動き解析部３１１あるいは処理決定部３１２が、所定の時間毎に得られる角速度を積分して角度変化量を算出し、ある基準時点からの角度変化量を積算して合計角度変化量、すなわち、表示装置１６の基準時点における位置（以下、基準点と称する）からの旋回角度を算出しても良い。
Further, for example, the
さらに、予め旋回角度と処理速度を相関させた情報を記憶部３２０に記憶させておき、処理決定部３１２は、フォーカスの移動速度、画面の切り換え速度、およびスクロール速度等を、旋回角度に比例して変化させるような構成としてもよい。これにより、利用者が大きな動き（表示装置１６が、視野範囲からより離れる動き）をした場合に、より速い速度で処理が実行される。
Further, information in which the turning angle and the processing speed are correlated in advance is stored in the
このように処理量を変化させる処理は、処理量を規定可能な処理であれば、上記以外のどのようなものであっても良い。例えば、音量の設定や画像の大きさの設定等でも、旋回角度とその処理量を相関させることができる。 The processing for changing the processing amount as described above may be any processing other than the above as long as the processing amount can be specified. For example, the turning angle and the processing amount can be correlated with the setting of the volume and the setting of the size of the image.
また、基準点の位置は、利用者の視野範囲（Ｅｙｅ Ｍｏｔｉｏｎ Ｂｏｘ；ＥＭＢ）内の中心およびその周辺とするのが望ましい。本実施形態に係るＨＭＤ１のＥＭＢとは、例えば、眼球水晶体頂角から表示装置１６の有するレンズ中心までを結ぶ結線上に中心を有する正方形の範囲である。なお、その大きさは結線の長さが５−３０ｍｍの場合、一辺が約２ｃｍ程度であることが望ましい。
In addition, the position of the reference point is preferably the center in the user's visual field range (EMB) and the periphery thereof. The EMB of the HMD 1 according to the present embodiment is, for example, a square range having a center on a connection line connecting from the eyeball lens apex angle to the lens center of the
ＥＭＢは、基準となる所定の範囲を予め定めておいても良いし、利用者に眼前に表示装置１６を位置させるよう指示して設定しても良い。この場合、設定時に角速度センサ２０１から出力された電圧値を基準値として記憶しておくことで、以後、表示装置１６の基準点からの旋回角度を求めることが可能となる。また、旋回角度から、表示装置１６の基準点からの距離、すなわち、ＥＭＢ内に表示装置１６があるか否かについても、求めることができる。
The EMB may set a predetermined range as a reference in advance, or may be set by instructing the user to position the
このような構成により、ＥＭＢの中心点からの旋回角度を処理に反映させることで、利用者は、より直感的な操作が可能となる。 With such a configuration, the user can perform a more intuitive operation by reflecting the turning angle from the center point of the EMB in the process.
また、動き解析部３１１は、ＨＭＤ１のヘッドホン型の本体、例えば、筐体１３等に第二の角速度センサをさらに設ける構成としても良い。
Further, the
この場合、動き解析部３１１は、第二の角速度センサから受信した特定の方向の角速度が所定の閾値Ｔｈ３以上の大きさであった場合、第一の角速度センサ２０１からの同じ方向の角速度については、処理を実行しないで無視する構成としても良い。これにより、利用者が特定の方向へ頭部を動かした場合に、処理が実行されるのを防ぐことができる。
In this case, the
なお、動き解析部３１１が、第一の角速度センサ２０１および第二の角速度センサそれぞれの出力値から旋回角度を算出して、第一の角速度センサの出力値から導いた旋回角度
から、第二の角速度センサの出力値から導いた旋回角度を差し引いても良い。これにより、表示装置１６を移動させる動きのみを抽出することができる。
Note that the
以上のような構成により、本発明に係るＨＭＤ１は、表示装置１６を移動させる動きにのみを検出し、それ以外の動きを無視することで、誤操作を防止することが可能となる。
With the configuration as described above, the HMD 1 according to the present invention can prevent an erroneous operation by detecting only the movement of the
さらに、処理情報６００の要件格納領域６０３に格納される要件についても、角速度ではなく、旋回角度を規定しても良い。また、角速度センサ２０１を用いず、加速度センサのみを用いる場合には、速度で要件を規定することもできる。
Furthermore, as for the requirements stored in the
なお、以上に述べた実施形態における制御装置３００の適用は、頭部装着型映像表示装置に限定されない。各種センサを備え、利用者の動きにより処理を行う他の装置についても、適用が可能である。
Note that the application of the
なお、本発明のＨＭＤは、片眼で映像を見る構成となっているが、両眼で映像を見るような構成としても良い。 Note that the HMD of the present invention is configured to view an image with one eye, but may be configured to view an image with both eyes.
１１：装着帯、１２：スピーカ、１３：筐体、１４：第一の連結機構、１５：アーム、１６：表示装置、１７：第二の連結機構、１８：操作スイッチ群、２０：表示装置筐体、２００：センサ群、２０１：角速度センサ、２０２：加速度センサ、３００：制御装置。 11: mounting band, 12: speaker, 13: housing, 14: first coupling mechanism, 15: arm, 16: display device, 17: second coupling mechanism, 18: operation switch group, 20: display device housing Body, 200: sensor group, 201: angular velocity sensor, 202: acceleration sensor, 300: control device.
Claims (7)
前記アームに対する前記表示装置の動きを検出するセンサと、
前記センサにより、前記アームに対する前記表示装置の特定の動きが検出された場合に、前記特定の動きに対応する所定の処理を行う制御装置と、を備えること
を特徴とする頭部装着型映像表示装置。 An arm for supporting the display device;
A sensor for detecting movement of the display device relative to the arm;
A head-mounted video display comprising: a control device that performs a predetermined process corresponding to the specific movement when the sensor detects a specific movement of the display device relative to the arm. apparatus.
前記アームを支持する装着帯を、さらに備え、
前記センサは、前記装着帯に対する前記アームの動きを検出し、
前記制御装置は、前記センサにより、前記装着帯に対する前記アームの特定の動きが検出された場合に、検出された前記特定の動きに対応する所定の処理を行うこと、
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to claim 1,
A mounting band for supporting the arm;
The sensor detects movement of the arm relative to the wearing band;
The controller performs a predetermined process corresponding to the detected specific movement when the sensor detects a specific movement of the arm with respect to the wearing band;
A head-mounted image display device characterized by the above.
前記センサは、角速度センサであること、
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to claim 1 or 2,
The sensor is an angular velocity sensor;
A head-mounted image display device characterized by the above.
前記所定の処理は、画面のスクロール、画面の切り換え、および、フォーカスの移動の何れかであること
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to any one of claims 1 to 3,
The head-mounted image display device characterized in that the predetermined process is any one of screen scrolling, screen switching, and focus movement.
前記アームは、前記表示部を所定の軸に対して旋回するように支持し、
前記制御装置は、所定の基準点からの前記表示装置の旋回角度をさらに検出し、前記旋回角度に応じて、前記所定の処理の時間に対する処理量を変化させること
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to claim 4,
The arm supports the display unit so as to pivot about a predetermined axis,
The control device further detects a turning angle of the display device from a predetermined reference point, and changes a processing amount with respect to a time of the predetermined processing according to the turning angle. Video display device.
少なくとも鉛直方向の重力加速度を検出する加速度センサを、さらに備え、
前記制御装置は、前記重力加速度の値に応じて、前記表示装置に表示させる画像の方向を決定すること
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to any one of claims 1 to 5,
An acceleration sensor for detecting at least vertical gravitational acceleration;
The head-mounted video display device, wherein the control device determines a direction of an image to be displayed on the display device according to the value of the gravitational acceleration.
前記装着帯は、所定の軸に対する利用者の頭部の動きの速度を検出するセンサを、さらに備え、
前記装着帯の備えるセンサにより特定の動きが検出された場合に、前記所定の処理を実行しないこと
を特徴とする頭部装着型映像表示装置。 The head-mounted image display device according to any one of claims 2 to 6,
The wearing band further includes a sensor that detects a speed of movement of the user's head relative to a predetermined axis,
The head-mounted image display device, wherein the predetermined process is not executed when a specific movement is detected by a sensor included in the wearing band.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009139793A JP2010287004A (en) | 2009-06-11 | 2009-06-11 | Head mounted video display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009139793A JP2010287004A (en) | 2009-06-11 | 2009-06-11 | Head mounted video display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010287004A true JP2010287004A (en) | 2010-12-24 |
Family
ID=43542659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009139793A Pending JP2010287004A (en) | 2009-06-11 | 2009-06-11 | Head mounted video display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010287004A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150208A (en) * | 2011-01-18 | 2012-08-09 | Kagoshima Univ | Display control device, display control method, program, and recording medium |
| JP2012178097A (en) * | 2011-02-28 | 2012-09-13 | Olympus Corp | Head mounting type display device and client device |
| WO2014128752A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Display control device, display control program, and display control method |
| US10120419B2 (en) | 2015-12-24 | 2018-11-06 | Olympus Corporation | Wearable device |
-
2009
- 2009-06-11 JP JP2009139793A patent/JP2010287004A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012150208A (en) * | 2011-01-18 | 2012-08-09 | Kagoshima Univ | Display control device, display control method, program, and recording medium |
| JP2012178097A (en) * | 2011-02-28 | 2012-09-13 | Olympus Corp | Head mounting type display device and client device |
| WO2014128752A1 (en) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Display control device, display control program, and display control method |
| JPWO2014128752A1 (en) * | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | Display control device, display control program, and display control method |
| US10120419B2 (en) | 2015-12-24 | 2018-11-06 | Olympus Corporation | Wearable device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11513561B2 (en) | Flexible display device and method of controlling same | |
| US10095316B2 (en) | Scrolling and zooming of a portable device display with device motion | |
| JP6082695B2 (en) | Advanced remote control of host applications using movement and voice commands | |
| JP6981106B2 (en) | Image pickup device, image display system, operation method, program | |
| US20180088775A1 (en) | Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device | |
| US9304591B2 (en) | Gesture control | |
| US10009603B2 (en) | Method and system for adaptive viewport for a mobile device based on viewing angle | |
| JP5125779B2 (en) | Head mounted display device | |
| US20170220186A1 (en) | Dynamic hover sensitivity and gesture adaptation in a dual display system | |
| US20120038675A1 (en) | Assisted zoom | |
| JP2011510401A (en) | Device interface application program and motion sensor | |
| WO2018186031A1 (en) | Information processing device, information processing method, and program | |
| WO2017006857A1 (en) | Operation input device and operation input method | |
| JP2017054471A (en) | Portable electronic apparatus, control method, and computer program | |
| KR101861377B1 (en) | Method for controlling screen based on motion of mobile terminal and the mobile terminal therefor | |
| US9495014B2 (en) | Portable playback device, and control method for portable playback device, program, and information storage medium capable of facilitating an operation for changing a reproduction of content data | |
| WO2022160727A1 (en) | Docking operation method for component, and terminal | |
| JP2010287004A (en) | Head mounted video display device | |
| KR101339985B1 (en) | Display apparatus, remote controlling apparatus and control method thereof | |
| JP2009122476A (en) | Controller, head-mounted display device, program and control method | |
| JP2010205214A (en) | Controller and head-mount display device | |
| JP6623362B2 (en) | Display control device and program | |
| WO2023221929A1 (en) | Image display method and apparatus, electronic device, and storage medium | |
| KR101414823B1 (en) | Method, apparatus, and computer readable recording medium for displaying browser by reacting device's movement | |
| JP2009105592A (en) | Head-mounted display device, and power source control system |