JP2009098676A - Control device and head mount display - Google Patents

Control device and head mount display Download PDF

Info

Publication number
JP2009098676A
JP2009098676A JP2008247393A JP2008247393A JP2009098676A JP 2009098676 A JP2009098676 A JP 2009098676A JP 2008247393 A JP2008247393 A JP 2008247393A JP 2008247393 A JP2008247393 A JP 2008247393A JP 2009098676 A JP2009098676 A JP 2009098676A
Authority
JP
Japan
Prior art keywords
unit
instruction
movement
control device
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008247393A
Other languages
Japanese (ja)
Inventor
Masaki Otsuki
正樹 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008247393A priority Critical patent/JP2009098676A/en
Publication of JP2009098676A publication Critical patent/JP2009098676A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for canceling control processing which has been previously implemented. <P>SOLUTION: This control device is provided with a control section 310 for identifying the motion of the head of a user based on a detection signal detected by a head motion detection section 201, and implementing processing according to the identified motion. The control section 310 implements processing for canceling the processing which has been previously implemented by the control section 310. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、処理のキャンセル技術に関するものである。   The present invention relates to processing cancellation technology.

利用者の眼前で画像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤと略記する）において、利用者の頭部の動きを検知して、特定の動きに応じて画像や映像に対する制御（再生開始、一時停止等）を行ったり、利用者の頭部の動きに合わせて表示映像をスクロールさせたり、ヘッドホンの音場を動かして臨場感を向上させたりする技術が知られており、ＨＭＤにおける利用者の頭部の動きの検出には、ジャイロセンサ（角速度センサ）や加速度センサ等のセンサが用いられる（例えば、特許文献１参照）。   In a head mounted display device (hereinafter abbreviated as HMD) that displays an image in front of the user's eyes, it detects the movement of the user's head and controls the image or video according to the specific movement (reproduction start, For example, such as pausing, scrolling the displayed video according to the movement of the user's head, or moving the sound field of the headphones to improve the sense of reality. A sensor such as a gyro sensor (angular velocity sensor) or an acceleration sensor is used to detect the movement of the head (for example, see Patent Document 1).

特開平９−４４２９７号公報JP 9-44297 A

しかしながら、このようなＨＭＤでは、不意に頭部を動かしてしまったり、頭部の動きが利用者の意図したものとは違う操作として認識されたりすることによって、利用者の希望とは異なる制御処理が実行されてしまうという問題があった。   However, in such an HMD, a control process that is different from the user's wish is caused by unexpectedly moving the head or recognizing the movement of the head as an operation different from that intended by the user. There was a problem that would be executed.

本発明は、このような問題点に着目してなされたもので、ＨＭＤにキャンセル機能を設け、利用者がキャンセル操作を実行することによって、制御処理を取り消し、処理前の状態に戻すことが可能な制御装置を提供することを目的とする。   The present invention has been made paying attention to such a problem, and it is possible to cancel the control process and return to the state before the process by providing a cancel function to the HMD and performing a cancel operation by the user. It is an object to provide a simple control device.

前記課題を解決するための請求項１に係る発明の制御装置は、利用者の動きを検出する動き検出部と、前記動き検出部で所定の動きが検出された場合に、前記所定の動きに応じて、以前に実行した第二の処理を取り消す第一の処理を実行する制御部と、を備えることを特徴とする。   The control device of the invention according to claim 1 for solving the above problem includes a motion detection unit that detects a motion of a user, and a predetermined motion when the motion detection unit detects the motion. And a control unit that executes a first process that cancels a second process that has been executed previously.

以上のように、本発明によれば、実行がなされた制御処理のキャンセルを実行することができる。   As described above, according to the present invention, the canceled control process can be executed.

以下、本発明を実施するための最良の形態について、図面を参照して説明する。
＜第一の実施形態＞
図１〜２に、本発明の第一の実施形態に係るＨＭＤ１０１の一例を示す。図１は、本発明の第一の実施形態であるＨＭＤ１０１の斜視図であり、図２は、本発明の第一の実施形態であるＨＭＤ１０１の側面図である。 The best mode for carrying out the present invention will be described below with reference to the drawings.
<First embodiment>
1 and 2 show an example of the HMD 101 according to the first embodiment of the present invention. FIG. 1 is a perspective view of an HMD 101 according to the first embodiment of the present invention, and FIG. 2 is a side view of the HMD 101 according to the first embodiment of the present invention.

図示するように、本実施形態に係るＨＭＤ１０１は、頭部装着帯１１０と、音声出力部１２０と、筐体１３０Ａ、１３０Ｂと、支持部１４０と、アーム部１５０と、表示部１６０と、操作部１７０と、を備えている。   As shown in the figure, the HMD 101 according to the present embodiment includes a head wearing band 110, an audio output unit 120, housings 130A and 130B, a support unit 140, an arm unit 150, a display unit 160, and an operation unit. 170.

頭部装着帯１１０は、その両端が相対向するように、湾曲した形状に形成されている。また、頭部装着帯１１０は、弾性を有する材質で形成されており、利用者の頭部に装着する際に、その両端に形成されているスピーカ１２１Ａ、１２１Ｂを利用者の頭部の内側方向に押圧することで、ＨＭＤ１０１を利用者の頭部に着脱自在に装着することができるようにしている。   The head mounting band 110 is formed in a curved shape so that both ends thereof face each other. The head wearing band 110 is formed of an elastic material, and when worn on the user's head, the speakers 121A and 121B formed at both ends thereof are arranged in the direction toward the inside of the user's head. The HMD 101 can be detachably mounted on the user's head.

頭部装着帯１１０の両端側には、筐体１３０Ａ、１３０Ｂが連結されており、筐体１３０Ａにはスピーカ１２１Ａが、筐体１３０Ｂにはスピーカ１２１Ｂが、それぞれ設けられている。また、頭部装着帯１１０の内部には、筐体１３０Ａ、１３０Ｂと、スピーカ１２１Ａ、１２１Ｂと、操作部１７０と、表示部１６０と、電源部１８０と、を電気的に連結するための信号線や、電力線等が配線されている。   Enclosures 130A and 130B are connected to both ends of the head wearing band 110. The enclosure 130A is provided with a speaker 121A, and the enclosure 130B is provided with a speaker 121B. Further, inside the head wearing band 110, signal lines for electrically connecting the casings 130A and 130B, the speakers 121A and 121B, the operation unit 170, the display unit 160, and the power supply unit 180. In addition, power lines and the like are wired.

音声出力部１２０は、音声信号を音声に変換する。本実施形態では、スピーカ１２１Ａ、１２１Ｂを有し、これらは利用者の両方の耳にあてがわれて使用されるいわゆるヘッドホン用のスピーカである。図１においては、向かって右側のスピーカ１２１Ａが左耳用のスピーカ、向かって左側のスピーカ１２１Ｂが右耳用のスピーカとなっている。これらの左右の別については、利用者の操作によって、任意に決定することができるものとしても良い。また、後述する筐体１３０Ａに内蔵される制御装置３００から、電源を供給する電力線と、音声信号を供給する音声信号線が配線されている。   The audio output unit 120 converts the audio signal into audio. In this embodiment, there are speakers 121A and 121B, which are so-called headphones speakers used by being applied to both ears of the user. In FIG. 1, the right speaker 121A is the left ear speaker, and the left speaker 121B is the right ear speaker. These left and right distinctions may be arbitrarily determined by user operation. Also, a power line that supplies power and an audio signal line that supplies an audio signal are wired from a control device 300 built in the housing 130A described later.

筐体１３０Ａ、１３０Ｂは、頭部装着帯１１０の長手方向両端側に設けられており、筐体１３０Ａ、１３０Ｂの利用者の頭部側（相対向する側）の外壁面には、スピーカ１２１Ａ、１２１Ｂがそれぞれ連結されている。本実施形態においては、筐体１３０Ｂには、制御装置３００と、電源部１８０と、が内蔵されており、さらに、スピーカ１２１Ｂとは逆側の外壁面には、操作部１７０が設けられている。また、筐体１３０Ａの、スピーカ１２１Ａとは逆側の外壁面には、ＨＭＤ１０１の電源のオン、オフを切り替える、電源スイッチ（図示しない）が設けられている。   The casings 130A and 130B are provided at both ends in the longitudinal direction of the head mounting band 110, and speakers 121A and 130B are provided on the outer wall surfaces of the casings 130A and 130B on the user's head side (opposite sides). 121B are connected to each other. In the present embodiment, the control device 300 and the power supply unit 180 are built in the housing 130B, and the operation unit 170 is provided on the outer wall surface opposite to the speaker 121B. . Further, a power switch (not shown) for switching the power of the HMD 101 on and off is provided on the outer wall surface of the housing 130A opposite to the speaker 121A.

電源部１８０と、制御装置３００と、操作部１７０と、電源スイッチと、は、筐体１３０Ａ、１３０Ｂのどちらに配置されても良く、また、筐体１３０Ａ、１３０Ｂが、スピーカ１２１Ａ、１２１Ｂと一体となるような構成としても良い。   The power supply unit 180, the control device 300, the operation unit 170, and the power switch may be arranged in any of the housings 130A and 130B, and the housings 130A and 130B are integrated with the speakers 121A and 121B. It is good also as a structure which becomes.

支持部１４０は、筐体１３０Ｂに、アーム部１５０の一端側を回動自在に連結する。連結方法はどのようなものでも良い。   The support unit 140 rotatably connects one end side of the arm unit 150 to the housing 130B. Any connection method may be used.

アーム部１５０は、頭部装着帯１１０を利用者の頭部に装着した際に、アーム部１５０の筐体１３０Ｂ側ではない他端側に取り付けられている表示部１６０が、利用者の眼前に位置するように、その長手方向において湾曲している。また、内部には、制御装置３００から、表示部１６０に電源を供給する電力線と、画像信号を供給する画像信号線と、が配線されている。   When the arm unit 150 is mounted on the head of the user with the head mounting band 110, the display unit 160 attached to the other end side of the arm unit 150 other than the housing 130B side is in front of the user's eyes. It is curved in its longitudinal direction so as to be located. In addition, a power line for supplying power to the display unit 160 and an image signal line for supplying an image signal are wired from the control device 300 inside.

表示部１６０は、アーム部１５０の先端に、利用者の視線に合わせて回動自在に連結されている。表示部１６０は、画像を現す画像信号を光信号に変換して画像を形成する電気−光変換器と、形成された画像を拡大する光学系と、表示デバイスとしてのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１６１と、を備え、制御装置３００から供給される画像信号に基づいて、画像を表示する。   The display unit 160 is connected to the tip of the arm unit 150 so as to be rotatable in accordance with the line of sight of the user. The display unit 160 converts an image signal representing an image into an optical signal to form an image, an optical system for enlarging the formed image, and an LCD (Liquid Crystal Display) 161 as a display device. And displaying an image based on an image signal supplied from the control device 300.

操作部１７０は、操作スイッチ１７１Ａ−１７１Ｅを備えている。これらの操作スイッチを介して、ＨＭＤ１０１に関する機能、例えば、再生、停止、早送り、巻戻し、制御処理のキャンセル、画面のスクロールや切り替え、音量の変更等の指示命令を入力することができるようにされている。なお、これらのスイッチを介して操作指示が入力されると、操作指示に関する検出信号が、入出力インターフェース部３３０を介して、制御部３１０の信号制御部３１２へと出力される。   The operation unit 170 includes operation switches 171A-171E. Through these operation switches, functions related to the HMD 101 such as play, stop, fast forward, rewind, cancel of control processing, screen scrolling and switching, change of volume, etc. can be input. ing. When an operation instruction is input via these switches, a detection signal related to the operation instruction is output to the signal control unit 312 of the control unit 310 via the input / output interface unit 330.

なお、上記のような指示命令に関する操作が可能なリモコン１９０（図１５参照）を別途設けても良い。リモコン１９０は、操作部１７０と同様の操作スイッチ１７１Ａ−Ｅと、リモコン送信部１７３を備えている。リモコン１９０は、赤外線等を利用することにより、利用者は手元の操作スイッチを見ながら無線でＨＭＤ１０１を操作することが可能である。その場合、操作部１７０に、リモコン受信部１７２を設けるような構成としても良い。   Note that a remote controller 190 (see FIG. 15) capable of operations related to the instruction commands as described above may be provided separately. The remote controller 190 includes operation switches 171A-E similar to the operation unit 170 and a remote control transmission unit 173. The remote controller 190 can operate the HMD 101 wirelessly while using an infrared ray or the like while looking at an operation switch at hand. In that case, the remote controller receiving unit 172 may be provided in the operation unit 170.

また、ＨＭＤ１０１と有線でリモコン１９０を接続し、内部に制御装置３００や、電源部１８０等を収納するような構成としても良い。   Alternatively, the remote controller 190 may be connected to the HMD 101 by wire, and the control device 300, the power supply unit 180, and the like may be housed therein.

次に、本発明の第一の実施形態の制御装置３００について、図３を用いて説明する。図３は、本発明の第一の実施形態であるＨＭＤ１０１の概略構成図である。   Next, the control apparatus 300 of 1st embodiment of this invention is demonstrated using FIG. FIG. 3 is a schematic configuration diagram of the HMD 101 according to the first embodiment of the present invention.

制御装置３００は、図３に示すように、頭部動き検出部２００と、制御部３１０と、記憶部３２０と、入出力インターフェース部３３０と、を有する。   As illustrated in FIG. 3, the control device 300 includes a head movement detection unit 200, a control unit 310, a storage unit 320, and an input / output interface unit 330.

まず、頭部動き検出部２００について説明する。頭部動き検出部２００は、頭部の動きを検出するための装置であり、角速度センサ（Ｚ）２０１Ａと、角速度センサ（Ｘ）２０１Ｂと（これらを区別しない場合には、単に２０１と表記する）、を備えている。頭部動き検出部２００は、特定の基準軸から検出対象、すなわち利用者の頭部の動きに関する方向情報を、角速度として検出するものである。本発明の第一の実施形態に係る頭部動き検出部２００においては、図１に示すように、垂直方向（利用者が直立する方向）をＺ軸とし、Ｚ軸と直交し利用者の一側面から他側面に向かう方向（スピーカ１２１Ａ、１２１Ｂを貫通する方向）の軸をＸ軸として、この２軸を基準軸として角速度の検出を実行する。   First, the head movement detection unit 200 will be described. The head motion detection unit 200 is a device for detecting head motion, and is expressed as an angular velocity sensor (Z) 201A and an angular velocity sensor (X) 201B (in the case where these are not distinguished, simply 201). ). The head movement detection unit 200 detects, as an angular velocity, direction information related to a detection target, that is, a user's head movement, from a specific reference axis. In the head movement detection unit 200 according to the first embodiment of the present invention, as shown in FIG. 1, the vertical direction (direction in which the user stands upright) is the Z axis, and is orthogonal to the Z axis. Angular velocity detection is performed using the X axis as the axis in the direction from the side surface to the other side surface (the direction penetrating the speakers 121A and 121B) and using these two axes as reference axes.

角速度センサ（Ｚ）２０１Ａは、図１に示すように、ヨーイング（Ｙａｗ）方向の角速度、すなわち、Ｚ軸回りの回転角の傾きであるヨー角を検出し、角速度センサ（Ｘ）２０１Ｂは、ピッチング（Ｐｉｔｃｈ）方向の角速度、すなわち、Ｘ軸の回りの回転角の傾きであるピッチ角を検出する。このようなセンサによって、ＨＭＤ１０１は、利用者の頭部の横振りの動きと、縦振りの動きとを検出することができる。本実施形態においては、角速度センサ２０１は所定の周期（例えば、５０ｍｓｅｃ）毎にサンプリングを実行し、検出結果は角速度に比例するアナログ電圧値として出力される。出力された電圧値は、Ａ／Ｄ変換器（図示しない）によってデジタル信号へ変換され、制御装置３００の制御部３１０へと出力される。   As shown in FIG. 1, the angular velocity sensor (Z) 201A detects the angular velocity in the yaw direction, that is, the yaw angle that is the inclination of the rotation angle around the Z axis, and the angular velocity sensor (X) 201B The angular velocity in the (Pitch) direction, that is, the pitch angle that is the inclination of the rotation angle around the X axis is detected. With such a sensor, the HMD 101 can detect a horizontal swing motion and a vertical swing motion of the user's head. In the present embodiment, the angular velocity sensor 201 performs sampling every predetermined cycle (for example, 50 msec), and the detection result is output as an analog voltage value proportional to the angular velocity. The output voltage value is converted into a digital signal by an A / D converter (not shown) and output to the control unit 310 of the control device 300.

また、角速度センサ２０１の数は、上述のものに限らない。さらに、利用者が頭部をかしげる動きを検出するための、Ｙ軸を基準軸とする角速度センサを設けて、ロール角を検出できるような構成としても良く、また、１つの角速度センサによって、全ての角速度を検出できるようにしても良い。   Further, the number of angular velocity sensors 201 is not limited to that described above. Furthermore, it is possible to provide an angular velocity sensor with the Y axis as a reference axis for detecting the movement of the user's head, so that the roll angle can be detected. It may be possible to detect the angular velocity.

角速度センサ２０１の他にさらに加速度センサを設けても良く、角速度センサの代わりに加速度センサのみを持つような構成としても良い。   An acceleration sensor may be further provided in addition to the angular velocity sensor 201, and a configuration having only an acceleration sensor instead of the angular velocity sensor may be employed.

制御部３１０は、指示判断部３１１と、信号制御部３１２と、を備えている。   The control unit 310 includes an instruction determination unit 311 and a signal control unit 312.

指示判断部３１１は、利用者の頭部の動きに基づいて、角速度センサ２０１から出力される電圧値を受け付けて、信号情報７００を生成する。   The instruction determination unit 311 receives the voltage value output from the angular velocity sensor 201 based on the movement of the user's head, and generates signal information 700.

図４は、本発明の第一の実施形態であるＨＭＤ１０１の指示判断部３１１が生成する、信号情報７００の概略構成図である。信号情報７００は、図４に示すように、角速度の示す指示命令の内容が格納される指示情報格納領域７００ａと、信号制御部３１２が実行中の制御状態に関する情報が格納される状態情報格納領域７００ｂと、からなる。   FIG. 4 is a schematic configuration diagram of the signal information 700 generated by the instruction determination unit 311 of the HMD 101 according to the first embodiment of the present invention. As shown in FIG. 4, the signal information 700 includes an instruction information storage area 700a in which the content of the instruction command indicating the angular velocity is stored, and a state information storage area in which information on the control state being executed by the signal control unit 312 is stored. 700b.

指示情報とは、対応する制御信号が生成可能な程度に検出信号の指示命令の内容を示す情報である。指示命令の内容とは、例えば、再生、停止、早送り、巻戻し、制御処理のキャンセル、画面のスクロールや切り替え、音量の変更等の処理の種類、および、その処理時間や処理量等である。   The instruction information is information indicating the contents of the instruction instruction of the detection signal to the extent that a corresponding control signal can be generated. The contents of the instruction command include, for example, the type of processing such as playback, stop, fast forward, rewind, cancel of control processing, screen scrolling or switching, volume change, processing time, processing amount, and the like.

なお、指示情報、すなわち、指示命令の内容の判断は、例えば、あらかじめ所定の処理に対応する基準となる角速度の経時変化を示す理想波形を記憶部に記憶しておき、検出される角速度についてその経時変化を測定することで実現可能である。例えば、検出された角速度の経時変化と、基準となる理想波形と、の相関を取り、相関値が一定以上である場合に、対応する処理の実行が指示されたと判断できる。   The instruction information, that is, the determination of the content of the instruction command is performed by, for example, storing an ideal waveform indicating a temporal change in angular velocity as a reference corresponding to a predetermined process in the storage unit in advance, and detecting the detected angular velocity. This can be realized by measuring the change over time. For example, a correlation between the detected temporal change of the angular velocity and a reference ideal waveform is obtained, and when the correlation value is equal to or greater than a certain value, it can be determined that execution of the corresponding process is instructed.

また、指示判断部３１１は、信号制御部３１２の要求に従って、動作状態、すなわち、音声出力部１２０、および、表示部１６０が実行中の処理状態を状態情報として、信号情報７００の状態情報格納領域７００ｂに格納する。状態情報は、例えば、表示部１６０において表示中の画像の再生位置や大きさ、音声出力部１２０において再生中の音声の再生位置、音量等に関する。   In addition, the instruction determination unit 311 uses the operation state, that is, the processing state being executed by the audio output unit 120 and the display unit 160 as state information in accordance with a request from the signal control unit 312, and stores a state information storage area for the signal information 700. 700b is stored. The state information relates to, for example, the reproduction position and size of the image being displayed on the display unit 160, the reproduction position of the sound being reproduced on the audio output unit 120, the volume, and the like.

信号制御部３１２は、利用者の操作部１７０を介した操作、および、利用者の頭部の動きによる操作に応じて、ＨＭＤ１０１の制御信号を生成する。制御信号は、例えば、音声出力部１２０に出力するための音声信号や、表示部１６０に出力するための画像信号等であり、これに従って、音声出力部１２０、表示部１６０は制御を受ける。また、キャンセル操作の入力があった場合には、信号制御部３１２は、従って状態情報を読み出し、音声出力部１２０、表示部１６０を、元の状態へ復元させる。   The signal control unit 312 generates a control signal for the HMD 101 in accordance with an operation performed by the user via the operation unit 170 and an operation based on the movement of the user's head. The control signal is, for example, an audio signal to be output to the audio output unit 120, an image signal to be output to the display unit 160, and the audio output unit 120 and the display unit 160 are controlled accordingly. When a cancel operation is input, the signal control unit 312 reads out the state information and restores the audio output unit 120 and the display unit 160 to the original state.

ここで、制御部３１０が角速度センサ２０１から検出信号を受信した際に実行する処理を、図５を参照して説明する。図５は、制御部３１０が検出信号を受信した際の処理を示すフローチャートである。   Here, processing executed when the control unit 310 receives a detection signal from the angular velocity sensor 201 will be described with reference to FIG. FIG. 5 is a flowchart showing processing when the control unit 310 receives a detection signal.

指示判断部３１１は、角速度センサ２０１から出力される電圧値に基づく検出信号、および、操作部１７０から出力される検出信号を受け付ける。（Ｓ１００１）。   The instruction determination unit 311 receives a detection signal based on the voltage value output from the angular velocity sensor 201 and a detection signal output from the operation unit 170. (S1001).

次に、指示判断部３１１は、検出信号が角速度センサ２０１に基づくものであるか否かを判断する（Ｓ１００２）。   Next, the instruction determination unit 311 determines whether or not the detection signal is based on the angular velocity sensor 201 (S1002).

ステップ１００１で受け付けた検出信号が、操作部１７０の操作に基づくものであった場合には（ステップ１００２でＮＯ）、信号制御部４１２が当該検出信号に基づく制御信号を生成して、表示部１６０と、音声出力部１２０とに出力する（Ｓ１０１１）。   When the detection signal received in step 1001 is based on the operation of the operation unit 170 (NO in step 1002), the signal control unit 412 generates a control signal based on the detection signal, and the display unit 160 And output to the audio output unit 120 (S1011).

ステップ１００１で受け付けた検出信号が、頭部動き検出部２００を介した利用者の頭部の動きに基づくものであった場合には（ステップ１００２でＹＥＳ）、指示判断部３１１は、図４に示すような信号情報７００を生成する。   If the detection signal received in step 1001 is based on the movement of the user's head via the head movement detection unit 200 (YES in step 1002), the instruction determination unit 311 Signal information 700 as shown is generated.

具体的に、指示判断部３１１は、ステップ１００１で受信した検出信号から利用者の頭部の動きの角速度を算出し、当該角速度から指示命令の内容を判断して、指示情報格納領域７００ａに格納する（Ｓ１００３）。具体的に、指示判断部３１１は、角速度の経時変化を示す波形と、基準となる角速度の経時変化を示す理想波形と、の相関値を算出し、相関値が所定の値以上である場合に、当該理想波形に対応付けられた処理を指示情報として格納する。   Specifically, the instruction determination unit 311 calculates the angular velocity of the user's head movement from the detection signal received in step 1001, determines the content of the instruction command from the angular velocity, and stores it in the instruction information storage area 700a. (S1003). Specifically, the instruction determination unit 311 calculates a correlation value between a waveform indicating a temporal change in angular velocity and an ideal waveform indicating a temporal change in angular velocity serving as a reference, and when the correlation value is equal to or greater than a predetermined value. The process associated with the ideal waveform is stored as instruction information.

次に、指示判断部３１１は、指示情報格納領域７００ａに格納された指示命令の内容が、処理のキャンセルに関するものか否かを判断する（Ｓ１００４）。なお、検出信号がどの処理にも対応しないものであった場合には、ステップ１００１へ戻って、処理を繰り返す。   Next, the instruction determination unit 311 determines whether or not the content of the instruction command stored in the instruction information storage area 700a relates to processing cancellation (S1004). If the detection signal does not correspond to any process, the process returns to step 1001 and the process is repeated.

ステップ１００４において、指示情報が処理のキャンセルを指示命令するものでは無いと判断された場合には（Ｓ１００４でＮＯ）、指示判断部３１１は、ＨＭＤ１０１の動作状態を検出し、状態情報として、信号情報７００の、状態情報格納領域７００ｂに格納して（Ｓ１００８）、信号制御部３１２に制御信号の生成要求を出力する。   If it is determined in step 1004 that the instruction information does not instruct to cancel the process (NO in S1004), the instruction determination unit 311 detects the operating state of the HMD 101, and signal information is used as the state information. 700 is stored in the state information storage area 700b (S1008), and a control signal generation request is output to the signal control unit 312.

信号制御部３１２は、制御信号の生成要求を受け付けると、指示情報格納領域７００ａに格納される指示命令の内容を実行するための制御信号を生成して（Ｓ１００９）、表示部１６０と、音声出力部１２０とに出力し（Ｓ１０１０）、処理を終了する。   Upon receiving the control signal generation request, the signal control unit 312 generates a control signal for executing the content of the instruction command stored in the instruction information storage area 700a (S1009), and the display unit 160 and the audio output Output to the unit 120 (S1010), and the process ends.

ステップ１００４において、指示情報が処理のキャンセルを指示命令するものであると判断された場合には（Ｓ１００４でＹＥＳ）、指示判断部３１１は、信号制御部３１２に、状態情報に基づく制御信号の生成要求を出力する。信号制御部３１２は、制御信号の生成要求を受け付けると、信号情報７００の状態情報格納領域７００ｂより最新の状態情報を読み出す（Ｓ１００５）。そして、最新の状態情報の内容の動作状態を実現する制御信号を生成し（Ｓ１００６）、表示部１６０と、音声出力部１２０と、に出力して（Ｓ１００７）、処理を終了する。   If it is determined in step 1004 that the instruction information is an instruction to cancel the process (YES in S1004), the instruction determination unit 311 causes the signal control unit 312 to generate a control signal based on the state information. Output the request. Upon receiving the control signal generation request, the signal control unit 312 reads the latest state information from the state information storage area 700b of the signal information 700 (S1005). And the control signal which implement | achieves the operation state of the content of the newest status information is produced | generated (S1006), and it outputs to the display part 160 and the audio | voice output part 120 (S1007), and complete | finishes a process.

このような構成により、第一の実施形態であるＨＭＤ１０１は、処理のキャンセル指示命令を受け付けると、信号制御部３１２によって実行前の動作状態を復元する制御信号を生成することで、直前の操作をキャンセルし、操作前の動作状態を復元することが可能である。   With such a configuration, when the HMD 101 according to the first embodiment receives a processing cancel instruction command, the HMD 101 generates a control signal that restores the operation state before execution by the signal control unit 312, thereby performing the previous operation. It is possible to cancel and restore the operating state before the operation.

なお、キャンセル可能な操作は、直前のものに限らない。キャンセル操作が連続して複数回実行された場合には、状態情報の履歴から、多段階にわたる操作前の動作状態を復元する制御信号を生成して、複数回のキャンセル操作に対応可能な構成とすることが可能である。   The cancelable operation is not limited to the previous operation. When the cancel operation is executed a plurality of times in succession, a control signal that restores the operation state before the operation in multiple stages is generated from the history of the state information, and a configuration that can handle a plurality of cancel operations Is possible.

また、ここでは指示判断部３１１は、角速度センサ２０１からの角速度のみからキャンセルを判断する構成としているが、操作部１７０を介した検出信号が処理のキャンセルを示すものであった場合にも、同様にキャンセル処理を実行するような構成としても良い。   Here, the instruction determination unit 311 is configured to determine cancellation based only on the angular velocity from the angular velocity sensor 201, but the same applies to the case where the detection signal via the operation unit 170 indicates cancellation of processing. Alternatively, the configuration may be such that cancel processing is executed.

ここで、制御装置３００のハードウェア構成について説明する。図１３は、ＨＭＤ１０１の電気的な構成を示すブロック図である。   Here, the hardware configuration of the control device 300 will be described. FIG. 13 is a block diagram showing an electrical configuration of the HMD 101.

図１３に示すように、ＨＭＤ１０１は、主に利用者の操作からの情報の処理を実現させるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１ａと、各装置への信号出力に関する制御を担うＣＰＵ１ｂと、各種データを書換え可能に記憶するメモリ２と、各種のプログラム、プログラムの生成するデータ等を格納する外部記憶装置、ここでは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３と、を備える。制御部３１０は、例えば、ＨＤＤ３に記憶されている所定のプログラムを、メモリ２に読み込み、ＣＰＵ１ａ、ＣＰＵ１ｂで実行することにより実現可能である。また、指示判断部３１１はＣＰＵ１ａで、信号制御部３１２はＣＰＵ１ｂで実現が可能である。   As shown in FIG. 13, the HMD 101 rewrites various data, a CPU (Central Processing Unit) 1a that mainly realizes processing of information from user operations, a CPU 1b that performs control related to signal output to each device, and the like. A memory 2 that can be stored, and various programs, an external storage device that stores data generated by the programs, and an HDD (Hard Disk Drive) 3 in this case are provided. The control unit 310 can be realized, for example, by reading a predetermined program stored in the HDD 3 into the memory 2 and executing it by the CPU 1a and CPU 1b. The instruction determination unit 311 can be realized by the CPU 1a, and the signal control unit 312 can be realized by the CPU 1b.

もちろん、図１４に示すように、ＣＰＵ１ａ、ＣＰＵ１ｂを１つのＣＰＵ１で実現することも可能である。その際は、単体のＣＰＵ１が、全ての装置を集中的に制御する。
＜第二の実施形態＞
次に、本発明の第二の実施形態について説明する。第二の実施形態であるＨＭＤ１０２は、第一の実施形態と比較して、異なっている点に関連する事項についてのみ説明する。 Of course, as shown in FIG. 14, the CPU 1 a and the CPU 1 b can be realized by one CPU 1. In that case, the single CPU 1 centrally controls all the devices.
<Second Embodiment>
Next, a second embodiment of the present invention will be described. HMD102 which is 2nd embodiment demonstrates only the matter relevant to a different point compared with 1st embodiment.

図６に示すように、第二の実施形態に係るＨＭＤ１０２の備える制御装置４００は、制御部４１０と、記憶部４２０と、を備えている。   As illustrated in FIG. 6, the control device 400 included in the HMD 102 according to the second embodiment includes a control unit 410 and a storage unit 420.

制御部４１０の指示判断部４１１は、利用者の頭部の動きに基づいて、角速度センサ２０１から出力される検出信号を受け付けると、第一の実施形態と同様に、その指示内容を判断し、これを指示情報として記憶部４２０へと格納する。   When receiving the detection signal output from the angular velocity sensor 201 based on the movement of the user's head, the instruction determination unit 411 of the control unit 410 determines the instruction content as in the first embodiment, This is stored in the storage unit 420 as instruction information.

信号制御部４１２は、利用者からの処理のキャンセル指示に従って、指示情報の示す処理に予め対応づけられた逆の処理を実行する制御信号を生成し、音声出力部１２０および表示部１６０を、元の動作状態へと復元させる。例えば、指示の内容が早送りであれば巻き戻しを、左スクロールであれば右スクロールを実行する制御信号を生成して、逆の処理を実行することで、先の処理をキャンセルする。   The signal control unit 412 generates a control signal for executing a reverse process previously associated with the process indicated by the instruction information in accordance with a process cancel instruction from the user, and transmits the audio output unit 120 and the display unit 160 to the original. Restore to the operating state. For example, if the content of the instruction is fast-forward, a control signal for executing rewinding is generated, and if the content of the scrolling is left-scrolling, a control signal for generating right-scrolling is generated, and the reverse processing is executed to cancel the previous processing.

ここで、制御部４１０が検出信号を受信した際に実行する処理を、図７を参照して説明する。図７は、制御部４１０が検出信号を受信した際の処理を示すフローチャートである。   Here, processing executed when the control unit 410 receives the detection signal will be described with reference to FIG. FIG. 7 is a flowchart illustrating processing when the control unit 410 receives a detection signal.

指示判断部４１１は、角速度センサ２０１から出力される電圧値に基づく検出信号、および、操作部１７０から出力される検出信号を受け付ける。（Ｓ２００１）。   The instruction determination unit 411 receives a detection signal based on the voltage value output from the angular velocity sensor 201 and a detection signal output from the operation unit 170. (S2001).

次に、指示判断部４１１は、検出信号が角速度センサ２０１に基づくものであるか否かを判断する（Ｓ２００２）。   Next, the instruction determination unit 411 determines whether or not the detection signal is based on the angular velocity sensor 201 (S2002).

ステップ２００１で受け付けた検出信号が、操作部１７０の操作に基づくものであった場合には（ステップ２００２でＮＯ）、信号制御部４１２が当該検出信号に基づく制御信号を生成して、表示部１６０と、音声出力部１２０とに出力する（Ｓ２０１０）。   If the detection signal received in step 2001 is based on the operation of the operation unit 170 (NO in step 2002), the signal control unit 412 generates a control signal based on the detection signal, and the display unit 160 And output to the audio output unit 120 (S2010).

ステップ２００１で受け付けた検出信号が、頭部動き検出部２００を介した利用者の頭部の動きに基づくものであった場合には（ステップ１００２でＹＥＳ）、指示判断部４１１は、受信した検出信号から利用者の頭部の動きの角速度を算出し、当該角速度から指示命令の内容を判断して、指示情報として記憶部４２０へと格納する（Ｓ２００３）。   When the detection signal received in step 2001 is based on the movement of the user's head via the head movement detection unit 200 (YES in step 1002), the instruction determination unit 411 receives the received detection. The angular velocity of the user's head movement is calculated from the signal, the contents of the instruction command are determined from the angular velocity, and stored in the storage unit 420 as instruction information (S2003).

次に、指示判断部４１１は、指示命令の内容が、処理のキャンセルに関するものか否かを、記憶部４２０に記憶される指示情報から判断する（Ｓ２００４）。   Next, the instruction determination unit 411 determines from the instruction information stored in the storage unit 420 whether or not the content of the instruction command relates to processing cancellation (S2004).

ステップ２００４において、指示命令の内容が処理のキャンセルを指示命令するものでは無いと判断された場合には（ステップ２００４でＮＯ）、指示判断部４１１は、信号制御部４１２に、制御信号の生成要求を出力する。信号制御部４１２は、生成要求を受け付けると、検出信号の指示命令を実行するための制御信号を生成する（Ｓ２００８）。   If it is determined in step 2004 that the content of the instruction command does not instruct to cancel the process (NO in step 2004), the instruction determination unit 411 requests the signal control unit 412 to generate a control signal. Is output. When receiving the generation request, the signal control unit 412 generates a control signal for executing a detection signal instruction command (S2008).

そして、信号制御部４１２は、ステップ２００８で生成した制御信号を、表示部１６０と、音声出力部１２０とに出力して（Ｓ２００９）、処理を終了する。   Then, the signal control unit 412 outputs the control signal generated in step 2008 to the display unit 160 and the audio output unit 120 (S2009), and ends the process.

ステップ２００４において、指示命令の内容が処理のキャンセルを指示命令するものでは無いと判断された場合には（ステップ２００４でＹＥＳ）、指示判断部４１１は、信号制御部４１２に、指示情報に基づく制御信号の生成要求を出力する。信号制御部４１２は、生成要求を受け付けると、記憶部４２０から指示情報を読み出して（Ｓ２００５）、最新の指示情報の指示内容に対して、予め定められた逆の処理を実行する制御信号を生成し（Ｓ２００６）、表示部１６０と、音声出力部１２０とに出力して（Ｓ２００７）、処理を終了する。   If it is determined in step 2004 that the content of the instruction command does not instruct to cancel the process (YES in step 2004), the instruction determination unit 411 causes the signal control unit 412 to perform control based on the instruction information. Outputs a signal generation request. When receiving the generation request, the signal control unit 412 reads the instruction information from the storage unit 420 (S2005), and generates a control signal for executing a predetermined reverse process on the instruction content of the latest instruction information. (S2006), the data is output to the display unit 160 and the audio output unit 120 (S2007), and the process ends.

このような構成により、第二の実施形態に係るＨＭＤ１０２は、処理のキャンセル指示命令を受け付けると、実行された操作内容と予め対応づけられた逆の処理を実行する制御信号を生成、出力することによって、直前の操作をキャンセルすることが可能である。   With such a configuration, when the HMD 102 according to the second embodiment receives a process cancel instruction command, the HMD 102 generates and outputs a control signal that executes a reverse process associated with the executed operation content in advance. It is possible to cancel the previous operation.

なお、キャンセル可能な操作は、直前のものに限定しない。例えば、指示情報を時系列順に履歴として記憶させ、キャンセル操作が連続して複数回実行された際に、キャンセル操作に対応する全ての指示情報に対して、逆の処理を実行する制御信号を生成し、多段階にわたる処理のキャンセルが可能な構成としても良い。
＜第三の実施形態＞
次に、本発明の第三の実施形態であるＨＭＤ１０３について、図８を用いて説明する。図８は、本発明の第三の実施形態であるＨＭＤ１０３の概略構成図である。 The cancelable operation is not limited to the immediately preceding operation. For example, the instruction information is stored as a history in chronological order, and when the cancel operation is continuously executed a plurality of times, a control signal for performing the reverse process is generated for all the instruction information corresponding to the cancel operation. However, it is also possible to adopt a configuration that can cancel processing in multiple stages.
<Third embodiment>
Next, HMD103 which is 3rd embodiment of this invention is demonstrated using FIG. FIG. 8 is a schematic configuration diagram of the HMD 103 according to the third embodiment of the present invention.

本実施形態に係る制御装置５００は、利用者から頭部の動きによって処理のキャンセル操作に関する入力を受け付けると、その角速度の経時変化によって（すなわち、利用者の入力するキャンセルの理由によって）、異なる処理を実行する。   When the control device 500 according to the present embodiment receives an input related to the cancel operation of the process by the movement of the head from the user, a different process is performed depending on the change in the angular velocity with time (that is, due to the reason for the cancel input by the user). Execute.

図８に示すように、制御装置５００は、制御部５１０と、記憶部５２０と、を備えている。   As illustrated in FIG. 8, the control device 500 includes a control unit 510 and a storage unit 520.

制御部５１０は、指示判断部５１１と、信号制御部５１２と、認識補正部５１３と、を有する。   The control unit 510 includes an instruction determination unit 511, a signal control unit 512, and a recognition correction unit 513.

指示判断部５１１は、所定のタイミングごとに、角速度センサから出力される検出信号（電圧値）を受信し、当該各検出信号と、予め生成された所定の基準値と、から利用者の頭部の動きの角速度を算出して、これに応じた処理を実行する。   The instruction determination unit 511 receives a detection signal (voltage value) output from the angular velocity sensor at each predetermined timing, and based on each detection signal and a predetermined reference value generated in advance, the user's head The angular velocity of the movement is calculated, and processing corresponding to this is executed.

具体的に、指示判断部５１１は、検出した角速度と、当該角速度を受信した時間と、を関連付けた角速度履歴を、記憶部５２０の角速度履歴記憶領域５２２に蓄積する。そして、指示判断部５１１は、角速度の経時変化（波形）から、各処理の入力があったか否かを判断して、指示履歴９００を生成する。   Specifically, the instruction determination unit 511 accumulates the angular velocity history in which the detected angular velocity is associated with the time when the angular velocity is received in the angular velocity history storage area 522 of the storage unit 520. Then, the instruction determination unit 511 determines whether or not each process has been input from the temporal change (waveform) of the angular velocity, and generates an instruction history 900.

図９を参照しながら、指示履歴９００について説明する。   The instruction history 900 will be described with reference to FIG.

指示履歴９００は、図９に示すように、所定の処理の入力があったことを示す波形の開始位置、および、終了位置、における角速度の受信時刻を格納する範囲情報格納領域９００ｃと、当該波形によって定まる処理の内容を示す情報である指示情報を格納する指示情報格納領域９００ａと、当該波形によって定まる処理が実行される以前の動作状態を示す情報である状態情報を格納する状態情報格納領域９００ｂと、からなる。   As shown in FIG. 9, the instruction history 900 includes a range information storage area 900c for storing the reception times of angular velocities at the start position and end position of a waveform indicating that a predetermined process has been input, and the waveform. An instruction information storage area 900a for storing instruction information, which is information indicating the content of the process determined by, and a state information storage area 900b for storing state information, which is information indicating an operation state before the process determined by the waveform is executed. And consist of

指示情報とは、上述の実施形態と同様に、入力された指示操作の内容を示す情報であるが、本実施形態に係る指示判断部５１１は、角速度の履歴からキャンセルの種類をさらに判断して、対応する指示情報を、指示情報格納領域９００ａへと格納する。   The instruction information is information indicating the content of the input instruction operation, as in the above-described embodiment, but the instruction determination unit 511 according to the present embodiment further determines the type of cancellation from the history of angular velocity. The corresponding instruction information is stored in the instruction information storage area 900a.

なお、指示判断部５１１は、角速度履歴を参照して、角速度の経時変化を示す波形から、キャンセル処理やその他の処理の入力の有無、および、当該キャンセル処理の種類を判断する。   The instruction determination unit 511 refers to the angular velocity history, and determines whether or not there is an input for cancellation processing or other processing, and the type of the cancellation processing, from a waveform indicating the change in angular velocity over time.

従って、本実施形態においては、あらかじめ所定の処理に対応付けられた基準となる角速度の経時変化を示す理想波形と、当該理想波形に対応付けられる処理が波形記憶領域５２３に格納されている。   Therefore, in the present embodiment, an ideal waveform indicating a temporal change in angular velocity as a reference that is associated with a predetermined process in advance and a process associated with the ideal waveform are stored in the waveform storage area 523.

具体的に、指示判断部５１１は、角速度履歴の所定の範囲（例えば、直前に実行された処理を示す波形の終了位置以降に、所定の閾値を超過する角速度が検出されてから、最新の角速度が検出されるまで）の角速度の経時変化の波形と、理想波形と、の相関を取って、相関値が一定の閾値以上である場合に対応する処理の指示操作が入力されたと判断する。そして、このような相関認識処理において判断した指示操作の内容を示す指示情報を生成する。   Specifically, the instruction determination unit 511 detects the latest angular velocity after the angular velocity exceeding a predetermined threshold is detected after a predetermined range of the angular velocity history (for example, after the end position of the waveform indicating the process executed immediately before). The correlation between the waveform of the angular velocity with time and the ideal waveform is detected, and it is determined that the corresponding operation instruction operation is input when the correlation value is equal to or greater than a certain threshold value. And the instruction | indication information which shows the content of instruction | indication operation judged in such a correlation recognition process is produced | generated.

そして、指示判断部５１１は、指示情報を生成する際、基準となる理想波形との相関値が高いと判断された角速度の履歴の範囲、すなわち、所定の処理の指示内容を示す波形の開始位置と、終了位置と、の角速度の受信時刻を履歴情報から読み出して、範囲情報格納領域９００ｃへと格納する。   Then, the instruction determination unit 511 generates a range of angular velocities that have been determined to have a high correlation value with a reference ideal waveform when generating instruction information, that is, a start position of a waveform indicating the instruction content of a predetermined process. And the reception time of the angular velocity of the end position are read from the history information and stored in the range information storage area 900c.

なお、後述する誤認判断部５１３によって、波形記憶部５２３には、誤認波形情報がされに記憶されており、指示判断部５１１は、誤認波形情報に格納される誤認波形と相関が認められる波形を検出した際には、相関認識処理を終了させる。   Note that misidentification waveform information is stored in the waveform storage unit 523 by the misidentification determination unit 513 described later, and the instruction determination unit 511 generates a waveform that is correlated with the misidentification waveform stored in the misidentification waveform information. When detected, the correlation recognition process is terminated.

次に、利用者が頭部の動きによって入力する処理のキャンセルの種類について、詳細に説明する。   Next, the type of cancellation of processing input by the user according to the movement of the head will be described in detail.

利用者が処理を取り消す操作を実行する場合には、様々なキャンセル理由が考えられる。例えば、間違った指示を入力した場合（誤指示）、指示が誤って認識された場合（誤認識）、頭部の不意な動きが認識されてしまった場合（誤操作）等がある。   When the user performs an operation for canceling the process, various reasons for cancellation can be considered. For example, there is a case where an incorrect instruction is input (erroneous instruction), an instruction is recognized incorrectly (erroneous recognition), or an unexpected movement of the head is recognized (erroneous operation).

指示判断部５１１は、上記のような処理のキャンセル理由を、検出信号から判断する。以下、その具体例を示す。   The instruction determination unit 511 determines the reason for canceling the processing as described above from the detection signal. Specific examples are shown below.

利用者が誤指示のキャンセルを実行する場合、その誤指示となる頭部動作を行ったことを利用者自身は理解していることになる。従って、例えば、利用者が直前に実行された処理を入力してから、所定の時間内に逆方向へ頭部を動かす動作に関する角速度を検出した場合に、指示判断部５１１は、誤指示のキャンセル入力があったと判断して、直前の処理のキャンセルを実行し、以前の動作状態を復元する。   When the user cancels the erroneous instruction, the user himself understands that the head movement that is the erroneous instruction has been performed. Therefore, for example, when the angular velocity related to the operation of moving the head in the reverse direction within a predetermined time is detected after the user inputs the process executed immediately before, the instruction determination unit 511 cancels the erroneous instruction. It is determined that there is an input, cancels the previous process, and restores the previous operation state.

図１０（ａ）に、利用者が誤指示を実行した場合の角速度の経時変化を、図１０（ｂ）に、利用者が誤指示のキャンセルを実行した場合の角速度の経時変化を示す。指示判断部５１１は、直前の処理（誤指示である処理）に対応する波形ｆ（ｔ）と、逆方向への頭部の動きによる波形ｇ（ｔ）を検出して、両波形から、次に示すような数式を用いて波形ｇ（ｔ）が誤指示のキャンセルを示す波形であるか否かを判断する。   FIG. 10A shows a temporal change in angular velocity when the user executes an erroneous instruction, and FIG. 10B shows a temporal change in angular velocity when the user cancels the erroneous instruction. The instruction determination unit 511 detects the waveform f (t) corresponding to the immediately preceding process (processing that is an erroneous instruction) and the waveform g (t) due to the head movement in the opposite direction, and from both waveforms, It is determined whether or not the waveform g (t) is a waveform indicating cancellation of an erroneous instruction using a mathematical formula as shown in FIG.

Figure 2009098676
Figure 2009098676

Ｔ：ｆ(t)およびg(t)の開始時刻の差
指示判断部５１１は、上記数式によって算出される両波形の差の２乗和の値が、所定の閾値以下である場合に、波形ｇ（ｔ）は誤指示のキャンセルを示す波形であると判断する。もちろん、両波形に対して粗く相関を取り、その値を決定することも可能である。 T: Difference in start time of f (t) and g (t) The instruction determination unit 511 determines the waveform when the sum of squares of the difference between both waveforms calculated by the above formula is equal to or less than a predetermined threshold It is determined that g (t) is a waveform indicating cancellation of an erroneous instruction. Of course, it is possible to roughly correlate both waveforms and determine their values.

利用者が誤認識のキャンセルを実行する場合、利用者自身、どのような動きを行ったために誤認識が起こったのかわからない場合が多い。従って、例えば、頭部を斜めに素早く振るといった、普段行わないような動きの理想波形が、誤認識のキャンセル処理に対応付けられて波形記憶領域５２０に予め記憶されている。従って、指示判断部５１１は、所定の理想波形と相関が認められる動き（波形）が検出されると、誤認識のキャンセルが入力されたと判断して、直前の処理のキャンセルを実行し、以前の動作状態を復元する。   When a user cancels misrecognition, the user himself / herself often does not know what kind of movement caused misrecognition. Therefore, for example, an ideal waveform of a movement that is not normally performed, such as shaking the head quickly at an angle, is stored in advance in the waveform storage area 520 in association with the erroneous recognition cancellation process. Accordingly, when a motion (waveform) that correlates with a predetermined ideal waveform is detected, the instruction determination unit 511 determines that a misrecognition cancellation has been input, cancels the immediately preceding process, Restore the operating state.

さらに、利用者が誤操作のキャンセルを実行する場合についても、利用者自身はその原因を理解していない場合が多いと考えられる。また、誤操作が引き起こされるのは利用者が意図せずに頭部を動かした場合であるため、より咄嗟のキャンセル指示の実行が難しい。従って、誤認識の場合よりも単純な動作、例えば、より速く頭部を振る動作の理想波形が、誤操作のキャンセル処理と対応付けられて波形記憶領域５２０に予め記憶される。このような構成により、指示判断部５１１は、所定の理想波形と相関が認められる動き（波形）が検出されると、誤操作のキャンセルが入力されたと判断して、直前の処理をキャンセルし、以前の動作状態を復元する。   Furthermore, even when the user cancels the erroneous operation, it is considered that the user himself / herself often does not understand the cause. In addition, since the erroneous operation is caused when the user moves the head unintentionally, it is more difficult to execute the instruction to cancel the eyelid. Therefore, an ideal waveform of a simple operation, for example, an operation of shaking the head faster than in the case of erroneous recognition, is stored in advance in the waveform storage area 520 in association with the erroneous operation canceling process. With such a configuration, when a motion (waveform) that is correlated with a predetermined ideal waveform is detected, the instruction determination unit 511 determines that an erroneous operation cancellation has been input, cancels the immediately preceding process, Restore the operating state of.

また、指示判断部５１１は、利用者の入力した処理が、キャンセル処理の指示以外であった場合には、音声出力部１２０、および、表示部１６０が実行中の動作状態を、状態情報として状態情報格納領域９００ｂに格納する。状態情報は、例えば、表示部１６０において表示中の画像の再生位置や大きさ、音声出力部１２０において再生中の音声の再生位置、音量等に関する。   In addition, when the process input by the user is other than the cancel process instruction, the instruction determination unit 511 uses the operation state being executed by the voice output unit 120 and the display unit 160 as the state information. The information is stored in the information storage area 900b. The state information relates to, for example, the reproduction position and size of the image being displayed on the display unit 160, the reproduction position of the sound being reproduced on the audio output unit 120, the volume, and the like.

もちろん、利用者がキャンセル以外の処理が実行される直前や、何らかの処理の入力があったと判断した際に、状態情報を取得するような構成としても良い。   Of course, a configuration may be adopted in which the state information is acquired immediately before the user performs processing other than cancellation or when it is determined that there has been input of some processing.

信号制御部５１２は、利用者の操作部１７０を介した操作、および、指示判断部５１１の判断する利用者の頭部の動きに基づいた操作、の入力を受け付けると、指示情報の内容に従って、ＨＭＤ１０３の制御信号を生成する。また、利用者のキャンセル指示に基づく指示判断部５１１の要求に従って、状態情報を読み出し、元の動作状態へと復元させるための制御信号を生成する。   When the signal control unit 512 receives an input of an operation via the user's operation unit 170 and an operation based on the movement of the user's head determined by the instruction determination unit 511, the signal control unit 512 follows the content of the instruction information. A control signal for the HMD 103 is generated. Further, in accordance with a request from the instruction determination unit 511 based on the user's cancellation instruction, the state information is read and a control signal for restoring the original operation state is generated.

認識補正部５１３は、指示情報がキャンセルの指示である場合に、波形の相関認識に関する学習を行う。これは、入力される角速度の波形の特徴を蓄積することで、利用者の行う動きの癖や習慣を波形の相関認識に利用するための学習である。なお、ここでは指示情報がキャンセル処理を示すものである場合に実行する学習について説明するが、このような学習は、指示情報がキャンセルの指示である場合に限らず、利用者の入力するどのような処理について実行ことも、もちろん可能である。   The recognition correction unit 513 performs learning related to waveform correlation recognition when the instruction information is a cancel instruction. This is learning for utilizing the wrinkles and habits of the movement performed by the user for waveform correlation recognition by accumulating the characteristics of the input angular velocity waveform. Note that learning performed when the instruction information indicates cancellation processing will be described here. However, such learning is not limited to the case where the instruction information is a cancellation instruction. Of course, it is also possible to execute various processes.

このように利用者の入力する全ての処理について補正を行う場合には、利用者が入力した処理を実行する前の理想波形を状態情報として記憶しておき、当該処理がキャンセルされた場合（特に、誤認識及び誤操作によりキャンセルされた場合）に、理想波形の補正もキャンセルされるようにすることが望ましい。   When correction is performed for all the processes input by the user as described above, the ideal waveform before the process input by the user is stored as state information, and the process is canceled (particularly It is desirable that the correction of the ideal waveform is also canceled when it is canceled due to erroneous recognition and erroneous operation.

まず、指示情報が誤指示のキャンセルを示すものである場合の処理について説明する。具体的に、誤認補正部５１３は、指示情報が誤指示のキャンセルを示すものである場合、誤指示によって実行された直前の処理に対応する理想波形を更新する。   First, processing in a case where the instruction information indicates cancellation of an erroneous instruction will be described. Specifically, the misrecognition correction unit 513 updates the ideal waveform corresponding to the immediately preceding process executed by the erroneous instruction when the instruction information indicates cancellation of the erroneous instruction.

ここで、誤指示とは、利用者が本来所望する処理とは別の処理に関する指示を誤って入力するものである。従って、利用者が入力した誤指示は、誤って実行される処理に対応する理想波形と相関が認められる波形をなすものである。そこで、誤認補正部５１３は、誤って実行される処理に対応する理想波形を更新する。更新とは、例えば、誤指示が入力された際の角速度の経時変化の波形と、誤って実行された処理の理想波形と、の平均を算出して、この波形を理想波形とするものである。また、当該経時変化の波形を、理想波形と置換しても良い。   Here, the erroneous instruction is to erroneously input an instruction regarding a process different from the process originally desired by the user. Therefore, an erroneous instruction input by the user forms a waveform that is correlated with an ideal waveform corresponding to an erroneously executed process. Therefore, the misrecognition correction unit 513 updates the ideal waveform corresponding to the process executed erroneously. The update is, for example, calculating the average of the waveform of the angular velocity change with time when an erroneous instruction is input and the ideal waveform of the process executed erroneously, and making this waveform the ideal waveform. . Further, the time-dependent waveform may be replaced with an ideal waveform.

次に、指示情報が誤認識、および、誤操作のキャンセルを示すものである場合の処理について説明する。誤認補正部５１３は、指示情報が誤認識のキャンセルを示すものである場合、同様の動きが入力された際に、再び誤った処理の実行を起こさないための学習を行う。   Next, processing in the case where the instruction information indicates erroneous recognition and erroneous operation cancellation will be described. When the instruction information indicates cancellation of erroneous recognition, the misrecognition correction unit 513 performs learning to prevent erroneous processing from being executed again when a similar movement is input.

例えば、誤認補正部５１３は、誤認識および誤操作の処理が入力された際の角速度の経時変化の波形を、誤認波形情報として波形記憶領域５２３へと記憶させる。指示判断部５１１は、当該誤認波形情報に格納される波形と相関が認められる波形が検出された際に相関認識処理を終了するため、その後、当該波形と相関が認められる波形により誤った処理が実行されることを防止できる。   For example, the misrecognition correction unit 513 stores the waveform of the temporal change of the angular velocity when erroneous recognition and erroneous operation processes are input in the waveform storage area 523 as misidentification waveform information. The instruction determination unit 511 ends the correlation recognition process when a waveform that is correlated with the waveform stored in the misidentified waveform information is detected. Thereafter, an erroneous process is performed using the waveform that is correlated with the waveform. It can be prevented from being executed.

なお、指示情報が誤認識および誤操作である際の学習は上述のものに限らず、例えば、各理想波形に対して予め定められる、所定の相関値の閾値を変更しても良い。より具体的には、誤認識および誤操作として入力された角速度の経時変化の波形と、誤って実行された処理の理想波形と、の相関認識に用いられる相関値の閾値を上げても良い。これにより、利用者の意図しない動きが処理に反映されることを防止すると共に、今後同様の動きを行っても、誤認識が起こる可能性を下げることが可能である。   Note that learning when the instruction information is erroneous recognition and erroneous operation is not limited to the above, and for example, a threshold value of a predetermined correlation value predetermined for each ideal waveform may be changed. More specifically, the threshold value of the correlation value used for correlation recognition between the waveform of the temporal change in angular velocity input as erroneous recognition and erroneous operation and the ideal waveform of the erroneously executed process may be increased. As a result, it is possible to prevent a movement unintended by the user from being reflected in the process, and to reduce the possibility of erroneous recognition even if a similar movement is performed in the future.

また、誤認識の処理が入力された際の角速度の経時変化の波形と、本来実行を望む処理の理想波形と、の相関認識に用いられる相関値の閾値を下げることで、今後同様の動きを行っても、利用者の望む処理が実行される可能性を高めることが可能である。   In addition, by reducing the threshold value of the correlation value used for correlation recognition between the waveform of the angular velocity change with time when erroneous recognition processing is input and the ideal waveform of the processing that is originally desired to be executed, the same behavior will be achieved in the future. Even if it goes, it is possible to increase the possibility that the process desired by the user will be executed.

ここで、制御部５１０が検出信号を受信した際に実行する処理を、図１１を参照して説明する。図１１は、制御部５１０が検出信号を受信した際の処理を示すフローチャートである。   Here, a process executed when the control unit 510 receives a detection signal will be described with reference to FIG. FIG. 11 is a flowchart showing processing when control unit 510 receives a detection signal.

指示判断部５１１は、角速度センサ２０１から出力される検出信号（電圧値）、および、操作部１７０から出力される検出信号を受け付ける。（Ｓ３００１）。   The instruction determination unit 511 receives a detection signal (voltage value) output from the angular velocity sensor 201 and a detection signal output from the operation unit 170. (S3001).

次に、指示判断部５１１は、検出信号が角速度センサ２０１に基づくものであるか否かを判断する（Ｓ３００２）。   Next, the instruction determination unit 511 determines whether or not the detection signal is based on the angular velocity sensor 201 (S3002).

ステップ３００１で受け付けた検出信号が、操作部１７０の操作に基づくものであった場合には（ステップ３００２でＮＯ）、指示判断部５１１は、信号制御部５１２に制御信号の生成を要求し、信号制御部５１２は、当該検出信号に基づく制御信号を生成して、表示部１６０および音声出力部１２０に出力する（Ｓ３０１２）。   When the detection signal received in step 3001 is based on the operation of the operation unit 170 (NO in step 3002), the instruction determination unit 511 requests the signal control unit 512 to generate a control signal, The control unit 512 generates a control signal based on the detection signal and outputs the control signal to the display unit 160 and the audio output unit 120 (S3012).

ステップ３００１で受け付けた検出信号が、頭部動き検出部２００を介した利用者の頭部の動きに基づくものであった場合には（ステップ３００２でＹＥＳ）、指示判断部５１１は、当該角速度を角速度履歴として角速度履歴記憶領域５２２へと格納する（Ｓ３００３）。   When the detection signal received in step 3001 is based on the movement of the user's head via the head movement detection unit 200 (YES in step 3002), the instruction determination unit 511 determines the angular velocity. The angular velocity history is stored in the angular velocity history storage area 522 (S3003).

次に、指示判断部５１１は、角速度履歴から、誤認波形と相関が認められる波形が検出されるか否かを判断する。（Ｓ３００４）。   Next, the instruction determination unit 511 determines whether or not a waveform having a correlation with a misidentified waveform is detected from the angular velocity history. (S3004).

具体的に、指示判断部５１１は、角速度履歴から、直前に実行した処理の終了位置以降に所定の閾値を超過する角速度が検出されてから、ステップ３００１で最新の角速度が検出されるまで、の範囲の角速度の経時変化を示す波形を生成し、当該波形と、誤認波形情報に格納される波形と、の相関認識処理を実行して、相関が認められる場合には（ＹＥＳ）、ステップ３００１へ戻って処理を繰り返す。相関が認められなかった場合には（ＮＯ）、ステップ３００５へと進む。   Specifically, the instruction determination unit 511 determines from the angular velocity history until the latest angular velocity is detected in step 3001 after the angular velocity exceeding the predetermined threshold is detected after the end position of the process executed immediately before. When a waveform indicating a change with time in the angular velocity of the range is generated, and a correlation recognition process is performed between the waveform and the waveform stored in the misidentified waveform information, and if a correlation is recognized (YES), the process proceeds to step 3001. Return and repeat the process. If no correlation is found (NO), the process proceeds to step 3005.

次に、指示判断部５１１は、角速度履歴から最新の処理と逆方向の波形が検出されるか否かを判断する。（Ｓ３００５）。   Next, the instruction determination unit 511 determines whether or not a waveform in the opposite direction to the latest process is detected from the angular velocity history. (S3005).

具体的に、指示判断部５１１は、角速度履歴および指示履歴から、直前に実行した処理の終了位置以降に検出された角速度の経時変化を示す波形を生成し、当該波形と、指示履歴９００に格納される最新の範囲情報で定まる範囲の角速度の経時変化を示す波形と、の差の２乗和が、所定の閾値以下であるか否かを判断する。閾値以下であった場合には、誤指示のキャンセル操作が入力されたと判断して（ＹＥＳ）、指示履歴９００に新たな範囲情報および当該範囲情報に対応する指示情報（誤指示のキャンセル）を格納し、誤認訂正部５１３へ学習要求を出力して、ステップ３００７へと進む。閾値以上でなかった場合には、誤指示のキャンセル操作は入力されていないと判断して（ＮＯ）、ステップ３００６へと進む。   Specifically, the instruction determination unit 511 generates a waveform indicating the temporal change of the angular velocity detected after the end position of the process executed immediately before from the angular velocity history and the instruction history, and stores the waveform and the instruction history 900. It is determined whether or not the sum of squares of the difference between the waveform indicating the temporal change of the angular velocity in the range determined by the latest range information is equal to or less than a predetermined threshold value. If it is equal to or less than the threshold value, it is determined that an erroneous instruction cancel operation has been input (YES), and new range information and instruction information corresponding to the range information (cancellation of incorrect instruction) are stored in the instruction history 900. Then, a learning request is output to the misrecognition correction unit 513, and the process proceeds to Step 3007. If it is not equal to or greater than the threshold value, it is determined that an erroneous instruction cancel operation has not been input (NO), and the process proceeds to step 3006.

ステップ３００５において、誤指示のキャンセル操作が入力されていないと判断した場合には（ＮＯ）、指示判断部５１１は、さらに指示命令の内容がキャンセル処理であるか否かを判断する（Ｓ３００６）。   If it is determined in step 3005 that an erroneous instruction cancel operation has not been input (NO), the instruction determination unit 511 further determines whether or not the content of the instruction command is a cancel process (S3006).

具体的に、指示判断部５１１は、直前に実行した処理の終了位置以降に検出された角速度の経時変化を示す波形を生成し、当該波形と、予め記憶される理想波形と、について相関処理を実行して、相関値が所定の閾値以上である理想波形を特定する。そして、当該理想波形に対応付けられた処理をさらに特定して、指示情報として指示履歴９００へと格納する。また、指示判断部５１１は、波形の範囲を範囲情報として、指示履歴９００へとさらに格納する。そして、指示判断部５１１は、指示情報が誤認識および誤操作のキャンセル処理を示すものでない場合には（ＮＯ）、ステップ３０１０へと進み、指示情報が誤認識および誤操作のキャンセル処理を示すものである場合には（ＹＥＳ）、誤認訂正部５１３へ学習要求を出力して、ステップ３００７へと進む。なお、閾値以上の理想波形が検出されなかった場合には、ステップ３００１へと戻って、処理を繰り返す。   Specifically, the instruction determination unit 511 generates a waveform indicating a temporal change in angular velocity detected after the end position of the process executed immediately before, and performs correlation processing on the waveform and an ideal waveform stored in advance. This is executed to identify an ideal waveform having a correlation value equal to or greater than a predetermined threshold value. Then, the process associated with the ideal waveform is further specified and stored in the instruction history 900 as instruction information. In addition, the instruction determination unit 511 further stores the waveform range in the instruction history 900 as range information. If the instruction information does not indicate erroneous recognition and erroneous operation cancellation processing (NO), the instruction determination unit 511 proceeds to step 3010, and the instruction information indicates erroneous recognition and erroneous operation cancellation processing. In this case (YES), a learning request is output to the misrecognition correction unit 513 and the process proceeds to Step 3007. If an ideal waveform equal to or greater than the threshold is not detected, the process returns to step 3001 and the process is repeated.

ステップ３００６において、指示情報が誤認識および誤操作のキャンセル処理を示すものでないと判断された場合には（ＮＯ）、指示判断部５１１は、ＨＭＤ１０３の動作状態を検出し、状態情報として指示履歴９００の状態情報格納領域９００ｂに格納する（Ｓ３０１０）。そして、信号制御部５１２に、信号生成要求を出力する。   In step 3006, when it is determined that the instruction information does not indicate erroneous recognition and erroneous operation cancellation processing (NO), the instruction determination unit 511 detects the operating state of the HMD 103 and stores the operation history of the instruction history 900 as the state information. It is stored in the state information storage area 900b (S3010). Then, a signal generation request is output to the signal control unit 512.

信号制御部５１２は、信号生成要求を受け付けると、指示情報格納領域９００ａに格納される指示命令の内容を実行するための制御信号を生成して、表示部１６０および音声出力部１２０に出力し（Ｓ３０１１）、処理を終了する。   When the signal control unit 512 receives the signal generation request, the signal control unit 512 generates a control signal for executing the contents of the instruction command stored in the instruction information storage area 900a and outputs the control signal to the display unit 160 and the audio output unit 120 ( S3011), the process ends.

誤認訂正部５１３は、ステップ３００５および３００６において出力された学習要求を受け付けると、指示情報を参照してキャンセル処理の種類を特定し、当該キャンセル処理の種類に対応する学習を実行する（３００７）。   When the misrecognition correction unit 513 receives the learning request output in steps 3005 and 3006, it refers to the instruction information, identifies the type of cancel processing, and executes learning corresponding to the type of cancel processing (3007).

具体的に、誤認訂正部５１３は、指示情報が誤指示によるキャンセル処理を示す場合には、誤指示によって実行された直前の処理に対応する理想波形を更新する。また、指示情報が誤認識および誤操作によるキャンセル処理を示す場合には、誤認識および誤操作の処理が入力された際の角速度の経時変化の波形を、誤認波形情報として波形記憶領域５２３へと記憶させる。そして、信号制御部５１２に、状態情報に基づく制御信号の生成要求を出力する。   Specifically, the misrecognition correcting unit 513 updates the ideal waveform corresponding to the immediately preceding process executed by the erroneous instruction when the instruction information indicates a cancel process due to the erroneous instruction. When the instruction information indicates a misrecognition and cancellation process due to an erroneous operation, the waveform of the temporal change in angular velocity when the misrecognition and erroneous operation processes are input is stored in the waveform storage area 523 as misidentified waveform information. . Then, a request for generating a control signal based on the state information is output to the signal control unit 512.

信号制御部５１２は、信号生成要求を受け付けると、指示履歴９００の状態情報格納領域９００ｂより最新の状態情報を読み出す（Ｓ３００８）。そして、最新の状態情報の内容の動作状態を実現する制御信号を生成し、表示部１６０と、音声出力部１２０と、に出力して（Ｓ３００９）、処理を終了する。   When receiving the signal generation request, the signal control unit 512 reads the latest state information from the state information storage area 900b of the instruction history 900 (S3008). And the control signal which implement | achieves the operation state of the content of the newest status information is produced | generated, and it outputs to the display part 160 and the audio | voice output part 120 (S3009), and complete | finishes a process.

以上、制御部５１０の実行する処理について説明した。   The processing executed by the control unit 510 has been described above.

このような構成により、本実施形態に係るＨＭＤ１０３は、キャンセルの理由に基づいて相関認識の条件を補正することにより、利用者の癖や習慣に合わせて、所望の処理を正確に実行することが可能である。   With such a configuration, the HMD 103 according to the present embodiment can accurately execute a desired process according to a user's habit and habit by correcting the correlation recognition condition based on the reason for cancellation. Is possible.

なお、キャンセル可能な操作は、直前のものに限らない。信号情報７００に、さらに検出信号の取得時間を格納する領域を設け、状態情報の履歴を時系列順に記憶させても良い。従って、キャンセル操作が連続して複数回実行された場合には、状態情報の履歴から、多段階にわたる操作前の動作状態を復元する制御信号を生成して、複数回のキャンセル操作に対応可能な構成とすることが可能である。   The cancelable operation is not limited to the previous operation. An area for storing the acquisition time of the detection signal may be provided in the signal information 700, and the history of the state information may be stored in chronological order. Therefore, when the cancel operation is continuously executed a plurality of times, it is possible to generate a control signal for restoring the operation state before the operation in multiple stages from the history of the state information, and it is possible to cope with a plurality of cancel operations. It can be configured.

また、ここでは指示判断部５１１は、角速度センサ２０１の検出信号のみからキャンセルを判断する構成としているが、操作部１７０を介した検出信号が処理のキャンセルを示すものであった場合にも、同様にキャンセル処理を実行するような構成としても良い。   Here, the instruction determination unit 511 is configured to determine cancellation only from the detection signal of the angular velocity sensor 201, but the same applies to the case where the detection signal via the operation unit 170 indicates cancellation of processing. Alternatively, the configuration may be such that cancel processing is executed.

本発明は、上記のような実施形態には制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。   The present invention is not limited to the embodiment as described above. The above embodiment can be variously modified within the scope of the technical idea of the present invention.

例えば、所望の処理が実行されないと、利用者は、複数回動作を繰り返してしまう場合が多い。そのため、このような処理は一度にキャンセルされることが望ましい。   For example, if a desired process is not executed, the user often repeats the operation a plurality of times. Therefore, it is desirable to cancel such processing at a time.

そこで、信号制御部５１２は、連続して処理が入力された後のキャンセル操作に関しては、所定の期間内に一定以下の間隔で連続する処理については全てキャンセルし、それ以前の動作状態を復元させることが出来る。また、キャンセル操作の直前に入力された処理に対して、連続して入力され、かつ、指示情報が同じ内容を示す処理について、全てキャンセルするような構成としても良い。   Accordingly, the signal control unit 512 cancels all the continuous processes at a predetermined interval within a predetermined period with respect to the cancel operation after the processes are continuously input, and restores the previous operation state. I can do it. Moreover, it is good also as a structure which cancels all the processes which are input continuously with respect to the process input immediately before cancellation operation, and the instruction information shows the same content.

さらに、キャンセル操作の入力があった場合に、このようなキャンセル操作に関する指示を受け付けるための、図１２に示すような操作履歴画面８００を、指示履歴９００に格納される範囲情報および指示情報から生成し、表示部１６０に表示させるような構成としても良い。   Further, when a cancel operation is input, an operation history screen 800 as shown in FIG. 12 for receiving an instruction related to the cancel operation is generated from the range information and the instruction information stored in the instruction history 900. In addition, the display unit 160 may be configured to display.

操作履歴画面８００では、指示情報から特定される利用者が入力した入力操作の一覧と、当該入力操作に対応する、範囲情報から特定される波形の終了位置の角速度を受信した時間である操作日時と、が表示される。利用者は、入力操作の一覧から、アイコン８００ｂで示される直前に入力された操作から遡って、さらにキャンセルの実行を指示するキャンセル範囲８００ａを指定することが可能である。   In the operation history screen 800, an operation date and time that is a time when a list of input operations input by the user specified from the instruction information and an angular velocity at the end position of the waveform specified from the range information corresponding to the input operation is received. Is displayed. The user can specify a cancel range 800a for instructing execution of the cancellation from the list of input operations retroactively from the operation input immediately before indicated by the icon 800b.

例えば、指示判断部５１１は、図１２に示すような操作履歴画面８００において、アイコン８００ｂから、変位可能なアイコン８００ｃの位置する範囲を、キャンセル範囲８００ａとして受け付ける。キャンセル範囲８００ａの入力を受け付けると、指示判断部５１１は、当該アイコン８００ｃの位置に対応する入力操作の操作日時の値を有する範囲情報のレコードを指示履歴９００から特定して、当該レコードの状態情報に基づく制御信号の生成を、信号制御部５１２へと出力する。   For example, the instruction determination unit 511 accepts a range where the displaceable icon 800c is located as the cancel range 800a from the icon 800b on the operation history screen 800 as shown in FIG. When receiving the input of the cancel range 800a, the instruction determination unit 511 specifies from the instruction history 900 a record of range information having an operation date and time value of the input operation corresponding to the position of the icon 800c, and status information of the record The generation of the control signal based on is output to the signal control unit 512.

信号制御部５１２は、指定されたレコードの状態情報に基づいて制御信号を生成および出力し、利用者の指示したキャンセル範囲８００ａに含まれる複数の処理が実行される前の動作状態を復元することで、当該複数の処理のキャンセルが可能である。   The signal control unit 512 generates and outputs a control signal based on the state information of the designated record, and restores the operation state before a plurality of processes included in the cancel range 800a specified by the user is executed. Thus, the plurality of processes can be canceled.

なお、本発明のＨＭＤは、片眼で映像を見る構成となっているが、両眼で映像を見るような構成としても良い。   Note that the HMD of the present invention is configured to view an image with one eye, but may be configured to view an image with both eyes.

また、以上に述べた実施形態における制御装置の適用は、ＨＭＤに限定されない。頭部検出部を備える他の装置についても、適用が可能である。   The application of the control device in the embodiment described above is not limited to the HMD. The present invention can also be applied to other devices including a head detection unit.

本発明の第一の実施形態であるＨＭＤ１０１の斜視図。The perspective view of HMD101 which is 1st embodiment of this invention. 本発明の第一の実施形態であるＨＭＤ１０１の側面図。The side view of HMD101 which is 1st embodiment of this invention. 本発明のＨＭＤ１０１の概略構成図。The schematic block diagram of HMD101 of this invention. 信号情報７００の概略図。Schematic of signal information 700. FIG. 本発明の第一の実施形態であるＨＭＤ１０１の指示判断部３１１が、検出信号を受信した際の処理を示すフローチャート。The flowchart which shows the process at the time of the instruction | indication judgment part 311 of HMD101 which is 1st embodiment of this invention receiving a detection signal. 本発明のＨＭＤ１０２の概略構成図。The schematic block diagram of HMD102 of this invention. 本発明の第二の実施形態であるＨＭＤ１０２の指示判断部４１１が、検出信号を受信した際の処理を示すフローチャート。The flowchart which shows the process at the time of the instruction | indication judgment part 411 of HMD102 which is 2nd embodiment of this invention receiving a detection signal. 本発明のＨＭＤ１０３の概略構成図。The schematic block diagram of HMD103 of this invention. 指示履歴９００の概略図。6 is a schematic diagram of an instruction history 900. FIG. （ａ）利用者が誤指示を実行した場合の角速度の経時変化、図１０（ｂ）利用者が誤指示のキャンセルを実行した場合の角速度の経時変化。(A) Temporal change in angular velocity when the user executes an erroneous instruction, FIG. 10B shows temporal change in angular velocity when the user cancels the erroneous instruction. 本発明の第三の実施形態であるＨＭＤ１０３の指示判断部５１１が、検出信号を受信した際の処理を示すフローチャート。The flowchart which shows the process at the time of the instruction | indication judgment part 511 of HMD103 which is 3rd embodiment of this invention receiving a detection signal. 操作履歴画面８００の概略図。Schematic diagram of an operation history screen 800. FIG. ＨＭＤ１０１の電気的な構成を示すブロック図である。2 is a block diagram showing an electrical configuration of the HMD 101. FIG. ＨＭＤ１０１の電気的な構成を示すブロック図である。2 is a block diagram showing an electrical configuration of the HMD 101. FIG. 本発明の第一の実施形態であるＨＭＤ１０１に別途設けられるリモコンの概略図である。It is the schematic of the remote control provided separately in HMD101 which is 1st embodiment of this invention.

符号の説明Explanation of symbols

１０１、１０２、１０３：ＨＭＤ、１１０：頭部装着帯、１２０：音声出力部、１３０Ａ、１３０Ｂ：筐体、１４０：支持部、１５０：アーム部、１６０：表示部、１６１：ＬＣＤ、１７０：操作部、１７１Ａ、１７１Ｂ、１７１Ｃ、１７１Ｄ、１７１Ｅ：操作スイッチ、１７２：リモコン受信部、１８０：電源部、１９０：リモコン、２００：頭部動き検出部、３００、４００、５００：制御装置、３１０、４１０、５１０：制御部、３１１、４１１、５１１：指示判断部、３１２、４１２、５１２：信号制御部、３２０、４２０、５２０：記憶部、３３０：入出力インターフェース部   101, 102, 103: HMD, 110: head wearing band, 120: audio output unit, 130A, 130B: housing, 140: support unit, 150: arm unit, 160: display unit, 161: LCD, 170: operation 171A, 171B, 171C, 171D, 171E: operation switch, 172: remote control reception unit, 180: power supply unit, 190: remote control, 200: head movement detection unit, 300, 400, 500: control device, 310, 410 , 510: control unit, 311, 411, 511: instruction determination unit, 312, 412, 512: signal control unit, 320, 420, 520: storage unit, 330: input / output interface unit

Claims (12)

利用者の動きを検出する動き検出部と、
前記動き検出部で所定の動きが検出された場合に、前記所定の動きに応じて、以前に実行した第二の処理を取り消す処理である第一の処理を実行する制御部と、を備えること
を特徴とする制御装置。 A motion detection unit for detecting a user's motion;
A control unit that executes a first process, which is a process of canceling a previously executed second process, in response to the predetermined movement when a predetermined movement is detected by the movement detection unit. A control device characterized by. 請求項１に記載の制御装置であって、
前記第一の処理に応じた所定の動きが、複数設定されていること
を特徴とする制御装置。 The control device according to claim 1,
A plurality of predetermined movements according to the first process are set. 請求項１または２に記載の制御装置であって、
前記所定の動きとは、予め定められた基準となる動きに対して所定の相関値を有する動きであり、
前記制御部は、前記基準となる動きに対して所定の相関値を有する動きが検出された場合に、前記基準となる動きに応じた前記第一の処理を実行すること
を特徴とする制御装置。 The control device according to claim 1 or 2,
The predetermined movement is a movement having a predetermined correlation value with respect to a predetermined reference movement,
The control unit performs the first process according to the reference motion when a motion having a predetermined correlation value is detected with respect to the reference motion. . 請求項１から３のいずれか一項に記載の制御装置であって、
前記第一の処理に応じた所定の動きは、少なくとも以前に実行した第二の処理に応じた動きと、逆方向への動きであること
を特徴とする制御装置。 The control device according to any one of claims 1 to 3,
The control apparatus according to claim 1, wherein the predetermined movement according to the first process is a movement in a direction opposite to at least a movement according to the second process executed previously. 請求項４に記載の制御装置であって、
前記制御部は、前記逆方向への動きを検出すると、以前に実行した第二の処理に対応する前記基準となる動きを、前記動き検出部で検出され、前記第一の処理で取り消しを受ける前記第二の処理に応じた動きとすること
を特徴とする制御装置。 The control device according to claim 4,
When detecting the movement in the reverse direction, the control unit detects the reference movement corresponding to the previously executed second process by the movement detection unit, and receives cancellation in the first process. The control device is characterized in that the movement corresponds to the second process. 請求項５に記載の制御装置であって、
前記制御部は、前記逆方向への動き以外の前記第一の処理に応じた所定の動きが検出されると、前記第一の処理によって取り消しを受ける前記第二の処理に応じた動きに所定の相関値を有する動きについて、前記第一の処理を、実行しないこと
を特徴とする制御装置。 The control device according to claim 5,
When the predetermined movement according to the first process other than the movement in the reverse direction is detected, the control unit determines the movement according to the second process to be canceled by the first process. The control device is characterized in that the first process is not executed for a motion having a correlation value of 請求項５または６に記載の制御装置であって、
前記制御部は、前記第一の処理に応じた所定の動きによって、前記所定の相関値を変化させること
を特徴とする制御装置。 The control device according to claim 5 or 6,
The control unit is configured to change the predetermined correlation value by a predetermined movement according to the first process. 利用者の動きを検出する動き検出部と、
前記動き検出部で検出された動きに応じて実行された処理を記憶する記憶部と、
前記動き検出部で所定の動きが検出された場合に、前記所定の動きに応じて、以前に実行した複数の第二の処理を取り消す処理である第一の処理を実行する制御部と、を備えること
を特徴とする制御装置。 A motion detection unit for detecting a user's motion;
A storage unit for storing processing executed according to the motion detected by the motion detection unit;
A control unit that executes a first process, which is a process of canceling a plurality of second processes executed previously, in accordance with the predetermined movement when a predetermined movement is detected by the movement detection unit; A control device characterized by comprising. 請求項８に記載の制御装置であって、
表示部をさらに備え、
前記制御部は、前記表示部に以前実行された前記第二の処理を表示させて、前記第二の処理の中から所望の処理の選択を受け付けて、選択された第二の処理を取り消すこと
を特徴とする制御装置。 The control device according to claim 8,
A display unit;
The control unit displays the second process previously executed on the display unit, receives a selection of a desired process from the second process, and cancels the selected second process. A control device characterized by. 請求項８に記載の制御装置であって、
前記複数の第二の処理は、直前に実行された第二の処理と連続する同じ第二の処理であること
を特徴とする制御装置。 The control device according to claim 8,
The plurality of second processes are the same second process that is continuous with the second process executed immediately before. 請求項８に記載の制御装置であって、
前記複数の第二の処理は、直前に実行された第二の処理と所定の間隔以下で連続する第二の処理であること
を特徴とする制御装置。 The control device according to claim 8,
The control device, wherein the plurality of second processes is a second process that is continuous with a second process executed immediately before at a predetermined interval. 請求項１から１１のいずれか一項に記載の制御装置を備えることを特徴とするヘッドマウントディスプレイ装置。   A head-mounted display device comprising the control device according to claim 1.
JP2008247393A 2007-09-28 2008-09-26 Control device and head mount display Pending JP2009098676A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008247393A JP2009098676A (en) 2007-09-28 2008-09-26 Control device and head mount display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007255684 2007-09-28
JP2008247393A JP2009098676A (en) 2007-09-28 2008-09-26 Control device and head mount display

Publications (1)

Publication Number Publication Date
JP2009098676A true JP2009098676A (en) 2009-05-07

Family

ID=40511455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008247393A Pending JP2009098676A (en) 2007-09-28 2008-09-26 Control device and head mount display

Country Status (2)

Country Link
JP (1) JP2009098676A (en)
WO (1) WO2009041575A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247959A (en) * 2011-05-27 2012-12-13 Sony Corp Information processing apparatus, information processing method and computer program
JP2013206411A (en) * 2012-03-29 2013-10-07 Brother Ind Ltd Head-mounted display and computer program
JP2014158151A (en) * 2013-02-15 2014-08-28 Seiko Epson Corp Sound processing device and control method of sound processing device
WO2015111655A1 (en) * 2014-01-27 2015-07-30 村田機械株式会社 Head-mounted display device
JP6130478B1 (en) * 2015-12-15 2017-05-17 株式会社コロプラ Program and computer
JP2017111604A (en) * 2015-12-16 2017-06-22 キヤノン株式会社 Display device, method for controlling the same, and control program
US9880615B2 (en) 2013-02-15 2018-01-30 Seiko Epson Corporation Information processing device and control method for information processing device
CN110347239A (en) * 2018-04-04 2019-10-18 佳能株式会社 Electronic device, the control method of electronic device and computer-readable medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148351A (en) * 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd Operation instruction output device giving operation instruction in accordance with kind of user's action and computer-readable recording medium
JP4599858B2 (en) * 2004-03-11 2010-12-15 ブラザー工業株式会社 Image display device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247959A (en) * 2011-05-27 2012-12-13 Sony Corp Information processing apparatus, information processing method and computer program
JP2013206411A (en) * 2012-03-29 2013-10-07 Brother Ind Ltd Head-mounted display and computer program
JP2014158151A (en) * 2013-02-15 2014-08-28 Seiko Epson Corp Sound processing device and control method of sound processing device
US9880615B2 (en) 2013-02-15 2018-01-30 Seiko Epson Corporation Information processing device and control method for information processing device
WO2015111655A1 (en) * 2014-01-27 2015-07-30 村田機械株式会社 Head-mounted display device
JP2015141215A (en) * 2014-01-27 2015-08-03 村田機械株式会社 Head-mounted display device
JP6130478B1 (en) * 2015-12-15 2017-05-17 株式会社コロプラ Program and computer
JP2017111539A (en) * 2015-12-15 2017-06-22 株式会社コロプラ Program and computer
JP2017111604A (en) * 2015-12-16 2017-06-22 キヤノン株式会社 Display device, method for controlling the same, and control program
CN110347239A (en) * 2018-04-04 2019-10-18 佳能株式会社 Electronic device, the control method of electronic device and computer-readable medium
JP2019184689A (en) * 2018-04-04 2019-10-24 キヤノン株式会社 Electronic apparatus, method for controlling the same, program, and storage media
JP7210153B2 (en) 2018-04-04 2023-01-23 キヤノン株式会社 ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM

Also Published As

Publication number Publication date
WO2009041575A1 (en) 2009-04-02

Similar Documents

Publication Publication Date Title
JP2009098676A (en) Control device and head mount display
JP4411387B2 (en) Moving body detection apparatus, moving body detection method, pointing device, computer program, and storage medium
JP6490804B2 (en) Head mounted display device controlled by tap, control method thereof, and computer program for the control
JP5675627B2 (en) Mobile device with gesture recognition
JP5261217B2 (en) Display device and display method
US20140205260A1 (en) Haptic sensation recording and playback
US20100182232A1 (en) Electronic Data Input System
US20150138075A1 (en) Recognition device, recognition method, computer program product, and terminal device
WO2010038822A1 (en) Information processing apparatus, information processing method, information recording medium, and program
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2019012965A (en) Video control method, video control device, and video control program
JP7059934B2 (en) Information processing equipment, information processing methods, and programs
KR101878376B1 (en) Control apparatus based on eyes and method for controlling device thereof
US20140082491A1 (en) Electronic device and editing method for synthetic image
JP7040521B2 (en) Information processing equipment, information processing methods, and programs
JP6852612B2 (en) Display program, information processing device, and display method
JP2004318400A (en) Image processing device and image processing method
KR102149732B1 (en) Display control device, display control method, program, and non-transitory computer-readable information recording medium
JP2010287004A (en) Head mounted video display device
EP4203520A1 (en) Information processing method, program, and acoustic reproduction device
WO2012137624A1 (en) Image display device
JP6110764B2 (en) Glasses-type display device, display control device, display system, and computer program
JP5098543B2 (en) Control device and head mounted display device
KR102128263B1 (en) Head mounted display and control method for thereof
JP6429541B2 (en) Endoscopic image display device, operation method of endoscopic image display device, and endoscope image display program