JP2017157120A - Display device, and control method for the same - Google Patents

Display device, and control method for the same Download PDF

Info

Publication number
JP2017157120A
JP2017157120A JP2016041864A JP2016041864A JP2017157120A JP 2017157120 A JP2017157120 A JP 2017157120A JP 2016041864 A JP2016041864 A JP 2016041864A JP 2016041864 A JP2016041864 A JP 2016041864A JP 2017157120 A JP2017157120 A JP 2017157120A
Authority
JP
Japan
Prior art keywords
display
control unit
unit
input
track pad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016041864A
Other languages
Japanese (ja)
Inventor
総志 木村
Fusayuki Kimura
総志 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2016041864A priority Critical patent/JP2017157120A/en
Priority to US15/149,710 priority patent/US10001857B2/en
Priority to EP16169606.7A priority patent/EP3093751A1/en
Priority to CN201610319968.XA priority patent/CN106168848B/en
Publication of JP2017157120A publication Critical patent/JP2017157120A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To alleviate restriction in operability due to a size of an operation screen, and to allow an operator to easily control an end position of operation in a display device in which the operation can be performed on an operation screen.SOLUTION: An HMD 100 comprises an image display section 20 transmitting an outside scenery while causing a user to visually recognize an image. The HMD 100 comprises: an operation detection section detecting operation on a track pad 14; and a control section displaying a display object of an operational target on the image display section 20. The control section controls a display position of the display object according to the operation with respect to the track pad 14, obtains a direction of movement of the display object according to a change of an operation position in the track pad 14, moves the display position of the display object, and stops movement of the display object when the operation with respect to the track pad 14 corresponds to preliminarily set termination conditions.SELECTED DRAWING: Figure 1

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。   The present invention relates to a display device and a display device control method.

従来、コンピューター等を操作する入力デバイスとして、接触操作を検出する操作面を備えたものが知られている(例えば、特許文献1参照)。特許文献1は、マウスを用いて操作することを前提としたコンピューターをタッチパネル端末によって操作する構成を開示する。操作面に対する操作を検出する入力デバイスでは、操作面の大きさにより操作性が制約を受ける。この制約を解消するため、特許文献1記載の構成では、タッチパネルが接触を検出する部位が移動した速度から移動距離を算出し、この移動距離にしたがってコンピューター上でマウスポインターを移動させる。   Conventionally, as an input device for operating a computer or the like, an input device having an operation surface for detecting a contact operation is known (for example, see Patent Document 1). Patent Document 1 discloses a configuration in which a touch panel terminal is used to operate a computer on the premise that the computer is operated using a mouse. In an input device that detects an operation on the operation surface, operability is limited by the size of the operation surface. In order to eliminate this restriction, in the configuration described in Patent Document 1, the movement distance is calculated from the speed at which the touch panel detects the contact, and the mouse pointer is moved on the computer according to the movement distance.

特開2013−143076号公報JP 2013-143076 A

しかしながら、特許文献1記載のように、操作に関する速度からマウスポインター等の操作の指標を移動させる場合、この指標が停止する位置、すなわち操作の終了位置を操作者(ユーザー)が制御することが困難であった。
本発明は上記事情に鑑みてなされたものであり、操作面に対する操作を行うことが可能な表示装置において、操作面の大きさに起因する操作性の制約を緩和し、操作の終了位置を操作者が容易に制御できるようにすることを目的とする。
However, as described in Patent Document 1, when an operation index such as a mouse pointer is moved from an operation speed, it is difficult for an operator (user) to control the position where the index stops, that is, the operation end position. Met.
The present invention has been made in view of the above circumstances, and in a display device capable of performing an operation on the operation surface, the operability restriction due to the size of the operation surface is relaxed, and the operation end position is operated. It is intended to enable a person to easily control.

上記目的を達成するため、本発明は、表示部と、操作面に対する操作を検出する操作検出部と、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御する制御部と、を備え、前記制御部は、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。
To achieve the above object, the present invention provides a display unit, an operation detection unit for detecting an operation on the operation surface, and a display object to be operated is displayed on the display unit, and the operation object is displayed in response to the operation on the operation surface. A control unit that controls the display position of the display object, and the control unit moves the display position of the display object in response to a change in the operation position on the operation surface detected by the operation detection unit, When the operation detection unit detects an operation corresponding to a preset end condition, the movement of the display position of the display object is stopped.
ADVANTAGE OF THE INVENTION According to this invention, when moving the display position of a display object according to operation with respect to an operation surface, the moving amount | distance of a display position can be controlled with a high freedom degree. For example, if the operation position on the operation surface stops and is set so as not to satisfy the termination condition, the display object can be moved larger than the movement amount of the operation position. In this case, the operability restriction due to the size of the operation surface can be relaxed. Furthermore, the position or timing at which the movement of the display position of the display object is stopped can be easily controlled.

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置の移動方向を、前記操作面における操作位置の移動方向に対応する方向に設定すること、を特徴とする。
本発明によれば、操作者が、操作対象の表示オブジェクトを意図する方向に移動させることができ、操作性の向上を図ることができる。
Further, the present invention is characterized in that, in the display device, the control unit sets the movement direction of the display position of the display object to a direction corresponding to the movement direction of the operation position on the operation surface.
According to the present invention, the operator can move the display object to be operated in the intended direction, and the operability can be improved.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行い、その後に前記表示オブジェクトの表示位置を移動させること、を特徴とする。
本発明によれば、操作対象の表示オブジェクトを適切な方向に移動させることができる。
In the display device according to the aspect of the invention, the control unit performs a process of obtaining a moving direction of the display position of the display object after the operation detection unit detects an operation on the operation surface, and then performs the display. The display position of the object is moved.
According to the present invention, the display object to be operated can be moved in an appropriate direction.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行う間、前記操作面の操作位置に対応する表示位置に前記表示オブジェクトを表示させること、を特徴とする。
本発明によれば、表示オブジェクトの移動方向を求める処理を行う間においても表示オブジェクトの表示位置を適切に制御できる。このため、操作者が違和感なく操作を行える。また、短時間または操作位置の移動量が小さい操作に対応して表示オブジェクトを移動させることができる。
In the display device according to the aspect of the invention, the control unit may perform the process of obtaining a moving direction of the display position of the display object after the operation detection unit detects an operation on the operation surface. The display object is displayed at a display position corresponding to the operation position.
According to the present invention, it is possible to appropriately control the display position of the display object even during the process of obtaining the moving direction of the display object. For this reason, the operator can operate without a sense of incongruity. In addition, the display object can be moved in response to an operation with a small amount of movement of the operation position for a short time.

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置の移動速度を、前記操作面における操作位置の移動量または移動速度に対応する速度に設定すること、を特徴とする。
本発明によれば、操作者が表示オブジェクトの移動速度を容易に制御できるので、より一層の操作性の向上を図ることができる。
In the display device according to the present invention, the control unit sets the movement speed of the display position of the display object to a speed corresponding to the movement amount or movement speed of the operation position on the operation surface. And
According to the present invention, since the operator can easily control the moving speed of the display object, the operability can be further improved.

また、本発明は、上記表示装置において、前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記操作検出部が検出する前記操作面における操作位置が変化した場合、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、表示オブジェクトの表示位置の移動が開始した後に、操作に応じて、表示位置の移動方向及び移動速度の少なくともいずれかを変化させる。このため、操作者の操作により、表示オブジェクトの表示位置の移動が開始した後であっても、操作者が表示オブジェクトの移動方向や移動速度を調整できる。
In the display device according to the aspect of the invention, when the operation position on the operation surface detected by the operation detection unit is changed while the display position of the display object is moved, the control unit It is characterized in that at least one of the moving direction and moving speed of the display position is changed.
According to the present invention, after the movement of the display position of the display object is started, at least one of the moving direction and the moving speed of the display position is changed according to the operation. For this reason, even after the movement of the display position of the display object is started by the operation of the operator, the operator can adjust the moving direction and moving speed of the display object.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出した場合に、前記終了条件に該当すると判定すること、を特徴とする。
本発明によれば、操作者は、表示オブジェクトの表示位置の移動を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。
In the display device according to the aspect of the invention, the control unit may detect an operation position when the operation detection unit detects contact of the operation body with the operation surface, and the operation detection unit may detect the operation surface from the operation surface. It is determined that the termination condition is satisfied when it is detected that the operating body is separated and the contact is released.
According to the present invention, since the operator can easily instruct the timing to start and stop the movement of the display position of the display object, the operability can be further improved.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、前記終了条件に該当すると判定すること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても表示オブジェクトの表示位置の移動を継続できる。このため、操作面において操作位置が移動する量よりも大きく、表示オブジェクトの表示位置を移動させることができ、操作面の大きさの制約を回避できる。
In the display device according to the aspect of the invention, the control unit may detect an operation position when the operation detection unit detects contact of the operation body with the operation surface, and the operation detection unit may detect the operation surface from the operation surface. It is characterized in that it is determined that the end condition is satisfied when a predetermined time has elapsed since it was detected that the operating body has left and the contact has been released.
According to the present invention, it is possible to continue the movement of the display position of the display object even after the operation tool is separated from the operation surface. Therefore, the display position of the display object can be moved larger than the amount by which the operation position moves on the operation surface, and the restriction on the size of the operation surface can be avoided.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間以内に、前記操作検出部が前記操作面に対する接触を検出した場合に、前記操作検出部が検出した新たな接触の操作位置に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても、表示オブジェクトの表示位置の移動について、移動方向または移動速度を制御できる。このため、表示オブジェクトの表示位置の移動の態様を、高い自由度で制御できる。
In the display device according to the aspect of the invention, the control unit may detect the operation within a predetermined time after the operation detection unit detects that the operation body has moved away from the operation surface and contact has been released. When the unit detects contact with the operation surface, the moving direction and the moving speed of the display position of the display object are changed corresponding to the operation position of the new contact detected by the operation detection unit. It is characterized by this.
According to the present invention, the movement direction or movement speed can be controlled for the movement of the display position of the display object even after the operation body is separated from the operation surface. For this reason, the mode of movement of the display position of the display object can be controlled with a high degree of freedom.

また、本発明は、上記表示装置において、前記操作面を有する操作デバイスを備え、前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、を特徴とする。
本発明によれば、表示オブジェクトの表示位置が移動する間に、操作デバイスの姿勢を変化させることにより、表示オブジェクトの表示位置の移動方向や移動速度を制御できる。このため、簡単な操作によって、表示オブジェクトの表示位置の移動の態様を、高い自由度で制御できる。
Further, the present invention provides the display device including an operation device having the operation surface, further including an attitude detection unit that detects an attitude of the operation device or a change in the attitude, and the control unit displays a display position of the display object. While moving, at least one of the moving direction and moving speed of the display position of the display object is changed in response to a change in the posture or posture of the operation device detected by the posture detection unit. And
According to the present invention, the moving direction and moving speed of the display position of the display object can be controlled by changing the posture of the operation device while the display position of the display object moves. For this reason, the mode of movement of the display position of the display object can be controlled with a high degree of freedom by a simple operation.

また、本発明は、上記表示装置において、前記操作面において前記操作検出部が操作を検出する面積またはサイズは、前記表示部が画像を表示する表示領域の面積またはサイズよりも小さいこと、を特徴とする。
本発明によれば、表示領域よりも小さい操作面を利用して、表示オブジェクトを任意に移動させることができ、操作性の向上を図ることができる。また、装置構成の自由度が高まるという利点がある。
Further, the present invention is characterized in that, in the display device, an area or size that the operation detection unit detects an operation on the operation surface is smaller than an area or size of a display area on which the display unit displays an image. And
According to the present invention, it is possible to arbitrarily move a display object using an operation surface smaller than the display area, and to improve operability. Further, there is an advantage that the degree of freedom of the device configuration is increased.

また、本発明は、上記表示装置において、前記操作面の形状は、前記表示部が画像を表示する表示領域とは異なる形状であること、を特徴とする。
本発明によれば、表示領域と異なる形状の操作面を利用して、表示オブジェクトを任意に移動させることができ、操作性の向上を図ることができる。また、装置構成の自由度が高まるという利点がある。
Further, the present invention is characterized in that, in the display device, the shape of the operation surface is different from a display area where the display unit displays an image.
According to the present invention, it is possible to arbitrarily move a display object using an operation surface having a shape different from that of the display area, and to improve operability. Further, there is an advantage that the degree of freedom of the device configuration is increased.

また、上記目的を達成するため、本発明の表示装置は、表示部と、操作面に対する操作を検出する操作検出部と、前記操作検出部により検出される操作に応じて、仮想入力平面に対する入力データを生成する制御部と、を備え、前記制御部は、前記操作検出部が前記操作面において操作位置が移動する操作を検出した場合に、前記操作に対応して前記仮想入力平面における入力データの生成を開始し、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記入力データの生成を停止すること、を特徴とする。
本発明によれば、仮想入力平面に対する入力データを、操作面の大きさの制約を超えて生成させることができる。例えば、入力データに基づき表示オブジェクトの表示位置を移動させる構成とすれば、表示オブジェクトの表示位置の移動量を高い自由度で制御できる。従って、操作面の大きさに起因する操作性の制約を緩和できる。
In order to achieve the above object, the display device of the present invention includes a display unit, an operation detection unit that detects an operation on the operation surface, and an input to the virtual input plane according to the operation detected by the operation detection unit. A controller that generates data, and the controller detects input data on the virtual input plane in response to the operation when the operation detector detects an operation in which the operation position moves on the operation surface. Generation of the input data is started, and generation of the input data is stopped when the operation detection unit detects an operation corresponding to a preset end condition.
According to the present invention, it is possible to generate input data for a virtual input plane beyond the limitation of the size of the operation surface. For example, if the display object is moved based on the input data, the amount of movement of the display object can be controlled with a high degree of freedom. Therefore, it is possible to relax the operability restriction caused by the size of the operation surface.

また、本発明は、上記表示装置において、前記制御部が生成する入力データは、前記仮想入力平面における入力位置、前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを含むこと、を特徴とする。
本発明によれば、操作面に対する操作により、仮想入力平面における入力位置、入力位置の移動方向、或いは入力位置の移動速度を入力できる。
In the display device according to the present invention, the input data generated by the control unit includes an input position in the virtual input plane, a moving direction of the input position in the virtual input plane, and an input in the virtual input plane. It includes at least one of the moving speed of the position.
According to the present invention, an input position on the virtual input plane, a moving direction of the input position, or a moving speed of the input position can be input by an operation on the operation surface.

また、本発明は、上記表示装置において、前記制御部は、前記入力データに含まれる前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを、前記操作検出部が検出する前記操作位置の移動量または移動速度に応じて設定すること、を特徴とする。
本発明によれば、仮想入力平面における入力位置、入力位置の移動方向、或いは入力位置の移動速度を、操作面に対する操作により制御できる。
In the display device according to the aspect of the invention, the control unit may at least one of a moving direction of the input position in the virtual input plane and a moving speed of the input position in the virtual input plane included in the input data. Is set according to the movement amount or movement speed of the operation position detected by the operation detection unit.
According to the present invention, the input position on the virtual input plane, the moving direction of the input position, or the moving speed of the input position can be controlled by operating the operation surface.

また、本発明は、上記表示装置において、前記操作検出部は、前記操作面に操作体が接触する操作に応じて接触位置を操作位置として検出し、前記制御部は、前記操作検出部が、前記操作面に対する接触が解除されたことを検出した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、を特徴とする。
本発明によれば、操作者は、入力データの生成を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。
Further, in the display device according to the present invention, the operation detection unit detects a contact position as an operation position according to an operation in which an operating body contacts the operation surface, and the control unit includes the operation detection unit, When it is detected that the contact with the operation surface is released, it is determined that the termination condition is satisfied, and generation of the input data is stopped.
According to the present invention, the operator can easily instruct the timing for starting and stopping the generation of the input data, so that the operability can be further improved.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部が前記操作面に対する接触の解除を検出してから所定時間が経過した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、を特徴とする。
本発明によれば、操作面から操作体が離れた後であっても入力データの生成を継続することができる。例えば、入力データに対応して表示オブジェクトの表示位置を移動させる場合、操作面への接触が解除された後も、表示位置の移動を継続できる。このため、操作面において操作位置が移動する量に制限されず、入力データを入力でき、操作面の大きさの制約を回避できる。
In the display device according to the aspect of the invention, the control unit may determine that the end condition is satisfied when a predetermined time has elapsed after the operation detection unit detects release of contact with the operation surface. The generation of the input data is stopped.
According to the present invention, it is possible to continue generating the input data even after the operating body is separated from the operation surface. For example, when the display position of the display object is moved corresponding to the input data, the movement of the display position can be continued even after the contact with the operation surface is released. For this reason, input data can be input without being limited by the amount by which the operation position moves on the operation surface, and the restriction on the size of the operation surface can be avoided.

また、本発明は、上記表示装置において、前記制御部は、前記操作検出部により検出される操作に応じて、前記仮想入力平面及び前記仮想入力平面に対して垂直な方向を含む三次元の入力データを生成可能であり、前記操作検出部が前記操作面における複数の操作位置の操作を検出した場合に、前記仮想入力平面に垂直な方向の成分を含む前記入力データを生成すること、を特徴とする。
本発明によれば、操作面に対する操作によって三次元的な入力を行うことができる。
According to the present invention, in the display device, the control unit includes a three-dimensional input including a direction perpendicular to the virtual input plane and the virtual input plane according to an operation detected by the operation detection unit. Data can be generated, and when the operation detection unit detects operations at a plurality of operation positions on the operation surface, the input data including a component in a direction perpendicular to the virtual input plane is generated. And
According to the present invention, three-dimensional input can be performed by an operation on the operation surface.

また、本発明は、上記表示装置において、前記操作面を有する操作デバイスを備え、前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、前記制御部は、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記操作面と前記仮想入力平面との対応を変更すること、を特徴とする。
本発明によれば、操作面を有する操作デバイスを傾ける操作によって、入力データの方向を変化させることができる。
According to the present invention, the display device includes an operation device having the operation surface, and includes an attitude detection unit that detects an attitude of the operation device or a change in the attitude, and the control unit is detected by the attitude detection unit. The correspondence between the operation surface and the virtual input plane is changed in response to the attitude of the operation device or a change in attitude.
According to the present invention, the direction of input data can be changed by an operation of tilting an operation device having an operation surface.

また、本発明は、上記表示装置において、前記仮想入力平面と前記表示部における表示領域とが対応付けられ、前記制御部は、前記表示部に操作対象の表示オブジェクトを表示させ、前記入力データに対応して前記表示オブジェクトの表示位置を制御すること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させることができ、表示位置の移動量を高い自由度で制御できる。
According to the present invention, in the display device, the virtual input plane is associated with a display area in the display unit, and the control unit displays a display object to be operated on the display unit, and the input data Correspondingly, the display position of the display object is controlled.
According to the present invention, the display position of the display object can be moved according to the operation on the operation surface, and the amount of movement of the display position can be controlled with a high degree of freedom.

また、上記目的を達成するため、本発明の表示装置の制御方法は、表示部を有する表示装置を制御して、操作面に対する操作を検出し、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作面に対する予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、を特徴とする。
本発明によれば、操作面に対する操作に応じて表示オブジェクトの表示位置を移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。
In order to achieve the above object, the display device control method of the present invention controls a display device having a display unit to detect an operation on the operation surface, and causes the display unit to display a display object to be operated. The display position of the display object is controlled in response to an operation on the operation surface, the display position of the display object is moved in response to a change in the operation position on the operation surface, and is set in advance on the operation surface. When the operation corresponding to the end condition is detected, the movement of the display position of the display object is stopped.
ADVANTAGE OF THE INVENTION According to this invention, when moving the display position of a display object according to operation with respect to an operation surface, the moving amount | distance of a display position can be controlled with a high freedom degree. For example, if the operation position on the operation surface stops and is set so as not to satisfy the termination condition, the display object can be moved larger than the movement amount of the operation position. In this case, the operability restriction due to the size of the operation surface can be relaxed. Furthermore, the position or timing at which the movement of the display position of the display object is stopped can be easily controlled.

また、上記目的を達成するため、本発明は、表示部を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、操作面に対する操作を検出する操作検出部と、前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、前記操作面における操作位置の変化に対応して前記表示オブジェクトの移動方向を求め、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させる制御部として機能させる、プログラムとして構成することができる。
このプログラムをコンピューターが実行することにより、コンピューターが表示する操作対象位置の表示オブジェクトを、操作面に対する操作に応じて移動させる場合に、表示位置の移動量を高い自由度で制御できる。例えば、操作面における操作位置が止まっても終了条件に該当しないよう設定すれば、操作位置の移動量よりも大きく表示オブジェクトを移動させることができる。この場合、操作面の大きさに起因する操作性の制約を緩和できる。さらに、表示オブジェクトの表示位置の移動を停止する位置或いはタイミングを容易に制御できる。
In order to achieve the above object, the present invention is a program executable by a computer that controls a display device having a display unit, the computer including an operation detection unit that detects an operation on an operation surface, and the display. A display object to be operated is displayed on the screen, a display position of the display object is controlled in response to an operation on the operation surface, and a moving direction of the display object is obtained in response to a change in the operation position on the operation surface. The display position of the display object is moved in response to a change in the operation position on the operation surface detected by the operation detection unit, and the operation detection unit detects an operation corresponding to a preset end condition And configured as a program that functions as a control unit that stops the movement of the display position of the display object. Kill.
When the computer executes this program, the amount of movement of the display position can be controlled with a high degree of freedom when the display object at the operation target position displayed by the computer is moved according to the operation on the operation surface. For example, if the operation position on the operation surface stops and is set so as not to satisfy the termination condition, the display object can be moved larger than the movement amount of the operation position. In this case, the operability restriction due to the size of the operation surface can be relaxed. Furthermore, the position or timing at which the movement of the display position of the display object is stopped can be easily controlled.

また、本発明は、上述したプログラムを記憶した記憶媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現することもできる。記憶媒体としては、磁気的、光学的記憶媒体あるいは半導体メモリーデバイスを用いるもののいずれであってもよく、その他の種類の記憶媒体を使用してもよい。この記憶媒体は、メモリーカード等の可搬型記憶媒体、上記装置に固定的に設けられる記憶媒体、上記装置と通信回線を介して接続された装置が備える記憶媒体のいずれであってもよく、その他の具体的な実装形態も任意である。
上記プログラムは、オペレーティングシステムを実装して動作する装置において、オペレーティングシステム上で動作する単体のアプリケーションプログラムとして実装することができる。また、単体のアプリケーションプログラムに限らず、オペレーティングシステム、デバイスドライバー、及びアプリケーションプログラムのうち複数の機能として実装されてもよい。例えば、操作面を備える操作デバイスを制御するデバイスドライバープログラム、及び/または、オペレーティングシステムにおいて操作デバイスの操作を受け付けるプログラムモジュールが協働して上記プログラムを実現する構成であってもよい。また、複数のアプリケーションプログラムにより、本発明の上記プログラムを実現する構成であってもよく、具体的なプログラムの形態は任意である。
The present invention can also be realized in the form of a storage medium storing the above-described program, a server device that distributes the program, a transmission medium that transmits the program, a data signal in which the program is embodied in a carrier wave, and the like. . The storage medium may be a magnetic or optical storage medium or a semiconductor memory device, and other types of storage media may be used. This storage medium may be any of a portable storage medium such as a memory card, a storage medium fixedly provided in the apparatus, and a storage medium provided in an apparatus connected to the apparatus via a communication line. The specific mounting form is also arbitrary.
The program can be implemented as a single application program that operates on the operating system in a device that operates with the operating system. Further, the present invention is not limited to a single application program, and may be implemented as a plurality of functions among an operating system, a device driver, and an application program. For example, a device driver program that controls an operation device having an operation surface and / or a program module that receives an operation of the operation device in an operating system may cooperate to realize the program. Moreover, the structure which implement | achieves the said program of this invention with a some application program may be sufficient, and the form of a specific program is arbitrary.

第1の実施形態のHMDの外観構成を示す説明図。Explanatory drawing which shows the external appearance structure of HMD of 1st Embodiment. 第1の実施形態のHMDを構成する各部の機能ブロック図。The functional block diagram of each part which comprises HMD of 1st Embodiment. トラックパッドの操作に対応するHMDの動作を示す説明図であり、トラックパッドの操作例を示す。It is explanatory drawing which shows operation | movement of HMD corresponding to operation of a trackpad, and shows the example of operation of a trackpad. トラックパッドの操作に対応するポインターの移動の例を示す説明図。Explanatory drawing which shows the example of the movement of the pointer corresponding to operation of a trackpad. トラックパッドの操作に対するポインターの移動の別の例を示す説明図。Explanatory drawing which shows another example of the movement of the pointer with respect to operation of a trackpad. トラックパッド、仮想入力平面及び表示可能領域の対応を示す模式図。The schematic diagram which shows a response | compatibility with a trackpad, a virtual input plane, and a displayable area. 第1の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 1st Embodiment. トラックパッドの操作に対しリング型UIの表示を遷移させる例を示す説明図。Explanatory drawing which shows the example which changes the display of ring type UI with respect to operation of a trackpad. 第2の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 2nd Embodiment. 第3の実施形態における操作の例を示す説明図。Explanatory drawing which shows the example of operation in 3rd Embodiment. 第3の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 3rd Embodiment. 第4の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 4th Embodiment. 第5の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 5th Embodiment. 第5の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 5th Embodiment. 第5の実施形態における操作の例を示す説明図。Explanatory drawing which shows the example of operation in 5th Embodiment. 第6の実施形態におけるトラックパッドにおける操作領域の設定状態を示す図。The figure which shows the setting state of the operation area | region in the trackpad in 6th Embodiment. 第6の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 6th Embodiment. 第7の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 7th Embodiment. 第8の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 8th Embodiment. トラックパッド及び仮想入力平面の対応を示す模式図。The schematic diagram which shows a response | compatibility of a trackpad and a virtual input plane. 第9の実施形態のHMDの動作を示すフローチャート。The flowchart which shows operation | movement of HMD of 9th Embodiment. 本発明の実施形態の変形例を示す図。The figure which shows the modification of embodiment of this invention. 本発明の実施形態の変形例を示す図。The figure which shows the modification of embodiment of this invention. 本発明の実施形態の変形例を示す図。The figure which shows the modification of embodiment of this invention. 本発明の実施形態の変形例を示す図。The figure which shows the modification of embodiment of this invention.

[第1の実施形態]
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した第1の実施形態に係るHMD100の外観構成を示す説明図である。HMD100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display:頭部装着型表示装置)とも呼ばれる。本実施形態のHMD100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の表示装置である。なお、本明細書では、HMD100によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
[First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an explanatory diagram showing an external configuration of an HMD 100 according to the first embodiment to which the present invention is applied. The HMD 100 is a display device mounted on the head, and is also referred to as a head mounted display (Head Mounted Display). The HMD 100 of the present embodiment is an optically transmissive display device that allows a user to visually recognize a virtual image and at the same time directly view an outside scene. In this specification, a virtual image visually recognized by the user with the HMD 100 is also referred to as a “display image” for convenience. Moreover, emitting image light generated based on image data is also referred to as “displaying an image”.

HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備えている。制御装置10は、使用者がHMD100を操作するためのコントローラーとしても機能する。また、制御装置10は、操作デバイスとして機能する。   The HMD 100 includes an image display unit 20 (display unit) that allows the user to visually recognize a virtual image when mounted on the user's head, and a control device 10 that controls the image display unit 20. The control device 10 also functions as a controller for the user to operate the HMD 100. The control device 10 functions as an operation device.

画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、マイク63とを備える。右光学像表示部26及び左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続される。   The image display unit 20 is a mounting body that is mounted on the user's head, and has a glasses shape in the present embodiment. The image display unit 20 includes a right holding unit 21, a right display driving unit 22, a left holding unit 23, a left display driving unit 24, a right optical image display unit 26, a left optical image display unit 28, and a camera 61. And a microphone 63. The right optical image display unit 26 and the left optical image display unit 28 are arranged so as to be positioned in front of the right and left eyes of the user when the user wears the image display unit 20, respectively. One end of the right optical image display unit 26 and one end of the left optical image display unit 28 are connected to each other at a position corresponding to the eyebrow of the user when the user wears the image display unit 20.

右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21及び左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。   The right holding unit 21 extends from the end ER which is the other end of the right optical image display unit 26 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member. Similarly, the left holding unit 23 extends from the end EL which is the other end of the left optical image display unit 28 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member provided. The right holding unit 21 and the left holding unit 23 hold the image display unit 20 on the user's head like a temple of glasses.

右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部22及び左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26及び左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。   The right display drive unit 22 and the left display drive unit 24 are disposed on the side facing the user's head when the user wears the image display unit 20. The right display drive unit 22 and the left display drive unit 24 are collectively referred to simply as “display drive unit”, and the right optical image display unit 26 and the left optical image display unit 28 are simply referred to as “optical image display unit”. Also called.

表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)を備える。導光板261,262は、光透過性の樹脂等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。本実施形態では、少なくとも、HMD100を装着した使用者が外の景色を視認できる程度の光透過性を有する右光学像表示部26及び左光学像表示部28を用いる場合について説明する。   The display driving units 22 and 24 include liquid crystal displays 241 and 242 (hereinafter referred to as “LCDs 241 and 242”), projection optical systems 251 and 252 (see FIG. 2). Details of the configuration of the display driving units 22 and 24 will be described later. The optical image display units 26 and 28 as optical members include light guide plates 261 and 262 (see FIG. 2). The light guide plates 261 and 262 are formed of a light transmissive resin or the like, and guide the image light output from the display driving units 22 and 24 to the user's eyes. In the present embodiment, a case will be described in which at least the right optical image display unit 26 and the left optical image display unit 28 having such light transmittance that a user wearing the HMD 100 can visually recognize an outside scenery are used.

カメラ61は、右光学像表示部26の他端である端部ERに配置される。カメラ61は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図1に示す本実施形態のカメラ61は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ61の撮影方向すなわち画角は、HMD100の表側方向、換言すれば、HMD100を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ61の画角の広さは適宜設定可能であるが、カメラ61の撮像範囲が、使用者が右光学像表示部26、左光学像表示部28を通して視認する外界を含む範囲であることが好ましい。さらに、右光学像表示部26及び左光学像表示部28を通した使用者の視界の全体を撮影できるようにカメラ61の撮像範囲が設定されているとより好ましい。
The camera 61 is disposed at the end ER that is the other end of the right optical image display unit 26. The camera 61 captures an outside scene that is an external scenery in a direction opposite to the user's eye side, and acquires an outside scene image. The camera 61 of this embodiment shown in FIG. 1 is a monocular camera, but may be a stereo camera.
The shooting direction of the camera 61, that is, the angle of view is the front side direction of the HMD 100, in other words, the direction of shooting at least a part of the outside scene in the user's viewing direction when the HMD 100 is worn. In addition, although the angle of view of the camera 61 can be set as appropriate, the imaging range of the camera 61 is a range including the outside world that the user can visually recognize through the right optical image display unit 26 and the left optical image display unit 28. It is preferable. Furthermore, it is more preferable that the imaging range of the camera 61 is set so that the entire field of view of the user through the right optical image display unit 26 and the left optical image display unit 28 can be captured.

画像表示部20は、さらに、画像表示部20を制御装置10に接続するための接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、右コード42と、左コード44と、連結部材46とを備える。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続される。   The image display unit 20 further includes a connection unit 40 for connecting the image display unit 20 to the control device 10. The connection unit 40 includes a main body cord 48 connected to the control device 10, a right cord 42, a left cord 44, and a connecting member 46. The right cord 42 and the left cord 44 are codes in which the main body cord 48 is branched into two. The right cord 42 is inserted into the casing of the right holding unit 21 from the distal end AP in the extending direction of the right holding unit 21 and connected to the right display driving unit 22. Similarly, the left cord 44 is inserted into the housing of the left holding unit 23 from the distal end AP in the extending direction of the left holding unit 23 and connected to the left display driving unit 24.

連結部材46は、本体コード48と、右コード42及び左コード44との分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32及び左イヤホン34が延伸している。イヤホンプラグ30の近傍にはマイク63が設けられている。イヤホンプラグ30からマイク63までは一本のコードにまとめられ、マイク63からコードが分岐して、右イヤホン32と左イヤホン34のそれぞれに繋がっている。   The connecting member 46 is provided at a branch point between the main body cord 48, the right cord 42 and the left cord 44, and has a jack for connecting the earphone plug 30. A right earphone 32 and a left earphone 34 extend from the earphone plug 30. A microphone 63 is provided in the vicinity of the earphone plug 30. The earphone plug 30 to the microphone 63 are combined into one cord, and the cord branches from the microphone 63 and is connected to each of the right earphone 32 and the left earphone 34.

マイク63は、例えば図1に示すように、マイク63の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部190に出力する。マイク63は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。   For example, as shown in FIG. 1, the microphone 63 is arranged such that the sound collection unit of the microphone 63 faces the user's line of sight, collects sound, and outputs a sound signal to the sound processing unit 190. For example, the microphone 63 may be a monaural microphone or a stereo microphone, may be a directional microphone, or may be an omnidirectional microphone.

また、右コード42と左コード44とを一本のコードにまとめることも可能である。具体的には、右コード42の内部の導線を、画像表示部20の本体内部を通して左保持部23側に引き込み、左コード44内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。   It is also possible to combine the right code 42 and the left code 44 into one code. Specifically, the lead wire inside the right cord 42 is drawn into the left holding portion 23 side through the inside of the main body of the image display unit 20, and is covered with a resin together with the lead wire inside the left cord 44 to be combined into one cord. Also good.

画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御装置10とのそれぞれには、互いに嵌合するコネクター(図示略)が設けられている。本体コード48のコネクターと制御装置10のコネクターとの嵌合/嵌合解除により、制御装置10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。   The image display unit 20 and the control device 10 transmit various signals via the connection unit 40. A connector (not shown) that fits each other is provided at each of the end of the main body cord 48 opposite to the connecting member 46 and the control device 10. By fitting / releasing the connector of the main body cord 48 and the connector of the control device 10, the control device 10 and the image display unit 20 are connected or disconnected. For the right cord 42, the left cord 44, and the main body cord 48, for example, a metal cable or an optical fiber can be adopted.

制御装置10は、HMD100を制御するための装置である。制御装置10は、決定キー11、点灯部12、表示切替キー13、輝度切替キー15、方向キー16、メニューキー17、及び電源スイッチ18を含むスイッチ類を備える。また、制御装置10は、使用者が指等の操作体によりタッチ操作するトラックパッド14(操作面)を備える。   The control device 10 is a device for controlling the HMD 100. The control device 10 includes switches including an enter key 11, a lighting unit 12, a display switching key 13, a luminance switching key 15, a direction key 16, a menu key 17, and a power switch 18. In addition, the control device 10 includes a track pad 14 (operation surface) on which a user performs a touch operation with an operation body such as a finger.

決定キー11は、押下操作を検出して、制御装置10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LED(Light Emitting Diode)が用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。   The determination key 11 detects a pressing operation and outputs a signal for determining the content operated by the control device 10. The lighting unit 12 notifies the operation state of the HMD 100 according to the light emission state. The operation state of the HMD 100 includes, for example, power ON / OFF. For example, an LED (Light Emitting Diode) is used as the lighting unit 12. The display switching key 13 detects a pressing operation and outputs a signal for switching the display mode of the content video between 3D and 2D, for example.

トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電容量検出式や圧力検出式、光学式といった種々のトラックパッドを採用できる。トラックパッド14が圧力検出式や光学式の場合、トラックパッド14を操作する操作体は、使用者の指、ペン、ペン型の専用の指示器など多種のものを使用できる。トラックパッド14が静電容量検出式の場合、操作体としては、指等の人体の一部、及び、静電容量式スタイラスペン等を使用できる。また、操作体として、使用者が、手以外の身体により操作するものを用いることも可能である。例えば、トラックパッド14が、使用者が足、肘、肩、腰などを接触させる操作が可能なものとしてもよい。この場合、使用者の足、肘、肩、腰などがトラックパッド14に接触した位置が操作位置として検出され、接触位置が移動すれば、操作位置の移動が検出される。この構成は、トラックパッド14を、使用者が足、肘、肩、腰などを接触させやすい位置に配置することで実現することができる。また、トラックパッド14のサイズを、使用者が足、肘、肩、腰などを接触させるのに適したサイズとしてもよい。また、トラックパッド14を有するシート状または板状のデバイスを、制御装置10とは別に設けて、このデバイスと制御装置10とが接続される構成としてもよい。   The track pad 14 detects the operation of the user's finger on the operation surface of the track pad 14 and outputs a signal corresponding to the detected content. As the track pad 14, various track pads such as a capacitance detection type, a pressure detection type, and an optical type can be adopted. When the track pad 14 is a pressure detection type or an optical type, a variety of operating bodies for operating the track pad 14 such as a user's finger, a pen, and a pen-type dedicated indicator can be used. When the track pad 14 is a capacitance detection type, a part of a human body such as a finger, a capacitance stylus pen, or the like can be used as the operation body. Moreover, it is also possible to use what the user operates with a body other than the hand as the operating body. For example, the track pad 14 may be configured so that the user can operate to touch his / her feet, elbows, shoulders, waist, and the like. In this case, the position where the user's foot, elbow, shoulder, waist, etc. touched the track pad 14 is detected as the operation position, and if the contact position moves, the movement of the operation position is detected. This configuration can be realized by arranging the track pad 14 at a position where the user can easily touch his / her feet, elbows, shoulders, waist, and the like. The size of the track pad 14 may be a size suitable for the user to contact his / her legs, elbows, shoulders, waist, and the like. Further, a sheet-like or plate-like device having the track pad 14 may be provided separately from the control device 10 so that the device and the control device 10 are connected.

輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、HMD100の電源投入状態を切り替えるスイッチであり、例えばスライド操作が可能な構成となっている。   The luminance switching key 15 detects a pressing operation and outputs a signal for increasing or decreasing the luminance of the image display unit 20. The direction key 16 detects a pressing operation on a key corresponding to the up / down / left / right direction, and outputs a signal corresponding to the detected content. The power switch 18 is a switch for switching the power-on state of the HMD 100, and is configured to be capable of a slide operation, for example.

図2は、HMD100を構成する各部の機能ブロック図である。
図2に示すように、HMD100は、インターフェイス125を介して外部機器OAに接続される。インターフェイス125は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス125としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器OAは、HMD100に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等が用いられる。
FIG. 2 is a functional block diagram of each part constituting the HMD 100.
As shown in FIG. 2, the HMD 100 is connected to the external device OA via the interface 125. The interface 125 is an interface for connecting various external devices OA that are content supply sources to the control device 10. As the interface 125, for example, an interface corresponding to a wired connection such as a USB interface, a micro USB interface, or a memory card interface can be used.
The external device OA is used as an image supply device that supplies an image to the HMD 100. For example, a personal computer (PC), a mobile phone terminal, a game terminal, or the like is used.

HMD100の制御装置10は、制御部140と、操作部111と、入力情報取得部110(操作検出部)と、記憶部120と、送信部(Tx)51及び送信部(Tx)52とを有している。   The control device 10 of the HMD 100 includes a control unit 140, an operation unit 111, an input information acquisition unit 110 (operation detection unit), a storage unit 120, a transmission unit (Tx) 51, and a transmission unit (Tx) 52. doing.

操作部111は、使用者による操作を検出する。操作部111は、図1に示した決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17及び電源スイッチ18の各操作子を含む。   The operation unit 111 detects an operation by the user. The operation unit 111 includes the respective operators of the determination key 11, the display switching key 13, the track pad 14, the luminance switching key 15, the direction key 16, the menu key 17, and the power switch 18 illustrated in FIG.

入力情報取得部110は、操作部111の各操作子の操作を検出し、操作内容を示す操作データを制御部140に出力する。この操作データは、具体的には、操作された操作子を特定するデータと、操作子の操作の種別を示すデータとを含む。例えば、決定キー11、表示切替キー13、輝度切替キー15、メニューキー17、または電源スイッチ18が操作された場合を想定する。この場合、入力情報取得部110は、操作されたキーやスイッチを示すデータと操作「有」を示すデータとを含む操作データを制御部140に出力する。また、例えば方向キー16は4方向に操作可能であるため、入力情報取得部110は、方向キー16の操作を検出すると、方向キー16を示すデータと操作方向を示すデータとを制御部140に出力する。   The input information acquisition unit 110 detects the operation of each operation element of the operation unit 111 and outputs operation data indicating the operation content to the control unit 140. Specifically, the operation data includes data specifying the operated operator and data indicating the type of operation of the operator. For example, it is assumed that the enter key 11, the display switching key 13, the luminance switching key 15, the menu key 17, or the power switch 18 is operated. In this case, the input information acquisition unit 110 outputs operation data including data indicating the operated key or switch and data indicating the operation “present” to the control unit 140. For example, since the direction key 16 can be operated in four directions, when the input information acquisition unit 110 detects the operation of the direction key 16, the input information acquisition unit 110 sends the data indicating the direction key 16 and the data indicating the operation direction to the control unit 140. Output.

トラックパッド14に対する操作を検出した場合、入力情報取得部110は、トラックパッド14において接触操作された位置(操作位置)を検出する。入力情報取得部110は、操作位置を示すデータと、操作された操作子がトラックパッド14であることを示すデータとを含む操作データを制御部140に出力する。この操作データは、例えば、操作位置を、トラックパッド14の操作エリアにおける相対位置として示すデータを含む。操作データの具体的態様は任意である。   When an operation on the track pad 14 is detected, the input information acquisition unit 110 detects a position (operation position) at which the touch operation is performed on the track pad 14. The input information acquisition unit 110 outputs operation data including data indicating the operation position and data indicating that the operated operator is the track pad 14 to the control unit 140. This operation data includes, for example, data indicating the operation position as a relative position in the operation area of the track pad 14. The specific mode of the operation data is arbitrary.

記憶部120は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部120には、HMD100の画像表示部20に表示する画像データが格納されていても良い。例えば、記憶部120は、HMD100の動作に係る設定値等を含む設定データ121、及び、制御部140が画像表示部20に表示させる文字や画像のデータを含むコンテンツデータ123を記憶する。   The storage unit 120 is a nonvolatile storage device, and stores various computer programs. The storage unit 120 may store image data to be displayed on the image display unit 20 of the HMD 100. For example, the storage unit 120 stores setting data 121 including setting values related to the operation of the HMD 100 and content data 123 including character and image data that the control unit 140 displays on the image display unit 20.

また、制御部140には、3軸センサー113、GPS115、通信部117及び音声認識部114が接続される。3軸センサー113(姿勢検出部)は3軸の加速度センサーであり、3軸センサー113の検出値を制御部140が取得可能である。GPS115は、アンテナ(図示略)を備え、GPS(Global Positioning System)信号を受信し、制御装置10の現在位置を求める。GPS115は、GPS信号に基づいて求めた現在位置や現在時刻を制御部140に出力する。また、GPS115はGPS信号に含まれる情報に基づいて現在時刻を取得し、制御装置10の制御部140が計時する時刻を修正させる機能を備えていてもよい。   In addition, a three-axis sensor 113, a GPS 115, a communication unit 117, and a voice recognition unit 114 are connected to the control unit 140. The triaxial sensor 113 (attitude detection unit) is a triaxial acceleration sensor, and the control unit 140 can acquire the detection value of the triaxial sensor 113. The GPS 115 includes an antenna (not shown), receives a GPS (Global Positioning System) signal, and obtains the current position of the control device 10. The GPS 115 outputs the current position and the current time obtained based on the GPS signal to the control unit 140. Further, the GPS 115 may have a function of acquiring the current time based on information included in the GPS signal and correcting the time counted by the control unit 140 of the control device 10.

通信部117は、無線LAN(WiFi(登録商標))や、Miracast(登録商標)等の無線通信の規格に準じた無線データ通信を実行する。また、通信部117は、Bluetooth(登録商標)や、Bluetooth Low Energy、RFID、Felica(登録商標)等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
外部機器OAが、通信部117に無線接続された場合には、制御部140は、コンテンツデータを通信部117より取得して、画像表示部20に画像を表示するための制御を行う。一方、外部機器OAが、インターフェイス125に有線接続された場合には、制御部140は、コンテンツデータをインターフェイス125より取得して、画像表示部20に画像を表示するための制御を行う。よって、通信部117及びインターフェイス125を、以下総称してデータ取得部DAと呼ぶ。
データ取得部DAは、外部機器OAからコンテンツデータを取得する。データ取得部DAは、HMD100が表示する画像のデータを、外部機器OAから取得する。
The communication unit 117 executes wireless data communication conforming to a wireless communication standard such as a wireless LAN (WiFi (registered trademark)) or Miracast (registered trademark). The communication unit 117 can also perform wireless data communication conforming to a short-range wireless communication standard such as Bluetooth (registered trademark), Bluetooth Low Energy, RFID, or Felica (registered trademark).
When the external device OA is wirelessly connected to the communication unit 117, the control unit 140 acquires content data from the communication unit 117 and performs control for displaying an image on the image display unit 20. On the other hand, when the external device OA is wired to the interface 125, the control unit 140 acquires content data from the interface 125 and performs control for displaying an image on the image display unit 20. Therefore, the communication unit 117 and the interface 125 are hereinafter collectively referred to as a data acquisition unit DA.
The data acquisition unit DA acquires content data from the external device OA. The data acquisition unit DA acquires image data displayed by the HMD 100 from the external device OA.

音声認識部114は、マイク63により集音され、後述する音声処理部190によりディジタルデータに変換されたディジタル音声データから特徴を抽出してモデル化する。音声認識部114は、音声の特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識や、音声をテキストに変換するテキスト変換を行う。また、音声認識部114は、音声認識の処理において、音声データの言語の種類を識別できる構成であってもよい。   The voice recognition unit 114 extracts features from digital voice data collected by the microphone 63 and converted into digital data by a voice processing unit 190, which will be described later, and models it. The voice recognition unit 114 extracts and models the features of the voice, recognizes the voices of a plurality of people separately, and recognizes the person who speaks for each voice, or converts the voice into text. Perform text conversion to convert. The voice recognition unit 114 may be configured to identify the language type of the voice data in the voice recognition process.

制御部140は、ハードウェアとして、CPU、ROM、RAM(図示略)等を備える。制御部140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(OS)150を含む各部の機能を実行する。具体的には、制御部140は、画像処理部160、表示制御部170、操作検出部183、GUI制御部185、及び音声処理部190として機能する。   The control unit 140 includes a CPU, a ROM, a RAM (not shown), and the like as hardware. The control unit 140 reads out and executes a computer program stored in the storage unit 120, thereby executing functions of each unit including the operating system (OS) 150. Specifically, the control unit 140 functions as an image processing unit 160, a display control unit 170, an operation detection unit 183, a GUI control unit 185, and an audio processing unit 190.

画像処理部160は、コンテンツを表示するための垂直同期信号VSync、水平同期信号HSync、クロック信号PCLK等、表示する画像の画像データ(図中、Data)を出力する。
画像処理部160の処理によって表示されるコンテンツの画像データは、インターフェイス125や通信部117を介して受信する他、制御部140の処理によって生成される画像データであってもよい。例えば、ゲームのアプリケーションプログラムの実行中に、操作部111の操作に対応して画像データを生成して表示することができる。
なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
The image processing unit 160 outputs image data (Data in the figure) of an image to be displayed such as a vertical synchronization signal VSync, a horizontal synchronization signal HSync, and a clock signal PCLK for displaying content.
The image data of the content displayed by the processing of the image processing unit 160 may be image data generated by the processing of the control unit 140 in addition to being received via the interface 125 and the communication unit 117. For example, image data can be generated and displayed in response to the operation of the operation unit 111 during execution of the game application program.
Note that the image processing unit 160 may perform image processing such as resolution conversion processing, various tone correction processing such as adjustment of luminance and saturation, and keystone correction processing on the image data as necessary. Good.

画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データDataのそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御装置10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。   The image processing unit 160 transmits the generated clock signal PCLK, vertical synchronization signal VSync, horizontal synchronization signal HSync, and image data Data stored in the DRAM in the storage unit 120 via the transmission units 51 and 52, respectively. . The image data Data transmitted via the transmission unit 51 is also referred to as “right eye image data”, and the image data Data transmitted via the transmission unit 52 is also referred to as “left eye image data”. The transmission units 51 and 52 function as a transceiver for serial transmission between the control device 10 and the image display unit 20.

表示制御部170は、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部170は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFFを個別に制御する。また、表示制御部170は、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFを個別に制御する。
これにより、表示制御部170は、右表示駆動部22及び左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部170は、右表示駆動部22及び左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたりする。また、表示制御部170は、右表示駆動部22及び左表示駆動部24の両方共に画像光を生成させないようにすることもできる。
また、表示制御部170は、右LCD制御部211に対する制御信号と、左LCD制御部212に対する制御信号とのそれぞれを、送信部51と送信部52とを介して送信する。また、表示制御部170は、右バックライト制御部201に対する制御信号を右バックライト制御部201に送信し、左バックライト制御部202に対する制御信号を左バックライト制御部202により送信する。
The display control unit 170 generates control signals for controlling the right display drive unit 22 and the left display drive unit 24. Specifically, the display control unit 170 individually controls driving ON / OFF of the right LCD 241 by the right LCD control unit 211 and driving ON / OFF of the right backlight 221 by the right backlight control unit 201 based on the control signal. . Further, the display control unit 170 individually controls ON / OFF driving of the left LCD 242 by the left LCD control unit 212 and ON / OFF driving of the left backlight 222 by the left backlight control unit 202.
Thereby, the display control unit 170 controls the generation and emission of image light by the right display driving unit 22 and the left display driving unit 24, respectively. For example, the display control unit 170 causes the right display driving unit 22 and the left display driving unit 24 to generate image light, or causes only one to generate image light. In addition, the display control unit 170 can prevent both the right display drive unit 22 and the left display drive unit 24 from generating image light.
The display control unit 170 transmits a control signal for the right LCD control unit 211 and a control signal for the left LCD control unit 212 via the transmission unit 51 and the transmission unit 52, respectively. In addition, the display control unit 170 transmits a control signal for the right backlight control unit 201 to the right backlight control unit 201, and a control signal for the left backlight control unit 202 is transmitted by the left backlight control unit 202.

表示制御部170は、画像表示部20によりARコンテンツを表示する。ARコンテンツは、使用者が画像表示部20越しに対象物を見ている状態で、対象物が視認される位置に対応して表示される文字や画像を含む。例えば、画像表示部20を透過して見える外景中の対象物、すなわち実空間に存在する対象物に重なって、或いは対象物を避けるように、ARコンテンツが表示される。表示制御部170は、対象物に対応する位置に画像や文字等を表示するAR表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部20越しに見える対象物の姿の見え方を変える。
ARコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物の壁面など移動不可能なものであってもよいし、自然物であってもよい。
The display control unit 170 displays the AR content by the image display unit 20. The AR content includes characters and images that are displayed in correspondence with the position where the object is viewed while the user is looking at the object through the image display unit 20. For example, the AR content is displayed so as to overlap or avoid the object in the outside scene that can be seen through the image display unit 20, that is, the object existing in the real space. The display control unit 170 provides information about the object by performing AR display that displays an image, characters, or the like at a position corresponding to the object, or the appearance of the object seen through the image display unit 20 Change the way.
The display position of the AR content may be a position overlapping the target object or may be around the target object. The object may be an object, and may be a non-movable object such as a building wall, or may be a natural object.

ARコンテンツは、記憶部120に記憶されるコンテンツデータ123、または、制御部140の処理により生成されるデータに基づき表示される。これらのデータは画像データやテキストデータを含むことができる。   The AR content is displayed based on the content data 123 stored in the storage unit 120 or data generated by the processing of the control unit 140. These data can include image data and text data.

表示制御部170は、使用者が対象物を視認する位置を検出し、検出した位置に対応するようにARコンテンツの表示位置を決定する。使用者が対象物を視認する位置を検出する方法は任意であるが、本実施形態では、表示制御部170がカメラ61の撮像画像データから、使用者の視界に位置する対象物を検出する。撮像画像データを解析して対象物の画像を抽出あるいは検出する処理では、対象物の画像の形状、色、大きさ等に関する特徴量のデータが使用される。これらのデータは、コンテンツデータ123に含めることができる。表示制御部170は、カメラ61の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ61の撮像範囲における対象物の位置を特定する。そして、表示制御部170は、カメラ61の撮像範囲と、画像表示部20の表示領域との位置関係に基づき、対象物の位置に対応するARコンテンツの表示位置を決定する。   The display control unit 170 detects the position where the user visually recognizes the target object, and determines the display position of the AR content so as to correspond to the detected position. Although the method for detecting the position at which the user visually recognizes the object is arbitrary, in this embodiment, the display control unit 170 detects the object located in the user's field of view from the captured image data of the camera 61. In the process of extracting or detecting the image of the target object by analyzing the captured image data, feature amount data relating to the shape, color, size, etc. of the target object is used. These data can be included in the content data 123. The display control unit 170 detects the image of the target object from the captured image data of the camera 61 and specifies the position of the target object in the imaging range of the camera 61 based on the positional relationship between the detected target image and the entire captured image. To do. Then, the display control unit 170 determines the display position of the AR content corresponding to the position of the target object based on the positional relationship between the imaging range of the camera 61 and the display area of the image display unit 20.

音声処理部190は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示略)及び左イヤホン34内のスピーカー(図示略)に対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32及び左イヤホン34のそれぞれから、例えば周波数等が変えられた異なる音が出力される。   The audio processing unit 190 acquires an audio signal included in the content, amplifies the acquired audio signal, and a speaker (not shown) in the right earphone 32 and a speaker in the left earphone 34 (not shown) connected to the connecting member 46. (Not shown). For example, when the Dolby (registered trademark) system is adopted, processing on the audio signal is performed, and different sounds with different frequencies or the like are output from the right earphone 32 and the left earphone 34, respectively.

画像表示部20は、インターフェイス25と、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、振動センサー65と、9軸センサー66とを備えている。   The image display unit 20 includes an interface 25, a right display drive unit 22, a left display drive unit 24, a right light guide plate 261 as a right optical image display unit 26, and a left light guide plate 262 as a left optical image display unit 28. A camera 61, a vibration sensor 65, and a nine-axis sensor 66.

振動センサー65は、加速度センサーを利用して構成され、画像表示部20の内部に配置される。振動センサー65は、例えば、右保持部21において右光学像表示部26の端部ERの近傍に内蔵される。振動センサー65は、使用者が端部ERを叩く操作(ノック操作)を行った場合に、この操作による振動を検出して、検出結果を制御部140に出力する。この振動センサー65の検出結果により、制御部140は、使用者によるノック操作を検出する。   The vibration sensor 65 is configured using an acceleration sensor and is disposed inside the image display unit 20. For example, the vibration sensor 65 is built in the vicinity of the end ER of the right optical image display unit 26 in the right holding unit 21. When the user performs an operation of hitting the end ER (knock operation), the vibration sensor 65 detects vibration caused by this operation and outputs the detection result to the control unit 140. Based on the detection result of the vibration sensor 65, the control unit 140 detects a knocking operation by the user.

9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーである。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が使用者の頭部に装着されているとき、制御部140は、9軸センサー66の検出値に基づいて使用者の頭部の動きを検出できる。検出された使用者の頭部の動きから画像表示部20の向きがわかるため、制御部140は、使用者の視線方向を推定できる。   The 9-axis sensor 66 is a motion sensor that detects acceleration (3 axes), angular velocity (3 axes), and geomagnetism (3 axes). Since the 9-axis sensor 66 is provided in the image display unit 20, the control unit 140 is used based on the detection value of the 9-axis sensor 66 when the image display unit 20 is worn on the user's head. The movement of the person's head can be detected. Since the orientation of the image display unit 20 is known from the detected movement of the user's head, the control unit 140 can estimate the user's line-of-sight direction.

インターフェイス25は、右コード42と左コード44とが接続されるコネクターを備える。インターフェイス25は、送信部51から送信されるクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを、対応する受信部(Rx)53、54に出力する。また、インターフェイス25は、表示制御部170から送信される制御信号を、対応する受信部53、54、右バックライト制御部201又は左バックライト制御部202に出力する。
また、インターフェイス25は、カメラ61、振動センサー65及び9軸センサー66のインターフェイスである。振動センサー65による振動の検出結果や、9軸センサー66による加速度(3軸)、角速度(3軸)、地磁気(3軸)の検出結果は、インターフェイス25を介して制御装置10の制御部140に送られる。
The interface 25 includes a connector to which the right cord 42 and the left cord 44 are connected. The interface 25 outputs the clock signal PCLK, the vertical synchronization signal VSync, the horizontal synchronization signal HSync, and the image data Data transmitted from the transmission unit 51 to the corresponding reception units (Rx) 53 and 54. Further, the interface 25 outputs a control signal transmitted from the display control unit 170 to the corresponding reception units 53 and 54, the right backlight control unit 201, or the left backlight control unit 202.
The interface 25 is an interface of the camera 61, the vibration sensor 65, and the 9-axis sensor 66. The detection result of vibration by the vibration sensor 65 and the detection result of acceleration (three axes), angular velocity (three axes), and geomagnetism (three axes) by the nine-axis sensor 66 are sent to the control unit 140 of the control device 10 via the interface 25. Sent.

右表示駆動部22は、受信部53と、光源として機能する右バックライト(BL)制御部201及び右バックライト(BL)221と、表示素子として機能する右LCD制御部211及び右LCD241と、右投写光学系251とを備える。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。   The right display driving unit 22 includes a receiving unit 53, a right backlight (BL) control unit 201 and a right backlight (BL) 221 that function as light sources, a right LCD control unit 211 and a right LCD 241 that function as display elements, A right projection optical system 251. The right backlight control unit 201 and the right backlight 221 function as a light source. The right LCD control unit 211 and the right LCD 241 function as display elements. The right backlight control unit 201, the right LCD control unit 211, the right backlight 221 and the right LCD 241 are also collectively referred to as “image light generation unit”.

受信部53は、制御装置10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データDataとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。   The receiving unit 53 functions as a receiver for serial transmission between the control device 10 and the image display unit 20. The right backlight control unit 201 drives the right backlight 221 based on the input control signal. The right backlight 221 is a light emitter such as an LED or electroluminescence (EL). The right LCD control unit 211 drives the right LCD 241 based on the clock signal PCLK, the vertical synchronization signal VSync, the horizontal synchronization signal HSync, and the right eye image data Data input via the reception unit 53. The right LCD 241 is a transmissive liquid crystal panel in which a plurality of pixels are arranged in a matrix.

右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。   The right projection optical system 251 is configured by a collimating lens that converts the image light emitted from the right LCD 241 into a light beam in a parallel state. The right light guide plate 261 as the right optical image display unit 26 guides the image light output from the right projection optical system 251 to the right eye RE of the user while reflecting the image light along a predetermined optical path.

左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54と、光源として機能する左バックライト(BL)制御部202及び左バックライト(BL)222と、表示素子として機能する左LCD制御部212及び左LCD242と、左投写光学系252と、を備える。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。   The left display drive unit 24 has the same configuration as the right display drive unit 22. The left display driving unit 24 includes a receiving unit 54, a left backlight (BL) control unit 202 and a left backlight (BL) 222 that function as light sources, a left LCD control unit 212 and a left LCD 242 that function as display elements, A left projection optical system 252. The left backlight control unit 202 and the left backlight 222 function as a light source. The left LCD control unit 212 and the left LCD 242 function as display elements. The left projection optical system 252 is configured by a collimating lens that converts the image light emitted from the left LCD 242 into a light beam in a parallel state. The left light guide plate 262 as the left optical image display unit 28 guides the image light output from the left projection optical system 252 to the left eye LE of the user while reflecting the image light along a predetermined optical path.

制御部140は、画像表示部20により、ARコンテンツの他、GUI(Graphical User Interface)を表示できる。GUI制御部185は、画像表示部20によるGUIの表示を制御し、GUI操作用の指標(GUI操作の操作位置の指標)であるマーカー、ポインター(いわゆるマウスポインターを含む)、アイコン等の画像や文字を含むGUIオブジェクトを表示する。GUIオブジェクトは本発明の表示オブジェクトに相当する。
GUI制御部185は、操作部111の操作に対応して、GUIオブジェクトの表示状態を更新する。本実施形態において、GUI制御部185は、トラックパッド14で操作された操作位置に対応してポインターを表示する。画像表示部20の表示領域におけるポインターの表示位置と、トラックパッド14における操作位置とは、予め対応付けられている。GUI制御部185は、操作検出部183からトラックパッド14の操作位置の座標が入力されると、入力された操作位置に対応する表示位置に、ポインターを表示し、或いは、表示中のポインターの表示位置を変更する。
The control unit 140 can display a GUI (Graphical User Interface) in addition to the AR content by the image display unit 20. The GUI control unit 185 controls the display of the GUI by the image display unit 20, and displays images such as markers, pointers (including so-called mouse pointers), icons, etc., which are GUI operation indices (GUI operation position indices). Displays GUI objects containing characters. The GUI object corresponds to the display object of the present invention.
The GUI control unit 185 updates the display state of the GUI object in response to the operation of the operation unit 111. In the present embodiment, the GUI control unit 185 displays a pointer corresponding to the operation position operated on the track pad 14. The display position of the pointer in the display area of the image display unit 20 and the operation position on the track pad 14 are associated in advance. When the coordinates of the operation position of the track pad 14 are input from the operation detection unit 183, the GUI control unit 185 displays a pointer at the display position corresponding to the input operation position, or displays the pointer being displayed. Change the position.

操作検出部183は、入力情報取得部110から入力される操作データに基づいて、操作部111の各操作子に対して行われる操作を検出し、操作に対応して制御部140が実行する処理を決定する。
操作検出部183は、操作データを解析して、操作された操作子が決定キー11、表示切替キー13、輝度切替キー15、メニューキー17、または電源スイッチ18である場合、これらの操作に対応する処理を選択する。決定キー11の操作に対しては、GUI制御部185の制御により表示されるメニュー画面等に対する決定処理が選択される。表示切替キー13が操作された場合には、表示する画面を切り替える処理が選択される。例えば、操作検出部183は、GUI制御部185の制御により画面を表示する状態と、コンテンツデータ123を表示する状態とを含む複数の表示状態を順次切り替える処理を選択する。輝度切替キー15が操作された場合には、画像表示部20における表示輝度を調整する処理が選択される。具体的には、表示制御部170が画像処理部160を制御して、右表示駆動部22及び左表示駆動部24に出力される画像データの輝度を変化させる処理が選択される。或いは、表示制御部170が右バックライト制御部201、左バックライト制御部202の輝度を変更する処理が選択される。
The operation detection unit 183 detects an operation performed on each operation element of the operation unit 111 based on the operation data input from the input information acquisition unit 110, and a process executed by the control unit 140 in response to the operation To decide.
The operation detection unit 183 analyzes the operation data, and when the operated operator is the enter key 11, the display switching key 13, the brightness switching key 15, the menu key 17, or the power switch 18, the operation detection unit 183 responds to these operations. Select the process to be performed. For the operation of the decision key 11, a decision process for a menu screen or the like displayed under the control of the GUI control unit 185 is selected. When the display switching key 13 is operated, a process for switching the screen to be displayed is selected. For example, the operation detection unit 183 selects processing for sequentially switching a plurality of display states including a state of displaying a screen and a state of displaying the content data 123 under the control of the GUI control unit 185. When the luminance switching key 15 is operated, a process for adjusting the display luminance in the image display unit 20 is selected. Specifically, the display control unit 170 controls the image processing unit 160 to select a process for changing the luminance of the image data output to the right display driving unit 22 and the left display driving unit 24. Alternatively, a process in which the display control unit 170 changes the luminance of the right backlight control unit 201 and the left backlight control unit 202 is selected.

方向キー16が操作された場合、操作検出部183は、方向キー16の操作方向に対応して、GUI制御部185の制御により表示されるメニュー画面等に対する処理等を選択する。電源スイッチ18が操作された場合、操作検出部183は、HMD100の電源をオフにするシャットダウン処理、或いは、HMD100の電源をオンにする起動シーケンスを選択する。   When the direction key 16 is operated, the operation detection unit 183 selects processing for a menu screen or the like displayed under the control of the GUI control unit 185 corresponding to the operation direction of the direction key 16. When the power switch 18 is operated, the operation detection unit 183 selects a shutdown process for turning off the power of the HMD 100 or a startup sequence for turning on the power of the HMD 100.

トラックパッド14が操作された場合、操作検出部183は、トラックパッド14の操作位置の座標に対応して、GUI制御部185が表示処理を行う座標を求める。
本実施形態では、GUI制御部185が、トラックパッド14の操作位置に対応して表示オブジェクトを表示する。また、GUI制御部185は、トラックパッド14の操作に対応して、表示オブジェクトの表示位置を変更する。従って、制御装置10を操作する使用者(ユーザー、操作者)が、トラックパッド14に接触する操作(タッチ操作)を行うと、画像表示部20に表示される表示オブジェクトの表示位置が移動する。
When the track pad 14 is operated, the operation detection unit 183 obtains coordinates at which the GUI control unit 185 performs display processing corresponding to the coordinates of the operation position of the track pad 14.
In the present embodiment, the GUI control unit 185 displays a display object corresponding to the operation position of the track pad 14. Also, the GUI control unit 185 changes the display position of the display object in response to the operation of the track pad 14. Accordingly, when a user (user, operator) who operates the control device 10 performs an operation (touch operation) to contact the track pad 14, the display position of the display object displayed on the image display unit 20 moves.

図3は、トラックパッド14の操作に対応するHMD100の動作を示す説明図であり、トラックパッド14の操作例を示す。   FIG. 3 is an explanatory diagram showing the operation of the HMD 100 corresponding to the operation of the track pad 14, and shows an operation example of the track pad 14.

トラックパッド14に対する操作には、例えば図3に示すように、トラックパッド14に指等を接触させたまま移動させる操作がある。図3に例示する操作は、使用者の手Hが操作位置A1でトラックパッド14に接触し、接触状態を維持したまま、手Hが操作位置A1から操作位置A2に移動する操作である。この例では手Hが操作体として使用される。図3に符号X、Yで示すように、本実施形態では、トラックパッド14の左上隅を基準位置(例えば、原点)とするX−Y直交座標が設定される。入力情報取得部110は、トラックパッド14に対する手Hの接触を検出すると、手Hが接触した位置である操作位置を示す操作データを生成して出力する。操作検出部183は、操作部111から入力される操作データに基づき、操作位置のX座標、Y座標を取得、或いは特定する。
ここで、入力情報取得部110が生成して出力する操作データが、操作位置のX座標、Y座標を含んでもよい。また、入力情報取得部110が、トラックパッド14における操作位置を特定するためのアナログ検出値、或いはディジタルデータを生成して出力する構成であってもよい。この場合、操作検出部183は、入力情報取得部110が出力するアナログ検出値、或いはディジタルデータに基づき、操作位置のX座標及びY座標を求める処理を行う。
The operation with respect to the track pad 14 includes an operation of moving the track pad 14 while keeping a finger or the like in contact with the track pad 14 as shown in FIG. The operation illustrated in FIG. 3 is an operation in which the user's hand H contacts the track pad 14 at the operation position A1, and the hand H moves from the operation position A1 to the operation position A2 while maintaining the contact state. In this example, the hand H is used as the operating tool. As indicated by reference characters X and Y in FIG. 3, in the present embodiment, XY orthogonal coordinates having the upper left corner of the track pad 14 as a reference position (for example, the origin) are set. When the input information acquisition unit 110 detects contact of the hand H with the track pad 14, the input information acquisition unit 110 generates and outputs operation data indicating an operation position that is a position where the hand H is in contact. The operation detection unit 183 acquires or specifies the X coordinate and Y coordinate of the operation position based on the operation data input from the operation unit 111.
Here, the operation data generated and output by the input information acquisition unit 110 may include the X coordinate and the Y coordinate of the operation position. Further, the input information acquisition unit 110 may generate and output an analog detection value or digital data for specifying the operation position on the track pad 14. In this case, the operation detection unit 183 performs processing for obtaining the X coordinate and the Y coordinate of the operation position based on the analog detection value output from the input information acquisition unit 110 or digital data.

操作検出部183は、操作位置の座標に基づいて、入力データを生成する。入力データは、トラックパッド14の操作で入力された位置を、オペレーティングシステム150が有する入力平面における位置に変換したデータである。
本実施形態において、オペレーティングシステム150は、二次元の位置入力操作を受け付けるため、仮想の入力平面を設定する。操作検出部183は、入力情報取得部110が出力する操作データに基づき、オペレーティングシステム150の入力平面における位置(以下、入力位置という)を示す入力データを生成する。この仮想の入力平面を、以下の説明では仮想入力平面IPとする。操作検出部183は、仮想入力平面IPにおける入力位置を示す入力データをGUI制御部185に出力する。なお、仮想入力平面IPは、オペレーティングシステム150に規定されるものに限定されない。例えば、オペレーティングシステム150上で動作するアプリケーションプログラムに対し、或いは、アプリケーションプログラムを記述するプログラミング言語に対応して、座標系が定義される構成が考えられる。この場合、定義される座標系に対応する仮想入力平面IPを設定でき、これらに対応する入力データを、制御部140が生成して出力する構成に、本発明を適用することもできる。
また、仮想入力平面IPは、二次元の位置入力を受け付ける場合に限らず使用できる。例えば、オペレーティングシステム150を含む制御装置10が、三次元の位置入力を受け付ける構成が考えられる。この構成において、制御装置10は、仮想入力平面IP内における二次元の位置入力、及び、仮想入力平面IPを基準として、例えば仮想入力平面IPに垂直な方向を座標軸とする位置入力を検出可能な構成であってもよい。この場合、制御装置10は、仮想入力平面IPを基準として、三次元の位置入力を受け付けて処理を実行できる。
The operation detection unit 183 generates input data based on the coordinates of the operation position. The input data is data obtained by converting the position input by operating the track pad 14 into a position on the input plane of the operating system 150.
In the present embodiment, the operating system 150 sets a virtual input plane in order to accept a two-dimensional position input operation. The operation detection unit 183 generates input data indicating a position on the input plane of the operating system 150 (hereinafter referred to as an input position) based on the operation data output from the input information acquisition unit 110. This virtual input plane is referred to as a virtual input plane IP in the following description. The operation detection unit 183 outputs input data indicating the input position on the virtual input plane IP to the GUI control unit 185. The virtual input plane IP is not limited to that defined in the operating system 150. For example, a configuration in which a coordinate system is defined for an application program running on the operating system 150 or corresponding to a programming language that describes the application program is conceivable. In this case, the present invention can also be applied to a configuration in which the virtual input plane IP corresponding to the defined coordinate system can be set and the control unit 140 generates and outputs the input data corresponding to these.
The virtual input plane IP can be used not only when receiving a two-dimensional position input. For example, a configuration in which the control device 10 including the operating system 150 receives a three-dimensional position input is conceivable. In this configuration, the control device 10 can detect a two-dimensional position input in the virtual input plane IP and a position input having, for example, a direction perpendicular to the virtual input plane IP as a coordinate axis with reference to the virtual input plane IP. It may be a configuration. In this case, the control device 10 can execute a process by receiving a three-dimensional position input with reference to the virtual input plane IP.

トラックパッド14を操作する場合の操作体(例えば、手H)の動きを、ジェスチャーと呼ぶ。ジェスチャーには、トラックパッド14に接触する動き、図3のように操作体が接触したまま移動する動き、トラックパッド14を叩く(タップする)動き等がある。本実施形態では、操作体が図3のようにトラックパッド14に接触したまま移動する動きを、スライドジェスチャーと呼ぶ。
トラックパッド14が、複数の位置に対する同時操作を検出可能な、マルチタッチ対応型の場合、複数の操作体がトラックパッド14に接触し、これら複数の操作体の接触位置が移動するジェスチャーを行うことができる。
The movement of the operating body (for example, hand H) when operating the track pad 14 is called a gesture. The gesture includes a movement that touches the track pad 14, a movement that moves while the operating body is in contact as shown in FIG. 3, and a movement that taps (tap) the track pad 14. In the present embodiment, the movement in which the operating body moves while being in contact with the track pad 14 as shown in FIG. 3 is referred to as a slide gesture.
When the track pad 14 is a multi-touch compatible type capable of detecting simultaneous operations on a plurality of positions, a plurality of operating bodies come into contact with the track pad 14 and a gesture of moving the contact positions of the plurality of operating bodies is performed. Can do.

図4は、トラックパッド14の操作に対応するポインターPの移動の例を示す説明図である。また、図5は、トラックパッド14の操作に対応するポインターPの移動の例を示す説明図である。
GUI制御部185は、操作検出部183が生成する入力データで特定される位置に対応して、図4に示すようにポインターPを表示する。図4には、画像表示部20を装着する使用者の視野VRを示し、右表示駆動部22、左表示駆動部24が画像を表示可能な表示可能領域を符号Dで示す。なお、本実施形態では画像表示部20の右表示駆動部22、及び左表示駆動部24のいずれにも同じ表示を行うため、図4では右表示駆動部22と左表示駆動部24とを区別しない。図5、図6、及び図8も同様である。
FIG. 4 is an explanatory diagram showing an example of movement of the pointer P corresponding to the operation of the track pad 14. FIG. 5 is an explanatory diagram showing an example of movement of the pointer P corresponding to the operation of the track pad 14.
The GUI control unit 185 displays the pointer P as shown in FIG. 4 corresponding to the position specified by the input data generated by the operation detection unit 183. FIG. 4 shows a visual field VR of a user wearing the image display unit 20, and a displayable area where the right display drive unit 22 and the left display drive unit 24 can display an image is indicated by a symbol D. In the present embodiment, since the same display is performed on both the right display drive unit 22 and the left display drive unit 24 of the image display unit 20, the right display drive unit 22 and the left display drive unit 24 are distinguished in FIG. do not do. The same applies to FIGS. 5, 6, and 8.

GUI制御部185が表示制御部170及び画像処理部160を制御することにより、表示可能領域Dに、ポインターPが表示される。ポインターPは、GUIの操作用に表示され、表示領域における操作対象位置を示す指標である。ポインターPは、表示オブジェクトの一例である。ポインターPの形状は円形でなくてもよく、四角形や三角形等の幾何学図形、記号、矢印等、ポインターPの形状とサイズは制限されない。   The pointer P is displayed in the displayable area D by the GUI control unit 185 controlling the display control unit 170 and the image processing unit 160. The pointer P is an index that is displayed for GUI operation and indicates an operation target position in the display area. The pointer P is an example of a display object. The shape of the pointer P may not be circular, and the shape and size of the pointer P such as a geometric figure such as a quadrangle or a triangle, a symbol, an arrow, etc. are not limited.

図3の例では、手Hの位置が操作位置A1から操作位置A2に移動する間に、入力情報取得部110が、予め設定されたサンプリング周期でトラックパッド14における操作位置を検出する。従って、入力情報取得部110は、サンプリング周期に従って、トラックパッド14における操作位置を示す操作データを出力する。操作検出部183は、例えば、入力情報取得部110が操作データを出力する毎に、操作データに対応する入力データを生成し、GUI制御部185に出力する。GUI制御部185は、入力データが示す入力位置に対応するポインターPの表示位置を求め、求めた表示位置にポインターPを表示させる。この結果、図3の操作位置A1から操作位置A2まで手Hが移動する操作に対応して、GUI制御部185は、図4に示すように、操作位置A1に対応する表示位置B1から、操作位置A2に対応する表示位置B2にまでポインターPを移動させる。図4の例では、GUI制御部185は表示位置B1と表示位置B2との間の複数の位置にポインターPを表示する処理を、繰り返し実行する。   In the example of FIG. 3, while the position of the hand H moves from the operation position A1 to the operation position A2, the input information acquisition unit 110 detects the operation position on the track pad 14 at a preset sampling cycle. Therefore, the input information acquisition unit 110 outputs operation data indicating the operation position on the track pad 14 in accordance with the sampling period. For example, every time the input information acquisition unit 110 outputs operation data, the operation detection unit 183 generates input data corresponding to the operation data and outputs the input data to the GUI control unit 185. The GUI control unit 185 obtains the display position of the pointer P corresponding to the input position indicated by the input data, and displays the pointer P at the obtained display position. As a result, in response to the operation in which the hand H moves from the operation position A1 to the operation position A2 in FIG. 3, the GUI control unit 185 operates from the display position B1 corresponding to the operation position A1, as shown in FIG. The pointer P is moved to the display position B2 corresponding to the position A2. In the example of FIG. 4, the GUI control unit 185 repeatedly executes a process of displaying the pointer P at a plurality of positions between the display position B1 and the display position B2.

入力操作に対する通常処理において、トラックパッド14における操作位置の座標と、仮想入力平面IPにおける入力位置の座標と、表示可能領域Dにおける表示位置の座標とは予め対応付けられる。GUI制御部185は、表示可能領域D上の座標に対応する右LCD241及び左LCD242における表示位置を求め、この表示位置にポインターPの画像を表示させる。これにより、操作に対応してポインターPの表示位置が移動する。   In the normal process for the input operation, the coordinates of the operation position on the track pad 14, the coordinates of the input position on the virtual input plane IP, and the coordinates of the display position in the displayable area D are associated in advance. The GUI control unit 185 obtains the display positions on the right LCD 241 and the left LCD 242 corresponding to the coordinates on the displayable area D, and displays the image of the pointer P at the display positions. Thereby, the display position of the pointer P moves corresponding to the operation.

図1を参照して説明したように、制御装置10は使用者が携帯する装置であり、トラックパッド14を大型化することは容易でないため、使用者が視野VRにおいて視認する表示可能領域Dの大きさに比べ、トラックパッド14は小さい。
そこで、本実施形態では、操作検出部183の処理により、トラックパッド14における操作位置と、表示可能領域Dの表示位置との対応を変化させる。
As described with reference to FIG. 1, the control device 10 is a device carried by the user, and since it is not easy to increase the size of the track pad 14, the display device D of the displayable region D that the user can visually recognize in the visual field VR is used. The track pad 14 is smaller than the size.
Therefore, in the present embodiment, the correspondence between the operation position on the track pad 14 and the display position of the displayable area D is changed by the processing of the operation detection unit 183.

入力操作に対する通常処理において、操作検出部183は、トラックパッド14において実際に検出された操作位置に対応する入力位置を示す入力データを生成し、GUI制御部185に渡す。このため、図3に示す操作位置A1から操作位置A2までの操作に対応して、GUI制御部185は、図4の表示位置B1から表示位置B2までポインターPを表示する。   In a normal process for an input operation, the operation detection unit 183 generates input data indicating an input position corresponding to the operation position actually detected on the track pad 14 and passes it to the GUI control unit 185. Therefore, in response to the operation from the operation position A1 to the operation position A2 shown in FIG. 3, the GUI control unit 185 displays the pointer P from the display position B1 to the display position B2 in FIG.

操作検出部183は、スライドジェスチャーに対応して、通常処理とは異なる入力処理を行うことができる。この入力処理で、操作検出部183は、操作データに含まれる座標に対応する入力位置を示す入力データを生成するほか、操作データに含まれる座標に対応しない入力位置を示す入力データを生成する。具体的には、操作検出部183は、トラックパッド14における操作位置が移動しない状態で、仮想入力平面IP上で入力位置が移動するように入力データを生成し、GUI制御部185に出力する。この場合、操作検出部183は、入力データを連続して複数回生成し、それぞれの入力データにおける入力位置を異なる位置にする。この場合、GUI制御部185がポインターPを表示する位置は、仮想入力平面IPにおける入力位置に合わせて移動する。GUI制御部185の動作は、通常処理であっても、通常処理とは異なる入力処理であっても同様である。   The operation detection unit 183 can perform an input process different from the normal process in response to the slide gesture. In this input process, the operation detection unit 183 generates input data indicating input positions corresponding to the coordinates included in the operation data, and also generates input data indicating input positions not corresponding to the coordinates included in the operation data. Specifically, the operation detection unit 183 generates input data so that the input position moves on the virtual input plane IP in a state where the operation position on the track pad 14 does not move, and outputs the input data to the GUI control unit 185. In this case, the operation detection unit 183 continuously generates input data a plurality of times, and sets the input position in each input data to a different position. In this case, the position at which the GUI control unit 185 displays the pointer P moves according to the input position on the virtual input plane IP. The operation of the GUI control unit 185 is the same whether it is a normal process or an input process different from the normal process.

この場合、図3に示す操作位置A1から操作位置A2まで手Hが移動する操作に対応して、GUI制御部185が、図5に示すように、ポインターPの表示位置を、表示位置B1から表示位置B3に移動させる。表示位置B1〜B3間の距離は、図4に示す表示位置B1〜B2間の距離よりも長い。つまり、通常処理では、ポインターPの表示位置の移動量は、トラックパッド14で手Hが動いた量に対応するが、HMD100は、トラックパッド14で手Hが動いた量に比べて大きくポインターPを移動させることができる。   In this case, in response to the operation of moving the hand H from the operation position A1 to the operation position A2 shown in FIG. 3, the GUI control unit 185 changes the display position of the pointer P from the display position B1 as shown in FIG. Move to display position B3. The distance between the display positions B1 and B3 is longer than the distance between the display positions B1 and B2 shown in FIG. That is, in the normal processing, the amount of movement of the display position of the pointer P corresponds to the amount of movement of the hand H on the track pad 14, but the HMD 100 is larger than the amount of movement of the hand H on the track pad 14. Can be moved.

図6は、トラックパッド14、仮想入力平面IP及び表示可能領域Dの対応を示す模式図である。
本実施形態では、オペレーティングシステム150が仮想的に設定する仮想入力平面IPは、トラックパッド14に並行な面として定義される。このため、トラックパッド14におけるX軸及びY軸で構成される直交座標と、仮想入力平面IPにおけるX軸及びY軸で構成される直交座標系とは、重ね合わせることができる。また、表示可能領域Dは、仮想入力平面IPに並行な面として定義される。このため、仮想入力平面IPにおけるX軸及びY軸で構成される直交座標系と、表示可能領域DにおけるX軸及びY軸で構成される直交座標とは、重ね合わせることができる。
FIG. 6 is a schematic diagram showing the correspondence between the track pad 14, the virtual input plane IP, and the displayable area D.
In the present embodiment, the virtual input plane IP that is virtually set by the operating system 150 is defined as a plane parallel to the track pad 14. For this reason, the orthogonal coordinates constituted by the X axis and the Y axis in the track pad 14 and the orthogonal coordinate system constituted by the X axis and the Y axis in the virtual input plane IP can be superimposed. The displayable area D is defined as a plane parallel to the virtual input plane IP. For this reason, the orthogonal coordinate system configured by the X axis and the Y axis in the virtual input plane IP and the orthogonal coordinate configured by the X axis and the Y axis in the displayable region D can be overlapped.

トラックパッド14、仮想入力平面IP及び表示可能領域Dのサイズは異なっていてもよい。また、トラックパッド14における操作位置Aの座標の解像度と、仮想入力平面IPにおける入力座標IAの座標の解像度と、表示可能領域Dにおける表示位置Bの解像度とは異なっていてもよい。   The sizes of the track pad 14, the virtual input plane IP, and the displayable area D may be different. Further, the resolution of the coordinates of the operation position A on the track pad 14, the resolution of the coordinates of the input coordinate IA on the virtual input plane IP, and the resolution of the display position B in the displayable area D may be different.

この構成では、操作検出部183は、演算式、関数、行列等によって、トラックパッド14における操作位置の座標を、仮想入力平面IPにおける入力位置の座標に変換できる。同様に、GUI制御部185は、仮想入力平面IPにおける入力位置の座標を表示可能領域Dにおける表示位置の座標に変換することができる。この変換に要する演算式、関数、行列、パラメーター等は、例えば、設定データ121に含む形式で予め記憶部120に記憶される。   In this configuration, the operation detection unit 183 can convert the coordinates of the operation position on the track pad 14 into the coordinates of the input position on the virtual input plane IP by an arithmetic expression, a function, a matrix, or the like. Similarly, the GUI control unit 185 can convert the coordinates of the input position in the virtual input plane IP into the coordinates of the display position in the displayable area D. An arithmetic expression, a function, a matrix, a parameter, and the like required for this conversion are stored in advance in the storage unit 120 in a format included in the setting data 121, for example.

上述のように、手Hがトラックパッド14の操作位置A1から操作位置A2まで移動する場合、操作検出部183は、操作位置A1に対応する入力位置IA1から、操作位置A2に対応する入力位置IA2まで、入力位置が移動する入力データを生成する。この場合、GUI制御部185は、入力位置IA1に対応する表示位置B1にポインターPを表示し、ポインターPの表示位置を、入力位置IA2に対応する表示位置B2まで移動させる。ここで、操作検出部183は、手Hが操作位置A2に止まる間に、入力位置IA2から入力位置IA3に移動する入力データを生成できる。実際には、操作検出部183は、操作位置A1に対応する入力位置IA1を初期位置とし、この初期位置からの入力位置の移動方向と移動量とを決定し、決定した移動方向と移動量とに対応するように、入力データを連続して生成する。ここで、操作検出部183は、入力位置の移動方向と移動量とを決定した後で、入力位置の移動の終了位置である入力位置IA3の座標を先に算出してもよい。この場合、GUI制御部185は、表示位置B1から、入力位置IA3に対応する表示位置B3まで、ポインターPの表示位置を移動させる。   As described above, when the hand H moves from the operation position A1 of the track pad 14 to the operation position A2, the operation detection unit 183 moves from the input position IA1 corresponding to the operation position A1 to the input position IA2 corresponding to the operation position A2. Until the input data is generated, the input position moves. In this case, the GUI control unit 185 displays the pointer P at the display position B1 corresponding to the input position IA1, and moves the display position of the pointer P to the display position B2 corresponding to the input position IA2. Here, the operation detection unit 183 can generate input data that moves from the input position IA2 to the input position IA3 while the hand H stops at the operation position A2. Actually, the operation detection unit 183 sets the input position IA1 corresponding to the operation position A1 as an initial position, determines the movement direction and movement amount of the input position from this initial position, and determines the determined movement direction and movement amount. The input data is continuously generated so as to correspond to. Here, the operation detection unit 183 may calculate the coordinates of the input position IA3 that is the end position of the movement of the input position after determining the moving direction and the moving amount of the input position. In this case, the GUI control unit 185 moves the display position of the pointer P from the display position B1 to the display position B3 corresponding to the input position IA3.

操作検出部183は、入力情報取得部110から入力される操作データを解析して、トラックパッド14の操作位置の移動方向に基づき、入力位置の移動方向を決定する。また、操作検出部183は、トラックパッド14の操作位置の移動量、移動速度、及びトラックパッド14の操作時間の少なくともいずれかに基づき、入力位置の移動量を決定する。
例えば、操作検出部183は、トラックパッド14における操作位置が停止することにより、操作位置の移動量が確定してから、入力位置の移動量を求めてもよい。この場合、操作検出部183は、トラックパッド14における操作位置が停止するまでの間、入力位置を初期位置に維持して入力データを生成してもよい。或いは、入力情報取得部110のサンプリング周期に従って、トラックパッド14の操作位置に対応する入力位置を求めて入力データを生成してもよい。
The operation detection unit 183 analyzes the operation data input from the input information acquisition unit 110 and determines the movement direction of the input position based on the movement direction of the operation position of the track pad 14. In addition, the operation detection unit 183 determines the movement amount of the input position based on at least one of the movement amount and movement speed of the operation position of the track pad 14 and the operation time of the track pad 14.
For example, the operation detection unit 183 may obtain the amount of movement of the input position after the amount of movement of the operation position is determined by stopping the operation position on the track pad 14. In this case, the operation detection unit 183 may generate the input data while maintaining the input position at the initial position until the operation position on the track pad 14 stops. Alternatively, input data may be generated by obtaining an input position corresponding to the operation position of the track pad 14 according to the sampling period of the input information acquisition unit 110.

また、例えば、操作検出部183は、手Hがトラックパッド14に対する接触したことを検出してから、接触が解除されたことを検出するまでの時間に基づき、入力位置の移動量を求めてもよい。この場合、操作検出部183は、トラックパッド14の接触が解除されるまでの間、入力位置を初期位置に維持して入力データを生成してもよい。或いは、入力情報取得部110のサンプリング周期に従って、トラックパッド14の操作位置に対応する入力位置を求めて入力データを生成してもよい。   Further, for example, the operation detection unit 183 may determine the amount of movement of the input position based on the time from detection of the hand H touching the track pad 14 to detection of contact release. Good. In this case, the operation detection unit 183 may generate the input data while maintaining the input position at the initial position until the contact with the track pad 14 is released. Alternatively, input data may be generated by obtaining an input position corresponding to the operation position of the track pad 14 according to the sampling period of the input information acquisition unit 110.

また、例えば、操作検出部183は、入力情報取得部110がトラックパッド14の操作を検出してから、所定時間以内における操作位置の移動速度を求め、求めた移動速度に対応する入力位置の移動量を求めてもよい。この所定時間は予め設定され、例えば設定データ121に含めて記憶部120に記憶される。この場合、操作検出部183は、上記所定時間内に、トラックパッド14の操作位置の初期位置に対応する入力位置を維持して入力データを生成してもよい。或いは、入力情報取得部110のサンプリング周期に従って、トラックパッド14の操作位置に対応する入力位置を求めて入力データを生成してもよい。   For example, the operation detection unit 183 obtains the movement speed of the operation position within a predetermined time after the input information acquisition unit 110 detects the operation of the track pad 14, and moves the input position corresponding to the obtained movement speed. The amount may be determined. This predetermined time is set in advance, and is included in the setting data 121 and stored in the storage unit 120, for example. In this case, the operation detection unit 183 may generate the input data while maintaining the input position corresponding to the initial position of the operation position of the track pad 14 within the predetermined time. Alternatively, input data may be generated by obtaining an input position corresponding to the operation position of the track pad 14 according to the sampling period of the input information acquisition unit 110.

また、例えば、操作検出部183は、入力情報取得部110がトラックパッド14の操作を検出してから、所定時間以内における操作位置の移動方向を求め、求めた移動方向に対応する入力位置の移動方向を設定してもよい。この所定時間は予め設定され、例えば設定データ121に含めて記憶部120に記憶される。
この場合、操作検出部183は、入力位置の移動量を制限せず、予め設定された移動速度、或いは、操作位置の移動速度に対応する入力位置の移動速度で、入力位置を移動させるように入力データを生成してもよい。この場合、操作検出部183は、トラックパッド14における接触が解除されるまでの間、設定した移動方向および移動速度で、入力位置が移動する入力データの生成及び出力を継続する。入力データを生成し、出力する周期は、予め設定された周期であってもよいし、入力情報取得部110のサンプリング周期に従ってあってもよい。そして、操作検出部183は、入力情報取得部110がトラックパッド14における接触の解除を検出したタイミングで、入力データの生成及び出力を停止する。
Further, for example, the operation detection unit 183 obtains the movement direction of the operation position within a predetermined time after the input information acquisition unit 110 detects the operation of the track pad 14, and moves the input position corresponding to the obtained movement direction. The direction may be set. This predetermined time is set in advance, and is included in the setting data 121 and stored in the storage unit 120, for example.
In this case, the operation detection unit 183 does not limit the amount of movement of the input position, but moves the input position at a preset movement speed or a movement speed of the input position corresponding to the movement speed of the operation position. Input data may be generated. In this case, the operation detection unit 183 continues to generate and output input data for moving the input position at the set moving direction and moving speed until the contact with the track pad 14 is released. A cycle for generating and outputting input data may be a preset cycle, or may be in accordance with a sampling cycle of the input information acquisition unit 110. Then, the operation detection unit 183 stops the generation and output of the input data at the timing when the input information acquisition unit 110 detects the release of contact on the track pad 14.

これらのいずれの場合も、操作検出部183は、操作体である手Hがトラックパッド14から離れるまでの間、入力データを生成する処理を継続して行うので、GUI制御部185は、表示可能領域Dにおいて、ポインターPの表示位置を移動し続ける。
使用者が、スライドジェスチャーを意図して行うことにより、実際の操作体の移動量よりも大きくポインターPを移動させることができる。また、操作体をトラックパッド14から離すことでポインターPを停止させることができ、ポインターPの停止位置を高精度で制御できる。
In any of these cases, the operation detection unit 183 continuously performs the process of generating input data until the hand H that is the operation body leaves the track pad 14, so that the GUI control unit 185 can display the data. In the region D, the display position of the pointer P continues to move.
When the user intentionally performs a slide gesture, the pointer P can be moved larger than the actual movement amount of the operating body. Further, the pointer P can be stopped by separating the operating body from the track pad 14, and the stop position of the pointer P can be controlled with high accuracy.

図7はHMD100の動作を示すフローチャートであり、トラックパッド14の操作に対しポインターPの表示位置を制御する動作を示す。
制御部140は、入力情報取得部110から入力される操作データに基づいてトラックパッド14へのタッチ操作を検出すると(ステップS11)、操作位置の座標を取得する(ステップS12)。制御部140は、操作位置が移動しているか否か、すなわち、スライドジェスチャーに該当するか否かの判定を行う(ステップS13)。例えば、予め設定された時間内に操作位置の座標が閾値以上の変化をした場合に、スライドジェスチャーと判定することができ、スライドジェスチャーの判定の条件は設定データ121に含めて記憶することができる。
FIG. 7 is a flowchart showing the operation of the HMD 100 and shows the operation of controlling the display position of the pointer P in response to the operation of the track pad 14.
When the control unit 140 detects a touch operation on the track pad 14 based on the operation data input from the input information acquisition unit 110 (step S11), the control unit 140 acquires the coordinates of the operation position (step S12). The control unit 140 determines whether or not the operation position has moved, that is, whether or not the operation position corresponds to a slide gesture (step S13). For example, when the coordinate of the operation position changes more than a threshold value within a preset time, it can be determined as a slide gesture, and the determination condition of the slide gesture can be included in the setting data 121 and stored. .

スライドジェスチャーでないと判定した場合(ステップS13;No)、制御部140は、トラックパッド14上の操作位置に対応してポインターPを表示させる(ステップS14)。ステップS14で、制御部140は、操作位置に対応する入力データを生成し、この入力データが示す位置にポインターPを表示させ、或いはポインターPの表示位置を移動させる。ステップS14の処理後、制御部140は本処理を終了する。処理の終了後、制御部140はトラックパッド14への接触操作を待機する。   When it determines with it not being a slide gesture (step S13; No), the control part 140 displays the pointer P corresponding to the operation position on the trackpad 14 (step S14). In step S14, the control unit 140 generates input data corresponding to the operation position, displays the pointer P at the position indicated by the input data, or moves the display position of the pointer P. After the process of step S14, the control unit 140 ends this process. After the processing is completed, the control unit 140 waits for a contact operation to the track pad 14.

トラックパッド14への操作がスライドジェスチャーであると判定した場合(ステップS13;Yes)、制御部140は、操作位置が停止するまで待機する(ステップS15)。この待機中、制御部140は、入力情報取得部110から入力される操作データに基づき操作位置の検出を継続して行う。   When it determines with operation to the trackpad 14 being a slide gesture (step S13; Yes), the control part 140 waits until an operation position stops (step S15). During this standby, the control unit 140 continues to detect the operation position based on the operation data input from the input information acquisition unit 110.

操作位置が停止した場合(ステップS15;Yes)、制御部140は、スライドジェスチャーに対応する入力データを生成するため、入力データの移動パラメーターを算出する(ステップS16)。入力データの移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータを含む。
ステップS15の「操作位置が停止した場合」とは、トラックパッド14における操作位置が静止する場合に限らず、操作位置が予め設定された閾値の範囲内で移動する場合を含む。制御部140は、入力情報取得部110がサンプリング周期で検出するトラックパッド14の操作位置の座標が変化しない場合、及び、座標の変化量が予め設定された閾値の範囲内である場合のいずれも、停止したと判定する。 また、入力情報取得部110は、サンプリング周期でトラックパッド14の操作位置の座標を検出するので、連続する所定回数の検出動作で検出された操作位置の座標が、閾値の範囲内である場合に、操作位置が停止したと判定してもよい。
When the operation position is stopped (step S15; Yes), the control unit 140 calculates a movement parameter of the input data in order to generate input data corresponding to the slide gesture (step S16). The input data movement parameters include, for example, data indicating the start position of the input position movement, the movement direction of the input position, and the movement speed of the input position.
The “when the operation position is stopped” in step S15 includes not only the case where the operation position on the track pad 14 is stationary, but also the case where the operation position moves within a preset threshold range. The control unit 140 is both in the case where the coordinate of the operation position of the track pad 14 detected by the input information acquisition unit 110 in the sampling period does not change and the case where the coordinate change amount is within a preset threshold range. It is determined that the operation has stopped. In addition, since the input information acquisition unit 110 detects the coordinates of the operation position of the track pad 14 at the sampling period, the coordinates of the operation position detected by a predetermined number of consecutive detection operations are within the threshold range. The operation position may be determined to have stopped.

例えば、制御部140は、入力位置の移動方向を、ステップS11〜S15で検出したスライドジェスチャーの移動方向と同じ方向に設定する。トラックパッド14に対するスライドジェスチャーの方向は、図3に示すX方向に限定されず、Y方向や斜め方向であってもよく、トラックパッド14の面内の移動であれば制限されない。入力位置の移動方向は、スライドジェスチャーの方向に対応していればよく、仮想入力平面IP内における方向であればよい。従って、操作検出部183が、トラックパッド14の操作位置の移動方向に対応して決定する入力位置の移動方向は、操作位置の移動方向と一致しない方向であってもよい。   For example, the control unit 140 sets the moving direction of the input position in the same direction as the moving direction of the slide gesture detected in steps S11 to S15. The direction of the slide gesture with respect to the track pad 14 is not limited to the X direction shown in FIG. 3, and may be the Y direction or an oblique direction, and is not limited as long as it moves within the plane of the track pad 14. The movement direction of the input position only needs to correspond to the direction of the slide gesture, and may be a direction in the virtual input plane IP. Accordingly, the movement direction of the input position determined by the operation detection unit 183 corresponding to the movement direction of the operation position of the track pad 14 may be a direction that does not coincide with the movement direction of the operation position.

また、例えば、制御部140は、入力位置の移動速度を、ステップS11〜S15で検出したスライドジェスチャーの移動量(操作量)に対応する速度に設定する。例えば、制御部140は、スライドジェスチャーの移動量が大きいほど、入力位置の移動速度が高速になるよう移動速度を設定する。また、入力位置の移動速度を一定としてもよい。この場合、制御部140は、予め設定されたデフォルトの移動速度を、入力位置の移動速度に設定する。デフォルトの移動速度は、予め設定され、例えば設定データ121に含まれる。   For example, the control unit 140 sets the movement speed of the input position to a speed corresponding to the movement amount (operation amount) of the slide gesture detected in steps S11 to S15. For example, the control unit 140 sets the movement speed so that the movement speed of the input position becomes higher as the movement amount of the slide gesture is larger. Further, the moving speed of the input position may be constant. In this case, the control unit 140 sets a preset default moving speed as the moving speed of the input position. The default moving speed is set in advance and is included in the setting data 121, for example.

制御部140は、ステップS16で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部22及び左表示駆動部24にポインターPを表示させる処理を開始する(ステップS17)。ステップS17の後、制御部140が生成する入力データでは入力位置が移動し、画像表示部20が表示するポインターPの表示位置が移動する。この後、制御部140は、入力データを所定周期(例えば、入力情報取得部110のサンプリング周期)で生成する処理を継続する。また、制御部140は、生成した入力データに基づきポインターPの表示位置を移動する処理を継続する。
ポインターPの表示位置が移動する間、制御部140は、トラックパッド14への接触の解除を監視する(ステップS18)。トラックパッド14への接触が解除されていないと判定した場合(ステップS18;No)、入力データの生成とポインターPの表示位置の移動を継続する。
制御部140は、トラックパッド14への接触が解除されたことを検出すると(ステップS18;Yes)、入力データの生成を停止し、これによりポインターPの移動を停止させて(ステップS19)、本処理を終了する。
The control unit 140 starts generating input data according to the movement parameter set in step S16, and starts a process of displaying the pointer P on the right display driving unit 22 and the left display driving unit 24 based on the generated input data (step). S17). After step S17, the input position moves in the input data generated by the control unit 140, and the display position of the pointer P displayed by the image display unit 20 moves. Thereafter, the control unit 140 continues the process of generating the input data at a predetermined cycle (for example, the sampling cycle of the input information acquisition unit 110). Further, the control unit 140 continues the process of moving the display position of the pointer P based on the generated input data.
While the display position of the pointer P moves, the control unit 140 monitors the release of contact with the track pad 14 (step S18). If it is determined that the contact with the track pad 14 is not released (step S18; No), the generation of input data and the movement of the display position of the pointer P are continued.
When the control unit 140 detects that the contact with the track pad 14 is released (step S18; Yes), it stops generating the input data, thereby stopping the movement of the pointer P (step S19). The process ends.

この図7に示した動作は、ポインターPの移動だけでなく、例えば、リング状のUIに適用できる。
図8は、トラックパッド14の操作に対しリング型UI(User Interface)の表示を遷移させる例を示す説明図である。
リング型のUIは、複数の画面、或いは画像や文字等の表示オブジェクトを、リング状に配置し、リングの特定位置にある画面または表示オブジェクトが、大きく表示されるインターフェイスである。表示可能領域Dには、リング状に配置された複数の表示オブジェクト全体を俯瞰する状態を模した画像が表示される。この表示により、使用者は、表示可能領域Dにより、リング型UIを構成するそれぞれの表示オブジェクトの配置と、特定位置にある表示オブジェクトの内容とを見ることができる。
The operation shown in FIG. 7 is applicable not only to the movement of the pointer P but also to, for example, a ring-shaped UI.
FIG. 8 is an explanatory diagram showing an example in which the display of a ring-type UI (User Interface) is changed in response to the operation of the track pad 14.
The ring-type UI is an interface in which a plurality of screens or display objects such as images and characters are arranged in a ring shape, and a screen or display object at a specific position on the ring is displayed in a large size. In the displayable area D, an image simulating a state in which the whole of the plurality of display objects arranged in a ring shape is looked down is displayed. With this display, the user can see the arrangement of the display objects constituting the ring UI and the contents of the display objects at a specific position by the displayable area D.

図8の例では、画面M1〜M6の6つの画面が表示用の画面として用意され、左右方向への操作に対応して、画面M1〜M6が順に、画像表示部20により拡大表示される。また、画面M1〜M6は、図中右方向にも、左方向にも、順に切り替えて表示できる。   In the example of FIG. 8, six screens M1 to M6 are prepared as display screens, and the screens M1 to M6 are sequentially enlarged and displayed by the image display unit 20 in response to an operation in the left-right direction. Further, the screens M1 to M6 can be switched and displayed in order in the right direction and the left direction in the figure.

GUI制御部185は、トラックパッド14のスライドジェスチャーに対応して、画面M1〜M6を順に切り替えて表示できる。すなわち、GUI制御部185は、操作検出部183が生成する入力データを取得し、入力データに含まれる入力位置の変化に対応する方向に、リング型のUIを回転させて、画面M1〜M6を順に表示する。操作検出部183が生成する入力データは、図6に例示したように、入力位置をX−Y座標系の座標で示す二次元のデータである。この場合、GUI制御部185は、入力位置のX座標の変化とY座標の変化の両方を演算して、リング型UIにおいて移動する画面の数や移動方向を求めてもよい。また、GUI制御部185は、入力位置のX座標とY座標のいずれか一方に基づき、リング型UIにおいて移動する画面の数や移動方向を求めてもよい。   The GUI control unit 185 can sequentially switch and display the screens M1 to M6 corresponding to the slide gesture of the track pad 14. That is, the GUI control unit 185 acquires the input data generated by the operation detection unit 183, rotates the ring UI in the direction corresponding to the change in the input position included in the input data, and displays the screens M1 to M6. Display in order. As illustrated in FIG. 6, the input data generated by the operation detection unit 183 is two-dimensional data indicating the input position with coordinates in the XY coordinate system. In this case, the GUI control unit 185 may calculate both the change in the X coordinate and the change in the Y coordinate of the input position, and obtain the number of screens to be moved and the moving direction in the ring UI. Further, the GUI control unit 185 may obtain the number of screens moving in the ring UI and the moving direction based on either the X coordinate or the Y coordinate of the input position.

図8のリング型のUIでは、画面M1〜M6のそれぞれは本発明の表示オブジェクトに相当し、GUI制御部185は、トラックパッド14の操作に対応して、それぞれの画面M1〜M6の表示位置を移動させる。また、図7の動作を適用すれば、トラックパッド14のスライドジェスチャーが検出された場合に、画面M1、M2、M3…が順次切り替えられ、トラックパッド14の接触が解除されるまで画面の切り替えが継続する。そして、使用者が操作体をトラックパッド14から離すと、画面の切り替えが停止する。このように、ポインターPの表示位置の移動に限らず、本発明を適用してトラックパッド14の操作性の向上を図ることができる。また、図8のリング型のUIを採用する場合、GUI制御部185は、画面M1〜M6のうち、特定の位置に表示される画面を操作対象としてもよい。特定の位置とは、例えば表示画面の中央であり、他の画面より大きく、使用者の正面に表示される画面が操作対象となる。この場合、トラックパッド14に対する操作の方向に対応して、操作対象の画面の表示位置が移動し、他の画面の表示位置は操作対象の画面の表示位置の変化に応じて適宜移動される。   In the ring-type UI of FIG. 8, each of the screens M1 to M6 corresponds to a display object of the present invention, and the GUI control unit 185 displays the display positions of the respective screens M1 to M6 in response to the operation of the track pad 14. Move. 7 is applied, when a slide gesture of the track pad 14 is detected, the screens M1, M2, M3... Are sequentially switched, and the screen is switched until the contact with the track pad 14 is released. continue. Then, when the user releases the operating tool from the track pad 14, the screen switching is stopped. Thus, not only the movement of the display position of the pointer P but also the operability of the track pad 14 can be improved by applying the present invention. In addition, when the ring-type UI of FIG. 8 is employed, the GUI control unit 185 may set a screen displayed at a specific position among the screens M1 to M6 as an operation target. The specific position is, for example, the center of the display screen, which is larger than the other screens, and the screen displayed in front of the user is the operation target. In this case, the display position of the operation target screen is moved in accordance with the direction of the operation on the track pad 14, and the display positions of other screens are appropriately moved according to the change in the display position of the operation target screen.

本実施形態の制御部140は、トラックパッド14に対する操作がスライドジェスチャーでないと判定した場合(ステップS13;No)、トラックパッド14上の操作位置に対応する入力位置を示す入力データを生成する。これにより、トラックパッド14上の操作位置に対応する表示可能領域Dの表示位置に、ポインターPが表示される(ステップS14)。このように、本実施形態では一例として、入力情報取得部110が検出するトラックパッド14における操作位置の座標が、仮想入力平面IPにおける入力位置に変換される。つまり、トラックパッド14は、絶対座標を入力するデバイスとして機能する。HMD100の構成はこれに限定されない。例えば、入力情報取得部110が、トラックパッド14における操作位置の変化を検出値として制御部140に出力してもよい。この場合、制御部140は、トラックパッド14のが操作位置の変化量に対応する入力位置の変化を示す入力データを生成してもよい。つまり、トラックパッド14が、マウス等と同様に、相対位置を入力する入力デバイスとして機能する構成であってもよい。   When it is determined that the operation on the track pad 14 is not a slide gesture (step S13; No), the control unit 140 according to the present embodiment generates input data indicating an input position corresponding to the operation position on the track pad 14. Thereby, the pointer P is displayed at the display position of the displayable area D corresponding to the operation position on the track pad 14 (step S14). As described above, in this embodiment, as an example, the coordinates of the operation position on the track pad 14 detected by the input information acquisition unit 110 are converted into the input position on the virtual input plane IP. That is, the track pad 14 functions as a device for inputting absolute coordinates. The configuration of the HMD 100 is not limited to this. For example, the input information acquisition unit 110 may output a change in the operation position on the track pad 14 to the control unit 140 as a detection value. In this case, the control unit 140 may generate input data indicating a change in the input position corresponding to the change amount of the operation position of the track pad 14. That is, the track pad 14 may function as an input device for inputting a relative position, like a mouse or the like.

以上説明したように、本発明を適用した第1の実施形態のHMD100は、使用者に画像を視認させるとともに外景を透過する画像表示部20を備える。HMD100は、トラックパッド14に対する操作を検出する入力情報取得部110と、画像表示部20にポインターP等の操作対象の表示オブジェクトを表示する制御部140と、を備える。制御部140は、入力情報取得部110が検出するトラックパッド14に対する操作位置の変化に対応して、ポインターPの表示位置を移動させる。制御部140は、入力情報取得部110が予め設定された終了条件に該当する操作を検出した場合に、ポインターPの表示位置の移動を停止させる。別の表現をすれば、制御部140は、操作面であるトラックパッド14に対する操作が終了するまで、表示オブジェクトであるポインターPが慣性を保つように、ポインターPの表示位置を移動させる。このため、ポインターPを、トラックパッド14における操作位置の移動量よりも大きく移動させることができ、トラックパッド14の大きさに起因する操作性の制約を緩和できる。さらに、ポインターPの移動を停止する位置を容易に制御でき、操作性の向上を図ることができる。   As described above, the HMD 100 according to the first embodiment to which the present invention is applied includes the image display unit 20 that allows a user to visually recognize an image and transmits an outside scene. The HMD 100 includes an input information acquisition unit 110 that detects an operation on the track pad 14 and a control unit 140 that displays a display object to be operated such as a pointer P on the image display unit 20. The control unit 140 moves the display position of the pointer P in response to the change in the operation position with respect to the track pad 14 detected by the input information acquisition unit 110. The control unit 140 stops the movement of the display position of the pointer P when the input information acquisition unit 110 detects an operation corresponding to a preset end condition. In other words, the control unit 140 moves the display position of the pointer P so that the pointer P that is a display object maintains inertia until the operation on the track pad 14 that is the operation surface is completed. For this reason, the pointer P can be moved larger than the movement amount of the operation position on the track pad 14, and the operability restriction due to the size of the track pad 14 can be relaxed. Furthermore, the position where the movement of the pointer P is stopped can be easily controlled, and the operability can be improved.

本実施形態で、制御部140は、入力情報取得部110がトラックパッド14に対する接触を検出した場合に操作位置を検出する。そして、制御部140は、入力情報取得部110が、トラックパッド14から操作体が離れて接触が解除されたことを検出した場合に、終了条件に該当すると判定し、入力データの生成を停止する。これにより、使用者は、ポインターPの表示位置の移動を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。   In the present embodiment, the control unit 140 detects the operation position when the input information acquisition unit 110 detects contact with the track pad 14. Then, when the input information acquisition unit 110 detects that the operating body has moved away from the track pad 14 and the contact is released, the control unit 140 determines that the termination condition is satisfied, and stops generating input data. . Thereby, since the user can easily instruct the timing to start and stop the movement of the display position of the pointer P, the operability can be further improved.

また、制御部140は、ポインターPの表示位置の移動方向を、トラックパッド14における操作位置の移動方向に対応する方向に設定する。このため、使用者が、ポインターPを意図する方向に移動させることができ、操作性の向上を図ることができる。
また、制御部140は、トラックパッド14に対するスライドジェスチャーの操作を検出した後、ポインターPの移動方向を求める処理を行ってから、ポインターPを移動させるので、ポインターPを適切な方向に移動させることができる。
Further, the control unit 140 sets the movement direction of the display position of the pointer P to a direction corresponding to the movement direction of the operation position on the track pad 14. Therefore, the user can move the pointer P in the intended direction, and the operability can be improved.
Further, since the control unit 140 detects the operation of the slide gesture with respect to the track pad 14 and then performs a process for obtaining the moving direction of the pointer P, the control unit 140 moves the pointer P, so that the pointer P is moved in an appropriate direction. Can do.

本実施形態で、制御部140は、入力情報取得部110がステップS11でトラックパッド14に対する操作を検出した後、ステップS16でポインターPの表示位置の移動方向を求める処理を行う間、ポインターPを移動させてもよい。ここで、制御部140は、トラックパッド14の操作位置に対応する表示位置にポインターPを移動させる。この場合、ポインターPの移動方向を求める処理を行う間においてもポインターPを適切に移動させることで、使用者が違和感なく操作を行える。また、短時間または操作位置の移動量が小さい操作に対応してポインターPを移動させることができる。この場合のポインターPの移動は、トラックパッド14の操作位置に対応する表示可能領域Dの表示位置にポインターPを移動させる制御により実現すればよい。また、制御部140は、入力情報取得部110がトラックパッド14に対する操作を検出した後、ポインターPの表示位置の移動方向を求める処理を行い、その後にポインターPの表示位置を移動させてもよい。この場合、ポインターPを適切な方向に移動させることができる。   In this embodiment, the control unit 140 detects the pointer P while the input information acquisition unit 110 performs the process of obtaining the moving direction of the display position of the pointer P in step S16 after detecting the operation on the track pad 14 in step S11. It may be moved. Here, the control unit 140 moves the pointer P to a display position corresponding to the operation position of the track pad 14. In this case, the user can perform an operation without a sense of incongruity by appropriately moving the pointer P even during the process of obtaining the moving direction of the pointer P. In addition, the pointer P can be moved in response to an operation for which the movement amount of the operation position is small for a short time. The movement of the pointer P in this case may be realized by control for moving the pointer P to the display position of the displayable area D corresponding to the operation position of the track pad 14. In addition, after the input information acquisition unit 110 detects an operation on the track pad 14, the control unit 140 may perform a process for obtaining the moving direction of the display position of the pointer P and then move the display position of the pointer P. . In this case, the pointer P can be moved in an appropriate direction.

また、制御部140は、トラックパッド14における操作に応じてポインターPの移動速度を求め、求めた移動速度で移動方向にポインターPを移動させてもよい。例えば、制御部140は、ポインターPの表示位置の移動速度を、トラックパッド14における操作位置の移動量または移動速度に対応する速度に設定してもよい。この場合、使用者がポインターPの移動速度を制御できるので、より一層の操作性の向上を図ることができる。   Further, the control unit 140 may obtain the moving speed of the pointer P according to the operation on the track pad 14 and move the pointer P in the moving direction at the obtained moving speed. For example, the control unit 140 may set the moving speed of the display position of the pointer P to a speed corresponding to the moving amount or moving speed of the operation position on the track pad 14. In this case, since the user can control the moving speed of the pointer P, the operability can be further improved.

また、制御部140は、トラックパッド14における操作位置の移動を検出した後、操作が終了するまでポインターPを移動させるので、トラックパッド14は、例えば画像表示部20が画像を表示する領域に比べて小さくてもよい。トラックパッド14は、制御部140が操作位置の移動の方向を検出可能なサイズがあればよく、言い換えれば、トラックパッド14のサイズよりも大きくポインターPを移動させることができる。従って、HMD100の構成においてトラックパッド14が小さくても、ポインターPを任意に移動させることができ、操作性の向上を図ることができる。また、HMD100の構成の自由度が高まるという利点がある。   In addition, since the control unit 140 detects the movement of the operation position on the track pad 14 and moves the pointer P until the operation is completed, the track pad 14 is compared with, for example, an area where the image display unit 20 displays an image. Can be small. The track pad 14 only needs to have a size that allows the control unit 140 to detect the direction of movement of the operation position. In other words, the pointer P can be moved larger than the size of the track pad 14. Therefore, even if the track pad 14 is small in the configuration of the HMD 100, the pointer P can be arbitrarily moved, and the operability can be improved. Moreover, there exists an advantage that the freedom degree of a structure of HMD100 increases.

HMD100において、制御部140は、入力情報取得部110により検出される操作に応じて、仮想入力平面IPに対する入力データを生成する。制御部140は、入力情報取得部110がトラックパッド14において操作位置が移動する操作を検出した場合に、操作に対応して仮想入力平面IPにおける入力データの生成を開始する。制御部140は、入力情報取得部110が予め設定された終了条件に該当する操作を検出した場合に、入力データの生成を停止する。これにより、オペレーティングシステム150の仮想入力平面IPに対する入力データを、トラックパッド14の大きさの制約を超えて生成させることができる。本実施形態では、入力データに基づきポインターPの表示位置を移動させるので、ポインターPの表示位置の移動量を高い自由度で制御できる。従って、トラックパッド14の大きさに起因する操作性の制約を緩和できる。   In the HMD 100, the control unit 140 generates input data for the virtual input plane IP in accordance with an operation detected by the input information acquisition unit 110. When the input information acquisition unit 110 detects an operation of moving the operation position on the track pad 14, the control unit 140 starts generating input data on the virtual input plane IP in response to the operation. The control unit 140 stops the generation of input data when the input information acquisition unit 110 detects an operation corresponding to a preset end condition. As a result, the input data for the virtual input plane IP of the operating system 150 can be generated beyond the limitation of the size of the track pad 14. In the present embodiment, since the display position of the pointer P is moved based on the input data, the movement amount of the display position of the pointer P can be controlled with a high degree of freedom. Therefore, the operability restriction due to the size of the track pad 14 can be relaxed.

制御部140が生成する入力データは、仮想入力平面IPにおける入力位置、仮想入力平面IP内における入力位置の移動方向、及び、仮想入力平面IP内における入力位置の移動速度の少なくともいずれかを含む構成とすることができる。これにより、トラックパッド14に対する操作によって、仮想入力平面IPにおける入力位置、入力位置の移動方向、或いは入力位置の移動速度を入力できる。   The input data generated by the control unit 140 includes at least one of an input position in the virtual input plane IP, a moving direction of the input position in the virtual input plane IP, and a moving speed of the input position in the virtual input plane IP. It can be. Thereby, an input position on the virtual input plane IP, a moving direction of the input position, or a moving speed of the input position can be input by an operation on the track pad 14.

また、制御部140は、入力データに含まれる入力位置の移動方向、及び、入力位置の移動速度の少なくともいずれかを、入力情報取得部110が検出する操作位置の移動量または移動速度に応じて設定してもよい。この場合、入力位置、入力位置の移動方向、或いは入力位置の移動速度を、トラックパッド14に対する操作により制御できる。   In addition, the control unit 140 determines at least one of the movement direction of the input position and the movement speed of the input position included in the input data according to the movement amount or movement speed of the operation position detected by the input information acquisition unit 110. It may be set. In this case, the input position, the moving direction of the input position, or the moving speed of the input position can be controlled by operating the track pad 14.

また、制御部140は、入力情報取得部110が、トラックパッド14に対する接触が解除されたことを検出した場合に、終了条件に該当すると判定して入力データの生成を停止してもよい。この構成によれば、使用者は、入力データの生成を開始および停止させるタイミングを容易に指示できるので、より一層の操作性の向上を図ることができる。   In addition, when the input information acquisition unit 110 detects that the contact with the track pad 14 has been released, the control unit 140 may determine that the end condition is satisfied and stop generating input data. According to this configuration, the user can easily instruct the timing for starting and stopping the generation of the input data, so that the operability can be further improved.

また、図6に示したように、HMD100では、仮想入力平面IPと表示部20における表示可能領域D(表示領域)とが対応付けられる。制御部140は、画像表示部20に表示する操作対象の表示オブジェクトであるポインターPの表示位置を、入力データに対応して制御することができる。これにより、トラックパッド14に対する操作に応じてポインターPの表示位置を移動させることができ、表示位置の移動量を高い自由度で制御できる。   As shown in FIG. 6, in the HMD 100, the virtual input plane IP and the displayable area D (display area) in the display unit 20 are associated with each other. The control unit 140 can control the display position of the pointer P that is a display object to be operated displayed on the image display unit 20 in accordance with the input data. Thereby, the display position of the pointer P can be moved according to the operation on the track pad 14, and the movement amount of the display position can be controlled with a high degree of freedom.

[第2の実施形態]
図9は、本発明を適用した第2の実施形態に係るHMD100の動作を示すフローチャートである。
本第2の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Second Embodiment]
FIG. 9 is a flowchart showing the operation of the HMD 100 according to the second embodiment to which the present invention is applied.
In the second embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

図9に示す動作のステップS11〜S19は、上記第1の実施形態と同様である。
第2の実施形態において、制御部140は、ステップS17で入力データの生成及びポインターPの表示位置の移動を開始した後に、トラックパッド14における操作位置が変化した場合、ポインターPの表示位置の移動パラメーターを変更する。
Steps S11 to S19 of the operation shown in FIG. 9 are the same as those in the first embodiment.
In the second embodiment, the control unit 140 moves the display position of the pointer P when the operation position on the track pad 14 is changed after the generation of input data and the movement of the display position of the pointer P are started in step S17. Change the parameter.

第1の実施形態と同様に、制御部140は、入力データの生成を開始した後にトラックパッド14への接触の解除を監視する(ステップS18)。ここで、トラックパッド14への接触が解除されない間(ステップS18;No)、制御部140は入力データの生成を継続し、これによりポインターPの表示位置が移動し続ける。この間、トラックパッド14における操作位置は、ステップS15で停止したと判定されてから、停止とみなすことができる状態である。   As in the first embodiment, the control unit 140 monitors the release of contact with the track pad 14 after starting the generation of input data (step S18). Here, while the contact with the track pad 14 is not released (step S18; No), the control unit 140 continues to generate the input data, and thereby the display position of the pointer P continues to move. During this time, the operation position on the track pad 14 is in a state that can be regarded as a stop after it is determined that the operation is stopped in step S15.

トラックパッド14への接触が解除されない場合(ステップS18;No)、制御部140は、トラックパッド14の操作位置が、逆方向に移動したか否かを判定する(ステップS21)。「逆方向」とは、ステップS13で検出したトラックパッド14の操作位置の移動方向、或いは、ステップS16で設定した入力位置の移動パラメーターに対して逆の方向を指す。また、「逆方向」とは、X軸方向及びY軸方向の成分が完全に逆の方向である場合に限定されない。例えば、X軸方向及びY軸方向の成分が、完全に逆の方向に対して所定範囲内にある方向を、「逆方向」に含めることができる。つまり、ステップS21では、トラックパッド14における操作位置が、逆方向と見なすことができる範囲で移動した場合に、逆方向に移動したと判定してもよい。また、ステップS13で検出したトラックパッド14の操作位置の移動方向、或いは、ステップS16で設定した入力位置の移動パラメーターが示す移動方向に対し、所定角度以上の方向の違いを有する操作を、逆方向の移動と判定してもよい。また、ステップS21では、トラックパッド14の操作位置の移動量に基づく判定を行ってもよい。例えば、操作位置の移動量が予め設定された閾値より小さい場合に、逆方向の移動と判定しない構成としてもよい。   When the contact with the track pad 14 is not released (step S18; No), the control unit 140 determines whether or not the operation position of the track pad 14 has moved in the reverse direction (step S21). The “reverse direction” refers to the direction of movement of the operation position of the track pad 14 detected in step S13 or the direction opposite to the movement parameter of the input position set in step S16. The “reverse direction” is not limited to the case where the components in the X-axis direction and the Y-axis direction are completely opposite directions. For example, a direction in which components in the X-axis direction and the Y-axis direction are within a predetermined range with respect to completely opposite directions can be included in the “reverse direction”. That is, in step S21, it may be determined that the operation position on the track pad 14 has moved in the reverse direction when it has moved within a range that can be regarded as the reverse direction. In addition, an operation having a direction difference of a predetermined angle or more with respect to the movement direction of the operation position of the track pad 14 detected in step S13 or the movement direction indicated by the movement parameter of the input position set in step S16 is performed in the reverse direction. The movement may be determined. In step S21, determination based on the movement amount of the operation position of the track pad 14 may be performed. For example, when the movement amount of the operation position is smaller than a preset threshold value, it may be configured not to determine the movement in the reverse direction.

制御部140は、トラックパッド14の操作位置が逆方向に移動したと判定した場合(ステップS21;Yes)、入力位置の移動速度に関する移動パラメーターを更新(変更)する(ステップS22)。このステップS22の後、制御部140は、更新後の移動パラメーターに基づき入力データの生成を実行し、ポインターPの表示位置が移動する。ステップS22の後、制御部140はステップS18に戻る。また、トラックパッド14の操作位置が逆方向に移動していない場合(ステップS21;No)、制御部140はステップS18に戻る。   When it is determined that the operation position of the track pad 14 has moved in the reverse direction (step S21; Yes), the control unit 140 updates (changes) the movement parameter related to the movement speed of the input position (step S22). After step S22, the control unit 140 generates input data based on the updated movement parameter, and the display position of the pointer P moves. After step S22, the control unit 140 returns to step S18. When the operation position of the track pad 14 has not moved in the reverse direction (step S21; No), the control unit 140 returns to step S18.

ステップS22では、例えば、入力位置の移動速度を段階的に変更可能であり、移動速度を1段階低下させることができる。この場合、操作位置を逆方向に移動させる操作を、制御部140が1回検出する毎に、入力位置の移動速度が1段階低下する。入力データにおける入力位置の移動速度の変化に対応して、ポインターPの移動速度が段階的に変化する。これにより、ポインターPの移動速度を使用者が容易に制御できる。   In step S22, for example, the moving speed of the input position can be changed in stages, and the moving speed can be reduced by one stage. In this case, each time the control unit 140 detects an operation for moving the operation position in the reverse direction, the moving speed of the input position is decreased by one step. Corresponding to the change in the moving speed of the input position in the input data, the moving speed of the pointer P changes stepwise. Thereby, the user can easily control the moving speed of the pointer P.

このように、制御部140が、ポインターPの移動中におけるトラックパッド14の操作位置の変化に応じて、ポインターPの移動速度を変化させることで、使用者は、ポインターPの移動速度を、より細かく制御できる。   Thus, the control unit 140 changes the moving speed of the pointer P according to the change in the operation position of the track pad 14 while the pointer P is moving, so that the user can change the moving speed of the pointer P more. Fine control.

第2の実施形態では、制御部140が、操作体による操作位置が逆方向に移動したと判定した場合に、入力データにおける入力位置の移動速度を低速にして、表示オブジェクトであるポインターPの移動速度を低速に変化させる例を説明した。この場合、入力位置の移動速度を変化させた後で、トラックパッド14の操作位置が正方向に移動した場合に、入力位置の移動速度を復帰させてもよい。また、回数の限定なく、操作位置の正方向の移動を検出する毎に入力位置の移動速度を増速し、操作位置の逆方向の移動を検出する毎に入力位置に移動速度を減速してもよい。また、トラックパッド14において操作体が接触する領域の面積を、入力情報取得部110及び制御部140が検出可能な構成において、接触する面積の変化により入力位置の移動速度を変化させてもよい。例えば、接触面積が小さく変化した場合は入力位置の移動速度を減速させてもよい。また、接触面積が大きくなった場合は入力位置の移動速度を増速させてもよい。これらの場合において、入力位置の移動速度を変更するように移動パラメーターが更新されると、ポインターPの移動速度が変化するので、使用者の操作によって容易にポインターPの移動速度を制御できる。このほか、入力位置を移動させる速度を、トラックパッド14に対する操作態様に応じて変化させる具体的な態様は任意に変更可能である。   In the second embodiment, when the control unit 140 determines that the operation position by the operating body has moved in the reverse direction, the movement speed of the input position in the input data is reduced, and the pointer P that is a display object is moved. An example of changing the speed to a low speed has been described. In this case, after changing the moving speed of the input position, the moving speed of the input position may be restored when the operation position of the track pad 14 moves in the positive direction. In addition, without limiting the number of times, the movement speed of the input position is increased each time a forward movement of the operation position is detected, and the movement speed is decelerated to the input position every time a reverse movement of the operation position is detected. Also good. Further, in the configuration in which the input information acquisition unit 110 and the control unit 140 can detect the area of the area where the operating body contacts in the track pad 14, the moving speed of the input position may be changed by changing the contact area. For example, when the contact area changes small, the moving speed of the input position may be reduced. Further, when the contact area increases, the moving speed of the input position may be increased. In these cases, when the movement parameter is updated so as to change the movement speed of the input position, the movement speed of the pointer P changes. Therefore, the movement speed of the pointer P can be easily controlled by the user's operation. In addition, the specific mode of changing the speed of moving the input position according to the mode of operation on the track pad 14 can be arbitrarily changed.

さらに、本第2の実施形態の変形例として、入力データにおける入力位置の移動速度を、制御装置10を動かす操作に対応して変化させてもよい。
図2に示したように、制御装置10は3軸の加速度センサーである3軸センサー113を備える。
操作検出部183は、ステップS16で入力データの生成を開始した後、3軸センサー113の検出値を、例えば予め設定されたサンプリング周期で取得して、制御装置10の姿勢の変化を検出する。HMD100では、制御装置10を第1の方向に動かした場合に、ポインターPの移動速度を増大させ、第2の方向に動かした場合に、ポインターPの移動速度を低下させるよう設定される。詳細には、第1の方向の動きに対応する3軸センサー113の検出値または検出値の範囲が、予め設定される。第2の方向についても同様である。第1の方向、及び第2の方向は、操作検出部183が3軸センサー113の検出値に基づき区別可能な2つの方向であればよく、逆方向であってもよい。また、第1及び第2の方向は、制御装置10を直線的に移動させる方向であってもよいし、制御装置10を回転させる方向であってもよい。制御装置10の回転方向は任意に設定可能であり、3軸センサー113の検出軸を中心とする回転であってもよいし、検出軸と平行でない軸を中心とする回転であってもよい。
Furthermore, as a modification of the second embodiment, the moving speed of the input position in the input data may be changed corresponding to an operation of moving the control device 10.
As shown in FIG. 2, the control device 10 includes a triaxial sensor 113 that is a triaxial acceleration sensor.
After starting the generation of input data in step S16, the operation detection unit 183 acquires the detection value of the triaxial sensor 113, for example, at a preset sampling cycle, and detects a change in the attitude of the control device 10. The HMD 100 is set to increase the moving speed of the pointer P when the control device 10 is moved in the first direction and to decrease the moving speed of the pointer P when the control apparatus 10 is moved in the second direction. Specifically, a detection value or a detection value range of the three-axis sensor 113 corresponding to the movement in the first direction is set in advance. The same applies to the second direction. The first direction and the second direction only need to be two directions that the operation detection unit 183 can distinguish based on the detection value of the three-axis sensor 113, and may be opposite directions. The first and second directions may be directions in which the control device 10 is moved linearly, or directions in which the control device 10 is rotated. The rotation direction of the control device 10 can be arbitrarily set, and may be rotation about the detection axis of the three-axis sensor 113 or rotation about an axis that is not parallel to the detection axis.

ここで、操作検出部183が、3軸センサー113の検出値に応じて移動パラメーターを更新する処理を、操作位置が停止している間に限って実行可能としてもよい。つまり、操作検出部183は、上記処理を、操作位置が停止したと判定してから(ステップS15;Yes)、トラックパッド14の接触が解除されたと判定する(ステップS18;Yes)までの間に限って実行してもよい。また、操作検出部183は、入力データを生成する間に、上記処理を実行する構成であってもよい。   Here, the operation detection unit 183 may update the movement parameter according to the detection value of the three-axis sensor 113 only when the operation position is stopped. That is, the operation detection unit 183 determines that the operation position is stopped (step S15; Yes) and determines that the contact with the track pad 14 is released (step S18; Yes). You may perform only. Further, the operation detection unit 183 may be configured to execute the above process while generating input data.

操作検出部183は、3軸センサー113の検出値に基づき第1の方向の操作あるいは第2の方向の操作が行われたと判定した場合、ステップS22と同様の処理を行い、入力位置の移動速度に関する移動パラメーターを更新する。
この構成では、使用者がトラックパッド14に操作体を接触させる操作を行い、ポインターPを移動させる間に、制御装置10を動かすことによって、ポインターPの移動速度を加速あるいは減速できる。
When the operation detection unit 183 determines that the operation in the first direction or the operation in the second direction has been performed based on the detection value of the three-axis sensor 113, the operation detection unit 183 performs the same processing as step S22, and moves the input position. Update movement parameters for.
In this configuration, the moving speed of the pointer P can be accelerated or decelerated by moving the control device 10 while the user performs an operation of bringing the operating body into contact with the track pad 14 and moving the pointer P.

第2の実施形態のさらに別の変形例として、入力データにおける入力位置の移動速度を、トラックパッド14における接触面積に対応して変化させてもよい。入力情報取得部110は、トラックパッド14に操作体が接触した場合に、接触位置を検出可能であり、接触面積を検出することもできる。   As yet another modification of the second embodiment, the moving speed of the input position in the input data may be changed corresponding to the contact area on the track pad 14. The input information acquisition unit 110 can detect the contact position when the operating tool comes into contact with the track pad 14 and can also detect the contact area.

この場合、入力情報取得部110は、トラックパッド14における接触位置を複数検出可能な構成とすることができる。操作検出部183は、入力情報取得部110が検出した複数の接触位置に1つの操作体が接触したと仮定して、操作体が接触した面積を算出する。つまり、操作検出部183は、入力情報取得部110が出力する操作データに基づいて接触面積を算出する。また、入力情報取得部110が、トラックパッド14における接触面積を検出可能な構成であってもよい。この場合、入力情報取得部110は、トラックパッド14における接触面積を示すデータを操作データに含めて出力する。   In this case, the input information acquisition unit 110 can be configured to detect a plurality of contact positions on the track pad 14. The operation detection unit 183 calculates an area in which the operation body has contacted, assuming that one operation body has contacted the plurality of contact positions detected by the input information acquisition unit 110. That is, the operation detection unit 183 calculates the contact area based on the operation data output from the input information acquisition unit 110. Further, the input information acquisition unit 110 may be configured to detect the contact area on the track pad 14. In this case, the input information acquisition unit 110 outputs data indicating the contact area on the track pad 14 in the operation data.

操作検出部183は、ステップS16で入力データの生成を開始した後、入力情報取得部110が出力する操作データに基づき、トラックパッド14における接触面積を取得する。ここで、操作検出部183は、取得した接触面積に基づいて、入力データにおける入力位置の移動速度を変更する。例えば、操作検出部183が取得する接触面積の大きさに対応づけて、入力位置の移動速度が設定されていてもよい。この場合、操作検出部183は、入力位置の移動速度に関する入力データの移動パラメーターを、取得した接触面積に対応する値に更新する。また、例えば、操作検出部183は、取得した接触面積の変化に対応して移動パラメーターを更新してもよい。具体的には、操作検出部183は、トラックパッド14における接触面積の変化を算出し、接触面積が予め設定された閾値を超えて増大した場合に、予め設定された速度だけ入力位置の移動速度を増すように、移動パラメーターを更新する。また、操作検出部183は、トラックパッド14における接触面積が予め設定された閾値を超えて縮小した場合に、予め設定された速度だけ入力位置の移動速度を低下させるように、移動パラメーターを更新する。   After starting the generation of input data in step S <b> 16, the operation detection unit 183 acquires the contact area on the track pad 14 based on the operation data output from the input information acquisition unit 110. Here, the operation detection unit 183 changes the moving speed of the input position in the input data based on the acquired contact area. For example, the moving speed of the input position may be set in association with the size of the contact area acquired by the operation detection unit 183. In this case, the operation detection unit 183 updates the movement parameter of the input data related to the movement speed of the input position to a value corresponding to the acquired contact area. Further, for example, the operation detection unit 183 may update the movement parameter in accordance with the acquired change in the contact area. Specifically, the operation detection unit 183 calculates a change in the contact area on the track pad 14, and when the contact area increases beyond a preset threshold value, the movement speed of the input position by a preset speed. Update the movement parameters to increase In addition, the operation detection unit 183 updates the movement parameter so that the movement speed of the input position is decreased by a preset speed when the contact area on the track pad 14 is reduced beyond a preset threshold. .

ここで、操作検出部183が、トラックパッド14における接触面積に応じて移動パラメーターを更新する処理を、操作位置が停止している間に限って実行可能としてもよい。つまり、操作検出部183は、上記処理を、操作位置が停止したと判定してから(ステップS15;Yes)、トラックパッド14の接触が解除されたと判定する(ステップS18;Yes)までの間に限って実行してもよい。また、操作検出部183は、入力データを生成する間に、上記処理を実行する構成であってもよい。   Here, the operation detection unit 183 may execute the process of updating the movement parameter in accordance with the contact area on the track pad 14 only while the operation position is stopped. That is, the operation detection unit 183 determines that the operation position is stopped (step S15; Yes) and determines that the contact with the track pad 14 is released (step S18; Yes). You may perform only. Further, the operation detection unit 183 may be configured to execute the above process while generating input data.

この構成では、使用者がトラックパッド14に操作体を接触させる操作を行い、ポインターPを移動させる間に、操作体がトラックパッド14に接触する面積を調整することによって、ポインターPの移動速度を加速あるいは減速できる。例えば、使用者の指や手など、弾性を有する操作体を使用する場合、操作検出部183は、操作体をトラックパッド14に押しつける力を加減して接触面積を調整することにより、ポインターPの移動速度を加速あるいは減速できる。   In this configuration, while the user performs an operation of bringing the operating body into contact with the track pad 14 and moving the pointer P, the moving speed of the pointer P is adjusted by adjusting the area where the operating body contacts the track pad 14. Can accelerate or decelerate. For example, when an operation body having elasticity such as a user's finger or hand is used, the operation detection unit 183 adjusts the contact area by adjusting the contact area by adjusting the contact area by adjusting the contact area. The moving speed can be accelerated or decelerated.

[第3の実施形態]
図10は、第3の実施形態に係るHMD100の操作の例を示す説明図である。図11は、本発明を適用した第3の実施形態に係るHMD100の動作を示すフローチャートである。第3の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
第3の実施形態では、ポインターPの移動を開始した後にトラックパッド14の操作位置が移動した場合に、制御部140が、ポインターPの移動速度及び移動方向を変更する例を説明する。第2の実施形態では、トラックパッド14の操作位置が逆方向に操作された場合の動作を説明したが、第3の実施形態では、逆方向に限らず、他の方向へ操作位置が移動した場合に対応できる。
[Third Embodiment]
FIG. 10 is an explanatory diagram illustrating an example of an operation of the HMD 100 according to the third embodiment. FIG. 11 is a flowchart showing the operation of the HMD 100 according to the third embodiment to which the present invention is applied. In the third embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.
In the third embodiment, an example will be described in which the control unit 140 changes the moving speed and moving direction of the pointer P when the operation position of the track pad 14 moves after the movement of the pointer P is started. In the second embodiment, the operation when the operation position of the track pad 14 is operated in the reverse direction has been described. However, in the third embodiment, the operation position is not limited to the reverse direction, and the operation position is moved in another direction. Can handle the case.

図10はトラックパッド14における操作位置の移動の様子を示す。符号A11〜A15は、使用者の手H(図3)等の操作体がトラックパッド14に接触する接触位置、すなわち操作位置を示す。符号AT1〜AT4は、操作位置の移動の軌跡、すなわち移動操作を示す。以下、図10、及び、図11のフローチャートを参照してHMD100の動作を説明する。   FIG. 10 shows the movement of the operation position on the track pad 14. Reference signs A11 to A15 indicate contact positions at which an operating body such as a user's hand H (FIG. 3) contacts the track pad 14, that is, an operation position. Reference symbols AT1 to AT4 indicate movement trajectories of the operation positions, that is, movement operations. Hereinafter, the operation of the HMD 100 will be described with reference to the flowcharts of FIGS. 10 and 11.

ステップS11〜S16の動作は、第1及び第2の実施形態と同じ動作である。例えば、制御部140は、図10の操作位置A11から操作位置A12に至る操作AT1を入力情報取得部110が検出した場合に、ステップS16で、操作AT1に対応する移動パラメーターを算出する。制御部140は、ステップS16で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部22及び左表示駆動部24にポインターPを表示させる処理を開始する(ステップS31)。   The operations in steps S11 to S16 are the same as those in the first and second embodiments. For example, when the input information acquisition unit 110 detects the operation AT1 from the operation position A11 to the operation position A12 in FIG. 10, the control unit 140 calculates a movement parameter corresponding to the operation AT1 in step S16. The control unit 140 starts generating input data according to the movement parameter set in step S16, and starts a process of displaying the pointer P on the right display driving unit 22 and the left display driving unit 24 based on the generated input data (step). S31).

ステップS31の後、制御部140が生成する入力データでは入力位置が移動し、画像表示部20が表示するポインターPの表示位置が移動する。ポインターPの表示位置が移動する間、制御部140は、トラックパッド14への接触の解除を監視する(ステップS32)。制御部140は、トラックパッド14への接触が解除されたことを検出すると(ステップS32;Yes)、入力データの生成を停止し、これによりポインターPの移動を停止させて(ステップS19)、本処理を終了する。   After step S31, the input position is moved in the input data generated by the control unit 140, and the display position of the pointer P displayed by the image display unit 20 is moved. While the display position of the pointer P moves, the control unit 140 monitors the release of contact with the track pad 14 (step S32). When the control unit 140 detects that the contact with the track pad 14 is released (step S32; Yes), the control unit 140 stops generating the input data, thereby stopping the movement of the pointer P (step S19). End the process.

一方、ポインターPの移動中、トラックパッド14への接触が解除されていないと判定した場合(ステップS32;No)、制御部140は、トラックパッド14における操作位置が移動したか否かを判定する(ステップS33)。ステップS33では、入力情報取得部110が検出する操作位置が、ステップS15で停止判定した位置から所定距離以上、動いたか否かを判定する。操作位置が移動していないと判定した場合(ステップS33;No)、制御部140はステップS32に戻る。   On the other hand, when it is determined that the contact with the track pad 14 is not released during the movement of the pointer P (step S32; No), the control unit 140 determines whether or not the operation position on the track pad 14 has moved. (Step S33). In step S33, it is determined whether or not the operation position detected by the input information acquisition unit 110 has moved a predetermined distance or more from the position determined to be stopped in step S15. When it determines with the operation position not moving (step S33; No), the control part 140 returns to step S32.

操作位置が移動したと判定した場合(ステップS33;Yes)、制御部140は、制御部140は、操作位置が停止するまで待機する(ステップS34)。この待機中、制御部140は、入力情報取得部110から入力される操作データに基づき操作位置の検出を継続して行う。操作位置が停止した場合(ステップS34;Yes)、制御部140は、ステップS33で検出した操作位置の移動に対応する入力データの移動パラメーターを算出して、移動パラメーターを更新する(ステップS35)。
制御部140は、ステップS31に戻り、更新した移動パラメーターを用いて入力データの生成を開始する。
When it determines with the operation position having moved (step S33; Yes), the control part 140 waits until the operation position stops (step S34). During this standby, the control unit 140 continues to detect the operation position based on the operation data input from the input information acquisition unit 110. When the operation position is stopped (step S34; Yes), the control unit 140 calculates the movement parameter of the input data corresponding to the movement of the operation position detected in step S33, and updates the movement parameter (step S35).
The control unit 140 returns to step S31 and starts generating input data using the updated movement parameter.

例えば、図10に示す操作AT1が行われ、操作体が操作位置A12で停止した後に、操作体が操作位置A13に移動する操作AT2が行われた場合、制御部140は、ステップS35で、操作AT2に対応する移動パラメーターを生成する。この場合、制御部140は、操作位置A12から操作位置A13への移動方向、移動速度、移動量の少なくともいずれかに基づいて、入力位置の移動方向及び/または移動速度を設定する。入力位置の移動量は、操作AT2が停止するまでの時間により決まる。ここで、制御部140は、入力位置の移動量を、操作AT2の移動速度或いは移動量に基づき算出してもよい。
このように、操作検出部183は、操作位置が第1の停止位置で停止し、その後に第2の停止位置に移動して停止した場合、第1の停止位置から第2の停止位置までの移動方向、移動速度、及び移動量の少なくともいずれかに基づき入力データを生成できる。第1の停止位置は、例えば、操作位置A11に相当し、第2の停止位置は操作位置A12、A13或いはA14に相当する。また、操作位置A12、A13、A14で停止した後に、操作位置がさらに別の位置に移動した場合、操作位置A12、A13、A14を第1の停止位置として動作してもよい。
For example, when the operation AT1 shown in FIG. 10 is performed and the operation body is stopped at the operation position A12 and then the operation AT2 is performed in which the operation body moves to the operation position A13, the control unit 140 performs the operation in step S35. A movement parameter corresponding to AT2 is generated. In this case, the control unit 140 sets the movement direction and / or movement speed of the input position based on at least one of the movement direction, movement speed, and movement amount from the operation position A12 to the operation position A13. The amount of movement of the input position is determined by the time until the operation AT2 stops. Here, the control unit 140 may calculate the movement amount of the input position based on the movement speed or movement amount of the operation AT2.
Thus, when the operation position stops at the first stop position and then moves to the second stop position and stops, the operation detection unit 183 moves from the first stop position to the second stop position. Input data can be generated based on at least one of the moving direction, moving speed, and moving amount. For example, the first stop position corresponds to the operation position A11, and the second stop position corresponds to the operation position A12, A13, or A14. Further, when the operation position moves to another position after stopping at the operation positions A12, A13, A14, the operation positions A12, A13, A14 may be operated as the first stop position.

第3の実施形態によれば、操作体が操作位置A12で停止した後に、操作位置A14に移動する操作AT3、或いは操作位置A15に移動する操作AT4等が行われた場合に、操作AT3、AT4に対応するように入力位置が移動する入力データが生成される。この入力データに基づきポインターPなどの表示オブジェクトを表示することにより、HMD100は、操作AT2、AT3、AT4を反映した方向、速度で、ポインターPの表示位置を移動できる。
さらには、ステップS33〜S35の処理を繰り返し実行することが可能であるため、例えば、操作AT2の後に、操作体が操作位置A13から他の位置に移動した場合に、この移動を反映してポインターPの表示位置を変化させることができる。この場合、操作位置が停止し、その後に移動する動作の回数を制限しない構成とすることも可能である。
According to the third embodiment, when the operation AT3 that moves to the operation position A14 or the operation AT4 that moves to the operation position A15 is performed after the operating body stops at the operation position A12, the operations AT3 and AT4 are performed. Input data whose input position moves so as to correspond to is generated. By displaying a display object such as the pointer P based on the input data, the HMD 100 can move the display position of the pointer P at a direction and speed reflecting the operations AT2, AT3, and AT4.
Furthermore, since the processes of steps S33 to S35 can be repeatedly executed, for example, when the operating body moves from the operation position A13 to another position after the operation AT2, the pointer reflects this movement. The display position of P can be changed. In this case, it is possible to adopt a configuration in which the operation position is stopped and the number of movements thereafter is not limited.

このように、HMD100は、使用者がトラックパッド14から操作体を接触させたままで、操作体が移動する方向を変化させる操作を行った場合に、操作体の移動の方向の変化に追従するように、ポインターPを移動させることができる。
また、ステップS15、S34において、入力情報取得部110が検出する操作位置が停止したと判定するための時間を短く設定すれば、使用者が意図的に操作体を静止させる時間が短くてもよい。ステップS15、S34で判定する時間は、少なくとも入力情報取得部110が操作位置の検出を複数回行えばよく、例えば、サンプリング周期の2回分に相当する時間まで短くしてもよい。
Thus, the HMD 100 follows the change in the direction of movement of the operating body when the user performs an operation to change the direction in which the operating body moves while the operating body is in contact with the track pad 14. In addition, the pointer P can be moved.
In addition, in steps S15 and S34, if the time for determining that the operation position detected by the input information acquisition unit 110 is stopped is set short, the time for the user to intentionally stop the operating tool may be short. . The time determined in steps S15 and S34 may be at least as long as the input information acquisition unit 110 detects the operation position a plurality of times. For example, the time may be shortened to a time corresponding to two sampling cycles.

[第4の実施形態]
図12は、本発明を適用した第4の実施形態に係るHMD100の動作を示すフローチャートである。第4の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Fourth Embodiment]
FIG. 12 is a flowchart showing the operation of the HMD 100 according to the fourth embodiment to which the present invention is applied. In the fourth embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

第4実施形態で、HMD100は、トラックパッド14に対する接触操作が短時間で解除された場合に、ポインターPの表示位置の移動量を規定量に設定し、これにより短時間の操作でポインターPの表示位置を移動できるようにする。   In the fourth embodiment, when the contact operation on the track pad 14 is released in a short time, the HMD 100 sets the movement amount of the display position of the pointer P to a specified amount, and thereby the pointer P can be moved in a short operation. Enable to move the display position.

図12においてステップS12〜S14の動作は、上述した第1〜第3実施形態と同様である。
制御部140は、トラックパッド14への操作がスライドジェスチャーであると判定した場合(ステップS13;Yes)、タイマーのカウントを開始する(ステップS41)。タイマーは、プログラムにより実現される制御部140の1つの機能として実現できる。制御部140は、操作位置が停止するまで待機する(ステップS15)。制御部140は、この待機中、制御部140は、入力情報取得部110から入力される操作データに基づき操作位置の検出を継続して行う。
In FIG. 12, the operations in steps S12 to S14 are the same as those in the first to third embodiments described above.
When it is determined that the operation on the track pad 14 is a slide gesture (step S13; Yes), the control unit 140 starts a timer count (step S41). The timer can be realized as one function of the control unit 140 realized by a program. The controller 140 waits until the operation position stops (step S15). During this standby, the control unit 140 continues to detect the operation position based on the operation data input from the input information acquisition unit 110.

操作位置が停止しない状態、すなわちスライドジェスチャーが継続する間(ステップS15;No)、制御部140は、トラックパッド14への接触の解除を監視する(ステップS42)。トラックパッド14への接触が解除されていないと判定した場合(ステップS42;No)、制御部140はステップS15に戻り操作位置の監視を行う。
ここで、制御部140は、トラックパッド14の接触操作が解除されたことを検出すると(ステップS42;Yes)、ステップS41で開始したカウントのカウント値が、予め設定された設定値以上であるか否かを判定する(ステップS43)。つまり、スライドジェスチャーが開始されてからトラックパッド14の接触が解除されるまでの時間のカウント値が、設定値以上であるか、設定値より小さいかを判定する。設定値は、例えば設定データ121に含めて記憶部120に記憶される。
While the operation position does not stop, that is, while the slide gesture continues (step S15; No), the control unit 140 monitors the release of contact with the track pad 14 (step S42). When it is determined that the contact with the track pad 14 is not released (step S42; No), the control unit 140 returns to step S15 and monitors the operation position.
Here, when the control unit 140 detects that the contact operation of the track pad 14 is released (step S42; Yes), is the count value of the count started in step S41 equal to or larger than a preset setting value? It is determined whether or not (step S43). That is, it is determined whether the count value of the time from the start of the slide gesture until the contact with the track pad 14 is released is greater than or equal to the set value. The setting value is included in the setting data 121 and stored in the storage unit 120, for example.

カウント値(タイマーカウンターの値)が設定値以上である場合(ステップS43;Yes)、制御部140は、スライドジェスチャーに対応する入力データの移動パラメーターを算出する(ステップS44)。ステップS44で算出される移動パラメーターは、例えば、後述するステップS16で算出される移動パラメーターと同様に、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップS44で算出し生成される移動パラメーターは、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、ステップS43で判定したカウント値に基づき算出される値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。移動パラメーターを算出した後、制御部140は後述するステップS48に移行する。制御部140は、ステップS44の処理の前または後に、ステップS41で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。   When the count value (timer counter value) is equal to or larger than the set value (step S43; Yes), the control unit 140 calculates a movement parameter of input data corresponding to the slide gesture (step S44). The movement parameter calculated in step S44 is, for example, data indicating the start position of the input position, the moving direction of the input position, and the moving speed of the input position, similarly to the movement parameter calculated in step S16 described later. Etc. may be included. It is desirable that the movement parameter calculated and generated in step S44 includes data indicating the movement amount. The data indicating the movement amount may be a preset default value of the movement amount, may be a value calculated based on the count value determined in step S43, or may be a movement of the operation position of the slide gesture. It may be a movement amount corresponding to the amount or movement speed. After calculating the movement parameter, the control unit 140 proceeds to step S48 described later. The control unit 140 may perform a process of stopping the count started in step S41 and resetting the count value before or after the process of step S44.

また、カウント値が設定値より小さい場合(ステップS43;No)、制御部140は、予め記憶部120に記憶する基準値(図示略)に基づき、入力データの移動パラメーターを算出する(ステップS45)。ステップS45で生成される移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよく、移動量を示すデータを含む。入力位置の移動の開始位置及び入力位置の移動方向の少なくともいずれかは、入力情報取得部110が検出したスライドジェスチャーの操作位置や操作位置の移動方向に基づき算出してもよい。入力位置の移動速度や移動量は、予め記憶部120に記憶される基準値に基づき設定すればよい。移動パラメーターを設定した後、制御部140は後述するステップS48に移行する。制御部140は、ステップS45の処理の前または後に、ステップS41で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。   When the count value is smaller than the set value (step S43; No), the control unit 140 calculates a movement parameter of input data based on a reference value (not shown) stored in advance in the storage unit 120 (step S45). . The movement parameter generated in step S45 may include, for example, data indicating the movement start position of the input position, the movement direction of the input position, and the movement speed of the input position, and includes data indicating the movement amount. At least one of the input position movement start position and the input position movement direction may be calculated based on the operation position of the slide gesture detected by the input information acquisition unit 110 or the movement direction of the operation position. The moving speed and moving amount of the input position may be set based on a reference value stored in advance in the storage unit 120. After setting the movement parameter, the control unit 140 proceeds to step S48 described later. The control unit 140 may perform a process of stopping the count started in step S41 and resetting the count value before or after the process of step S45.

また、操作位置が停止した場合(ステップS15;Yes)、制御部140は、スライドジェスチャーに対応する入力データを生成するため、入力データの移動パラメーターを算出する(ステップS16)。ステップS16で生成する入力データの移動パラメーターは、上述のように、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含む。入力位置の移動方向は、例えば、ステップS11〜S15で検出したスライドジェスチャーの移動方向と同じ方向に設定される。入力位置の移動速度は、例えば、スライドジェスチャーの移動量(操作量)に対応する速度、或いは、デフォルト値に設定される。   When the operation position is stopped (step S15; Yes), the control unit 140 calculates a movement parameter of the input data in order to generate input data corresponding to the slide gesture (step S16). As described above, the input data movement parameter generated in step S16 includes, for example, data indicating the input position movement start position, the input position movement direction, and the input position movement speed. The moving direction of the input position is set to the same direction as the moving direction of the slide gesture detected in steps S11 to S15, for example. The moving speed of the input position is set to, for example, a speed corresponding to the moving amount (operation amount) of the slide gesture or a default value.

制御部140は、ステップS16で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部22及び左表示駆動部24にポインターPを表示させる処理を開始する(ステップS17)。ステップS17の後、制御部140が生成する入力データでは入力位置が移動し、画像表示部20が表示するポインターPの表示位置が移動する。この後、制御部140は、入力データを所定周期(例えば、入力情報取得部110のサンプリング周期)で生成する処理を継続する。また、制御部140は、生成した入力データに基づきポインターPの表示位置を移動する処理を継続する。   The control unit 140 starts generating input data according to the movement parameter set in step S16, and starts a process of displaying the pointer P on the right display driving unit 22 and the left display driving unit 24 based on the generated input data (step). S17). After step S17, the input position moves in the input data generated by the control unit 140, and the display position of the pointer P displayed by the image display unit 20 moves. Thereafter, the control unit 140 continues the process of generating the input data at a predetermined cycle (for example, the sampling cycle of the input information acquisition unit 110). Further, the control unit 140 continues the process of moving the display position of the pointer P based on the generated input data.

ポインターPの表示位置が移動する間、制御部140は、トラックパッド14への接触の解除を監視する(ステップS18)。トラックパッド14への接触が解除されていないと判定した場合(ステップS18;No)、入力データの生成とポインターPの表示位置の移動を継続する。
制御部140は、トラックパッド14への接触が解除されたことを検出すると(ステップS18;Yes)、ステップS41で開始したカウントのカウント値が、予め設定された設定値以上であるか否かを判定する(ステップS46)。この設定値は、例えば、設定データ121に含めて記憶部120に記憶すればよく、ステップS43の設定値と共通の値であってもよい。
While the display position of the pointer P moves, the control unit 140 monitors the release of contact with the track pad 14 (step S18). If it is determined that the contact with the track pad 14 is not released (step S18; No), the generation of input data and the movement of the display position of the pointer P are continued.
When the control unit 140 detects that the contact with the track pad 14 is released (step S18; Yes), it is determined whether or not the count value of the count started in step S41 is greater than or equal to a preset set value. Determination is made (step S46). This setting value may be included in the setting data 121 and stored in the storage unit 120, for example, or may be a value common to the setting value in step S43.

カウント値(タイマーカウンターの値)が設定値以上である場合(ステップS46;Yes)、制御部140は、入力データの生成を停止し、これによりポインターPの移動を停止させて(ステップS19)、本処理を終了する。制御部140は、ステップS19の処理の前または後に、ステップS41で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。   When the count value (timer counter value) is equal to or greater than the set value (step S46; Yes), the control unit 140 stops generating the input data, thereby stopping the movement of the pointer P (step S19). This process ends. The control unit 140 may perform a process of stopping the count started in step S41 and resetting the count value before or after the process of step S19.

また、カウント値が設定値より小さい場合(ステップS46;No)、制御部140は、予め記憶部120に記憶する基準値(図示略)に基づき、入力データの移動パラメーターを算出する(ステップS47)。ステップS47で、制御部140は、ステップS45と同様に、予め記憶部120に記憶される基準値に基づき移動パラメーターを設定し、ステップS16で算出した移動パラメーターを更新する。制御部140は、ステップS47の処理の前または後に、ステップS41で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。   When the count value is smaller than the set value (step S46; No), the control unit 140 calculates a movement parameter of input data based on a reference value (not shown) stored in advance in the storage unit 120 (step S47). . In step S47, similarly to step S45, the control unit 140 sets a movement parameter based on a reference value stored in advance in the storage unit 120, and updates the movement parameter calculated in step S16. The control unit 140 may perform a process of stopping the count started in step S41 and resetting the count value before or after the process of step S47.

制御部140は、移動パラメーターに従って入力データを生成する処理を実行し、これによりポインターPの表示位置が移動する(ステップS48)。制御部140は、入力データを生成する処理を、移動パラメーターに含まれる移動量に相当する分だけ実行してから、入力データの生成を停止して本処理を終了する。   The control unit 140 executes processing for generating input data according to the movement parameter, and thereby the display position of the pointer P is moved (step S48). The control unit 140 executes the process of generating the input data by an amount corresponding to the movement amount included in the movement parameter, stops the generation of the input data, and ends this process.

第4の実施形態によれば、操作体がトラックパッド14に接触する時間が短い場合に、予め設定された移動量でポインターPを移動させることが可能となる。このため、使用者が、トラックパッド14に対して操作体を短時間、接触させる操作を行うことで、ポインターPを移動させることができる。従って、トラックパッド14に操作体を接触させる状態を維持する操作に加え、トラックパッド14に短時間接触する操作により、画像表示部20の表示を制御でき、操作性の向上を図ることができる。   According to the fourth embodiment, it is possible to move the pointer P by a preset amount of movement when the operating body is in contact with the track pad 14 for a short time. For this reason, the user can move the pointer P by performing an operation of bringing the operating body into contact with the track pad 14 for a short time. Therefore, the display of the image display unit 20 can be controlled by the operation of touching the track pad 14 for a short time in addition to the operation of maintaining the state in which the operating body is in contact with the track pad 14, and the operability can be improved.

[第5の実施形態]
図13は、本発明を適用した第5の実施形態に係るHMD100の動作を示すフローチャートである。図14は、本発明を適用した第5の実施形態に係るHMD100の動作を示すフローチャートである。第5の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Fifth Embodiment]
FIG. 13 is a flowchart showing the operation of the HMD 100 according to the fifth embodiment to which the present invention is applied. FIG. 14 is a flowchart showing the operation of the HMD 100 according to the fifth embodiment to which the present invention is applied. In the fifth embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

第5の実施形態で、HMD100は、トラックパッド14に対する接触操作に応じてポインターPの表示位置を移動させる処理において、接触操作が解除された後、所定時間内に再び接触操作がされた場合に、これらの接触操作を連続する操作として処理する。   In the fifth embodiment, the HMD 100 moves the display position of the pointer P in accordance with the contact operation on the track pad 14 when the contact operation is performed again within a predetermined time after the contact operation is released. These contact operations are processed as continuous operations.

図13に示すステップS11〜S18の動作は、上述した第1〜第3実施形態と同様である。第5の実施形態において、制御部140は、トラックパッド14の操作位置が停止しない状態、すなわちスライドジェスチャーが継続する間(ステップS15;No)、トラックパッド14への接触の解除を監視する(ステップS61)。トラックパッド14への接触が解除されていないと判定した場合(ステップS61;No)、制御部140はステップS15に戻り、操作位置の監視を行う。   The operations in steps S11 to S18 shown in FIG. 13 are the same as those in the first to third embodiments described above. In the fifth embodiment, the control unit 140 monitors the release of contact with the track pad 14 while the operation position of the track pad 14 is not stopped, that is, while the slide gesture continues (step S15; No). S61). If it is determined that the contact with the track pad 14 is not released (step S61; No), the control unit 140 returns to step S15 and monitors the operation position.

制御部140は、トラックパッド14の接触操作が解除されたことを検出すると(ステップS61;Yes)、スライドジェスチャーに対応する入力データの移動パラメーターを算出する(ステップS62)。ステップS62で算出される移動パラメーターは、例えば、後述するステップS16で算出される移動パラメーターと同様に、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップS62で算出し生成される移動パラメーターは、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。   When the control unit 140 detects that the contact operation on the track pad 14 has been released (step S61; Yes), the control unit 140 calculates the movement parameter of the input data corresponding to the slide gesture (step S62). The movement parameter calculated in step S62 is, for example, data indicating the start position of the movement of the input position, the movement direction of the input position, and the movement speed of the input position, similarly to the movement parameter calculated in step S16 described later. Etc. may be included. It is desirable that the movement parameter calculated and generated in step S62 includes data indicating the movement amount. The data indicating the movement amount may be a preset default value of the movement amount, or may be a movement amount corresponding to the movement amount or movement speed of the operation position of the slide gesture.

移動パラメーターを算出した後、制御部140は、移動パラメーターに従って入力データを生成する処理を実行し、これによりポインターPの表示位置が移動する(ステップS63)。制御部140は、入力データを生成する処理を、移動パラメーターに含まれる移動量に相当する分だけ実行する。   After calculating the movement parameter, the control unit 140 executes a process of generating input data according to the movement parameter, thereby moving the display position of the pointer P (step S63). The control unit 140 executes processing for generating input data by an amount corresponding to the movement amount included in the movement parameter.

入力データの生成を開始した後、制御部140は、タイマーのカウントを開始する(ステップS64)。タイマーは、プログラムにより実現される制御部140の1つの機能として実現できる。制御部140は、トラックパッド14に対する新たな接触を監視し(ステップS65)、トラックパッド14の接触が検出されない間(ステップS65;No)、タイマーのカウント値が設定値以上であるか否かを判定する(ステップS66)。ここで、カウント値が、予め設定された設定値以上である場合(ステップS66;Yes)、制御部140は、移動パラメーターの移動量に対応する分の入力データの生成を行った後、本処理を終了する。   After starting the generation of input data, the control unit 140 starts a timer count (step S64). The timer can be realized as one function of the control unit 140 realized by a program. The control unit 140 monitors a new contact with the track pad 14 (step S65), and determines whether or not the count value of the timer is equal to or larger than the set value while the contact with the track pad 14 is not detected (step S65; No). Determination is made (step S66). Here, when the count value is equal to or larger than the preset setting value (step S66; Yes), the control unit 140 generates the input data corresponding to the movement amount of the movement parameter, and then performs this processing. Exit.

タイマーのカウント値が設定値に達しない場合(ステップS66;No)、制御部140はステップS65に戻ってトラックパッド14への接触を監視する。
トラックパッド14に対する接触が検出された場合(ステップS65;Yes)、制御部140は、後述するステップS71(図13)に移行する。
When the count value of the timer does not reach the set value (step S66; No), the control unit 140 returns to step S65 and monitors the contact with the track pad 14.
When contact with the track pad 14 is detected (step S65; Yes), the control unit 140 proceeds to step S71 (FIG. 13) described later.

また、制御部140は、ステップS18においてトラックパッド14への接触が解除されたことを検出すると(ステップS18;Yes)、タイマーのカウントを開始する(ステップS51)。制御部140は、トラックパッド14に対する新たな接触を監視し(ステップS52)、トラックパッド14の接触が検出されない間(ステップS52;No)、タイマーのカウント値が設定値以上であるか否かを判定する(ステップS53)。ここで、カウント値が、予め設定された設定値以上である場合(ステップS53;Yes)、制御部140は、移動パラメーターの生成を停止し、これによりポインターPの移動を停止させて(ステップS19)、本処理を終了する。   Further, when the control unit 140 detects that the contact with the track pad 14 is released in step S18 (step S18; Yes), the control unit 140 starts counting of the timer (step S51). The control unit 140 monitors a new contact with the track pad 14 (step S52), and determines whether or not the count value of the timer is equal to or greater than the set value while no contact with the track pad 14 is detected (step S52; No). Determination is made (step S53). Here, when the count value is equal to or greater than the preset set value (step S53; Yes), the control unit 140 stops generating the movement parameter, and thereby stops the movement of the pointer P (step S19). ), This process is terminated.

また、タイマーのカウント値が設定値に達しない場合(ステップS53;No)、制御部140はステップS52に戻ってトラックパッド14への接触を監視する。トラックパッド14に対する接触が検出された場合(ステップS52;Yes)、制御部140は、ステップS71(図13)に移行する。   If the count value of the timer does not reach the set value (step S53; No), the control unit 140 returns to step S52 and monitors contact with the track pad 14. When contact with the track pad 14 is detected (step S52; Yes), the control unit 140 proceeds to step S71 (FIG. 13).

ステップS71以後は、使用者がトラックパッド14に操作体を接触させる操作を行い、接触を解除した後の所定時間内に、再び操作体をトラックパッド14に接触させた場合に対応する動作である。
制御部140は、ステップS52またはS65で検出したトラックパッド14の接触位置すなわち操作位置が停止したか否かを監視する(ステップS71)。操作位置が停止しない間(ステップS71;No)、制御部140は、トラックパッド14への接触の解除を監視する(ステップS72)。トラックパッド14への接触が解除されていないと判定した場合(ステップS72;No)、制御部140はステップS71に戻り操作位置の監視を行う。
Steps S71 and after are operations corresponding to the case where the user performs an operation of bringing the operating body into contact with the track pad 14 and again brings the operating body into contact with the track pad 14 within a predetermined time after releasing the contact. .
The control unit 140 monitors whether or not the contact position of the track pad 14 detected in step S52 or S65, that is, the operation position is stopped (step S71). While the operation position does not stop (step S71; No), the control unit 140 monitors the release of contact with the track pad 14 (step S72). When it is determined that the contact with the track pad 14 has not been released (step S72; No), the control unit 140 returns to step S71 and monitors the operation position.

操作位置が停止したことを検出した場合(ステップS71;Yes)、制御部140は、操作に対応する入力データの移動パラメーターを算出し、移動パラメーターを更新する(ステップS72)。ステップS72で算出される移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。ステップS72で移動パラメーターを更新した後、制御部140は、更新後の移動パラメーターに基づき入力データを生成する処理を開始する。   When it is detected that the operation position is stopped (step S71; Yes), the control unit 140 calculates the movement parameter of the input data corresponding to the operation and updates the movement parameter (step S72). The movement parameter calculated in step S72 may include, for example, data indicating the start position of the input position, the movement direction of the input position, and the movement speed of the input position. After updating the movement parameter in step S72, the control unit 140 starts a process of generating input data based on the updated movement parameter.

制御部140は、入力データを生成する処理の実行中、トラックパッド14への接触の解除を監視する(ステップS75)。トラックパッド14への接触が解除されていないと判定した場合(ステップS75;No)、入力データの生成を継続し、ステップS75の監視を継続する。制御部140は、トラックパッド14への接触が解除されたことを検出すると(ステップS75;Yes)、タイマーのカウントを開始する(ステップS74)。   The controller 140 monitors the release of contact with the track pad 14 during the process of generating input data (step S75). When it is determined that the contact with the track pad 14 is not released (step S75; No), the generation of input data is continued, and the monitoring in step S75 is continued. When detecting that the contact with the track pad 14 has been released (step S75; Yes), the control unit 140 starts counting the timer (step S74).

制御部140は、トラックパッド14に対する新たな接触を監視し(ステップS75)、トラックパッド14の接触が検出されない間(ステップS75;No)、タイマーのカウント値が設定値以上であるか否かを判定する(ステップS76)。ここで、カウント値が、予め設定された設定値以上である場合(ステップS76;Yes)、制御部140は、ステップS54に移行して移動パラメーターの生成を停止し、これによりポインターPの移動を停止させて(ステップS54)、本処理を終了する。制御部140は、ステップS76の処理の後に、ステップS74で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。
タイマーのカウント値が設定値に達しない場合(ステップS76;No)、制御部140はステップS75に戻ってトラックパッド14への接触を監視する。
The control unit 140 monitors a new contact with the track pad 14 (step S75), and determines whether the count value of the timer is equal to or greater than the set value while the contact with the track pad 14 is not detected (step S75; No). Determination is made (step S76). Here, when the count value is equal to or larger than the preset set value (step S76; Yes), the control unit 140 proceeds to step S54 and stops generating the movement parameter, and thereby moves the pointer P. It stops (step S54), and this process is complete | finished. The control unit 140 may perform a process of stopping the count started in step S74 and resetting the count value after the process of step S76.
When the count value of the timer does not reach the set value (step S76; No), the control unit 140 returns to step S75 and monitors the contact with the track pad 14.

また、ステップS71において、操作位置が停止していない場合、すなわち操作位置が移動を続けている間(ステップS71;No)、制御部140は、トラックパッド14への接触の解除を監視する(ステップS77)。トラックパッド14への接触が解除されていないと判定した場合(ステップS77;No)、入力データの生成を継続し、ステップS77の監視を継続する。   In Step S71, when the operation position is not stopped, that is, while the operation position continues to move (Step S71; No), the control unit 140 monitors the release of the contact with the track pad 14 (Step S71). S77). When it is determined that the contact with the track pad 14 is not released (step S77; No), the generation of input data is continued, and the monitoring in step S77 is continued.

制御部140は、トラックパッド14への接触が解除されたことを検出すると(ステップS77;Yes)、制御部140は、スライドジェスチャーに対応する入力データの移動パラメーターを算出する(ステップS78)。ステップS78で算出される移動パラメーターは、例えば、ステップS62で算出される移動パラメーターと同様である。すなわち、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよく、移動量を示すデータを含むことが望ましい。移動量を示すデータは、予め設定された移動量のデフォルト値であってもよいし、スライドジェスチャーの操作位置の移動量や移動速度に対応する移動量であってもよい。制御部140は、ステップS78で、算出した移動パラメーターにより、移動パラメーターを更新する。   When the control unit 140 detects that the contact with the track pad 14 is released (step S77; Yes), the control unit 140 calculates the movement parameter of the input data corresponding to the slide gesture (step S78). The movement parameter calculated in step S78 is the same as the movement parameter calculated in step S62, for example. That is, it may include data indicating the start position of the input position, the moving direction of the input position, and the moving speed of the input position, and preferably includes data indicating the amount of movement. The data indicating the movement amount may be a preset default value of the movement amount, or may be a movement amount corresponding to the movement amount or movement speed of the operation position of the slide gesture. In step S78, the control unit 140 updates the movement parameter with the calculated movement parameter.

制御部140は、更新後の移動パラメーターに基づき入力データを生成する処理を開始し、これによりポインターPの表示位置が移動する(ステップS79)。制御部140は、入力データの生成を開始した後、タイマーのカウントを開始する(ステップS80)。ステップS80で、制御部140は、ステップS77で接触の解除を検出してからの経過時間をカウントする。従って、ステップS80の処理は、ステップS78またはS79の前に実行してもよい。   The control unit 140 starts processing for generating input data based on the updated movement parameter, and thereby the display position of the pointer P moves (step S79). The control unit 140 starts counting the timer after starting the generation of input data (step S80). In step S80, the control unit 140 counts an elapsed time after detecting the release of contact in step S77. Therefore, the process of step S80 may be executed before step S78 or S79.

制御部140は、トラックパッド14に対する新たな接触を監視し(ステップS81)、トラックパッド14の接触が検出されない間(ステップS81;No)、タイマーのカウント値が設定値以上であるか否かを判定する(ステップS82)。ここで、カウント値が、予め設定された設定値以上である場合(ステップS82;Yes)、制御部140は、移動パラメーターの移動量に対応する分の入力データの生成を行った後、本処理を終了する。タイマーのカウント値が設定値に達しない場合(ステップS82;No)、制御部140はステップS81に戻ってトラックパッド14への接触を監視する。
トラックパッド14に対する接触が検出された場合(ステップS81;Yes)、制御部140は、ステップS71(図13)に戻る。トラックパッド14に対する接触が検出された場合(ステップS81;Yes)、制御部140は、ステップS80で開始したカウントを停止してカウント値をリセットする処理を行ってもよい。
The control unit 140 monitors a new contact with the track pad 14 (step S81), and determines whether or not the count value of the timer is equal to or greater than the set value while the contact with the track pad 14 is not detected (step S81; No). Determination is made (step S82). Here, when the count value is equal to or larger than the preset setting value (step S82; Yes), the control unit 140 generates the input data corresponding to the movement amount of the movement parameter, and then performs this processing. Exit. When the count value of the timer does not reach the set value (step S82; No), the control unit 140 returns to step S81 and monitors contact with the track pad 14.
When contact with the track pad 14 is detected (step S81; Yes), the control unit 140 returns to step S71 (FIG. 13). When contact with the track pad 14 is detected (step S81; Yes), the control unit 140 may perform a process of stopping the count started in step S80 and resetting the count value.

第5の実施形態では、制御部140は、トラックパッド14から操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、操作が終了したとみなす終了条件に該当すると判定して、操作が解除された場合の動作を実行する。例えば、制御部140は、入力データの生成を停止する。
従って、トラックパッド14から操作体が離れた後であってもポインターPの表示位置の移動を継続できる。このため、トラックパッド14において操作位置が移動する量よりも大きく、ポインターPの表示位置を移動させることができ、トラックパッド14の大きさの制約を回避できる。
In the fifth embodiment, the control unit 140 corresponds to an end condition that the operation is considered to have ended when a predetermined time has elapsed since it was detected that the operating body has moved away from the track pad 14 and contact has been released. Then, it is determined that the operation when the operation is released is executed. For example, the control unit 140 stops generating input data.
Therefore, the movement of the display position of the pointer P can be continued even after the operating body is separated from the track pad 14. Therefore, the display position of the pointer P can be moved larger than the amount by which the operation position moves on the track pad 14, and the restriction on the size of the track pad 14 can be avoided.

また、制御部140は、操作検出部がトラックパッド14から操作体が離れて接触が解除されたことを検出してから所定時間以内に、トラックパッド14に対する接触を検出した場合に、新たな接触の操作位置に対応して、移動パラメーターを更新する。この移動パラメーターの更新により、ポインターPの表示位置の移動方向及び移動速度の少なくともいずれかが変化する。従って、トラックパッド14から操作体が離れた後であっても、使用者は、再び操作体をトラックパッド14に接触させる操作を行えば、ポインターPの表示位置の移動を制御できる。このため、ポインターPの表示位置の移動の態様を、高い自由度で制御できる。例えば、制御部140は、所定時間内に再び操作体がトラックパッド14に接触する操作が行われた場合に、操作体がトラックパッド14から離れる状態を挟んで行われる複数の操作を、一連の操作として検出できる。   In addition, when the control unit 140 detects contact with the track pad 14 within a predetermined time after the operation detection unit detects that the operating body has moved away from the track pad 14 and released the contact, a new contact is made. The movement parameter is updated according to the operation position. By updating the movement parameter, at least one of the movement direction and the movement speed of the display position of the pointer P changes. Accordingly, even after the operating tool is separated from the track pad 14, the user can control the movement of the display position of the pointer P by performing an operation of bringing the operating tool into contact with the track pad 14 again. For this reason, the mode of movement of the display position of the pointer P can be controlled with a high degree of freedom. For example, the control unit 140 performs a series of operations that are performed across the state in which the operation body is separated from the track pad 14 when the operation body is again in contact with the track pad 14 within a predetermined time. It can be detected as an operation.

さらには、制御部140が、トラックパッド14への接触が解除された後、タイマーのカウント値が設定値に達するまでの間に接触を監視する動作は、繰り返し実行することが可能である。   Furthermore, the operation in which the control unit 140 monitors the contact until the count value of the timer reaches the set value after the contact with the track pad 14 is released can be repeatedly executed.

図15は、第5の実施形態におけるトラックパッド14に対する操作の例を示す説明図である。図15の例は、トラックパッド14において2回の操作AT11、AT12が行われた例を示す。詳細には、操作体を操作位置A21から操作位置A22に動かす操作AT11が実行された後、操作体がトラックパッド14から離れ、その後、操作体が操作位置A23でトラックパッド14に接触して、操作位置A24まで移動された例である。
ここで、操作体が操作位置A22でトラックパッド14から離れ、その後に操作位置A23でトラックパッド14に接触するまでの時間が、所定時間より短いと仮定する。所定時間は、制御部140がカウントするタイマーのカウント値について設定される設定値(ステップS53、S66、S76、S88)に相当する。
FIG. 15 is an explanatory diagram illustrating an example of an operation on the track pad 14 according to the fifth embodiment. The example of FIG. 15 shows an example in which two operations AT11 and AT12 are performed on the track pad 14. Specifically, after the operation AT11 for moving the operating body from the operating position A21 to the operating position A22 is executed, the operating body leaves the track pad 14, and then the operating body contacts the track pad 14 at the operating position A23. This is an example of moving to the operation position A24.
Here, it is assumed that the time until the operating body leaves the track pad 14 at the operation position A22 and then contacts the track pad 14 at the operation position A23 is shorter than a predetermined time. The predetermined time corresponds to a set value (steps S53, S66, S76, S88) set for the count value of the timer counted by the control unit 140.

この場合、制御部140は、操作AT11に基づく移動パラメーターを生成して、入力データを生成する処理を実行する。このため、ポインターPの表示位置は、図示はしないが、操作AT11を反映した移動方向、或いは移動速度で移動する。
制御部140は、操作AT12を検出した場合、操作AT12に対応して移動パラメーターを生成し、更新する。ここで、制御部140は、操作AT12の開始位置である操作位置A22の位置、終了位置である操作位置A23の位置、操作AT12の操作位置の移動方向、操作位置の移動速度、接触時間等に対応して移動パラメーターを更新できる。
In this case, the control unit 140 generates a movement parameter based on the operation AT11 and executes processing for generating input data. For this reason, although not shown, the display position of the pointer P moves in a moving direction or a moving speed reflecting the operation AT11.
When detecting the operation AT12, the control unit 140 generates and updates a movement parameter corresponding to the operation AT12. Here, the control unit 140 determines the position of the operation position A22 that is the start position of the operation AT12, the position of the operation position A23 that is the end position, the movement direction of the operation position of the operation AT12, the movement speed of the operation position, the contact time, and the like. Corresponding movement parameters can be updated.

また、制御部140は、操作AT11と操作AT12を合成した結果に基づき、移動パラメーターを生成して更新してもよい。具体的には、制御部140は、操作AT11について、操作位置の移動方向と移動量とを示すベクトルを生成する。制御部140は、操作AT12を検出した場合に、操作AT12について操作位置の移動方向と移動量とを示すベクトルを生成する。制御部140は、操作AT11のベクトルと、操作AT12のベクトルとを合成して合成ベクトルを生成する。制御部140は、合成ベクトルに対応する移動パラメーターを生成してもよい。この場合、操作AT11と操作AT12とを、1つの操作として、この操作に対応して入力データを生成できる。この場合、入力データに基づきポインターPの表示位置を移動させる処理で、使用者の操作に応じて、ポインターPの移動方向、移動速度等を、ゆるやかに変化させることができる。   Further, the control unit 140 may generate and update the movement parameter based on the result of combining the operation AT11 and the operation AT12. Specifically, the control unit 140 generates a vector indicating the movement direction and the movement amount of the operation position for the operation AT11. When detecting the operation AT12, the control unit 140 generates a vector indicating the movement direction and the movement amount of the operation position for the operation AT12. The control unit 140 combines the vector of the operation AT11 and the vector of the operation AT12 to generate a combined vector. The control unit 140 may generate a movement parameter corresponding to the composite vector. In this case, the operation AT11 and the operation AT12 are regarded as one operation, and input data can be generated corresponding to this operation. In this case, in the process of moving the display position of the pointer P based on the input data, the moving direction, moving speed, etc. of the pointer P can be gently changed according to the user's operation.

さらにまた、制御部140は、操作AT11に対応して入力データを生成した後で、操作AT12に対応して入力データを生成してもよい。すなわち、操作AT11に対応する移動パラメーターを生成し、この移動パラメーターに従って入力データを生成する処理を行い、その後に、操作AT12に対応して移動パラメーターを更新してもよい。つまり、制御部140は、複数の操作が、所定時間内の非操作期間を挟んで行われた場合に、これら複数の操作を累積して反映するように、入力データを生成できる。この場合、操作AT11、AT12を順に反映して、ポインターPの表示位置を移動させることができる。   Furthermore, the control unit 140 may generate input data corresponding to the operation AT12 after generating input data corresponding to the operation AT11. That is, a movement parameter corresponding to the operation AT11 may be generated, input data may be generated according to the movement parameter, and then the movement parameter may be updated corresponding to the operation AT12. That is, the control unit 140 can generate input data so that a plurality of operations are accumulated and reflected when a plurality of operations are performed across a non-operation period within a predetermined time. In this case, the display position of the pointer P can be moved by reflecting the operations AT11 and AT12 in order.

また、操作位置A22で操作体がトラックパッド14から離れた後も、制御部140は入力データの生成を継続するので、ポインターPの表示位置は移動を続ける。このため、使用者が操作体をトラックパッド14から離してしまった後もポインターPを移動させることができる。さらに、所定時間内にトラックパッド14に接触する操作を行えば、ポインターPを停止させずに表示位置を移動させることができる。   Further, even after the operating tool leaves the track pad 14 at the operation position A22, the control unit 140 continues to generate input data, so the display position of the pointer P continues to move. For this reason, the pointer P can be moved even after the user moves the operating tool away from the track pad 14. Furthermore, if an operation of contacting the track pad 14 is performed within a predetermined time, the display position can be moved without stopping the pointer P.

また、上記の各種動作を実行する場合において、トラックパッド14に操作体が接触していない状態であって入力データが生成されている状態で、操作により入力データの生成を停止させてもよい。制御部140が、トラックパッド14の接触が解除されたことを検出してから所定時間内は、入力データが生成されポインターPが移動する。このポインターPの移動中に、例えばトラックパッド14をタップする(叩く)操作が行われた場合に、制御部140は、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。また、例えば、制御部140は、ポインターPの移動中に、制御装置10を動かす操作を3軸センサー113により検出した場合に、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。また、例えば、制御部140は、9軸センサー66によって、画像表示部20を叩く操作や画像表示部20を所定方向に動かす動作を検出した場合に、経過時間にかかわらず入力データの生成を停止あるいは中断してもよい。   Further, when performing the various operations described above, the generation of input data may be stopped by an operation in a state where the operating body is not in contact with the track pad 14 and the input data is generated. The input data is generated and the pointer P moves within a predetermined time after the control unit 140 detects that the contact with the track pad 14 is released. For example, when an operation of tapping (hitting) the track pad 14 is performed while the pointer P is moving, the control unit 140 may stop or interrupt the generation of input data regardless of the elapsed time. Further, for example, when the operation of moving the control device 10 is detected by the three-axis sensor 113 while the pointer P is moving, the control unit 140 may stop or interrupt the generation of input data regardless of the elapsed time. . For example, when the control unit 140 detects an operation of tapping the image display unit 20 or an operation of moving the image display unit 20 in a predetermined direction by the 9-axis sensor 66, the control unit 140 stops generating input data regardless of the elapsed time. Or you may interrupt.

第5の実施形態において、操作体がトラックパッド14から離れた後、所定時間内に検出された操作が、それ以前の操作に対し所定の条件を満たす場合に、制御部140は、予め設定された処理を実行する構成としてもよい。所定の条件とは、例えば、操作体がトラックパッド14から離れてから所定時間内に検出された操作における操作位置の移動方向が、それ以前の操作に対し逆方向である場合である。制御部140が実行する処理は、例えば、移動パラメーターにおいて入力位置の移動速度を減速する処理である。また、所定の条件は、3軸センサー113により制御装置10を動かす操作を検出することであってもよい。また、この場合に検出する制御装置10の動きについて特定の方向を設定してもよい。この場合、制御部140は、制御装置10の動き、或いは動きの方向に応じて、例えば、移動パラメーターにおいて入力位置の移動速度を加速、或いは減速する処理を実行してもよい。また、例えば、移動パラメーターにおいて入力位置の移動方向を、制御装置10の動きの方向に対応して変更する処理を実行してもよい。   In the fifth embodiment, when an operation detected within a predetermined time after the operating body leaves the track pad 14 satisfies a predetermined condition with respect to the previous operation, the control unit 140 is set in advance. It is good also as a structure which performs the process which carried out. The predetermined condition is, for example, a case where the moving direction of the operation position in the operation detected within a predetermined time after the operating body leaves the track pad 14 is opposite to the previous operation. The process executed by the control unit 140 is, for example, a process of reducing the moving speed of the input position in the moving parameter. The predetermined condition may be detecting an operation of moving the control device 10 by the three-axis sensor 113. Moreover, you may set a specific direction about the motion of the control apparatus 10 detected in this case. In this case, the control unit 140 may execute a process of accelerating or decelerating the moving speed of the input position in the moving parameter, for example, according to the movement of the control device 10 or the direction of the movement. Further, for example, a process of changing the movement direction of the input position in the movement parameter in accordance with the movement direction of the control device 10 may be executed.

[第6の実施形態]
図16は、本発明を適用した第6の実施形態におけるトラックパッド14における操作領域の設定状態を示す図であり、図17は、HMD100の動作を示すフローチャートである。本第6の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Sixth Embodiment]
FIG. 16 is a diagram showing a setting state of the operation area on the track pad 14 in the sixth embodiment to which the present invention is applied, and FIG. 17 is a flowchart showing the operation of the HMD 100. In the sixth embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

図16に示すように、第6の実施形態では、トラックパッド14に複数の操作領域Cが設定される。操作領域Cは、トラックパッド14における座標により指定され、それぞれの操作領域Cと他の領域との境界の座標が、例えば設定データ121に設置される。   As shown in FIG. 16, in the sixth embodiment, a plurality of operation areas C are set on the track pad 14. The operation area C is designated by coordinates on the track pad 14, and the coordinates of the boundary between each operation area C and another area are set in the setting data 121, for example.

操作領域C1は、第1及び第2実施形態で説明したように、トラックパッド14の操作位置が移動しない間もポインターPを移動させる制御の対象となる領域である。これに対し、操作領域C1以外の領域、すなわち操作領域C2は、表示可能領域DにおけるポインターPの表示位置が、トラックパッド14の操作位置に対応するように制御する領域である。   As described in the first and second embodiments, the operation area C1 is an area to be controlled so that the pointer P is moved even when the operation position of the track pad 14 does not move. On the other hand, the area other than the operation area C1, that is, the operation area C2, is an area that is controlled so that the display position of the pointer P in the displayable area D corresponds to the operation position of the track pad 14.

制御部140は、操作領域C1においてスライドジェスチャーが行われた場合に、第1の実施形態で説明した処理を実行する。また、操作領域C2では、スライドジェスチャーが行われても、トラックパッド14の操作位置に対応する位置にポインターPを移動させる、通常処理を実行する。この動作を図17に示す。   The control unit 140 executes the process described in the first embodiment when a slide gesture is performed in the operation area C1. Further, in the operation area C2, even when a slide gesture is performed, a normal process for moving the pointer P to a position corresponding to the operation position of the track pad 14 is executed. This operation is shown in FIG.

図17に示す動作のステップS11〜S19は、上記第1の実施形態と同様である。
本第6の実施形態において、HMD100の制御部140は、トラックパッド14への操作がスライドジェスチャーであると判定した場合(ステップS13;Yes)、操作位置の座標を判定する(ステップS91)。ステップS31では、例えば、トラックパッド14の操作位置の座標と設定データ121に設定された座標とを比較して、操作位置が操作領域C1に含まれるか否かを判定する。
Steps S11 to S19 of the operation shown in FIG. 17 are the same as those in the first embodiment.
In the sixth embodiment, when it is determined that the operation on the track pad 14 is a slide gesture (step S13; Yes), the control unit 140 of the HMD 100 determines the coordinates of the operation position (step S91). In step S31, for example, the coordinates of the operation position of the track pad 14 are compared with the coordinates set in the setting data 121 to determine whether or not the operation position is included in the operation area C1.

制御部140は、ステップS31の判定結果に基づき、通常処理を行うか否かを判定する(ステップS32)。通常処理を行う場合(ステップS92;No)、ステップS14に移行して、トラックパッド14上の操作位置に対応する表示可能領域Dの表示位置に、ポインターPを移動させ(ステップS14)、本処理を終了する。
また、通常処理を行わない場合(ステップS92;No)、制御部140はステップS15に移行する。
The control unit 140 determines whether or not to perform normal processing based on the determination result of step S31 (step S32). When the normal process is performed (step S92; No), the process proceeds to step S14, and the pointer P is moved to the display position of the displayable area D corresponding to the operation position on the track pad 14 (step S14). Exit.
Moreover, when not performing a normal process (step S92; No), the control part 140 transfers to step S15.

第6の実施形態の動作によれば、トラックパッド14の実際の操作位置の移動量より大きくポインターPを移動させる処理を、トラックパッド14における特定の領域に限定して行うことができる。トラックパッド14において、上記処理の対象とする領域は、図16に例示した操作領域C1のような形状、サイズに限定されない。例えば、トラックパッド14を上下または左右に複数に分割して、いずれかの領域を、操作領域C1と同様の領域としてもよい。トラックパッド14の形状が、X方向やY方向に長い形状である場合や、比較的広い面積のトラックパッド14を実装可能な場合に、ポインターPの不要な移動を回避できる点で有用である。   According to the operation of the sixth embodiment, the process of moving the pointer P larger than the movement amount of the actual operation position of the track pad 14 can be limited to a specific area in the track pad 14. In the track pad 14, the area to be processed is not limited to the shape and size as in the operation area C1 illustrated in FIG. For example, the track pad 14 may be divided into a plurality of parts in the vertical and horizontal directions, and one of the areas may be the same area as the operation area C1. This is useful in that unnecessary movement of the pointer P can be avoided when the shape of the track pad 14 is long in the X and Y directions, or when the track pad 14 having a relatively large area can be mounted.

[第7の実施形態]
図18は、本発明を適用した第7の実施形態におけるHMD100の動作を示すフローチャートである。本第7の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Seventh Embodiment]
FIG. 18 is a flowchart showing the operation of the HMD 100 in the seventh embodiment to which the present invention is applied. In the seventh embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

図18に示す動作のステップS11〜S19は、上記第1の実施形態と同様である。
本第7の実施形態において、HMD100の制御部140は、トラックパッド14におけるスライドジェスチャーのうち、特定の方向に操作位置が移動する操作に対して、第1の実施形態で説明した処理を実行する。また、スライドジェスチャーが行われても、操作位置の移動方向が、設定された方向でない場合は、トラックパッド14の操作位置に対応する位置にポインターPを移動させる、通常処理を実行する。
Steps S11 to S19 of the operation shown in FIG. 18 are the same as those in the first embodiment.
In the seventh embodiment, the control unit 140 of the HMD 100 executes the process described in the first embodiment for an operation in which the operation position moves in a specific direction among the slide gestures on the track pad 14. . Even if a slide gesture is performed, if the movement direction of the operation position is not the set direction, a normal process of moving the pointer P to a position corresponding to the operation position of the track pad 14 is executed.

すなわち、HMD100の制御部140は、トラックパッド14への操作がスライドジェスチャーであると判定した場合(ステップS13;Yes)、操作位置の移動方向を判定する(ステップS101)。   That is, when the control unit 140 of the HMD 100 determines that the operation on the track pad 14 is a slide gesture (step S13; Yes), the control unit 140 determines the movement direction of the operation position (step S101).

制御部140は、ステップS101で判定した移動方向に基づき、通常処理を行うか否かを判定する(ステップS102)。通常処理を行う場合(ステップS102;No)、ステップS14に移行して、トラックパッド14上の操作位置に対応する表示可能領域Dの表示位置に、ポインターPを移動させ(ステップS14)、本処理を終了する。
また、通常処理を行わない場合(ステップS102;No)、制御部140はステップS15に移行する。
The controller 140 determines whether or not to perform normal processing based on the movement direction determined in step S101 (step S102). When the normal process is performed (step S102; No), the process proceeds to step S14, and the pointer P is moved to the display position of the displayable area D corresponding to the operation position on the track pad 14 (step S14). Exit.
Moreover, when not performing a normal process (step S102; No), the control part 140 transfers to step S15.

第7の実施形態の動作によれば、トラックパッド14の実際の操作位置の移動量より大きくポインターPを移動させる処理を、トラックパッド14における特定の方向に対する操作に限定して行うことができる。例えば、Y方向のスライドジェスチャーを上記処理の対象としてもよく、X方向のスライドジェスチャーに対しては通常処理を行ってもよい。この場合、トラックパッド14がX方向に長い、横長の形状である場合に有用である。つまり、トラックパッド14の形状が、X方向やY方向に長い形状である場合等、操作位置の移動量の確保が難しい方向についてのみ、上記処理を行う構成とすることができる。   According to the operation of the seventh embodiment, the process of moving the pointer P larger than the movement amount of the actual operation position of the track pad 14 can be limited to the operation in a specific direction on the track pad 14. For example, a slide gesture in the Y direction may be the target of the above process, and a normal process may be performed on the slide gesture in the X direction. In this case, it is useful when the track pad 14 has a horizontally long shape that is long in the X direction. That is, the above-described processing can be performed only in the direction in which it is difficult to secure the movement amount of the operation position, such as when the shape of the track pad 14 is long in the X direction or the Y direction.

ステップS42では、ステップS41で判定した方向が、設定された方向に該当するか否かを判定するが、この判定において、正確に特定の方向に移動した場合に限らず、特定の方向と見なすことができる範囲を設定してもよい。すなわち、上記処理を行う方向の範囲が予め設定され、操作位置の移動方向が、上記範囲に含まれる場合に、ステップS42で否定判定する構成であってもよい。   In step S42, it is determined whether or not the direction determined in step S41 corresponds to the set direction. However, in this determination, the direction is not limited to the case where the direction is accurately moved, and is regarded as a specific direction. You may set the range that can. That is, a configuration may be adopted in which a negative range is determined in step S42 when a range of directions in which the above processing is performed is set in advance and the moving direction of the operation position is included in the above range.

[第8の実施形態]
図19は、第8の実施形態におけるHMD100の動作を示すフローチャートである。図20は、第8の実施形態におけるトラックパッド14及び仮想入力平面IPの対応を示す模式図である。第8の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Eighth Embodiment]
FIG. 19 is a flowchart showing the operation of the HMD 100 in the eighth embodiment. FIG. 20 is a schematic diagram showing the correspondence between the track pad 14 and the virtual input plane IP in the eighth embodiment. In the eighth embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

第8の実施形態で、HMD100は、トラックパッド14に対して複数の位置で接触する操作が行われた場合、これら複数の位置における接触操作に応じた処理を実行する。   In the eighth embodiment, when an operation for contacting the track pad 14 at a plurality of positions is performed, the HMD 100 executes a process according to the contact operation at the plurality of positions.

図19に示すステップS11〜S19の動作は、上述した第1〜第3実施形態と同様である。
第8の実施形態において、制御部140は、入力情報取得部110により検出されたトラックパッド14の操作位置を取得し(ステップS12)、取得した操作位置が複数であるか否かを判定する(ステップS111)。操作位置が1箇所である場合(ステップS111;No)、制御部140はステップS13に移行する。
The operations in steps S11 to S19 shown in FIG. 19 are the same as those in the first to third embodiments described above.
In the eighth embodiment, the control unit 140 acquires the operation position of the track pad 14 detected by the input information acquisition unit 110 (step S12), and determines whether there are a plurality of acquired operation positions (step S12). Step S111). When the operation position is one place (step S111; No), the control unit 140 proceeds to step S13.

操作位置が複数である場合(ステップS111;Yes)、制御部140は、操作位置が移動しているか否かの判定を行う(ステップS112)。制御部140は、操作位置が移動しない間は(ステップS112;No)、移動するまで待機する。この待機中、制御部140は、入力情報取得部110から入力される操作データに基づき操作位置の検出を継続して行う。また、ステップS112で、制御部140は、複数の操作位置のうち少なくともいずれかが移動した場合に、操作位置が移動したと判定する。   When there are a plurality of operation positions (step S111; Yes), the control unit 140 determines whether or not the operation position is moving (step S112). While the operation position does not move (Step S112; No), the control unit 140 stands by until it moves. During this standby, the control unit 140 continues to detect the operation position based on the operation data input from the input information acquisition unit 110. In step S112, the control unit 140 determines that the operation position has moved when at least one of the plurality of operation positions has moved.

操作位置が移動したと判定した場合(ステップS112;Yes)、制御部140は、操作位置が停止したか否かを判定する(ステップS113)。操作位置が停止しない間(ステップS113;No)、停止するまで待機する。この待機中、制御部140は、入力情報取得部110から入力される操作データに基づき操作位置の検出を継続して行う。   When it determines with the operation position having moved (step S112; Yes), the control part 140 determines whether the operation position stopped (step S113). While the operation position does not stop (step S113; No), it waits until it stops. During this standby, the control unit 140 continues to detect the operation position based on the operation data input from the input information acquisition unit 110.

操作位置が停止した場合(ステップS113;Yes)、制御部140は、操作位置の数、及び、操作位置の移動に応じて、入力データの移動パラメーターを算出する(ステップS114)。入力データの移動パラメーターは、例えば、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータを含む。   When the operation position is stopped (step S113; Yes), the control unit 140 calculates a movement parameter of the input data according to the number of operation positions and the movement of the operation position (step S114). The input data movement parameters include, for example, data indicating the start position of the input position movement, the movement direction of the input position, and the movement speed of the input position.

制御部140は、ステップS16で設定した移動パラメーターに従って入力データの生成を開始し、生成する入力データに基づき右表示駆動部22及び左表示駆動部24にポインターPを表示させる処理を開始する(ステップS115)。制御部140が生成する入力データの入力位置が移動することにより、画像表示部20が表示するポインターPの表示位置が移動する。この後、制御部140は、入力データを所定周期(例えば、入力情報取得部110のサンプリング周期)で生成する処理を継続する。また、制御部140は、生成した入力データに基づきポインターPの表示位置を移動する処理を継続する。   The control unit 140 starts generating input data according to the movement parameter set in step S16, and starts a process of displaying the pointer P on the right display driving unit 22 and the left display driving unit 24 based on the generated input data (step). S115). As the input position of the input data generated by the control unit 140 moves, the display position of the pointer P displayed by the image display unit 20 moves. Thereafter, the control unit 140 continues the process of generating the input data at a predetermined cycle (for example, the sampling cycle of the input information acquisition unit 110). Further, the control unit 140 continues the process of moving the display position of the pointer P based on the generated input data.

ポインターPの表示位置が移動する間、制御部140は、トラックパッド14への接触の解除を監視する(ステップS116)。ステップS116で、制御部140は、トラックパッド14に対する全ての接触が解除されたか否かを判定する。トラックパッド14への接触が解除されていないと判定した場合(ステップS116;No)、制御部140は、ステップS116で接触位置の監視を継続し、入力データの生成とポインターPの表示位置の移動を継続する。   While the display position of the pointer P moves, the control unit 140 monitors the release of contact with the track pad 14 (step S116). In step S116, the control unit 140 determines whether or not all contact with the track pad 14 has been released. When it is determined that the contact with the track pad 14 is not released (step S116; No), the control unit 140 continues to monitor the contact position in step S116, and generates input data and moves the display position of the pointer P. Continue.

制御部140は、トラックパッド14への全ての接触が解除されたことを検出すると(ステップS116;Yes)、入力データの生成を停止し、これによりポインターPの移動を停止させて(ステップS19)、本処理を終了する。   When the control unit 140 detects that all the contacts with the track pad 14 have been released (step S116; Yes), the control unit 140 stops generating the input data, thereby stopping the movement of the pointer P (step S19). This process is terminated.

ステップS114で、制御部140は、複数の操作位置のそれぞれが移動した方向、速度、移動量に基づき移動パラメーターを生成してもよい。また、制御部140は、複数の操作位置の相互の相対位置の変化を求め、相対位置の変化の方向、変化の速度、変化量に基づき移動パラメーターを生成してもよい。   In step S114, the control unit 140 may generate a movement parameter based on the direction, speed, and movement amount of each of the plurality of operation positions. In addition, the control unit 140 may obtain a change in the relative position of the plurality of operation positions, and generate a movement parameter based on the direction of change in the relative position, the speed of change, and the amount of change.

ステップS114における制御部140の具体的な動作例を以下に挙げる。
(1)制御部140は、複数の操作位置のうち一部の操作位置が移動した場合に、移動していない側を検出対象として設定する。この場合、制御部140は、検出対象として設定した操作位置が移動した場合に、検出対象の操作位置の移動方向、移動速度、移動量等に対応する移動パラメーターを、例えば、ステップS16の処理と同様に生成する。(1)の動作を実行する場合、制御部140は、1つの操作位置を検出対象の操作位置として設定する。従って、3以上の操作位置を入力情報取得部110が検出した場合には、ステップS112で、いずれか1つの操作位置を除く他の操作位置が移動するまで待機する。さらに、制御部140は、検出対象の操作位置を設定した後、この検出対象の操作位置が移動するまで、ステップS112で待機する。
なお、これとは逆に、制御部140は、複数の操作位置のうち一部の操作位置が移動した場合に、移動した側を検出対象として設定してもよい。この例では、制御部140は、3以上の操作位置を入力情報取得部110が検出した場合に、ステップS112で、いずれか1つの操作位置が移動するまで待機する。さらに、制御部140は、検出対象の操作位置を設定した後、この検出対象の操作位置が移動するまで、ステップS112で待機する。
A specific operation example of the control unit 140 in step S114 is given below.
(1) The control unit 140 sets a non-moving side as a detection target when some of the plurality of operating positions move. In this case, when the operation position set as the detection target moves, the control unit 140 sets the movement parameter corresponding to the movement direction, the movement speed, the movement amount, and the like of the operation position to be detected as the process of step S16, for example. Generate in the same way. When executing the operation (1), the control unit 140 sets one operation position as the operation position to be detected. Therefore, when the input information acquisition unit 110 detects three or more operation positions, the process waits in step S112 until other operation positions excluding any one operation position move. Further, after setting the operation position to be detected, the control unit 140 stands by in step S112 until the operation position to be detected moves.
On the contrary, the control unit 140 may set the moved side as a detection target when some of the operation positions move. In this example, when the input information acquisition unit 110 detects three or more operation positions, the control unit 140 stands by until any one operation position moves in step S112. Further, after setting the operation position to be detected, the control unit 140 stands by in step S112 until the operation position to be detected moves.

(2)制御部140は、複数の操作位置が移動した場合であって、複数の操作位置の移動方向が互いに平行である場合に、画像表示部20により表示する画像を拡大/縮小する入力データを生成するように、移動パラメーターを生成する。例えば、使用者が、複数の指を揃えてトラックパッド14上で移動させた場合に相当する。この場合、制御部140は、移動パラメーターの属性として、表示画像を拡大、或いは縮小を指示する入力データであることを示すデータを付加してもよい。また、制御部140が生成する入力データは、表示画像の拡大、縮小を指示するデータであってもよいし、表示倍率を指定し、或いは、表示倍率の増大/低下を指示するデータであってもよい。表示制御部170は、生成される入力データに従って、右表示駆動部22及び左表示駆動部24により表示する表示画像(例えば、ポインターP)の表示倍率を更新する。   (2) The control unit 140 is an input data for enlarging / reducing an image displayed by the image display unit 20 when a plurality of operation positions are moved and the movement directions of the plurality of operation positions are parallel to each other. Generate a movement parameter to generate For example, this corresponds to a case where the user moves a plurality of fingers on the track pad 14 together. In this case, the control unit 140 may add data indicating input data for instructing to enlarge or reduce the display image as an attribute of the movement parameter. Further, the input data generated by the control unit 140 may be data for instructing enlargement / reduction of the display image, data for designating the display magnification or instructing increase / decrease of the display magnification. Also good. The display control unit 170 updates the display magnification of the display image (for example, the pointer P) displayed by the right display driving unit 22 and the left display driving unit 24 according to the generated input data.

(3)制御部140は、複数の操作位置が移動した場合であって、複数の操作位置の移動方向が平行でない場合に、X−Y座標が設定された仮想入力平面IPのZ軸方向(仮想入力平面IPに垂直な方向)に対する入力データを生成する処理を行ってもよい。
この場合、オペレーティングシステム150を含む制御装置10が、三次元の位置入力を受け付ける構成である。制御装置10は、仮想入力平面IP内における二次元の位置入力、及び、仮想入力平面IPを基準として、例えば仮想入力平面IPに垂直な方向を座標軸とする位置入力を検出可能である。すなわち、仮想入力平面IPの面内のX−Y座標と、仮想入力平面IPに垂直なZ軸方向の位置入力とを受け付けて処理を実行できる。つまり、制御装置10は、仮想入力平面IPを含む仮想入力空間を有し、この仮想入力空間における位置や方向を定める入力データを、仮想入力平面IPを基準として処理できる。
(3) When the plurality of operation positions are moved and the movement directions of the plurality of operation positions are not parallel, the control unit 140 performs the Z-axis direction of the virtual input plane IP in which the XY coordinates are set ( A process of generating input data for a direction perpendicular to the virtual input plane IP) may be performed.
In this case, the control device 10 including the operating system 150 is configured to accept a three-dimensional position input. The control device 10 can detect a two-dimensional position input in the virtual input plane IP and a position input having, for example, a direction perpendicular to the virtual input plane IP as a coordinate axis with reference to the virtual input plane IP. That is, the process can be executed by receiving an XY coordinate in the plane of the virtual input plane IP and a position input in the Z-axis direction perpendicular to the virtual input plane IP. That is, the control device 10 has a virtual input space including the virtual input plane IP, and can process input data that determines the position and direction in the virtual input space with reference to the virtual input plane IP.

図20には、トラックパッド14において操作位置A31と操作位置A33に操作体が接触し、操作位置A31から操作位置A32に移動する操作AT31と、操作位置A33から操作位置A34に移動する操作AT32とが実行される例を示す。操作AT31、AT32により、トラックパッド14における2つの操作位置は互いに接近するように移動する。
制御部140は、操作AT31、AT32により2つの操作位置が近づくことに対応して、仮想入力平面IPにおいてZ軸方向に入力位置が移動する入力データを生成するための移動パラメーターを生成する。図20の例では、仮想入力平面IPに対して入力位置がZ軸の正方向に移動する入力データが生成される。また、制御部140は、トラックパッド14において2つの操作位置の間の距離が拡大する操作を検出した場合、仮想入力平面IPに対して入力位置がZ軸の負方向に移動する入力データを生成してもよい。この場合、Z軸方向に移動する入力位置の基点を、複数の操作位置の中心、或いは重心に相当する入力位置IA11としてもよい。
In FIG. 20, the operation body contacts the operation position A31 and the operation position A33 on the track pad 14, and the operation AT31 moves from the operation position A31 to the operation position A32. The operation AT32 moves from the operation position A33 to the operation position A34. An example in which is executed. By the operations AT31 and AT32, the two operation positions on the track pad 14 move so as to approach each other.
The control unit 140 generates a movement parameter for generating input data in which the input position moves in the Z-axis direction on the virtual input plane IP in response to the two operation positions approaching by the operations AT31 and AT32. In the example of FIG. 20, input data is generated in which the input position moves in the positive direction of the Z axis with respect to the virtual input plane IP. Further, when the control unit 140 detects an operation in which the distance between the two operation positions is increased on the track pad 14, the control unit 140 generates input data in which the input position moves in the negative direction of the Z axis with respect to the virtual input plane IP. May be. In this case, the base point of the input position that moves in the Z-axis direction may be the input position IA11 corresponding to the center or the center of gravity of the plurality of operation positions.

(3)の例は、(2)で説明したように複数の操作位置が移動する場合と組み合わせることができる。この場合、操作位置が平行移動した場合は表示画像を拡大/縮小する入力データを生成し、複数の操作位置の距離が変化する場合は仮想入力平面IPにおいてZ軸方向に入力位置が移動する入力データを生成するよう、移動パラメーターを設定してもよい。また、複数の操作位置が平行に移動する場合に、複数の操作位置の移動方向及び移動量に対応して、仮想入力平面IPにおいてZ軸方向に入力位置が移動する入力データを生成、移動パラメーターを設定してもよい。また、複数の操作位置が水平に移動する場合は表示画像を拡大/縮小する入力データを生成し、複数の操作位置が水平でない移動、すなわち相互の距離が変化するように移動する場合はZ軸方向に入力位置が移動する入力データを生成するよう、移動パラメーターを設定してもよい。   The example of (3) can be combined with the case where a plurality of operation positions move as described in (2). In this case, when the operation position moves in parallel, input data for enlarging / reducing the display image is generated, and when the distance between a plurality of operation positions changes, the input position moves in the Z-axis direction on the virtual input plane IP. Movement parameters may be set to generate data. In addition, when a plurality of operation positions move in parallel, input data for moving the input position in the Z-axis direction on the virtual input plane IP is generated corresponding to the movement direction and movement amount of the plurality of operation positions. May be set. In addition, when a plurality of operation positions move horizontally, input data for enlarging / reducing the display image is generated, and when a plurality of operation positions move non-horizontally, that is, move so that the mutual distance changes, the Z axis The movement parameter may be set so as to generate input data in which the input position moves in the direction.

(4)制御部140は、3以上の操作位置が同時に移動した場合に、これら3以上の操作位置の移動に対応して、X−Y座標が設定された仮想入力平面IPのZ軸方向(仮想入力平面IPに垂直な方向)に対する入力データを生成する処理を行ってもよい。この場合、制御部140は、複数の操作位置の移動方向、移動速度、及び移動量の少なくともいずれかについて、平均を求める等の演算処理を実行し、操作位置の移動方向、移動速度あるいは移動量の代表値を求める。制御部140は、代表値に基づいて、移動パラメーターを生成してもよい。この場合、制御部140は、仮想入力平面IPに対して入力位置がZ軸の正方向あるいは負方向に移動する入力データを生成できる。   (4) When three or more operation positions move at the same time, the control unit 140 corresponds to the movement of the three or more operation positions in the Z-axis direction of the virtual input plane IP in which the XY coordinates are set ( A process of generating input data for a direction perpendicular to the virtual input plane IP) may be performed. In this case, the control unit 140 executes arithmetic processing such as obtaining an average for at least one of the movement direction, the movement speed, and the movement amount of the plurality of operation positions, and the movement direction, movement speed, or movement amount of the operation position. The representative value of is obtained. The control unit 140 may generate a movement parameter based on the representative value. In this case, the control unit 140 can generate input data whose input position moves in the positive or negative direction of the Z axis with respect to the virtual input plane IP.

制御部140は、上述した(1)、(2)、(3)、(4)の少なくともいずれかの動作、或いは2以上を組み合わせた動作を、ステップS114で実行することができる。これにより、トラックパッド14に対する多彩な操作に対応して、トラックパッド14に対する接触操作により、複雑な入力操作を行うことができる。   The control unit 140 can execute at least one of the operations (1), (2), (3), and (4) described above, or an operation that combines two or more, in step S114. Accordingly, in response to various operations on the track pad 14, a complicated input operation can be performed by a contact operation on the track pad 14.

[第9の実施形態]
図21は、第9の実施形態におけるHMD100の動作を示すフローチャートである。第9の実施形態において、HMD100の構成は第1の実施形態と同様である。このため、HMD100の構成に関して図示及び説明を省略する。
[Ninth Embodiment]
FIG. 21 is a flowchart showing the operation of the HMD 100 in the ninth embodiment. In the ninth embodiment, the configuration of the HMD 100 is the same as that of the first embodiment. For this reason, illustration and description regarding the configuration of the HMD 100 are omitted.

第9の実施形態で、HMD100は、トラックパッド14に対する接触操作と、制御装置10を動かす、或いは制御装置10の姿勢を変化させる操作に応じて、入力データを生成する。   In the ninth embodiment, the HMD 100 generates input data in response to a contact operation on the track pad 14 and an operation of moving the control device 10 or changing the posture of the control device 10.

図21に示すステップS11〜S19の動作は、上述した第1〜第3実施形態と同様である。
制御部140は、操作位置が停止したことを検出した場合(ステップS15)、3軸センサー113の検出値に基づいて、制御装置10の傾き、及び/または、制御装置10の動きを検出する(ステップS121)。制御部140は、ステップS11で入力情報取得部110がタッチ操作を検出した後、3軸センサー113の検出値を、例えば設定されたサンプリング周期で取得し、その累積値に基づいて、制御装置10の姿勢を特定してもよい。また、制御部140は、ステップS13で操作位置が移動したことを検出した後に、3軸センサー113の検出値を、例えば設定されたサンプリング周期で取得し、その累積値に基づいて、制御装置10の姿勢を特定してもよい。また、制御装置10が地磁気センサー(図示略)を有する場合において、地磁気センサーの検出値に基づいて制御装置10の姿勢を検出してもよい。また、制御部140は、3軸センサー113の検出値をステップS121で取得して、取得した検出値に基づき制御装置10の姿勢を検出してもよい。
The operations in steps S11 to S19 shown in FIG. 21 are the same as those in the first to third embodiments described above.
When it is detected that the operation position is stopped (step S15), the control unit 140 detects the tilt of the control device 10 and / or the movement of the control device 10 based on the detection value of the three-axis sensor 113 ( Step S121). After the input information acquisition unit 110 detects a touch operation in step S11, the control unit 140 acquires the detection value of the three-axis sensor 113, for example, at a set sampling period, and based on the accumulated value, the control device 10 You may specify the posture. Further, after detecting that the operation position has moved in step S13, the control unit 140 acquires the detection value of the three-axis sensor 113, for example, at a set sampling period, and based on the accumulated value, the control device 10 You may specify the posture. Moreover, when the control apparatus 10 has a geomagnetic sensor (not shown), the attitude of the control apparatus 10 may be detected based on the detection value of the geomagnetic sensor. Further, the control unit 140 may acquire the detection value of the three-axis sensor 113 in step S121 and detect the attitude of the control device 10 based on the acquired detection value.

制御部140は、ステップS121で検出した制御装置10の傾き、及び/または、制御装置10の動きと、ステップS12〜S15で検出した操作位置に対応して、移動パラメーターを算出する(ステップS122)。ステップS122で、制御部140は、入力位置の移動の開始位置、入力位置の移動方向、及び、入力位置の移動速度を示すデータ等を含んでもよい。また、移動パラメーターは、移動量を示すデータを含んでもよい。また、移動パラメーターは、仮想入力平面IPに対して垂直な方向の入力位置の移動を含む入力データを生成するデータであってもよい。   The control unit 140 calculates the movement parameter corresponding to the tilt of the control device 10 detected in step S121 and / or the movement of the control device 10 and the operation position detected in steps S12 to S15 (step S122). . In step S122, the control unit 140 may include data indicating the start position of the input position, the direction of movement of the input position, and the speed of movement of the input position. The movement parameter may include data indicating the movement amount. The movement parameter may be data for generating input data including movement of an input position in a direction perpendicular to the virtual input plane IP.

ステップS122で、制御部140は、例えば、トラックパッド14における操作位置の軌跡、移動速度、移動方向、移動量等に基づいて移動パラメーターを生成してもよい。さらに、制御部140は、生成した移動パラメーターを、ステップS121で検出した制御装置10の傾き(姿勢)及び/または制御装置10の動きに基づいて、補正あるいは修正してもよい。具体的な例を挙げると、制御装置10が予め設定された方向に傾いたことをステップS121で検出した場合、制御部140は、移動パラメーターのうち入力位置の移動速度を示すデータを更新してもよい。この場合、制御部140は、制御装置10が所定方向に傾いた場合に、入力位置の移動速度を増加させるように移動パラメーターを更新してもよい。また、上記所定方向とは逆の方向に制御装置10が傾いた場合に、入力位置の移動速度を低下させるように移動パラメーターを更新してもよい。或いは、制御部140は、制御装置10が所定方向に動いた場合に、入力位置の移動速度を増加させるように移動パラメーターを更新してもよい。また、上記所定方向とは逆の方向に制御装置10が動いた場合に、入力位置の移動速度を低下させるように移動パラメーターを更新してもよい。   In step S122, the control unit 140 may generate a movement parameter based on, for example, the locus of the operation position on the track pad 14, the movement speed, the movement direction, the movement amount, and the like. Furthermore, the control unit 140 may correct or correct the generated movement parameter based on the tilt (posture) of the control device 10 and / or the movement of the control device 10 detected in step S121. As a specific example, when it is detected in step S121 that the control device 10 is tilted in a preset direction, the control unit 140 updates data indicating the movement speed of the input position among the movement parameters. Also good. In this case, the control unit 140 may update the movement parameter so as to increase the movement speed of the input position when the control device 10 is tilted in a predetermined direction. Further, when the control device 10 is tilted in the direction opposite to the predetermined direction, the movement parameter may be updated so as to reduce the movement speed of the input position. Alternatively, the control unit 140 may update the movement parameter so as to increase the movement speed of the input position when the control device 10 moves in a predetermined direction. Further, when the control device 10 moves in a direction opposite to the predetermined direction, the movement parameter may be updated so as to reduce the movement speed of the input position.

また、制御部140は、制御装置10の傾きに対応して、トラックパッド14と仮想入力平面IPとの相対位置を変化させてもよい。例えば、初期状態において、図6に示したようにトラックパッド14と仮想入力平面IPとが平行であり、トラックパッド14におけるX−Y軸と仮想入力平面IPのX−Y軸とが平行な状態として設定される。制御部140は、ステップS121で検出した制御装置10の傾きに応じて、トラックパッド14に対する仮想入力平面IPの傾きを変化させてもよい。   Further, the control unit 140 may change the relative position between the track pad 14 and the virtual input plane IP in accordance with the inclination of the control device 10. For example, in the initial state, as shown in FIG. 6, the track pad 14 and the virtual input plane IP are parallel, and the XY axis of the track pad 14 and the XY axis of the virtual input plane IP are parallel. Set as The control unit 140 may change the inclination of the virtual input plane IP with respect to the track pad 14 according to the inclination of the control device 10 detected in step S121.

このように、HMD100は、トラックパッド14を有する制御装置10の姿勢または姿勢の変化を検出する3軸センサー113を備える。制御部140は、ポインターPの表示位置が移動する間に、3軸センサー113が検出する制御装置10の姿勢または姿勢の変化に対応して、入力データを生成する。これにより、制御部140は、ポインターPの表示位置の移動方向及び移動速度の少なくともいずれかを変化させる。このため、簡単な操作によって、表示オブジェクトであるポインターPの表示位置の移動の態様を、高い自由度で制御できる。   As described above, the HMD 100 includes the three-axis sensor 113 that detects the posture of the control device 10 having the track pad 14 or a change in the posture. While the display position of the pointer P moves, the control unit 140 generates input data corresponding to the posture of the control device 10 detected by the three-axis sensor 113 or a change in the posture. Thereby, the control unit 140 changes at least one of the moving direction and the moving speed of the display position of the pointer P. For this reason, the mode of movement of the display position of the pointer P, which is a display object, can be controlled with a high degree of freedom by a simple operation.

[その他の変形例]
以下、図22〜図25を参照して、上記各実施形態の変形例を説明する。
図22はトラックパッド14の変形例として、円形のトラックパッド14aを示す図である。トラックパッド14aは、トラックパッド14と同様に、接触操作を検出する操作面として機能する。HMD100がトラックパッド14aを備える場合、入力情報取得部110は、トラックパッド14aにおける操作を、例えば図22に符号X、Yで示す直交座標系における座標として検出する。トラックパッド14aは、X軸方向、及びY軸方向において、操作位置を大きく移動させることができないが、上記第1〜第9実施形態を適用することで、トラックパッド14における操作位置の移動量よりも大きく、ポインターPを動かすことができる。トラックパッド14aは、トラックパッド14と同様に、制御部140が操作位置の移動の方向を検出可能なサイズがあればよいので、図22に示すように、画像表示部20の表示領域とは異なる形状であってもよい。
従って、図22に示す円形のトラックパッド14aや、細長い形状など、様々な形状のトラックパッドを用いて、ポインターPを大きく動かすことができ、高い操作性を実現できる。
[Other variations]
Hereinafter, modified examples of the above-described embodiments will be described with reference to FIGS. 22 to 25.
FIG. 22 is a diagram showing a circular track pad 14 a as a modification of the track pad 14. The track pad 14 a functions as an operation surface that detects a contact operation, like the track pad 14. When the HMD 100 includes the track pad 14a, the input information acquisition unit 110 detects an operation on the track pad 14a as, for example, coordinates in the orthogonal coordinate system indicated by reference characters X and Y in FIG. The track pad 14a cannot move the operation position greatly in the X-axis direction and the Y-axis direction, but by applying the first to ninth embodiments, the movement amount of the operation position in the track pad 14 The pointer P can be moved. Similar to the track pad 14, the track pad 14 a only needs to have a size that allows the control unit 140 to detect the direction of movement of the operation position. Therefore, the track pad 14 a is different from the display area of the image display unit 20 as shown in FIG. It may be a shape.
Therefore, the pointer P can be moved greatly using various track pads such as the circular track pad 14a shown in FIG. 22 or an elongated shape, and high operability can be realized.

図23は、制御装置10の本体に設けたトラックパッド14(図1)に代えて、画像表示部20の側面にトラックパッド14bを配置する変形例を示す。トラックパッド14bは、トラックパッド14と同様に、接触操作を検出する操作面として機能する。
図23の例では、画像表示部20の側面を、使用者が指で擦るような動作で、スライドジェスチャーを実行できる。この場合も、トラックパッド14bの面積を大きくすることは容易でないが、上記第1〜第9実施形態を適用することで、高い操作性を実現できる。
FIG. 23 shows a modification in which the track pad 14 b is arranged on the side surface of the image display unit 20 instead of the track pad 14 (FIG. 1) provided in the main body of the control device 10. Similar to the track pad 14, the track pad 14 b functions as an operation surface that detects a contact operation.
In the example of FIG. 23, the slide gesture can be executed by an operation in which the user rubs the side surface of the image display unit 20 with a finger. Also in this case, it is not easy to increase the area of the track pad 14b, but high operability can be realized by applying the first to ninth embodiments.

図24は、指輪型のデバイス71の表面に、トラックパッド14と同様に接触操作を検出可能なトラックパッド14cを配置する例を示す。トラックパッド14cは、トラックパッド14と同様に、接触操作を検出する操作面として機能する。
トラックパッド14cはデバイス71の表面の一部または全部に形成され、トラックパッド14cの外観がデバイス71の表面と一体化した構成とすることができる。トラックパッド14cは、デバイス71の表面に対する接触を検出できればよく、接触を検出するための回路等がデバイス71の内部に埋設または収容された構成であってもよい。つまり、デバイス71の表面が、操作を検出するための回路等と一体に構成されていなくてもよく、当該回路の一部を構成していなくてもよい。
デバイス71は、例えば制御装置10の通信部117との間で無線通信を実行し、制御部140が、トラックパッド14cにおける操作位置を検出可能な構成とすることができる。
この場合、上記第1〜第9実施形態を適用することで、小さな指輪型のデバイス71に対する接触操作により、ポインターPを自在に動かすことができる。
FIG. 24 shows an example in which a track pad 14 c capable of detecting a contact operation is arranged on the surface of a ring type device 71 in the same manner as the track pad 14. Similarly to the track pad 14, the track pad 14c functions as an operation surface that detects a contact operation.
The track pad 14 c may be formed on part or all of the surface of the device 71, and the appearance of the track pad 14 c may be integrated with the surface of the device 71. The track pad 14 c only needs to be able to detect contact with the surface of the device 71, and may have a configuration in which a circuit for detecting contact or the like is embedded or accommodated in the device 71. That is, the surface of the device 71 may not be configured integrally with a circuit for detecting an operation or the like, and may not configure a part of the circuit.
For example, the device 71 can perform a wireless communication with the communication unit 117 of the control device 10, and the control unit 140 can detect an operation position on the track pad 14c.
In this case, by applying the first to ninth embodiments, the pointer P can be freely moved by a contact operation on the small ring type device 71.

図25は、ペン型のデバイス72の側面に、トラックパッド14と同様に接触操作を検出可能なトラックパッド14dを配置する例を示す。トラックパッド14dは、トラックパッド14と同様に、接触操作を検出する操作面として機能する。トラックパッド14dはデバイス72の表面の一部または全部に形成され、トラックパッド14cの外観がデバイス72の表面と一体化した構成とすることができる。トラックパッド14dは、デバイス72の表面に対する接触を検出できればよく、接触を検出するための回路等がデバイス72の内部に埋設または収容された構成であってもよい。つまり、デバイス72の表面が、操作を検出するための回路等と一体に構成されていなくてもよく、当該回路の一部を構成していなくてもよい。
デバイス72は、例えば制御装置10の通信部117との間で無線通信を実行し、制御部140が、トラックパッド14dにおける操作位置を検出可能な構成とすることができる。また、デバイス72は実際に筆記具として使用可能な構成を具備してもよい。このデバイス72を用いた構成に、上記第1〜第9実施形態を適用することで、小さなペン型のデバイス71に対する接触操作により、ポインターPを自在に動かすことができる。
FIG. 25 shows an example in which a track pad 14 d capable of detecting a contact operation like the track pad 14 is arranged on the side surface of the pen-type device 72. Similarly to the track pad 14, the track pad 14 d functions as an operation surface that detects a contact operation. The track pad 14 d may be formed on part or all of the surface of the device 72, and the appearance of the track pad 14 c may be integrated with the surface of the device 72. The track pad 14 d only needs to be able to detect contact with the surface of the device 72, and may have a configuration in which a circuit or the like for detecting contact is embedded or accommodated in the device 72. That is, the surface of the device 72 may not be configured integrally with a circuit or the like for detecting an operation, and may not configure a part of the circuit.
For example, the device 72 can perform a wireless communication with the communication unit 117 of the control device 10, and the control unit 140 can detect an operation position on the track pad 14d. Further, the device 72 may have a configuration that can actually be used as a writing instrument. By applying the first to ninth embodiments to the configuration using the device 72, the pointer P can be freely moved by a contact operation on the small pen-type device 71.

トラックパッド14c、14dに対する操作は、手指等によるタッチ(接触)操作、及び、接触した手指の接触を維持したまま動かす操作等である。制御部140は、トラックパッド14c、14dに対する接触を検出した場合、この接触が維持される間、すなわち接触が解除されるまで、操作が終了していないと判定する。言い換えれば、トラックパッド14c、14dに対する手指の接触が解除されると、操作が終了したと判定する。従って、使用者がトラックパッド14c、14dに手指を接触させて動かす操作を行った場合、この手指を使用者がトラックパッド14c、14dから離すまでの間、表示オブジェクトであるポインターPや画面M1〜M6の表示位置が移動する。   The operations on the track pads 14c and 14d are a touch (contact) operation with fingers and the like, and an operation to move while maintaining the contact of the touched fingers. When detecting contact with the track pads 14c and 14d, the control unit 140 determines that the operation is not completed while the contact is maintained, that is, until the contact is released. In other words, when the contact of the fingers with the track pads 14c and 14d is released, it is determined that the operation is finished. Therefore, when the user performs an operation of bringing the fingers into contact with the track pads 14c and 14d and moving the fingers away from the track pads 14c and 14d, the pointer P, which is a display object, and the screens M1 to M1 are displayed. The display position of M6 moves.

立体物の表面を操作面とする構成の別の例として、例えば、自動車のハンドルの表面を操作面とし、ハンドルの表面に対する接触操作を検出する構成とすることができる。
また、上記各実施形態で説明したトラックパッド14、14a、14b、14c、14d等の操作面を複数の領域に分割し、それぞれの領域を操作面として使用する構成とすることもできる。この場合、制御部140は、それぞれの領域における1または複数の操作位置の移動に対応して、移動パラメーターを設定し、入力データを生成してもよい。また、制御部140は、複数の操作面において検出された操作位置の移動に対応して、移動パラメーターを設定し、入力データを生成してもよい。
As another example of a configuration in which the surface of a three-dimensional object is used as an operation surface, for example, a configuration in which a surface of a handle of an automobile is used as an operation surface and a contact operation on the surface of the handle is detected can be employed.
In addition, the operation surface such as the track pads 14, 14a, 14b, 14c, and 14d described in the above embodiments may be divided into a plurality of regions, and each region may be used as the operation surface. In this case, the control unit 140 may set a movement parameter and generate input data corresponding to movement of one or a plurality of operation positions in each region. In addition, the control unit 140 may generate input data by setting a movement parameter corresponding to the movement of the operation position detected on the plurality of operation surfaces.

なお、この発明は上記各実施形態及び変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、画像表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ(Head-up Display;HUD)であってもよい。
The present invention is not limited to the configurations of the above-described embodiments and modifications, and can be implemented in various modes without departing from the scope of the invention.
For example, in the above embodiment, instead of the image display unit 20, another type of image display unit such as an image display unit worn like a hat may be employed. What is necessary is just to provide the display part which displays an image corresponding to a user's left eye, and the display part which displays an image corresponding to a user's right eye. The display device of the present invention may be configured as a head mounted display mounted on a vehicle such as an automobile or an airplane. Moreover, for example, it may be configured as a head-mounted display built in a body protective device such as a helmet, or may be a head-up display (HUD) used for a windshield of an automobile.

上記各実施形態及び変形例では、表示オブジェクトとして、ポインターP、或いは、図8に示したリング型のUIにおける画面M1〜M6を例示した。本発明はこれに限定されず、操作面に対する操作に応じて表示位置を移動できるものであれば、表示オブジェクトとして本発明を適用できる。例えば、制御装置10が実行するアプリケーションプログラムやゲーム等のコンテンツ内に表示される表示物を、表示オブジェクトとして、本発明を適用してもよい。   In each of the above embodiments and modifications, the pointer P or the screens M1 to M6 in the ring type UI shown in FIG. 8 is exemplified as the display object. The present invention is not limited to this, and the present invention can be applied as a display object as long as the display position can be moved according to an operation on the operation surface. For example, the present invention may be applied by using a display object displayed in content such as an application program or a game executed by the control device 10 as a display object.

さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。   Furthermore, in the above embodiment, the image display unit 20 and the control device 10 are separated and connected by way of the connection unit 40, but the control device 10 and the image display unit 20 are integrated. It is also possible to be configured to be mounted on the user's head.

また、例えば、画像表示部20において画像光を生成する構成として、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、画像光を生成する構成として、LCOS(Liquid crystal on silicon, LCoSは登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。   For example, as a configuration for generating image light in the image display unit 20, a configuration including an organic EL (Organic Electro-Luminescence) display and an organic EL control unit may be used. Further, as a configuration for generating image light, LCOS (Liquid crystal on silicon, LCoS is a registered trademark), a digital micromirror device, or the like can be used. Further, for example, the present invention can be applied to a laser retinal projection type head mounted display. That is, the image generation unit includes a laser light source and an optical system that guides the laser light source to the user's eye, makes the laser light enter the user's eye, scans the retina, and forms an image on the retina. A configuration that allows the user to visually recognize an image may be employed. When a laser retina projection type head-mounted display is employed, the “image light emitting area in the image light generation unit” can be defined as an image area recognized by the user's eyes.

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。   As an optical system that guides image light to the user's eyes, an optical member that transmits external light that is incident from the outside toward the apparatus and that enters the user's eyes together with the image light can be employed. Moreover, you may use the optical member which is located ahead of a user's eyes and overlaps a part or all of a user's visual field. Further, a scanning optical system that scans a laser beam or the like to obtain image light may be employed. Further, the optical member is not limited to guiding the image light inside the optical member, and may have only a function of guiding the image light by refracting and / or reflecting it toward the user's eyes.

また、本発明を、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。   Further, the present invention can be applied to a display device that employs a scanning optical system using a MEMS mirror and uses MEMS display technology. That is, as an image display element, a signal light forming unit, a scanning optical system having a MEMS mirror that scans light emitted from the signal light forming unit, and an optical member on which a virtual image is formed by light scanned by the scanning optical system May be provided. In this configuration, the light emitted from the signal light forming unit is reflected by the MEMS mirror, enters the optical member, is guided through the optical member, and reaches the virtual image forming surface. When the MEMS mirror scans the light, a virtual image is formed on the virtual image forming surface, and the user recognizes the virtual image with the eyes, and the image is recognized. The optical component in this case may be one that guides light through a plurality of reflections, such as the right light guide plate 261 and the left light guide plate 262 of the above embodiment, and may use a half mirror surface. .

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面(ガラスや透明なプラスチック等)に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、本発明は、外光とともに画像を視認させる表示装置に限らず、各種の表示装置に適用可能であり、例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ61の撮像画像、この撮像画像に基づき生成される画像やCG、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、AR表示、MR表示、或いはVR表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
The display device of the present invention is not limited to a head-mounted display device, and can be applied to various display devices such as a flat panel display and a projector. The display device of the present invention may be any device that allows an image to be visually recognized by external light and image light. For example, a configuration in which an image by image light is visually recognized by an optical member that transmits external light is exemplified. Specifically, the above-described head-mounted display includes an optical member that transmits external light, and a light-transmitting plane or curved surface that is fixedly or movably installed at a position away from the user ( The present invention can also be applied to a display device that projects image light onto glass, transparent plastic, or the like. As an example, a configuration of a display device that projects image light onto a window glass of a vehicle and allows a user who is on board or a user outside the vehicle to visually recognize the scenery inside and outside the vehicle together with an image by the image light. It is done. In addition, for example, image light is projected onto a transparent, semi-transparent, or colored transparent display surface that is fixedly installed such as a window glass of a building, and is displayed together with an image by the image light to a user around the display surface. A configuration of a display device that visually recognizes a scene through the surface can be given.
The present invention is not limited to a display device that visually recognizes an image together with external light, but can be applied to various display devices. For example, the present invention can also be applied to a display device that displays an image in a state where an outside scene cannot be visually recognized. Specifically, the present invention is applied to a display device that displays a captured image of the camera 61, an image or CG generated based on the captured image, video based on video data stored in advance or video data input from the outside, and the like. Can be applied. This type of display device can include a so-called closed display device in which an outside scene cannot be visually recognized. Of course, a display device that displays video data or an analog video signal input from the outside without performing processing such as AR display, MR display, or VR display is also included as an application target of the present invention.

また、図2に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図2に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部140が実行するプログラムは、記憶部120又は制御装置10内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部117又はインターフェイス125を介して取得して実行する構成としてもよい。
また、本発明は、制御装置10が実行するプログラムを記憶した記憶媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現することもできる。記憶媒体としての記憶部120は、磁気的、光学的記憶媒体あるいは半導体メモリーデバイスを用いるもののいずれであってもよく、その他の種類の記憶媒体を使用してもよい。この記憶媒体は、メモリーカード等の可搬型記憶媒体であってもよく、その他の具体的な実装形態も任意である。
In addition, at least a part of each functional block shown in FIG. 2 may be realized by hardware, or may be realized by cooperation of hardware and software, as shown in FIG. It is not limited to a configuration in which independent hardware resources are arranged. The program executed by the control unit 140 may be stored in the storage unit 120 or the storage device in the control device 10, or the program stored in an external device is acquired via the communication unit 117 or the interface 125. It is good also as a structure to execute.
In addition, the present invention is realized in the form of a storage medium storing a program executed by the control device 10, a server device that distributes the program, a transmission medium that transmits the program, a data signal that implements the program in a carrier wave, and the like. You can also The storage unit 120 as a storage medium may be any one of a magnetic or optical storage medium or a semiconductor memory device, or other types of storage media. This storage medium may be a portable storage medium such as a memory card, and other specific mounting forms are also arbitrary.

上記プログラムは、制御装置10のオペレーティングシステム150上で動作する単体のアプリケーションプログラムとして実装することができる。また、上記プログラムは、オペレーティングシステム150、オペレーティングシステム150の一部として、あるいはオペレーティングシステム150と協働して動作するデバイスドライバーの機能として実装してもよい。或いは、これらとともに実行されるアプリケーションプログラムの機能として実装されてもよい。例えば、トラックパッド14、14a、14b、14c、14dを制御するデバイスドライバープログラムの機能として実装してもよい。また、オペレーティングシステム150においてトラックパッド14、14a、14b、14c、14dの操作を受け付けるプログラムモジュールの機能として実装してもよい。また、複数のアプリケーションプログラムにより、上記プログラムを実現する構成であってもよく、具体的なプログラムの形態は任意である。   The program can be implemented as a single application program that runs on the operating system 150 of the control device 10. Further, the program may be implemented as a function of a device driver that operates as a part of the operating system 150, the operating system 150, or in cooperation with the operating system 150. Or you may implement as a function of the application program performed with these. For example, you may implement as a function of the device driver program which controls trackpad 14, 14a, 14b, 14c, 14d. In addition, the operating system 150 may be implemented as a function of a program module that accepts the operation of the track pads 14, 14a, 14b, 14c, and 14d. Moreover, the structure which implement | achieves the said program with a some application program may be sufficient, and the form of a specific program is arbitrary.

また、制御部140が実行するプログラムの機能、すなわち制御部140が備える各処理部(例えば、画像処理部160、表示制御部170、操作検出部183、GUI制御部185、音声処理部190、或いはその他の生成部、判定部、特定部等)を、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)やSoC(System on a Chip)を用いて構成してもよい。また、FPGA(Field-Programmable Gate Array))等のプログラマブルデバイスにより実現してもよい。
また、制御装置10に形成された構成のうち、操作部111のみが単独の使用者インターフェイス(UI)として形成されてもよい。また、制御装置10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示す制御部140が制御装置10と画像表示部20との両方に形成されていてもよいし、制御装置10に形成された制御部140と画像表示部20に形成されたCPUとが行う機能が別々に分けられている構成としてもよい。
Further, the function of the program executed by the control unit 140, that is, each processing unit (for example, the image processing unit 160, the display control unit 170, the operation detection unit 183, the GUI control unit 185, the audio processing unit 190, or the like provided in the control unit 140, or Other generation units, determination units, identification units, etc.) are configured using ASIC (Application Specific Integrated Circuit) or SoC (System on a Chip) designed to realize the function. May be. Moreover, you may implement | achieve by programmable devices, such as FPGA (Field-Programmable Gate Array).
Moreover, only the operation part 111 among the structures formed in the control apparatus 10 may be formed as a single user interface (UI). Further, the configuration formed in the control device 10 may be formed in the image display unit 20 in an overlapping manner. For example, the control unit 140 illustrated in FIG. 2 may be formed in both the control device 10 and the image display unit 20, or the control unit 140 formed in the control device 10 and the CPU formed in the image display unit 20. The functions performed by and may be configured separately.

10…制御装置(操作デバイス)、14、14a、14b、14c、14d…トラックパッド(操作面)、20…画像表示部(表示部)、22…右表示駆動部、24…左表示駆動部、61…カメラ、100…HMD(表示装置)、110…入力情報取得部(操作検出部)、111…操作部、113…3軸センサー(姿勢検出部)、120…記憶部、121…設定データ、123…コンテンツデータ、140…制御部、160…画像処理部、170…表示制御部、182…操作検出部、185…GUI制御部、190…音声処理部、261…右導光板、262…左導光板、P…ポインター(表示オブジェクト)。   DESCRIPTION OF SYMBOLS 10 ... Control apparatus (operation device) 14, 14a, 14b, 14c, 14d ... Trackpad (operation surface), 20 ... Image display part (display part), 22 ... Right display drive part, 24 ... Left display drive part, DESCRIPTION OF SYMBOLS 61 ... Camera, 100 ... HMD (display apparatus), 110 ... Input information acquisition part (operation detection part), 111 ... Operation part, 113 ... Three axis sensor (attitude detection part), 120 ... Memory | storage part, 121 ... Setting data, 123 ... Content data 140 ... Control unit 160 ... Image processing unit 170 ... Display control unit 182 ... Operation detection unit 185 ... GUI control unit 190 ... Audio processing unit 261 ... Right light guide plate 262 ... Left guide Light plate, P ... pointer (display object).

Claims (20)

表示部と、
操作面に対する操作を検出する操作検出部と、
前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御する制御部と、を備え、
前記制御部は、前記操作検出部が検出する前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、
を特徴とする表示装置。
A display unit;
An operation detection unit for detecting an operation on the operation surface;
A control unit that displays a display object to be operated on the display unit and controls a display position of the display object in response to an operation on the operation surface,
The control unit moves the display position of the display object in response to a change in the operation position on the operation surface detected by the operation detection unit, and the operation detection unit operates in accordance with a preset end condition. Stopping the movement of the display position of the display object when detecting
A display device.
前記制御部は、前記表示オブジェクトの表示位置の移動方向を、前記操作面における操作位置の移動方向に対応する方向に設定すること、
を特徴とする請求項1記載の表示装置。
The control unit sets the movement direction of the display position of the display object to a direction corresponding to the movement direction of the operation position on the operation surface;
The display device according to claim 1.
前記制御部は、前記操作検出部が前記操作面に対する操作を検出した後、前記表示オブジェクトの表示位置の移動方向を求める処理を行う間、前記操作面の操作位置に対応する表示位置に前記表示オブジェクトを表示させること、
を特徴とする請求項2記載の表示装置。
The control unit is configured to display the display at a display position corresponding to the operation position on the operation surface while performing a process of obtaining a moving direction of the display position of the display object after the operation detection unit detects an operation on the operation surface. Displaying objects,
The display device according to claim 2.
前記制御部は、前記表示オブジェクトの表示位置の移動速度を、前記操作面における操作位置の移動量または移動速度に対応する速度に設定すること、
を特徴とする請求項1から3のいずれかに記載の表示装置。
The control unit sets the movement speed of the display position of the display object to a speed corresponding to the movement amount or movement speed of the operation position on the operation surface;
The display device according to claim 1, wherein:
前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記操作検出部が検出する前記操作面における操作位置が変化した場合、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
を特徴とする請求項1から4のいずれかに記載の表示装置。
When the operation position on the operation surface detected by the operation detection unit is changed while the display position of the display object is moved, the control unit is at least one of a moving direction and a moving speed of the display position of the display object. Changing things,
The display device according to claim 1, wherein:
前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出した場合に、前記終了条件に該当すると判定すること、
を特徴とする請求項1から5のいずれかに記載の表示装置。
The control unit detects an operation position when the operation detection unit detects contact of the operation body with the operation surface, and the operation detection unit is released from the operation surface when the operation body is separated from the operation surface. It is determined that the termination condition is met,
The display device according to claim 1, wherein:
前記制御部は、前記操作検出部が前記操作面に対する操作体の接触を検出した場合に操作位置を検出し、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間が経過した場合に、前記終了条件に該当すると判定すること、
を特徴とする請求項1から5のいずれかに記載の表示装置。
The control unit detects an operation position when the operation detection unit detects contact of the operation body with the operation surface, and the operation detection unit is released from the operation surface when the operation body is separated from the operation surface. It is determined that the end condition is satisfied when a predetermined time has elapsed since the detection of
The display device according to claim 1, wherein:
前記制御部は、前記操作検出部が前記操作面から前記操作体が離れて接触が解除されたことを検出してから所定時間以内に、前記操作検出部が前記操作面に対する接触を検出した場合に、前記操作検出部が検出した新たな接触の操作位置に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
を特徴とする請求項1から5のいずれかに記載の表示装置。
When the operation detection unit detects contact with the operation surface within a predetermined time after the operation detection unit detects that the operation body has moved away from the operation surface and contact has been released. And changing at least one of the moving direction and the moving speed of the display position of the display object corresponding to the operation position of the new contact detected by the operation detection unit,
The display device according to claim 1, wherein:
前記操作面を有する操作デバイスを備え、
前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、
前記制御部は、前記表示オブジェクトの表示位置が移動する間に、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記表示オブジェクトの表示位置の移動方向及び移動速度の少なくともいずれかを変化させること、
を特徴とする請求項1から8のいずれかに記載の表示装置。
An operation device having the operation surface;
A posture detection unit for detecting a change in posture or posture of the operation device;
The control unit moves and moves the display position of the display object in response to a change in posture or posture of the operation device detected by the posture detection unit while the display position of the display object moves. Changing at least one of the
The display device according to claim 1, wherein:
前記操作面において前記操作検出部が操作を検出する面積またはサイズは、前記表示部が画像を表示する表示領域の面積またはサイズよりも小さいこと、
を特徴とする請求項1から9のいずれかに記載の表示装置。
The area or size that the operation detection unit detects an operation on the operation surface is smaller than the area or size of a display area on which the display unit displays an image,
The display device according to claim 1, wherein:
前記操作面の形状は、前記表示部が画像を表示する表示領域とは異なる形状であること、
を特徴とする請求項1から10のいずれかに記載の表示装置。
The shape of the operation surface is different from the display area where the display unit displays an image,
The display device according to claim 1, wherein:
表示部と、
操作面に対する操作を検出する操作検出部と、
前記操作検出部により検出される操作に応じて、仮想入力平面に対する入力データを生成する制御部と、を備え、
前記制御部は、前記操作検出部が前記操作面において操作位置が移動する操作を検出した場合に、前記操作に対応して前記仮想入力平面における入力データの生成を開始し、前記操作検出部が予め設定された終了条件に該当する操作を検出した場合に、前記入力データの生成を停止すること、
を特徴とする表示装置。
A display unit;
An operation detection unit for detecting an operation on the operation surface;
A control unit that generates input data for the virtual input plane according to the operation detected by the operation detection unit,
The control unit starts generation of input data in the virtual input plane in response to the operation when the operation detection unit detects an operation in which an operation position moves on the operation surface, and the operation detection unit Stopping the generation of the input data when an operation corresponding to a preset end condition is detected;
A display device.
前記制御部が生成する入力データは、前記仮想入力平面における入力位置、前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを含むこと、
を特徴とする請求項12記載の表示装置。
The input data generated by the control unit includes at least one of an input position in the virtual input plane, a moving direction of the input position in the virtual input plane, and a moving speed of the input position in the virtual input plane. ,
The display device according to claim 12.
前記制御部は、前記入力データに含まれる前記仮想入力平面内における入力位置の移動方向、及び、前記仮想入力平面内における入力位置の移動速度の少なくともいずれかを、前記操作検出部が検出する前記操作位置の移動量または移動速度に応じて設定すること、
を特徴とする請求項13記載の表示装置。
The control unit detects at least one of a moving direction of the input position in the virtual input plane and a moving speed of the input position in the virtual input plane included in the input data. Set according to the moving amount or moving speed of the operation position,
The display device according to claim 13.
前記操作検出部は、前記操作面に操作体が接触する操作に応じて接触位置を操作位置として検出し、
前記制御部は、前記操作検出部が、前記操作面に対する接触が解除されたことを検出した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、
を特徴とする請求項12から14のいずれかに記載の表示装置。
The operation detection unit detects a contact position as an operation position according to an operation in which an operation body contacts the operation surface,
The control unit determines that the termination condition is satisfied when the operation detection unit detects that the contact with the operation surface is released, and stops generating the input data;
The display device according to claim 12, wherein:
前記制御部は、前記操作検出部が前記操作面に対する接触の解除を検出してから所定時間が経過した場合に、前記終了条件に該当すると判定して前記入力データの生成を停止すること、
を特徴とする請求項12から14のいずれかに記載の表示装置。
The control unit determines that the end condition is satisfied and stops generating the input data when a predetermined time has elapsed since the operation detection unit detected release of contact with the operation surface.
The display device according to claim 12, wherein:
前記制御部は、前記操作検出部により検出される操作に応じて、前記仮想入力平面及び前記仮想入力平面に対して垂直な方向を含む三次元の入力データを生成可能であり、前記操作検出部が前記操作面における複数の操作位置の操作を検出した場合に、前記仮想入力平面に垂直な方向の成分を含む前記入力データを生成すること、
を特徴とする請求項12から16のいずれかに記載の表示装置。
The control unit can generate three-dimensional input data including a direction perpendicular to the virtual input plane and the virtual input plane according to an operation detected by the operation detection unit, and the operation detection unit Generating the input data including a component in a direction perpendicular to the virtual input plane when detecting operations at a plurality of operation positions on the operation surface;
The display device according to claim 12, wherein:
前記操作面を有する操作デバイスを備え、
前記操作デバイスの姿勢または姿勢の変化を検出する姿勢検出部を備え、
前記制御部は、前記姿勢検出部が検出する前記操作デバイスの姿勢または姿勢の変化に対応して、前記操作面と前記仮想入力平面との対応を変更すること、
を特徴とする請求項12から17のいずれかに記載の表示装置。
An operation device having the operation surface;
A posture detection unit for detecting a change in posture or posture of the operation device;
The control unit changes the correspondence between the operation surface and the virtual input plane in response to a change in posture or posture of the operation device detected by the posture detection unit,
The display device according to claim 12, wherein:
前記仮想入力平面と前記表示部における表示領域とが対応付けられ、
前記制御部は、前記表示部に操作対象の表示オブジェクトを表示させ、前記入力データに対応して前記表示オブジェクトの表示位置を制御すること、
を特徴とする請求項12から18のいずれかに記載の表示装置。
The virtual input plane is associated with the display area in the display unit,
The control unit displays a display object to be operated on the display unit, and controls a display position of the display object corresponding to the input data;
The display device according to claim 12, wherein:
表示部を有する表示装置を制御して、
操作面に対する操作を検出し、
前記表示部に操作対象の表示オブジェクトを表示させ、前記操作面に対する操作に対応して前記表示オブジェクトの表示位置を制御し、
前記操作面における操作位置の変化に対応して、前記表示オブジェクトの表示位置を移動させ、前記操作面に対する予め設定された終了条件に該当する操作を検出した場合に、前記表示オブジェクトの表示位置の移動を停止させること、
を特徴とする表示装置の制御方法。
Controlling a display device having a display unit;
Detects operations on the operation surface,
Displaying a display object to be operated on the display unit, and controlling a display position of the display object in response to an operation on the operation surface;
The display position of the display object is changed when the display position of the display object is moved in response to a change in the operation position on the operation surface and an operation corresponding to a preset end condition on the operation surface is detected. Stopping the movement,
A control method of a display device characterized by the above.
JP2016041864A 2015-05-13 2016-03-04 Display device, and control method for the same Withdrawn JP2017157120A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016041864A JP2017157120A (en) 2016-03-04 2016-03-04 Display device, and control method for the same
US15/149,710 US10001857B2 (en) 2015-05-13 2016-05-09 Display apparatus and method of controlling display apparatus
EP16169606.7A EP3093751A1 (en) 2015-05-13 2016-05-13 Display apparatus and method of controlling display apparatus
CN201610319968.XA CN106168848B (en) 2015-05-13 2016-05-13 Display device and control method of display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016041864A JP2017157120A (en) 2016-03-04 2016-03-04 Display device, and control method for the same

Publications (1)

Publication Number Publication Date
JP2017157120A true JP2017157120A (en) 2017-09-07

Family

ID=59810001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016041864A Withdrawn JP2017157120A (en) 2015-05-13 2016-03-04 Display device, and control method for the same

Country Status (1)

Country Link
JP (1) JP2017157120A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153272A (en) * 2018-01-19 2019-09-12 パナソニックIpマネジメント株式会社 Input device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934645A (en) * 1995-07-21 1997-02-07 Smk Corp Pointing device
JP2012243284A (en) * 2011-05-24 2012-12-10 Sharp Corp Information processor, control method of information processor, information processor control program and computer readable recording medium with program recorded thereon
JP2012252627A (en) * 2011-06-06 2012-12-20 Namco Bandai Games Inc Program, information storage medium, and image generation system
JP2013175187A (en) * 2012-02-24 2013-09-05 Samsung Electronics Co Ltd Screen scroll method for display device and device therefor
JP2014109866A (en) * 2012-11-30 2014-06-12 Toshiba Corp Instrument operation device and program
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard
JP2014203417A (en) * 2013-04-10 2014-10-27 コニカミノルタ株式会社 Control device, operation control method and operation control program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934645A (en) * 1995-07-21 1997-02-07 Smk Corp Pointing device
JP2012243284A (en) * 2011-05-24 2012-12-10 Sharp Corp Information processor, control method of information processor, information processor control program and computer readable recording medium with program recorded thereon
JP2012252627A (en) * 2011-06-06 2012-12-20 Namco Bandai Games Inc Program, information storage medium, and image generation system
JP2013175187A (en) * 2012-02-24 2013-09-05 Samsung Electronics Co Ltd Screen scroll method for display device and device therefor
JP2014109866A (en) * 2012-11-30 2014-06-12 Toshiba Corp Instrument operation device and program
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard
JP2014203417A (en) * 2013-04-10 2014-10-27 コニカミノルタ株式会社 Control device, operation control method and operation control program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153272A (en) * 2018-01-19 2019-09-12 パナソニックIpマネジメント株式会社 Input device

Similar Documents

Publication Publication Date Title
CN106168848B (en) Display device and control method of display device
US9921646B2 (en) Head-mounted display device and method of controlling head-mounted display device
US9766715B2 (en) Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP6206099B2 (en) Image display system, method for controlling image display system, and head-mounted display device
JP6500477B2 (en) Head-mounted display device, control system, control method of head-mounted display device, and computer program
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
JP6251957B2 (en) Display device, head-mounted display device, and display device control method
JP2018101019A (en) Display unit and method for controlling display unit
JP6264871B2 (en) Information processing apparatus and information processing apparatus control method
US9799144B2 (en) Head mounted display, and control method for head mounted display
JP2017091433A (en) Head-mounted type display device, method of controlling head-mounted type display device, and computer program
JP6303274B2 (en) Head-mounted display device and method for controlling head-mounted display device
JP2016024208A (en) Display device, method for controlling display device, and program
JP6740613B2 (en) Display device, display device control method, and program
JP6638392B2 (en) Display device, display system, display device control method, and program
JP6439448B2 (en) Display system, program, and control method for display device
JP2016212769A (en) Display device, control method for the same and program
JP2017157120A (en) Display device, and control method for the same
US11275547B2 (en) Display system, display method, and program
JP2016033763A (en) Display device, method for controlling display device, and program
JP2018091882A (en) Head-mounted display, program, and method for controlling head-mounted display
JP2017182460A (en) Head-mounted type display device, method for controlling head-mounted type display device, and computer program
JP6459516B2 (en) Display system, program, server device, and display device control method
JP6669183B2 (en) Head mounted display and control method of head mounted display
JP2018092206A (en) Head-mounted display, program, and method for controlling head-mounted display

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180907

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20191223