CN106168848A - 显示装置以及显示装置的控制方法 - Google Patents

显示装置以及显示装置的控制方法 Download PDF

Info

Publication number
CN106168848A
CN106168848A CN201610319968.XA CN201610319968A CN106168848A CN 106168848 A CN106168848 A CN 106168848A CN 201610319968 A CN201610319968 A CN 201610319968A CN 106168848 A CN106168848 A CN 106168848A
Authority
CN
China
Prior art keywords
display
control unit
operating
trackpad
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610319968.XA
Other languages
English (en)
Other versions
CN106168848B (zh
Inventor
木村总志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015097943A external-priority patent/JP2016212769A/ja
Priority claimed from JP2016041864A external-priority patent/JP2017157120A/ja
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN106168848A publication Critical patent/CN106168848A/zh
Application granted granted Critical
Publication of CN106168848B publication Critical patent/CN106168848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在能够进行对操作面的操作的显示装置中,能够缓和由操作面的大小引起的操作性的制约,操作者能够容易地控制操作的结束位置。HMD(100)具备让使用者视觉确认图像并且使外景透过的图像显示部(20)。HMD(100)具备:检测对触控板(14)的操作的操作检测部、以及将操作对象的显示目标显示于图像显示部(20)的控制部。控制部与对触控板(14)的操作对应地控制显示目标的显示位置,与触控板(14)中的操作位置的变化对应地求出显示目标的移动方向,使显示目标的显示位置移动,在对触控板(14)的操作符合预先设定的结束条件的情况下,使显示目标的移动停止。

Description

显示装置以及显示装置的控制方法
技术领域
本发明涉及显示装置以及显示装置的控制方法。
背景技术
以往,作为操作计算机等的输入设备,已知有具备检测接触操作的操作面的设备(例如参照专利文献1)。专利文献1公开了通过触摸面板终端来操作将使用鼠标进行操作作为前提的计算机的构成。在检测对操作面的操作的输入设备中,操作性因操作面的大小而受到制约。为了消除该制约,在专利文献1记载的构成中,触摸面板根据检测接触的部位移动的速度计算移动距离,并且根据该移动距离使鼠标指针在计算机上移动。
专利文献1:日本特开2013-143076号公报
然而,如专利文献1所记载的那样,在根据与操作相关的速度使鼠标指针等操作的指标移动的情况下,操作者(用户)很难控制该指标停止的位置、即操作的结束位置。
发明内容
本发明是鉴于上述情况而完成的,其目的在于在能够进行对操作面的操作的显示装置中,能够缓和由操作面的大小引起的操作性的制约,操作者能够容易地控制操作的结束位置。
为了实现上述目的,本发明的显示装置的特征在于,具备:显示部;操作检测部,其检测对操作面的操作;以及控制部,其使上述显示部显示操作对象的显示目标,并且与对上述操作面的操作对应地控制上述显示目标的显示位置,上述控制部与上述操作检测部检测的上述操作面中的操作位置的变化对应地使上述显示目标的显示位置移动,并且在上述操作检测部检测到符合预先设定的结束条件的操作的情况下,使上述显示目标的显示位置的移动停止。
根据本发明,在根据对操作面的操作来使显示目标的显示位置移动的情况下,能够以较高的自由度控制显示位置的移动量。例如,若设定成即使操作面中的操作位置停止也不符合结束条件,则能够与操作位置的移动量相比,使显示目标较大地移动。在这种情况下,能够缓和由操作面的大小引起的操作性的制约。并且,能够容易地控制使显示目标的显示位置的移动停止的位置或者定时。
另外,本发明的特征在于,在上述显示装置中,上述控制部将上述显示目标的显示位置的移动方向设定为与上述操作面中的操作位置的移动方向对应的方向。
根据本发明,操作者能够使操作对象的显示目标向所意图的方向移动,能够实现操作性的提高。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到对上述操作面的操作后,进行求出上述显示目标的显示位置的移动方向的处理,然后使上述显示目标的显示位置移动。
根据本发明,能够使操作对象的显示目标向适当的方向移动。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到对上述操作面的操作后,在进行求出上述显示目标的显示位置的移动方向的处理的期间,使上述显示目标显示于与上述操作面的操作位置对应的显示位置。
根据本发明,即使在进行求出显示目标的移动方向的处理的期间,也能够适当地控制显示目标的显示位置。因此,操作者能够没有不协调感地进行操作。另外,能够与短时间或操作位置的移动量较小的操作对应地使显示目标移动。
另外,本发明的特征在于,在上述显示装置中,上述控制部将上述显示目标的显示位置的移动速度设定为与上述操作面中的操作位置的移动量或移动速度对应的速度。
根据本发明,操作者能够容易地控制显示目标的移动速度,所以能够实现进一步的操作性的提高。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述显示目标的显示位置移动的期间,上述操作检测部检测的上述操作面中的操作位置变化了的情况下,使上述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
根据本发明,在显示目标的显示位置的移动开始后,根据操作使显示位置的移动方向以及移动速度中的至少任意一个变化。因此,通过操作者的操作,即使在显示目标的显示位置的移动开始后,操作者也能够调整显示目标的移动方向、移动速度。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到操作体对上述操作面的接触的情况下检测操作位置,并且在上述操作检测部检测到上述操作体从上述操作面离开从而接触解除了的这一状况的情况下,判定为符合上述结束条件。
根据本发明,操作者能够容易地指示使显示目标的显示位置的移动开始以及停止的定时,能够实现更进一步的操作性的提高。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到操作体对上述操作面的接触的情况下检测操作位置,并且在上述操作检测部检测到上述操作体从上述操作面离开从而接触解除了的这一状况后经过了规定时间的情况下,判定为符合上述结束条件。
根据本发明,即使在操作体从操作面离开后也能够继续显示目标的显示位置的移动。因此,能够与在操作面中操作位置移动的量相比,使显示目标的显示位置较大地移动,能够避免操作面的大小的制约。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到上述操作体从上述操作面离开从而接触解除了的这一状况后的规定时间以内,在上述操作检测部检测到对上述操作面的接触的情况下,与上述操作检测部检测到的新的接触的操作位置对应地使上述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
根据本发明,即使在操作体从操作面离开后,对于显示目标的显示位置的移动,也能够控制移动方向或移动速度。因此,能够以较高的自由度控制显示目标的显示位置的移动的方式。
另外,本发明的特征在于,在上述显示装置中,具备具有上述操作面的操作设备,具备检测上述操作设备的姿势或姿势的变化的姿势检测部,上述控制部在上述显示目标的显示位置移动的期间,与上述姿势检测部检测的上述操作设备的姿势或姿势的变化对应地使上述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
根据本发明,能够通过在显示目标的显示位置移动的期间,使操作设备的姿势变化,来控制显示目标的显示位置的移动方向、移动速度。因此,能够通过简单的操作来以较高的自由度控制显示目标的显示位置的移动的方式。
另外,本发明的特征在于,在上述显示装置中,在上述操作面中上述操作检测部检测操作的面积或尺寸比述显示部显示图像的显示区域的面积或尺寸小。
根据本发明,能够利用比显示区域小的操作面来使显示目标任意地移动,能够实现操作性的提高。另外,具有装置构成的自由度提高的优点。
另外,本发明的特征在于,在上述显示装置中,上述操作面的形状是与上述显示部显示图像的显示区域不同的形状。
根据本发明,能够利用与显示区域不同的形状的操作面来使显示目标任意地移动,能够实现操作性的提高。另外,具有装置构成的自由度提高的优点。
另外,为了实现上述目的,本发明的显示装置的特征在于,具备:显示部;操作检测部,其检测对操作面的操作;以及控制部,其根据由上述操作检测部检测的操作,生成针对虚拟输入平面的输入数据,上述控制部在上述操作检测部在上述操作面中检测到操作位置移动的操作的情况下,与上述操作对应地开始上述虚拟输入平面中的输入数据的生成,在上述操作检测部检测到符合预先设定的结束条件的操作的情况下,停止上述输入数据的生成。
根据本发明,能够超越操作面的大小的制约地生成针对虚拟输入平面的输入数据。例如,若是基于输入数据使显示目标的显示位置移动的构成,则能够以较高的自由度控制显示目标的显示位置的移动量。因此,能够缓和由操作面的大小引起的操作性的制约。
另外,本发明的特征在于,在上述显示装置中,上述控制部生成的输入数据包括上述虚拟输入平面中的输入位置、上述虚拟输入平面内的输入位置的移动方向、以及上述虚拟输入平面内的输入位置的移动速度中的至少任意一个。
根据本发明,能够通过对操作面的操作,来输入虚拟输入平面中的输入位置、输入位置的移动方向、或者输入位置的移动速度。
另外,本发明的特征在于,在上述显示装置中,上述控制部根据上述操作检测部检测的上述操作位置的移动量或移动速度来设定上述输入数据所包含的上述虚拟输入平面内的输入位置的移动方向以及上述虚拟输入平面内的输入位置的移动速度中的至少任意一个。
根据本发明,能够通过对操作面的操作来控制虚拟输入平面中的输入位置、输入位置的移动方向、或者输入位置的移动速度。
另外,本发明的特征在于,在上述显示装置中,上述操作检测部根据操作体接触上述操作面的操作来将接触位置检测为操作位置,上述控制部在上述操作检测部检测到对上述操作面的接触解除了的这一状况的情况下,判定为符合上述结束条件并停止上述输入数据的生成。
根据本发明,操作者能够容易地指示使输入数据的生成开始以及停止的定时,能够实现进一步的操作性的提高。
另外,本发明的特征在于,在上述显示装置中,上述控制部在上述操作检测部检测到对上述操作面的接触的解除后经过了规定时间的情况下,判定为符合上述结束条件并停止上述输入数据的生成。
根据本发明,即使在操作体从操作面离开后也能够继续输入数据的生成。例如,在与输入数据对应地使显示目标的显示位置移动的情况下,即使在对操作面的接触解除了之后,也能够继续显示位置的移动。因此,能够不受操作面中操作位置移动的量限制地输入输入数据,能够避免操作面的大小的制约。
另外,本发明的特征在于,在上述显示装置中,上述控制部能够根据由上述操作检测部检测的操作来生成包括上述虚拟输入平面以及与上述虚拟输入平面垂直的方向的三维的输入数据,在上述操作检测部检测到上述操作面中的多个操作位置的操作的情况下,生成包括与上述虚拟输入平面垂直的方向的分量的上述输入数据。
根据本发明,能够通过对操作面的操作进行三维的输入。
另外,本发明的特征在于,在上述显示装置中,具备具有上述操作面的操作设备,具备检测上述操作设备的姿势或姿势的变化的姿势检测部,上述控制部与上述姿势检测部检测的上述操作设备的姿势或姿势的变化对应地变更上述操作面与上述虚拟输入平面之间的对应关系。
根据本发明,能够通过使具有操作面的操作设备倾斜的操作,使输入数据的方向变化。
另外,本发明的特征在于,在上述显示装置中,上述虚拟输入平面与上述显示部中的显示区域建立对应,上述控制部使上述显示部显示操作对象的显示目标,并且与上述输入数据对应地控制上述显示目标的显示位置。
根据本发明,能够根据对操作面的操作来使显示目标的显示位置移动,能够以较高的自由度控制显示位置的移动量。
另外,为了实现上述目的,本发明的显示装置的控制方法的特征在于,控制具有显示部的显示装置,检测对操作面的操作,使上述显示部显示操作对象的显示目标,与对上述操作面的操作对应地控制上述显示目标的显示位置,与上述操作面中的操作位置的变化对应地使上述显示目标的显示位置移动,在检测到对上述操作面的符合预先设定的结束条件的操作的情况下,使上述显示目标的显示位置的移动停止。
根据本发明,在根据对操作面的操作来使显示目标的显示位置移动的情况下,能够以较高的自由度控制显示位置的移动量。例如,若设定为即使操作面中的操作位置停止也不符合结束条件,则能够与操作位置的移动量相比,使显示目标较大地移动。在这种情况下,能够缓和由操作面的大小引起的操作性的制约。并且,能够容易地控制使显示目标的显示位置的移动停止的位置或者定时。
另外,为了实现上述目的,本发明是控制具有显示部的显示装置的计算机能够执行的程序,该程序能够构成为使上述计算机作为以下各部发挥作用,即,操作检测部,其检测对操作面的操作;以及控制部,其使上述显示部显示操作对象的显示目标,与对上述操作面的操作对应地控制上述显示目标的显示位置,与上述操作面中的操作位置的变化对应地求出上述显示目标的移动方向,与上述操作检测部检测的上述操作面中的操作位置的变化对应地使上述显示目标的显示位置移动,在上述操作检测部检测到符合预先设定的结束条件的操作的情况下,使上述显示目标的显示位置的移动停止。
在通过计算机执行该程序,来使计算机显示的操作对象位置的显示目标根据对操作面的操作来移动的情况下,能够以较高的自由度控制显示位置的移动量。例如,若设定为即使操作面中的操作位置停止也不符合结束条件,则能够与操作位置的移动量相比,使显示目标较大地移动。在这种情况下,能够缓和由操作面的大小引起的操作性的制约。并且,能够容易地控制使显示目标的显示位置的移动停止的位置或者定时。
另外,本发明也能够以存储上述的程序的存储介质、分配程序的服务器装置、传输上述程序的传输介质、将上述程序在载波内具现化的数据信号等形式实现。作为存储介质,可以是使用磁、光学的存储介质或者半导体存储器设备的存储介质中的任意一种,也可以使用其它的种类的存储介质。该存储介质可以是存储器卡等可移动型存储介质、固定设置于上述装置的存储介质、经由通信线路与上述装置连接的装置所具备的存储介质中的任意一种,其它的具体的安装形式也任意。
在安装有操作系统来进行动作的装置中,上述程序能够作为在操作系统上进行动作的单体的应用程序来安装。另外,并不局限于单体的应用程序,也可以作为操作系统、设备驱动器以及应用程序中的多个功能来被安装。例如,也可以是控制具备操作面的操作设备的设备驱动器程序、以及/或者在操作系统中接受操作设备的操作的程序模块协作来实现上述程序的构成。另外,也可以是通过多个应用程序来实现本发明的上述程序的构成,具体的程序的形式任意。
附图说明
图1是表示第一实施方式的HMD的外观构成的说明图。
图2是构成第一实施方式的HMD的各部的功能框图。
图3是表示与触控板(Trackpad)的操作对应的HMD的动作的说明图,表示触控板的操作例。
图4是表示与触控板的操作对应的指针的移动的例子的说明图。
图5是表示与触控板的操作对应的指针的移动的其它例子的说明图。
图6是表示触控板、虚拟输入平面以及可显示区域的对应关系的示意图。
图7是表示第一实施方式的HMD的动作的流程图。
图8是表示相对于触控板的操作使环式UI的显示转移的例子的说明图。
图9是表示第二实施方式的HMD的动作的流程图。
图10是表示第三实施方式中的操作的例子的说明图。
图11是表示第三实施方式的HMD的动作的流程图。
图12是表示第四实施方式的HMD的动作的流程图。
图13是表示第五实施方式的HMD的动作的流程图。
图14是表示第五实施方式的HMD的动作的流程图。
图15是表示第五实施方式中的操作的例子的说明图。
图16是表示第六实施方式中的触控板中的操作区域的设定状态的图。
图17是表示第六实施方式的HMD的动作的流程图。
图18是表示第七实施方式的HMD的动作的流程图。
图19是表示第八实施方式的HMD的动作的流程图。
图20是表示触控板以及虚拟输入平面的对应关系的示意图。
图21是表示第九实施方式的HMD的动作的流程图。
图22是表示本发明的实施方式的变形例的图。
图23是表示本发明的实施方式的变形例的图。
图24是表示本发明的实施方式的变形例的图。
图25是表示本发明的实施方式的变形例的图。
具体实施方式
[第一实施方式]
以下,参照附图对本发明的实施方式进行说明。
图1是表示应用了本发明的第一实施方式所涉及的HMD100的外观构成的说明图。HMD100是佩戴于头部的显示装置,也被称作头戴式显示器(Head Mounted Display:头部佩戴型显示装置)。本实施方式的HMD100是使用者在视觉确认虚像的同时也能够直接视觉确认外景的光学透射式的显示装置。应予以说明的是,在本说明书中,也将使用者通过HMD100视觉确认的虚像简单地称作“显示图像”。另外,也将射出基于图像数据而生成的图像光的情况称作“显示图像”。
HMD100具备:在佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20(显示部)、以及控制图像显示部20的控制装置10。控制装置10也作为用于使用者操作HMD100的控制器发挥作用。另外,控制装置10作为操作设备发挥作用。
图像显示部20是佩戴于使用者的头部的佩戴体,在本实施方式中具有眼镜形状。图像显示部20具备:右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61以及话筒63。右光学像显示部26以及左光学像显示部28分别被配置为在使用者佩戴了图像显示部20时位于使用者的右以及左的眼前。右光学像显示部26的一端与左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间对应的位置相互连接。
右保持部21是从作为右光学像显示部26的另一端的端部ER至与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置延伸设置的构件。同样地,左保持部23是从作为左光学像显示部28的另一端的端部EL至与使用者佩戴了图像显示部20时的使用者的侧头部对应的位置延伸设置的构件。右保持部21以及左保持部23如眼镜的眼镜腿(挂耳部分)那样将图像显示部20保持于使用者的头部。
右显示驱动部22和左显示驱动部24被配置于在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。应予以说明的是,也将右显示驱动部22以及左显示驱动部24简单地统称为“显示驱动部”,也将右光学像显示部26以及左光学像显示部28简单地统称为“光学像显示部”。
显示驱动部22、24包括液晶显示器241、242(Liquid CrystalDisplay,以下也称作“LCD241、242”)、投影光学系统251、252等(参照图2)。对于显示驱动部22、24的构成的详细内容,在以后叙述。作为光学构件的光学像显示部26、28具备导光板261、262(参照图2)。导光板261、262由透光性的树脂等形成,将从显示驱动部22、24输出的图像光向使用者的眼睛导入。在本实施方式中,对使用至少具有佩戴HMD100的使用者能够视觉确认外界的景色的程度的透光性的右光学像显示部26以及左光学像显示部28的情况进行说明。
相机61被配置于作为右光学像显示部26的另一端的端部ER。相机61拍摄与使用者的眼睛侧相反侧方向的外部的景色即外景,获取外景图像。图1所示的本实施方式的相机61是单眼相机,但也可以是立体相机。
相机61的拍摄方向即视场角是HMD100的表面侧方向,换句话说是拍摄佩戴了HMD100的状态下的使用者的视场方向中的至少一部分的外景的方向。另外,相机61的视场角的广度能够适当地设定,但优选相机61的拍摄范围是包括使用者通过右光学像显示部26、左光学像显示部28视觉确认的外界的范围。并且,若将相机61的拍摄范围设定成能够拍摄通过右光学像显示部26以及左光学像显示部28的使用者的视场的整体,则更加优选。
图像显示部20还具有用于将图像显示部20与控制装置10连接的连接部40。连接部40具备:与控制装置10连接的主体软线48、右软线42、左软线44以及连结构件46。右软线42和左软线44是主体软线48分支成2根而成的软线。右软线42从右保持部21的延伸方向的前端部AP插入至右保持部21的框体内,与右显示驱动部22连接。同样地,左软线44从左保持部23的延伸方向的前端部AP插入至左保持部23的框体内,与左显示驱动部24连接。
连结构件46被设置于主体软线48与右软线42及左软线44的分支点,具有用于连接耳机插头30的插孔。从耳机插头30起,右耳机32以及左耳机34延伸。在耳机插头30的附近设置有话筒63。从耳机插头30至话筒63合成一根软线,从话筒63起软线分支,分别与右耳机32和左耳机34连接。
例如图1所示那样,话筒63被配置成话筒63的集音部朝向使用者的视线方向,聚集声音,并将声音信号输出至声音处理部190。话筒63例如可以是单声道话筒,也可以是立体声话筒,可以是具有指向性的话筒,也可以是无指向性的话筒。
另外,也能够将右软线42和左软线44合成为一根软线。具体地说,也可以将右软线42内部的导线通过图像显示部20的主体内部并引入至左保持部23侧,与左软线44内部的导线一起用树脂覆盖,合成一根软线。
图像显示部20和控制装置10经由连接部40进行各种信号的传输。在主体软线48中的与连结构件46相反侧的端部、和控制装置10分别设置有相互嵌合的连接器(图示略)。通过主体软线48的连接器与控制装置10的连接器的嵌合/嵌合解除,控制装置10与图像显示部20连接或分离。对于右软线42、左软线44以及主体软线48,例如能够采用金属电缆、光纤。
控制装置10是用于控制HMD100的装置。控制装置10具备:决定键11、点亮部12、显示切换键13、亮度切换键15、方向键16、菜单键17以及包括电源开关18的开关类。另外,控制装置10具备使用者通过手指等操作体进行触摸操作的触控板14(操作面)。
决定键11检测按下操作,并输出决定在控制装置10中被操作的内容的信号。点亮部12通过其发光状态来通知HMD100的动作状态。作为HMD100的动作状态,例如有电源的开启/关闭等。作为点亮部12,例如使用LED(Light Emitting Diode:发光二极管)。显示切换键13检测按下操作,并例如输出将内容动画的显示模式切换为3D和2D的信号。
触控板14检测在触控板14的操作面上的使用者的手指的操作,并输出与检测内容相应的信号。作为触控板14,能够采用静电电容检测式、压力检测式、光学式这样的各种触控板。在触控板14为压力检测式、光学式的情况下,对于操作触控板14的操作体,能够使用使用者的手指、笔、笔形的专用的指示器等多种操作体。在触控板14为静电电容检测式的情况下,作为操作体,能够使用手指等人体的一部分、以及静电电容式触控笔等。另外,作为操作体,也能够使用使用者通过手以外的身体进行操作的部位。例如,也可以触控板14为使用者能够进行使脚、肘、肩、腰等接触的操作的触控板。在这种情况下,使用者的脚、肘、肩、腰等与触控板14接触的位置被检测为操作位置,若接触位置移动,则检测操作位置的移动。该构成能够通过将触控板14配置在使用者容易使脚、肘、肩、腰等接触的位置来实现。另外,也可以使触控板14的尺寸为适于使用者使脚、肘、肩、腰等接触的尺寸。另外,也可以为将具有触控板14的片状或板状的设备与控制装置10分别独立设置,并将该设备与控制装置10连接的构成。
亮度切换键15检测按下操作,并输出增减图像显示部20的亮度的信号。方向键16检测对与上下左右方向对应的键的按下操作,并输出与检测内容相应的信号。电源开关18是切换HMD100的电源接通状态的开关,例如为能够进行滑动操作的构成。
图2是构成HMD100的各部的功能框图。
如图2所示,HMD100经由接口125与外部机器OA连接。接口125是用于将成为内容的提供源的各种外部机器OA与控制装置10连接的接口。作为接口125,例如能够使用USB接口、微型USB接口、存储器卡用接口等与有线连接对应的接口。
外部机器OA作为向HMD100提供图像的图像提供装置来使用,例如使用个人计算机(PC)、手机终端以及游戏终端等。
HMD100的控制装置10具备:控制部140、操作部111、输入信息获取部110(操作检测部)、存储部120、发送部(Tx)51以及发送部(Tx)52。
操作部111检测使用者的操作。操作部111包括图1所示的决定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17以及电源开关18的各操作件。
输入信息获取部110检测操作部111的各操作件的操作,将表示操作内容的操作数据输出给控制部140。具体地说,该操作数据包括确定被操作的操作件的数据、以及表示操作件的操作的种类的数据。例如,假定决定键11、显示切换键13、亮度切换键15、菜单键17或电源开关18被操作的情况。在这种情况下,输入信息获取部110将包括表示被操作的键、开关的数据和表示操作“有”的数据的操作数据输出给控制部140。另外,例如由于方向键16能够向4个方向操作,所以输入信息获取部110若检测到方向键16的操作,则将表示方向键16的数据和表示操作方向的数据输出给控制部140。
在检测到对触控板14的操作的情况下,输入信息获取部110检测在触控板14中被接触操作的位置(操作位置)。输入信息获取部110将包括表示操作位置的数据和表示被操作的操作件是触控板14这一情况的数据的操作数据输出给控制部140。该操作数据例如包括将操作位置作为触控板14的操作区域中的相对位置来表示的数据。操作数据的具体形式任意。
存储部120是非易失性的存储装置,储存各种计算机程序。另外,也可以在存储部120中储存在HMD100的图像显示部20显示的图像数据。例如,存储部120存储包括HMD100的动作所涉及的设定值等的设定数据121、以及包括控制部140使图像显示部20显示的字符、图像的数据的内容数据123。
另外,控制部140与3轴传感器113、GPS115、通信部117以及声音识别部114连接。3轴传感器113(姿势检测部)是3轴的加速度传感器,控制部140能够获取3轴传感器113的检测值。GPS115具有天线(图示略),接收GPS(Global Positioning System:全球定位系统)信号,求出控制装置10的当前位置。GPS115将基于GPS信号求出的当前位置、当前时刻输出给控制部140。另外,GPS115也可以具备基于GPS信号所包含的信息获取当前时刻,并使控制装置10的控制部140所计时的时刻得到修正的功能。
通信部117执行遵循无线LAN(WiFi(注册商标))、Miracast(注册商标)等无线通信的标准的无线数据通信。另外,通信部117也能够执行遵循Bluetooth(注册商标)、Bluetooth Low Energy(蓝牙低功耗)、RFID、Felica(注册商标)等近距离无线通信的标准的无线数据通信。
在外部机器OA与通信部117无线连接的情况下,控制部140通过通信部117获取内容数据,进行用于将图像显示于图像显示部20的控制。另一方面,在外部机器OA与接口125有线连接的情况下,控制部140通过接口125获取内容数据,进行用于将图像显示于图像显示部20的控制。因而,以下,将通信部117以及接口125统称作数据获取部DA。
数据获取部DA从外部机器OA获取内容数据。数据获取部DA从外部机器OA获取HMD100显示的图像的数据。
声音识别部114从通过话筒63集音并通过后述的声音处理部190转换为数字数据后的数字声音数据提取特征并模型化。声音识别部114通过提取声音的特征并模型化,来分别识别多个人的声音,进行根据各声音确定出正在讲话的人的讲话人识别、将声音转换为文本的文本转换。另外,声音识别部114也可以是在声音识别的处理中能够识别声音数据的语言种类的构成。
控制部140具备CPU、ROM、RAM(图示略)等作为硬件。控制部140通过读出储存于存储部120的计算机程序并执行,来执行包括操作系统(OS)150的各部的功能。具体地说,控制部140作为图像处理部160、显示控制部170、操作检测部183、GUI控制部185以及声音处理部190发挥作用。
图像处理部160示出用于显示内容的垂直同步信号VSync、水平同步信号HSync、时钟信号PCLK、显示的图像的图像数据(图中的Data)。
通过图像处理部160的处理而显示的内容的图像数据除了可以经由接口125、通信部117接收外,也可以是通过控制部140的处理而生成的图像数据。例如,能够在游戏的应用程序的执行中,与操作部111的操作对应地生成图像数据并显示。
应予以说明的是,图像处理部160也可以根据需要对图像数据执行分辨率转换处理、亮度、饱和度的调整这样的各种色调修正处理、梯形修正处理等图像处理。
图像处理部160经由发送部51、52分别发送所生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、储存于存储部120内的DRAM的图像数据Data。应予以说明的是,也将经由发送部51发送的图像数据Data称作“右眼用图像数据”,也将经由发送部52发送的图像数据Data称作“左眼用图像数据”。发送部51、52作为用于控制装置10与图像显示部20之间的串行传输的收发机发挥作用。
显示控制部170生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体地说,显示控制部170通过控制信号分别独立地控制由右LCD控制部211控制的右LCD241的驱动开启/关闭、由右背光灯控制部201控制的右背光灯221的驱动开启/关闭。另外,显示控制部170分别独立地控制由左LCD控制部212控制的左LCD242的驱动开启/关闭、由左背光灯控制部202控制的左背光灯222的驱动开启/关闭。
由此,显示控制部170控制分别由右显示驱动部22以及左显示驱动部24进行的图像光的生成以及射出。例如,显示控制部170使右显示驱动部22以及左显示驱动部24这双方生成图像光,或者仅使一方生成图像光。另外,显示控制部170也能够使右显示驱动部22以及左显示驱动部24这双方均不生成图像光。
另外,显示控制部170经由发送部51和发送部52分别发送对右LCD控制部211的控制信号和对左LCD控制部212的控制信号。另外,显示控制部170将对右背光灯控制部201的控制信号发送给右背光灯控制部201,将对左背光灯控制部202的控制信号发送给左背光灯控制部202。
显示控制部170通过图像显示部20显示AR内容。AR内容包括在使用者隔着图像显示部20看对象物的状态下,与对象物被视觉确认的位置对应地显示的字符、图像。例如,以与透过图像显示部20看到的外景中的对象物即存在于实际空间的对象物重叠或者避开对象物的方式显示AR内容。显示控制部170通过进行在与对象物对应的位置显示图像、字符等的AR显示,提供与对象物相关的信息,或者改变隔着图像显示部20看到的对象物的姿势的观察方式。
AR内容的显示位置可以是与对象物重叠的位置,也可以是对象物的周围。对象物是物体就可,可以是建筑物的壁面等不能够移动的物体,也可以是自然物。
AR内容基于存储于存储部120的内容数据123或通过控制部140的处理而生成的数据来显示。这些数据能够包括图像数据、文本数据。
显示控制部170检测使用者视觉确认对象物的位置,以与检测到的位置对应的方式决定AR内容的显示位置。检测使用者视觉确认对象物的位置的方法任意,但在本实施方式中,显示控制部170根据相机61的拍摄图像数据检测位于使用者的视场的对象物。在解析拍摄图像数据并提取或者检测对象物的图像的处理中,使用与对象物的图像的形状、颜色、大小等相关的特征量的数据。这些数据能够包含于内容数据123。显示控制部170根据相机61的拍摄图像数据检测对象物的图像,基于检测出的对象物的图像与拍摄图像整体之间的位置关系,来确定相机61的拍摄范围中的对象物的位置。然后,显示控制部170基于相机61的拍摄范围与图像显示部20的显示区域之间的位置关系,来确定与对象物的位置对应的AR内容的显示位置。
声音处理部190获取内容所包含的声音信号,放大获取到的声音信号,并提供给与连结构件46连接的右耳机32内的扬声器(图示略)以及左耳机34内的扬声器(图示略)。应予以说明的是,例如在采用了Dolby(注册商标)系统的情况下,进行对声音信号的处理,从右耳机32以及左耳机34分别输出例如频率等改变了的不同的声音。
图像显示部20具备:接口25、右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、相机61、振动传感器65以及9轴传感器66。
振动传感器65利用加速度传感器来构成,被配置于图像显示部20的内部。振动传感器65例如在右保持部21中被内置于右光学像显示部26的端部ER的附近。振动传感器65在使用者进行了叩击端部ER的操作(敲击操作)的情况下,检测由该操作引起的振动,并将检测结果输出给控制部140。根据该振动传感器65的检测结果,控制部140检测使用者的敲击操作。
9轴传感器66是检测加速度(3轴)、角速度(3轴)以及地磁(3轴)的运动传感器。9轴传感器66被设置于图像显示部20,所以在图像显示部20被佩戴于使用者的头部时,控制部140能够基于9轴传感器66的检测值来检测使用者的头部的动作。由于根据检测出的使用者的头部的动作,能够明白图像显示部20的朝向,所以控制部140能够推定使用者的视线方向。
接口25具备连接右软线42和左软线44的连接器。接口25将从发送部51发送的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、图像数据Data输出给对应的接收部(Rx)53、54。另外,接口25将从显示控制部170发送的控制信号输出给对应的接收部53、54、右背光灯控制部201或者左背光灯控制部202。
另外,接口25是相机61、振动传感器65以及9轴传感器66的接口。利用振动传感器65检测的振动的检测结果、利用9轴传感器66检测的加速度(3轴)、角速度(3轴)、地磁(3轴)的检测结果经由接口25被发送给控制装置10的控制部140。
右显示驱动部22具备:接收部53、作为光源发挥作用的右背光灯(BL)控制部201以及右背光灯(BL)221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、以及右投影光学系统251。右背光灯控制部201和右背光灯221作为光源发挥作用。右LCD控制部211和右LCD241作为显示元件发挥作用。应予以说明的是,也将右背光灯控制部201、右LCD控制部211、右背光灯221以及右LCD241统称为“图像光生成部”。
接收部53作为用于控制装置10与图像显示部20之间的串行传输的接收器发挥作用。右背光灯控制部201基于输入的控制信号来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右LCD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据Data来驱动右LCD241。右LCD241是将多个像素配置成矩阵状的透射式液晶面板。
右投影光学系统251由使从右LCD241射出的图像光成为平行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光沿规定的光路反射并引导至使用者的右眼RE。
左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24具备:接收部54、作为光源发挥作用的左背光灯(BL)控制部202以及左背光灯(BL)222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、以及左投影光学系统252。左背光灯控制部202和左背光灯222作为光源发挥作用。左LCD控制部212和左LCD242作为显示元件发挥作用。另外,左投影光学系统252由使从左LCD242射出的图像光成为平行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投影光学系统252输出的图像光沿规定的光路反射并导入至使用者的左眼LE。
控制部140通过图像显示部20除了能够显示AR内容外,也能够显示GUI(Graphical User Interface:图形用户接口)。GUI控制部185控制由图像显示部20进行的GUI的显示,显示包括作为GUI操作用的指标(GUI操作的操作位置的指标)的标记、指针(包括所谓的鼠标指针)、图标等图像、字符的GUI目标。GUI目标相当于本发明的显示目标。
GUI控制部185与操作部111的操作对应地更新GUI目标的显示状态。在本实施方式中,GUI控制部185与触控板14上被操作的操作位置对应地显示指针。图像显示部20的显示区域中的指针的显示位置与触控板14中的操作位置被预先建立对应。GUI控制部185若被从操作检测部183输入触控板14的操作位置的坐标,则在与所输入的操作位置对应的显示位置显示指针,或者变更显示中的指针的显示位置。
操作检测部183基于从输入信息获取部110输入的操作数据,检测对操作部111的各操作件进行的操作,并与操作对应地决定控制部140执行的处理。
操作检测部183解析操作数据,在被操作的操作件为决定键11、显示切换键13、亮度切换键15、菜单键17或电源开关18的情况下,选择与这些操作对应的处理。针对决定键11的操作,针对通过GUI控制部185的控制而显示的菜单画面等的决定处理被选择。在显示切换键13被操作了的情况下,切换显示的画面的处理被选择。例如,操作检测部183选择依次切换包括通过GUI控制部185的控制显示画面的状态和显示内容数据123的状态的多个显示状态的处理。在亮度切换键15被操作了的情况下,调整图像显示部20中的显示亮度的处理被选择。具体地说,显示控制部170控制图像处理部160来使输出至右显示驱动部22以及左显示驱动部24的图像数据的亮度变化的处理被选择。或者,显示控制部170变更右背光灯控制部201、左背光灯控制部202的亮度的处理被选择。
在方向键16被操作了的情况下,操作检测部183与方向键16的操作方向对应地选择对通过GUI控制部185的控制而显示的菜单画面等的处理等。在电源开关18被操作了的情况下,操作检测部183选择使HMD100的电源断开的关机处理、或者使HMD100的电源接通的起动程序。
在触控板14被操作了的情况下,操作检测部183与触控板14的操作位置的坐标对应地求出GUI控制部185进行显示处理的坐标。
在本实施方式中,GUI控制部185与触控板14的操作位置对应地显示显示目标。另外,GUI控制部185与触控板14的操作对应地变更显示目标的显示位置。因此,若操作控制装置10的使用者(用户、操作者)进行与触控板14接触的操作(触摸操作),则显示于图像显示部20的显示目标的显示位置移动。
图3是表示与触控板14的操作对应的HMD100的动作的说明图,示出触控板14的操作例。
例如如图3所示,对触控板14的操作有使手指等在与触控板14接触的状态下移动的操作。图3所例示的操作是如下操作:使用者的手H在操作位置A1与触控板14接触,在维持接触状态的状态下,手H从操作位置A1移动至操作位置A2。在该例子中,手H被用作操作体。如在图3中以附图标记X、Y表示的那样,在本实施方式中,设定将触控板14的左上角作为基准位置(例如原点)的X-Y正交坐标。输入信息获取部110若检测到对触控板14的手H的接触,则生成表示手H接触的位置即操作位置的操作数据并输出。操作检测部183基于从操作部111输入的操作数据来获取或者确定操作位置的X坐标、Y坐标。
在此,输入信息获取部110生成并输出的操作数据也可以包括操作位置的X坐标、Y坐标。另外,输入信息获取部110也可以为生成用于确定触控板14中的操作位置的模拟检测值或者数字数据并输出的构成。在这种情况下,操作检测部183进行基于输入信息获取部110输出的模拟检测值或者数字数据求出操作位置的X坐标以及Y坐标的处理。
操作检测部183基于操作位置的坐标生成输入数据。输入数据是将由触控板14的操作输入的位置转换为操作系统150具有的输入平面中的位置后的数据。
在本实施方式中,操作系统150为了接受二维的位置输入操作而设定虚拟的输入平面。操作检测部183基于输入信息获取部110输出的操作数据生成表示操作系统150的输入平面中的位置(以下称为输入位置)的输入数据。在以下的说明中,将该虚拟的输入平面设为虚拟输入平面IP。操作检测部183将表示虚拟输入平面IP中的输入位置的输入数据输出给GUI控制部185。应予以说明的是,虚拟输入平面IP并不局限于由操作系统150规定。例如,考虑对在操作系统150上动作的应用程序或者与描述应用程序的编程语言对应地定义坐标系的构成。在这种情况下,能够设定与定义的坐标系对应的虚拟输入平面IP,也能够在控制部140生成与它们对应的输入数据并输出的构成中应用本发明。
另外,虚拟输入平面IP不仅限于在接受二维的位置输入的情况下能够使用。例如,考虑包括操作系统150的控制装置10接受三维的位置输入的构成。在该构成中,控制装置10也可以是能够检测虚拟输入平面IP内的二维的位置输入、以及以虚拟输入平面IP为基准且例如将与虚拟输入平面IP垂直的方向作为坐标轴的位置输入的构成。在这种情况下,控制装置10能够将虚拟输入平面IP作为基准,接受三维的位置输入并执行处理。
将操作触控板14时的操作体(例如手H)的动作称作手势。手势有与触控板14接触的动作、如图3所示那样操作体在接触的状态下移动的动作、以及叩击(敲击)触控板14的动作等。在本实施方式中,将操作体如图3所示那样在与触控板14的接触的状态下移动的动作称作滑动手势。
在触控板14为能够检测对多个位置的同时操作的多触摸对应型的情况下,能够进行多个操作体与触控板14接触且这些多个操作体的接触位置移动的手势。
图4是表示与触控板14的操作对应的指针P的移动的例子的说明图。另外,图5是表示与触控板14的操作对应的指针P的移动的例子的说明图。
GUI控制部185与由操作检测部183生成的输入数据确定的位置对应地如图4所示那样显示指针P。在图4中,示出佩戴图像显示部20的使用者的视场VR,以附图标记D表示右显示驱动部22、左显示驱动部24能够显示图像的可显示区域。应予以说明的是,在本实施方式中,图像显示部20的右显示驱动部22以及左显示驱动部24中的任意一个均进行相同的显示,因此,在图4中不区分右显示驱动部22和左显示驱动部24。图5、图6以及图8也相同。
GUI控制部185通过控制显示控制部170以及图像处理部160来在可显示区域D显示指针P。指针P针对GUI的操作用而被显示,并且是表示显示区域中的操作对象位置的指标。指针P是显示目标的一个例子。指针P的形状也可以不是圆形,四边形、三角形等几何图形、记号、箭头等指针P的形状和尺寸不被限制。
在图3的例子中,在手H的位置从操作位置A1向操作位置A2移动的期间,输入信息获取部110以预先设定的取样周期检测触控板14中的操作位置。因此,输入信息获取部110根据取样周期输出表示触控板14中的操作位置的操作数据。操作检测部183例如每当输入信息获取部110输出操作数据时,生成与操作数据对应的输入数据,并输出给GUI控制部185。GUI控制部185求出与输入数据表示的输入位置对应的指针P的显示位置,并使指针P显示于所求出的显示位置。其结果是,与手H从图3的操作位置A1移动至操作位置A2的操作对应地,GUI控制部185如图4所示那样,使指针P从与操作位置A1对应的显示位置B1移动至与操作位置A2对应的显示位置B2。在图4的例子中,GUI控制部185反复执行在显示位置B1与显示位置B2之间的多个位置显示指针P的处理。
在对输入操作的通常处理中,触控板14中的操作位置的坐标、虚拟输入平面IP中的输入位置的坐标、以及可显示区域D中的显示位置的坐标被预先建立对应。GUI控制部185求出与可显示区域D上的坐标对应的右LCD241以及左LCD242中的显示位置,并在该显示位置显示指针P的图像。由此,指针P的显示位置与操作对应地移动。
如参照图1所说明的那样,控制装置10是使用者携带的装置,将触控板14大型化并不容易,因此,与使用者在视场VR中视觉确认的可显示区域D的大小相比,触控板14较小。
因此,在本实施方式中,通过操作检测部183的处理,使触控板14中的操作位置与可显示区域D的显示位置之间的对应关系变化。
在对输入操作的通常处理中,操作检测部183生成表示与在触控板14中实际检测出的操作位置对应的输入位置的输入数据,并移交给GUI控制部185。因此,与图3所示的从操作位置A1至操作位置A2的操作对应地,GUI控制部185从图4的显示位置B1至显示位置B2显示指针P。
操作检测部183能够与滑动手势对应地进行与通常处理不同的输入处理。在该输入处理中,操作检测部183除了生成表示与操作数据所包含的坐标对应的输入位置的输入数据外,还生成表示不与操作数据所包含的坐标对应的输入位置的输入数据。具体地说,操作检测部183以在触控板14中的操作位置不移动的状态下,输入位置在虚拟输入平面IP上移动的方式生成输入数据,并输出给GUI控制部185。在这种情况下,操作检测部183连续地多次生成输入数据,并使各输入数据中的输入位置为不同的位置。在这种情况下,GUI控制部185显示指针P的位置与虚拟输入平面IP中的输入位置相匹配地移动。无论是通常处理,还是与通常处理不同的输入处理,GUI控制部185的动作均相同。
在这种情况下,与图3所示的手H从操作位置A1移动至操作位置A2的操作对应地,GUI控制部185如图5所示那样使指针P的显示位置从显示位置B1向显示位置B3移动。显示位置B1~B3间的距离比图4所示的显示位置B1~B2间的距离长。换句话说,在通常处理中,指针P的显示位置的移动量与手H在触控板14动作的量对应,但HMD100能够与手H在触控板14上移动的量相比,使指针P较大地移动。
图6是表示触控板14、虚拟输入平面IP以及可显示区域D的对应关系的示意图。
在本实施方式中,操作系统150虚拟地设定的虚拟输入平面IP被定义为与触控板14平行的面。因此,触控板14中的由X轴以及Y轴构成的正交坐标和虚拟输入平面IP中的由X轴以及Y轴构成的正交坐标系能够相互重叠。另外,可显示区域D被定义为与虚拟输入平面IP平行的面。因此,虚拟输入平面IP中的由X轴以及Y轴构成的正交坐标系和可显示区域D中的由X轴以及Y轴构成的正交坐标能够相互重叠。
触控板14、虚拟输入平面IP以及可显示区域D的尺寸也可以不同。另外,触控板14中的操作位置A的坐标的分辨率、虚拟输入平面IP中的输入坐标IA的坐标的分辨率以及可显示区域D中的显示位置B的分辨率也可以不同。
在该构成中,操作检测部183能够根据运算式、函数、矩阵等将触控板14中的操作位置的坐标转换为虚拟输入平面IP中的输入位置的坐标。同样地,GUI控制部185能够将虚拟输入平面IP中的输入位置的坐标转换为可显示区域D中的显示位置的坐标。该转换所需要的运算式、函数、矩阵、参数等例如能够以包含于设定数据121的形式预先存储于存储部120。
如上述那样,在手H从触控板14的操作位置A1移动至操作位置A2的情况下,操作检测部183生成输入位置从与操作位置A1对应的输入位置IA1移动至与操作位置A2对应的输入位置IA2的输入数据。在这种情况下,GUI控制部185在与输入位置IA1对应的显示位置B1显示指针P,并使指针P的显示位置移动至与输入位置IA2对应的显示位置B2。在此,操作检测部183能够在手H停止在操作位置A2的期间,生成从输入位置IA2向输入位置IA3移动的输入数据。实际上,操作检测部183将与操作位置A1对应的输入位置IA1作为初始位置,决定从该初始位置起的输入位置的移动方向和移动量,并以与决定出的移动方向和移动量对应的方式连续地生成输入数据。在此,操作检测部183也可以在决定出输入位置的移动方向和移动量后,先计算出作为输入位置的移动的结束位置的输入位置IA3的坐标。在这种情况下,GUI控制部185使指针P的显示位置从显示位置B1移动至与输入位置IA3对应的显示位置B3。
操作检测部183解析从输入信息获取部110输入的操作数据,并基于触控板14的操作位置的移动方向来决定输入位置的移动方向。另外,操作检测部183基于触控板14的操作位置的移动量、移动速度以及触控板14的操作时间中的至少任意一个来决定输入位置的移动量。例如,操作检测部183也可以在根据触控板14中的操作位置停止而确定出操作位置的移动量后,求出输入位置的移动量。在这种情况下,操作检测部183也可以在至触控板14中的操作位置停止为止的期间,将输入位置维持在初始位置并生成输入数据。或者,也可以根据输入信息获取部110的取样周期求出与触控板14的操作位置对应的输入位置并生成输入数据。
另外,例如,操作检测部183也可以在检测到手H对触控板14的接触的这一状况后,基于至检测到接触解除了这一状况为止的时间,来求出输入位置的移动量。在这种情况下,操作检测部183也可以在至触控板14的接触解除为止的期间,将输入位置维持在初始位置并生成输入数据。或者,也可以根据输入信息获取部110的取样周期求出与触控板14的操作位置对应的输入位置并生成输入数据。
另外,例如,操作检测部183也可以在输入信息获取部110检测到触控板14的操作后,求出规定时间以内的操作位置的移动速度,并求出与求出的移动速度对应的输入位置的移动量。该规定时间被预先设定,例如包含于设定数据121被存储至存储部120。在这种情况下,操作检测部183也可以在上述规定时间内维持与触控板14的操作位置的初始位置对应的输入位置并生成输入数据。或者,也可以根据输入信息获取部110的取样周期求出与触控板14的操作位置对应的输入位置并生成输入数据。
另外,例如,操作检测部183也可以在输入信息获取部110检测到触控板14的操作后,求出规定时间以内的操作位置的移动方向,并设定与求出的移动方向对应的输入位置的移动方向。该规定时间被预先设定,例如包含于设定数据121被存储至存储部120。
在这种情况下,操作检测部183也可以不限制输入位置的移动量,以预先设定的移动速度或者与操作位置的移动速度对应的输入位置的移动速度来使输入位置移动的方式生成输入数据。在这种情况下,操作检测部183在直至触控板14中的接触解除为止的期间,继续输入位置以设定的移动方向以及移动速度移动的输入数据的生成以及输出。生成输入数据并输出的周期可以是预先设定的周期,也可以基于输入信息获取部110的取样周期。并且,操作检测部183在输入信息获取部110检测到触控板14中的接触的解除的定时,停止输入数据的生成以及输出。
在它们中的任意一种情况下,操作检测部183在直至作为操作体的手H从触控板14离开为止的期间,继续进行生成输入数据的处理,所以GUI控制部185在可显示区域D使指针P的显示位置持续移动。
通过使用者有意图地进行滑动手势,能够与实际的操作体的移动量相比,使指针P较大地移动。另外,能够通过使操作体从触控板14离开来使指针P停止,能够高精度地控制指针P的停止位置。
图7是表示HMD100的动作的流程图,表示相对于触控板14的操作来控制指针P的显示位置的动作。
控制部140若基于从输入信息获取部110输入的操作数据而检测到对触控板14的触摸操作(步骤S11),则获取操作位置的坐标(步骤S12)。控制部140进行操作位置是否移动、即是否符合滑动手势的判定(步骤S13)。例如,在预先设定的时间内操作位置的坐标进行了阈值以上的变化的情况下,能够判定为滑动手势,滑动手势的判定的条件能够包含于设定数据121来进行存储。
在判定为不是滑动手势的情况下(步骤S13;否),控制部140与触控板14上的操作位置对应地使指针P显示(步骤S14)。在步骤S14中,控制部140生成与操作位置对应的输入数据,使指针P显示于或者使指针P的显示位置移动至该输入数据表示的位置。在步骤S14的处理后,控制部140结束本处理。在处理的结束后,控制部140等待对触控板14的接触操作。
在判定为对触控板14的操作为滑动手势的情况下(步骤S13;是),控制部140进行待机,直至操作位置停止(步骤S15)。在该待机中,控制部140基于从输入信息获取部110输入的操作数据继续进行操作位置的检测。
在操作位置停止的情况下(步骤S15;是),控制部140为了生成与滑动手势对应的输入数据,计算输入数据的移动参数(步骤S16)。输入数据的移动参数例如包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据。
步骤S15的“操作位置停止的情况”并不局限于触控板14中的操作位置静止的情况,也包括操作位置在预先设定的阈值的范围内移动的情况。控制部140将输入信息获取部110以取样周期检测的触控板14的操作位置的坐标不变化的情况、以及坐标的变化量在预先设定的阈值的范围内的情况均判定为停止。另外,由于输入信息获取部110以取样周期检测触控板14的操作位置的坐标,所以也可以在连续的规定次数的检测动作中检测出的操作位置的坐标在阈值的范围内的情况下,判定为操作位置停止。
例如,控制部140将输入位置的移动方向设定为与在步骤S11~S15中检测出的滑动手势的移动方向相同的方向。相对于触控板14的滑动手势的方向并不局限于图3所示的X方向,也可以是Y方向、倾斜方向,若是触控板14的面内的移动,则不受限制。输入位置的移动方向与滑动手势的方向对应即可,是虚拟输入平面IP内的方向即可。因此,操作检测部183与触控板14的操作位置的移动方向对应地决定的输入位置的移动方向也可以是与操作位置的移动方向不一致的方向。
另外,例如,控制部140将输入位置的移动速度设定为与在步骤S11~S15中检测出的滑动手势的移动量(操作量)对应的速度。例如,控制部140以滑动手势的移动量越大,输入位置的移动速度越高的方式设定移动速度。另外,也可以使输入位置的移动速度恒定。在这种情况下,控制部140将预先设定的默认的移动速度设定为输入位置的移动速度。默认的移动速度被预先设定,例如包含于设定数据121。
控制部140根据在步骤S16中设定的移动参数开始输入数据的生成,并基于生成的输入数据开始使右显示驱动部22以及左显示驱动部24显示指针P的处理(步骤S17)。在步骤S17之后,在控制部140生成的输入数据中,输入位置移动,图像显示部20显示的指针P的显示位置移动。之后,控制部140继续以规定周期(例如输入信息获取部110的取样周期)生成输入数据的处理。另外,控制部140继续基于生成的输入数据使指针P的显示位置移动的处理。
在指针P的显示位置移动的期间,控制部140监视对触控板14的接触的解除(步骤S18)。在判定为对触控板14的接触未解除的情况下(步骤S18;否),继续输入数据的生成和指针P的显示位置的移动。
控制部140若检测到解除了对触控板14的接触(步骤S18;是),则停止输入数据的生成,由此使指针P的移动停止(步骤S19),结束本处理。
该图7所示的动作不仅能够应用于指针P的移动,例如也能够应用于环状的UI。
图8是表示相对于触控板14的操作使环式UI(User Interface)的显示转移的例子的说明图。
环式的UI是将多个画面、或者图像、字符等显示目标配置成环状,并较大地显示处于环的特定位置的画面或显示目标的接口。在可显示区域D显示模拟了俯看以环状配置的多个显示目标整体的状态后的图像。通过该显示,使用者能够通过可显示区域D看到构成环式UI的各显示目标的配置以及处于特定位置的显示目标的内容。
在图8的例子中,准备画面M1~M6这6个画面作为显示用的画面,与向左右方向的操作对应地,画面M1~M6按顺序被图像显示部20放大显示。另外,画面M1~M6即能够向图中右方向按顺序切换显示,也能够向左方向按顺序切换显示。
GUI控制部185能够与触控板14的滑动手势对应地将画面M1~M6按顺序切换显示。即,GUI控制部185获取操作检测部183生成的输入数据,使环式的UI向与输入数据所包含的输入位置的变化对应的方向旋转,来按顺序显示画面M1~M6。如图6所例示的那样,操作检测部183生成的输入数据是以X-Y坐标系的坐标表示输入位置的二维的数据。在这种情况下,GUI控制部185也可以运算输入位置的X坐标的变化和Y坐标的变化这双方,来求出在环式UI中移动的画面的个数、移动方向。另外,GUI控制部185也可以基于输入位置的X坐标与Y坐标中的任意一方来求出在环式UI中移动的画面的个数、移动方向。
在图8的环式的UI中,各个画面M1~M6相当于本发明的显示目标,GUI控制部185与触控板14的操作对应地使各画面M1~M6的显示位置移动。另外,若应用图7的动作,则在检测到触控板14的滑动手势的情况下,画面M1、M2、M3…被依次切换,直至触控板14的接触解除为止继续画面的切换。并且,若使用者使操作体从触控板14离开,则画面的切换停止。像这样,并不局限于指针P的显示位置的移动,应用本发明也能够实现触控板14的操作性的提高。另外,在采用图8的环式的UI的情况下,GUI控制部185也可以将画面M1~M6中的、显示于特定的位置的画面作为操作对象。特定的位置例如是显示画面的中央,比其它的画面大且显示于使用者的正面的画面成为操作对象。在这种情况下,与对触控板14的操作的方向对应地,操作对象的画面的显示位置移动,其它的画面的显示位置根据操作对象的画面的显示位置的变化而适当地移动。
本实施方式的控制部140在判定为对触控板14的操作不是滑动手势的情况下(步骤S13;否),生成表示与触控板14上的操作位置对应的输入位置的输入数据。由此,在与触控板14上的操作位置对应的可显示区域D的显示位置显示指针P(步骤S14)。像这样,在本实施方式中,作为一个例子,输入信息获取部110检测的触控板14中的操作位置的坐标转换为虚拟输入平面IP中的输入位置。换句话说,触控板14作为输入绝对坐标的设备发挥作用。HMD100的构成并不局限于此。例如,输入信息获取部110也可以将触控板14中的操作位置的变化作为检测值输出给控制部140。在这种情况下,控制部140也可以生成表示与触控板14的操作位置的变化量对应的输入位置的变化的输入数据。换句话说,也可以是触控板14与鼠标等同样地作为输入相对位置的输入设备来发挥作用的构成。
如以上说明的那样,应用了本发明的第一实施方式的HMD100具备使使用者视觉确认图像并且使外景透过的图像显示部20。HMD100具备:检测对触控板14的操作的输入信息获取部110、以及在图像显示部20显示指针P等操作对象的显示目标的控制部140。控制部140与输入信息获取部110检测的对触控板14的操作位置的变化对应地使指针P的显示位置移动。控制部140在输入信息获取部110检测到符合预先设定的结束条件的操作的情况下,使指针P的显示位置的移动停止。若进行其它的表现,则控制部140以作为显示目标的指针P保持惯性的方式使指针P的显示位置移动,直至对作为操作面的触控板14的操作结束为止。因此,能够与触控板14中的操作位置的移动量相比,使指针P较大地移动,能够缓和由触控板14的大小引起的操作性的制约。并且,能够容易地控制将指针P的移动停止的位置,能够实现操作性的提高。
在本实施方式中,控制部140在输入信息获取部110检测到对触控板14的接触的情况下检测操作位置。并且,控制部140在输入信息获取部110检测到操作体从触控板14离开从而接触解除了的这一状况的情况下,判定为符合结束条件,停止输入数据的生成。由此,使用者能够容易地指示使指针P的显示位置的移动开始以及停止的定时,所以能够实现更进一步的操作性的提高。
另外,控制部140将指针P的显示位置的移动方向设定为与触控板14中的操作位置的移动方向对应的方向。因此,使用者能够使指针P向所意图的方向移动,能够实现操作性的提高。
另外,控制部140在检测到对触控板14的滑动手势的操作后进行求出指针P的移动方向的处理,之后使指针P移动,所以能够使指针P向适当的方向移动。
在本实施方式中,控制部140也可以在输入信息获取部110在步骤S11中检测到对触控板14的操作后,在步骤S16进行求出指针P的显示位置的移动方向的处理的期间,使指针P移动。在此,控制部140使指针P向与触控板14的操作位置对应的显示位置移动。在这种情况下,在进行求出指针P的移动方向的处理的期间也使指针P适当地移动,由此使用者能够没有不协调感地进行操作。另外,能够与短时间的操作或操作位置的移动量较小的操作对应地使指针P移动。这种情况下的指针P的移动通过使指针P向与触控板14的操作位置对应的可显示区域D的显示位置移动的控制来实现即可。另外,控制部140也可以在输入信息获取部110检测到对触控板14的操作后,进行求出指针P的显示位置的移动方向的处理,然后使指针P的显示位置移动。在这种情况下,能够使指针P向适当的方向移动。
另外,控制部140也可以根据触控板14中的操作求出指针P的移动速度,并使指针P以求出的移动速度向移动方向移动。例如,控制部140也可以将指针P的显示位置的移动速度设定为与触控板14中的操作位置的移动量或移动速度对应的速度。在这种情况下,使用者能够控制指针P的移动速度,所以能够实现更进一步的操作性的提高。
另外,控制部140在检测到触控板14中的操作位置的移动后,直至操作结束为止,使指针P移动,所以触控板14例如也可以比图像显示部20显示图像的区域小。触控板14是控制部140能够检测操作位置的移动的方向的尺寸即可,换句话说,能够与触控板14的尺寸相比,使指针P较大地移动。因此,在HMD100的构成中,即使触控板14较小,也能够使指针P任意地移动,能够实现操作性的提高。另外,有HMD100的构成的自由度提高的优点。
在HMD100中,控制部140根据由输入信息获取部110检测的操作生成针对虚拟输入平面IP的输入数据。控制部140在输入信息获取部110在触控板14中检测到操作位置移动的操作的情况下,与操作对应地开始虚拟输入平面IP中的输入数据的生成。控制部140在输入信息获取部110检测到符合预先设定的结束条件的操作的情况下,停止输入数据的生成。由此,能够超越触控板14的大小的制约地生成操作系统150的针对虚拟输入平面IP的输入数据。在本实施方式中,基于输入数据使指针P的显示位置移动,所以能够以较高的自由度控制指针P的显示位置的移动量。因此,能够缓和由触控板14的大小引起的操作性的制约。
能够将控制部140生成的输入数据设为包括虚拟输入平面IP中的输入位置、虚拟输入平面IP内的输入位置的移动方向、以及虚拟输入平面IP内的输入位置的移动速度中的至少任意一个的构成。由此,能够通过对触控板14的操作,输入虚拟输入平面IP中的输入位置、输入位置的移动方向或者输入位置的移动速度。
另外,控制部140也可以根据输入信息获取部110检测的操作位置的移动量或移动速度来设定输入数据所包含的输入位置的移动方向以及输入位置的移动速度中的至少任意一个。在这种情况下,能够通过对触控板14的操作来控制输入位置、输入位置的移动方向或者输入位置的移动速度。
另外,控制部140也可以在输入信息获取部110检测到对触控板14的接触解除了的这一状况的情况下,判定为符合结束条件,并停止输入数据的生成。根据该构成,使用者能够容易地指示使输入数据的生成开始以及停止的定时,所以能够实现更进一步的操作性的提高。
另外,如图6所示那样,在HMD100中,虚拟输入平面IP与显示部20中的可显示区域D(显示区域)建立对应。控制部140能够与输入数据对应地控制显示于图像显示部20的作为操作对象的显示目标的指针P的显示位置。由此,能够根据对触控板14的操作使指针P的显示位置移动,能够以较高的自由度控制显示位置的移动量。
[第二实施方式]
图9是表示应用了本发明的第二实施方式所涉及的HMD100的动作的流程图。
在本第二实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
图9所示的动作的步骤S11~S19与上述第一实施方式相同。
在第二实施方式中,控制部140在步骤S17中开始输入数据的生成以及指针P的显示位置的移动后,在触控板14中的操作位置变化了的情况下,变更指针P的显示位置的移动参数。
与第一实施方式相同,控制部140在开始输入数据的生成后监视对触控板14的接触的解除(步骤S18)。在此,在对触控板14的接触未解除的期间(步骤S18;否),控制部140继续输入数据的生成,由此,指针P的显示位置继续移动。在此期间,触控板14中的操作位置是在步骤S15中判定为停止后能够视为停止的状态。
在对触控板14的接触未解除的情况下(步骤S18;否),控制部140判定触控板14的操作位置是否向相反方向移动(步骤S21)。“相反方向”是指与在步骤S13中检测出的触控板14的操作位置的移动方向、或者在步骤S16中设定的输入位置的移动参数相反的方向。另外,“相反方向”并不局限于X轴方向以及Y轴方向的分量完全是相反的方向的情况。例如,能够将X轴方向以及Y轴方向的分量相对于完全相反的方向而处于规定范围内的方向包含于“相反方向”。换句话说,在步骤S21中,也可以在触控板14中的操作位置在能够视为相反方向的范围内移动了的情况下,判定为向相反方向移动。另外,也可以将相对于在步骤S13中检测出的触控板14的操作位置的移动方向、或者在步骤S16中设定的输入位置的移动参数所表示的移动方向具有规定角度以上的方向的差别的操作判定为相反方向的移动。另外,在步骤S21中,也可以进行基于触控板14的操作位置的移动量的判定。例如,也可以为在操作位置的移动量比预先设定的阈值小的情况下,不判定为相反方向的移动的构成。
控制部140在判定为触控板14的操作位置向相反方向移动了的情况下(步骤S21;是),更新(变更)与输入位置的移动速度相关的移动参数(步骤S22)。在该步骤S22后,控制部140基于更新后的移动参数来执行输入数据的生成,使指针P的显示位置移动。在步骤S22后,控制部140返回至步骤S18。另外,在触控板14的操作位置未向相反方向移动的情况下(步骤S21;否),控制部140返回至步骤S18。
在步骤S22中,例如能够阶段性地变更输入位置的移动速度,能够使移动速度降低一个阶段。在这种情况下,每当控制部140检测到一次使操作位置向相反方向移动的操作,输入位置的移动速度降低一个阶段。与输入数据中的输入位置的移动速度的变化对应地,指针P的移动速度阶段性地变化。由此,使用者能够容易地控制指针P的移动速度。
像这样,通过控制部140根据指针P的移动中的触控板14的操作位置的变化来使指针P的移动速度变化,使用者能够更加细致地控制指针P的移动速度。
在第二实施方式中,对控制部140在判定为操作体的操作位置向相反方向移动了的情况下,使输入数据中的输入位置的移动速度为低速,使作为显示目标的指针P的移动速度向低速变化的例子进行了说明。在这种情况下,也可以在使输入位置的移动速度变化后,在触控板14的操作位置向正方向移动了的情况下,使输入位置的移动速度复原。另外,也可以没有次数的限定,每当检测到操作位置的正方向的移动时将输入位置的移动速度增速,每当检测到操作位置的相反方向的移动时将输入位置的移动速度减速。另外,在输入信息获取部110以及控制部140能够检测在触控板14中操作体接触的区域的面积的构成中,也可以根据接触的面积的变化使输入位置的移动速度变化。例如,也可以在接触面积变小的情况下使输入位置的移动速度减速。另外,也可以在接触面积变大的情况下使输入位置的移动速度增速。在这些情况下,若以变更输入位置的移动速度的方式更新移动参数,则指针P的移动速度变化,所以能够通过使用者的操作容易地控制指针P的移动速度。除此之外,根据对触控板14的操作方式来使使输入位置移动的速度变化的具体的方式能够任意地变更。
并且,作为本第二实施方式的变形例,也可以与使控制装置10动作的操作对应地使输入数据中的输入位置的移动速度变化。
如图2所示那样,控制装置10具备3轴的加速度传感器即3轴传感器113。
操作检测部183在步骤S16中开始输入数据的生成后,例如以预先设定的取样周期获取3轴传感器113的检测值,检测控制装置10的姿势的变化。在HMD100中,设定为在使控制装置10向第一方向动作的情况下,使指针P的移动速度增大,在向第二方向动作的情况下,使指针P的移动速度降低。详细而言,与第一方向的动作对应的3轴传感器113的检测值或检测值的范围被预先设定。对于第二方向也相同。第一方向以及第二方向是操作检测部183能够基于3轴传感器113的检测值进行区别的2个方向即可,也可以是相反方向。另外,第一以及第二方向可以是使控制装置10线性地移动的方向,也可以是使控制装置10旋转的方向。控制装置10的旋转方向能够任意地设定,可以是以3轴传感器113的检测轴为中心的旋转,也可以是以不与检测轴平行的轴为中心的旋转。
在此,操作检测部183也可以仅限在操作位置停止的期间执行根据3轴传感器113的检测值更新移动参数的处理。换句话说,操作检测部183也可以仅限在判定为操作位置停止(步骤S15;是)后至判定为触控板14的接触解除了(步骤S18;是)为止的期间执行上述处理。另外,也可以是操作检测部183在生成输入数据的期间执行上述处理的构成。
操作检测部183在基于3轴传感器113的检测值判定为进行了第一方向的操作或者第二方向的操作的情况下,进行与步骤S22相同的处理,更新与输入位置的移动速度相关的移动参数。
在该构成中,使用者能够在进行使操作体与触控板14接触的操作而使指针P移动的期间,通过使控制装置10动作,来使指针P的移动速度加速或者减速。
作为第二实施方式的又一其它的变形例,也可以使输入数据中的输入位置的移动速度与触控板14中的接触面积对应地变化。输入信息获取部110在操作体与触控板14接触的情况下,能够检测接触位置,也能够检测接触面积。
在这种情况下,能够为输入信息获取部110能够检测多个触控板14中的接触位置的构成。操作检测部183假定一个操作体接触了输入信息获取部110检测出的多个接触位置,并计算操作体接触的面积。换句话说,操作检测部183基于输入信息获取部110输出的操作数据计算接触面积。另外,也可以是输入信息获取部110能够检测触控板14中的接触面积的构成。在这种情况下,输入信息获取部110将表示触控板14中的接触面积的数据包含于操作数据并输出。
操作检测部183在步骤S16中开始输入数据的生成后,基于输入信息获取部110输出的操作数据来获取触控板14中的接触面积。在此,操作检测部183基于获取到的接触面积变更输入数据中的输入位置的移动速度。例如,也可以与操作检测部183获取的接触面积的大小对应地设定输入位置的移动速度。在这种情况下,操作检测部183将与输入位置的移动速度相关的输入数据的移动参数更新为与获取到的接触面积对应的值。另外,例如,操作检测部183也可以与获取到的接触面积的变化对应地更新移动参数。具体地说,操作检测部183计算触控板14中的接触面积的变化,在接触面积超过预先设定的阈值地增大的情况下,以将输入位置的移动速度增加预先设定的速度的方式更新移动参数。另外,操作检测部183在触控板14中的接触面积超过预先设定的阈值地缩小的情况下,以使输入位置的移动速度降低预先设定的速度的方式更新移动参数。
在此,操作检测部183也可以仅限在操作位置停止的期间能够执行根据触控板14中的接触面积更新移动参数的处理。换句话说,操作检测部183也可以仅限在判定为操作位置停止(步骤S15;是)后至判定为触控板14的接触解除了(步骤S18;是)为止的期间执行上述处理。另外,也可以是操作检测部183在生成输入数据的期间执行上述处理的构成。
在该构成中,使用者能够在进行使操作体与触控板14接触的操作而使指针P移动的期间,通过调整操作体与触控板14接触的面积,来使指针P的移动速度加速或者减速。例如,在使用使用者的手指、手等具有弹性的操作体的情况下,操作检测部183能够通过对将操作体按压于触控板14的力进行加减调整接触面积,来使指针P的移动速度加速或者减速。
[第三实施方式]
图10是表示第三实施方式所涉及的HMD100的操作的例子的说明图。图11是表示应用了本发明的第三实施方式所涉及的HMD100的动作的流程图。在第三实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
在第三实施方式中,对在开始指针P的移动后触控板14的操作位置移动的情况下,控制部140变更指针P的移动速度以及移动方向的例子进行说明。在第二实施方式中,对触控板14的操作位置被向相反方向操作了的情况下的动作进行了说明,在第三实施方式中,并不局限于相反方向,也能够应对操作位置向其他的方向移动了的情况。
图10表示触控板14中的操作位置的移动的样子。附图标记A11~A15表示使用者的手H(图3)等操作体与触控板14接触的接触位置即操作位置。附图标记AT1~AT4表示操作位置的移动的轨迹即移动操作。以下,参照图10以及图11的流程图对HMD100的动作进行说明。
步骤S11~S16的动作是与第一以及第二实施方式相同的动作。例如,控制部140在输入信息获取部110检测到从图10的操作位置A11至操作位置A12的操作AT1的情况下,在步骤S16中计算与操作AT1对应的移动参数。控制部140根据在步骤S16中设定的移动参数开始输入数据的生成,并基于生成的输入数据开始使右显示驱动部22以及左显示驱动部24显示指针P的处理(步骤S31)。
在步骤S31之后,在控制部140生成的输入数据中输入位置移动,图像显示部20显示的指针P的显示位置移动。在指针P的显示位置移动的期间,控制部140监视对触控板14的接触的解除(步骤S32)。控制部140若检测到对触控板14的接触解除了(步骤S32;是),则停止输入数据的生成,由此使指针P的移动停止(步骤S19),结束本处理。
另一方面,在判定为在指针P的移动中,对触控板14的接触未解除的情况下(步骤S32;否),控制部140判定触控板14中的操作位置是否移动了(步骤S33)。在步骤S33中,判定输入信息获取部110检测的操作位置是否从在步骤S15中判定停止的位置起移动了规定距离以上。在判定为操作位置未移动的情况下(步骤S33;否),控制部140返回至步骤S32。
在判定为操作位置移动了的情况下(步骤S33;是),控制部140待机,直至操作位置停止(步骤S34)。该待机中,控制部140基于从输入信息获取部110输入的操作数据继续进行操作位置的检测。在操作位置停止的情况下(步骤S34;是),控制部140计算与在步骤S33中检测出的操作位置的移动对应的输入数据的移动参数,并更新移动参数(步骤S35)。
控制部140返回至步骤S31,使用更新后的移动参数开始输入数据的生成。
例如,在进行图10所示的操作AT1且操作体在操作位置A12停止后,进行了操作体向操作位置A13移动的操作AT2的情况下,控制部140在步骤S35中生成与操作AT2对应的移动参数。在这种情况下,控制部140基于从操作位置A12向操作位置A13的移动方向、移动速度、移动量中的至少任意一个来设定输入位置的移动方向以及/或者移动速度。输入位置的移动量由直至操作AT2停止为止的时间决定。在此,控制部140也可以基于操作AT2的移动速度或者移动量来计算输入位置的移动量。
像这样,操作检测部183能够在操作位置在第一停止位置停止,之后移动至第二停止位置并停止的情况下,基于从第一停止位置至第二停止位置的移动方向、移动速度以及移动量中的至少任意一个来生成输入数据。第一停止位置例如相当于操作位置A11,第二停止位置相当于操作位置A12、A13或者A14。另外,在操作位置A12、A13、A14停止后,操作位置又向其它的位置移动了的情况下,也可以将操作位置A12、A13、A14作为第一停止位置来进行动作。
根据第三实施方式,在操作体在操作位置A12停止后,进行了向操作位置A14移动的操作AT3或者向操作位置A15移动的操作AT4等的情况下,与操作AT3、AT4对应地生成输入位置移动的输入数据。通过基于该输入数据显示指针P等显示目标,HMD100能够以反映了操作AT2、AT3、AT4的方向、速度使指针P的显示位置移动。
并且,由于能够反复执行步骤S33~S35的处理,所以例如在操作AT2后操作体从操作位置A13向其它的位置移动了的情况下,能够反映该移动来使指针P的显示位置变化。在这种情况下,也能够为不限制操作位置停止然后移动的动作的次数的构成。
像这样,HMD100在使用者进行在使操作体与触控板14接触的状态下使操作体移动的方向变化的操作的情况下,能够以追随操作体的移动的方向的变化的方式使指针P移动。
另外,在步骤S15、S34中,如果将用于判定为输入信息获取部110检测的操作位置停止的时间设定得较短,则使用者有意图地使操作体静止的时间也可以较短。对于在步骤S15、S34中进行判定的时间而言,至少输入信息获取部110能够进行多次操作位置的检测即可,例如,也可以短至与2次取样周期相当的时间。
[第四实施方式]
图12是表示应用了本发明的第四实施方式所涉及的HMD100的动作的流程图。在第四实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
在第四实施方式中,HMD100在对触控板14的接触操作在短时间内解除的情况下,将指针P的显示位置的移动量设定为规定量,由此,能够以短时间的操作使指针P的显示位置移动。
在图12中,步骤S12~S14的动作与上述的第一~第三实施方式相同。
控制部140在判定为对触控板14的操作为滑动手势的情况下(步骤S13;是),开始计时器的计数(步骤S41)。计时器能够作为通过程序实现的控制部140的一个功能来实现。控制部140进行待机,直至操作位置停止(步骤S15)。控制部140在该待机中,控制部140基于从输入信息获取部110输入的操作数据继续进行操作位置的检测。
在操作位置不停止的状态下、即在滑动手势继续的期间(步骤S15;否),控制部140监视对触控板14的接触的解除(步骤S42)。在判定为对触控板14的接触未解除的情况下(步骤S42;否),控制部140返回至步骤S15,进行操作位置的监视。
在此,控制部140若检测到触控板14的接触操作解除了(步骤S42;是),则判定在步骤S41开始计数的计数值是否为预先设定的设定值以上(步骤S43)。换句话说,判定从开始滑动手势至触控板14的接触解除为止的时间的计数值是设定值以上,还是比设定值小。设定值例如包含于设定数据121并存储于存储部120。
在计数值(计时计数器的值)为设定值以上的情况下(步骤S43;是),控制部140计算与滑动手势对应的输入数据的移动参数(步骤S44)。在步骤S44中计算出的移动参数例如与在后述的步骤S16中计算出的移动参数相同地,也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等。优选在步骤S44中计算并生成的移动参数包括表示移动量的数据。表示移动量的数据可以是预先设定的移动量的默认值,也可以是基于在步骤S43中判定的计数值而计算出的值,也可以是与滑动手势的操作位置的移动量、移动速度对应的移动量。在计算出移动参数后,控制部140转移至后述的步骤S48。控制部140也可以在步骤S44的处理之前或之后,进行停止在步骤S41开始的计数并将计数值复位的处理。
另外,在计数值比设定值小的情况下(步骤S43;否),控制部140基于预先存储于存储部120的基准值(图示略)计算输入数据的移动参数(步骤S45)。在步骤S45中生成的移动参数例如也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等,包括表示移动量的数据。输入位置的移动的开始位置以及输入位置的移动方向中的至少任意一个也可以基于输入信息获取部110检测出的滑动手势的操作位置、操作位置的移动方向来计算。输入位置的移动速度、移动量基于预先存储于存储部120的基准值来设定即可。在设定移动参数后,控制部140转移至后述的步骤S48。控制部140也可以在步骤S45的处理之前或之后,进行停止在步骤S41开始的计数并将计数值复位的处理。
另外,在操作位置停止的情况下(步骤S15;是),控制部140为了生成与滑动手势对应的输入数据,计算输入数据的移动参数(步骤S16)。如上述那样,在步骤S16中生成的输入数据的移动参数例如包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等。输入位置的移动方向例如被设定为与在步骤S11~S15中检测出的滑动手势的移动方向相同的方向。输入位置的移动速度例如被设定为与滑动手势的移动量(操作量)对应的速度、或者默认值。
控制部140根据在步骤S16中设定的移动参数开始输入数据的生成,并基于生成的输入数据开始使右显示驱动部22以及左显示驱动部24显示指针P的处理(步骤S17)。在步骤S17后,在控制部140生成的输入数据中,输入位置移动,图像显示部20显示的指针P的显示位置移动。之后,控制部140继续以规定周期(例如输入信息获取部110的取样周期)生成输入数据的处理。另外,控制部140继续基于生成的输入数据使指针P的显示位置移动的处理。
在指针P的显示位置移动的期间,控制部140监视对触控板14的接触的解除(步骤S18)。在判定为对触控板14的接触未解除的情况下(步骤S18;否),继续输入数据的生成和指针P的显示位置的移动。
控制部140若检测到对触控板14的接触解除了(步骤S18;是),则判定在步骤S41开始计数的计数值是否为预先设定的设定值以下(步骤S46)。该设定值例如包含于设定数据121并存储于存储部120即可,也可以是与步骤S43的设定值共用的值。
在计数值(计时计数器的值)比设定值大的情况下(步骤S46;否),控制部140停止输入数据的生成,由此使指针P的移动停止(步骤S19),结束本处理。控制部140也可以在步骤S19的处理之前或之后,进行停止在步骤S41开始的计数并将计数值复位的处理。
另外,在计数值为设定值以下的情况下(步骤S46;是),控制部140基于预先存储于存储部120的基准值(图示略)来计算输入数据的移动参数(步骤S47)。在步骤S47中,控制部140与步骤S45相同地,基于预先存储于存储部120的基准值来设定移动参数,并更新在步骤S16中计算出的移动参数。控制部140也可以在步骤S47的处理之前或之后,进行停止在步骤S41开始的计数并将计数值复位的处理。
控制部140执行根据移动参数生成输入数据的处理,由此,指针P的显示位置移动(步骤S48)。控制部140在以与移动参数所包含的移动量相当的量执行了生成输入数据的处理后,停止输入数据的生成并结束本处理。
根据第四实施方式,在操作体与触控板14接触的时间较短的情况下,能够以预先设定的移动量使指针P移动。因此,使用者能够通过进行使操作体与触控板14短时间接触的操作,来使指针P移动。因此,除了维持使操作体与触控板14接触的状态的操作外,还能够通过短时间接触触控板14的操作,来控制图像显示部20的显示,能够实现操作性的提高。
[第五实施方式]
图13是表示应用了本发明的第五实施方式所涉及的HMD100的动作的流程图。图14是表示应用了本发明的第五实施方式所涉及的HMD100的动作的流程图。在第五实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
在第五实施方式中,HMD100在根据对触控板14的接触操作来使指针P的显示位置移动的处理中,在接触操作解除后,在规定时间内再次进行了接触操作的情况下,将这些接触操作作为连续的操作来进行处理。
图13所示的步骤S11~S18的动作与上述的第一~第三实施方式相同。在第五实施方式中,控制部140在触控板14的操作位置不停止的状态下、即在滑动手势继续的期间(步骤S15;否),监视对触控板14的接触的解除(步骤S61)。在判定为对触控板14的接触未解除的情况下(步骤S61;否),控制部140返回至步骤S15,进行操作位置的监视。
控制部140若检测到触控板14的接触操作解除了(步骤S61;是),则计算与滑动手势对应的输入数据的移动参数(步骤S62)。在步骤S62中计算的移动参数例如与在后述的步骤S16中计算的移动参数相同地,也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等。优选在步骤S62中计算并生成的移动参数包括表示移动量的数据。表示移动量的数据可以是预先设定的移动量的默认值,也可以是与滑动手势的操作位置的移动量、移动速度对应的移动量。
在计算出移动参数后,控制部140执行根据移动参数生成输入数据的处理,由此,指针P的显示位置移动(步骤S63)。控制部140以与移动参数所包含的移动量相当的量执行生成输入数据的处理。
在开始输入数据的生成后,控制部140开始计时器的计数(步骤S64)。计时器能够作为通过程序实现的控制部140的一个功能来实现。控制部140监视对触控板14的新的接触(步骤S65),在未检测到触控板14的接触的期间(步骤S65;否),判定计时器的计数值是否为设定值以上(步骤S66)。在此,在计数值为预先设定的设定值以上的情况下(步骤S66;是),控制部140在进行与移动参数的移动量对应的量的输入数据的生成后,结束本处理。
在计时器的计数值未达到设定值的情况下(步骤S66;否),控制部140返回至步骤S65,监视对触控板14的接触。
在检测到对触控板14的接触的情况下(步骤S65;是),控制部140转移至后述的步骤S71(图13)。
另外,控制部140若在步骤S18中检测到对触控板14的接触解除了(步骤S18;是),则开始计时器的计数(步骤S51)。控制部140监视对触控板14的新的接触(步骤S52),在未检测到触控板14的接触的期间(步骤S52;否),判定计时器的计数值是否为设定值以上(步骤S53)。在此,在计数值为预先设定的设定值以上的情况下(步骤S53;是),控制部140停止移动参数的生成,由此使指针P的移动停止(步骤S19),结束本处理。
另外,在计时器的计数值未达到设定值的情况下(步骤S53;否),控制部140返回至步骤S52,监视对触控板14的接触。在检测到对触控板14的接触的情况下(步骤S52;是),控制部140转移至步骤S71(图13)。
步骤S71以后是与使用者进行使操作体与触控板14接触的操作,且在解除接触后的规定时间内,再次使操作体与触控板14接触的情况对应的动作。
控制部140监视在步骤S52或S65中检测出的触控板14的接触位置即操作位置是否停止(步骤S71)。在操作位置未停止的期间(步骤S71;否),控制部140监视对触控板14的接触的解除(步骤S72)。在判定为对触控板14的接触未解除的情况下(步骤S72;否),控制部140返回至步骤S71,进行操作位置的监视。
在检测到操作位置停止的情况下(步骤S71;是),控制部140计算与操作对应的输入数据的移动参数,并更新移动参数(步骤S72)。在步骤S72中计算的移动参数例如也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等。在步骤S72中更新移动参数后,控制部140开始基于更新后的移动参数生成输入数据的处理。
控制部140在生成输入数据的处理的执行中,监视对触控板14的接触的解除(步骤S73)。在判定为对触控板14的接触未解除的情况下(步骤S73;否),继续输入数据的生成,继续步骤S75的监视。控制部140若检测到对触控板14的接触解除了(步骤S75;是),则开始计时器的计数(步骤S74)。
控制部140监视对触控板14的新的接触(步骤S75),在未检测到触控板14的接触的期间(步骤S75;否),判定计时器的计数值是否为设定值以上(步骤S76)。在此,在计数值为预先设定的设定值以上的情况下(步骤S76;是),控制部140转移至步骤S54,停止移动参数的生成,由此使指针P的移动停止(步骤S54),结束本处理。控制部140也可以在步骤S76的处理后,进行停止在步骤S74开始的计数并将计数值复位的处理。
在计时器的计数值未达到设定值的情况下(步骤S76;否),控制部140返回至步骤S75,监视对触控板14的接触。
另外,在步骤S71中操作位置未停止的情况下、即在操作位置继续移动的期间(步骤S71;否),控制部140监视对触控板14的接触的解除(步骤S77)。在判定为对触控板14的接触未解除的情况下(步骤S77;否),继续输入数据的生成,继续步骤S77的监视。
控制部140若检测到对触控板14的接触解除了(步骤S77;是),则控制部140计算与滑动手势对应的输入数据的移动参数(步骤S78)。在步骤S78中计算的移动参数例如与在步骤S62中计算的移动参数相同。即,也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等,优选包括表示移动量的数据。表示移动量的数据可以是预先设定的移动量的默认值,也可以是与滑动手势的操作位置的移动量、移动速度对应的移动量。控制部140根据在步骤S78中计算出的移动参数更新移动参数。
控制部140开始基于更新后的移动参数生成输入数据的处理,由此,指针P的显示位置移动(步骤S79)。控制部140在开始输入数据的生成后,开始计时器的计数(步骤S80)。在步骤S80中,控制部140对从在步骤S77中检测到接触的解除起的经过时间进行计数。因此,步骤S80的处理也可以在步骤S78或S79之前执行。
控制部140监视对触控板14的新的接触(步骤S81),在未检测到触控板14的接触的期间(步骤S81;否),判定计时器的计数值是否为设定值以上(步骤S82)。在此,在计数值为预先设定的设定值以上的情况下(步骤S82;是),控制部140在进行与移动参数的移动量对应的量的输入数据的生成后,结束本处理。在计时器的计数值未达到设定值的情况下(步骤S82;否),控制部140返回至步骤S81,监视对触控板14的接触。
在检测到对触控板14的接触的情况下(步骤S81;是),控制部140返回至步骤S71(图13)。在检测到对触控板14的接触的情况下(步骤S81;是),控制部140也可以进行停止在步骤S80开始的计数并将计数值复位的处理。
在第五实施方式中,控制部140在检测到操作体从触控板14离开从而接触解除了的这一状况后经过了规定时间的情况下,判定为符合视作操作结束的结束条件,执行操作解除了的情况下的动作。例如,控制部140停止输入数据的生成。
因此,即使在操作体从触控板14离开后,也能够继续指针P的显示位置的移动。因此,能够与在触控板14中操作位置移动的量相比,使指针P的显示位置较大地移动,能够避免触控板14的大小的制约。
另外,控制部140在操作检测部检测到操作体从触控板14离开从而接触解除了的这一状况后的规定时间以内,检测到对触控板14的接触的情况下,与新的接触的操作位置对应地更新移动参数。通过该移动参数的更新,指针P的显示位置的移动方向以及移动速度中的至少任意一个变化。因此,即使操作体从触控板14离开后,若使用者进行再次使操作体与触控板14接触的操作,则也能够控制指针P的显示位置的移动。因此,能够以较高的自由度控制指针P的显示位置的移动的方式。例如,控制部140在规定时间内再次进行了操作体与触控板14接触的操作的情况下,能够将隔着操作体从触控板14离开的状态而进行的多个操作作为一系列的操作进行检测。
并且,控制部140能够反复执行在对触控板14的接触解除后,在至计时器的计数值达到设定值为止的期间监视接触的动作。
图15是表示第五实施方式中的对触控板14的操作的例子的说明图。图15的例子表示在触控板14中进行了2次操作AT11、AT12的例子。详细而言,是在执行了使操作体从操作位置A21向操作位置A22移动的操作AT11后,操作体从触控板14离开,然后,操作体在操作位置A23与触控板14接触,并移动至操作位置A24的例子。
在此,假定操作体在操作位置A22从触控板14离开,之后在操作位置A23与触控板14接触为止的时间比规定时间短。规定时间相当于控制部140针对进行计数的计时器的计数值设定的设定值(步骤S53、S66、S76、S88)。
在这种情况下,控制部140执行生成基于操作AT11的移动参数,并生成输入数据的处理。因此,虽未图示,但指针P的显示位置以反映了操作AT11的移动方向或者移动速度移动。
控制部140在检测到操作AT12的情况下,与操作AT12对应地生成移动参数并更新。在此,控制部140能够与作为操作AT12的开始位置的操作位置A22的位置、作为结束位置的操作位置A23的位置、操作AT12的操作位置的移动方向、操作位置的移动速度、接触时间等对应地更新移动参数。
另外,控制部140也可以基于合成了操作AT11和操作AT12后的结果来生成移动参数并更新。具体地说,控制部140针对操作AT11生成表示操作位置的移动方向和移动量的向量。控制部140在检测到操作AT12的情况下,针对操作AT12生成表示操作位置的移动方向和移动量的向量。控制部140将操作AT11的向量和操作AT12的向量合成来生成合成向量。控制部140也可以生成与合成向量对应的移动参数。在这种情况下,能够将操作AT11和操作AT12作为一个操作,并与该操作对应地生成输入数据。在这种情况下,在基于输入数据使指针P的显示位置移动的处理中,能够根据使用者的操作,使指针P的移动方向、移动速度等缓慢地变化。
并且,另外,控制部140也可以在与操作AT11对应地生成输入数据后,与操作AT12对应地生成输入数据。即,也可以进行生成与操作AT11对应的移动参数,并根据该移动参数生成输入数据的处理,然后,与操作AT12对应地更新移动参数。换句话说,控制部140在隔着规定时间内的非操作期间进行了多个操作的情况下,能够以累积反映这些多个操作的方式生成输入数据。在这种情况下,能够按顺序反映操作AT11、AT12来使指针P的显示位置移动。
另外,即使在操作体在操作位置A22从触控板14离开后,控制部140也继续输入数据的生成,所以指针P的显示位置继续移动。因此,即使在使用者使操作体从触控板14离开后,也能够使指针P移动。并且,若在规定时间内进行与触控板14接触的操作,则能够不使指针P停止地使显示位置移动。
另外,在执行上述的各种动作的情况下,在操作体与触控板14未接触的状态且生成输入数据的状态下,也可以通过操作使输入数据的生成停止。控制部140在检测到触控板14的接触解除后的规定时间内,生成输入数据,指针P移动。也可以在该指针P的移动中,例如在进行了点击(叩击)触控板14的操作的情况下,控制部140与经过时间无关地使输入数据的生成停止或者中断。另外,例如,控制部140也可以在指针P的移动中,由3轴传感器113检测到使控制装置10动作的操作的情况下,与经过时间无关地使输入数据的生成停止或者中断。另外,例如,控制部140也可以在通过9轴传感器66检测到叩击图像显示部20的操作、使图像显示部20向规定方向活动的动作的情况下,与经过时间无关地使输入数据的生成停止或者中断。
在第五实施方式中,也可以为在操作体从触控板14离开后在规定时间内检测出的操作相对于其以前的操作满足规定的条件的情况下,控制部140执行预先设定的处理的构成。规定的条件例如是在操作体从触控板14离开后的规定时间内检测出的操作中的操作位置的移动方向与其以前的操作为相反方向的情况。控制部140执行的处理例如是在移动参数中将输入位置的移动速度减速的处理。另外,规定的条件也可以是通过3轴传感器113检测到使控制装置10动作的操作。另外,也可以对在这种情况下检测的控制装置10的动作设定特定的方向。在这种情况下,控制部140也可以执行根据控制装置10的动作或者动作的方向,例如在移动参数中将输入位置的移动速度加速或者减速的处理。另外,例如,也可以执行在移动参数中与控制装置10的动作的方向对应地变更输入位置的移动方向的处理。
[第六实施方式]
图16是表示应用了本发明的第六实施方式中的触控板14中的操作区域的设定状态的图,图17是表示HMD100的动作的流程图。在本第六实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
如图16所示,在第六实施方式中,在触控板14中设定多个操作区域C。操作区域C通过触控板14中的坐标指定,各操作区域C与其它区域的边界的坐标例如被设置于设定数据121。
如在第一以及第二实施方式中说明的那样,操作区域C1是成为即使在触控板14的操作位置不移动的期间也使指针P移动的控制的对象的区域。与此相对,操作区域C1以外的区域、即操作区域C2是以可显示区域D中的指针P的显示位置与触控板14的操作位置对应的方式进行控制的区域。
控制部140在操作区域C1中进行了滑动手势的情况下,执行在第一实施方式中说明的处理。另外,在操作区域C2中,执行即使进行滑动手势,也使指针P向与触控板14的操作位置对应的位置移动的通常处理。图17示出该动作。
图17所示的动作的步骤S11~S19与上述第一实施方式相同。
在本第六实施方式中,HMD100的控制部140在判定为对触控板14的操作是滑动手势的情况下(步骤S13;是),判定操作位置的坐标(步骤S91)。在步骤S91中,例如将触控板14的操作位置的坐标与设定于设定数据121的坐标进行比较,并判定操作位置是否包含于操作区域C1。
控制部140基于步骤S91的判定结果判定是否进行通常处理(步骤S92)。在进行通常处理的情况下(步骤S92;是),移至步骤S14,使指针P向与触控板14上的操作位置对应的可显示区域D的显示位置移动(步骤S14),结束本处理。
另外,在不进行通常处理的情况下(步骤S92;否),控制部140转移至步骤S15。
根据第六实施方式的动作,能够将与触控板14的实际的操作位置的移动量相比使指针P较大地移动的处理,限定在触控板14中的特定的区域进行。在触控板14中,作为上述处理的对象的区域并不局限于图16所例示的操作区域C1这样的形状、尺寸。例如,也可以将触控板14上下或左右分割成多个,将任意的区域作为与操作区域C1相同的区域。在触控板14的形状为X方向、Y方向较长的形状的情况下、在能够安装面积比较宽的触控板14的情况下,在能够避免指针P的不必要的移动这一点上有用。
[第七实施方式]
图18是表示应用了本发明的第七实施方式中的HMD100的动作的流程图。在本第七实施方式中,HMD100的构成与第一实施方式相同。因此,对于HMD100的构成,省略图示以及说明。
图18所示的动作的步骤S11~S19与上述第一实施方式相同。
在本第七实施方式中,HMD100的控制部140针对触控板14中的滑动手势中的、操作位置向特定的方向移动的操作,执行在第一实施方式中说明的处理。另外,在即使进行了滑动手势,操作位置的移动方向也不是设定的方向的情况下,执行使指针P向与触控板14的操作位置对应的位置移动的通常处理。
即,HMD100的控制部140在判定为对触控板14的操作是滑动手势的情况下(步骤S13;是),判定操作位置的移动方向(步骤S101)。
控制部140基于在步骤S101中判定出的移动方向来判定是否进行通常处理(步骤S102)。在进行通常处理的情况下(步骤S102;是),转移至步骤S14,使指针P向与触控板14上的操作位置对应的可显示区域D的显示位置移动(步骤S14),结束本处理。
另外,在不进行通常处理的情况下(步骤S102;否),控制部140转移至步骤S15。
根据第七实施方式的动作,能够将与触控板14的实际的操作位置的移动量相比使指针P较大地移动的处理,限定于相对于触控板14中的特定的方向的操作来进行。例如,可以将Y方向的滑动手势作为上述处理的对象,也可以对X方向的滑动手势进行通常处理。这种情况在触控板14为X方向较长的横长形状的情况下有用。换句话说,能够为在触控板14的形状为X方向、Y方向较长的形状的情况下等,仅对操作位置的移动量的确保较难的方向进行上述处理的构成。
在步骤S42中,判定在步骤S41中判定出的方向是否符合设定的方向,在该判定中,并不局限于准确地向特定的方向移动了的情况,也可以设定能够视为特定的方向的范围。即,也可以为预先设定进行上述处理的方向的范围,在操作位置的移动方向包括于上述范围的情况下,在步骤S42中进行否定判定的构成。
[第八实施方式]
图19是表示第八实施方式中的HMD100的动作的流程图。图20是表示第八实施方式中的触控板14以及虚拟输入平面IP的对应关系的示意图。在第八实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
在第八实施方式中,HMD100在对触控板14进行了在多个位置进行接触的操作的情况下,执行与这些多个位置中的接触操作相应的处理。
图19所示的步骤S11~S19的动作与上述的第一~第三实施方式相同。
在第八实施方式中,控制部140获取通过输入信息获取部110检测出的触控板14的操作位置(步骤S12),并判定获取到的操作位置是否为多个(步骤S111)。在操作位置为1处的情况下(步骤S111;否),控制部140转移至步骤S13。
在操作位置为多处的情况下(步骤S111;是),控制部140进行操作位置是否移动的判定(步骤S112)。控制部140在操作位置未移动的期间(步骤S112;否)待机,直至移动。在该待机中,控制部140基于从输入信息获取部110输入的操作数据继续进行操作位置的检测。另外,在步骤S112中,控制部140在多个操作位置中的至少任意一个移动了的情况下,判定为操作位置移动。
在判定为操作位置移动了的情况下(步骤S112;是),控制部140判定操作位置是否停止(步骤S113)。在操作位置未停止的期间(步骤S113;否)进行待机,直至停止。在该待机中,控制部140基于从输入信息获取部110输入的操作数据继续进行操作位置的检测。
在操作位置停止的情况下(步骤S113;是),控制部140根据操作位置的个数以及操作位置的移动来计算输入数据的移动参数(步骤S114)。输入数据的移动参数例如包括表示输入位置的移动的开始位置、输入位置的移动方向以及输入位置的移动速度的数据。
控制部140根据在步骤S16中设定的移动参数开始输入数据的生成,并基于生成的输入数据开始使右显示驱动部22以及左显示驱动部24显示指针P的处理(步骤S115)。通过控制部140生成的输入数据的输入位置移动,图像显示部20显示的指针P的显示位置移动。之后,控制部140继续以规定周期(例如输入信息获取部110的取样周期)生成输入数据的处理。另外,控制部140继续基于生成的输入数据使指针P的显示位置移动的处理。
在指针P的显示位置移动的期间,控制部140监视对触控板14的接触的解除(步骤S116)。在步骤S116中,控制部140判定对触控板14的全部的接触是否解除。在判定为对触控板14的接触未解除的情况下(步骤S116;否),控制部140在步骤S116中继续接触位置的监视,继续输入数据的生成和指针P的显示位置的移动。
控制部140若检测出对触控板14的全部的接触解除(步骤S116;是),则停止输入数据的生成,由此使指针P的移动停止(步骤S19),结束本处理。
在步骤S114中,控制部140也可以基于多个操作位置的每一个移动的方向、速度、移动量来生成移动参数。另外,控制部140也可以求出多个操作位置的相互的相对位置的变化,基于相对位置的变化的方向、变化的速度、变化量来生成移动参数。
以下列举步骤S114中的控制部140的具体的动作例。
(1)控制部140在多个操作位置中的一部分的操作位置移动了的情况下,将未移动侧设定为检测对象。在这种情况下,控制部140在设定为检测对象的操作位置移动了的情况下,例如与步骤S16的处理同样地生成与检测对象的操作位置的移动方向、移动速度、移动量等对应的移动参数。在执行(1)的动作的情况下,控制部140将一个操作位置设定为检测对象的操作位置。因此,在输入信息获取部110检测到3个以上的操作位置的情况下,在步骤S112中待机,直至除任意一个操作位置之外的其他的操作位置移动。并且,控制部140在设定了检测对象的操作位置后,在步骤S112中待机,直至该检测对象的操作位置移动。
应予以说明的是,也可以与此相反,控制部140在多个操作位置中的一部分的操作位置移动了的情况下,将移动侧设定为检测对象。在该例子中,控制部140在输入信息获取部110检测到3个以上的操作位置的情况下,在步骤S112中待机,直至任意一个操作位置移动。并且,控制部140在设定了检测对象的操作位置后,在步骤S112中待机,直至该检测对象的操作位置移动。
(2)控制部140在多个操作位置移动了的情况下且在多个操作位置的移动方向相互平行的情况下,以生成将由图像显示部20显示的图像放大/缩小的输入数据的方式生成移动参数。例如,相当于使用者使多个手指一致地在触控板14上移动的情况。在这种情况下,控制部140也可以附加表示是指示放大或者缩小显示图像的输入数据的数据,来作为移动参数的属性。另外,控制部140生成的输入数据可以是指示显示图像的放大、缩小的数据,也可以是指定显示倍率或者指示显示倍率的增大/降低的数据。显示控制部170根据生成的输入数据,更新通过右显示驱动部22以及左显示驱动部24显示的显示图像(例如,指针P)的显示倍率。
(3)控制部140也可以在多个操作位置移动了的情况下且在多个操作位置的移动方向不平行的情况下,进行生成针对设定了X-Y坐标的虚拟输入平面IP的Z轴方向(与虚拟输入平面IP垂直的方向)的输入数据的处理。
在这种情况下,包括操作系统150的控制装置10是接受三维的位置输入的构成。控制装置10能够检测虚拟输入平面IP内的二维的位置输入、以及以虚拟输入平面IP为基准且例如将与虚拟输入平面IP垂直的方向作为坐标轴的位置输入。即,能够接受虚拟输入平面IP的面内的X-Y坐标和与虚拟输入平面IP垂直的Z轴方向的位置输入来执行处理。换句话说,控制装置10具有包括虚拟输入平面IP的虚拟输入空间,能够将虚拟输入平面IP作为基准来处理决定该虚拟输入空间中的位置、方向的输入数据。
图20示出在触控板14中操作体与操作位置A31和操作位置A33接触,并执行从操作位置A31向操作位置A32移动的操作AT31和从操作位置A33向操作位置A34移动的操作AT32的例子。通过操作AT31、AT32,触控板14中的2个操作位置以相互接近的方式移动。
控制部140与通过操作AT31、AT32而2个操作位置接近的情况对应地生成用于生成在虚拟输入平面IP中输入位置沿Z轴方向移动的输入数据的移动参数。在图20的例子中,生成相对于虚拟输入平面IP输入位置向Z轴的正方向移动的输入数据。另外,控制部140也可以在触控板14中检测到2个操作位置间的距离放大的操作的情况下,生成相对于虚拟输入平面IP输入位置向Z轴的负方向移动的输入数据。在这种情况下,也可以将沿Z轴方向移动的输入位置的基点作为相当于多个操作位置的中心或者重心的输入位置IA11。
(3)的例子能够与如(2)说明的那样多个操作位置移动的情况相组合。在这种情况下,也可以以在操作位置平行移动的情况下生成将显示图像放大/缩小的输入数据,在多个操作位置的距离变化的情况下生成在虚拟输入平面IP中输入位置沿Z轴方向移动的输入数据的方式,来设定移动参数。另外,也可以以在多个操作位置平行移动的情况下,与多个操作位置的移动方向以及移动量对应地生成在虚拟输入平面IP中输入位置沿Z轴方向移动的输入数据的方式设定移动参数。另外,也可以以在多个操作位置水平移动的情况下生成将显示图像放大/缩小的输入数据,在多个操作位置并非水平移动、即相互的距离变化地移动的情况下生成输入位置沿Z轴方向移动的输入数据的方式,设定移动参数。
(4)控制部140也可以在3个以上的操作位置同时移动的情况下,进行与这些3个以上的操作位置的移动对应地生成相对于设定了X-Y坐标的虚拟输入平面IP的Z轴方向(与虚拟输入平面IP垂直的方向)的输入数据的处理。在这种情况下,控制部140针对多个操作位置的移动方向、移动速度以及移动量中的至少任意一个执行求平均等的运算处理,求出操作位置的移动方向、移动速度或者移动量的代表值。控制部140也可以基于代表值来生成移动参数。在这种情况下,控制部140能够生成相对于虚拟输入平面IP输入位置向Z轴的正方向或者负方向移动的输入数据。
控制部140能够在步骤S114中执行上述的(1)、(2)、(3)、(4)中的至少任意一个的动作或者组合了2个以上后的动作。由此,能够与对触控板14的多彩的操作对应地,通过对触控板14的接触操作来进行复杂的输入操作。
[第九实施方式]
图21是表示第九实施方式中的HMD100的动作的流程图。在第九实施方式中,HMD100的构成与第一实施方式相同。因此,关于HMD100的构成,省略图示以及说明。
在第九实施方式中,HMD100根据对触控板14的接触操作、以及使控制装置10动作或者使控制装置10的姿势变化的操作来生成输入数据。
图21所示的步骤S11~S19的动作与上述的第一~第三实施方式相同。
控制部140在检测到操作位置停止的情况下(步骤S15),基于3轴传感器113的检测值来检测控制装置10的倾斜以及/或者控制装置10的动作(步骤S121)。控制部140也可以在步骤S11中在输入信息获取部110检测到触摸操作后,以例如设定的取样周期获取3轴传感器113的检测值,并基于其累积值来确定控制装置10的姿势。另外,控制部140也可以在步骤S13中检测到操作位置移动后,以例如设定的取样周期获取3轴传感器113的检测值,并基于其累积值来确定控制装置10的姿势。另外,在控制装置10具有地磁传感器(图示略)的情况下,也可以基于地磁传感器的检测值来检测控制装置10的姿势。另外,控制部140也可以在步骤S121中获取3轴传感器113的检测值,并基于获取到的检测值来检测控制装置10的姿势。
控制部140与在步骤S121中检测出的控制装置10的倾斜和/或控制装置10的动作、以及在步骤S12~S15中检测出的操作位置对应地计算移动参数(步骤S122)。在步骤S122中,移动参数也可以包括表示输入位置的移动的开始位置、输入位置的移动方向、以及输入位置的移动速度的数据等。另外,移动参数也可以包括表示移动量的数据。另外,移动参数也可以是生成包括与虚拟输入平面IP垂直的方向的输入位置的移动的输入数据的数据。
在步骤S122中,控制部140例如也可以基于触控板14中的操作位置的轨迹、移动速度、移动方向、移动量等来生成移动参数。并且,控制部140也可以基于在步骤S121中检测出的控制装置10的倾斜(姿势)以及/或者控制装置10的动作来补正或者修正生成的移动参数。列举具体的例子,在步骤S121中检测到控制装置10向预先设定的方向倾斜了的情况下,控制部140也可以更新移动参数中的表示输入位置的移动速度的数据。在这种情况下,控制部140也可以以在控制装置10向规定方向倾斜了的情况下,使输入位置的移动速度增加的方式更新移动参数。另外,也可以以在控制装置10向与上述规定方向相反的方向倾斜了的情况下,使输入位置的移动速度降低的方式更新移动参数。或者,控制部140也可以以在控制装置10向规定方向动作了的情况下,使输入位置的移动速度增加的方式更新移动参数。另外,也可以以在控制装置10向与上述规定方向相反的方向动作了的情况下,使输入位置的移动速度降低的方式更新移动参数。
另外,控制部140也可以与控制装置10的倾斜对应地使触控板14与虚拟输入平面IP之间的相对位置变化。例如,在初始状态下,如图6所示那样,触控板14与虚拟输入平面IP平行,触控板14中的X-Y轴与虚拟输入平面IP的X-Y轴被设定为平行的状态。控制部140也可以根据在步骤S121中检测出的控制装置10的倾斜,使相对于触控板14的虚拟输入平面IP的倾斜变化。
像这样,HMD100具备检测具有触控板14的控制装置10的姿势或姿势的变化的3轴传感器113。控制部140在指针P的显示位置移动的期间,与3轴传感器113检测的控制装置10的姿势或姿势的变化对应地生成输入数据。由此,控制部140使指针P的显示位置的移动方向以及移动速度中的至少任意一个变化。因此,能够通过简单的操作以较高的自由度控制作为显示目标的指针P的显示位置的移动的方式。
[其它的变形例]
以下,参照图22~图25对上述各实施方式的变形例进行说明。
图22是示出圆形的触控板14a来作为触控板14的变形例的图。触控板14a与触控板14相同地,作为检测接触操作的操作面发挥作用。在HMD100具有触控板14a的情况下,输入信息获取部110将触控板14a中的操作检测为例如在图22中以附图标记X、Y表示的正交坐标系中的坐标。虽然触控板14a在X轴方向以及Y轴方向不能使操作位置较大地移动,但通过应用上述第一~第九实施方式,能够与触控板14中的操作位置的移动量相比,使指针P较大地动作。触控板14a与触控板14相同地,只要具有控制部140能够检测操作位置的移动的方向的尺寸即可,所以如图22所示那样,也可以是与图像显示部20的显示区域不同的形状。
因此,能够使用图22所示的圆形的触控板14a、细长的形状等各种形状的触控板来使指针P较大地动作,能够实现较高的操作性。
图23是表示代替设置于控制装置10的主体的触控板14(图1),而在图像显示部20的侧面配置触控板14b的变形例。触控板14b与触控板14相同地,作为检测接触操作的操作面发挥作用。
在图23的例子中,能够通过使用者用手指划擦图像显示部20的侧面那样的动作来执行滑动手势。在这种情况下,增大触控板14b的面积也不容易,但通过应用上述第一~第九实施方式,能够实现较高的操作性。
图24表示在戒指型的设备71的表面配置能够与触控板14同样地检测接触操作的触控板14c的例子。触控板14c与触控板14相同地,作为检测接触操作的操作面发挥作用。
触控板14c形成于设备71的表面的一部分或全部,能够为触控板14c的外观与设备71的表面一体化的构成。触控板14c能够检测对设备71的表面的接触即可,也可以是用于检测接触的电路等被埋设或收容于设备71的内部的构成。换句话说,设备71的表面也可以不与用于检测操作的电路等一体地构成,也可以不构成该电路的一部分。
能够为设备71例如与控制装置10的通信部117之间执行无线通信、控制部140能够检测触控板14c中的操作位置的构成。
在这种情况下,通过应用上述第一~第九实施方式,能够通过对小的戒指型的设备71的接触操作,使指针P自由地动作。
图25表示在笔形的设备72的侧面配置与触控板14同样地能够检测接触操作的触控板14d的例子。触控板14d与触控板14相同地,作为检测接触操作的操作面发挥作用。触控板14d形成于设备72的表面的一部分或全部,能够为触控板14d的外观与设备72的表面一体化的构成。触控板14d能够检测对设备72的表面的接触即可,也可以是用于检测接触的电路等被埋设或收容于设备72的内部的构成。换句话说,设备72的表面也可以不与用于检测操作的电路等一体地构成,也可以不构成该电路的一部分。
能够为设备72例如与控制装置10的通信部117之间执行无线通信、控制部140能够检测触控板14d中的操作位置的构成。另外,设备72也可以具备能够实际地作为笔记工具来使用的构成。通过对使用该设备72的构成应用上述第一~第九实施方式,能够通过对小的笔形的设备72的接触操作来使指针P自如地动作。
对触控板14c、14d的操作是手指等的触摸(接触)操作、以及在维持已接触的手指的接触的状态下动作的操作等。控制部140在检测到对触控板14c、14d的接触的情况下,在维持该接触的期间,即直至接触解除为止,判定为操作未结束。换句话说,若对触控板14c、14d的手指的接触解除,则判定为操作结束。因此,在使用者进行了使手指与触控板14c、14d接触并动作的操作的情况下,在直至使用者使该手指从触控板14c、14d离开为止的期间,作为显示目标的指针P、画面M1~M6的显示位置移动。
作为将立体物的表面作为操作面的构成的其它的例子,例如,能够为将汽车的手柄的表面作为操作面并检测对手柄的表面的接触操作的构成。
另外,也能够为将在上述各实施方式中说明的触控板14、14a、14b、14c、14d等操作面分割为多个区域并将各区域作为操作面来使用的构成。在这种情况下,控制部140也可以与各区域中的1个或多个操作位置的移动对应地设定移动参数,生成输入数据。另外,控制部140也可以与在多个操作面中检测出的操作位置的移动对应地设定移动参数,生成输入数据。
应予以说明的是,本发明并不局限于上述各实施方式以及变形例的构成,在不脱离其主旨的范围内能够以各种的方式实施。
例如,在上述实施方式中,也可以代替图像显示部20,例如采用如帽子那样佩戴的图像显示部等其它方式的图像显示部。具备与使用者的左眼对应地显示图像的显示部和与使用者的右眼对应地显示图像的显示部即可。另外,本发明的显示装置例如也可以构成为搭载于汽车、飞机等车辆的头戴式显示器。另外,例如,也可以构成为内置于头盔等身体护具的头戴式显示器,还可以是用于汽车的前挡风玻璃的平视显示器(Head-up Display;HUD)。
在上述各实施方式以及变形例中,作为显示目标,例示指针P、或者图8所示的环式的UI中的画面M1~M6。本发明并不局限于此,只要能够与对操作面的操作相应地使显示位置移动,就能够作为显示目标应用本发明。例如,也可以将在控制装置10执行的应用程序、游戏等内容内显示的显示物作为显示目标,应用本发明。
并且,在上述实施方式中,以图像显示部20和控制装置10分离并经由连接部40连接的构成为例进行了说明,但也能够为控制装置10和图像显示部20一体地构成并佩戴于使用者的头部的构成。
另外,例如,作为在图像显示部20中生成图像光的构成,也可以为具备有机EL(有机电致发光,Organic Electro-Luminescence)显示器和有机EL控制部的构成。另外,作为生成图像光的构成,也能够使用LCOS(Liquid crystal on silicon:硅基液晶,LCoS为注册商标)、数字微镜设备等。另外,例如也能够对激光视网膜投影型的头戴式显示器应用本发明。即,也可以采用如下构成:图像生成部具备激光光源和将激光光源引导至使用者的眼睛的光学系统,通过使激光射入使用者的眼睛并在视网膜上扫描并成像于视网膜,来使使用者视觉确认图像。在采用激光视网膜投影型的头戴式显示器的情况下,“图像光生成部中的图像光的可射出区域”能够定义为被使用者的眼睛识别的图像区域。
作为将图像光引导至使用者的眼睛的光学系统,能够采用具备使从外部朝向装置入射的外光透过的光学构件并与图像光一同入射至使用者的眼睛的构成。另外,也可以使用位于使用者的眼睛的前方且与使用者的视场的一部分或全部重叠的光学构件。并且,也可以采用扫描激光等来作为图像光的扫描方式的光学系统。另外,也可以不限于在光学构件的内部引导图像光,也可以仅具有朝向使用者的眼睛使图像光折射以及/或者反射并引导的功能。
另外,也能够将本发明应用于采用使用了MEMS镜的扫描光学系统并利用了MEMS显示器技术的显示装置。即,作为图像显示元件,也可以具备信号光形成部、具有扫描信号光形成部射出的光的MEMS镜的扫描光学系统、通过由扫描光学系统扫描的光形成虚像的光学构件。在该构成中,信号光形成部射出的光被MEMS镜反射,入射至光学构件,在光学构件中被引导,到达虚像形成面。通过MEMS镜扫描光,在虚像形成面形成虚像,使用者用眼睛捕捉该虚像,由此识别图像。这种情况下的光学元件例如也可以是如上述实施方式的右导光板261以及左导光板262那样经由多次的反射来引导光的光学元件,也可以利用半透半反镜面。
另外,本发明的显示装置并不局限于头部佩戴型的显示装置,也可以应用于平板显示器、投影仪等各种显示装置。本发明的显示装置能够与外光一起通过图像光视觉确认图像即可,例如,能够列举通过使外光透过的光学构件来视觉确认基于图像光的图像的构成。具体地说,在上述的头戴式显示器中具备使外光透过的光学构件的构成之外,也能够应用于向固定地或者可动地设置于与使用者分离的位置的透光性的平面、曲面(玻璃、透明的塑料等)投射图像光的显示装置。作为一个例子,能够列举向车辆的窗玻璃投射图像光,使乘车的使用者、处于车辆外的使用者在视觉确认基于图像光的图像的同时,视觉确认车辆内外界的景色的显示装置的构成。另外,例如能够列举向建筑物的窗玻璃等固定地设置的透明或半透明、或者有色透明的显示面投射图像光,使处于显示面的周围的使用者在视觉确认基于图像光的图像的同时,透过显示面视觉确认景色的显示装置的构成。
另外,本发明并不局限于在视觉确认外光的同时视觉确认图像的显示装置,能够应用于各种显示装置,例如也能够应用于在不能够视觉确认外景的状态下显示图像的显示装置。具体地说,能够将本发明应用于显示相机61的拍摄图像、基于该拍摄图像生成的图像或CG、基于预先存储的映像数据或从外部输入的映像数据的映像等的显示装置。作为这种显示装置,能够包括不能视觉确认外景的、所谓的关闭型的显示装置。另外,当然也包括不进行AR显示、MR显示或者VR显示这样的处理且显示从外部输入的映像数据或模拟映像信号的显示装置来作为本发明的应用对象。
另外,图2所示的各功能模块中的至少一部分也可以由硬件实现,也可以通过硬件和软件的配合来实现,并不局限于如图2所示那样配置独立的硬件资源的构成。另外,控制部140执行的程序也可以存储于存储部120或者控制装置10内的存储装置,也可以为经由通信部117或者接口125获取存储于外部装置的程序来执行的构成。
另外,本发明也能够以存储有控制装置10执行的程序的存储介质、分配程序的服务器装置、传输上述程序的传输介质、将上述程序在载波内具体化后的数据信号等形式实现。作为存储介质的存储部120可以是使用磁、光学的存储介质或者半导体存储器设备中的任意一个的存储部,还可以使用其它种类的存储介质。该存储介质可以是存储器卡等可移动型存储介质,其它的具体的安装形式也任意。
上述程序能够作为在控制装置10的操作系统150上动作的单体的应用程序来安装。另外,上述程序也可以作为操作系统150、操作系统150的一部分,或者作为与操作系统150配合地动作的设备驱动器的功能来安装。或者,也可以作为与它们一同执行的应用程序的功能来安装。例如,也可以作为控制触控板14、14a、14b、14c、14d的设备驱动器程序的功能来安装。另外,也可以作为在操作系统150中接受触控板14、14a、14b、14c、14d的操作的程序模块的功能来安装。另外,也可以是通过多个应用程序来实现上述程序的构成,具体的程序的形态任意。
另外,对于控制部140执行的程序的功能、即控制部140具备的各处理部(例如图像处理部160、显示控制部170、操作检测部183、GUI控制部185、声音处理部190或者其它的生成部、判定部、确定部等)而言,也可以使用用 于实现该功能而设计的ASIC(ApplicationSpecific Integrated Circuit:特定用途用的集成电路)、SoC(System ona Chip:片上系统)来构成。另外,也可以通过FPGA(Field-Programmable Gate Array:现场可编程门阵列))等可编程设备来实现。
另外,也可以仅将形成于控制装置10的构成中的操作部111作为单独的使用者接口(UI)来形成。另外,形成于控制装置10的构成也可以重复地形成于图像显示部20。例如,图2所示的控制部140可以形成于控制装置10和图像显示部20这双方,也可以为形成于控制装置10的控制部140和形成于图像显示部20的CPU进行的功能分别分开的构成。
附图标记说明:10…控制装置(操作设备),14、14a、14b、14c、14d…触控板(操作面),20…图像显示部(显示部),22…右显示驱动部,24…左显示驱动部,61…相机,100…HMD(显示装置),110…输入信息获取部(操作检测部),111…操作部,113…3轴传感器(姿势检测部),120…存储部,121…设定数据,123…内容数据,140…控制部,160…图像处理部,170…显示控制部,182…操作检测部,185…GUI控制部,190…声音处理部,261…右导光板,262…左导光板,P…指针(显示目标)。

Claims (20)

1.一种显示装置,其特征在于,具备:
显示部;
操作检测部,其检测对操作面的操作;以及
控制部,其使所述显示部显示操作对象的显示目标,并且与对所述操作面的操作对应地控制所述显示目标的显示位置,
所述控制部与所述操作检测部检测的所述操作面中的操作位置的变化对应地使所述显示目标的显示位置移动,并且在所述操作检测部检测到符合预先设定的结束条件的操作的情况下,使所述显示目标的显示位置的移动停止。
2.根据权利要求1所述的显示装置,其特征在于,
所述控制部将所述显示目标的显示位置的移动方向设定为与所述操作面中的操作位置的移动方向对应的方向。
3.根据权利要求2所述的显示装置,其特征在于,
所述控制部在所述操作检测部检测到对所述操作面的操作后,在进行求出所述显示目标的显示位置的移动方向的处理的期间,使所述显示目标显示于与所述操作面的操作位置对应的显示位置。
4.根据权利要求1至3中任意一项所述的显示装置,其特征在于,
所述控制部将所述显示目标的显示位置的移动速度设定为与所述操作面中的操作位置的移动量或移动速度对应的速度。
5.根据权利要求1至4中任意一项所述的显示装置,其特征在于,
所述控制部在所述显示目标的显示位置移动的期间,所述操作检测部检测的所述操作面中的操作位置变化了的情况下,使所述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
6.根据权利要求1至5中任意一项所述的显示装置,其特征在于,
所述控制部在所述操作检测部检测到操作体对所述操作面的接触的情况下检测操作位置,并且在所述操作检测部检测到所述操作体从所述操作面离开从而接触解除了的这一状况的情况下,判定为符合所述结束条件。
7.根据权利要求1至5中任意一项所述的显示装置,其特征在于,
所述控制部在所述操作检测部检测到操作体对所述操作面的接触的情况下检测操作位置,并且在所述操作检测部检测到所述操作体从所述操作面离开从而接触解除了的这一状况后经过了规定时间的情况下,判定为符合所述结束条件。
8.根据权利要求1至5中任意一项所述的显示装置,其特征在于,
所述控制部在所述操作检测部检测到所述操作体从所述操作面离开从而接触解除了的这一状况后的规定时间以内,在所述操作检测部检测到对所述操作面的接触的情况下,与所述操作检测部检测到的新的接触的操作位置对应地使所述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
9.根据权利要求1至8中任意一项所述的显示装置,其特征在于,
所述显示装置具备:
操作设备,其具有所述操作面;以及
姿势检测部,其检测所述操作设备的姿势或姿势的变化,
所述控制部在所述显示目标的显示位置移动的期间,与所述姿势检测部检测的所述操作设备的姿势或姿势的变化对应地使所述显示目标的显示位置的移动方向以及移动速度中的至少任意一个变化。
10.根据权利要求1至9中任意一项所述的显示装置,其特征在于,
在所述操作面中所述操作检测部检测操作的面积或尺寸比所述显示部显示图像的显示区域的面积或尺寸小。
11.根据权利要求1至10中任意一项所述的显示装置,其特征在于,
所述操作面的形状是与所述显示部显示图像的显示区域不同的形状。
12.一种显示装置,其特征在于,具备:
显示部;
操作检测部,其检测对操作面的操作;以及
控制部,其根据由所述操作检测部检测的操作,生成针对虚拟输入平面的输入数据,
所述控制部在所述操作检测部在所述操作面中检测到操作位置移动的操作的情况下,与所述操作对应地开始所述虚拟输入平面中的输入数据的生成,在所述操作检测部检测到符合预先设定的结束条件的操作的情况下,停止所述输入数据的生成。
13.根据权利要求12所述的显示装置,其特征在于,
所述控制部生成的输入数据包括所述虚拟输入平面中的输入位置、所述虚拟输入平面内的输入位置的移动方向以及所述虚拟输入平面内的输入位置的移动速度中的至少任意一个。
14.根据权利要求13所述的显示装置,其特征在于,
所述控制部根据所述操作检测部检测的所述操作位置的移动量或移动速度来设定所述输入数据所包含的所述虚拟输入平面内的输入位置的移动方向以及所述虚拟输入平面内的输入位置的移动速度中的至少任意一个。
15.根据权利要求12至14中任意一项所述的显示装置,其特征在于,
所述操作检测部根据操作体接触所述操作面的操作来将接触位置检测为操作位置,
所述控制部在所述操作检测部检测到对所述操作面的接触解除了的这一状况的情况下,判定为符合所述结束条件并停止所述输入数据的生成。
16.根据权利要求12至14中任意一项所述的显示装置,其特征在于,
所述控制部在所述操作检测部检测到对所述操作面的接触的解除后经过了规定时间的情况下,判定为符合所述结束条件并停止所述输入数据的生成。
17.根据权利要求12至16中任意一项所述的显示装置,其特征在于,
所述控制部能够根据由所述操作检测部检测的操作来生成包括所述虚拟输入平面以及与所述虚拟输入平面垂直的方向的三维的输入数据,在所述操作检测部检测到所述操作面中的多个操作位置的操作的情况下,生成包括与所述虚拟输入平面垂直的方向的分量的所述输入数据。
18.根据权利要求12至17中任意一项所述的显示装置,其特征在于,
所述显示装置具备:
操作设备,其具有所述操作面;以及
姿势检测部,其检测所述操作设备的姿势或姿势的变化,
所述控制部与所述姿势检测部检测的所述操作设备的姿势或姿势的变化对应地变更所述操作面与所述虚拟输入平面之间的对应关系。
19.根据权利要求12至18中任意一项所述的显示装置,其特征在于,
所述虚拟输入平面与所述显示部中的显示区域建立对应,
所述控制部使所述显示部显示操作对象的显示目标,并且与所述输入数据对应地控制所述显示目标的显示位置。
20.一种显示装置的控制方法,其特征在于,
控制具有显示部的显示装置,
检测对操作面的操作,
使所述显示部显示操作对象的显示目标,并且与对所述操作面的操作对应地控制所述显示目标的显示位置,
与所述操作面中的操作位置的变化对应地使所述显示目标的显示位置移动,并且在检测到对所述操作面的符合预先设定的结束条件的操作的情况下,使所述显示目标的显示位置的移动停止。
CN201610319968.XA 2015-05-13 2016-05-13 显示装置以及显示装置的控制方法 Active CN106168848B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015097943A JP2016212769A (ja) 2015-05-13 2015-05-13 表示装置、表示装置の制御方法、及び、プログラム
JP2015-097943 2015-05-13
JP2016041864A JP2017157120A (ja) 2016-03-04 2016-03-04 表示装置、及び、表示装置の制御方法
JP2016-041864 2016-03-04

Publications (2)

Publication Number Publication Date
CN106168848A true CN106168848A (zh) 2016-11-30
CN106168848B CN106168848B (zh) 2021-08-24

Family

ID=55970901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610319968.XA Active CN106168848B (zh) 2015-05-13 2016-05-13 显示装置以及显示装置的控制方法

Country Status (3)

Country Link
US (1) US10001857B2 (zh)
EP (1) EP3093751A1 (zh)
CN (1) CN106168848B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873899A (zh) * 2017-03-21 2017-06-20 网易(杭州)网络有限公司 输入信息的获取方法及装置、存储介质和处理器
CN107801045A (zh) * 2016-09-06 2018-03-13 汤姆逊许可公司 当播放增强现实场景时自动变焦的方法、设备和系统
CN108363486A (zh) * 2017-01-27 2018-08-03 佳能株式会社 图像显示装置及方法、图像处理装置及方法和存储介质
CN111936956A (zh) * 2018-04-09 2020-11-13 提姆拉博株式会社 基于特定出的拍摄范围控制显示装置的系统
CN112558300A (zh) * 2019-09-10 2021-03-26 精工爱普生株式会社 显示系统、记录介质、信息处理装置的控制方法和显示装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105226078B (zh) * 2015-10-13 2018-09-04 京东方科技集团股份有限公司 显示器及其制造方法、制造装置、显示方法、可穿戴设备
GB2552722A (en) * 2016-08-03 2018-02-07 Cirrus Logic Int Semiconductor Ltd Speaker recognition
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP6968689B2 (ja) * 2017-12-27 2021-11-17 Dynabook株式会社 電子機器、ウェアラブル機器及び表示制御方法
JP2019125955A (ja) * 2018-01-18 2019-07-25 キヤノン株式会社 パラメータ生成装置及びその制御方法、並びにプログラム
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
CN114546145B (zh) * 2020-11-24 2024-03-01 明基智能科技(上海)有限公司 游标控制方法及应用其的触控显示装置
CN113126874B (zh) * 2021-04-15 2022-07-15 杭州当贝网络科技有限公司 终端设备的控制方法和控制系统
KR102605774B1 (ko) * 2021-11-24 2023-11-29 주식회사 딥파인 스마트 글래스 및 이를 포함하는 음성 인식 시스템
JP2023183887A (ja) * 2022-06-17 2023-12-28 カシオ計算機株式会社 入力インターフェース、電子楽器、発光制御方法及びプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038528A (zh) * 2006-03-15 2007-09-19 国际商业机器公司 在具有光标的显示器上选择位置的方法
CN101290554A (zh) * 2007-04-19 2008-10-22 三星电子株式会社 提供图形用户界面的方法及其电子装置
US20130070145A1 (en) * 2011-09-20 2013-03-21 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US20130222243A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for scrolling a screen in a display apparatus
US20140160033A1 (en) * 2012-12-07 2014-06-12 Linkedin Corporation Slide to apply
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard
CN104375697A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种移动设备
CN104423881A (zh) * 2013-08-26 2015-03-18 佳能株式会社 信息处理装置及其控制方法
US20150103021A1 (en) * 2013-10-15 2015-04-16 Lg Electronics Inc. Glass type terminal having three-dimensional input device and screen control method thereof
CN104580576A (zh) * 2013-10-16 2015-04-29 Lg电子株式会社 手表型移动终端及其控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US9767681B2 (en) 2007-12-12 2017-09-19 Apple Inc. Handheld electronic devices with remote control functionality and gesture recognition
JP5341462B2 (ja) * 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
JP2010259493A (ja) 2009-04-30 2010-11-18 Yozo Shinozaki 留め具
US9244562B1 (en) * 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
JP2013143076A (ja) 2012-01-12 2013-07-22 Hitachi Solutions Ltd 遠隔操作プログラム、情報端末、コンピュータ、遠隔操作システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038528A (zh) * 2006-03-15 2007-09-19 国际商业机器公司 在具有光标的显示器上选择位置的方法
CN101290554A (zh) * 2007-04-19 2008-10-22 三星电子株式会社 提供图形用户界面的方法及其电子装置
US20130070145A1 (en) * 2011-09-20 2013-03-21 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US20130222243A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Method and apparatus for scrolling a screen in a display apparatus
US20140160033A1 (en) * 2012-12-07 2014-06-12 Linkedin Corporation Slide to apply
US20140306899A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Multidirectional swipe key for virtual keyboard
CN104423881A (zh) * 2013-08-26 2015-03-18 佳能株式会社 信息处理装置及其控制方法
US20150103021A1 (en) * 2013-10-15 2015-04-16 Lg Electronics Inc. Glass type terminal having three-dimensional input device and screen control method thereof
CN104580576A (zh) * 2013-10-16 2015-04-29 Lg电子株式会社 手表型移动终端及其控制方法
CN104375697A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种移动设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801045A (zh) * 2016-09-06 2018-03-13 汤姆逊许可公司 当播放增强现实场景时自动变焦的方法、设备和系统
CN108363486A (zh) * 2017-01-27 2018-08-03 佳能株式会社 图像显示装置及方法、图像处理装置及方法和存储介质
CN106873899A (zh) * 2017-03-21 2017-06-20 网易(杭州)网络有限公司 输入信息的获取方法及装置、存储介质和处理器
CN111936956A (zh) * 2018-04-09 2020-11-13 提姆拉博株式会社 基于特定出的拍摄范围控制显示装置的系统
CN112558300A (zh) * 2019-09-10 2021-03-26 精工爱普生株式会社 显示系统、记录介质、信息处理装置的控制方法和显示装置
CN112558300B (zh) * 2019-09-10 2023-03-28 精工爱普生株式会社 显示系统、记录介质、信息处理装置的控制方法和显示装置

Also Published As

Publication number Publication date
CN106168848B (zh) 2021-08-24
EP3093751A1 (en) 2016-11-16
US20160334911A1 (en) 2016-11-17
US10001857B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
CN106168848A (zh) 显示装置以及显示装置的控制方法
US11087728B1 (en) Computer vision and mapping for audio applications
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US11287905B2 (en) Trackability enhancement of a passive stylus
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
EP4172730A1 (en) Augmented reality experiences with object manipulation
WO2022005693A1 (en) Augmented reality experiences using speech and text captions
WO2022216784A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
CN105339870B (zh) 用于提供虚拟输入界面的方法和可穿戴装置
US11954268B2 (en) Augmented reality eyewear 3D painting
WO2022006116A1 (en) Augmented reality eyewear with speech bubbles and translation
WO2022005715A1 (en) Augmented reality eyewear with 3d costumes
EP4172732A1 (en) Augmented reality eyewear with mood sharing
CN206906983U (zh) 增强现实设备
JP2017157120A (ja) 表示装置、及び、表示装置の制御方法
US11998798B2 (en) Virtual guided fitness routines for augmented reality experiences
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
WO2024049576A1 (en) Real-world responsiveness of a collaborative object
JP2016212769A (ja) 表示装置、表示装置の制御方法、及び、プログラム
WO2022125280A1 (en) Augmented reality spatial audio experience
WO2023192386A1 (en) Personalized calibration of user interfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant