CN108376029B - 显示系统 - Google Patents

显示系统 Download PDF

Info

Publication number
CN108376029B
CN108376029B CN201810044181.6A CN201810044181A CN108376029B CN 108376029 B CN108376029 B CN 108376029B CN 201810044181 A CN201810044181 A CN 201810044181A CN 108376029 B CN108376029 B CN 108376029B
Authority
CN
China
Prior art keywords
unit
image
input
display unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810044181.6A
Other languages
English (en)
Other versions
CN108376029A (zh
Inventor
广井芳秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN108376029A publication Critical patent/CN108376029A/zh
Application granted granted Critical
Publication of CN108376029B publication Critical patent/CN108376029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/003—Lens or lenticular sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0023—Means for improving the coupling-in of light from the light source into the light guide provided by one optical element, or plurality thereof, placed between the light guide and the light source, or around the light source
    • G02B6/0031—Reflecting element, sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/005—Means for improving the coupling-out of light from the light guide provided by one optical element, or plurality thereof, placed on the light output side of the light guide
    • G02B6/0055—Reflecting element, sheet or layer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0081—Mechanical or electrical aspects of the light guide and light source in the lighting device peculiar to the adaptation to planar light guides, e.g. concerning packaging
    • G02B6/0086—Positioning aspects
    • G02B6/0088—Positioning aspects of the light guide or other optical sheets in the package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供显示系统。能够仅通过在头戴式显示装置上进行低负荷处理就能够进行输入处理显示系统具备头戴式显示装置和用于操作所述头戴式显示装置的输入装置。显示系统的所述输入装置佩戴于使用者的手臂或腿上，具备动作检测部，该动作检测部检测所述佩戴的手臂或腿在周向上的动作。所述头戴式显示装置显示受理操作的操作画面，根据由所述动作检测部检测出的所述动作切换对所述操作画面的操作。

Description

显示系统
技术领域
本发明涉及显示系统。
背景技术
近年来，能够在使用者眼前显示图像的头戴式显示装置得到普及。专利文献1中记载了检测使用者的手指的动作并将检测到的手指的动作用作对头戴式显示装置的输入的技术。
专利文献1：日本特开2015-90530号公报
在专利文献1记载的显示系统中，为了检测手指的动作，需要使用了图像识别的高级检测功能，因此，在头戴式显示装置上进行高负荷处理。因此，在具备头戴式显示装置的显示系统中，期望能够仅通过在头戴式显示装置上进行低负荷处理就能够进行输入处理的技术。
发明内容
本发明是为了解决上述课题中的至少一部分而完成的，能够作为以下方式来实现。
(1)根据本发明的一个方式，提供一种显示系统，该显示系统具备头戴式显示装置和用于操作所述头戴式显示装置的输入装置。该显示系统的所述输入装置佩戴于使用者的手臂或腿上，具备动作检测部，该动作检测部检测所述所佩戴的手臂或腿在周向上的动作。所述头戴式显示装置显示受理操作的操作画面，并根据由所述动作检测部检测出的所述动作来切换对所述操作画面的操作。根据该方式的显示系统，能够检测使用者的手臂或腿在周向上的动作，根据该动作来切换对操作画面的操作。手臂或腿的周向上的动作是单向的简单的动作，并且是较大的动作，因此，不需要复杂的检测功能。此外，动作检测部设置于输入装置侧。由此，根据该方式的显示系统，在进行对操作画面的操作时，能够减轻头戴式显示装置的处理负荷。
(2)在所述显示系统中，也可以是，所述头戴式显示装置具备显示部动作检测部，该显示部动作检测部检测所述头戴式显示装置具备的图像显示部的动作，在切换对所述操作画面的操作的结构中，根据由所述动作检测部检测出的所述动作和由所述显示部动作检测部检测出的所述图像显示部的动作，求出所述手臂或腿相对于所述图像显示部的方向的在周向上的相对动作，根据求出的所述相对动作，切换对所述操作画面的操作。根据该方式的显示系统，将佩戴有输入装置的手臂或腿的周向上的动作作为针对图像显示部的动作，从而能够高精度地求出。
(3)所述输入装置也可以是腕带式可穿戴设备。根据该方式的显示系统，能够进一步提高使用者的便利性。
(4)在所述显示系统中，也可以是，所述动作检测部具备：两轴以上的加速度传感器；和处理装置，其根据所述加速度传感器的检测信号来检测所述动作。根据该方式的显示系统，能够使输入装置小型化。
(5)在所述显示系统中，也可以是，所述操作画面是根据元音在横竖中的一个方向上排列有5个日文假名文字、根据辅音在横竖中的另一个方向上排列有10个日文假名文字的输入键盘，与所述动作对应的操作的切换是在所述输入键盘上切换排列在横竖中的一个方向的选择文字。根据该方式的显示系统，能够减轻头戴式显示装置的处理负荷而进行日文假名文字(平假名或片假名)的输入。
(6)在所述显示系统中，也可以是，所述输入装置具备第2动作检测部，该第2动作检测部检测所述佩戴的手臂或腿的比关节靠末端侧的部分的弯折方向的动作，所述头戴式显示装置根据由所述第2动作检测部检测出的所述动作，在所述输入键盘上切换排列在横竖中的另一个方向的选择文字。根据该方式的显示系统，使用者仅通过移动佩戴有输入装置的手臂或腿就能够进行日文假名文字的输入，因此，操作性优异。
(7)在所述显示系统中，也可以是，所述输入装置是腕带式可穿戴设备，所述操作画面是根据元音在横竖中的一个方向上排列有5个日文假名文字、根据辅音在横竖中的另一个方向上排列有10个日文假名文字的输入键盘，与所述动作对应的操作的切换是在所述输入键盘上切换元音，所述动作检测部构成为检测将前臂向胸前伸出后旋转手腕的动作。根据该方式的显示系统，使用者使手腕的旋转方向与输入键盘上的操作方向一致而进行输入操作，因此，能够直观地进行操作，操作性优异。
本发明还可以通过显示系统以外的各种方式来实现。例如，可以通过显示系统的制御方法、用于实现显示系统具备的各构成要素的功能的计算机程序以及记录有该计算机程序的记录介质等来实现。
附图说明
图1是示出本发明的第1实施方式中的显示系统的概要结构的说明图。
图2是示出图像显示部具备的光学系统的结构的重要部位俯视图。
图3是示出从使用者观察到的图像显示部的重要部位结构的图。
图4是用于说明照相机的视角的图。
图5是示出HMD的电气结构的框图。
图6是功能性地示出控制装置的结构的框图。
图7是示出通过HMD实现的增强现实感显示的一例的说明图。
图8是示出手表式设备的电气结构的框图。
图9是示出文字输入处理的流程图。
图10是示出由使用者观察的视野的一例的说明图。
图11是例示开始文字输入时的使用者的姿势的说明图。
图12是示出文字输入画面的一例的说明图。
图13是示出能够操作平假名输入键盘的前臂的动作的说明图。
图14是示出平假名输入键盘上的选择键的变更方式的说明图。
图15是具体示出手腕的旋转角度与段位置的关系的说明图。
图16是示出文字输入的转变的说明图。
图17是示出文字输入的转变的说明图。
图18是示出文字输入的转变的说明图。
图19是示出第2实施方式中的段位置的确定方法的说明图。
图20是示出对第2实施方式中的平假名输入键盘进行操作的方法的说明图。
图21是示出滚动列表的一例的说明图。
图22是示出作为变形例的显示系统所具备的带式设备的说明图。
图23是示出作为变形例的英文输入键盘的说明图。
图24是示出变形例的图像显示部具备的光学系统的结构的重要部位俯视图。
标号说明
10：控制装置；12：点亮部；14：触摸板；16：方向键；17：确定键；18：电源开关；19：振动器；20：图像显示部；21：右保持部；22：右显示单元；23：左保持部；24：左显示单元；26：右导光板；27：前部框架；28：左导光板；30：耳机；32：右耳机；34：左耳机；40：连接线缆；46：连接器；61：照相机；63：麦克风；65：照度传感器；67：LED指示器；100：头戴式显示装置(HMD)；110：操作部；111：六轴传感器；113：磁传感器；115：GPS接收器；117：无线通信部；118：存储器；120：控制器基板；121：非易失性存储部；122：存储功能部；123：设定数据；124：内容数据；130：电源部；132：电池；134：电源控制电路；140：主处理器；145：图像处理部；147：显示控制部；149：摄像控制部；150：控制功能部；151：输入输出控制部；153：通信控制部；155：文字输入部；180：语音编解码器；182：语音接口；184：外部连接器；186：外部存储器接口；188：USB连接器；192：传感器集线器；196：接口；210：显示单元基板；211：接口；213：接收部；215：EEPROM；217：温度传感器；221，221a：OLED单元；223，223a：OLED面板；225：OLED驱动电路；227：调制元件；230：显示单元基板；231：接口；233：接收部；235：六轴传感器；237：磁传感器；239：温度传感器；241，241a：OLED单元；243，243a：OLED面板；245：OLED驱动电路；247：调制元件；251：右光学系统；252：左光学系统；261：半反射镜；281：半反射镜；300：手表式可穿戴设备；310：面；320：壳体；330：带；350：计时部；360：处理器；370：六轴传感器；380：磁传感器；390：无线通信部；500：带型设备。
具体实施方式
A.第1实施方式：
A-1.显示系统的整体结构：
图1是示出本发明的第1实施方式中的显示系统的概要结构的说明图。显示系统具备头戴式表示装置100和手表式可穿戴设备300。手表式可穿戴设备300是能够佩戴于头戴式表示装置100的使用者的手腕上进行使用的钟表式终端(设备)。头戴式表示装置100和手表式可穿戴设备300利用无线进行连接，能够彼此进行通信。手表式可穿戴设备300除了计时功能之外，还作为用于操作头戴式显示装置100的输入装置发挥功能。
A-2.头戴式表示装置的结构：
头戴式表示装置100是佩戴于使用者头部的显示装置，也被称作头戴式显示器(Head Mounted Display，HMD)。HMD100是在透过玻璃观察的外界中浮现图像的透视式(透过式)头戴式显示装置。
HMD100具备使使用者观察图像的图像显示部20和控制图像显示部20的控制装置(控制器)10。
图像显示部20是佩戴于使用者头部的佩戴体，在本实施方式中，具有眼镜形状。图像显示部20在支承体上具备右显示单元22、左显示单元24、右导光板26和左导光板28，其中，所述支承体具有右保持部21、左保持部23和前部框架27。
右保持部21和左保持部23分别从前部框架27的两端部向后方延伸，像眼镜的镜腿(挂耳部分)那样将图像显示部20保持在使用者的头部。这里，将前部框架27的两端部中、在图像显示部20的佩戴状态下位于使用者的右侧的端部设为端部ER，将位于使用者的左侧的端部设为端部EL。右保持部21被设置成从前部框架27的端部ER延伸到图像显示部20的佩戴状态下的、与使用者的右侧头部对应的位置。左保持部23被设置成从前部框架27的端部EL延伸到图像显示部20的佩戴状态下的、与使用者的左侧头部对应的位置。
右导光板26和左导光板28设置于前部框架27上。右导光板26位于图像显示部20的佩戴状态下的使用者的右眼的眼前，使右眼观察图像。左导光板28位于图像显示部20的佩戴状态下的使用者的左眼的眼前，使左眼观察图像。
前部框架27具有通过将右导光板26的一端和左导光板28的一端彼此连结而成的形状。该连结位置与图像显示部20的佩戴状态下的使用者的眉间的位置对应。也可以在前部框架27上设置鼻垫部，该鼻垫部在右导光板26与左导光板28之间的连结位置上，在图像显示部20的佩戴状态下与使用者的鼻子抵接。该情况下，可利用鼻垫部、右保持部21和左保持部23将图像显示部20保持于使用者的头部。此外，还可以将在图像显示部20的佩戴状态下与使用者的后头部接触的带和右保持部21以及左保持部23连结。该情况下，可利用带将图像显示部20牢固地保持在使用者的头部。
右显示单元22进行基于右导光板26的图像显示。右显示单元22设置于右保持部21，位于图像显示部20的佩戴状态下的使用者的右侧头部附近。左显示单元24进行基于左导光板28的图像显示。左显示单元24设置于左保持部23，位于图像显示部20的佩戴状态下的使用者的左侧头部附近。另外，右显示单元22和左显示单元24也统称为“显示驱动部”。
本实施方式的右导光板26和左导光板28是由透光性的树脂等形成的光学部(例如棱镜)，将右显示单元22和左显示单元24输出的图像光引导至使用者的眼睛。另外，也可以在右导光板26和左导光板28的正面设置调光板。调光板是透过率根据光的波段而不同的薄板状的光学元件，作为所谓的波长过滤器发挥功能。调光板例如被配置成覆盖前部框架27的正面(与使用者的眼睛对置的面的相反侧的面)。通过适当选择调光板的光学特性，能够调节可见光、红外线和紫外线等任意的波段的光的透射率，从而能够调节从外部入射到右导光板26和左导光板28、再透过右导光板26和左导光板28的外部光的光量。
图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28，利用该图像光使使用者观察图像(增强现实感(AR)图像)(这也称作“显示图像”)。当外部光从使用者的前方透过右导光板26和左导光板28入射到使用者的眼睛中时，构成图像的图像光、以及外部光入射到使用者的眼睛中。因此，使用者的图像可视性受到外部光强度的影响。
因此，通过例如在前部框架27上安装调光板并适当选择或调节调光板的光学特性，能够调节图像的观察的容易度。在典型的示例中，可以选择具有至少可供佩戴HMD 100的使用者观察外部景色的程度的透光性的调光板。如果使用调光板，则可以期待保护右导光板26和左导光板28并抑制右导光板26和左导光板28的损伤或尘埃的附着等的效果。调光板也可以分别相对于前部框架27、或右导光板26和左导光板28的各个导光板进行装卸。此外，也可以更换多种调光板而进行装卸，也可以省略调光板。
照相机61配置在图像显示部20的前部框架27。照相机61设置于前部框架27的前表面上的、不遮住透过右导光板26和左导光板28的外部光的位置。在图1的示例中，照相机61配置在前部框架27的端部ER侧。照相机61也可以配置在前部框架27的端部EL侧，也可以配置在右导光板26与左导光板28之间的连结部。
照相机61是具备CCD、CMOS等摄像元件和摄像镜头等的数字照相机。本实施方式的照相机61虽然是单眼照相机，但也可以采用立体照相机。照相机61拍摄在HMD 100的正面侧方向、换言之是图像显示部20的佩戴状态下使用者观察的视场方向上的至少一部分外景(真实空间)。换言之，照相机61拍摄与使用者的视场重叠的范围或方向，拍摄使用者观察的方向。可以适当设定照相机61的视角大小。在本实施方式中，照相机61的视角大小被设定成拍摄使用者能够透过右导光板26和左导光板28观察的使用者视场的整体。照相机61根据控制功能部150(图6)的控制而执行摄像，将得到的摄像数据输出至控制功能部150。
HMD 100也可以具备距离测量传感器，该距离测量传感器检测与位于预先设定的测定方向上的测定对象物之间的距离。距离测量传感器例如可以配置在前部框架27的右导光板26与左导光板28之间的连结部分。距离测量传感器的测定方向可以为HMD100的正面侧方向(与照相机61的摄像方向重叠的方向)。距离测量传感器例如可以由LED、激光二极管等发光部和接收光源发出的光在测定对象物上反射的反射光的受光部构成。该情况下，通过三角测距处理或基于时间差的测距处理求出距离。距离测量传感器例如也可以由发射超声波的发射部和接收由测定对象物反射的超声波的接收部构成。该情况下，通过基于时间差的测距处理求出距离。距离测量传感器与照相机61同样地由控制功能部150(图6)控制，将检测结果输出至控制功能部150。
图2是示出图像显示部20具备的光学系统的结构的重要部位俯视图。为了便于说明，图2图示了使用者的右眼RE和左眼LE。如图2所示，右显示单元22和左显示单元24构成为左右对称。
作为使右眼RE观察图像(AR图像)的结构，右显示单元22具备OLED(Organic LightEmitting Diode)单元221和右光学系统251。OLED单元221发出图像光。右光学系251具备透镜组等，将OLED单元221发出的图像光L引导至右导光板26。
OLED单元221具有OLED面板223和驱动OLED面板223的OLED驱动电路225。OLED面板223是由通过有机电致发光而发光、分别发出R(红)、G(绿)、B(蓝)的色光的发光元件构成的自发光型显示面板。OLED面板223上呈矩阵状地配置有多个像素，该多个像素以各包含一个R、G、B元件的单位作为一个像素。
OLED驱动电路225根据控制功能部150(图6)的控制而执行OLED面板223具备的发光元件的选择和通电，使发光元件发光。OLED驱动电路225通过焊接等而固定在OLED面板223的背面、即发光面的背面侧。OLED驱动电路225也可以例如由驱动OLED面板223的半导体器件构成，安装在固定于OLED面板223的背面的基板上。在该基板上安装有后述的温度传感器217(图5)。另外，OLED面板223也可以采用如下结构：呈矩阵状地配置发出白光的发光元件，重叠配置与R、G、B的各色对应的滤色器。此外，也可以采用除了分别发射R、G、B的色光的发光元件之外还具备发射W(白色)光的发光元件的WRGB结构的OLED面板223。
右光学系统251具有准直透镜，该准直透镜使从OLED面板223射出的图像光L成为平行状态的光束。通过准直透镜而成为平行状态的光束的图像光L入射到右导光板26上。在右导光板26的内部引导光的光路上形成有反射图像光L的多个反射面。图像光L在右导光板26的内部经过多次反射而被引导到右眼RE侧。在右导光板26上形成有位于右眼RE的眼前的半反射镜261(反射面)。图像光L被半反射镜261反射后，从右导光板26射出至右眼RE，该图像光L在右眼RE的视网膜上成像，从而使得使用者观察到图像。
作为使左眼LE上观察图像(AR图像)的结构，左显示单元24具备OLED单元241和左光学系统252。OLED单元241发出图像光。左光学系统252具备透镜组等，将OLED单元241发出的图像光L引导至左导光板28。OLED单元241具有OLED面板243和驱动OLED面板243的OLED驱动电路245。各部的详细情况与OLED单元221、OLED面板223和OLED驱动电路225相同。在固定于OLED面板243的背面的基板上安装有温度传感器239(图5)。此外，左光学系统252的详细情况与右光学系统251相同。
根据以上说明的结构，HMD 100可以作为透视型显示装置发挥功能。即，由半反射镜261反射的图像光L和透过右导光板26的外部光OL入射到使用者的右眼RE。由半反射镜281反射的图像光L和透过左导光板28的外光OL入射到使用者的左眼LE。这样，HMD100使在内部处理后的图像的图像光L和外部光OL重叠而入射到使用者的眼中。其结果，对于使用者而言，透过右导光板26和左导光板28可以看到外景(真实世界)，并且，与外景重叠地观察到由图像光L产生的图像(AR图像)。
另外，半反射镜261和半反射镜281作为反射由右显示单元22和左显示单元24分别输出的图像光并提取图像的“图像提取部”发挥功能。此外，右光学系统251和右导光板26也被统称为“右导光部”，左光学系统252和左导光板28也被统称为“左导光部”。右导光部和左导光部的结构不限于上述示例，只要使用图像光在使用者的眼前形成图像，可以使用任意的方式。例如，右导光部和左导光部可以使用衍射光栅，也可以使用半透射反射膜。
在图1中，控制装置10和图像显示部20通过连接电缆40连接。连接电缆40以能够装卸的方式连接到设置于控制装置10的下部的连接器，从左保持部23的末端AL连接到图像显示部20内部的各种电路。连接电缆40具有传输数字数据的金属电缆或光纤电缆。连接电缆40还可以包含传输模拟数据的金属电缆。在连接电缆40的中途设有连接器46。
连接器46是用于连接立体声微型插头的插孔，连接器46和控制装置10例如通过传输模拟语音信号的线路连接。在图1所示的本实施方式的示例中，连接器46连接有构成立体声耳机的右耳机32和左耳机34以及具有麦克风63的头戴式耳机30。
例如，如图1所示，麦克风63配置成使得麦克风63的集音部朝向使用者的视线方向。麦克风63收集语音并将语音信号输出至语音接口182(图5)。麦克风63可以是单声道麦克风，也可以是立体声麦克风，也可以是具有指向性的麦克风或无指向性的麦克风。
控制装置10是用于控制HMD100(特别是图像显示部20)的装置。控制装置10包含点亮部12、触摸板14、方向键16、确定键17和电源开关18。点亮部12根据HMD100的发光方式来通知HMD100的操作状态(例如，电源的开/关等)。作为点亮部12，例如可以使用LED(LightEmitting Diode)。
触摸板14检测触摸板14的操作面上的接触操作，输出与检测内容对应的信号。作为触摸板14，可以采用静电型、压力检测型、光学型等各种触摸板。方向键16检测与上下左右方向对应的键的按键操作，输出与检测内容对应的信号。确定键17检测按键操作并输出用于确定在控制装置10上操作的内容的信号。电源开关18通过检测开关的滑动操作来切换HMD 100的电源的状态。
图3是示出从使用者观察到的图像显示部20的重要部位结构的图。在图3中，省略了连接电缆40、右耳机32和左耳机34的图示。在图3的状态下，能够观察到右导光板26和左导光板28的背面侧，并且用于向右眼RE照射图像光的半反射镜261和用于向左眼LE照射图像光的半反射镜281可观察为大致四边形的区域。使用者透过包含这些半反射镜261、281的左右的导光板26、28的整体来观察外景，并在半反射镜261、281的位置观察矩形的显示图像。
图4是用于说明照相机61的视角的图。在图4中，以俯视的方式示意性地示出照相机61以及使用者的右眼RE和左眼LE，并用λ表示照相机61的视角(摄像范围)。另外，照相机61的视角λ除了如图所示在水平方向上扩展以外，还与一般的数字照相机同样地在铅直方向上扩展。
如上所述，照相机61配置在图像显示部20的右侧端部，拍摄使用者的视线方向(即，使用者的前方)。因此，照相机61的光轴是包含右眼RE和左眼LE的视线方向的方向上。使用者在佩戴HMD 100的状态下能够观察到的外景不一定是无限远。例如，当使用者用双眼注视对象物OB时，如图中的标号RD、LD所示，使用者的视线朝向对象物OB。该情况下，使用者至对象物OB的距离一般为
Figure BDA0001550363690000101
左右，更多为
Figure BDA0001550363690000102
因此，关于HMD100，也可以确定在通常使用时的使用者至对象物OB的距离的上限和下限的目标。该目标可以预先求出并预先设置在HMD100中，也可以由使用者设定。优选的是，照相机61的光轴和视角被设定为，在这样的通常使用时的到对象物OB的距离相当于所设定的上限以及下限的目标的情况下，对象物OB包含在视角中。
另外，通常，人的视角在水平方向上为大约200度，在垂直方向上为大约125度。其中，信息接受能力良好的有效视野在水平方向上为30度，在垂直方向上为20度左右。人能够迅速且稳定地看到的所注视的凝视点的稳定注视视野在水平方向上为
Figure BDA0001550363690000103
度，在垂直方向上为
Figure BDA0001550363690000104
度左右。该情况下，当注视点是对象物OB(图4)时，以视线RD、LD为中心的、水平方向上30度、垂直方向上20度左右为有效视野。此外，水平方向上60～90度、垂直方向上45～70度左右是稳定注视视野。使用者透过图像显示部20并透过右导光板26和左导光板28而观察到的实际的视野称作实际视野(FOV：Field Of View)。实际视野比视角和稳定注视视野小，但比有效视野大。
本实施方式的照相机61的画角λ被设定为能够拍摄比使用者的视野更大的范围。照相机61的视角λ优选设定为至少能够拍摄比使用者的有效视野大的范围，更优选设定为能够拍摄比实际视野大的范围。更优选的是，照相机61的画角λ设定为能够拍摄比使用者的稳定注视视野大的范围，最优选的是，设定为能够拍摄比使用者的双眼的视角大的范围。因此，也可以构成为，在照相机61中，具备所谓的广角镜头作为摄像镜头，能够拍摄较大的视角。广角镜头可以包含被称作超广角镜头或准广角镜头的镜头。此外，照相机61中也可以包含单焦点镜头，可以包含变焦镜头，也可以包含由多个镜头构成的镜头组。
图5是示出HMD100的电气结构的框图。控制装置10具备通过执行程序而控制HMD100的主处理器140、存储部、输入输出部、传感器类、接口和电源部130。这些存储部、输入输出部、传感器类、接口、电源部130分别与主处理器140连接。主处理器140安装在控制装置10内置的控制器基板120上。
存储部包含存储器118和非易失性存储部121。存储器118构成临时存储由主处理器140执行的计算机程序以及要处理的数据的工作区域。非易失性存储部121由闪存或eMMC(embedded Multi Media Card)构成。非易失性存储部121存储由主处理器140执行的计算机程序以及由主处理器140处理的各种数据。在本实施方式中，这些存储部安装在控制器基板120上。
输入输出部包含触摸板14和操作部110。操作部110包含设置在控制装置10中的方向键16、确定键17和电源开关18。主处理器140控制这些各输入输出部并取得从各输入输出部输出的信号。
传感器类包含有六轴传感器111、磁传感器113和GPS(Global PositioningSystem)接收器115。六轴传感器111是具备三轴加速度传感器和三轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。六轴传感器111也可以采用将这些传感器模块化而成的IMU(Inertial Measurement Unit)。磁传感器113例如是三轴地磁传感器。GPS接收器115具备未图示的GPS天线，接收从GPS卫星发送的无线信号，检测控制装置10的当前位置的坐标。这些传感器类(六轴传感器111、磁传感器113、GPS接收器115)根据预先指定的采样频率向主处理器140输出检测值。各传感器输出检测值的时刻可以根据来自主处理器140的指示。
接口包括无线通信部117、语音编解码器180、外部连接器184、外部存储器接口186、USB(Universal Serial Bus)连接器188、传感器集线器192、FPGA194、接口196。这些作为与外部之间的接口发挥功能。无线通信部117执行HMD 100与外部设备之间的无线通信。无线通信部117构成为具备未图示的天线、RF电路、基带电路、通信控制电路等，或者构成为由它们综合而成的器件。无线通信部117进行例如依据包含Bluetooth(注册商标)、Wi-Fi(注册商标)在内的无线LAN等的标准的无线通信。
语音编解码器180与语音接口182连接，并且经由语音接口182进行输入输出的语音信号的编码/解码。语音接口182是用于输入输出语音信号的接口。语音编解码器180也可以具备进行从模拟语音信号到数字语音数据的转换的A/D转换器以及进行逆转换的D/A转换器。本实施方式的HMD100从右耳机32(图1)和左耳机34输出语音，并通过麦克风63进行集音。语音编解码器180将从主处理器140输出的数字语音数据转换为模拟语音信号，并经由语音接口182输出。此外，语音编解码器180将输入到语音接口182的模拟语音信号转换成数字语音数据，将其输出至主处理器140。
外部连接器184是使外部装置(例如个人计算机、智能手机、游戏设备等)与主处理器140连接的连接器，该外部装置与主处理器140进行通信。与外部连接器184连接的外部装置除了可以作为内容提供源之外，还可以用于由主处理器140执行的计算机程序的调试、HMD 100的操作日志的收集。外部连接器184可以采用各种方式。作为外部连接器184，可以采用例如USB接口、微型USB接口、存储卡用接口等与有线连接对应的接口、无线LAN接口、Bluetooth接口等与无线连接对应的接口。
外部存储器接口186是可连接便携式存储设备的接口。外部存储器接口186例如包含用于安装卡型记录介质而进行数据的读写的存储卡插槽以及接口电路。卡型记录介质的尺寸、形状、标准等可以适当选择。USB连接器188是可连接依据USB标准的存储设备、智能手机、个人计算机等的接口。
USB连接器188例如包含依据USB标准的连接器和接口电路。USB连接器188的尺寸、形状、USB标准的版本等可以适当地选择。
传感器集线器192和FPGA194经由接口(I/F)196与图像显示部20连接。传感器集线器192取得图像显示部20具备的各种传感器的检测值，将它们输出至主处理器140。FPGA194执行在主处理器140与图像显示部20的各部之间收发的数据的处理以及经由接口196的传输。接口196分别与图像显示部20的右显示单元22和左显示单元24连接。在本实施方式的示例中，连接线缆40(图1)与左保持部23连接，与该连接线缆40连接的布线敷设在图像显示部20的内部，右显示单元22以及左显示单元24分别与控制器10的接口196连接。
此外，HMD100具备振动器19。振动器19具备未图示的电机、偏心的转子等，根据主控制器140的控制而产生振动。例如，当检测到对操作部110的操作时，当HMD100的电源被打开或关闭时等，HMD100利用振动器19以规定的振动模式产生振动等。
电源部130包含电池132和电源控制电路134。电源部130供给使控制装置10动作的电力。电池132是可充电的电池。电源控制电路134进行电池132的余量的检测以及对电池132的充电的控制。电源控制电路134与主处理器140连接，将电池132的余量的检测值、电池132的电压的检测值输出至主处理器140。另外，也可以根据电源部130供给的电力，由控制装置10向图像显示部20供给电力。也可以构成为，能够利用主处理器140控制从电源部130向控制装置10的各部和图像显示部20的电力的供给状态。
右显示单元22具备显示单元基板210、OLED单元221、照相机61、照度传感器65、LED指示器67和温度传感器217。在显示单元基板210上安装有与接口196连接的接口(I/F)211、接收部(Rx)213以及EEPROM(Electrically Erasable Programmable Read-Only Memory)215。接收部213经由接口211接收从控制装置10输入的数据。在接收到OLED单元221显示的图像的图像数据时，接收部213将接收到的图像数据输出至OLED驱动电路225(图2)。
EEPROM215以主处理器140可读取的方式存储各种数据。EEPROM215存储例如与图像显示部20的OLED单元221、241的发光特性、显示特性相关的数据、以及与右显示单元22或左显示单元24的传感器特性等相关的数据。具体而言，例如存储涉及OLED单元221、241的伽玛校正的参数、用于补偿后述的温度传感器217、239的检测值的数据等。这些数据是通过HMD的出厂时的检查生成的，被写入EEPROM215中。在出厂后，主处理器140读入EEPROM215的数据，将其用于各种处理。
照相机61根据经由接口211输入的信号执行摄像，并将摄像图像数据或表示摄像结果的信号输出至控制装置10。如图1所示，照度传感器65设置在前部框架27的端部ER，并且被配置成接收来自佩戴图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。如图1所示，LED指示器67在前部框架27的端部ER配置在照相机61附近。在通过照相机61执行摄像的过程中，LED指示器67点亮，通知正在摄像中的情况。
温度传感器217检测温度并输出与检测出的温度对应的电压值或电阻值。温度传感器217安装在OLED面板223(图3)的背面侧。温度传感器217例如也可以安装在与OLED驱动电路225相同的基板上。利用该结构，温度传感器217主要检测OLED面板223的温度。另外，温度传感器217也可以内置于OLED面板223或OLED驱动电路225中。例如，在OLED面板223作为Si-OLED与OLED驱动电路225一起作为集成半导体芯片上的集成电路安装的情况下，也可以将温度传感器217安装在该半导体芯片上。
左显示单元24具备显示单元基板230、OLED单元241和温度传感器239。在显示单元基板230上安装有与接口196连接的接口(I/F)231、接收部(Rx)233、六轴传感器235和磁传感器237。接收部233经由接口231接收从控制装置10输入的数据。在接收到OLED单元241显示的图像的图像数据时，接收部233将接收到的图像数据输出至OLED驱动电路245(图2)。
六轴传感器235是具备三轴加速度传感器和三轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。六轴传感器235也可以采用将上述传感器模块化而成的IMU。磁传感器237例如是三轴地磁传感器。由于六轴传感器235和磁传感器237设置在图像显示部20中，因此，当图像显示部20佩戴在使用者的头部时，对使用者的头部的动作进行检测。根据检测到的头部的动作来确定图像显示部20的方向、即使用者的视场。
温度传感器239检测温度，输出与检测出的温度对应的电压值或电阻值。温度传感器239安装在OLED面板243(图3)的背面侧。温度传感器239例如也可以安装在与OLED驱动电路245相同的基板上。利用该结构，温度传感器239主要检测OLED面板243的温度。温度传感器239也可以内置于OLED面板243或OLED驱动电路245中。详细情况与温度传感器217相同。
右显示单元22的照相机61、照度传感器65、温度传感器217、左显示单元24的六轴传感器235、磁传感器237、温度传感器239与控制单元10的传感器集线器192连接。传感器集线器192根据主处理器140的控制来进行各传感器的采样周期的设定和初始化。传感器集线器192与各传感器的采样周期对应地执行对各传感器进行的通电、控制数据的发送以及检测值的取得等。传感器集线器192在预先设定的时刻将右显示单元22和左显示单元24具备的各传感器的检测值输出至主处理器140。传感器集线器192也可以具备临时保持各传感器的检测值的缓存功能。传感器集线器192也可以具备各传感器的检测值的信号形式或数据形式的转换功能(例如，转换为统一形式的转换功能)。
FPGA 194根据主处理器140的控制，开始和停止对LED指示器67的通电，由此，点亮或熄灭LED指示器67。
图6是功能性地示出控制装置10的结构的框图。在功能上，控制装置10具备存储功能部122和控制功能部150。存储功能部122是由非易失性存储部121(图5)构成的逻辑性存储部。存储功能部122也可以构成为与非易失性存储部121组合地使用EEPROM215和存储器118，来代替仅使用非易失性存储部121的结构。控制功能部150是通过由主处理器140执行计算机程序、即通过硬件和软件的协作而构成的。
存储功能部122存储有控制功能部150中的处理所需的各种数据。具体而言，在本实施方式的存储功能部122中存储有设定数据123和内容数据124。设定数据123包含涉及HMD100的动作的各种设定值。设定数据123中例如包含有控制功能部150控制HMD100时的参数、行列式、运算式、LUT((Look Up Table)等。
内容数据124中包含有包括通过控制功能部150的控制而使图像显示部20显示的图像和影像在内的内容的数据(图像数据、影像数据、语音数据等)。另外，内容数据124中还可以包含双向式内容的数据。双向式内容是如下类型的内容：由操作部110取得使用者的操作，由控制功能部150执行与所取得的操作内容对应的处理，将与处理内容对应的内容显示在图像显示部20中。在该情况下，在内容数据中可以包含用于取得使用者的操作的菜单画面的图像数据、确定与包含在菜单画面中的项目对应的处理的数据等。
控制功能部150通过使用存储功能部122所存储的数据执行各种处理，来执行作为OS143、图像处理部145、显示控制部147、摄像控制部149、输入输出控制部151、通信控制部153、文字输入部155的功能。在本实施方式中，OS14以外的各功能部构成为在OS143上执行的计算机程序。
图像处理部145根据由图像显示部20显示的图像/影像的图像数据，生成发送给右显示单元22和左显示单元24的信号。图像处理部145生成的信号也可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。除了通过由主处理器140执行计算机程序来实现的结构之外，图像处理部145还可以由与主处理器140不同的硬件(例如，DSP(DigitalSignal Processor))构成。
另外，图像处理部145还可以根据需要执行分辨率转换处理、图像调整处理、2D/3D转换处理等。分辨率转换处理是将图像数据的分辨率转换为适合于右显示单元22和左显示单元24的分辨率的处理。图像调整处理是调整图像数据的亮度和彩度的处理。2D/3D转换处理是根据三维图像数据生成二维图像数据、或根据二维图像数据生成三维图像数据的处理。在执行这些处理时，图像处理部145根据处理后的图像数据生成用于显示图像的信号，经由连接线缆40发送给图像显示部20。
显示控制部147生成控制右显示单元22和左显示单元24的控制信号，利用该控制信号来控制基于右显示单元22和左显示单元24各自的图像光的生成和射出。具体而言，显示控制部147控制OLED驱动电路225、245以执行OLED面板223、243的图像显示。根据图像处理部145输出的信号，显示控制部147进行使OLED驱动电路225、245在OLED面板223、243上进行描绘的时刻的控制、OLED面板223、243的亮度控制等。
摄像控制部149控制照相机61而使其执行摄像，生成拍摄图像数据，临时存储在存储功能部122中。此外，在照相机61构成为包含生成拍摄图像数据的电路的照相机单元的情况下，摄像控制部149从照相机61取得拍摄图像数据，临时存储在存储功能部122中。
输入输出控制部151适当地控制触摸板14(图1)、方向键16和确定键17以从它们取得输入指令。所取得的指令被输出至OS143，或被输出至与OS143一起在OS143上动作的计算机程序。通信控制部153控制无线通信部117，例如与手表式可穿戴设备300进行无线通信。
文字输入部155是根据在OS143上动作的应用程序而实现的功能。文字输入部155与图像处理部145、显示控制部147、输入输出控制部151和通信控制部153协作进行日文文字的输入。具体而言，文字输入部155通过如下方式来进行日文文字的输入：使图像显示部20显示后述的文字输入画面，并受理来自输入输出控制部151的对文字输入画面的操作。由此，使用者可以通过操作设置在控制装置10中的方向键16及确定键17，从文字输入画面输入日文文字。此外，文字输入部155还受理来自手表式可穿戴设备300的对文字输入画面的操作。由此，使用者通过操作手表式可穿戴设备300，也能够从文字输入画面输入日文文字。稍后将详细描述使用手表式可穿戴设备300的日文文字输入。
图7是示出通过HMD100实现的增强现实感显示的一例的说明图。在图7中，例示了使用者的视场VR。如上所述，被引导至HMD100的使用者的双眼的图像光在使用者的视网膜上成像，从而使用者观察到作为增强现实感(AR)的图像AI。在图7的示例中，图像AI是HMD100的OS的菜单画面。在菜单画面上，包含有用于启动例如“消息”、“电话”、“照相机”、“浏览器”、“备忘录”的各应用程序的图标IC。此外，右导光板26、左导光板28使来自外景SC的光透过，从而使得使用者观察到外景SC。这样，本实施方式的HMD的使用者通过将视场VR中的、显示有图像AI的部分与外景SC重叠而能够看到图像AI。此外，对于视场VR中的、未显示图像AI的部分，仅能够看到外景SC。
A-3.手表式可穿戴设备300的结构：
如图1所示，手表式可穿戴设备(以下也简称为“手表式设备”)300具备面310、固定面310的壳体320以及与壳体320连结的带330。面310内置有表针和表盘。
图8是示出手表式设备300的电气结构的框图。如图所示，手表式设备300具备计时部350、处理器360、六轴传感器370、磁传感器380和无线通信部390。计时部350测量当前的时刻并驱动表针。
处理器360执行程序以控制手表式设备300。六轴传感器370是具备三轴加速度传感器和三轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。六轴传感器370也可以采用将这些传感器模块化而成的IMU。磁传感器380例如是三轴地磁传感器。处理器360通过将六轴传感器370的检测信号和磁传感器380的检测信号进行组合，能够作为检测手表式设备300的面310的方向(与面310垂直的外侧方向)的方向检测部361发挥功能。由于可以根据面310的方向来掌握使用者的手臂的周向上的动作，因此，利用六轴传感器370和作为处理器360的一个功能的方向检测部361构成设置于作为本发明的一个方式的显示系统中的“动作检测部”。
可以代替处理器360而变更为使用ASIC(Application Specific IntegratedCircuit)或FPGA(Field Programmable Gate Array)构成的处理装置。
无线通信部390构成为具备未图示的天线、RF电路、基带电路、通信控制电路等，或者构成为将这些综合而成的设备。无线通信部390进行例如依据包含Bluetooth(注册商标)、Wi-Fi(注册商标)在内的无线LAN等的标准的无线通信。其结果，无线通信部390能够与HMD100具备的控制装置10进行无线通信。
A-4.关于文字输入处理：
图9是示出文字输入处理的流程图。该文字输入处理与图6所示的文字输入部155的一部分对应，由HMD100的主处理器140执行。与利用方向键16(图1)和确定键17(图1)指示了图7中例示的菜单画面的“备忘录”的图标IC对应地开始执行文字输入处理。
当处理开始时，首先，HMD100的主处理器140使“备忘录”的初始画面显示在图像显示部20中(步骤S110)。
图10是示出使用者观察的视野VR2的一例的说明图。如图所示，使用者观察到透过图像显示部20的导光板26、28的外景SC。外景SC包含例如佩戴有手表式设备300的使用者的手臂。然后，作为图9的步骤S110的结果，在外景SC上重叠显示“备忘录”的初始画面P1。初始画面P1具有显示所输入的字符串的备忘录区域P2。
返回图9，接着，主处理器140从手表式设备300取得面310的方向(步骤S120)。面310的方向是由方向检测部361(图8)检测出的方向。然后，主处理器140判定所取得的面310的方向是否与预先设定的方向(规定方向)一致(步骤S130)。该判定用于判定是否满足作为开始文字输入的触发的输入开始条件。
图11是例示开始文字输入时的使用者的姿势的说明图。在图中，箭头x表示使用者的前方向，箭头y表示使用者的上方向，箭头z表示使用者的右方向。即，x、y、z是基于使用者的方向的相对方向。在本实施方式中，如图所示，当使用者如观看钟表时那样将手臂(相对于肘位于前端侧的前臂)向胸前伸出、使手表式设备300的面310的方向FD朝向与观看钟表时相反的方向、即前(+x)下(-y)方向时，假定为开始文字输入。具体而言，在x-y坐标系中，用相对于+y轴绕原点旋转的旋转角度θ(向右转为正侧)来表示手表式设备300的面310的方向FD时，当旋转角度θ是在例如90度至180度的范围内的角度时，判定为已满足开始文字输入的条件。另外，该范围仅仅是一例，只要是不包含观看钟表时的角度的范围，可以设为任何角度范围。
手表式设备300还作为钟表发挥功能。因此，使用者有时在没有意图进行文字输入的情况下，为了观看时间而将面310的方向朝向自己。在本实施方式中，为了排除该情况，将面310的方向FD朝向与使用者相反的方向、即使用者的前下方向(上述的90度～180度的范围内的角度)时设为输入开始条件。
通过图9的步骤S120得到的面310的方向FD是绝对方向。与此相对，在步骤130中作为比较对象的“规定方向”是根据使用者的方向(即，图像显示部20的方向)而变化的、相对于图像显示部20的方向的相对方向。因此，在步骤S130中，通过将设置于图像显示部20中的六轴传感器235(图5)的检测信号和磁传感器237(图5)的检测信号进行组合而求出图像显示部20的方向(绝对方向)，根据该图像显示部20的方向和在步骤S120中取得的手表式设备300的方向来判定面310的方向FD是否朝向使用者的前下方向。
在图9的步骤S130中判定为面310的方向FD是使用者的前下方向的情况下，主处理器140使处理前进至步骤S140。在步骤S140中，主处理器140进行将文字输入画面显示在图像显示部20上的处理。
图12是示出文字输入画面P10的一例的说明图。文字输入画面P10是从图10所示的初始画面P1转换的画面。文字输入画面P10具备备忘录区域P11和平假名输入键盘P12。备忘录区域P11是显示所输入的字符串的区域，相当于初始画面P1的备忘录区域P2。
平假名输入键盘(以下简称为“输入键盘”)P12具备由与日文的平假名的50音对应的键KY排列而成的结构。具体而言，具备针对平假名根据元音在纵向上排列5个字的键KY、根据辅音在横向上排列10个字的键KY而成的结构。另外，输入键盘P12实际上构成为如下这样的结构：横向仅具备5个键KY，随着选择键(图中粗线框围住的键)SK的移动而出现隐藏的键。选择键SK是表示选择文字的键，在刚开始显示文字输入画面P10时位于预先设定的位置(在本实施方式中，为左上角的位置)，根据手表式设备300的动作而移动。关于该移动的详细情况，在后面叙述。在本实施方式中，设为50个平假名，但也可以设为片假名。
在执行图9的步骤S140后，主处理器140从手表式设备300取得面310的位置和方向(步骤S150)。面310的方向是由方向检测部361(图8)检测出的方向。手表式设备300的处理器360通过将六轴传感器370的检测信号和磁传感器380的检测信号进行组合，除了检测手表式设备300的面310的方向之外，还检测面310的位置。主处理器140还取得该面310的位置。
接着，主处理器140计算面310相对于HMD100的图像显示部20的位置和方向(步骤S160)。具体而言，主处理器140通过将设置于图像显示部20中的六轴传感器235(图5)的检测信号和磁传感器237(图5)的检测信号进行组合而求出图像显示部20的绝对位置和方向，根据该图像显示部20的绝对位置和方向、以及在步骤S150中取得的手表式设备300的位置和方向，计算面310相对于图像显示部20的相对位置和方向。
接着，主处理器140根据通过步骤S160计算出的面310的相对位置和方向求出佩戴有手表式设备300的手臂的动作，并对该动作进行判定(步骤S170)。
图13是示出能够操作输入键盘P12的前臂的动作的说明图。如图所示，使用者可以以如下方式移动佩戴手表式设备300的前臂：使得前臂的轴线AX的倾斜度α发生变化、或者手腕的周向上的旋转角度θ发生变化。设伸展手臂时(设上臂与前臂呈一直线状时)为0度，用弯曲手臂时的角度(以肘为中心转动前臂的动作)时的弯曲角度(上臂的方向与前臂的方向所成的角度)表示前臂的轴AX倾斜度α。“前臂的轴线”是指前臂的中心轴，大致与前臂的尺骨一致。“手腕的周向”是以轴线为中心的圆周方向。以下，将前臂的轴线AX的倾斜度α发生变化的动作称作“轴移动”，将手腕的周向上的旋转角度θ发生变化的动作称作“旋转”。在图9的步骤S170中，根据通过步骤S160计算出的面310的相对位置和方向，判定使用者的手臂的动作符合“轴移动”、“旋转”以及“其它”中的哪一个。
当在步骤S170中判定为使用者的手臂的动作是“轴移动”时，主处理器140根据在步骤S160中计算出的面310相对于图像显示部20的相对位置和方向来估计前臂的轴线AX的倾斜度α(图13)，并根据该倾斜度α变更输入键盘P12的选择键SK的行位置(步骤S180)。
图14是示出输入键盘P12上的选择键SK的变更方式的说明图。当前臂的轴线AX的倾斜度α变化时，选择键SK在横向上移动，行位置变更。具体而言，将以弯曲手臂时的肘为起点的前臂的可动范围等分为辅音的数量即10个，对等分的各范围分别分配行位置。随着角度增大，从あ行起，按照か行、さ行、た行的顺序变为后面的行。对该各分割范围分配行位置的数据以表的形式预先存储在控制装置10的存储器118中。在步骤S180中，通过将估计出的轴线AX的倾斜度α与存储在存储器118中的上述表进行对照来确定包含倾斜度α的分割范围，提取分配给确定的分割范围的行位置。然后，将选择键SK移动到提取出的行位置。
当在图9的步骤S170中判定为使用者的手臂的动作是“旋转”时，主处理器140根据在步骤S160中计算出的面310相对于图像显示部20的相对位置和方向来估计手腕的轴线AX的旋转角度θ(图13)，根据该旋转角度θ变更输入键盘P12的选择键SK的段位置(步骤S190)。手腕的旋转角度θ与图11中示出的表示面310的方向FD的旋转角度θ等效。
当手腕的旋转角度θ发生了变化时，在图14中，选择键SK在纵向上移动，段位置变更。具体而言，将手腕的可旋转的范围等分为元音的数量即5个，对等分的各范围分别分配段位置。对该各分割范围分配段位置的数据以表的形式预先存储在控制装置10的存储器118中。在步骤S190中，通过将估计出的手腕的旋转角度θ与存储在存储器118中的上述表进行对照来确定包含手腕的旋转角度θ的分割范围，提取分配给确定的分割范围的段位置。然后，将选择键SK移动到提取出的段位置。
图15是具体示出手腕的旋转角度θ与段位置的关系的说明图。设手腕的可旋转的范围为从后上方向(θ＝-45度)至前下方向(θ＝+135度)的范围时，如图15的(a)所示，当面310的方向FD处于前下方向(θ＝+135度)时为“あ段”，如图15的(b)所示，当面310的方向FD处于前方向(θ＝+90度)时为“い段”，如图15的(c)所示，当面310的方向FD处于前上方向(θ＝+45度)时为“う段”，如图15的(d)所示，当面310的方向FD处于上方向(θ＝+0度)时为“え段”，如图15的(e)所示，当面310的方向FD处于后上方向(θ＝-45度)时为“お段”。
更详细来说，当+99度≦θ≦+135度时为“あ段”，当+63度≦θ＜+99度时为“い段”，当+27度≦θ＜+63度时为“う段”，当-9度≦θ＜+27度时为“え段”，当-45度≦θ＜-9度时为“お段”。
在输入键盘P12上，切换段位置的方向是纵向。另一方面，使用者像观看钟表时那样将前臂向胸前伸出后旋转手腕。因此，手腕的旋转方向、即旋转角度θ变化的方向与在输入键盘P12上移动选择键SK的方向一致。另外，在本实施方式中，将前臂向胸前伸出后旋转手腕是因为，将向胸前伸出前臂而使面的方向朝向与自己相反的一侧时作为开始文字输入的触发。
在执行图9的步骤S180或步骤S190后，主处理器140判定是否进行了确定移动了位置的选择键SK的操作(步骤S192)。在本实施方式中，确定的操作被预先设定为用手腕咚咚敲门的敲击动作。在步骤S192中，从手表式设备300取得面310的位置和方向，根据该所取得的位置和方向判定是否进行了敲击动作。当判定为已进行敲击动作时，视为已进行确定的操作。
在步骤S192中判定为未进行确定的操作时，使处理返回至步骤S150，反复执行利用手表式设备300变更选择键SK的位置的操作。在步骤S192中判定为已进行确定的操作时，使处理前进至步骤S194。
在步骤S170中判定为使用者的手臂的动作既不是“旋转”也不是“轴移动”时，使处理返回至步骤S150，重新进行利用手表式设备300变更选择键SK的位置的操作。
图16～图18是示出文字输入的转换的说明图。假定现在文字输入画面P10处于图12所示的状态，输入文字“す”的操作的流程如下。首先，使用者通过进行使手臂从肘弯曲的操作将选择键SK移动到“さ行”。其结果，如图16所示，选择键SK确定文字“さ”。接着，使用者通过进行旋转手腕的操作而将选择键SK移动到“う段”。其结果，如图17所示，选择键SK确定文字“す”。然后，使用者可以通过进行敲击动作来确定由选择键SK确定的文字“す”。其结果，如图18所示，将文字“す”输入到备忘录区域P11中。
A-5.关于实施方式的效果：
根据如上所述构成的第1实施方式的显示系统，使用者通过使佩戴有手表式设备300的手臂沿周向旋转，能够变更元音在输入键盘P12上切换的段位置，通过使其手臂从肘弯曲，能够变更辅音在输入键盘P12上切换的行位置。手臂的周向上的动作是单向的简单的动作，并且是较大的动作，因此，不需要复杂的检测功能。弯曲手臂的动作也是简单的动作，并且是较大的动作，不需要复杂的检测功能。此外，这些检测功能设置在手表式设备300一侧。根据这些情况，在对HMD100的输入键盘P12进行操作时，能够减轻HMD100的处理负荷。此外，使用者仅通过移动佩戴有手表式设备300的手臂就能够进行日文平假名的输入，因此，HMD100的操作性优异。
此外，根据本实施方式的显示系统，使手腕的旋转方向、即旋转角度θ变化的方向与在输入键盘P12上移动选择键SK的方向一致而进行输入操作，因此，使用者能够直观地进行手表式设备300的操作。其结果，HMD100的操作性优异。
此外，在本实施方式中，当手表式设备300的面310的方向相对于使用者处于前下方向时，切换为“あ段”，当所述面的方向相对于使用者处于后上方向时切换为“お段”。在使手腕沿周向旋转时，对于人而言，使面310的方向以前下方向为起点朝后上方向转动到近前侧的操作是自然的动作。由于将该自然的动作设为从あ段移动到お段的操作，因此，HMD100的操作性更加优异。
B.第2实施方式：
在所述第1实施方式中，针对手腕的周向上的旋转角度θ而分别确定了输入键盘P12上的段位置。与此相对，在第2实施方式中，该段位置的确定方法不同，其它的结构与第1实施方式相同。对同一构成要素标注与第1实施方式相同的标号而进行以下的说明。
图19是示出第2实施方式中的段位置的确定方法的说明图。构成为如下结构：使手腕的周向上的旋转角度θ例如为45度时、即手表式设备300的面310的方向FD处于右前方向时为基准位置，使面310的方向FD从该基准位置起朝负方向(近前方向)旋转时，使段位置下降，使面310的方向FD从该基准位置起朝正方向(进深方向)旋转时，使段位置上升。
具体而言，当使面310的方向FD从基准位置向负方向(近前方向)倾斜(与倾斜角度无关)并保持该倾斜的状态时，随着其保持的时间的推移，输入键盘P12上的段位置依次朝“お段”的方向前进。即，其保持的时间越长，则朝“お段”的方向前进的前进量越增加。然后，通过使面310的方向FD返回至正方向而使得该增加停止。当使面310的方向FD从基准位置向正方向(进深方向)倾斜(与倾斜角度无关)并保持该倾斜的状态时，随着其保持的时间的推移，输入键盘P12上的段位置依次朝“あ段”的方向前进。即，其保持的时间越长，则朝“あ段”的方向前进的前进量越增加。然后，通过使面310的方向FD返回至负方向而使得该增加停止。
根据如上所述构成的第2实施方式的显示系统，使用者仅通过移动佩戴有手表式设备300的手臂就能够操作性良好地进行日文平假名的输入。此外，由于能够简单地检测出手臂的周向上的动作，因此，不需要复杂的检测功能，能够减轻HMD100的处理负荷。
在第2实施方式中，所述基准位置无需限于手腕的周向上的旋转角度θ为45度的位置，也可以取而代之，设为旋转角度θ例如为90度、即面310的方向FD为前方向的位置等各种旋转角度θ的位置。此外，基准位置无需限于旋转角度θ为一点的位置，也可以为具有某种程度的幅度的位置。例如，也可以将旋转角度θ在35～55度的范围内作为基准位置。基准位置无需限于预先确定的值或范围，也可以构成为可由使用者自由变更。
此外，在不设置基准位置的情况下，当使面310的方向FD从停止的状态向负方向(近前方向)倾斜(与倾斜角度无关)并保持该倾斜的状态时，随着其保持的时间的推移，输入键盘P12上的段位置依次朝“お段”的方向前进。然后，通过使面310的方向FD返回至正方向而使得该增加停止。此外，当使面310的方向FD从停止的状态向正方向(进深方向)倾斜(与倾斜角度无关)并保持该倾斜的状态时，随着其保持的时间的推移，输入键盘P12上的段位置依次朝“あ段”的方向前进。然后，通过使面310的方向FD返回至负方向而使得该增加停止。
在第2实施方式中，构成为如下结构：当面310的方向FD从基准位置向负方向倾斜时使段下降，当面310的方向FD从基准位置向正方向倾斜时使段上升，但是，也可以取而代之，构成为如下结构：向负方向倾斜时使段上升，向正方向倾斜时使段下降。
C.第3实施方式：
在所述第1实施方式和第2实施方式中，构成为：使用者通过在将前臂向胸前伸出的状态下使手腕沿周向移动来进行针对输入键盘P12的操作。与此相对，在第3实施方式中，也可以构成为：通过在放下手臂的状态下使手腕沿周向移动来进行针对输入键盘P12的操作。在本实施方式中，其它的结构与第1实施方式相同。对同一构成要素标注与第1实施方式相同的标号而进行以下的说明。
图20是示出对第3实施方式中的输入键盘P12进行操作的方法的说明图。在第3实施方式中，使用者无需如第1实施方式那样抬高手臂，而是由HMD400根据设置于手表式设备300中的六轴传感器的检测信号和磁传感器的检测信号来检测在手臂放下的状态下使手腕沿周向移动的动作，根据该检测出的动作变更输入键盘P12上的元音的段位置。
元音的段位置的变更方法可以与第1实施方式同样地构成为相对于手腕的周向上的旋转角度θ而分别确定段位置的结构，也可以与第2实施方式同样地构成为根据相对于基准位置的旋转方向来确定移动段位置的方向的结构。
根据如上所述构成的第3实施方式的显示系统，与第1和第2实施方式的显示系统同样，使用者仅通过移动佩戴有手表式设备300的手臂就能够操作性良好地进行日文平假名的输入。此外，由于能够简单地检测出手臂的周向上的动作，因此不需要复杂的检测功能，从而能够减轻HMD400的处理负荷。
D.第4实施方式：
在所述第1～第3实施方式及它们的变形例中，将作为操作对象的操作画面设为用于输入日文平假名的输入键盘P12。与此相对，在第4实施方式中，将操作画面作为设为用于订购商品的滚动列表，其它结构与第1实施方式相同。对同一构成要素标注与第1实施方式相同的标号而进行以下的说明。
图21是示出用于订购商品的滚动列表LT的一例的说明图。如图所示，在由使用者观察到的视野VR3中包含透过图像显示部20(图1)的导光板26、28的外景SC以及由图像显示部20显示的滚动列表LT。
在滚动列表LT中，准备了5个用于存储商品选项的选项栏。第1选项栏LT1配置在最前侧，第2选项栏LT2和第3选项栏LT3配置在后侧的第2列中，第4选项栏LT4和第5选项栏LT5配置在后侧的第3列中。如图所示，“盒饭”、“茶”、“饭团”、“咖啡”、“三明治”按照此顺序存储在第1～第5选项栏LT1～LT5中。位于最前侧的第1选项栏LT1处于选择状态(在图中用阴影线表示)。另外，在本实施方式中，该选项栏的数量被设为5个，但无需限于5个，也可以设为其他的多个的数量。
在本实施方式中，滚动列表LT与佩戴有手表式设备300的手臂的周向上的动作对应地旋转。具体而言，与第2实施方式同样，根据相对于基准位置的旋转方向来确定滚动列表LT的旋转方向。当滚动清单LT旋转时，存储在第一至第五选项栏LT1～LT5中的商品也依次移动。其结果，存储在第1选项栏LT1中的商品移动，从而能够指示处于选择状态的商品。
根据如上所述构成的第4实施方式的显示系统，能够利用手臂的周向上的动作而操作性良好地进行单轴旋转的滚动列表LT的操作。此外，由于能够简单地检测手臂的周向上的动作，因此，不需要复杂的检测功能，能够减轻HMD的处理负荷。
E.变形例：
另外，本发明不限于第1～第4实施方式及它们的变形例，可以在不脱离本发明的主旨的范围内在各种方式中实施，例如还可以进行如下这样的变形。
·变形例1：
在各实施方式和变形例中，构成为：根据佩戴有作为输入装置的手表式设备的手臂的周向上的动作来操作作为操作画面的输入键盘P12。与此相对，作为变形例，也可以构成为：根据腿的周向上的动作来操作作为操作画面的输入键盘P12。
图22是示出设置于变形例1的显示系统中的作为输入装置的带式设备的说明图。带型设备500安装在佩戴HMD的使用者的腿的脚腕附近。与第1～第4实施方式中使用的手表式设备同样，带型设备500具备六轴传感器和磁传感器，能够根据它们的检测信号检测腿的周向上的动作。根据检测出的腿的周向上的动作来操作作为操作画面的输入键盘P12。具体而言，根据腿的周向上的动作而变更元音在输入键盘P12上切换的段位置。此外，也可以构成为：利用六轴传感器和磁传感器来检测比腿的膝盖(关节)靠末端侧的部分(小腿)的倾斜度(弯折角度)，并且除了腿的周向上的动作之外，还根据小腿的倾斜度来操作作为操作画面的输入键盘P12。具体而言，根据小腿的倾斜度而变更辅音在输入键盘P12上切换的行位置。根据该变形例1，能够利用腿进行对操作画面的操作，操作性优异。
此外，作为将第1实施方式和变形例1进行组合而成的结构，也可以构成为：根据佩戴有手表式设备的手臂的周向上的动作和腿的周向上的动作双方来切换作为操作画面的输入键盘P12。具体而言，也可以根据手臂的周向上的动作而变更例如段位置，根据腿的周向上的动作而变更例如行位置。
·变形例2：
在各实施方式和变形例中，构成为：根据手臂的周向上的动作而在输入键盘P12上切换段位置，根据手臂的轴线的倾斜度而在输入键盘P12上切换行位置。与此相对，作为变形例，也可以构成为：根据手臂的周向上的动作而切换行位置，根据手臂的轴线的倾斜度而切换段位置。
·变形例3：
在第1和第2实施方式中，将向胸前伸出前臂、使面的方向朝向与自己相反的一侧时作为开始文字输入的触发。与此相对，作为变形例，也可以将以下作为上述触发：由控制装置10指示了作为GUI的按钮10时、启动了需要文字输入的应用程序时、由照相机61检测出手表式可穿戴设备300时等。
·变形例4：
在各实施方式和变形例中，虽然构成为利用六轴传感器和磁传感器检测手臂的周向上的动作，但并不一定需要使用六轴传感器和磁传感器，例如还可以仅为六轴传感器。此外，虽然构成为六轴传感器具备三轴加速度传感器和三轴陀螺仪(角速度)传感器，但也可以构成为使用三轴加速度传感器来代替六轴传感器。此外，也可以构成为使用两轴加速度传感器来代替六轴传感器，只要是两轴以上的加速度传感器即可。此外，无需限于加速度传感器，只要是设置于输入装置的设备、且能够直接或间接检测出手臂的周向上的动作的结构，可以为任意结构。
·变形例5：
在各实施方式和变形例中，构成为进行敲击动作作为确定进行了位置移动的选择键的操作。与此相对，作为变形例，也可以设为大幅振动手臂的动作或敲腿的动作等。
·变形例6：
在各实施方式和变形例中，操作画面是用于输入日文平假名的50音的平假名输入键盘。与此相对，作为变形例，操作屏幕也可以是用于输入英文的英文输入键盘。
图23是示出英文输入键盘的说明图。英文输入键盘X12构成为由纵向4个、横向10个共计40个键XKY排列而成的结构。在第一行，从左向右分配了从“A”到“J”的英文。在第二行，从左向右分配了从“K”到“T”的英文。在第三行中，从左向右分配了从“U”到“Z”的英文以及“(”、“)”、“[”、“]”。在第四行中，从左向右分配了记号“-”、“_”、“/”、“；”等。
根据具备上述字母输入键盘X12的变形例6，与第1实施方式同样，通过使佩戴有手表式设备300的手臂沿周向旋转，能够使选择键XSK在输入键盘P12上沿纵向移动，通过进行弯曲手臂的操作，能够使选择键XSK沿横向移动。因此，使用者仅通过移动佩戴有手表式设备300的手臂就能够进行英文的输入，因此，该变形例的HMD的操作性优异。
·变形例7：
在各实施方式和变形例中，输入装置构成为佩戴于手臂或腿上的带型。与此相对，作为变形例，也可以构成为用手握住其它形式的可穿戴设备、或替代可穿戴设备而握住笔式设备、便携电话、智能手机等，根据它们检测手臂的周向上的动作。
·变形例8：
在各实施方式和变形例中，输入装置为具有计时功能的手表式可穿戴设备。与此相对，作为变形例，也可以构成为不具有计时功能的腕带式可穿戴设备。在该情况下，由于腕带式可穿戴设备不具有面，因此，使用者难以获知腕带式可穿戴设备处于哪个方向。为了解决该问题，也可以构成为在腕带式可穿戴设备的规定位置上设置作为标记的特定形状的部位及发光部等。此外，也可以代替标记而使图像显示部20显示腕带式可穿戴设备的方向、旋转状态(旋转方向、处于静止中等)等。另外，图像显示部20显示方向或旋转状态的结构也可以作为在采用手表式可穿戴设备的各实施方式中附加的结构。
·变形例9：
在第1～第3实施方式中，将操作画面设为将按键在纵向和横向上排列的输入键盘，在第4实施方式中，将操作画面设为滚动列表，但操作画面无需限于此，只要是按键至少在单轴方向上排列的结构，可以为任意结构。
·变形例10：
在各实施方式和变形例中，也可以将由硬件实现的结构的一部分置换为软件，相反，也可以将由软件实现的结构的一部分置换为硬件。
·变形例11：
在上述实施方式中，例示了HMD的结构。但是，HMD的结构可以在不脱离本发明的主旨的范围内任意确定，例如可以进行构成要素的添加、删除、转换等。
在上述实施方式中，说明了右导光板26和左导光板28使外部光透过的、所谓的透过型HMD 100。但是，本发明还可以应用于例如不透过外光而显示图像的所谓的非透过型HMD 100。此外，在非透过型HMD 100中，只要用照相机拍摄外景，并将其拍摄图像显示在显示部即可。在这些HMD100中，除了进行AR(Augmented Reality)显示之外，还进行MR(MixedReality)显示或VR(Virtual Reality)显示，其中，所述AR显示是叠加于上述实施方式中说明的真实空间而显示图像，所述MR显示是将拍摄到的真实空间的图像和假想图像进行组合而进行显示，所述VR显示是显示假想空间。
在上述实施方式中，对控制装置10和图像显示部20的功能部进行了说明，但是这些可以任意变更。例如也可以采用以下方式。在控制装置10中搭载存储功能部122和控制功能部150、在图像显示部20中仅搭载显示功能的方式。在控制装置10和图像显示部20双方中搭载存储功能部122和控制功能部150的方式。将控制装置10和图像显示部20一体化的方式。在该情况下，例如，图像显示部20包含控制装置10的全部构成要素，构成为眼镜型可穿戴计算机。代替控制装置10而使用智能手机或便携式游戏设备的方式。通过无线通信连接控制装置10和图像显示部20并布置连接线缆40的方式。在该情况下，例如对控制装置10和图像显示部20的供电也可以通过无线来实施。
·变形例12：
在上述实施方式中，例示了控制装置的结构。但是，控制装置的结构可以在不脱离本发明的主旨的范围内任意确定，例如可以进行构成要素的添加、删除、转换等。
在上述实施方式中，对控制装置10具备的输入手段的一例进行了说明。但是，控制装置10也可以构成为省略例示的一部分输入手段，也可以具备以上没有叙述的其它输入手段。例如，控制装置10也可以具备操作杆、键盘、鼠标等。例如，控制装置10也可以具备用于解释与使用者的身体的动作等对应起来的命令的输入手段。使用者的身体的动作等可以通过例如用于检测视线的视线检测、用于检测手的动作的手势检测、用于检测脚的动作的脚部开关等来取得。另外，视线检测可以通过例如拍摄图像显示部20的内侧的照相机来实现。手势检测可以通过例如对由照相机61随时间拍摄的图像进行图像分析来实现。
在上述实施方式中，控制功能部150通过使主处理器140执行存储功能部122内的计算机程序而进行操作。但是，控制功能部150可以采用各种结构。例如，计算机程序可以代替存储功能部122、或者与存储功能部122一起存储在非易失性存储部121、EEPROM215、存储器118、其它外部存储装置(包含插入于各种接口中的USB存储器等存储装置、以及经由网络连接的服务器等外部装置等)。此外，也可以使用为了实现该功能而设计的ASIC(Application Specific Integrated Circuit)来实现控制功能部150的各功能。
·变形例13：
在上述实施方式中，在上述实施方式中，例示了图像显示部的结构。但是，图像显示部的结构可以在不脱离本发明的主旨的范围内任意确定，例如可以进行构成要素的添加、删除、转换等。
图24是示出变形例的图像显示部具备的光学系统的结构的重要部位俯视图。在变形例的图像显示部中，设置有与使用者的右眼RE对应的OLED单元221a和与左眼LE对应的OLED单元241a。与右眼RE对应的OLED单元221a具备发出白光的OLED面板223a和驱动OLED面板223a而使其发光的OLED驱动电路225。在OLED面板223a与右光学系统251之间配置有调制元件227(调制装置)。调制元件227例如由透过型液晶面板构成，对OLED面板223a发出的光进行调制而生成图像光L。透过调制元件227而被调制的图像光L由右导光板26引导至右眼RE。
与左眼LE对应的OLED单元241a具备发出白光的OLED面板243a和驱动OLED面板243a而使其发光的OLED驱动电路245。在OLED面板243a与左光学系统252之间配置有调制元件247(调制装置)。调制元件247例如由透过型液晶面板构成，对OLED面板243a发出的光进行调制而生成图像光L。透过调制元件247而被调制的图像光L由左导光板28引导至左眼LE。调制元件227、247与未图示的液晶驱动电路连接。该液晶驱动电路(调制装置驱动部)例如安装在配置在调制元件227、247附近的基板上。
根据变形例的图像显示部，右显示单元22和左显示单元24构成为分别具备作为光源部的OLED面板223a、243a和对光源部发出的光进行调制而输出包含多个色光的图像光的调制元件227、247的影像元件。另外，对OLED面板223a、243a发出的光进行调制的调制装置不限于采用透过型液晶面板的结构。例如，也可以使用反射型液晶面板来代替透过型液晶面板，也可以使用数字微镜器件，也可以构成为激光视网膜投影型HMD100。
在上述实施方式中，对眼镜型图像显示部20进行了说明，但是图像显示单元20的方式可以任意变更。例如，也可以构成为像帽子一样佩戴图像显示部20的方式，也可以构成为内置于头盔等身体保护器具中。此外，也可以将图像显示部20构成为搭载于汽车或飞机等车辆或其它交通工具的HUD(Head Up Display)。
在上述实施方式中，作为将图像光引导至使用者的眼睛的光学系统，例示了利用半反射镜261、281在右导光板26和左导光板28的一部分形成虚像的结构。但是，该结构可以任意变更。例如，也可以在占据右导光板26和左导光板28的整面(或大部分)的区域中形成虚像。在该情况下，也可以通过变化图像的显示位置的操作来缩小图像。此外，本发明的光学元件不限于具有半反射镜261、281的右导光板26和左导光板28，只要使用使图像光入射到使用者的眼镜的光学部件(例如衍射光栅、棱镜、全息元件等)，可以采用任意的方式。
本发明不限于上述的实施方式、实施例、变形例，能够在不脱离其主旨的范围内以各种结构来实现。例如，对于与发明内容一栏中记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征，为了解决上述课题中的一部分或全部，或者，为了实现上述效果的一部分或全部，可以适当进行替换或组合。此外，如果该技术特征在本说明书中未作为必须的技术特征进行说明，则可以适当进行删除。

Claims (6)

1.一种显示系统，其具备头戴式显示装置和用于操作所述头戴式显示装置的输入装置，其中，
所述输入装置佩戴于使用者的手臂或腿上，具备动作检测部，该动作检测部检测所述佩戴的手臂或腿在周向上的动作，
所述头戴式显示装置显示受理操作的操作画面，
根据由所述动作检测部检测出的所述动作切换对所述操作画面的操作，
所述头戴式显示装置具备显示部动作检测部，该显示部动作检测部检测所述头戴式显示装置具备的图像显示部的动作，
在切换对所述操作画面的操作的结构中，
根据由所述动作检测部检测出的所述动作和由所述显示部动作检测部检测出的所述图像显示部的动作，求出所述手臂或腿相对于所述图像显示部的方向的在周向上的相对动作，根据求出的所述相对动作，切换对所述操作画面的操作。
2.根据权利要求1所述的显示系统，其中，
所述输入装置是腕带式可穿戴设备。
3.根据权利要求1或2所述的显示系统，其中，
所述动作检测部具备：
两轴以上的加速度传感器；和
处理装置，其根据所述加速度传感器的检测信号检测所述动作。
4.根据权利要求1或2所述的显示系统，其中，
所述操作画面是根据元音在横竖中的一个方向上排列有5个日文假名文字、根据辅音在横竖中的另一个方向上排列有10个日文假名文字的输入键盘，
与所述动作对应的操作的切换是在所述输入键盘上切换排列在横竖中的一个方向的选择文字。
5.根据权利要求4所述的显示系统，其中，
所述输入装置具备第2动作检测部，该第2动作检测部检测所述佩戴的手臂或腿的比关节靠末端侧的部分的弯折方向的动作，
所述头戴式显示装置根据由所述第2动作检测部检测出的所述动作，在所述输入键盘上切换排列在横竖中的另一个方向的选择文字。
6.根据权利要求1所述的显示系统，其中，
所述输入装置是腕带式可穿戴设备，
所述操作画面是根据元音在横竖中的一个方向上排列有5个日文假名文字、根据辅音在横竖中的另一个方向上排列有10个日文假名文字的输入键盘，
与所述动作对应的操作的切换是在所述输入键盘上切换元音，
所述动作检测部构成为检测将前臂向胸前伸出后旋转手腕的动作。
CN201810044181.6A 2017-01-30 2018-01-17 显示系统 Active CN108376029B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017014483A JP2018124651A (ja) 2017-01-30 2017-01-30 表示システム
JP2017-014483 2017-01-30

Publications (2)

Publication Number Publication Date
CN108376029A CN108376029A (zh) 2018-08-07
CN108376029B true CN108376029B (zh) 2023-04-18

Family

ID=62979836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810044181.6A Active CN108376029B (zh) 2017-01-30 2018-01-17 显示系统

Country Status (3)

Country Link
US (3) US10725561B2 (zh)
JP (1) JP2018124651A (zh)
CN (1) CN108376029B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
US11567627B2 (en) * 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
USD997911S1 (en) * 2018-03-01 2023-09-05 Festool Gmbh Remote control
US20220156960A1 (en) * 2019-03-28 2022-05-19 Sony Group Corporation Information processing apparatus, information processing method, and program
CN113966497A (zh) * 2019-06-13 2022-01-21 麦克赛尔株式会社 头戴式信息处理装置及其控制方法
JP7287600B2 (ja) * 2019-06-26 2023-06-06 株式会社Ｎｔｔドコモ 情報処理装置
CN112118436A (zh) * 2020-09-18 2020-12-22 联想(北京)有限公司 一种基于增强现实装置的图像呈现方法、装置及系统
CN114665916B (zh) * 2020-12-23 2023-12-05 Oppo广东移动通信有限公司 模式切换方法、装置、穿戴设备和计算机可读存储介质
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
CN115454262A (zh) * 2022-09-23 2022-12-09 北京正负无限科技有限公司 一种信息输入方法、装置、设备、介质和程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
WO2011102406A1 (ja) * 2010-02-18 2011-08-25 ローム株式会社 タッチパネル入力装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
JP6210272B2 (ja) 2013-06-26 2017-10-11 セイコーエプソン株式会社 入力装置、脈拍数算出装置および入力方法
JP6206099B2 (ja) 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
JP5929933B2 (ja) 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
JP5928551B2 (ja) 2014-04-01 2016-06-01 カシオ計算機株式会社 情報処理システム、情報機器、装着型情報機器、情報機器の機能実行方法、装着型情報機器の情報通知方法、装着型情報機器の情報機器制御方法、装着型情報機器の画像送信方法、及びプログラム
US9342153B2 (en) * 2014-10-14 2016-05-17 Sony Corporation Terminal device and method for controlling operations
JP6516464B2 (ja) 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
JP2017009573A (ja) * 2015-03-06 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 装着端末、及び、装着端末の制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统

Also Published As

Publication number Publication date
CN108376029A (zh) 2018-08-07
US10725561B2 (en) 2020-07-28
US20200257381A1 (en) 2020-08-13
US20200257380A1 (en) 2020-08-13
US11216083B2 (en) 2022-01-04
US11226689B2 (en) 2022-01-18
US20180217681A1 (en) 2018-08-02
JP2018124651A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
CN108376029B (zh) 显示系统
US11310483B2 (en) Display apparatus and method for controlling display apparatus
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US10635182B2 (en) Head mounted display device and control method for head mounted display device
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US20170289533A1 (en) Head mounted display, control method thereof, and computer program
US10782531B2 (en) Head-mounted type display device and method of controlling head-mounted type display device
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
US10296104B2 (en) Display device, method of controlling display device, and program
JP2018124721A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP6776578B2 (ja) 入力装置、入力方法、コンピュータープログラム
US10884498B2 (en) Display device and method for controlling display device
JP2017134575A (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2018206080A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2019053644A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018200415A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018091882A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2017182460A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP6790769B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018067160A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6693160B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
JP2019053714A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP2018081415A (ja) 入力装置、入力方法、コンピュータープログラム
JP2017146715A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant