CN103999030A - 头戴式显示器和信息显示装置 - Google Patents

头戴式显示器和信息显示装置 Download PDF

Info

Publication number
CN103999030A
CN103999030A CN201280063109.9A CN201280063109A CN103999030A CN 103999030 A CN103999030 A CN 103999030A CN 201280063109 A CN201280063109 A CN 201280063109A CN 103999030 A CN103999030 A CN 103999030A
Authority
CN
China
Prior art keywords
image
input operation
operation face
detection target
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280063109.9A
Other languages
English (en)
Inventor
塚原翼
上野正俊
桦泽宪一
栗屋志伸
后藤哲郎
菅野尚子
川上大介
中川俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103999030A publication Critical patent/CN103999030A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种头戴式显示器和符合用户直觉并且操作性卓越的信息显示装置。本技术的一个实施方式的头戴式显示器(1)设置有：接收单元(12)、图像显示元件(14)、以及显示处理单元(132)。接收单元(12)接收自输入设备(2)输入的操作信号，所述操作信号包含与输入操作面(21)接触的待检测目标的相对位置有关的信息。图像显示元件(14)形成显示给用户的图像(V1)。基于操作信号，显示处理单元(132)在显示元件(14)上显示操作图像(V10)。在所述操作图像(V10)中，指示检测对象的位置的附图图像(P)重叠在图像(V1)上。

Description

头戴式显示器和信息显示装置
技术领域
本技术涉及一种头戴式显示器和信息显示装置。 
背景技术
已知存在一种安装在用户头部上并且能够通过放置在眼睛前方的显示器等将图像呈现给用户的头戴式显示器(HMD)。HMD被分类成并不允许外部光穿过其中并且仅将预定图像显示给用户的非透视型HMD和允许用户观察外界并且显示例如与用户视野重叠的预定图像的透视型HMD。例如，专利文献1描述了一种包括设置有诸如按钮等操作输入单元的主体的非透视型HMD。 
另一方面，近年来，对于将输入执行到信息处理装置等中的方法，其中切换指示项目(GUI：图形用户界面)使得可以将多个GUI呈现给用户的触摸版方法逐渐成为主流，而不是对多样化施加限制的、具有较大占用面积的按钮等。鉴于此，专利文献2描述了一种具有放置在用户视野区域内用于执行输入操作的触摸版的输入操作面的透视型HMD。 
专利文献1：日本专利申请特开第2008-070817号 
专利文献2：日本专利申请特开第2010-145861号 
发明内容
本发明解决的问题 
然而，在专利文献2中描述的透视型HMD中，必须通过HMD放置并且使用视野区域中的触摸板的输入操作面。因此，输入操作与图像显示之间可能发生冲突并且存在操作性问题。 
鉴于上述提及的情况，本技术的目标是提供匹配用户直觉并且操作性卓越的一种头戴式显示器和一种信息显示装置。 
解决该问题的方法 
为了实现上述提及的目标，根据本技术的实施方式的头戴式显示器包括：接收单元、图像显示元件、以及显示处理单元。 
接收单元接收从输入设备输出的、包括有关与输入操作面接触的检测目标的相对位置的信息的操作信号。 
图像显示元件形成呈现给用户的图像。 
显示处理单元基于操作信号使图像显示元件显示具有在图像上重叠的、指示检测目标的位置的辅助图像的操作图像。 
通过戴上头戴式显示器(HMD)，用户能够查看有关诸如与输入操作面接触的手指的检测目标的相对位置的信息，作为由HMD显示的操作图像中的辅助图像。这能够使用户在观察由HMD显示的操作图像的同时执行直觉操作，而无需查看输入操作面。 
在头戴式显示器中，接收单元可进一步接收从输入设备输出的图像信号，并且显示处理单元可基于图像信号使图像显示元件显示图像。 
例如，具有该配置的HMD不仅能够使用专用输入设备，而且还能够使用安装触摸板作为输入设备的便携式终端等。这使得可以通过HMD使用便携式终端的各种应用。 
显示处理单元基于操作信号可以在图像的显示区域内移动辅助图像。 
这能够使用户使用操作图像随着时间查看与输入操作面接触的检测目标的相对位置。因此，可以进一步增强可操作性。 
此外，操作信号可包括有关检测目标对输入操作面的接触压力的信息，并且显示处理单元可根据检测目标对输入操作面的接触压力改变辅助图像的显示模式。 
这能够使HMD在输入操作面上反映用户对例如操作图像的“推压(push in)”操作。因此，用户能够执行将与输入操作面的接触和“推压”组合的各种操作。 
头戴式显示器可进一步包括运算单元，运算单元基于操作信号计算输入操作面上检测目标的坐标位置，其中，显示处理单元基于由运算单元计算的检测目标的坐标位置使图像显示单元显示操作图像。 
头戴式显示器可以处理从输入设备检测的信号。因此，甚至可以使用具有简单装置配置的输入设备。 
为了实现上述所述目标，根据本技术的实施方式的信息显示装置包括输入设备和头戴式显示器。 
输入设备包括输入操作面和传感器单元，传感器单元对检测目标与输入操作面的接触进行检测并且输出有关输入操作面上检测目标的坐标位置的信息。 
头戴式显示器包括图像显示元件和显示处理单元，图像显示元件形成显示给用户的图像；并且显示处理单元基于传感器单元的输出使图像显示元件形成具有在图像上重叠的、指示检测目标的位置的辅助图像的操作图像。 
信息显示装置基于对输入设备的输入操作可以通过头戴式显示器将图像显示给用户。因此，用户可以执行直觉操作，而无需查看输入操作面。 
传感器单元可检测由检测目标加给输入操作面的接触压力。 
此外，此时，头戴式显示器可根据检测目标对操作面的接触压力改变辅助图像的显示模式。 
输入设备可以检测检测目标对输入操作面的接触压力(推压力)。因此，通过HMD可以将该信息反映给操作图像。这能够使用户执行更多种类的操作。 
此外，传感器单元可检测输入操作面上检测目标的移动，并且头戴式显示器可根据检测目标的检测移动显示移动的辅助图像。 
输入设备可进一步包括在输入操作面上显示图像的显示元件，并且头戴式显示器可显示辅助图像重叠在显示在输入操作面上的图像上的的图像作为操作图像。 
为了实现上述所述目标，根据本技术的实施方式的信息显示装置包括输入设备和头戴式显示器。 
输入设备包括输入操作面和传感器单元，传感器单元检测检测目标与输入操作面的接触。 
头戴式显示器包括图像显示元件，图像显示元件形成显示给用户的图像；运算单元，运算单元基于传感器单元的输出计算输入操作面上检测目标的坐标位置；以及显示处理单元，显示处理单元基于由运算单元计算的检测目标的坐标位置致使图像显示元件形成具有在图像上重叠的、指示检测目标的位置的辅助图像的操作图像。 
使用信息显示装置，可以简化输入设备的配置。这使得可以实现输入设备的重量等的减少并且提供甚至在长期操作过程中减少疲惫感的信息显示装置。 
本发明的效果 
如上所述，根据本技术，可以提供一种头戴式显示器和一种匹配用户直觉并且可操作性卓越的信息显示装置。 
附图说明
图1是示出了根据本技术的第一实施方式的信息处理装置的示意性透视图。 
图2是示出了根据本技术的第一实施方式的输入设备的内部构造的框图。 
图3是示出了根据本技术的第一实施方式的头戴式显示器(HMD)的内部构造的框图。 
图4是根据本技术的第一实施方式的信息处理装置的操作实例的流程图。 
图5是说明根据本技术的第一实施方式的信息显示装置的典型操作实例的示图，其中，图5的(A)示出了用户正在其上执行输入操作的输入设备的输入操作面，并且图5的(B)示出了经由HMD呈现给用户的操作屏幕。 
图6是示出了根据本技术的第二实施方式的信息显示装置的操作实例的流程图。 
图7是示出了根据本技术的第三实施方式的输入设备的内部构造的框图。 
图8是示出了根据本技术的第三实施方式的HMD的内部构造的框图。 
图9是说明根据本技术的第三实施方式的信息显示装置的典型操作实例的示图，其中，图9的(A)示出了用户正在其上执行输入操作的输入设备的输入操作面，并且图9的(B)示出了经由HMD呈现给用户的操作屏幕。 
图10是示出了根据本技术的第四实施方式的HMD的内部构造的框图。 
图11是示出了根据本技术的第五实施方式的手指的接触压力HMD的图像上的辅助图像变大的实例的示图，其中，图11的(A)示出了用户手指处于与输入操作面轻接触的状态，并且图11的(B)示出了此时HMD的操作图像。 
图12是示出了根据本技术的第五实施方式的手指的接触压力HMD的图像上的辅助图像变大的实例的示图，其中，图12的(A)示出了将用户手指推压到输入操作面的状态，并且图12的(B)示出了此时HMD的操作图像。 
图13是示出了根据本技术的第五实施方式的操作图像的实例的示图，其示出了HMD的图像上的辅助图像的颜色根据手指的接触压力变化的实例。 
图14是示出了根据本技术的第五实施方式的操作图像的实例的示图，其示出了HMD的图像上的辅助图像的颜色根据手指的接触压力变化的实例。 
图15是示出了根据本技术的第二实施方式的变形例的示图，其中，图15的(A)示出了用户将两个手指推压到输入操作面并且放宽其间距离的状态，并且图15的(B)示出了此时放大操作图像的状态。 
图16是示出了本技术的第二实施方式的变形例的示图，其中，图15的(A)示出了用户将两个手指推压到输入操作面并且缩短其间距离的状态，并且图15的(B)示出了此时操作图像缩小的状态。 
具体实施方式
在下文中，将参考附图描述根据本技术的实施方式。 
<第一实施方式> 
【信息显示装置】 
图1是示出了根据本技术的实施方式的信息显示装置的示意性透视图。根据本实施方式的信息显示装置100包括：头戴式显示器(HMD)1和输入设备2。 
在本实施方式中，HMD1被配置为透视型HMD。HMD1整体上具有眼镜形状。当将HMD1戴在头上的用户正在观察外界时，HMD1被配置为能够基于从输入设备2输出的信息将图像呈现给用户。 
输入设备2可被连接为与HMD1无线通信。可替代地，输入设备2可以被配置为经由电缆等以有线方式与HMD1通信。例如，在本实施方式中，输入设备2由具有触摸板的便携式终端构成。输入设备2还可连接到互联网等。此外，输入设备2可用作用于HMD1的所谓遥控器并且被配置为能够针对HMD1的各种设置等执行输入操作。 
接着，将描述输入设备2和HMD1。 
【输入设备】 
例如，输入设备2包括具有这种用户可把持的尺寸的壳体2A。壳体2A是在x轴方向上具有长度方向、在轴方向上具有宽度方向以及在z轴方向上具有厚度方向的近似矩形的平行六面体。输入操作面21形成为壳体2A的一个表面。输入操作面21属于具有x轴方向和与其正交y轴的坐标轴的二维坐标系。输入操作面21具有垂直于z轴的矩形形状，其包括平行于x轴方向的长边和平行于y轴方向的短边。 
例如，在用户手指为检测目标的情况下，输入设备2具有检测输入操作面21上的手指的xy坐标位置及其变化的功能。输入设备2进一步具有检测手指引起的输入操作面21在z轴方向上形变量的功能，即，接触压力。因此，获取手指在相对输入操作面21的z轴方向上的接触压力以及手指等在输入操作面21上的移动方向、移动速度、移动量等。应注意，检测目标不局限于用户手指并且可以是触笔等。 
在本实施方式中，输入操作面21由光透射型显示器盖等构成。由检测目标在输入操作面21上执行输入操作。输入操作面21还可以用作用于显示图像的屏幕。例如，输入操作面21被设置为覆盖形成在壳体2A的表面内并将其外周固定至壳体2A的开口21A。此外，设置输入操作面21的材料、厚度、尺寸等使得输入操作面21由于预定以上的接触压力而变形。例如，采用由丙烯酸树脂、聚碳酸酯树脂、或者PET(聚对苯二甲酸乙二酯)制成的透明塑料板、玻璃板、或者陶瓷板作为输入操作面21的材料。 
图2是示出了输入设备2的内部构造的框图。输入设备2包括：壳体2A、输入操作面21、触摸传感器22、压敏传感器23、显示元件24、控制单元25、存储单元26、传输/接收单元27、通信单元28以及电池BT。在本实施方式中，触摸传感器22和压敏传感器23构成“传感器单元”。 
触摸传感器22具有与输入操作面21几乎相同尺寸的面板形状。触摸传感器22直接设置在输入操作面21下方并且检测与输入操作面21接触的检测目标(手指)。触摸传感器22检测对应于检测目标在输入操作面21上的xy平面内移动的坐标位置并且输出对应于该坐标位置的检测信号。 
在本实施方式中，能够电容检测与输入操作面21接触的检测目标的电容触摸面板用作触摸传感器22。电容触摸面板可以是投射电容型(投射型)或者可以是表面电容型(表面型)。这种类型的触摸传感器22通常包括用于x位置检测的第一传感器22x，其中，平行于y轴方向的多个第一配线被布置在x轴方向上；以及用于y位置检测的第二传感器22y，其中，平行于x方向的多个第二配线布置在y轴方向上。第一传感器22x和第二传感器22y被布置成在z轴方向上彼此相对。例如，关于触摸传感器22，由后面所描述的控制单元25的驱动电路将信号电流顺次供应给第一配线和第二配线。 
除了以上之外，触摸传感器22不被特别限制，只要触摸传感器22能够检测检测目标的坐标位置即可，诸如电阻型、红外型、超声型、表面声波型、声脉冲识别型等各种类型，并且红外图像传感器是适用的。 
在本实施方式中，能够电容检测输入操作面21的Z轴方向上检测目标的接触压力的压敏传感器被用作压敏传感器23。例如，压敏传感器23包括布置在输入操作面21与壳体2A之间并且在z轴方向上相对的一对以上电极，并且压敏传感器23检测由于由输入操作面21的形变引起的电极之间的电容变化而产生的接触压力。可替代地，可以采用包括该对电极之间的弹性体的传感器作为压敏传感器23。在这种情况下，检测由于输入操作面21上的推压操作引起的弹性体的弹性形变，由该形变引起的电极之间的电容变化而产生的接触压力。应注意，例如，可由后面所描述的控制单元25的驱动电路来驱动压敏传感器23。 
压敏传感器23并不局限于上述所述构造。例如，还可以使用采用压电元件或者应变片的压电传感器。 
显示元件24直接设置在输入操作面21和触摸传感器22下方。在本实施方式中，显示元件24不受具体限制并且可以使用液晶显示器或者有机EL显示器。这允许字符、图片等图像显示在输入操作表面21上。 
通常，控制单元25由CPU(中央处理器)或者MPU(微处理器)构成。在本实施方式中，控制单元25包括运算单元251和信号生成单元252并且根据存储在存储单元26中的程序执行各种功能。运算单元251对从触摸传感器22和压敏传感器23输出的电信号执行预定运算处理并且产生包括关于与输入操作面21接触的检测目标的相对位置的信息的操作信号。信号生成单元252基于运算结果生成用于使显示元件24显示图像的图像信号。在本实施方式中，控制单元25包括用于驱动触摸传感器22的驱动电路并且将该驱动电路整合在运算单元251中。 
具体地，运算单元251基于从触摸传感器22和压敏传感器23输出的信号计算手指在输入操作面21上的xy坐标位置和接触压力。此外，例如，当基于计算结果检测到检测目标定位在预定xy坐标位置并且进一步检测到等于或者大于预定阀值的接触压力位于该坐标位置时，则运算单元251执行被分配到对应于该坐标位置的GUI的预定处理。运算单元251的处理结果被传输给信号生成单元252。 
信号生成单元252基于从运算单元251传输的处理结果生成用于形成将要被显示元件24显示的图像的图像信号。此时，信号生成单元252还能够生成用于显示辅助图像的信号，诸如，指针和对应于输入操作面21上图像的检测目标的xy坐标位置的位置处的亮度或者强度变化区域。此外，信号生成单元252还能够生成用于根据检测目标的接触压力改变辅助图像的显示模式的信号。 
有关由控制单元25的运算单元251计算的xy坐标位置和接触压力的操作信号和由信号生成单元252生成的图像信号被配置为经由传输/接收单元27被传输给HMD1。尽管附图中未示出，然而，输入设备2包括将从触摸传感器22和压敏传感器23输出的检测信号(模拟信号)转换成数字信号的A/D变换器和将数字信号转换成模拟信号的D/A变换器。 
存储单元26由RAM(随机存取存储器)、ROM(只读存储器)、其他半导体存储器等构成，并且存储单元26存储由控制单元25执行各种计算所使用的程序等。例如，ROM由非易失性存储器构成并且存储用于致使控制单元25执行诸如xy坐标位置和接触压力的计算等运算处理的程序和设置值。此外，在非易失性半导体存储器的情况下，存储单元26可以存储检测目标的xy坐标位置和接触压力、以及用于执行对应于它们而分配的功能的程序等。此外，存储在半导体存储器等中的程序可以提前下载到RAM中并被制单元25的运算单元251执行。 
例如，传输/接收单元27被配置为能够将由控制单元25产生的各种控制信号无线传输给HMD1。传输/接收单元27进一步被配置为能够接收从HMD2传输的预定信号。另一方面，通信单元28连接至诸如互联网等通信网络。通信单元28用于下载预定程序，例如，下载到输入设备2中的应用程序。通信单元28中的传输和接收可以是经由LAN电缆等有线的通信和接收，或者可以是例如作为高速数据通信的无线传输和接收。 
电池BT构成用于输入设备2的电源并且将所需电能供给壳体2A内部的各个单元。电池BT可以是一次电池或者可以是二次电池。可替代地，电池BT可以由太阳能电池构成。此外，输入设备2还可包括外部开关(未示出)，用于在推压时控制输入设备2的启动。 
【HMD】 
HMD1是透视型HMD并且被配置为在允许用户观察外界的同时能够在视野区域中呈现预定图像。根据本实施方式的HMD1包括图像显示装置11和支撑单元16。HMD1作为整体具有眼镜形状。例如，通过采用透视型HMD作为HMD1，使得即使输入设备2正在操作时也可以观察外界。因此，可以增强操作期间的安全性。 
支撑单元16可以安装在用户头部。在安装时，后面所描述的图像显示元件14被配置为支撑在用户眼睛的前方。在本实施方式中，尽管支撑单元16的形状不受具体限制，然而，支撑单元16可以整体上为眼镜形状。例如，支撑单元16具有可被安装在用户左右耳上的边撑状(temple)结构。鼻垫161还可以附接至支撑单元16的鼻梁附近。此外，支撑单元16可以配备有听筒162。例如，可以采用金属、合金、或者塑料作为支撑单元16的材料，并且不受具体限制。 
例如，图像显示装置11包括壳体11A并且定位在支撑单元16的预定位置处。图像显示装置11的位置不受具体限制。例如，图像显示装置11定位在用户的左右眼睛之外，因此，壳体11A并未包括在用户的视野区域内。 
图3是示出了图像显示装置11的内部构造的框图。在本实施方式中，图像显示装置11包括：壳体11A、传输和接收大运(接收单元)12、控制单元13、图像显示元件14、以及存储单元15。在本实施方式中，控制单元13构成“显示处理单元”。 
传输和接收单元12接收从输入设备2的传输/接收单元27输出的且包括关于与输入操作面21接触的检测目标的xy坐标位置和接触压力的信息的操作信号。此外，还可以接收显示在输入设备2的输入操作面21上的图像的图像信号。用于传输信号的方法不受具体限制。例如，作为无线通信，可以使用诸如“Wi Fi”(注册商标)、“ZigBee”(注册商标)以及“蓝牙”(注册商标)等装置之间的通信或者经由互联网的通信。可替代地，可以是经由USB(通用串行总线)、HDMI(高清晰度多媒体接口)等的有线通信。 
通常，控制单元13由CPU或者MPU构成并且根据存储在存储单元15中的程序执行各种功能。在本实施方式中，控制单元13基于由传输和接收单元12接收的操作信号和图像信号产生用于致使图像显示元件14形成呈现给用户的图像的控制信号。例如，这能够使图像显示元件14显示具有在与输入操作面21上显示的图像相同的图像上重叠的指示检测目标的位置的辅助图像的操作图像。辅助图像的形状不受具体限制。例如，辅助图像由环形(环状)指针、亮度或者强度等变化区域等构成。 
在本实施方式中，图像显示元件14包括液晶显示器(LCD)元件141和光学系统142。图像显示元件14被配置为经由光学系统142将由LCD141形成的图像呈现给用户。 
在LCD141中，多个像素布置成矩阵形式。LCD141根据由控制单元13产生的控制信号针对各个像素调制从由LED(发光二极管)等形成的光源(未示出)输入的光。LCD141输出用于形成呈现给用户的图像的光。例如，LCD141可以使用输出同时对应于R(红色)、G(绿色)以及B(蓝色)的颜色的图像光束的单板方法或者分别输出对应于各个颜色的图像光束的三板方法。 
光学系统142被配置为能够检测从LCD141发射的光以将其导向用户眼睛。例如，光学系统142可以由例如由因全反射而能够导光的透明基板和能够执行衍射反射的反射体积全息衍射光栅形成的光导板构成。例如，光导板形成矩形或者圆板形状等并且放置在用户眼睛前方，类似于眼镜镜片。全息衍射光栅等适当地设置在光导板中并且被制造成能够反射从LCD141发射的导向用户眼睛的光。例如，除全息衍射光栅之外，可以采用反射板等。 
因为从LCD141发射的光被反射在预定位置，所以具有这种构造的光学系统142能够将操作图像呈现在用户视野区域内。此外，光导板由透明基板形成，因此，可以用重叠方式在将操作图像呈现在视野区域内的同时允许用户观察外界。 
存储单元15由RAM、ROM、其他半导体存储器等构成并且存储由控制单元13执行的各种计算所使用的程序等。 
扬声器17将由输入设备2传输并且由控制单元13等产生的电音频信号转换成物理振动并且经由听筒162为用户提供声音。应注意，扬声器17的构造不受限制。 
应注意，图像显示装置11不局限于提供对应于两只眼睛的两个图像显示装置11的构造。例如，提供对应于仅左眼和右眼中的一只的一个图像显示装置11的构造也是可行的。 
【信息显示装置的操作实例】 
接着，将描述信息显示装置100的基本操作实例。 
图4是HMD1(控制单元13)和输入设备2(控制单元25)的操作实例的流程图。图5是说明信息显示装置100的典型操作实例的示图，其中，图5的(A)示出了用户正在其上执行输入操作的输入设备2的输入操作面21，并且图5的(B)示出了经由HMD1呈现给用户的操作屏幕。此处，当用户戴上HMD1并且在输入设备2的输入操作面21上的预定位置执行推压(push in)操作时信息显示装置100的操作实例。应注意，附图中X轴方向和Y轴方向分别对应于输入操作面21的x轴方向和y轴方向并且均指示正交平面方向。Z轴方向对应于输入操作面21的z轴方向并且指示正交于X轴方向和Y轴方向的方向。 
例如，在启动的输入设备2的输入操作面21上，显示其中显示多个GUI的图像v1(图5中的(A))。例如，图像v1是HMD1中各种设置的菜单选择屏幕。各个GUI对应于切换至HMD1的静音模式、音量控制、操作图像的增加/减少、指针的显示模式的变化等。因此，输入设备2被配置为能够在用户选择具体GUI时改变HMD1的设置。 
此时，还是对于戴上连接至输入设备2并且启动的HMD1的用户，类似于图像v1的图像V1经由HMD1呈现在视野区域内。 
输入设备2确定用户的手指(检测目标)通过触摸传感器22与输入操作面21接触(步骤ST101)。如果检测到接触(在步骤ST101中为是)，触摸传感器22将有关与其处于接触中的手指在输入操作面21上的xy坐标位置的检测信号输出给控制单元25。 
基于检测信号，控制单元25的运算单元251计算手指在输入操作面21上的xy坐标位置(步骤ST102)。有关由运算单元251计算的xy坐标位置的信号被输出给传输/接收单元27。 
传输/接收单元27将有关xy坐标位置的操作信号传输给HMD1的传输和接收单元12。 
基于由传输和接收单元12接收的操作信号和图像信号，HMD1的控制单元13产生用于控制具有被重叠在图像V1的指示检测目标的位置的辅助图像(指针P)的操作图像V10的信号。已经向其输出控制信号的图像显示元件14将操作图像V10呈现给用户(步骤ST103，图5中的(B))。因此，通过用户检查指针P在由HMD1呈现的操作图像V10上的移动，而无需观察手边的输入操作面21，用户就可以执行所需操作。因此，可以执行用户的直觉操作。应注意，此时，显示在输入操作面21上的图像可以仅是图像v1或者可以是具有被重叠在图像v1上的指针的图像。 
此外，当用户手指在保持与输入操作面21接触的同时移动时(见图5的(A)和图5的(B)中的箭头)，由触摸传感器22获取关于随时间变化的xy坐标位置上的信息。由输入设备2的控制单元25将该信息处理为操作信号并且经由传输/接收单元27和12输出给HMD1的控制单元13。这样，基于操作信号，控制单元13可以将用于移动指针P的控制信号输出给LCD141并且根据用户手指的移动在图像V1的显示区域内移动指针P。 
此外，当用户手指在保持与输入操作面21接触的同时移动时(见图5的(A)和图5的(B)中的箭头)，由触摸传感器22获取关于随时间变化的xy坐标位置上的信息。由输入设备2的控制单元25将该信息处理为操作信号并且经由传输/接收单元27和12输出给HMD1的控制单元13。这样，基于操作信号，控制单元13可以将用于移动指针P的控制信号输出给LCD141并且根据用户手指的移动在图像V1的显示区域内移动指针P。 
控制单元25确定手指与输入操作面21之间随时间的接触状态(步骤ST105)。当用户将手指移开输入操作面21时，触摸传感器22在手指不再 处于接触时输出信号。基于触摸传感器22的输出，控制单元25确定输入操作面21与手指之间的非接触(在步骤ST105中的是)。在这种情况下，指针P从HMD1的操作图像V10上消失并且图像V1再次显示。 
另一方面，当用户不将手指移开输入操作面21时，触摸传感器22在手指处于接触时输出信号。基于触摸传感器22的输出，控制单元25确定用户手指与输入操作面21处于接触中(在步骤ST105中的否)。之后，基于压敏传感器21的输出，检测手指相对输入操作面21的接触压力(步骤ST106)。 
通过用户在选择候选GUI的显示位置上的推压操作选择(确定)选择候选GUI。基于压敏传感器23的输出，控制单元25在运算单元251中计算接触压力。如果计算的接触压力等于或者大于预定阀值(在步骤ST106中的是)，则控制单元25确定选择候选GUI作为选择的GUI并且获取对应于存储在存储单元26中的选择的GUI的代码信息(步骤ST107)。 
此外，如果计算的接触压力小于预定阀值(在步骤ST106中的否)，控制单元25确定不选择选择候选GUI。在这种情况下，控制单元25返回步骤ST105并且重复上述提及的处理。 
此外，控制单元25经由传输/接收单元27将获取的代码信息传输给HMD1(步骤ST108)。基于经由传输和接收单元12接收的代码信息，HMD1的控制单元13执行对应于选择的GUI的处理。例如，基于存储在存储单元15中的程序等执行该处理。例如，即使对应于选择GUI的功能是“切换至静音模式”，控制单元13基于对应于GUI的代码信息通过执行处理可以将HMD1的设置切换至静音模式。 
例如，如果在步骤ST107中获取的代码信息是音量控制，则控制单元13也可基于代码信息产生图像控制信号并且将其输出给图像显示元件14。因此，例如，与音量控制条等重叠的新操作图像(未示出)被呈现给戴HMD1的用户。在这种情况下，由控制单元13产生的图像控制信号还可以从传输和接收单元12输出给输入设备2。这使得可以将类似于由HMD1所呈现的新操作图像的图像也显示在输入设备2的输入操作面21上。 
在本实施方式中，输入设备2包括压敏传感器23。因此，通过用户将手指推压到输入操作面21，可以致使输入设备1和HMD1执行例如对应于期望GUI的处理。这样，例如，即使将输入设备2被放置在手提包、口袋等中，也可以在输入设备2被放置其中时在输入设备2上执行输入操作。因此，可以增强便利性。此外，当将与输入操作面的接触操作和推压操作组合时，可以执行各种操作。 
此外，通过组合与输入操作面21的接触和推压并且执行以上提及的操作，仅通过接触不容易选择GUI并且可以防止误操作。 
此外，使用HMD1，可以在观察比输入设备2的输入操作面21上显示的图像更大的图像时执行操作。因此，也适用于观察小屏幕较困难的老年人等，可以有助于便携式终端的使用。 
此外，在本实施方式中，图像v1还显示在输入设备2的输入操作面21上。因此，输入设备2不局限于专用于HMD1的设备并且可以连接和使用安装触摸版显示器的便携式终端。因此，在这种情况下，可以使用便携式终端的各种应用并且获得以上提及的HMD1的动作和效果。 
<第二实施方式> 
图6是示出了根据本技术的第二实施方式的信息显示装置的操作实例的流程图。在本实施方式中，将省去或者简化与第一实施方式的构造和动作相同的部分的描述，并且将主要描述不同于第一实施方式的部分。 
还是在本实施方式中，例如，仅将进行描述假设由HMD1向用户呈现的操作图像和显示在输入操作面21上的图像均是布置多个GUI的菜单选择图像。例如，与第一实施方式的不同点在于，在步骤ST207至步骤ST212中，例如，控制单元25可以将呈现给用户的操作图像中的辅助图像(指针P)和所选择的GUI移动至期望位置并且改变GUI的布置。因此，根据本实施方式，“拖和放”操作是可以的。 
图6中的步骤ST201至步骤ST206分别对应于图5中的步骤ST101至步骤ST106，并且因此，将进行简化描述。首先，控制单元25检测用户手指与输入操作面21的接触(在步骤ST201中，的是)并且计算与手 指接触的xy坐标位置(步骤ST202)。基于xy坐标位置，HMD1的控制单元13显示图像V1中的指针P(ST203)。 
另一方面，输入设备2的控制单元25选择最接近于xy坐标位置的GUI作为候选(步骤ST204)。控制单元25基于触摸传感器22的输出确定手指的接触状态(在步骤ST205中，否)。如果确定从压敏传感器23输出的z轴方向上的接触压力等于或者大于阀值(在步骤ST206中，是)，则控制单元25确定是否在预定时间段或者更长时间段内输出等于或者大于阀值的接触压力(步骤ST207)。 
在预定时间段或者更短的时间段内以下的情况(在步骤ST207中，否)，控制单元25返回至步骤ST206并且重复上述所述处理。 
另一方面，如果在预定时间段或者更长时间段内检测接触压力(在步骤ST207中，是)，则控制单元25确定选择候选GUI作为可以拖拽的GUI(以下称之为可拖拽GUI)(步骤ST208)。 
控制单元25根据手指在输入操作面21上的移动计算的随时间自触摸传感器22检测的xy坐标位置(步骤ST209)。此外，随着时间将信号经由传输/接收单元27输出给HMD1的控制单元13。基于xy坐标位置的变化，控制单元13产生用于移动图像V10中指针P和可拖拽GUI的图像信号(步骤ST210)。 
在移动期间，控制单元25继续计算随着时间从压敏传感器23输出的接触压力并且确定接触压力是否等于或者大于阀值(在步骤ST211中，是)。如果确定接触压力小于阀值(在步骤ST211中，否)并且进一步确定与手指的非接触(在步骤ST212中，是)，则控制单元25执行可拖拽GUI的“放”操作(步骤ST213)。在放下可拖拽GUI的位置是对应于控制单元25确定接触压力小于阀值的时间点处的xy坐标位置的位置(在步骤ST211中，否)。 
此外，如果控制单元25没有确定非接触(在步骤ST214中，否)，控制单元25则返回步骤ST206并且再次确定从压敏传感器23输出的接触压力是否等于或者大于阀值。 
如上所述，使用根据本实施方式的信息显示装置100，用户通过仅观察HMD1的操作图像可以移动操作图像中的GUI、文件夹等，而无需观看手边的输入操作面21。因此，由于触摸传感器22和压敏传感器23的输出，可以执行“拖和放”操作并且可以增强用户的可操作性。 
<第三实施方式> 
图7至图9是说明本技术的第三实施方式的示图。图7是示出了根据本实施方式的输入设备的内部构造的框图。图8是示出了根据本实施方式的头戴式显示器的图像显示装置的内部构造的框图。图9是说明信息显示装置的典型操作实例的示图，其中，图9的(A)示出了用户正在其上执行输入操作的输入设备的输入操作面，并且图9的(B)示出了经由HMD呈现给用户的操作屏幕。在本实施方式中，将省去或者简化与第一实施方式的构造和动作相同的部分的描述，并且将主要描述不同于第一实施方式的部分。 
本实施方式与上述所述第一实施方式的不同在于，根据本实施方式的输入设备20不包括显示元件和控制单元并且不在输入操作面210上显示的图像。具体地，在本构造中，由触摸传感器220检测的xy坐标位置的检测信号和由压敏传感器230检测的接触有压力的检测信号可以经由传输/接收单元270传输给HMD10作为操作信号。因此，如图9中的(A)所示，输入操作面210上不显示该图像，并且输入设备20可被配置为包括所谓的触摸面板。因此，根据本实施方式的输入设备20可以是专用于HMD10的遥控器。 
在本实施方式中，仅由检测目标在输入设备20的输入操作面210上执行输入操作。因此，输入操作面210可以由非透光材料形成。这样，除第一实施方式中列出的材料之外，例如，可以采用由于预定以上的接触压力可形变的合成树脂等。 
在本实施方式中，根据HMD10的图像显示装置110的控制单元130包括：运算单元131和显示处理单元132。运算单元131根据触摸传感器220的xy坐标位置的检测信号和压敏传感器230的接触压力的检测信号计算xy坐标位置和接触压力。基于从运算单元131输入的处理结果，显示 处理单元132产生用于形成由图像显示元件140显示的图像的图像信号。此时，显示处理单元132还可产生用于显示诸如输入操作面210上图像的位置(对应于检测目标的xy坐标位置)处的指针等辅助图像的信号。因此，如图9中的(B)所示，HMD10可以将类似于根据第一实施方式的操作图像V10的操作图像V30显示给用户。 
此外，经由输入设备20的通信单元280还可以从互联网等获取由HMD10呈现给用户的图像。可替代地，HMD10可以设置有通信单元170并且可以基于由HMD10直接获取的信息产生图像。 
在本实施方式中，可以简化输入设备20的构造。因此，可以减少输入设备20的尺寸和重量并且提供即使在长期触摸操作中减少疲惫感并且易于携带的输入设备20。 
<第四实施方式> 
图10是示出了根据本技术的第四实施方式的输入设备的内部构造的框图。在本实施方式中，与第一实施方式的构造和动作相同的部分将以相同符号表示并且将省去或者简化其描述，将主要描述不同于第一实施方式的部分。 
本实施方式与上述所述第一实施方式的不同在于，根据本实施方式的输入设备200不包括压敏传感器。因此，在本实施方式中，输入设备200被配置为能够通过触摸传感器2200检测对应于检测目标在输入操作面21上的xy平面上移动的坐标位置并且检测接触压力。在本实施方式中，触摸传感器220构成“传感器单元”。 
如在第一实施方式中，例如，能够电容检测与输入操作面21接触的检测目标的电容触摸面板可以用作触摸传感器2200。触摸传感器2200检测对应于检测目标在输入操作面21上的xy平面上的移动的坐标位置并且将对应于坐标位置的检测信号输出给控制单元2500。此外，例如，当由检测目标在该坐标位置上执行推压操作时，触摸传感器2200检测对应于检测目标的接触压力和变化量的电容。因此，触摸传感器2200可以输出对应于该坐标位置的接触压力的检测信号。 
应注意，除上述之外，例如，还可以使用电阻型触摸面板。通常，电阻型触摸面板2200包括直接布置在输入操作面21下方、以预定间隙相对的两个透明电极等。电阻型触摸传感器2200输出具有对应于检测目标的接触压力的量级的电压(接触电阻值)。因此，控制单元2500可以计算检测目标的接触压力。此外，除电阻型传感器之外，诸如红外型、超声型、以及表面声波型等各种触摸面板传感器适用于根据本实施方式的触摸传感器。 
基于从触摸传感器2200的输出，控制单元2500被配置为能够使用运算单元2510计算检测目标的xy坐标位置和在该位置处的接触压力。 
在下文中，将简要描述输入设备200(控制单元2500)的操作实例。此处，如同第一实施方式中所描述的操作实例，示出了用户选择在输入操作面21和HMD1上显示的图像中的具体GUI的实例。 
首先，控制单元2500从触摸传感器2200获取xy坐标位置的检测信号。因此，控制单元2500确定最接近于xy坐标位置的GUI等作为选择候选的GUI等(见图4中的步骤ST104)。 
随后，将从触摸传感器2200输出的电容变化量作为接触压力的检测信号，控制单元2500确定该变化量是否等于或者大于预定阀值(见图4中的步骤ST106)。例如，如果其等于或者大于预定阀值，如在第一实施方式中，执行对应于选择GUI等的处理。(见图4中的步骤ST1070)。 
另一方面，将从触摸传感器2200输出的电容值或者变化量本身作为接触压力的检测信号，控制单元2500还可被配置为确定电容值是否等于或者大于预定阀值。 
包括具有上述所述构造的输入设备200的信息显示装置能够降低成本并且提高生产率等，并且能够减少输入设备200的重量和尺寸。 
<第五实施方式> 
图11至图14是说明本技术的第四实施方式的示图。在本实施方式中，与第一实施方式的构造和动作相同的部分将以相同符号表示并且将省去或者简化其描述，将主要描述不同于第一实施方式的部分。 
本实施方式与第一实施方式的不同在于，根据检测目标(手指)相对输入操作面21的接触压力改变辅助图像(指针)P4(P411至P422)的显示模式。 
图11和图12示出了图像V4上环形指针P411根据手指的接触压力变大的实施例。例如，当用户手指与输入操作面21轻接触时(图11中的(A))，显示了与具有预定尺寸的指针P411重叠的操作图像V411(图1中的(B))。此外，当用户从该状态将手指推压输入操作面212中时(图12中的(A))，显示了具有比与图像V4重叠的指针P411更大的指针P412的操作图像V412(图12中的(B))。 
例如，关于信息显示装置100的操作，当确定由压敏传感器23获取的接触压力等于或者大于预定阀值时，控制单元25将该信息输出给HMD1的控制单元13。因此，控制单元13产生用于根据接触压力显示一定尺寸的指针的控制信号。因此，在操作图像V411和V412中，具有取决于接触压力的尺寸的指针P411和P412显示在对应于手指与输入操作面21的接触位置的位置。 
此外，图13和图14示出了图像V4上环形指针P421和P422的颜色根据手指的接触压力变化的实施例。例如，当用户手指与输入操作面21轻接触时，显示了具有黑色指针P421的操作图像V421(图13)。此外，当用户从该状态将手指推压输入操作面212时，显示了具有在图像V4上重叠的灰色指针P422的操作图像V422。 
可替代地，图像V4上环形指针P4的透射率可被配置为根据手指的接触压力而变化。 
使用如上所述的信息显示装置100，用户可以可视化地查看其自身的推压量(接触压力)。这能够使用户通过HMD1查看操作图像，更为准确地执行组合接触与推压的操作。 
已经描述了本技术的实施方式。本技术并不局限于此，并且基于本技术的技术构思可以做出各种变形。 
例如，图15和图16是说明第二实施方式的变形例的示图。信息显示装置100被配置为能够通过输入设备2的触摸传感器22和压敏传感器23 检测输入操作面21上的两个或者多个接触位置。此外，通过在移动手指的同时将手指推压输入操作面21，可以执行放大或者缩小图像V21和V22的所谓“夹住/缩放(pinch/zoom)”操作。 
例如，如果确定由压敏传感器23获取的接触压力等于或者大于预定阀值，则控制单元25开始“夹住/缩放”。例如，如图15中的(A)所示，当用户将两个手指推压到输入操作面21并且拓宽其间距离时，如图15中的(B)所示，图像V21可以根据检测距离及其变化被放大。相反，如图16中的(A)所示，当用户将两个手指推压到输入操作面211并且缩短其间距离时，如图16中的(B)所示，图像V22可以根据检测距离及其变化被缩小。 
如上所述，根据变形例，可以改变图像的显示区域，而无需观察输入操作面21。这使得容易放大显示区域，例如，当图像V21太小以至于看不见时。此外，为了观察外界，还可以通过减小图像V22更容易地观察外界。因此，可以提供用户即使长期佩戴也更容易使用的信息显示装置100。 
此外，通过同一“夹住/缩放”操作，不仅可以执行显示区域的放大和减小，而且还可以执行一部分图像的放大和减小(例如，具体命令)。 
例如，作为第一实施方式的变形例，还可以形成在对应于手指在输入操作面21上位置的区域的亮度、强度等变化的操作图像。在这种情况下，“辅助图像”可以是亮度、强度等变化的区域内的图像。 
将描述根据上述所述变形例的信息显示装置100的具体操作实例。例如，基于来自触摸传感器22的检测信号，控制单元25计算输入操作面21上手指的xy坐标位置并且将该信息输出给HMD1的控制单元13。基于该信息，控制单元13产生用于改变对应XY坐标位置的亮度或者强度的控制信号。 
因此，HMD1可以将对应于手指的接触位置的区域与其他区域之间亮度、强度等不同的操作图像显示给用户。因此，还是根据变形例，用户可以通过查看由HMD1显示的操作图像检查输入操作面上手指等的接触位置。 
例如，在上述所述实施方式中，输入设备是由用户把持并且使用的便携式终端等。然而，其并不局限于此。例如，其可以是附着到用户手腕的腕表型或者可以是附着到用户手臂的腕带型。可替代地，其可以是附着至或者粘附至衣服的形式。同样，在本技术中，只要是支持检测目标与输入操作面接触的设备，则可以使用任何类型的输入设备。 
此外，在上述所述实施方式中，使用了透视型HMD。然而，其并不局限于此。还可以使用非透视型HMD。还是在这种情况下，用户可以通过观看由HMD1呈现的图像来执行直觉操作，而无需通过观看输入设备的输入操作面。 
成像元件可以安装到HMD中并且被配置为能够使外界成像。例如，从而能够使HMD和输入设备显示捕获图像。 
在实施方式中，描述了指针形状为环形的实例。然而，毋庸置疑，其并不局限于此。例如，可以采用例如箭头、三角形、方形以及圆形等任何形状。 
应注意，本技术还可采用下列构造。 
(1)一种头戴式显示器，包括： 
接收单元，接收包括关于与输入操作面接触的检测目标的相对位置的信息的操作信号，所述操作信号从输入设备输出； 
图像显示元件，形成呈现给用户的图像；以及 
显示处理单元，基于所述操作信使所述图像显示元件显示具有重叠在所述图像上的指示所述检测目标的位置的辅助图形的操作图像。 
(2)根据(1)所述的头戴式显示器，其中： 
所述接收单元进一步接收从所述输入设备输出的图像信号，以及 
所述显示处理单元基于所述图像信号使所述图像显示元件显示所述图像。 
(3)根据(1)或(2)所述的头戴式显示器，其中： 
所述显示处理单元基于所述操作信号在所述图像的显示区域内移动所述辅助图像。 
(4)根据(1)至(3)的任一项所述的头戴式显示器，其中： 
所述操作信号包括关于所述检测目标相对所述输入操作面的接触压力的信息；以及 
所述显示处理单元根据所述检测目标对所述输入操作面的所述接触压力改变所述辅助图像的显示模式。 
(5)根据(3)或(4)所述的头戴式显示器，进一步包括： 
运算单元，基于所述操作信号计算所述检测目标在所述输入操作面上的坐标位置， 
所述显示处理单元基于由所述运算单元计算的所述检测目标的坐标位置使所述图像显示元件显示所述操作图像。 
(6)一种信息显示装置，包括： 
输入设备，包括： 
输入操作面，以及 
传感器单元，检测检测目标与所述输入操作面的接触并且输出关于所述检测目标在所述输入操作面上的坐标位置的信息；以及头戴式显示器，包括： 
图像显示元件，形成呈现给用户的图像，以及 
显示处理单元，基于所述传感器单元的输出使所述图像显示元件形成具有指示被重叠在所述图像的所述检测目标的位置的辅助图像的操作图像。 
(7)根据(6)所述的信息显示装置，其中： 
所述输入设备，进一步包括： 
显示元件，在所述输入操作面上显示图像，以及 
所述头戴式显示器显示具有所述辅助图像的图像作为所述操作图像，所述辅助图像重叠在显示在所述输入操作面上的图像上。 
(8)根据(6)至(7)所述的信息显示装置，其中： 
所述传感器单元检测由所述检测目标加给所述输入操作面的接触压力。 
(9)根据(8)所述的信息显示装置，其中： 
所述头戴式显示器根据所述检测目标相对所述操作面的所述接触压力改变所述辅助图像的显示模式。 
(10)根据(6)至(9)的任一项所述的信息显示装置，其中： 
所述传感器单元检测所述检测目标在所述输入操作面上的移动，以及 
所述头戴式显示器根据所检测的所述检测目标的所述移动来显示所述辅助图像移动。 
(11)一种信息显示装置，包括： 
输入设备，包括： 
输入操作面，以及 
传感器单元，检测检测目标与所述输入操作面的接触；以及 
头戴式显示器，包括： 
图像显示元件，形成呈现给用户的图像， 
运算单元，基于所述传感器单元的输出计算所述检测目标在所述输入操作面上的坐标位置，以及 
显示处理单元，基于由所述运算单元计算的所述检测目标的坐标位置使所述图像显示元件形成具有重叠在所述图像上的指示所述检测目标的位置的辅助图像的操作图像。 
符号说明 
1  HMD(头戴式显示器) 
2、20  输入设备 
12、120  传输/接收单元(接收单元) 
13  控制单元(显示处理单元) 
131  运算单元 
132  显示处理单元 
14、140  图像显示元件 
21、210  输入操作面 
22、220  触摸传感器(传感器单元) 
23、230  压敏传感器(传感器单元) 
24  显示元件 
100  信息显示装置 
P、P411、P412、P421、P422  指针(辅助图像) 
V10、V30、V411、V412、V421、V422  操作图像 。

Claims (11)

1.一种头戴式显示器，包括：
接收单元，接收包含关于与输入操作面接触的检测目标的相对位置的信息的操作信号，所述操作信号从输入设备输出；
图像显示元件，形成呈现给用户的图像；以及
显示处理单元，基于所述操作信号使所述图像显示元件显示具有重叠在所述图像上的、指示所述检测目标的位置的辅助图像的操作图像。
2.根据权利要求1所述的头戴式显示器，其中：
所述接收单元进一步接收从所述输入设备输出的图像信号，以及
所述显示处理单元基于所述图像信号使所述图像显示元件显示所述图像。
3.根据权利要求1所述的头戴式显示器，其中：
所述显示处理单元基于所述操作信号在所述图像的显示区域内移动所述辅助图像。
4.根据权利要求1所述的头戴式显示器，其中：
所述操作信号包括关于所述检测目标对所述输入操作面的接触压力的信息；以及
所述显示处理单元根据所述检测目标对所述输入操作面的所述接触压力改变所述辅助图像的显示模式。
5.根据权利要求1所述的头戴式显示器，进一步包括：
运算单元，基于所述操作信号计算所述检测目标在所述输入操作面上的坐标位置，
所述显示处理单元基于由所述运算单元计算的所述检测目标的坐标位置使所述图像显示元件显示所述操作图像。
6.一种信息显示装置，包括：
输入设备，包括：
输入操作面，以及
传感器单元，对检测目标与所述输入操作面的接触进行检测并且输出关于所述检测目标在所述输入操作面上的坐标位置的信息；以及
头戴式显示器，包括：
图像显示元件，形成呈现给用户的图像，以及
显示处理单元，基于所述传感器单元的输出使所述图像显示元件形成具有重叠在所述图像上的、指示所述检测目标的位置的辅助图像的操作图像。
7.根据权利要求6所述的信息显示装置，其中：
所述输入设备，进一步包括：
显示元件，在所述输入操作面上显示图像，以及
所述头戴式显示器显示所述辅助图像重叠在显示在所述输入操作面上的图像上的图像作为所述操作图像。
8.根据权利要求6所述的信息显示装置，其中：
所述传感器单元检测由所述检测目标加给所述输入操作面的接触压力。
9.根据权利要求8所述的信息显示装置，其中：
所述头戴式显示器根据所述检测目标对所述操作面的所述接触压力改变所述辅助图像的显示模式。
10.根据权利要求6所述的信息显示装置，其中：
所述传感器单元检测所述检测目标在所述输入操作面上的移动，以及
所述头戴式显示器根据所检测的所述检测目标的所述移动来显示所述辅助图像的移动。
11.一种信息显示装置，包括：
输入设备，包括：
输入操作面，以及
传感器单元，检测检测目标与所述输入操作面的接触；以及
头戴式显示器，包括：
图像显示元件，形成呈现给用户的图像，
运算单元，基于所述传感器单元的输出计算所述检测目标在所述输入操作面上的坐标位置，以及
显示处理单元，基于由所述运算单元计算的所述检测目标的坐标位置使所述图像显示元件形成具有重叠在所述图像上的、指示所述检测目标的位置的辅助图像的操作图像。
CN201280063109.9A 2011-12-26 2012-11-02 头戴式显示器和信息显示装置 Pending CN103999030A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011282869A JP5957875B2 (ja) 2011-12-26 2011-12-26 ヘッドマウントディスプレイ
JP2011-282869 2011-12-26
PCT/JP2012/007032 WO2013099081A1 (ja) 2011-12-26 2012-11-02 ヘッドマウントディスプレイ及び情報表示装置

Publications (1)

Publication Number Publication Date
CN103999030A true CN103999030A (zh) 2014-08-20

Family

ID=48696634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063109.9A Pending CN103999030A (zh) 2011-12-26 2012-11-02 头戴式显示器和信息显示装置

Country Status (5)

Country Link
US (2) US9779700B2 (zh)
EP (1) EP2799958A1 (zh)
JP (1) JP5957875B2 (zh)
CN (1) CN103999030A (zh)
WO (1) WO2013099081A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739879A (zh) * 2016-01-29 2016-07-06 广东欧珀移动通信有限公司 一种虚拟现实的应用方法及终端
CN105759422A (zh) * 2015-01-06 2016-07-13 精工爱普生株式会社 显示系统和显示装置的控制方法
CN105867635A (zh) * 2016-04-26 2016-08-17 乐视控股（北京）有限公司 压力触控方法及装置
CN106951171A (zh) * 2017-03-14 2017-07-14 北京小米移动软件有限公司 虚拟现实头盔的控制方法和装置
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ
CN105210144B (zh) * 2013-05-21 2017-12-08 索尼公司 显示控制装置、显示控制方法和记录介质
JP6136667B2 (ja) * 2013-07-08 2017-05-31 コニカミノルタ株式会社 画像処理システム、画像形成装置、表示装置、および制御プログラム
JP6492419B2 (ja) * 2014-05-23 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
JP5975183B2 (ja) * 2013-11-01 2016-08-23 株式会社村田製作所 表示装置
CN107357510B (zh) * 2013-11-21 2021-06-04 华为终端有限公司 触摸选择的视觉反馈方法和装置
US20150199030A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Hover-Sensitive Control Of Secondary Display
JP6024725B2 (ja) * 2014-01-17 2016-11-16 カシオ計算機株式会社 システム
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
JP6484079B2 (ja) * 2014-03-24 2019-03-13 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． 感性伝達方法及びそのための端末機
CN104063092B (zh) * 2014-06-16 2016-12-07 青岛歌尔声学科技有限公司 一种触摸屏控制方法及装置
DE102014009303B4 (de) * 2014-06-26 2020-07-23 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
KR102283546B1 (ko) * 2014-10-16 2021-07-29 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스에서의 어플리케이션 실행 방법
JP5996605B2 (ja) * 2014-10-21 2016-09-21 株式会社コロプラ ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法
JP6548956B2 (ja) * 2015-05-28 2019-07-24 株式会社コロプラ システム、方法、およびプログラム
JP6648481B2 (ja) 2015-10-16 2020-02-14 凸版印刷株式会社 光学素子、光学素子デバイス及び光学素子制御システム
US10545345B2 (en) 2015-12-30 2020-01-28 Shenzhen Royole Technologies Co., Ltd. Head-mounted display device with function of touch input and touch control method thereof
US10095266B2 (en) 2016-01-28 2018-10-09 Colopl, Inc. System and method for interfacing between a display and a controller
JP6883394B2 (ja) * 2016-08-03 2021-06-09 株式会社コロプラ プログラム、コンピュータ及び方法
US10152851B2 (en) 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
CN106547378A (zh) * 2016-12-07 2017-03-29 歌尔科技有限公司 一种用于vr设备的触控装置和虚拟现实系统
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
JP6285604B2 (ja) * 2017-06-23 2018-02-28 晃輝 平山 入力装置
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
JP2019105678A (ja) * 2017-12-11 2019-06-27 京セラドキュメントソリューションズ株式会社 表示装置、及び画像表示方法
JP2019164431A (ja) * 2018-03-19 2019-09-26 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
US11106288B1 (en) * 2020-03-02 2021-08-31 John Walter Downey Electronic input system
CN116457745A (zh) * 2020-10-27 2023-07-18 富士胶片株式会社 显示控制装置、显示控制方法及显示控制程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027312A1 (en) * 2002-03-27 2004-02-12 Norio Owada Portable information device
US20080204427A1 (en) * 2004-08-02 2008-08-28 Koninklijke Philips Electronics, N.V. Touch Screen with Pressure-Dependent Visual Feedback
US20080273015A1 (en) * 2007-05-02 2008-11-06 GIGA BYTE Communications, Inc. Dual function touch screen module for portable device and opeating method therefor
CN101609363A (zh) * 2008-06-16 2009-12-23 林志雄 输入装置及输入方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2501293B2 (ja) * 1992-10-29 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション 入力装置への圧力の表示方法及びシステム
JP2001202192A (ja) * 2000-01-18 2001-07-27 Sony Corp 情報処理装置及びその方法並びにプログラム格納媒体
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
JP4797504B2 (ja) * 2005-08-09 2011-10-19 ソニー株式会社 入力装置及びこれを用いた表示装置
JP5023632B2 (ja) 2006-09-15 2012-09-12 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2009042967A (ja) * 2007-08-08 2009-02-26 Nikon Corp 情報入力表示システム、情報端末および表示装置
JP2009104449A (ja) * 2007-10-24 2009-05-14 Sharp Corp カーソル制御装置、カーソル制御システムおよびカーソル制御装置の制御方法
KR101569176B1 (ko) * 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
JP2010145861A (ja) 2008-12-19 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US9891708B2 (en) * 2009-06-09 2018-02-13 Immersion Corporation Method and apparatus for generating haptic effects using actuators
WO2011019154A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
JP5428943B2 (ja) * 2010-03-02 2014-02-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5845585B2 (ja) * 2011-02-04 2016-01-20 セイコーエプソン株式会社 情報処理装置
US9152288B2 (en) * 2011-05-19 2015-10-06 Microsoft Technology Licensing, Llc Remote multi-touch
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
JP5957875B2 (ja) * 2011-12-26 2016-07-27 ソニー株式会社 ヘッドマウントディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027312A1 (en) * 2002-03-27 2004-02-12 Norio Owada Portable information device
US20080204427A1 (en) * 2004-08-02 2008-08-28 Koninklijke Philips Electronics, N.V. Touch Screen with Pressure-Dependent Visual Feedback
US20080273015A1 (en) * 2007-05-02 2008-11-06 GIGA BYTE Communications, Inc. Dual function touch screen module for portable device and opeating method therefor
CN101609363A (zh) * 2008-06-16 2009-12-23 林志雄 输入装置及输入方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759422A (zh) * 2015-01-06 2016-07-13 精工爱普生株式会社 显示系统和显示装置的控制方法
CN105739879A (zh) * 2016-01-29 2016-07-06 广东欧珀移动通信有限公司 一种虚拟现实的应用方法及终端
CN105867635A (zh) * 2016-04-26 2016-08-17 乐视控股（北京）有限公司 压力触控方法及装置
CN106951171A (zh) * 2017-03-14 2017-07-14 北京小米移动软件有限公司 虚拟现实头盔的控制方法和装置
US10613622B2 (en) 2017-03-14 2020-04-07 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for controlling virtual reality helmets
CN111600990A (zh) * 2019-02-21 2020-08-28 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法
CN111600990B (zh) * 2019-02-21 2022-04-26 精工爱普生株式会社 显示系统、记录介质以及信息处理装置的控制方法

Also Published As

Publication number Publication date
US20150002434A1 (en) 2015-01-01
US20180005607A1 (en) 2018-01-04
EP2799958A1 (en) 2014-11-05
WO2013099081A1 (ja) 2013-07-04
JP5957875B2 (ja) 2016-07-27
US9779700B2 (en) 2017-10-03
JP2013134532A (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
CN103999030A (zh) 头戴式显示器和信息显示装置
US10706251B2 (en) Mobile terminal
JP5915552B2 (ja) ヘッドマウントディスプレイ、表示装置及び入力装置
CN103998970A (zh) 头戴式显示器和信息显示设备
CN103217791A (zh) 头戴式显示器
CN103676152A (zh) 头戴式显示器
KR20170137476A (ko) 모바일 디바이스 및 그 제어 방법
KR20190076656A (ko) 이동 단말기
CN101813999A (zh) 信息输入装置、方法及程序以及信息输入/输出装置
CN104160697A (zh) 头戴式显示器
KR102405666B1 (ko) 터치 감지 신호를 제어하는 전자 장치, 방법 및 저장 매체
KR20200095959A (ko) 디스플레이를 포함하는 전자 장치
US20220365562A1 (en) Electronic device for displaying application-related content, and method for controlling same
KR101659030B1 (ko) 와치 타입 단말기 및 이동 단말기 어셈블리
TWI633467B (zh) 輸入裝置及其製造方法
KR20220053394A (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
JP6754329B2 (ja) 画像表示装置、ヘッドマウントディスプレイ、情報表示装置、表示処理方法及びプログラム
JP6176368B2 (ja) ヘッドマウントディスプレイ及び情報表示装置
CN113127272B (zh) 屏幕检测方法和屏幕检测的电子设备
KR102229279B1 (ko) 이동 단말기 및 이의 곡면 윈도우 제조 방법
WO2017043691A1 (ko) 사용패턴의 통계적 처리를 통한 gui가 표시된 디스플레이 장치 및 제어 방법
US20180239487A1 (en) Information processing device, information processing method, and program
KR20170050672A (ko) 정전방식 및 정압 방식 터치 입력을 지원하는 이동 단말기
KR20170047060A (ko) 전원차단을 수행하는 이동 단말기 및 그 제어방법
KR20210118678A (ko) 전자 장치 및 전자 장치의 조도 센싱 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820