CN106066537A - 头戴式显示器和头戴式显示器的控制方法 - Google Patents

头戴式显示器和头戴式显示器的控制方法 Download PDF

Info

Publication number
CN106066537A
CN106066537A CN201610252375.6A CN201610252375A CN106066537A CN 106066537 A CN106066537 A CN 106066537A CN 201610252375 A CN201610252375 A CN 201610252375A CN 106066537 A CN106066537 A CN 106066537A
Authority
CN
China
Prior art keywords
information
display
head mounted
unit
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610252375.6A
Other languages
English (en)
Other versions
CN106066537B (zh
Inventor
渕上哲司
船濑和记
尾关昭宣
青木英士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN106066537A publication Critical patent/CN106066537A/zh
Application granted granted Critical
Publication of CN106066537B publication Critical patent/CN106066537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种头戴式显示器和头戴式显示器的控制方法,适当地向用户提示用户期望的信息。佩戴于用户头部的头戴式显示器(10)具备:姿势检测单元(111),其检测头戴式显示器(10)的姿势;操作检测单元(112),其检测对头戴式显示器(10)的预定的操作;显示单元(114),其显示信息;以及控制单元(113),其根据姿势检测单元(111)检测到的姿势的变化,变更显示单元(114)显示的信息,控制单元(113)进一步在操作检测单元(112)检测到预定的操作的情况下,即使姿势检测单元(111)检测到的姿势有变化,也维持显示单元(114)显示的信息而不变更该信息。

Description

头戴式显示器和头戴式显示器的控制方法
技术领域
本发明涉及头戴式显示器和头戴式显示器的控制方法。
背景技术
已有佩戴于用户的头部,并使用户收看影像的显示装置(以下称为头戴式显示器)。用户通过利用头戴式显示器,无需使用手,另外无需改变视线的方向就能够收看影像。因此,头戴式显示器例如在机械的保养操作员一边收看展示保养步骤的影像一边进行该机械的保养等情况下非常有用。
专利文献1公开了一种基于头戴式显示器的姿势,向用户提示期望的信息的头戴式显示器。根据专利文献1所公开的头戴式显示器,用户能够自动地、迅速且容易地取得期望的信息。
在先技术文献
专利文献
专利文献1:国际公开第2014/128751号
发明内容
发明要解决的问题
然而,根据专利文献1公开的技术,头戴式显示器会与用户的意图无关地变更向用户提示的信息。因此,头戴式显示器的显示信息有可能与用户的意图相反而变化。
因此,本发明提供一种将用户期望的信息适当地向用户提示的头戴式显示器等。
用于解决问题的技术方案
本发明的一个技术方案涉及的头戴式显示器是一种佩戴于用户的头部的头戴式显示器,具备:姿势检测单元,其检测所述头戴式显示器的姿势;操作检测单元,其检测对所述头戴式显示器的预定的操作;显示单元,其显示信息;以及控制单元,其根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息,所述控制单元进一步在所述操作检测单元检测到所述预定的操作的情况下,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
此外,这些总括或具体技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以用系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
发明的效果
本发明的头戴式显示器能够适当地向用户提示用户期望的信息。
附图说明
图1是实施方式1中的头戴式显示器的外观图。
图2是表示实施方式1中的头戴式显示器的硬件构成的框图。
图3是表示实施方式1中的头戴式显示器的功能构成的框图。
图4是由实施方式1中的姿势检测单元进行的姿势检测的第一说明图。
图5是由实施方式1中的姿势检测单元进行的姿势检测的第二说明图。
图6是表示对应表的说明图,所述对应表表示由实施方式1中的控制单元利用的姿势信息与显示信息的种类之间的对应。
图7是实施方式1中的用户的视野和显示于显示单元的图标的说明图。
图8是实施方式1中的用户的视野与显示于显示单元的图像的说明图。
图9是实施方式1中的被强调的显示方式的说明图。
图10是表示利用实施方式1中的控制单元进行的显示信息的变更或维持相关的处理的流程图。
图11是表示利用实施方式1中的控制单元进行的显示的维持的解除相关的处理的流程图。
图12是表示利用实施方式1中的控制单元进行的显示的维持及其解除相关的一系列流程的示意图。
图13是实施方式1中的图像数量多的显示信息的说明图。
图14是实施方式1中的文字数量少的显示信息的说明图。
图15是实施方式1中的文字数量多的显示信息的说明图。
图16是实施方式2中的头戴式显示器的外观图。
图17是表示实施方式2中的头戴式显示器的硬件构成的框图。
图18是表示实施方式2中的头戴式显示器的功能构成的框图。
图19是表示利用实施方式2中的控制单元进行的显示的变更相关的处理的流程图。
图20是表示利用实施方式2中的控制单元进行的显示的维持及其解除相关的一系列流程的示意图。
标号说明
10、10A 头戴式显示器
11、11A 主体部
12 鼻抵接部
13 眼镜腿
14 挂耳部
101 CPU
102 主存储器
103 存储装置
104 通信IF
105 加速度传感器
106 按钮
107 显示器
108 相机
111 姿势检测单元
112 操作检测单元
113 控制单元
114 显示单元
115 判定单元
121 动作检测单元
701 视野
711、712、713、714 图标
801、901、1301、1401、1501 图像
802、902 框
U1 手指
U2 手
具体实施方式
(成为本发明的基础的见解)
本发明人发现了记载于“背景技术”一栏中的头戴式显示器会产生以下问题。
一般来说,人们在仰望天空时,往往是在担心天气情况。因此,可认为:当用户仰望天空时,如果头戴式显示器显示表示今天的天气的标记,则实现了由用户进行的直观的操作。基于该想法,以往,已有根据头戴式显示器的姿势的变化,变更向用户提示的信息的头戴式显示器(专利文献1)。
根据专利文献1所公开的技术,当头戴式显示器的姿势(倾斜的方向)有变化时,向用户提示的信息发生变化。因此,如果是用户能够在较短时间内掌握(理解)的信息(例如,表示一天的天气的一个晴天标记),则基于头戴式显示器的姿势切换显示信息,由此,用户能够利用直观的动作使信息显示于头戴式显示器。
但是,根据上述方法,当针对用户需要较长时间来掌握的信息(例如,降水概率的时间上的推移)同样地进行基于头戴式显示器的姿势变化的显示切换时,有时在用户完全掌握信息内容之前头戴式显示器的姿势发生了变化的情况下会导致显示被切换而不能掌握内容。也就是说,在用户想继续阅览信息的情况下,必须将头戴式显示器的姿势维持为一定,便利性很低。
在向用户提示的信息异于用户的意图而发生了变化的情况下,用户需要进行使头戴式显示器的姿势返回原状这样的新的动作。另外,头戴式显示器需要进行基于由用户操作的上述动作,使提示的信息返回原状的处理。
因此,本发明提供一种将用户期望的信息适当地向用户提示而无需将头戴式显示器的姿势维持为一定的头戴式显示器等。
为了解决这种问题,本发明的一个技术方案涉及的头戴式显示器是一种佩戴于用户头部的头戴式显示器,具备:姿势检测单元,其检测所述头戴式显示器的姿势;操作检测单元,其检测对所述头戴式显示器的预定的操作;显示单元,其显示信息;以及控制单元,其根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息,所述控制单元进一步在所述操作检测单元检测到所述预定的操作的情况下,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
根据该技术方案,用户根据自己的判断,通过预定的操作来固定(维持)信息的显示,由此不论头戴式显示器的姿势如何,头戴式显示器都能够显示需要的信息。这样,头戴式显示器能够适当地向用户提示用户期望的信息。
另外,头戴式显示器一般仅向佩戴头戴式显示器的用户显示图像。因此,在上述用户的周围的人看来,佩戴头戴式显示器并对头戴式显示器进行某些操作的用户看起来会有些异样。如果能够通过上述动作使信息显示于头戴式显示器,则用户能够利用在别人面前也不会有不谐调感的自然的动作,使需要的信息显示于头戴式显示器。
这样,用户能够兼顾利用直观且在别人面前也不会有不谐调感的自然动作进行的信息收集和需要较长时间掌握的信息的内容掌握。
例如,所述控制单元在所述操作检测单元检测到所述预定的操作且所述姿势检测单元检测到的姿势有变化的情况下,维持所述显示单元显示的信息而不变更该信息,并且使所述信息的显示方式变化。
根据该技术方案,通过仅使头戴式显示器显示的信息的显示方式发生变化,用户能够一眼识别出无论头戴式显示器的姿势如何变化,都固定显示的信息这一情况。因此,能够防止用户将即使头戴式显示器的姿势有变化也不切换显示的状况误识别为是头戴式显示器的故障这一情况。
例如,所述显示单元在显示所述信息时,与所述信息一起显示图形作为所述信息的背景,所述控制单元通过使所述图形的颜色变化而使所述信息的显示方式变化。
例如,所述显示单元在显示所述信息时,与所述信息一起显示包围所述信息的框,所述控制单元通过使所述框的粗细或颜色变化而使所述信息的显示方式变化。
根据该技术方案,通过变更头戴式显示器显示的背景或框的颜色,用户能够具体地识别出头戴式显示器的显示被固定这一情况。
例如,所述头戴式显示器还具备第一判定单元,所述第一判定单元判定所述显示单元显示的信息的信息量是否比预定大,所述控制单元仅限于判定为所述信息量比预定大的情况下,在所述操作检测单元检测到所述预定的操作时,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
例如,所述头戴式显示器还具备第二判定单元,所述第二判定单元判定所述显示单元显示的信息的信息量是否比预定小,所述控制单元在判定为所述信息量比预定小的情况下,即使所述操作检测单元检测到所述预定的操作,也根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息。
根据该技术方案,头戴式显示器基于显示的信息的特征,决定是根据头戴式显示器的姿势变更该信息的显示还是维持该信息的显示。具体而言,由于某种程度上能够推定该信息对用户来说是基于头戴式显示器的姿势想切换显示的信息(能够在较短时间内掌握的信息),还是不想切换显示的信息(需要较长时间掌握的信息),所以头戴式显示器能够按每个信息预先设定是上述哪一个信息。
另外,根据该技术方案,在显示有用户能够在较短时间内掌握的信息(例如表示一天的天气的一个晴天标记)的状态下,即使在用户错误地进行了预定的操作的情况下,也能够基于头戴式显示器的姿势使显示的信息变更。
例如,在所述操作检测单元检测到所述预定的操作后,进一步检测到与所述预定的操作相同的后续操作的情况下,所述控制单元基于所述操作检测单元检测到所述后续操作时所述姿势检测单元检测到的姿势,变更显示于所述显示单元的信息。
根据该技术方案,在解除显示被固定的状态时,用户无需进行某些动作,头戴式显示器就能够显示与头戴式显示器的姿势相应的适当信息。因此,能够降低用户阅览下一个信息时的负担。
例如,在所述操作检测单元检测到所述预定的操作后,进一步检测到与所述预定的操作相同的后续操作的情况下,所述控制单元停止由所述显示单元进行的信息的显示。
根据该技术方案,在解除显示被固定的状态时,头戴式显示器通过清除该显示,能够避免显示用户不需要的信息这一情况。因此,能够减少由于显示不需要的信息而给用户带来的麻烦。
例如,所述操作检测单元具有操作按钮,检测所述操作按钮的按下或对所述操作按钮的接触作为所述预定的操作。
例如,所述操作检测单元具有触摸板,检测对所述触摸板的轻敲作为所述预定的操作。
例如,所述操作检测单元具有麦克风和语音识别装置,所述语音识别装置通过对所述麦克风收集到的语音进行语音识别而取得用户的说话,所述操作检测单元检测通过所述语音识别装置取得了预定的说话作为所述预定的操作。
根据该技术方案,头戴式显示器能够基于操作按钮、触摸板以及语音,具体地接受来自用户的操作。
例如,所述姿势检测单元进一步生成姿势信息,所述姿势信息表示所述姿势是从基准姿势变化成对所述用户来说的上方、下方、左方以及右方的哪个方向,所述控制单元进一步(i)保有与上方、下方、左方以及右方的各个方向建立了关联的四个信息作为用于所述显示单元显示的信息,(ii)在所述显示单元的显示区域中的上方、下方、左方以及右方的各个方向上显示图标,所述图标表示所述四个信息中与该方向建立了关联的信息,(iii)在所述姿势检测单元生成了所述姿势信息的情况下,使由生成的所述姿势信息表示的方向所关联的信息显示于所述显示单元。
根据该技术方案,通过头戴式显示器显示图标,用户能够一并识别出头戴式显示器的倾斜方向和向该方向分配了哪个信息。因此,由于用户无需记忆向头戴式显示器的倾斜方向分配了哪个信息,所以可减少用户的负担。
例如,所述头戴式显示器还具备动作检测单元,所述动作检测单元检测操作空间中的表示一个方向的划动动作操作,所述控制单元进一步根据由所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
根据该技术方案,用户能够通过划动操作使显示信息变化,取代通过使头戴式显示器的姿势变化使显示信息变化。因此,例如,用户能够在保持朝向正面的状态下通过划动操作使需要的信息显示,由此使本来通过使头戴式显示器的姿势变化而显示的信息显示并进行掌握。此时,无需使头戴式显示器的姿势变化。这样,能够增加用于确认需要较长时间来掌握的信息的、由用户进行的操作的选项。
另外,本发明的一个技术方案涉及的头戴式显示器是一种佩戴于用户头部的头戴式显示器,具备:姿势检测单元,其检测所述头戴式显示器的姿势;动作检测单元,其检测操作空间中的表示一个方向的划动动作操作;显示单元,其显示信息;以及控制单元,其根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息,所述控制单元进一步根据由所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
根据该技术方案,因此,用户能够通过划动操作使显示信息变化,取代使头戴式显示器的姿势变化使显示信息变化。因此,例如,用户能够在保持朝向正面的状态下利用划动操作使需要的信息显示,由此使本来通过的头戴式显示器的姿势变化而显示的信息显示并进行掌握。这样,头戴式显示器能够适当地向用户提示用户期望的信息。
这样,用户能够兼顾利用直观且在别人面前也不会有不谐调感的自然动作进行的信息收集和需要较长时间掌握的信息的内容掌握。
例如,所述动作检测单元(a)检测所述用户的手从上方向下方移动作为表示下方的划动动作操作,(b)检测所述用户的手从下方向上方移动作为表示上方的划动动作操作,(c)检测所述用户的手从左方向右方移动作为表示右方的划动动作操作,(d)检测所述用户的手从右方向左方移动作为表示左方的划动动作操作,所述控制单元根据由所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
根据该技术方案,头戴式显示器能够接受用户的动作操作作为表示上下左右这四个方向中的某一个方向的操作,并显示与接受的方向对应的信息。这样,通过缩减了方向和信息的数量,能够进行由粗略的动作进行的操作而不向用户要求严格的操作,由此能够提高操作性。
例如,所述控制单元进一步(i)保有与上方、下方、左方以及右方的各个方向建立了关联的四个信息作为用于所述显示单元显示的信息,(ii)在所述显示单元的显示区域中的上方、下方、左方以及右方的各个方向上显示图标,所述图标表示所述四个信息中与该方向建立了关联的信息,(iii)在所述动作检测单元检测到所述划动动作操作的情况下,使与成为所述划动动作操作的起点的方向建立了关联的信息显示于所述显示单元。
根据该技术方案,通过头戴式显示器显示图标,用户能够一并认识到动作操作的方向和向该方向分配了哪个信息。因此,由于用户无需记忆向动作操作的方向分配了哪个信息,所以能降低用户的负担。
例如,所述动作检测单元具有相机,所述相机利用可见光拍摄所述用户的手,所述动作检测单元基于通过所述相机拍摄到的所述用户的手的移动,检测所述划动动作操作。
例如,所述动作检测单元具有红外线传感器,所述红外线传感器取得从所述用户的手发出的红外线,所述动作检测单元基于通过所述红外线传感器取得的所述用户的手的移动,检测所述划动动作操作。
根据该技术方案,头戴式显示器利用可见光相机或红外线相机取得用户的手的移动,并能够基于该手的移动,具体地接受动作操作。
例如,所述头戴式显示器还具备操作检测单元,所述操作检测单元检测对所述头戴式显示器的预定的操作,在所述操作检测单元检测到由用户进行的所述预定的操作的情况下,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
根据该技术方案,用户根据自己的判断,通过利用预定的操作来固定(维持)信息的显示,由此,不论头戴式显示器的姿势如何,头戴式显示器都能够显示需要的信息。
这样,用户能够兼顾利用直观且在别人面前也不会有不谐调感的自然动作进行的信息收集和需要较长时间掌握的信息的内容掌握。
另外,本发明的一个技术方案涉及的头戴式显示器的控制方法是一种佩戴于用户头部的头戴式显示器的控制方法,所述头戴式显示器具备显示信息的显示单元,所述控制方法包括:姿势检测步骤,检测所述头戴式显示器的姿势;操作检测步骤,检测对所述头戴式显示器的预定的操作;以及控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,在所述控制步骤中,进一步,在所述操作检测步骤检测到所述预定的操作的情况下,即使在所述姿势检测步骤中检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
根据该技术方案,得到与上述头戴式显示器同样的效果。
另外,本发明的一个技术方案涉及的头戴式显示器的控制方法是一种佩戴于用户头部的头戴式显示器的控制方法,所述头戴式显示器具备显示信息的显示单元,所述控制方法包括:姿势检测步骤,检测所述头戴式显示器的姿势;动作检测步骤,检测操作空间中的表示一个方向的划动动作操作;以及控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,在所述控制步骤中,进一步,根据在所述动作检测步骤中检测到的所述划动动作操作所表示的方向,变更所述显示单元显示的信息。
根据该技术方案,得到与上述头戴式显示器同样的效果。
在以下说明中,使用附图详细说明本发明实施方式涉及的头戴式显示器。
此外,这些总括或具体技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以用系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下,针对实施方式参照附图并具体地进行说明。
此外,以下说明的实施方式均为示出总括或具体的例子的实施方式。在以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均是本发明的一个例子,并不限定本发明。另外,关于以下的实施方式中的构成要素中、表示最上位概念的独立权利要求所没有记载的构成要素,作为任意的构成要素进行说明。
(实施方式1)
在本实施方式中,针对将用户期望的信息适当地向用户提示的头戴式显示器等进行说明。更具体而言,针对基于用户的操作,继续显示用户需要比较长时间才能掌握的信息的头戴式显示器等进行说明。
图1是本实施方式中的头戴式显示器10的外观图。
如图1所示,头戴式显示器10是像眼镜那样佩戴于用户头部的眼镜型终端。头戴式显示器10具备主体部11、鼻抵接部12、眼镜腿13以及挂耳部14。
主体部11是进行利用头戴式显示器10实现的信息处理和图像显示等的处理单元。主体部11安装在眼镜腿13的一部分上,当用户头部的位置或姿势发生变化时,与用户的头部成为一体而位置或姿势发生变化。后面将详细说明主体部11的功能和处理。
鼻抵接部12是用于将头戴式显示器10固定在用户头部的鼻抵接件。鼻抵接部12通过配置成从左右两侧夹着用户的鼻子,将头戴式显示器10固定于用户头部。
眼镜腿13是连接鼻抵接部12与挂耳部14的棒体。
挂耳部14是用于将头戴式显示器10固定于用户头部的挂耳件。挂耳部14通过配置成挂在用户的耳朵上,将头戴式显示器10固定于用户头部。
此外,将对佩戴了头戴式显示器10的用户来说的纵深方向称为X方向,将左右方向称为Y方向,也将连结头上和脚下的方向称为Z方向。另外,只要没有特别说明,将Z方向的正朝向称为向上,将Z方向的负朝向称为向下。
此外,图1所示的头戴式显示器10的形状仅为一例,只要是佩戴于用户头部的至少一部分且显示用于向用户提示的图像的头戴式显示器,则可以是任意的形状,例如,可以有帽子型或头盔型等。
图2是表示本实施方式中的头戴式显示器10的硬件构成的框图。
如图2所示,作为硬件构成,头戴式显示器10具备CPU101(CentralProcessing Unit:中央处理单元)、主存储器102、存储装置103、通信IF104(Interface:接口)、加速度传感器105、按钮106以及显示器107。
CPU101是执行存储于存储装置103等的控制程序的处理器。
主存储器102是用作CPU101执行控制程序时使用的工作区域的易失性存储区域。
存储装置103是保持控制程序和内容等的非易失性存储区域。
通信IF104是经由网络与其他装置之间收发数据的网络接口。通信IF104例如是适合于IEEE802.11a、b、g规格的无线LAN(Local AreaNetwork:局域网)接口。
加速度传感器105是检测加速度的传感器。
按钮106(也称为操作按钮)是接受用户的按下或接触等操作的输入装置。此外,也能够使用触摸板(未图示)来取代按钮106。此外,也能够使用收集周围的语音的麦克风(未图示)和通过对麦克风收集的语音进行语音识别而取得用户的说话的语音识别装置(未图示)来取代按钮106。在该情况下,接受利用语音识别装置取得了预定说话作为上述操作。
显示器107是显示图像的透过型显示装置。例如,显示器107是利用半透半反镜(half mirror)向用户提示图像的棱镜显示器(prism display)。此外,显示器107只要是对用户提示图像的显示器,则不限其方式,例如,也可以是利用激光向用户的视网膜提示图像的所谓视网膜扫描型显示器等。
图3是表示本实施方式中的头戴式显示器10的功能构成的框图。
如图3所示,作为功能构成,头戴式显示器10具备姿势检测单元111、操作检测单元112、控制单元113以及显示单元114。另外,控制单元113也可以具有判定单元115作为其功能之一。
姿势检测单元111是检测头戴式显示器10的姿势的处理单元。具体而言,姿势检测单元111利用加速度传感器105检测头戴式显示器10的姿势和该姿势的变化,并生成姿势信息,所述姿势信息是表示该姿势的变化的信息。头戴式显示器10的姿势与用户头部的朝向一一对应。例如,姿势检测单元111在用户头部为朝向前方的斜上方的姿势的情况下,生成“向上倾斜”(以下,仅称为“向上”)这一姿势信息。姿势检测单元111由CPU101、主存储器102、存储装置103以及加速度传感器105等实现。
此外,头戴式显示器10的姿势的变化包括由于用户身体整体的朝向的变化而产生姿势变化的情况和由于用户头的运动而产生姿势变化的情况,这些情况可通过加速度传感器105检测出的加速度的大小而判别。具体而言,在加速度传感器105检测出的加速度的大小为预定值以上的情况下,判别为是由于头的运动而产生的姿势的变化。而且,姿势检测单元111也可以仅在检测到由于用户的头的运动而产生的姿势变化的情况下,生成表示上述姿势的信息。其原因在于,可认为:由于用户的头的运动而产生的姿势的变化更加反映了用户有意地使头部的姿势发生变化这一情况。
此外,姿势检测单元111也可以将向上、向下、向左、向右以及正面这五个方向作为姿势进行检测。可认为:用户有意的头部朝向与实际的用户的头部朝向严格来说不一致。例如,可认为会有如下情况:即使用户试图使头部向上,实际上用户的头部的朝向不是准确地向上,而是成为从向上稍微向左(或右)倾斜的方向。因此,姿势检测单元111通过将上述5个方向作为姿势进行检测,能够将从上述那样的准确的向上稍微偏移了的朝向判定为向上。这样,不仅将严格的向上判定为向上,还将包括严格的向上的预定范围内判定为向上,由此,能够实现由用户进行的灵活操作。
操作检测单元112是检测用户对头戴式显示器10的操作的处理单元。操作检测单元112检测用户对按钮106的按下或接触的操作。操作检测单元112由CPU101、主存储器102、存储装置103以及按钮106等实现。
控制单元113是根据姿势检测单元111检测到的头戴式显示器10的姿势的变化,变更显示单元114显示的信息(以下也称为“显示信息”)的处理单元。进一步,在操作检测单元112检测到操作的情况下,即使姿势检测单元111检测到的头戴式显示器10的姿势有变化,控制单元113也维持显示单元114显示的显示信息而不变更该信息。
具体而言,控制单元113使各种显示信息显示于显示单元114。更具体而言,控制单元113预先保持有头戴式显示器10的姿势与在该姿势的情况下控制单元113使显示单元114显示的显示信息的关联。并且,控制单元113从姿势检测单元111取得姿势信息,选择与取得的姿势信息建立了关联的显示信息,并使选择出的显示信息显示于显示单元114。此外,上述显示信息既可以是通过控制单元113执行用于输出该显示信息的预定应用而输出的信息,也可以是预先确定的信息,还可以是经由通信IF104从外部取得的信息。
另外,控制单元113在显示单元114的显示区域中的上方、下方、左方以及右方的各个方向显示图标,所述图标表示四个信息中与该方向建立了关联的信息。该图标是用于向用户引导如果使头戴式显示器10向哪个方向倾斜则显示哪个信息的图标。
此外,控制单元113也可以在维持显示信息时维持显示信息的种类。即,控制单元113也可以维持显示信息的种类,显示信息本身也可以在其种类的范围内变更。
此外,在操作检测单元112检测到操作的情况下,控制单元113也可以为了向用户提示显示信息维持在显示单元114上这一情况而变更显示信息的显示方式。具体而言,也可以将显示信息的显示方式变更为进一步强调的方式。这样一来,能够明确地使用户认识到如下情况:即使头戴式显示器10的姿势发生变化,也能维持显示信息而不变化。
此外,控制单元113也可以具有判定单元115。在该情况下,控制单元113除了基于头戴式显示器10的姿势以外,还基于由判定单元115对显示信息的判定结果,变更或维持显示于显示单元114的显示信息。
判定单元115是判定显示单元114显示的显示信息的信息量是比预定大或比预定小的处理单元。在此,“信息量”是根据显示单元114显示的信息的显示面积、字数、图像和文字有无并存等而确定的量。判定单元115例如将上述信息的显示面积比预定值大的信息、显示面积相对于显示器107能够显示的面积的比例比预定值大的信息、所包含的文字或图像数量比预定值大的信息、或图像和文字并存的信息判定为信息量大的信息。控制单元113能够基于这样的判定来决定变更或维持显示信息是由于:用户是否试图切换该显示信息的显示某种程度上能够通过该信息量来推定。此外,判定单元115相当于权利要求书中的第一判定单元或第二判定单元。
显示单元114是将信息作为图像显示的显示装置。显示单元114将控制单元113选择出的显示信息作为图像显示。显示单元114由显示器107等实现。
以下,详细说明头戴式显示器10的各功能块的功能和处理。首先,说明利用姿势检测单元111进行的头戴式显示器10的姿势的检测。
图4是由本实施方式中的姿势检测单元111进行的姿势检测的第一说明图。图4是表示用户在水平面上(XY平面上)摇头的情况下,也就是说,用户使头部横向(向左或向右)转动的情况下的头戴式显示器10的姿势的变化的图。
具体而言,图4示出了以将用户观察正面的情况作为基准而向左朝向θ1度的方向的方式使头部转动了的情况。此时,姿势检测单元111利用加速度传感器105检测到头戴式显示器10从基准姿势变化为从基准姿势向左方转动了θ1度而成的姿势这一情况。此外,基准姿势是该姿势开始变化时的姿势,是可认为用户头部基本停止的情况下的姿势。
图5是由本实施方式中的姿势检测单元111进行的姿势检测的第二说明图。图5是表示用户在铅垂方向(XZ平面上)摇头的情况下,也就是说,用户纵向(向上或向下)摇动头部的情况下的头戴式显示器10的姿势的变化的图。
具体而言,图5示出了以将用户观察正面的情况作为基准而向上朝向θ2度的方向的方式使头部转动了的情况。此时,姿势检测单元111利用加速度传感器105检测到头戴式显示器10从基准姿势变化为从基准姿势向上方转动了θ2度而成的姿势这一情况。
基于按以上方式取得的θ1和θ2,姿势检测单元111检测头戴式显示器10的姿势。此外,头戴式显示器10的姿势既可以利用θ1和θ2的组合不分级地确定,也可以通过将θ1和θ2的范围划分为预定区间,例如向上或向下这样,确定为更粗略的姿势。以下,针对后者的情况进行说明,具体而言,针对基于θ1和θ2,将头戴式显示器10的姿势确定为“向上”、“向下”、“向左”、“向右”以及“正面”这五个姿势中的某一个的情况进行说明。
图6是表示对应表601的说明图,所述对应表601表示本实施方式中的控制单元113利用的姿势信息与显示信息的种类之间的对应。具体而言,对应表601示出了头戴式显示器10的姿势与在该姿势的情况下控制单元113在显示单元114上显示的显示信息的种类的关联。
例如,头戴式显示器10的姿势“向上”与显示信息的种类“天气预报”关联。也就是说,在姿势检测单元111检测到头戴式显示器10的姿势为向上的情况下,控制单元113将天气预报信息显示于显示单元114。此外,为了将天气预报信息显示于显示单元114,控制单元113可以通过预定的应用等,预先利用通信IF104等从外部取得需要的信息,并通过对取得的信息进行信息处理而生成显示信息。
另外,头戴式显示器10的姿势“正面”与没有对应的显示信息这一情况关联。这意味着用户朝向正面时,没有显示信息,也就是说,显示单元114不显示任何信息。
以下,针对显示单元114显示的显示信息进行说明。
图7是本实施方式中的用户的视野701和显示于显示单元114的图标的说明图。
用户的视野701示出了佩戴着头戴式显示器10的用户看到的视野。在用户的视野701中包括外界的风景,另外,以与该外界的风景重叠的方式包含有显示单元114。换句话说,用户透过显示单元114观察外界的风景。在显示单元114的显示区域中的上方、下方、左方以及右方的各个方向上显示有图标711、712、713以及714。这些图标用于向用户提示头戴式显示器10的姿势(倾斜的方向)和在该姿势下的显示信息的种类,并用于向用户引导:如果用户向该图标的方向改变头戴式显示器10的姿势,则显示由该图标表示的显示信息。
这样,使用户对外界的风景和与外界的风景重叠的信息进行视觉识别而利用头戴式显示器10。
图8是本实施方式中的用户的视野和显示于显示单元114的图像801的说明图。图像801是控制单元113根据头戴式显示器10的姿势的变化使图像显示于显示单元114的一例。
图像801是表示天气预报的图像,是头戴式显示器10的姿势为向上时显示的信息。图像801用框802包围,并包括表示一天的天气的文字和图形。
此时,在成为表示天气预报信息的背景的部分,既可以像图像801那样显示白色,也可以什么也不显示,由此,透过的外界的风景可以由用户视觉识别。
图9是本实施方式中的被强调的显示方式的说明图。图像901是控制单元113根据由用户进行的预定的操作,变更了显示方式而成的显示图像的一例。
具体而言,图像901是对于图像801,将图像的框802变更为粗的框而成的图像。这样一来,头戴式显示器10能够积极地使用户识别出显示信息维持在显示单元114上,也就是说,即使有姿势的变化也不变更显示这一情况。
此外,为了表示显示信息维持在显示单元114上这一情况,也可以取代将图像的框变更为粗的框而用任意的方法强调图像。具体而言,可以变更作为图像的背景显示的图形的颜色,或变更文字的颜色或格式(字体、加粗、斜体、下划线等),另外,也可以组合多个上述方式。
以下,说明控制单元113使显示单元114显示的信息的变更涉及的处理。
图10是表示利用本实施方式中的控制单元113进行的显示信息的变更或维持相关的处理的流程图。图12是表示利用本实施方式中的控制单元113进行的显示的维持及其解除相关的一系列流程的示意图。
在步骤S101中,姿势检测单元111判定是否检测到头戴式显示器10的姿势的变化。在姿势检测单元111检测到上述姿势的变化的情况下(在步骤S101中为是),在生成表示检测到的姿势的变化的姿势信息后,进入步骤S102。另一方面,在姿势检测单元111没有检测到上述姿势的变化的情况下(在步骤S101中为否),再次进行步骤S101。也就是说,姿势检测单元111在步骤S101中等待,直到检测到上述姿势的变化。步骤S101相当于图12(a)的状态。
在步骤S102中,控制单元113取得在步骤S101中姿势检测单元111生成的姿势信息,并使与利用该姿势信息表示的头戴式显示器10的姿势建立了关联的显示信息显示于显示单元114。步骤S101相当于图12(b)的状态。在图12(b)中,基于头戴式显示器10的姿势成为向上,在显示单元114显示天气预报信息。
在步骤S103中,操作检测单元112判定是否检测到由用户进行的预定的操作。在操作检测单元112检测到由用户进行的预定的操作的情况下(在步骤S103中为是),进入步骤S111。另一方面,在操作检测单元112没有检测到由用户进行的预定的操作的情况下(在步骤S103中为否),进入步骤S104。步骤S103相当于图12(c)。在图12(c)中,基于检测到由用户进行的预定的操作(例如用户的手指U1按下按钮106),维持显示单元114上的天气预报信息的显示。此外,此时,控制单元113一边维持显示信息而不变更该信息,一边通过使信息显示的框变化为粗的框而变更显示方式。
在步骤S104中,姿势检测单元111在步骤S104等待直到检测到头戴式显示器10的姿势的变化,如果检测到上述姿势的变化,则在生成姿势信息后进入步骤S105。
在步骤S105中,控制单元113取得在步骤S104中姿势检测单元111生成的姿势信息,并基于该姿势信息变更显示单元114显示的信息。
在步骤S111中,姿势检测单元111在步骤S111等待直到检测到头戴式显示器10的姿势的变化,如果检测到上述姿势的变化,则在生成姿势信息后进入步骤S112。
在步骤S112中,无论姿势检测单元111在步骤S111生成的姿势信息如何,控制单元113都不维持而变更显示单元114上的显示信息。步骤S112相当于图12(d)。尽管头戴式显示器10的姿势朝向正面,但在显示单元114上天气预报信息还是以包围在粗的框中的状态显示。
此外,预定的操作的检测(步骤S103)和姿势变化的检测(步骤S104或步骤S111)的顺序也可以与图10所示的顺序相反。
通过以上的一系列处理,在实施了由用户进行的预定的操作的情况下,头戴式显示器10维持向用户提示的信息而不变更该信息(图12的(d))。这样,头戴式显示器10能够适当地向用户提示用户期望的信息。
图11是表示由本实施方式中的控制单元113进行的显示维持的解除相关的处理的流程图。
在步骤S201中,操作检测单元112判定是否检测到由用户进行的预定的操作(例如由用户的手指U1按下按钮106,也称为“后续动作”)。在操作检测单元112检测到由用户进行的预定的操作的情况下(在步骤S201中为是),进入步骤S202。另一方面,在操作检测单元112没有检测到由用户进行的预定的操作的情况下(在步骤S201中为否),进入步骤S211。
在步骤S202中,控制单元113将维持显示单元114显示的信息这一情况解除,也就是说,设为能够变更显示单元114显示的信息的状态。此外,控制单元113此时既可以根据姿势检测单元111检测到的姿势变更显示于显示单元114的显示信息,也可以清除由显示单元114进行的显示(图12(e))。
在步骤S211中,控制单元113继续维持显示单元114显示的信息。
由此,头戴式显示器10能够将维持显示于显示单元114的显示信息这一情况适当地解除。
此外,对于显示单元114显示的信息,控制单元113既可以一律进行上述处理,也可以根据显示信息的信息量决定是否进行上述处理。以下使用两个图像的例子具体说明。第一个例子是将显示信息所包含的图像数量作为信息量使用的情况,第二个例子是将显示信息所包含的文字数量作为信息量使用的情况。
图13是本实施方式中的图像数量多的显示信息的说明图。使用图13,说明基于显示信息所包含的图像数量来决定是否进行上述处理的方法的第一个例子。
在图13中,显示单元114显示的图像1301是表示一个星期的天气推移的图像,是信息量比表示一天的天气的图像801大的图像的一例。可认为与图像801的情况相比,用户掌握图像1301所示的信息需要更长的时间。与之相对,可认为:掌握表示一天的天气的图像801所表示的信息需要很短的时间即可(例如数秒)。
因此,控制单元113可以根据判定单元115的判定结果,决定是否进行图10所示的一系列处理。
判定单元115例如在显示单元114显示的图像所包含的图像数量超过3的情况下判定为信息量多。并且,仅限于判定为信息量多的情况下,控制单元113进行图10所示的一系列处理,在判定为信息量少的情况下,控制单元113进行根据检测到的姿势的变化切换显示信息的处理。
根据该判定方法,判定单元115判定为图像801所包含的图像数量为1,在要显示图像801的情况下,控制单元113进行根据检测到的姿势的变化切换显示信息的处理。另一方面,判定单元115判定为图像1301所包含的图像数量为7,在要显示图像1301的情况下,控制单元113进行基于预定的操作维持显示信息的处理(图10的处理)。
图14是本实施方式中的文字数量少的显示信息的说明图。图15是本实施方式中的文字数量多的显示信息的说明图。使用图14和图15,说明基于显示信息所包含的文字数量来决定是否进行上述处理的方法的第二个例子。
图14所示的图像1401包括数量比较少(例如15个字左右)的文字。图15所示的图像1501包括数量比较多(例如100个字左右)的文字。
判定单元115例如在显示单元114显示的图像所包含的文字数量超过20的情况下判定为信息量多。并且,控制单元113仅在该情况下进行图10所示的一系列处理,除了该情况以外,控制单元113进行根据检测到的姿势的变化切换显示信息的处理。
此外,在对文字数量进行判定的情况下,也可以除去与该显示信息相应的一定形式的字符串并判定文字数量。例如,在显示信息为邮件的情况下,可以除去意味着发送源的“发件人”或意味着发送目的地的“收件人”这样的字符串,对其剩余部分的字数进行计数。这是因为:由于这些一定形式的字符串并不具有该显示信息固有的含义,所以可认为用户无需努力地掌握这些一定形式的字符串的含义。
此外,在判定单元115判定文字数量的情况下,也可以进一步考虑一行所包含的字数、行数、文字的显示大小等。具体而言,也可以在一行所包含的字数多,行数多,文字的显示大小小等情况下,判定为信息量多。
这样一来,对于用户需要较长时间掌握的图像而言,用户能够通过对头戴式显示器10进行预定的操作而维持显示信息。另一方面,对于不怎么需要时间掌握的图像而言,能够进行与姿势相应的显示信息的切换。用户能够使用头戴式显示器10切实地取得信息而不损害显示信息的切换的便利性。
如上所述,本实施方式中的头戴式显示器能够适当地向用户提示用户期望的信息。特别是用户根据自己的判断,通过预定的操作使信息的显示固定(维持),由此,不论头戴式显示器的姿势如何,头戴式显示器都能够显示需要的信息。这样,用户能够兼顾通过直观地并且在别人面前也不会有不谐调感的自然动作进行的信息收集和需要较长时间掌握的信息的内容掌握。
(实施方式2)
在本实施方式中,对适当地向用户提示用户期望的信息的头戴式显示器等进行说明。更具体而言,对基于用户的操作而显示用户期望的信息的头戴式显示器等进行说明。
图16是本实施方式中的头戴式显示器10A的外观图。
如图16所示,头戴式显示器10A具有与实施方式1的头戴式显示器10类似的外观,但主体部11A与头戴式显示器10的主体部不同。关于该差异,以下作为硬件构成的不同进行说明。
图17是表示本实施方式中的头戴式显示器10A的硬件构成的框图。
如图17所示,头戴式显示器10A具有与实施方式1的头戴式显示器10类似的外观,但在具备相机108这一点不同。由于其他硬件构成相同,所以省略说明。
相机108是通过对周围进行拍摄而生成图像的拍摄装置。相机108以能够拍摄头戴式显示器10A的前方(X方向的正方向)的位置和角度配置于头戴式显示器10A。此外,相机108既可以是利用可见光拍摄周围的可见光相机,也可以是利用红外线拍摄周围的红外线相机。
图18是表示实施方式2中的头戴式显示器10A的功能构成的框图。
如图18所示,本实施方式的头戴式显示器10A具有与头戴式显示器10类似的功能构成,但在具备动作检测单元121这一点不同。由于其他功能构成相同,所以省略说明。
动作检测单元121是检测动作操作的处理单元,所述动作操作是由用户在操作空间中进行的表示一个方向的划动(swipe)动作(gesture)操作。在此,划动动作操作是指用户以向一个方向横扫的方式使手等移动的操作。此外,有时也将划动动作操作仅称为动作操作。
具体而言,动作检测单元121利用相机108拍摄头戴式显示器10A前方的操作空间。操作空间的拍摄生成多个静止图像(帧),并利用运动图像的拍摄或多个静止图像的拍摄而进行。在此,操作空间是指用户进行划动动作操作的空间,是相机108能够拍摄的空间中的一部分或全部。
并且,动作检测单元121根据通过拍摄取得的帧检测人的手的移动,生成动作信息,所述动作信息是表示手的移动的信息。在相机108为可见光相机的情况下,例如在通过提取图像上的肤色部分将人的手与其他被拍摄对象区别开后,检测人的手的移动而生成动作信息。在相机108为红外线相机的情况下,通过检测从人的手放射出的红外线来检测人的手的移动并生成动作信息。此外,动作操作不限于利用手进行,也可以是利用用户身体的其他部分来进行。动作检测单元121由CPU101、主存储器102、存储装置103以及相机108等实现。
此外,动作检测单元121可以仅检测从用户观察的向上、向下、向左以及向右这4个方向的划动动作操作。可认为:用户通过划动动作操作所试图的朝向与用户实际上以用自己的手横扫的方式移动的方向严格来说不一致。例如,可认为会有如下情况:即使用户试图进行向上的划动动作操作,但用户实际上移动手的方向不是准确地向上,而是成为从向上稍微向右倾斜的方向。通过仅检测上述4个方向的划动动作操作,能够将从上述的准确的向上稍微偏移而成的角度的划动动作操作判定为向上。
此外,与实施方式1同样地,控制单元113在显示单元114的显示区域中的上方、下方、左方以及右方的各个方向上显示图标,所述图标表示四个信息中与该方向建立了关联的信息。该图标是用于向用户引导如果向哪个方向进行划动动作操作则显示哪个信息的图标。
图19是表示利用本实施方式中的控制单元113进行的显示变更相关的处理的流程图。图20是表示利用实施方式2中的控制单元113进行的显示的维持及其解除相关的一系列流程的示意图。参照这些图,并说明利用控制单元113进行的显示的维持及其解除相关的一系列流程。
首先,假设头戴式显示器10A的姿势是朝向正面的姿势,是在显示单元114上什么都没有显示的状态。该状态相当于图20(a)。
在步骤S301中,动作检测单元121判定是否检测到由用户进行的划动动作操作。在动作检测单元121检测到划动动作操作的情况下(在步骤S301中为是),在生成动作信息后进入步骤S311。另一方面,在没有检测到划动动作操作的情况下(在步骤S301中为否),进入步骤S302。步骤S301相当于图20(b)。在图20(b)中,基于用户利用手U2进行了从上方到下方(向下)的划动动作操作,在显示单元114上显示与向上建立了关联的天气预报信息,所述向上是作为该划动动作操作的起点的上方所对应的方向。
在步骤S302中,姿势检测单元111判定是否检测到头戴式显示器10的姿势的变化。如果检测到上述姿势的变化,则在生成姿势信息后进入步骤S303。
在步骤S303中,控制单元113基于在步骤S302中姿势检测单元111生成的姿势信息,变更显示单元114显示的信息。
在步骤S311中,控制单元113取得在步骤S301中动作检测单元121生成的动作信息,并基于该动作信息变更显示单元114显示的信息。
此外,通过表示与用于在显示单元114上显示信息的划动动作操作相反方向的划动动作操作,也能够清除显示(停止显示)(图20(c))。
此外,头戴式显示器10A也能够与实施方式1中的头戴式显示器10进行组合。具体而言,头戴式显示器10A通过还具备按钮106和操作检测单元112,能够基于由用户进行的预定的操作维持显示。
如上所述,本实施方式中的头戴式显示器能够适当地向用户提示用户期望的信息。特别是,用户能够通过划动操作使显示信息变化,取代通过使头戴式显示器的姿势变化使显示信息变化。因此,例如,用户能够在保持朝向正面的状态下通过划动操作显示需要的信息,由此显示并掌握本来通过使头戴式显示器的姿势变化而显示的信息。这样,用户能够兼顾通过直观地且在别人面前也不会有不谐调感的自然动作进行的信息收集和需要较长时间掌握的信息的内容掌握。
此外,在上述各实施方式中,各构成要素可由专用硬件构成,也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行单元读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此,实现上述各实施方式的头戴式显示器等的软件是如下的程序。
即,该程序使计算机执行一种佩戴于用户头部的头戴式显示器的控制方法,所述头戴式显示器具备显示信息的显示单元,所述控制方法包括:姿势检测步骤,检测所述头戴式显示器的姿势;操作检测步骤,检测对所述头戴式显示器的预定的操作;以及控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,在所述控制步骤中,进一步,在所述操作检测步骤检测到所述预定的操作的情况下,即使在所述姿势检测步骤中检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
另外,该程序使计算机执行一种佩戴于用户头部的头戴式显示器的控制方法,所述头戴式显示器具备显示信息的显示单元,所述控制方法包括:姿势检测步骤,检测所述头戴式显示器的姿势;动作检测步骤,检测操作空间中的表示一个方向的划动动作操作;以及控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,在所述控制步骤中,进一步根据在所述动作检测步骤中检测到的所述划动动作操作所表示的方向,变更所述显示单元显示的信息。
以上,基于实施方式说明了一个或多个方案涉及的头戴式显示器等,但本发明不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域的技术人员能够想到的各种变形而得到实施方式、以及组合不同的实施方式中的构成要素而构建的实施方式均包括在一个或多个技术方案的范围内。
产业上的可利用性
本发明能够利用于适当地向用户提示用户期望的信息的头戴式显示器。

Claims (21)

1.一种头戴式显示器,是佩戴于用户头部的头戴式显示器,具备:
姿势检测单元,其检测所述头戴式显示器的姿势;
操作检测单元,其检测对所述头戴式显示器的预定的操作;
显示单元,其显示信息;以及
控制单元,其根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息,
所述控制单元进一步在所述操作检测单元检测到所述预定的操作的情况下,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
2.根据权利要求1所述的头戴式显示器,
在所述操作检测单元检测到所述预定的操作且所述姿势检测单元检测到的姿势有变化的情况下,所述控制单元维持所述显示单元显示的信息而不变更该信息,并且使所述信息的显示方式变化。
3.根据权利要求2所述的头戴式显示器,
所述显示单元在显示所述信息时,与所述信息一起显示图形作为所述信息的背景,
所述控制单元通过使所述图形的颜色变化而使所述信息的显示方式变化。
4.根据权利要求2或3所述的头戴式显示器,
所述显示单元在显示所述信息时,与所述信息一起显示包围所述信息的框,
所述控制单元通过使所述框的粗细或颜色变化而使所述信息的显示方式变化。
5.根据权利要求1~4中任一项所述的头戴式显示器,
所述头戴式显示器还具备第一判定单元,所述第一判定单元判定所述显示单元显示的信息的信息量是否比预定大,
仅限于判定为所述信息量比预定大的情况下,当所述操作检测单元检测到所述预定的操作时,即使所述姿势检测单元检测到的姿势有变化,所述控制单元也维持所述显示单元显示的信息而不变更该信息。
6.根据权利要求1~5中任一项所述的头戴式显示器,
所述头戴式显示器还具备第二判定单元,所述第二判定单元判定所述显示单元显示的信息的信息量是否比预定小,
在判定为所述信息量比预定小的情况下,即使所述操作检测单元检测到所述预定的操作,所述控制单元也根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息。
7.根据权利要求1~6中任一项所述的头戴式显示器,
在所述操作检测单元检测到所述预定的操作后,进一步检测到与所述预定的操作相同的后续操作的情况下,所述控制单元基于所述操作检测单元检测到所述后续操作时所述姿势检测单元检测到的姿势,变更显示于所述显示单元的信息。
8.根据权利要求1~6中任一项所述的头戴式显示器,
在所述操作检测单元检测到所述预定的操作后,进一步检测到与所述预定的操作相同的后续操作的情况下,所述控制单元停止由所述显示单元进行的信息的显示。
9.根据权利要求1~8中任一项所述的头戴式显示器,
所述操作检测单元具有操作按钮,
所述操作检测单元检测所述操作按钮的按下或对所述操作按钮的接触作为所述预定的操作。
10.根据权利要求1~9中任一项所述的头戴式显示器,
所述操作检测单元具有触摸板,
所述操作检测单元检测对所述触摸板的轻敲作为所述预定的操作。
11.根据权利要求1~10中任一项所述的头戴式显示器,
所述操作检测单元具有麦克风和语音识别装置,所述语音识别装置通过对所述麦克风收集的语音进行语音识别而取得用户的说话,
所述操作检测单元检测通过所述语音识别装置取得了预定的说话这一情况作为所述预定的操作。
12.根据权利要求1~11中任一项所述的头戴式显示器,
所述姿势检测单元进一步生成姿势信息,所述姿势信息表示所述姿势是从基准姿势向对所述用户来说的上方、下方、左方以及右方中的哪个方向变化而成的姿势,
所述控制单元进一步,
(i)保有与上方、下方、左方以及右方的各个方向建立了关联的四个信息作为用于所述显示单元显示的信息,
(ii)在所述显示单元的显示区域中的上方、下方、左方以及右方的各个方向上显示图标,所述图标表示所述四个信息中与该方向建立了关联的信息,
(iii)在所述姿势检测单元生成了所述姿势信息的情况下,使与由生成的所述姿势信息表示的方向建立了关联的信息显示于所述显示单元。
13.根据权利要求1~12中任一项所述的头戴式显示器,
所述头戴式显示器还具备动作检测单元,所述动作检测单元检测操作空间中的表示一个方向的划动动作操作,
所述控制单元进一步根据通过所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
14.一种头戴式显示器,是佩戴于用户头部的头戴式显示器,具备:
姿势检测单元,其检测所述头戴式显示器的姿势;
动作检测单元,其检测操作空间中的表示一个方向的划动动作操作;
显示单元,其显示信息;以及
控制单元,其根据所述姿势检测单元检测到的姿势的变化,变更所述显示单元显示的信息,
所述控制单元进一步根据由所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
15.根据权利要求13或14所述的头戴式显示器,
所述动作检测单元,
(a)检测所述用户的手从上方向下方移动这一情况作为表示向下方的划动动作操作,
(b)检测所述用户的手从下方向上方移动这一情况作为表示向上方的划动动作操作,
(c)检测所述用户的手从左方向右方移动这一情况作为表示向右方的划动动作操作,
(d)检测所述用户的手从右方向左方移动这一情况作为表示向左方的划动动作操作,
所述控制单元根据由所述动作检测单元检测到的所述划动动作操作表示的方向,变更所述显示单元显示的信息。
16.根据权利要求14所述的头戴式显示器,
所述控制单元进一步,
(i)保有与上方、下方、左方以及右方的各个方向建立了关联的四个信息作为用于所述显示单元显示的信息,
(ii)在所述显示单元的显示区域中的上方、下方、左方以及右方的各个方向上显示图标,所述图标表示所述四个信息中与该方向建立了关联的信息,
(iii)在所述动作检测单元检测到所述划动动作操作的情况下,使成为所述划动动作操作的起点的方向所关联的信息显示于所述显示单元。
17.根据权利要求13~16中任一项所述的头戴式显示器,
所述动作检测单元具有相机,所述相机利用可见光拍摄所述用户的手,
所述动作检测单元基于通过所述相机拍摄到的所述用户的手的移动,检测所述划动动作操作。
18.根据权利要求13~16中任一项所述的头戴式显示器,
所述动作检测单元具有红外线传感器,所述红外线传感器取得从所述用户的手发出的红外线,
所述动作检测单元基于通过所述红外线传感器取得的所述用户的手的移动,检测所述划动动作操作。
19.根据权利要求14所述的头戴式显示器,
所述头戴式显示器还具备操作检测单元,所述操作检测单元检测对所述头戴式显示器的预定的操作,
在所述操作检测单元检测到由用户进行的所述预定的操作的情况下,即使所述姿势检测单元检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
20.一种头戴式显示器的控制方法,所述头戴式显示器佩戴于用户头部,
所述头戴式显示器具备显示信息的显示单元,
所述控制方法包括:
姿势检测步骤,检测所述头戴式显示器的姿势;
操作检测步骤,检测对所述头戴式显示器的预定的操作;以及
控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,
在所述控制步骤中,进一步,
在所述操作检测步骤检测到所述预定的操作的情况下,即使在所述姿势检测步骤中检测到的姿势有变化,也维持所述显示单元显示的信息而不变更该信息。
21.一种头戴式显示器的控制方法,所述头戴式显示器佩戴于用户头部,
所述头戴式显示器具备显示信息的显示单元,
所述控制方法包括:
姿势检测步骤,检测所述头戴式显示器的姿势;
动作检测步骤,检测操作空间中的表示一个方向的划动动作操作;以及
控制步骤,根据在所述姿势检测步骤中检测到的姿势的变化,变更所述显示单元显示的信息,
在所述控制步骤中,进一步根据在所述动作检测步骤中检测到的所述划动动作操作所表示的方向,变更所述显示单元显示的信息。
CN201610252375.6A 2015-04-24 2016-04-21 头戴式显示器和头戴式显示器的控制方法 Active CN106066537B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-089815 2015-04-24
JP2015089815A JP6534292B2 (ja) 2015-04-24 2015-04-24 ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法

Publications (2)

Publication Number Publication Date
CN106066537A true CN106066537A (zh) 2016-11-02
CN106066537B CN106066537B (zh) 2020-07-24

Family

ID=57147732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610252375.6A Active CN106066537B (zh) 2015-04-24 2016-04-21 头戴式显示器和头戴式显示器的控制方法

Country Status (3)

Country Link
US (4) US9983840B2 (zh)
JP (1) JP6534292B2 (zh)
CN (1) CN106066537B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246456A (zh) * 2017-07-11 2019-01-18 日立乐金光科技株式会社 显示系统以及显示系统的显示控制方法
CN110249380A (zh) * 2016-12-23 2019-09-17 瑞欧威尔股份有限公司 用于可穿戴显示器的免手动上下文感知对象交互
CN112506335A (zh) * 2019-09-16 2021-03-16 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质
CN112667079A (zh) * 2020-12-25 2021-04-16 海信视像科技股份有限公司 一种虚拟现实设备及反向提示画面显示方法
CN112988107A (zh) * 2021-04-25 2021-06-18 歌尔股份有限公司 一种音量调节方法、系统及头戴式设备
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11340465B2 (en) 2016-12-23 2022-05-24 Realwear, Inc. Head-mounted display with modular components
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10921879B2 (en) * 2019-06-07 2021-02-16 Facebook Technologies, Llc Artificial reality systems with personal assistant element for gating user interface elements
JPWO2022074815A1 (zh) * 2020-10-09 2022-04-14
JP2022156159A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 頭部装着型装置、頭部装着型装置の制御方法及び制御プログラム
US11288027B1 (en) * 2021-04-14 2022-03-29 Varjo Technologies Oy Peripheral display apparatus and system
CN115291729A (zh) * 2022-08-10 2022-11-04 立讯精密科技(南京)有限公司 头戴式设备的提醒方法及头戴式设备
WO2024122979A1 (ko) * 2022-12-05 2024-06-13 삼성전자주식회사 전경 객체의 사이즈 또는 개수에 기반하여 배경 객체를 변경하기 위한 웨어러블 장치 및 그 방법

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162828A (en) * 1986-09-25 1992-11-10 Furness Thomas A Display system for a head mounted viewing transparency
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
WO2002033688A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamic integration of computer generated and real world images
CN1601464A (zh) * 2003-09-09 2005-03-30 微软公司 在计算机屏幕上调整并列显示项尺寸的系统和方法
CN102346646A (zh) * 2011-09-19 2012-02-08 百度在线网络技术(北京)有限公司 一种用于在移动终端的显示屏幕上显示内容的方法与装置
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
CN103270456A (zh) * 2011-10-20 2013-08-28 松下电器产业株式会社 显示装置及显示系统
CN103543943A (zh) * 2012-07-16 2014-01-29 三星电子株式会社 基于触摸和手势输入的控制方法及其终端
US20140126066A1 (en) * 2011-03-07 2014-05-08 John Clavin Augmented view of advertisements
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
WO2014097404A1 (ja) * 2012-12-18 2014-06-26 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
CN104272169A (zh) * 2012-05-17 2015-01-07 奥林巴斯株式会社 头部配戴型显示装置
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104350412A (zh) * 2012-03-30 2015-02-11 谷歌公司 具有输入和输出结构的可佩戴装置
CN104423573A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 显示装置及其操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735086B2 (ja) 2002-06-20 2006-01-11 ウエストユニティス株式会社 作業誘導システム
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
WO2014128751A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162828A (en) * 1986-09-25 1992-11-10 Furness Thomas A Display system for a head mounted viewing transparency
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US6346929B1 (en) * 1994-04-22 2002-02-12 Canon Kabushiki Kaisha Display apparatus which detects an observer body part motion in correspondence to a displayed element used to input operation instructions to start a process
WO2002033688A2 (en) * 2000-10-16 2002-04-25 Tangis Corporation Dynamic integration of computer generated and real world images
CN1601464A (zh) * 2003-09-09 2005-03-30 微软公司 在计算机屏幕上调整并列显示项尺寸的系统和方法
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
US20140126066A1 (en) * 2011-03-07 2014-05-08 John Clavin Augmented view of advertisements
CN103858073A (zh) * 2011-09-19 2014-06-11 视力移动技术有限公司 增强现实系统的免触摸界面
CN102346646A (zh) * 2011-09-19 2012-02-08 百度在线网络技术(北京)有限公司 一种用于在移动终端的显示屏幕上显示内容的方法与装置
CN103270456A (zh) * 2011-10-20 2013-08-28 松下电器产业株式会社 显示装置及显示系统
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
CN104350412A (zh) * 2012-03-30 2015-02-11 谷歌公司 具有输入和输出结构的可佩戴装置
CN104272169A (zh) * 2012-05-17 2015-01-07 奥林巴斯株式会社 头部配戴型显示装置
CN103543943A (zh) * 2012-07-16 2014-01-29 三星电子株式会社 基于触摸和手势输入的控制方法及其终端
WO2014097404A1 (ja) * 2012-12-18 2014-06-26 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
CN104280884A (zh) * 2013-07-11 2015-01-14 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104423573A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 显示装置及其操作方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAHISA ANDO ET,AL: "Head-mounted display using a holographic optical element", 《PROC.SPIE》 *
本刊编辑部: "谷歌眼镜在工业自动化领域的应用", 《国内外机电一体化技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110249380A (zh) * 2016-12-23 2019-09-17 瑞欧威尔股份有限公司 用于可穿戴显示器的免手动上下文感知对象交互
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11340465B2 (en) 2016-12-23 2022-05-24 Realwear, Inc. Head-mounted display with modular components
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11947752B2 (en) 2016-12-23 2024-04-02 Realwear, Inc. Customizing user interfaces of binary applications
CN109246456A (zh) * 2017-07-11 2019-01-18 日立乐金光科技株式会社 显示系统以及显示系统的显示控制方法
US11016559B2 (en) 2017-07-11 2021-05-25 Hitachi-Lg Data Storage, Inc. Display system and display control method of display system
CN112506335A (zh) * 2019-09-16 2021-03-16 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质
CN112506335B (zh) * 2019-09-16 2022-07-12 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质
CN112667079A (zh) * 2020-12-25 2021-04-16 海信视像科技股份有限公司 一种虚拟现实设备及反向提示画面显示方法
CN112988107A (zh) * 2021-04-25 2021-06-18 歌尔股份有限公司 一种音量调节方法、系统及头戴式设备

Also Published As

Publication number Publication date
JP6534292B2 (ja) 2019-06-26
US10747488B2 (en) 2020-08-18
US20180039466A1 (en) 2018-02-08
US9946504B2 (en) 2018-04-17
CN106066537B (zh) 2020-07-24
US20160313956A1 (en) 2016-10-27
US20180239573A1 (en) 2018-08-23
US20190317717A1 (en) 2019-10-17
US9983840B2 (en) 2018-05-29
US10359982B2 (en) 2019-07-23
JP2016208370A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
CN106066537A (zh) 头戴式显示器和头戴式显示器的控制方法
US10082940B2 (en) Text functions in augmented reality
CN103383595B (zh) 基于用户人脸的分析控制移动终端的装置和方法
CN110083202B (zh) 与近眼显示器的多模交互
EP1589478B1 (en) Apparatus for magnifying an image
EP3219250A1 (en) Information processing device, information processing method, and program
CN110326300B (zh) 信息处理设备、信息处理方法及计算机可读存储介质
CN103809743A (zh) 图像显示装置、图像显示方法和计算机程序
JP5295714B2 (ja) 表示装置、画像処理方法、及びコンピュータプログラム
CN106471419A (zh) 管理信息显示
US20160349839A1 (en) Display apparatus of front-of-the-eye mounted type
US20170199543A1 (en) Glass-type terminal and method of controling the same
JP6506443B1 (ja) 画像生成装置及び画像生成プログラム
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN113303791A (zh) 一种机动车驾驶人在线自助体检系统、移动终端及存储介质
CN113197542A (zh) 一种在线自助视力检测系统、移动终端及存储介质
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
CN112995523B (zh) 一种在线自助业务环境检测方法及系统
JP2016139353A (ja) 画像判定装置および画像判定方法
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP6539624B2 (ja) 視線一致顔画像合成方法、テレビ会議システム、及びプログラム
JP6613865B2 (ja) 読書範囲検出装置、読書範囲検出方法及び読書範囲検出用コンピュータプログラム
KR101499044B1 (ko) 사용자의 손동작 및 음성에 기초하여 사용자가 의도한 텍스트를 취득하는 웨어러블 컴퓨터 및 사용자가 의도한 텍스트를 취득하는 방법
JPWO2020138119A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant