CN107980220A - 头戴式显示设备及其视觉辅助方法 - Google Patents

头戴式显示设备及其视觉辅助方法 Download PDF

Info

Publication number
CN107980220A
CN107980220A CN201680042725.4A CN201680042725A CN107980220A CN 107980220 A CN107980220 A CN 107980220A CN 201680042725 A CN201680042725 A CN 201680042725A CN 107980220 A CN107980220 A CN 107980220A
Authority
CN
China
Prior art keywords
image frame
region
angle
display device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680042725.4A
Other languages
English (en)
Inventor
赵聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Royole Technologies Co Ltd
Original Assignee
Shenzhen Royole Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Royole Technologies Co Ltd filed Critical Shenzhen Royole Technologies Co Ltd
Publication of CN107980220A publication Critical patent/CN107980220A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种头戴式显示设备(100)包括显示装置(1)、摄像装置(2)及运动传感器(3)。还公开了一种视觉辅助方法包括：在运动传感器侦测到头戴式显示设备相对参考位置向下运动达到第一预设角度时，控制开启摄像装置拍摄影像画面；以及根据运动传感器侦测到的运动角度的变化，控制显示装置显示所拍摄的影像画面中的与运动角度对应的区域。这种头戴式显示设备和视觉辅助方法，能够借助摄像装置进行视觉辅助。

Description

头戴式显示设备及其视觉辅助方法
技术领域
本发明涉及一种显示设备，尤其涉及一种头戴式显示设备及其视觉辅助方法。
背景技术
目前，头戴式显示设备由于便捷性，且能实现立体显示及立体声等效果，已经逐渐被人们所喜爱。近年来，随着虚拟现实(virtual reality，VR)技术的出现，头戴式显示设备作为VR技术的硬件支持设备，更加应用广泛了。由于用户穿戴头戴式显示设备后，无法看到外面的情况，往往需要取下头戴式显示设备才能看到外面环境。例如，当用户需要使用外部输入装置时，需要取下头盔并观看确认外部输入装置的位置，如果外部输入装置有按键时，可能还需要用户一会取下头戴式显示设备，看清楚要操作的按键的位置，一会要戴上头戴式显示设备，看头戴式显示设备上显示的内容，给用户输入带来了极大的不便。
发明内容
本发明实施例公开一种头戴式显示设备及其视觉辅助方法，能够在用户穿戴头戴式显示设备时，辅助用户观看外部环境，方便用户的操作。
本发明实施例公开的头戴式显示设备，包括显示装置及处理器，其中，所述头戴式显示设备还包括：摄像装置，用于摄取头戴式显示设备周围的影像画面；运动传感器，用于侦测所述头戴式显示设备相对于一参考位置的运动角度；所述处理器与所述显示装置、摄像装置及运动传感器连接，用于在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；所述处理器并用于根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。
本发明实施例公开的视觉辅助方法，应用于头戴式显示设备，所述头戴式显示设备包括显示装置、摄像装置及运动传感器，其中，所述视觉辅助方法包括：在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；以及根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。
本发明的头戴式显示设备及其视觉辅助方法，能够在头戴式显示设备相对于参考位置向下运动了第一预设角度时开启摄像装置以拍摄影像画面，并根据运动角度的变化显示影像画面的对应区域，能够辅助穿戴有所述头戴式显示设备的用户进行观察外部环境，并可根据所显示的影像画面的区域的变化，显示一个视野渐变的过程。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中的头戴式显示设备的示意图。
图2为本发明一实施例中的头戴式显示设备的功能模块图；
图3-图6为第一实施例中头戴式显示设备的显示装置跟随运动角度的变化进行显示的具体过程示例图。
图7为本发明一实施例中的头戴式显示设备的显示装置显示完整的影像画面的示意图。
图8为本发明第二实施例中的头戴式显示设备的显示装置在一运动角度下进行显示的示意图。
图9为本发明一实施例中的视觉辅助方法的流程图。
图10为图9中步骤S902的子流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为头戴式显示设备100的示意图。如图1所示，所述头戴式显示设备100包括显示装置1以及摄像装置2。所述显示装置1用于输出显示画面。所述摄像装置2设置于显示装置1上，用于拍摄头戴式显示设备100周围环境的影像画面。在一些实施例中，如图1所示，所述摄像装置2设置于显示装置1的前方，用于拍摄头戴式显示设备100前方的影像画面。
请一并参阅图2，图2为头戴式显示设备100的结构框图。所述头戴式显示设备100除包括所述显示装置1以及摄像装置2以外，还包括运动传感器3以及处理器4。
所述运动传感器3设置于所述耳机装置1或所述显示装置1上，用于侦测所述头戴式显示设备100相对于一参考位置的运动角度。
所述处理器4与所述显示装置1、摄像装置2及运动传感器3连接，用于在所述运动传感器3侦测到所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置2拍摄影像画面。所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域。在一些实施例中，所述运动传感器3侦测所述头戴式显示设备100相对于一参考位置的运动角度产生对应的感应信号，所述处理器4接收所述感应信号后，确定所述运动传感器3侦测到的所述头戴式显示设备100相对所述参考位置的运动角度。
从而，本申请可在头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，自动开启摄像装置2作为视觉辅助，无需取下头戴式显示设备100。
其中，所述处理器4在所述运动传感器3侦测到的运动角度变大时，控制所述显示装置1显示所述影像画面中更大面积的区域。所述处理器4在所述运动传感器3侦测到的运动角度变小时，控制所述显示装置1显示所述影像画面中更小面积的区域。
其中，所述参考位置为用户穿戴所述头戴式显示设备100后，用户面向正前方时，所述头戴式显示设备100的位置。
在第一实施例中，所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域，包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程或变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置1显示所述影像画面中截取的区域。
请一并参阅图3-图6，为第一实施例中所述处理器4控制显示装置1进行显示的具体过程示例图。图3为摄像装置2在第一预设角度拍摄的第一影像画面IM1的示意图。即，图3所示的第一影像画面IM1为所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时所拍摄的影像画面。
如图3所示，所述摄像装置2当前拍摄到的第一影像画面IM1中包括笔P1、书本B1以及输入装置T1的一部分。
请一并参阅图4，为显示装置1显示的第一影像画面IM1中部分区域的示意图。所述处理器4获取所述摄像装置2在第一预设角度如角度a时拍摄的第一影像画面IM1。如图4所示，所述处理器4并控制显示装置1显示摄像装置2当前拍摄到的第一影像画面IM1中与所述第一预设角度对应的部分区域A1。
其中，所述部分区域A1为从所述第一影像画面IM1中截取的从所述第一影像画面IM1上边往下延伸的高度为h1的区域。
设第一影像画面IM1的高度为h，此时，显示装置1显示所述第一影像画面IM1中的h1/h比例的区域。
请一并参阅图5，为摄像装置2在一大于所述第一预设角度的特定角度如角度b拍摄的第二影像画面IM2的示意图。即，图5所示的第二影像画面IM2为所述头戴式显示设备100相对所述参考位置向下运动达到所述特定角度b时所拍摄的影像画面。
如图5所示，随着用户头部往下运动，带动所述头戴式显示设备100及摄像装置2往下移动，当移动到所述特定角度时，所述摄像装置2拍摄的第二影像画面IM2会变化成如图5所示的画面。
如图5所示，所述摄像装置2当前拍摄到的第二影像画面IM2中包括笔P1的下半部分、书本B1的下半部分、输入装置T1的全部以及手Z1的部分。
所述处理器4并获取所述摄像装置2在所述特定角度时拍摄的第二影像画面IM2。
请一并参阅图6，为显示装置1显示的第二影像画面IM2中部分区域的示意图。如图6所示，所述处理器4控制显示装置1显示摄像装置2当前拍摄到的第二影像画面IM2中与所述特定角度对应的部分区域A2。
其中，所述部分区域A2为处理器4从所述第二影像画面IM2中截取的从所述第二影像画面IM2上边往下延伸的高度为h2的区域。
设第二影像画面IM2的高度为h，此时，显示装置1显示所述第二影像画面IM2中的h2/h比例的区域。
其中，所述区域A2的高度h2与所述区域A1的高度h1的比值等于所述特定角度与第一预设角度之比。设第一预设角度为a，特定角度为b，则h1/h2＝a/b，从而h2＝h1*b/a。
如图2所示，所述头戴式显示设备100还包括存储器5，在一些实施例中，所述存储器5中预存有第一预设角度a与高度h1的对应关系。所述处理器4可根据所述对应关系确定所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时对应的高度h1，并从第一影像画面IM1中截取从第一影像画面IM1的上边往下延伸的高度为h1的区域A1，并控制显示装置1显示从所述第一影像画面IM1中截取的区域A1。所述处理器4并可在所述头戴式显示设备100相对所述参考位置向下运动达到任一特定角度b时，根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时所需截取的区域A2的高度h2。所述处理器4并从第二影像画面IM2中截取从第二影像画面IM2上边往下延伸的高度为h2的区域作为所述区域A2，并控制显示所述第二影像画面IM2中截取的区域A2。
在一些实施例中，所述存储器5中也可以预存有多个角度与高度的对应关系，所述多个角度与高度的对应关系包括第一预设角度a与高度h1的对应关系、其他多个角度与高度的对应关系。所述处理器4可根据所述对应关系确定所述头戴式显示设备100相对所述参考位置向下运动当前达到的角度所对应的高度。所述处理器4并从当前影像画面中截取从影像画面上边往下延伸到对应高度的区域，并控制显示所述从当前影像画面中截取的区域。
请一并参阅图7，在一些实施例中，所述处理器4在所述运动传感器3侦测到的相对所述参考位置向下运动的运动角度达到第二预设角度c时，控制所述显示装置1显示所述摄像装置2当前拍摄的完整的影像画面IM3。其中，所述第二预设角度大于所述特定角度及第一预设角度。所述特定角度为所述第一预设角度a及第二预设角度c之间的任意角度。
其中，上述描述中仅以一个特定角度作为说明，显然，头戴式显示设备100相对所述参考位置向下运动时，所述摄像装置2在第一预设角度与第二预设角度之间，经过多个特定角度的位置都会拍摄影像画面，所述处理器4根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时所需截取的区域A2的高度h2，从当前影像画面中截取从第二影像画面IM2上边往下延伸的具有相应高度的区域，而控制显示装置1依次显示在每一特定角度位置拍摄的影像画面中的具有相应高度的区域。
从而，随着用户的低头，显示装置1显示的画面也逐渐变大，给用户一个逐渐打开视野的感觉。
如图7所示，在向下运动的运动角度达到第二预设角度c时，此时，影像画面IM3显示了整个输入装置T1及人手Z1。
从而，用户无需摘下头戴式显示设备100，可通过摄像装置2拍摄的影像画面得知，当前手与输入装置T1的相对位置，并可移动到所述输入装置T1的位置处，对输入装置T1进行操作，而输入相应内容，极大地方便了用户的操作。
如图6-7所示，在一些实施例中，所述输入装置T1中可包括实体的或虚拟的按键K1，用户通过输入装置T1进行输入时，可以通过摄像装置2拍摄的影像画面清楚地知道按键K1的位置，并可将手Z1移动到对应的按键K1处进行操作。
其中，当用户抬起头而带动所述头戴式显示设备100向上时，如前所述，所述处理器4在所述运动传感器3侦测到的运动角度变小的过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中相应的区域。
其中，所述头戴式显示设备100向上运动为所述头戴式显示设备100的逆过程。例如，当运动角度变小至所述特定角度b时，此时，摄像装置2当前拍摄到的为如图5所示的第二影像画面IM2，所述处理器4控制显示装置1显示如图6所示的所述第二影像画面IM2中的与所述第二预设角度对应的高度为h2的部分区域A2。当运动角度继续变小至所述第一预设角度a时，此时，摄像装置2当前拍摄到的为如图1所示的第一影像画面IM1，所述处理器4控制显示装置1显示如图4所示的所述第一影像画面IM1中的与所述第一预设角度对应的高度为h1的部分区域A1。
从而，随着用户的抬头，显示装置1显示的画面也逐渐变小，给用户一个逐渐关闭视野的感觉。
在一些实施例中，所述处理器4并在所述运动传感器3侦测到的相对所述参考位置向下的运动角度减小至小于所述第一预设角度a时，控制关闭摄像装置2和/或控制所述显示装置1停止显示所述影像画面。
在其他实施例中，所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所述影像画面中的与所述运动角度对应的区域，包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取不同影像画面中的不同区域，并控制所述显示装置1显示当前截取的区域与之前截取的所有区域的拼接区域；所述处理器4在所述运动传感器3侦测到的运动角度变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中与所述运动角度对应的区域，并控制显示装置1显示当前影像画面中截取的区域。
如前面的图3及图4所述，当所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，所述摄像装置2拍摄得到第一影像画面IM1。所述摄像装置2当前拍摄到的第一影像画面IM1中包括笔P1、书本B1以及输入装置T1的一部分。
如图4所示，所述处理器4控制显示装置1显示当前摄像装置2当前拍摄到的第一影像画面IM1中的与所述第一预设角度对应的部分区域A1。其中，所述部分区域A1为从所述第一影像画面IM1中截取的包括所述第一影像画面IM1上边的高度为h1的区域。
请一并参阅图8，为第二实施例中所述处理器4在所述头戴式显示设备100相对所述参考位置向下运动到特定角度b时，控制显示装置1显示的区域A3的示意图。
如前所述，运动到特定角度b时，所述摄像装置2拍摄的影像画面为图5所示的第二影像画面IM2。所述处理器4根据h2＝h1*b/a确定第二影像画面IM2中的包括所述第二影像画面IM2上边的高度为h2的区域A2。
所述处理器4并确定所述区域A2中与所述图4中所述的运动到第一预设角度时显示的区域A1重叠的区域，并将所述区域A2中位于重叠的区域中的图像去除，得到如图8中(2)所示的h2-h1的区域。
所述处理器4并将如图8中(1)所示的所述运动到第一预设角度时显示的区域A1与图8中(2)所示的所述区域A2去除与所述区域A1重叠区域后的区域部分叠加，得到如图8中(3)所示的叠加区域A3。其中，所述叠加区域A3的上部分区域为从所述第一影像画面IM1中截取的高度为h1的区域，所述叠加区域A3的下部分区域为从所述第二影像画面IM2中截取的高度为h2-h1的区域。
而当用户抬起头而带动头戴式显示设备100向上时，所述处理器4控制显示装置1的显示与第一实施例相同，不在此赘述。
显然，当所述头戴式显示设备100相对所述参考位置向下运动到第二预设角度时，所述处理器4同样控制当前显示装置1显示当前获取的整个影像画面。
其中，如图1所示，所述头戴式显示设备100包括所述输入装置T1，所述输入装置T1与所述显示装置1和/或耳机装置6通过有线或无线连接。所述输入装置T1可为具有实体按键的输入装置或者可为显示有虚拟按键的触摸屏、触摸板等输入装置。
在一些实施例中，所述输入装置T1可为与所述头戴式显示设备100适配的外部装置，不为所述头戴式显示设备100的一部分。
所述摄像装置2可为摄像头，拍摄的影像画面可为间隔预定时间或预设运动角度所拍摄的图像画面，也可为视频画面。当为视频画面时，所述处理器4可在运动角度大于等于所述第一预设角度后，控制显示装置1实时显示视频画面中的部分区域，并在达到一些特定角度时，改变所述视频画面中所显示的部分区域的面积，以及在达到所述第二预设角度时，控制显示装置1显示完整的视频画面。
其中，图3-8所示仅仅是示例性的图，用户可通过摄像装置2的辅助观看到外部景象，从而寻找到输入装置T1以及其他所需的物件，或者实现与其他人对话等等功能。
如图1所示，所述头戴显示设备还包括耳机装置6、所述耳机装置6用于输出声音，所述耳机装置6可包括耳机环带61及两个耳机听筒62，所述两个耳机听筒62通过所述耳机环带61连接。
其中，该处理器4可为中央处理器、微处理器、微控制器、单片机、数字信号处理器等。该存储器5可为闪存卡、固态存储器、随机存储器等。
所述运动传感器3可为陀螺仪或加速度传感器等。
该头戴式显示设备100可为智能眼镜、智能头盔等头戴式显示设备。
请参阅图9，为本发明一实施例中的辅助视觉方法的流程图。该方法用于前述的头戴式显示设备100中。该方法包括如下步骤：
所述处理器4在运动传感器3侦测到所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置2以拍摄影像画面(S901)。
所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域(S902)。具体的，所述处理器4在所述运动传感器3侦测到的运动角度变大时，控制所述显示装置1显示所述影像画面中更大面积的区域。所述处理器4在所述运动传感器3侦测到的运动角度变小时，控制所述显示装置1显示所述影像画面中更小面积的区域。
其中，在一些实施例中，所述辅助视觉方法还包括步骤：
所述处理器4判断所述运动传感器3侦测到的运动角度是否大于或等于第二预设角度(S903)。如果是，则执行步骤S904，如果否，则返回步骤S902。
控制显示装置1显示所述摄像装置2拍摄的完整的影像画面(S904)。
显然，在一些实施例中，所述步骤S903及步骤S904也可包含在所述步骤S902中，显示完整的影像画面表示此时显示的影像画面中的区域为所述整个影像画面。
其中，在一些实施例中，所述辅助视觉方法还包括步骤：
所述处理器4判断所述运动传感器3侦测到的运动角度是否小于第一预设角度(S905)。如果是，则执行步骤S906，如果否，则返回步骤S902。其中，所述步骤S905也可执行于所述步骤S903之前。
处理器4控制关闭所述摄像装置2和/或控制所述显示装置1停止显示所述摄像装置2拍摄的影像画面(S906)。
请参阅图10，为图9中步骤S902在本发明一实施例中的子流程图。如图10所示，在一实施例中，所述步骤S902包括：
处理器4获取摄像装置2在第一预设角度a拍摄的第一影像画面IM1(S9021)。
处理器4控制显示装置1显示所述第一影像画面IM1中的具有第一高度h1的区域A1(S9022)。在一些实施例中，所述头戴式显示设备100的存储器5中预存有第一预设角度a与高度h1的对应关系。所述处理器4可根据所述对应关系确定所述第一预设角度a对应的高度h1，并从第一影像画面IM1中截取从第一影像画面IM1上边往下延伸的高度为h1的区域作为所述对应的区域A1，并控制显示所述第一影像画面IM1中截取的区域A1。
所述处理器4获取摄像装置2在大于所述第一预设角度的特定角度b拍摄的第二影像画面IM2(S9023)。
所述处理器4控制显示装置1显示当前摄像装置2当前拍摄到的第二影像画面IM2中与所述特定角度b对应的区域A2(S9024)。在一些实施例中，所述处理器4根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时对应的高度h2，并从第二影像画面IM2中截取从第二影像画面IM2上边往下延伸的高度为h2的区域作为所述对应的区域A2，并控制显示所述第二影像画面IM2中截取的区域A2。在另一些实施例中，所述头戴式显示设备100的存储器5中预存有多个角度与高度的对应关系，所述处理器4根据所述对应关系确定所述特定角度b对应的高度h2，然后从第二影像画面IM2中截取从第二影像画面IM2上边往下延伸的高度为h2的区域作为所述对应的区域A2，并控制显示所述第二影像画面IM2中截取的区域A2。
在其他实施例中，步骤S902包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面；截取不同影像画面中的不同区域，并控制所述显示装置1显示当前截取的区域与之前截取的所有区域拼接而成的区域；所述处理器4在所述运动传感器3侦测到的运动角度变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面；截取当前运动角度下拍摄的影像画面中与所述运动角度对应的区域，并控制显示装置1显示所述截取的区域。
从而，本申请中，通过使用摄像装置2作为辅助视觉装置，可以在用户需要低头寻找东西时开启，以辅助用户寻找如输入装置等在内的物件。
以上所述是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (20)

1.一种头戴式显示设备，包括显示装置及处理器，其特征在于，所述头戴式显示设备还包括：
摄像装置，用于摄取头戴式显示设备周围的影像画面；
运动传感器，用于侦测所述头戴式显示设备相对于一参考位置的运动角度；
所述处理器与所述显示装置、摄像装置及运动传感器连接，用于在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；所述处理器并用于根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。
2.如权利要求1所述的头戴式显示设备，其特征在于，所述处理器在所述运动传感器侦测到的运动角度变大时，控制所述显示装置显示所述影像画面中更大面积的区域；所述处理器在所述运动传感器侦测到的运动角度变小时，控制所述显示装置显示所述影像画面中更小面积的区域。
3.如权利要求2所述的头戴式显示设备，其特征在于，所述处理器在所述运动传感器侦测到的运动角度大于或等于第二预设角度时，控制显示装置显示所述摄像装置拍摄的完整的影像画面。
4.如权利要求1所述的头戴式显示设备，其特征在于，所述处理器在所述运动传感器侦测到的运动角度小于第一预设角度时，控制关闭所述摄像装置和/或控制所述显示装置停止显示所述摄像装置拍摄的影像画面。
5.如权利要求1-4任一项所述的头戴式显示设备，其特征在于，所述处理器在所述运动传感器侦测到的运动角度变大过程或变小过程中，获取不同的运动角度下所述摄像装置拍摄的影像画面，截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置显示所述影像画面中截取的区域。
6.如权利要求5所述的头戴式显示设备，其特征在于，所述处理器获取不同的运动角度下所述摄像装置拍摄的影像画面，截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置显示所述影像画面中截取的区域，包括：
所述处理器获取摄像装置在第一预设角度拍摄的第一影像画面，截取所述第一影像画面中的与所述第一预设角度对应的区域，以及控制显示装置显示所述第一影像画面中截取的区域；所述处理器获取摄像装置在大于所述第一预设角度的特定角度拍摄的第二影像画面，截取所述第二影像画面中的与所述特定角度对应的区域，并控制显示装置显示所述第二影像画面中截取的区域。
7.如权利要求6所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括存储器，所述存储器中预存有第一预设角度与第一高度的对应关系；所述处理器截取所述第一影像画面中的与所述第一预设角度对应的区域，以及控制显示装置显示所述第一影像画面中截取的区域包括：所述处理器根据所述第一预设角度与第一高度的对应关系确定所述第一预设角度对应的第一高度，并从第一影像画面中截取从第一影像画面上边往下延伸的高度为第一高度的区域，并控制显示所述第一影像画面中截取的区域。
8.如权利要7所述的头戴式显示设备，其特征在于，所述处理器截取所述第二影像画面中的与所述特定角度对应的区域，并控制显示装置显示所述截取的区域包括：所述处理器根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度时对应的第二高度，并从第二影像画面中截取从第二影像画面上边往下延伸的高度为第二高度的区域，并控制显示所述第二影像画面中截取的区域；其中，h2为所述第二高度，h1为所述第一高度，b为所述特定角度，a为所述第一预设角度。
9.如权利要求7所述的头戴式显示设备，其特征在于，所述存储器中还预存有多个角度与高度的对应关系，所述处理器根据所述对应关系确定所述特定角度对应的第二高度，然后从第二影像画面中截取从第二影像画面上边往下延伸的高度为第二高度的区域，并控制显示所述第二影像画面中截取的区域。
10.如权利要求1-4任一项所述的头戴式显示设备，其特征在于，所述处理器在所述运动传感器侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置拍摄的影像画面，截取不同影像画面中的不同区域，并控制所述显示装置显示当前截取的区域与之前截取的所有区域拼接而成的区域。
11.一种视觉辅助方法，应用于一头戴式显示设备，所述头戴式显示设备包括显示装置、摄像装置及运动传感器，其特征在于，所述视觉辅助方法包括：
在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；以及
根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。
12.如权利要求11所述的方法，其特征在于，所述步骤“根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域”包括：
在所述运动传感器侦测到的运动角度变大时，控制所述显示装置显示所述影像画面中更大面积的区域；以及
在所述运动传感器侦测到的运动角度变小时，控制所述显示装置显示所述影像画面中更小面积的区域。
13.如权利要求12所述的方法，其特征在于，所述方法还包括步骤：
在所述运动传感器侦测到的运动角度大于或等于第二预设角度时，控制显示装置显示所述摄像装置拍摄的完整的影像画面。
14.如权利要求11所述的方法，其特征在于，所述方法还包括步骤：
在所述运动传感器侦测到的运动角度小于第一预设角度时，控制关闭所述摄像装置和/或控制所述显示装置停止显示所述摄像装置拍摄的影像画面。
15.如权利要求11-14任一项所述的方法，其特征在于，所述步骤“根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域”包括：
在所述运动传感器侦测到的运动角度变大过程或变小过程中，获取不同的运动角度下所述摄像装置拍摄的影像画面，截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置显示所述影像画面中截取的区域。
16.如权利要求15所述的方法，其特征在于，所述步骤“获取不同的运动角度下所述摄像装置拍摄的影像画面，截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置显示所述影像画面中截取的区域”，包括：
获取摄像装置在第一预设角度拍摄的第一影像画面，截取所述第一影像画面中的与所述第一预设角度对应的区域，以及控制显示装置显示所述第一影像画面中截取的区域；以及
获取摄像装置在大于所述第一预设角度的特定角度拍摄的第二影像画面，截取所述第二影像画面中的与所述特定角度对应的区域，并控制显示装置显示所述第二影像画面中截取的区域。
17.如权利要求16所述的方法，其特征在于，所述步骤“截取所述第一影像画面中的与所述第一预设角度对应的区域，以及控制显示装置显示所述第一影像画面中截取的区域”包括：
根据所述第一预设角度与第一高度的对应关系确定所述第一预设角度对应的第一高度；
从第一影像画面中截取从第一影像画面上边往下延伸的高度为第一高度的区域；以及
控制显示所述第一影像画面中截取的区域。
18.如权利要17所述的方法，其特征在于，所述步骤“截取所述第二影像画面中的与所述特定角度对应的区域，并控制显示装置显示所述第二影像画面中截取的区域”包括：
根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度时对应的第二高度；其中，h2为所述第二高度，h1为所述第一高度，b为所述特定角度，a为所述第一预设角度；
从第二影像画面中截取从第二影像画面上边往下延伸的高度为第二高度的区域；以及
控制显示所述第二影像画面中截取的区域。
19.如权利要求17所述的方法，其特征在于，，所述处理器根据多个角度与高度的对应关系确定所述特定角度对应的第二高度，然后从第二影像画面中截取从第二影像画面上边往下延伸的高度为第二高度的区域，并控制显示所述第二影像画面中截取的区域。
20.如权利要求11-14任一项所述的方法，其特征在于，所述步骤“根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域”包括：
在所述运动传感器侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置拍摄的影像画面，截取不同影像画面中的不同区域，并控制所述显示装置显示当前截取的区域与之前截取的所有区域的拼接区域。
CN201680042725.4A 2016-12-22 2016-12-22 头戴式显示设备及其视觉辅助方法 Withdrawn CN107980220A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/111510 WO2018112838A1 (zh) 2016-12-22 2016-12-22 头戴式显示设备及其视觉辅助方法

Publications (1)

Publication Number Publication Date
CN107980220A true CN107980220A (zh) 2018-05-01

Family

ID=62004258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680042725.4A Withdrawn CN107980220A (zh) 2016-12-22 2016-12-22 头戴式显示设备及其视觉辅助方法

Country Status (4)

Country Link
US (1) US20190333468A1 (zh)
EP (1) EP3561570A1 (zh)
CN (1) CN107980220A (zh)
WO (1) WO2018112838A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837174A (zh) * 2018-06-25 2020-10-27 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10423241B1 (en) * 2017-07-31 2019-09-24 Amazon Technologies, Inc. Defining operating areas for virtual reality systems using sensor-equipped operating surfaces
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
CN113596369B (zh) * 2021-07-23 2023-09-01 深圳市警威警用装备有限公司 多终端协同执法记录方法、电子设备及计算机储存介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238761A (zh) * 2010-05-06 2011-11-09 Lg电子株式会社 移动终端及其控制方法
CN103226282A (zh) * 2013-05-13 2013-07-31 合肥华恒电子科技有限责任公司 一种便携式虚拟现实投影装置
CN103439794A (zh) * 2013-09-11 2013-12-11 百度在线网络技术（北京）有限公司 头戴式设备的校准方法和头戴式设备
US20150084841A1 (en) * 2010-12-03 2015-03-26 Esight Corp. Apparatus and method for a bioptic real time video system
CN105209959A (zh) * 2013-03-14 2015-12-30 高通股份有限公司 用于头戴式显示器的用户界面
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN106199963A (zh) * 2014-09-01 2016-12-07 精工爱普生株式会社 显示装置及其控制方法以及计算机程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160107572A1 (en) * 2014-10-20 2016-04-21 Skully Helmets Methods and Apparatus for Integrated Forward Display of Rear-View Image and Navigation Information to Provide Enhanced Situational Awareness
WO2017213218A1 (ja) * 2016-06-10 2017-12-14 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238761A (zh) * 2010-05-06 2011-11-09 Lg电子株式会社 移动终端及其控制方法
US20150084841A1 (en) * 2010-12-03 2015-03-26 Esight Corp. Apparatus and method for a bioptic real time video system
CN105209959A (zh) * 2013-03-14 2015-12-30 高通股份有限公司 用于头戴式显示器的用户界面
CN103226282A (zh) * 2013-05-13 2013-07-31 合肥华恒电子科技有限责任公司 一种便携式虚拟现实投影装置
CN103439794A (zh) * 2013-09-11 2013-12-11 百度在线网络技术（北京）有限公司 头戴式设备的校准方法和头戴式设备
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN106199963A (zh) * 2014-09-01 2016-12-07 精工爱普生株式会社 显示装置及其控制方法以及计算机程序

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837174A (zh) * 2018-06-25 2020-10-27 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法

Also Published As

Publication number Publication date
US20190333468A1 (en) 2019-10-31
WO2018112838A1 (zh) 2018-06-28
EP3561570A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
CN107980220A (zh) 头戴式显示设备及其视觉辅助方法
WO2022005693A1 (en) Augmented reality experiences using speech and text captions
EP4217834A1 (en) Touchless photo capture in response to detected hand gestures
WO2016092950A1 (ja) 医療用眼鏡型表示装置、情報処理装置及び情報処理方法
JP2011257682A (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
KR20220070292A (ko) 자동화된 안경류 디바이스 공유 시스템
US11889291B2 (en) Head-related transfer function
WO2018000630A1 (zh) 一种vr播放视频进度的调节方法和电子设备
CN109600555A (zh) 一种对焦控制方法、系统及拍照设备
CN104094595A (zh) 在立体视觉系统中供处理影像的方法及其装置
EP4035348A1 (en) Automated video capture and composition system
CN112912824A (zh) 与头戴式显示器相连接的智能终端及用于其的控制方法
CN109688253A (zh) 一种拍摄方法及终端
EP4165490A2 (en) Augmented reality environment enhancement
CN105872515A (zh) 一种视频播放控制方法及装置
CN106383577B (zh) 一种vr视频播放装置的场景控制实现方法及系统
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107340868B (zh) 一种数据处理方法、装置及vr设备
CN109799899A (zh) 交互控制方法、装置、存储介质和计算机设备
US10652501B2 (en) Screen control method and device
CN111352505A (zh) 操作控制方法、头戴式设备及介质
CN111258482B (zh) 信息分享方法、头戴式设备及介质
CN107250895A (zh) 头戴式显示设备及其摄像头的调节方法
CN110096926A (zh) 一种放缩智能眼镜屏幕的方法与智能眼镜
KR101685430B1 (ko) 게이즈 제스처를 이용한 스마트 안경 인터페이스 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180501

WW01 Invention patent application withdrawn after publication