CN111831106A - 头戴式显示系统、相关方法及相关计算机可读取记录媒体 - Google Patents

头戴式显示系统、相关方法及相关计算机可读取记录媒体 Download PDF

Info

Publication number
CN111831106A
CN111831106A CN201910443783.3A CN201910443783A CN111831106A CN 111831106 A CN111831106 A CN 111831106A CN 201910443783 A CN201910443783 A CN 201910443783A CN 111831106 A CN111831106 A CN 111831106A
Authority
CN
China
Prior art keywords
unit
head
display system
mounted display
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910443783.3A
Other languages
English (en)
Inventor
王自强
李佳骏
李思莹
陈威硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future City Co ltd
XRspace Co Ltd
Original Assignee
Future City Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future City Co ltd filed Critical Future City Co ltd
Publication of CN111831106A publication Critical patent/CN111831106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种头戴式显示系统，其包含有一追踪单元、一显示单元及耦接于该追踪单元与该显示单元的一处理单元，该追踪单元可追踪该头戴式显示系统的一位置、一方向或一姿势的其中至少一者，以产生一追踪结果，该显示单元可以一子母画面模式显示一虚拟场景以及基于该追踪单元的该追踪结果所建立的一现实环境的一地图。本发明允许该使用者在同一画面(帧)同时观看该虚拟场景与该现实环境的该地图，从而帮助该使用者了解其在现实环境中的当前状态或当前位置，故本发明可有效地避免该使用者在体验虚拟环境时意外碰撞受伤，进而确保该使用者的人身安全。

Description

头戴式显示系统、相关方法及相关计算机可读取记录媒体
技术领域
本发明涉及一种头戴式显示系统、相关方法以及相关计算机可读取记录媒体。
背景技术
随着科技的发展与进步，计算机游戏与使用者之间的互动需求也随之增加。人机互动科技，例如体感游戏、虚拟现实(Virtual Reality，VR)环境、增强现实(AugmentedReality，AR)环境、混合现实(Mixed Reality，MR)环境、扩展现实(Extended Reality，XR)环境，也由于其生理及娱乐功能而愈趋流行。现有的显示设备例如头戴显示器(headmounted display，HMD)通常只能以全荧幕模式显示虚拟环境的虚拟场景，因此使用者在体验虚拟环境时无法得知其在现实环境中的位置或状态，而导致安全隐患。
发明内容
因此，本发明目的之一在于提供一种头戴式显示系统、相关方法以及相关计算机可读取记录媒体，以解决上述问题。
为达成上述目的，本发明公开一种头戴式显示系统，其包含有一可穿戴本体、一追踪单元、一显示单元以及一处理单元，该可穿戴本体用于供一使用者穿戴，该追踪单元用于追踪该头戴式显示系统的一位置、该头戴式显示系统的一方向以及该头戴式显示系统的一姿势的其中至少一者，以产生一追踪结果，该显示单元安装于该可穿戴本体上且用于以一子母画面模式显示一虚拟场景以及基于该追踪单元的该追踪结果所建立的一现实环境的一地图，该处理单元耦接于该追踪单元以及该显示单元且用来控制该显示单元以该子母画面模式显示该虚拟场景以及该现实环境的该地图。
为达成上述目的，本发明还公开一种利用一头戴式显示系统以一子母画面模式显示一虚拟场景以及一现实环境的一地图的方法，其包含有：利用该头戴式显示系统的一追踪单元追踪该头戴式显示系统的一位置、该头戴式显示系统的一方向以及该头戴式显示系统的一姿势的其中至少一者，以产生一追踪结果；以及利用该头戴式显示系统的一显示单元以该子母画面模式显示该虚拟场景以及基于该追踪单元的该追踪结果所建立的该现实环境的该地图。
为达成上述目的，本发明还公开一种存储一程序的计算机可读取记录媒体，当一计算机载入该程序并执行后，可完成上述方法。
综上所述，本发明利用显示单元以子母画面模式同时在同一画面(帧)显示虚拟场景以及现实环境的地图。因此本发明允许该使用者在同一画面(帧)同时观看该虚拟场景与该现实环境的该地图，从而帮助该使用者了解其在现实环境中的当前状态或当前位置，故本发明可有效地避免该使用者在体验虚拟环境时意外碰撞受伤，进而确保该使用者的人身安全。
附图说明
图1为本发明实施例一的头戴式显示系统的示意图。
图2为本发明实施例一的头戴式显示系统的功能方块图。
图3为本发明实施例一的头戴式显示系统在全荧幕模式与子母画面模式之间切换的方法流程图。
图4为本发明实施例一的显示单元以全荧幕模式显示虚拟场景的示意图。
图5为本发明实施例一的显示单元以子母画面模式模式同时显示虚拟场景与现实环境的地图的示意图。
图6为本发明实施例二的头戴式显示系统的示意图。
图7为本发明实施例二的头戴式显示系统的功能方块图。
图8为本发明实施例二的头戴式显示系统在全荧幕模式与子母画面模式之间切换的方法流程图。
图9为本发明实施例三的头戴式显示系统的示意图。
图10为本发明实施例三的头戴式显示系统的功能方块图。
图11为本发明实施例三的头戴式显示系统在全荧幕模式与子母画面模式之间切换的方法流程图。
图12为本发明实施例四的头戴式显示系统的示意图。
图13为本发明实施例四的头戴式显示系统的功能方块图。
图14为本发明实施例四的头戴式显示系统在全荧幕模式与子母画面模式之间切换的方法流程图。
图15为本发明实施例五的头戴式显示系统的示意图。
图16为本发明实施例五的头戴式显示系统的功能方块图。
图17为本发明实施例五的头戴式显示系统在全荧幕模式与子母画面模式之间切换的方法流程图。
附图标记说明：
1、1’、1”、1”’、1”” 头戴式显示系统
11、11’、11”、11”’、11”” 可穿戴本体
12、12’、12”、12”’、12”” 显示单元
13、13’、13”、13”’、13”” 处理单元
14、14”’、14”” 追踪单元
141、141”’、141”” 惯性测量单元
142”’、142”” 摄影机模块
143”’、143”” 手部传感器
144”’、144”” 下半身传感器
15’ 开关单元
16” 遥控器
17” 通信模块
18” 远端计算设备
2 电视
21 视窗
S1～S5 步骤
S1’～S5’ 步骤
S1”～S5” 步骤
S1”’～S5”’ 步骤
S1””～S5”” 步骤
具体实施方式
在本申请的说明书及权利要求当中使用了某些词汇来指称特定的元件。所属领域中的普通技术人员应可理解，制作商可能会用不同的名词来称呼同样的元件。本申请的说明书及权利要求并不以名称的差异来作为区别元件的方式，而是以元件在功能上的差异来作为区别的基准。在通篇说明书及权利要求当中所提及的「包括」均为一开放式的用语，故应解释成「包括但不限定于」。再者，为使熟悉本发明所属技术领域的普通技术人员能更进一步了解本发明，下文特列举本发明的数个实施例，并配合所附图式，详细说明本发明的构成内容。需注意的是图式仅以说明为目的，并未依照原尺寸作图。此外，「耦接」或「连接」一词在此是包含任何直接及间接的电气或结构连接手段。因此，若文中描述一第一装置耦接/连接于一第二装置，则代表该第一装置可直接电气/结构连接于该第二装置，或通过其他装置或连接手段间接地电气/结构连接至该第二装置。
请参阅图1与图2，图1为本发明实施例一的头戴式显示系统1的示意图，图2为本发明实施例一的头戴式显示系统1的功能方块图。如图1与图2所示，头戴式显示系统1包含有可供一使用者穿戴的一可穿戴本体11、一显示单元12、一处理单元13以及一追踪单元14。
显示单元12可安装于可穿戴本体11上且耦接于处理单元13，显示单元12用于以一全荧幕模式显示一虚拟环境的一虚拟场景或以一子母画面模式同时在同一画面(帧)显示一虚拟场景以及一现实环境的一地图，显示单元12可自该全荧幕模式切换至该子母画面模式和/或自该子母画面模式切换至该全荧幕模式。在此实施例中，显示单元12可为任一显示器，例如一液晶显示器(liquid crystal display,LED)、一发光二极管显示器(light-emitting diode,LED,display)或一有机发光二极管显示器(organic light-emittingdiode,OLED,display)，而本发明并不局限于此。
处理单元13可安装于可穿戴本体11内且耦接于显示单元12以及追踪单元14，处理单元13可处理显示单元12以及追踪单元14的数据，并且指示显示单元12自该全荧幕模式切换至该子母画面模式和/或自该子母画面模式切换至该全荧幕模式，以回应于一启动命令。在此实施例中，处理单元13可以软件、固件、硬件或其组合的方式实施。举例来说，处理单元13可为一处理器(processor)，例如一中央处理单元(CPU)、一应用处理器(applicationprocessor)或一微处理器(microprocessor)等，或通过专用集成电路(ASIC)实现，而本发明并不局限于此。
追踪单元14可用于追踪头戴式显示系统1的位置、方向或姿势。在此实施例中，追踪单元14可包含有安装在可穿戴本体11内的一惯性测量单元(inertialmeasurementunit,IMU)141，例如一陀螺仪(gyroscope)、一加速度计(accelerometer)、一磁性传感器(magnetic sensor)或其组合，以追踪可穿戴本体11的位置、方向或姿势，以决定头戴式显示系统1的位置、方向或姿势。而本发明并不局限于此，该惯性测量单元也可安装在除了可穿戴本体之外的元件上。
举例来说，在另一实施例中，该追踪单元可还包含有一手部传感器、一下半身传感器或一外部摄影机模块，该惯性测量单元可安装在该手部传感器、该下半身传感器或该外部摄影机模块内，以追踪该手部传感器、该下半身传感器或该外部摄影机模块的位置、方向或姿势，以决定头戴式显示系统的位置、方向或姿势。
追踪单元14可还包含有用于撷取该现实环境的影像的一摄影机模块142，以根据该现实环境的影像与可穿戴本体11的位置、方向以及姿势的其中至少一者产生一追踪结果，使得该现实环境的该地图可基于追踪单元14的该追踪结果通过同步定位与建图(simultaneous localization and mapping,SLAM)的技术而得。
而本发明并不局限于此，举例来说，在另一实施例中，该惯性测量单元可省略，且头戴式显示系统1的位置、方向或姿势可由该追踪单元的该摄影机模块所撷取的影像来决定。又或者，在另一实施例中，该摄影机模块可省略，该现实环境的该地图可基于预设地图信息以及不包含有该现实场景的影像的该追踪结果构建而得。
再者，在此实施例中，追踪单元14所收集的数据可作为决定是否产生该启动命令的依据，举例来说，当追踪单元14的一追踪结果符合一预设条件时可产生该启动命令。而本发明并不局限于此，在另一实施例中(稍后说明)，该追踪单元所收集的数据也可不作为决定是否产生该启动命令的依据。
此外，在此实施例中，决定是否产生该启动命令以及产生该启动命令可由追踪单元14来执行。而本发明并不局限于此，举例来说，在另一实施例中，该追踪单元可将其所收集的数据或该追踪结果传送至该处理单元，而由该处理单元来执行决定是否产生该启动命令以及产生该启动命令。
再者，在此实施例中，显示单元12、处理单元13以及追踪单元14可设置在可穿戴本体11上。而本发明并不局限于此，举例来说，在另一实施例中，该头戴式显示系统可还包含有一远端计算设备以及一通信模块，该远端计算设备与该可穿戴本体分离设置，该通信模块设置于该可穿戴本体上且用于提供一通信通道至该远端计算设备。具体地，该远端计算设备可为一边缘计算设备(edge computing device)、一云计算设备(cloud computingdevice)、一本地端计算机(local host computer)、一远端服务器(remote server)、一智能型手机(smart phone)等，该通信模块可在该可穿戴本体与该远端计算设备之间建立一有线或无线的连接。在此实施例中，该处理单元和/或该追踪单元可至少部分设置在该远端计算设备，而非该可穿戴本体；且该处理单元和/或该追踪单元可将部分任务分配给该远端计算设备，使得该远端计算设备可通过该通信模块接收该追踪单元的该追踪结果或传送该启动命令，从而减少该可穿戴本体的尺寸与数据运算量，以使该可穿戴本体更轻薄且便于携带。
请参阅图3至图5，图3为本发明实施例一的头戴式显示系统1在该全荧幕模式与该子母画面模式之间切换的方法流程图，图4为本发明实施例一的显示单元12以该全荧幕模式显示该虚拟场景的示意图，图5为本发明实施例一的显示单元12以该子母画面模式同时显示该虚拟场景与该现实环境的该地图的示意图。图3所示的方法包含有下列步骤：
步骤S1：显示单元12以该全荧幕模式显示该虚拟环境的该虚拟场景。
步骤S2：追踪单元14追踪头戴式显示系统1的位置、方向以及姿势的其中至少一者且撷取该现实环境的影像，以产生该追踪结果。
步骤S3：基于该追踪结果构建该现实环境的该地图。
步骤S4：追踪单元14的该追踪结果符合该预设条件时产生该启动命令。
步骤S5：处理单元13指示显示单元12自该全荧幕模式切换至该子母画面模式，以回应于该启动命令。
以下针对上述步骤进行说明，在步骤S1中，如图4所示，当该使用者穿着可穿戴本体11时，可设定显示单元12先以该全荧幕模式显示该虚拟场景。在步骤S2至S4中，当该使用者体验该虚拟环境时，追踪单元14可通过追踪可穿戴本体11的位置、方向以及姿势的其中至少一者，以决定头戴式显示系统1的位置、方向以及姿势的其中至少一者，并且还撷取该现实环境的影像，从而根据头戴式显示系统1的位置、方向以及姿势的其中至少一者以及该现实环境的影像产生该追踪结果。因此，该现实环境的该地图可基于追踪单元14的该追踪结果构建而得。接着，若追踪单元14的该追踪结果符合该预设条件时则可产生该启动命令。在此实施例中，该预设条件可依据头戴式显示系统1与该现实环境之间的关系来决定。
举例来说，该预设条件可为穿戴于该使用者身上的可穿戴本体11与一现实物件(如图4与图5所示的该现实环境中的一电视2)之间的一距离值等于或小于一预设距离值。较佳地，该预设距离值可为50公分，也就是说，当追踪单元14在该使用者移动的过程中判断可穿戴本体11与电视2之间的该距离值等于或小于50公分时，可相对应地产生该启动命令，以警示该使用者，从而避免使用者在行进中碰撞于电视2。
而本发明的该预设条件并不局限于此，在另一实施例中，该预设条件可为该头戴式显示系统的一预设方向或一预设姿势，该启动命令可在该追踪单元所追踪的该头戴式显示系统的一方向或一姿势符合该预设方向或该预设姿势时，相对应地被产生。
又或者，在另一实施例中(稍后说明)，该追踪单元可还包含有一摄影机模块、一手部传感器，一下半身传感器或其组合，该手部传感器穿戴于该使用者的一手部，该下半身传感器穿戴于该使用者的一下半身(例如一脚部)，以决定该使用者的一手势、一手部动作或一下半身动作，该预设条件可为一预设手势、一预设手部动作、一预设下半身动作或其组合，该启动命令可在该使用者的该手势、该手部动作或该下半身动作符合该预设手势、该预设手部动作或该预设下半身动作时，相对应地被产生。
又或者，在另一实施例中，该追踪单元可以被省略，且该影像撷取单元可还用于根据其所撷取的影像追踪该使用者的一手势、该使用者的一手部动作、该使用者的一下半身动作、该头戴式显示系统的一位置、该头戴式显示系统的一方向、该头戴式显示系统的一姿势的其中至少一者，以替代该追踪单元的功能。
接着，在步骤S5中，处理单元13指示显示单元12自如图4所示的该全荧幕模式切换至如图5所示的该子母画面模式，以回应该启动命令，从而允许该使用者在同一画面(帧)上同时观看该虚拟场景以及该现实环境的该地图，以帮助该使用者了解其在该现实环境中的当前位置或当前状态，进而避免该使用者在体验虚拟环境时意外碰撞受伤，进而确保该使用者的人身安全。
此外，当追踪单元14的该追踪结果符合另一预设条件时，可调整该子母画面模式显示的该现实环境的该地图的一视窗21的一尺寸、视窗21的一位置、该地图的一缩放比例、该地图的一方向以及该地图的一视野范围的其中至少一。举例来说，该使用者可通过一特定手势和/或一特定手部动作调整该子母画面模式显示的该现实环境的该地图的视窗21的该尺寸、视窗21的该位置、该地图的该缩放比例、该地图的该方向或该地图的该视野范围。又或者，在另一实施例中，该子母画面模式显示的该现实环境的该地图的视窗21的该尺寸、视窗21的该位置、该地图的该缩放比例、该地图的该方向或该地图的该视野范围可根据该追踪单元的一追踪结果(例如一眼部追踪结果)自动地进行调整，以提升使用者体验感受。
可理解地，若可穿戴本体11与该现实物件之间的该距离值再度增加而大于该预设距离值(例如50公分)时，显示单元12可自该子母画面模式切换至该全荧幕模式，以提升使用沉浸感。
请参阅图6至图8，图6为本发明实施例二的头戴式显示系统1’的示意图，图7为本发明实施例二的头戴式显示系统1’的功能方块图，图8为本发明实施例二的头戴式显示系统1’在该全荧幕模式与该子母画面模式之间切换的方法流程图。如图6至图7所示，与实施例一的头戴式显示系统1不同的是，本实施例的头戴式显示系统1’包含有一可穿戴本体11’、一显示单元12’、一处理单元13’、一追踪单元14’以及一开关单元15’，追踪单元14’与显示单元12’设置于可穿戴本体11’，处理单元13’设置于可穿戴本体11’且耦接显示单元12’与追踪单元14’，开关单元15’设置于可穿戴本体11’且耦接处理单元13’，以在该开关单元15’的状态改变时产生该启动命令。换句话说，在此实施例中，该使用者可根据其实际需求通过改变开关单元15’的状态将显示单元12’由该全荧幕模式切换至该子母画面模式。再者，可理解地，该使用者可再次通过改变开关单元15’的状态将显示单元12’由该子母画面模式切换至该全荧幕模式。此外，在此实施例中，开关单元15’可为设置于可穿戴本体11’上的一实体按键，且开关单元15’的状态可通过被按压或被点击而改变。然本发明并不局限于此，举例来说，在另一实施例中，该开关单元也可为该可穿戴本体上或显示在该显示单元上的一虚拟按键，且其状态可通过触控操作来改变。
请参阅图9至图11，图9为本发明实施例三的头戴式显示系统1”的示意图，图10为本发明实施例三的头戴式显示系统1”的功能方块图，图11为本发明实施例三的头戴式显示系统1”在该全荧幕模式与该子母画面模式之间切换的方法流程图。如图9至图11所示，与前述实施例的头戴式显示系统1、1’不同的是，本实施例的头戴式显示系统1”包含有一可穿戴本体11”、一显示单元12”、一处理单元13”、一追踪单元14”、一遥控器16”、一通信模块17”以及一远端计算设备18”，显示单元12”与追踪单元14”安装于可穿戴本体11”上，处理单元13”设置于远端计算设备18”上，通信模块17”在设置于远端计算设备18”上的处理单元13”与设置于可穿戴本体11”上的显示单元12”以及遥控器16”之间建立一通信通道。换句话说，处理单元13”通过通信模块17”耦接显示单元12”，以指示显示单元12”在该全荧幕模式与该子母画面模式之间切换，遥控器16”通过通信模块17”耦接于处理单元13”且可与处理单元13”通信，以在遥控器16”被操作时产生该启动命令，并在产生该启动命令时通过通信模块17”将该启动命令传送至处理单元13”。也就是说，在此实施例中，该使用者可根据其需求利用遥控器16”传送该启动命令，将显示单元12”由该全荧幕模式切换至该子母画面模式。再者，可理解地，该使用者可再次操作遥控器16”将显示单元12”由该子母画面模式切换回该全荧幕模式。
请参阅图12至图14，图12为本发明实施例四的头戴式显示系统1”’的示意图，图13为本发明实施例四的头戴式显示系统1”’的功能方块图，图14为本发明实施例四的头戴式显示系统1”’在该全荧幕模式与该子母画面模式之间切换的方法流程图。如图12至图14所示，与前述实施例的头戴式显示系统1、1’、1”不同的是，本实施例的头戴式显示系统1”’包含有一可穿戴本体11”’、一显示单元12”’、一处理单元13”’以及一追踪单元14”’，显示单元12”’以及处理单元13”’设置于可穿戴本体11”’，处理单元13”’耦接于显示单元12”’，追踪单元14”’包含有一惯性测量单元141”’、一摄影机模块142”’、一手部传感器143”’以及一下半身传感器144”’。惯性测量单元141”’安装于可穿戴本体11”’内且耦接处理单元13”’；摄影机模块142”’设置于可穿戴本体11”’且耦接处理单元13”’；手部传感器143”’穿戴在该使用者的该手部且耦接处理单元13”’；下半身传感器144”’穿戴于该使用者的该下半身且耦接处理单元13”’。追踪单元14”’可用以追踪头戴式显示系统1”’的一位置、头戴式显示系统1”’的一方向、头戴式显示系统1”’的一姿势、该使用者的该手势、该手部动作以及该下半身动作的至少一者。在此实施例中，该预设条件可为一预设手势、一预设手部动作、一预设下半身动作或其组合。举例来说，该启动命令可在追踪单元14”’所追踪的该使用者的该手势、该手部动作或该下半身动作符合该预设手势、该预设手部动作或该预设下半身动作时被产生。而本发明并不局限于此，在另一实施例中，该追踪单元可包含有该惯性测量单元、该摄影机模块、该手部传感器以及该下半身传感器的至少一者。
请参阅图15至图17，图15为本发明实施例五的头戴式显示系统1””的示意图，图16为本发明实施例五的头戴式显示系统1””的功能方块图，图17为本发明实施例五的头戴式显示系统1””在该全荧幕模式与该子母画面模式之间切换的方法流程图。如图15至图17所示，与前述实施例的头戴式显示系统1、1’、1”、1”’不同的是，本实施例的头戴式显示系统1””包含有一可穿戴本体11””、一显示单元12””、一处理单元13””以及一追踪单元14””，显示单元12””以及处理单元13””设置于可穿戴本体11””，处理单元13””耦接于显示单元12””，追踪单元14””包含有一惯性测量单元141””、一摄影机模块142””、一手部传感器143””以及一下半身传感器144””。惯性测量单元141””耦接于处理单元13””；摄影机模块142””设置于可穿戴本体11””且耦接处理单元13””；手部传感器143””穿戴于该使用者的该手部且耦接处理单元13””；下半身传感器144””穿戴于该使用者的该下半身且耦接于处理单元13””。追踪单元14”’可用以追踪该使用者的该手势、该使用者的该手部动作、该使用者的该下半身动作、头戴式显示系统1””的一位置、头戴式显示系统1””的一方向以及头戴式显示系统1””的一姿势的至少一者。当追踪单元14””的一追踪结果符合复数个预设条件时，产生该启动命令。举例来说，该复数个预设条件可包含有一第一预设条件与一第二预设条件，其中该第一预设条件可为一预设距离值、头戴式显示系统1””的一预设位置、头戴式显示系统1””的一预设方向或头戴式显示系统1””的一预设姿势，该第二预设条件可为一预设手势、一预设手部动作或一预设下半身动作。
在此实施例中，惯性测量单元141””可安装于可穿戴本体11””上，使得追踪单元14””追踪可穿戴本体11””的一位置、一方向或一姿势，进而决定头戴式显示系统1””的该位置、该方向或该姿势。
此外，决定是否产生该启动命令的操作可为多段式操作，例如两阶段操作。举例来说，当追踪单元14””决定可穿戴本体11””与一现实物件之间的一距离值小于一预设距离值时，追踪单元14””还决定该使用者的该手势是否符合该预设手势，而当追踪单元14””决定该使用者的该手势符合该预设手势时，才相对应地产生该启动命令。而本发明并不局限于此，举例来说，在另一实施例中，决定是否产生该启动命令的操作也可为一段式操作，即该启动命令可在该追踪单元的该追踪结果同时分别符合该第一预设条件与该第二预设条件时被产生。
此外，本发明上述实施例可以软件、固件、硬件或其组合的方式来实施，举例来说，本发明也可提供存储有一程序的一计算机可读取记录媒体，以通过一处理器执行对应的程序来指示上述头戴式显示系统实现上述实施例中的步骤。上述处理器可为一中央处理单元(CPU)、一应用处理器(application processor)或一微处理器(microprocessor)等，或通过专用集成电路(ASIC)实现，而上述计算机可读取记录媒体可为一只读存储器(read-onlymemory,ROM)、一随机存取存储器(random-access memory,RAM)、一光盘(CDROM)、一磁带(magnetic tape)、一软盘(floppy disk)、一硬盘(hard disk)或一光学存储装置(opticalstorage device)等，然本发明并不局限于此。
相较于现有技术，本发明利用显示单元以子母画面模式同时在同一画面(帧)显示虚拟场景以及现实环境的地图。因此本发明允许该使用者在同一画面(帧)同时观看该虚拟场景与该现实环境的该地图，从而帮助该使用者了解其在现实环境中的当前状态或当前位置，故本发明可有效地避免该使用者在体验虚拟环境时意外碰撞受伤，进而确保该使用者的人身安全。
以上所述仅为本发明的数个实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (15)

1.一种头戴式显示系统，其特征在于，包含有：
一可穿戴本体，用于供一使用者穿戴；
一追踪单元，用于追踪该头戴式显示系统的一位置、该头戴式显示系统的一方向以及该头戴式显示系统的一姿势的其中至少一者，以产生一追踪结果；
一显示单元，安装于该可穿戴本体上且用于以一子母画面模式显示一虚拟场景以及基于该追踪单元的该追踪结果所建立的一现实环境的一地图；以及
一处理单元，耦接于该追踪单元以及该显示单元且用来控制该显示单元以该子母画面模式显示该虚拟场景以及该现实环境的该地图。
2.如权利要求1所述的头戴式显示系统，其特征在于，该显示单元还用于以一全荧幕模式显示该虚拟场景，且该处理单元还用于指示该显示单元在该子母画面模式与该全荧幕模式之间切换，以回应于一启动命令。
3.如权利要求2所述的头戴式显示系统，其特征在于，还包含有耦接于该处理单元的一开关单元，该开关单元用以在该开关单元的一状态改变时产生该启动命令。
4.如权利要求2所述的头戴式显示系统，其特征在于，还包含有与该处理单元互相通信的一遥控器，该遥控器用以在该遥控器被操作时产生该启动命令。
5.如权利要求2所述的头戴式显示系统，其特征在于，该追踪单元还用于追踪该使用者的一手势、该使用者的一手部动作以及该使用者的一下半身动作的其中至少一者，该启动命令在该追踪单元的该追踪结果符合一预设条件时被产生。
6.如权利要求2所述的头戴式显示系统，其特征在于，该追踪单元还用于追踪该使用者的一手势、该使用者的一手部动作以及该使用者的一下半身动作的其中至少一者，且该子母画面模式显示的该现实环境的该地图的一视窗的一尺寸、该视窗的一位置、该地图的一缩放比例、该地图的一方向以及该地图的一视野范围的其中至少一者在该追踪单元的该追踪结果符合一预设条件时被调整。
7.如权利要求1或4中任一项所述的头戴式显示系统，其特征在于，还包含有：一远端计算设备，其与该可穿戴本体分离设置，且该处理单元至少部分设置于该远端计算设备上；以及
一通信模块，其设置于该可穿戴本体上且用于提供一通信通道至该远端计算设备。
8.如权利要求7所述的头戴式显示系统，其特征在于，该追踪单元至少部分设置于该远端计算设备上。
9.一种利用一头戴式显示系统以一子母画面模式显示一虚拟场景以及一现实环境的一地图方法，其特征在于，包含有：
利用该头戴式显示系统的一追踪单元追踪该头戴式显示系统的一位置、该头戴式显示系统的一方向以及该头戴式显示系统的一姿势的其中至少一者，以产生一追踪结果；以及
利用该头戴式显示系统的一显示单元以该子母画面模式显示该虚拟场景以及基于该追踪单元的该追踪结果所建立的该现实环境的该地图。
10.如权利要求9所述的方法，其特征在于，还包含有：
利用该显示单元以一全荧幕模式显示该虚拟场景；以及
利用该头戴式显示系统的一处理单元指示该显示单元在该全荧幕模式与该子母画面模式之间切换，以回应于一启动命令。
11.如权利要求10所述的方法，其特征在于，还包含有：
利用该头戴式显示系统的一开关单元在该开关单元的一状态改变时产生该启动命令。
12.如权利要求10所述的方法，其特征在于，还包含有：
利用该头戴式显示系统的一遥控器在该遥控器被操作时产生该启动命令。
13.如权利要求10所述的方法，其特征在于，还包含有：
利用该追踪单元追踪该使用者的一手势、该使用者的一手部动作以及该使用者的一下半身动作的其中至少一者；以及
当该追踪单元的该追踪结果符合一预设条件时，产生该启动命令。
14.如权利要求9所述的方法，其特征在于，还包含有：
利用该追踪单元追踪该使用者的一手势、该使用者的一手部动作以及该使用者的一下半身动作的其中至少一者；以及
当该追踪单元的该追踪结果符合一预设条件时，调整以该子母画面模式显示的该现实环境的该地图的一视窗的一尺寸、该视窗的一位置、该地图的一缩放比例、该地图的一方向以及该地图的一视野范围的其中至少一者。
15.一种存储一程序的计算机可读取记录媒体，其特征在于，当一计算机载入该程序并执行后，可完成如权利要求9至14中任一项所述的方法。
CN201910443783.3A 2019-04-15 2019-05-27 头戴式显示系统、相关方法及相关计算机可读取记录媒体 Pending CN111831106A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/384,881 US20200327867A1 (en) 2019-04-15 2019-04-15 Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US16/384,881 2019-04-15

Publications (1)

Publication Number Publication Date
CN111831106A true CN111831106A (zh) 2020-10-27

Family

ID=72748102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443783.3A Pending CN111831106A (zh) 2019-04-15 2019-05-27 头戴式显示系统、相关方法及相关计算机可读取记录媒体

Country Status (4)

Country Link
US (1) US20200327867A1 (zh)
JP (1) JP2020177608A (zh)
CN (1) CN111831106A (zh)
TW (1) TWI707575B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11874969B2 (en) 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114666647B (zh) * 2022-03-25 2023-07-07 深圳市康冠商用科技有限公司 不同信源之间实现画中画的方法、装置及相关组件

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
US20150049018A1 (en) * 2011-07-14 2015-02-19 Google Inc. Virtual Window in Head-Mounted Display
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
JP2016189120A (ja) * 2015-03-30 2016-11-04 ソニー株式会社 情報処理装置、情報処理システム、及び頭部装着ディスプレイ
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US10691220B2 (en) * 2017-02-14 2020-06-23 Samsung Electronics Co., Ltd. Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049018A1 (en) * 2011-07-14 2015-02-19 Google Inc. Virtual Window in Head-Mounted Display
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN107667331A (zh) * 2015-05-28 2018-02-06 微软技术许可有限责任公司 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11874969B2 (en) 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium

Also Published As

Publication number Publication date
TWI707575B (zh) 2020-10-11
JP2020177608A (ja) 2020-10-29
US20200327867A1 (en) 2020-10-15
TW202041000A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
CN106796351B (zh) 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
US20130038634A1 (en) Information display device
CN107707817B (zh) 一种视频拍摄方法及移动终端
CN110045935B (zh) 处理装置、显示系统以及记录介质
US20150109437A1 (en) Method for controlling surveillance camera and system thereof
US9870118B2 (en) Non-transitory storage medium encoded with computer readable information processing program, information processing apparatus, method of controlling information processing apparatus, and information processing system, capable of controlling virtual camera while grasping overall condition of virtual camera arranged in virtual space
KR102449439B1 (ko) Hmd를 이용한 무인기 조종 장치
EP3528024B1 (en) Information processing device, information processing method, and program
KR20190067523A (ko) 글래스 타입 단말기 및 그것의 동작방법
US20220291744A1 (en) Display processing device, display processing method, and recording medium
US11029753B2 (en) Human computer interaction system and human computer interaction method
CN111831106A (zh) 头戴式显示系统、相关方法及相关计算机可读取记录媒体
TWI690730B (zh) 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
US20230076068A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
TWI634453B (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法，及其相關電腦程式產品
WO2018186004A1 (ja) 電子機器及びその制御方法
CN114546188B (zh) 基于互动界面的互动方法、装置、设备及可读存储介质
EP3734418A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734417A1 (en) Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734415A1 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
TWI621034B (zh) 虛擬實境環境中實境資訊之顯示方法及系統，及其相關電腦程式產品
CN117130528A (zh) 画面显示方法、装置、电子设备及存储介质
KR101653591B1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작 방법
CN117258296A (zh) 虚拟对象的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201027

WD01 Invention patent application deemed withdrawn after publication