CN107015638A - 用于向头戴式显示器用户报警的方法和装置 - Google Patents

用于向头戴式显示器用户报警的方法和装置 Download PDF

Info

Publication number
CN107015638A
CN107015638A CN201610971094.6A CN201610971094A CN107015638A CN 107015638 A CN107015638 A CN 107015638A CN 201610971094 A CN201610971094 A CN 201610971094A CN 107015638 A CN107015638 A CN 107015638A
Authority
CN
China
Prior art keywords
hmd
user
controller
alarm
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610971094.6A
Other languages
English (en)
Other versions
CN107015638B (zh
Inventor
C.罗奇福德
P.哈斯科伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107015638A publication Critical patent/CN107015638A/zh
Application granted granted Critical
Publication of CN107015638B publication Critical patent/CN107015638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

提供一种用于向头戴式显示器(HMD)用户报警的方法和装置。所述方法包括：检测所述HMD附近的对象的至少一个特性，确定所述至少一个特性是否匹配在所述HMD中设置的预定标准，并且响应于所述确定而在所述HMD上显示警报。根据本公开，所述HMD可以预期对象可能与所述HMD的用户冲突的可能性，并且可以通过预先在其显示器上显示警报而通知所述可能性给用户。

Description

用于向头戴式显示器用户报警的方法和装置
技术领域
本申请一般涉及显示设备，并且更具体地涉及一种头戴式显示器。
背景技术
头戴式显示器(HMD)在用户的眼睛前面放置一个或多个显示屏，典型地呈现真实或计算机生成的3D场景的伪立体视图。除了其中HMD以用户可以通过其看到“真实世界”的眼镜或护目镜的形式外，HMD还典型地妨碍用户知道他/她附近的对象。
发明内容
在第一实施例中，提供一种用于向头戴式显示器(HMD)的用户显示警报的方法。所述HMD包括控制器、内部显示器和外部传感器。所述方法包括：使用所述外部传感器检测所述用户附近的对象的一个或多个特性，并且确定所检测到的特性是否匹配预定义标准。所述方法还包括：如果所述特性匹配所述标准，则在所述内部显示器上向所述用户显示警报。
在第二实施例中，HMD包括将HMD可拆卸地耦合到HMD的用户的身体上的头盔。所述HMD还包括外部传感器以及对所述用户可见的内部显示器。所述HMD进一步包括耦合到所述外部传感器和内部显示器的控制器。所述控制器使用所述外部传感器检测所述用户附近的对象的一个或多个特性，并且确定所检测到的特性是否匹配预定义标准。如果发现匹配，则所述控制器在所述内部显示器上向所述用户显示警报。
在进行下面的详细描述之前，阐述贯穿本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”以及其派生词意为包括而没有限制；术语“或”是包括的，意为和/或；短语“与……相关联”、“与其相关联”以及其派生词可意为包括、被包括在……内、与……互联、包含、被包含在……内、连接到……或与……连接、耦合到……或与……耦合、与……可通信、与……合作、交织、并列、接近……、被绑定到……或与……绑定、具有、具有……的属性等等；而术语“控制器”意为控制至少一个操作的任何设备、系统或其部件，这样的设备可以以硬件、固件或软件、或者它们中的至少两个的一些组合来实现。应当注意的是：与任何特定控制器相关联的功能可能是集中式或分布式的，无论的本地的还是远程的。贯穿本专利文档提供对某些词语和短语的定义，本领域普通技术人员应当理解：如果不是在大多数情况下，也是在许多情况下，这样的定义适用于这样定义的词语和短语的现有的以及未来的使用。
附图说明
为了更全面地理解本公开及其优点，现在参考下列结合附图进行的描述，在附图中，相同的附图标记表示相同的部件：
图1图示根据本公开的头戴式显示器；
图2图示根据本公开的用于头戴式显示器的使用的系统；
图3图示根据本公开的用于头戴式显示器的控制器；
图4图示根据本公开的用于头戴式显示器的主机系统；
图5图示根据本公开的在头戴式显示器用户附近的触发区域和对象；和
图6图示根据本公开的用于向头戴式显示器用户显示对真实世界的对象的警报的流程图。
具体实施方式
本公开向头戴式显示器(HMD)添加外部传感器系统以向HMD的用户提供对在用户周围的可与用户物理交互的对象的警报。当用户沉浸在虚拟现实(VR)体验中时，本公开的HMD减少或防止真实世界对象对用户的意外。
下面讨论的图1至6以及用于在本专利文档中描述本公开原理的各种实施例仅仅通过图解说明的方式，而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解：本公开的原理可在用于向HMD用户警报现实世界对象的任何适当布置的系统和方法中实现。
图1图解了根据本公开的头戴式显示器100。HMD 100包括使得用户104能够穿戴HMD 100的头盔102。当不使用时，可从用户104的头部移除HMD 100。头盔102包括：带106b，其缠绕在用户104的头部的侧面和背面以将HMD 100的显示元件保持在用户104的脸的前面。头盔102还包括：皮带106a，其从HMD 100的前面延伸到背面以在垂直位置上支撑HMD100以将HMD 100的至少一个显示器保持在用户104的眼睛的前面。
在其它实施例中，头盔102可以是头罩或适合于将HMD 100可拆卸地耦合到用户104的头部并且将HMD 100的显示元件定位在用户104的面部的至少一部分的前面的其它结构。
头盔102还可包括用于将HMD 100的其它元件安装(或机械耦合)到头盔102的元件106c。内部显示器108被安装到头盔102的用户104能够观看显示器108的位置上。内部传感器112可被安装到头盔102的允许传感器112获得关于用户104的信息的位置上。
内部传感器112可包括获得涉及HMD 100当前是否正由用户穿戴的信息的视觉或接近传感器。内部传感器112可包括加速度计、GPS接收器或其它运动敏感设备以获得涉及用户的移动的信息。
外部传感器114被安装到头盔102的允许外部传感器114获得关于用户的周围的信息的位置上。虽然外部传感器114在图1中被示为安装到HMD100的前侧，但将理解的是：在其它实施例中，传感器114可被安装在头盔102上的任何合适位置上。在又一个实施例中，包括多个外部传感器114的传感器系统可被安装在头盔102周围的相应的多个位置上。
外部指示器110可被安装到头盔102。外部指示器110可以是向观察HMD 100的用户104的人提供视觉指示的LED或其它发光器件。在其它实施例中，外部指示器110可以是指示器系统，其中该指示器系统包括安装在头盔102周围的相应的多个位置上的多个外部指示器110。
内部传感器112和/或外部传感器114可包括任何合适的成像传感器技术中的一种或多种。这样的合适的技术的示例包括但不限于：红外(IR)相机、红绿蓝(RGB)或其它可见光相机、IR或可见光深度或立体相机。
在一些实施例中，内部显示器108是智能电话机或其它独立的设备。在这样的实施例中，内部传感器112、外部传感器114和外部指示器110中的一个或多个可由智能电话机提供。内部传感器112可以是智能电话机的用户面对的相机，外部传感器114可以是智能手机的朝向外的相机，而外部指示器110可以是智能手机的闪光灯或其它照明器。
图2图示根据本公开的用于HMD 202的使用的系统200。HMD 202包括将参照图3更详细地描述的控制器218。所述控制器218通信地耦合到HMD元件，内部显示器208、可选的内部传感器212、外部传感器214和外部指示器210。虽然HMD元件在图2中被示为通过分离的链路耦合到控制器218，但将理解的是：在其它实施例中，一些或所有的HMD元件可通过总线系统或其它合适的通信链路耦合到控制器218。在内部显示器208是智能手机或其它独立的无线设备的情况下，经由诸如以太网或USB之类的有线接口或者经由诸如IR、蓝牙、WiFi或其它合适的技术之类的无线接口，控制器218可与这样的设备通信。
在一些实施例中，控制器218具有足够的处理能力以执行用于为HMD202的用户生成VR显示的可视化程序并提供根据本公开的系统的所有功能，如在此所述。在其它实施例中，控制器218不具有提供所有这样的功能的足够的处理能力。在这样的其它实施例中，控制器218经由无线通信链路220和/或有线通信链路222中的一个或两者而通信地耦合到主机系统204和外部设备206中的至少一个。主机系统204执行可视化程序和根据该公开的系统的功能。系统功能可由可视化程序提供，或者可由驱动程序或其它独立的应用程序提供。
在其它实施例中，控制器218可提供根据本公开的系统的一些功能，而主机系统204提供其它功能。例如，主机系统204可执行可视化程序，而控制器218提供系统的其它功能。在又一个实施例中，系统的一些功能可由通信地耦合到控制器218和主机系统204中的一个或两者的第三处理平台(未示出)提供。例如，主机系统204可执行可视化程序，而第三平台提供系统的其它功能。
图3图解了根据本公开的用于头戴式显示器的控制器218。控制器218包括只读存储器(ROM)304、随机存取存储器(RAM)306、中央处理单元(CPU)302、设备输入/输出(I/O)设备310和通信接口312。在一个实施例中，ROM 304可存储引导例程和其它静态数据，而RAM306可存储操作系统(未示出)和应用程序308。在有利的实施例中，ROM 304和RAM 306可包括与用于存储动态数据的常规RAM存储器结合使用的电可擦除存储器，诸如闪速存储器。本领域技术人员将认识到：控制器218可包括除了图3中所示的那些元件外的许多其它元件。
CPU 302负责控制器218的整体操作。在示范性实施例中，CPU 302执行应用程序308。根据本公开的原理，应用程序308提供如在此所述的根据本公开的系统的一些或所有功能，并且可包括可视化程序。
CPU 302经由设备I/O设备310而与HMD元件内部显示器208、外部指示器210、可选的内部传感器212以及外部传感器214通信。CPU 302经由通信接口312而与主机系统204和外部设备206中的一个或两者通信。
图4图示根据本公开的用于头戴式显示器的主机系统204。主机系统204包括只读存储器(ROM)404、随机存取存储器(RAM)406、中央处理单元(CPU)402和通信接口412。在一个实施例中，ROM 404可存储引导例程和其它静态数据，而RAM 406可存储操作系统(未示出)和应用程序408。本领域技术人员将认识到：主机系统204可包括除了图4中所示的那些元件外的许多其它元件。
CPU 402可负责主机系统204的整体操作。在示范性实施例中，CPU 402执行应用程序408。根据本公开的原理，应用程序408提供如在此所述的根据本公开的系统的一些或所有功能，并且可包括可视化程序。CPU 402经由通信接口412而与HMD 202和外部设备206中的一个或两者通信。
图5图解了根据本公开的在头戴式显示器用户附近的触发区域和对象。HMD 100确定从用户104的位置延伸出的触发区域502。触发区域502可在所有方向(上、下、左、右、前和后)上从用户104延伸相同的距离，或者所述区域在那些方向中的一个或多个上可具有不同的范围。HMD 100处理来自外部传感器114的信息以检测用户104附近的一个或多个移动对象504和506。HMD 100计算移动对象504和506的速度(速度和方向)，并且确定移动对象504和506是否将进入用户104周围的触发区域502。如果移动对象504将进入触发区域502，则HMD 100向用户通知这个紧急事件。另一方面，如果移动对象506将不进入触发区域502，则HMD 100不对移动对象506做出反应。即，在HMD 100检测移动对象的速度特性，确定特性是否匹配进入触发区域的预定义标准，且如果确定匹配，则向用户显示警报。
在其它实施例中，HMD 100可使用内部传感器112来计算用户104的速度并确定用户104附近的对象504和506(静态对象，移动对象，或两者)是否将进入触发区域502。如果HMD 100确定用户的运动将使得对象进入触发区域(例如，用户将要走入表格中)，HMD向用户显示警报。在又一个实施例中，HMD 100可从检测到的对象的速度减去计算的用户的速度以确定该对象将不进入触发区域。
在其它实施例中，HMD 100可从正在生成用户的VR显示的主机系统204接收信息。该信息可给用户将要基于他/她的活动所采取的期望路径提供正被使用的VR应用。该期望路径信息然后可以与用户附近的对象的位置和/或速度比较以预测用户是否将移动并使得对象中的一个或多个进入触发区域。在一些这样的实施例中，HMD 100可向主机系统204发送关于用户附近的对象的信息，使得VR应用能够改变用户的VR显示的一些元素，从而改变用户的期望路径并降低用户与一个或多个对象冲突的风险。
在一些实施例中，HMD 100可确定在用户附近检测到的对象504或506是另一个人。如上所述，HMD 100可计算人的速度，确定该人是否将进入用户的触发区域502，并且，如果是，则向用户显示警报。
在其它实施例中，HMD 100可检测人的一些其它特性。HMD 100可使用面部识别或其它身份识别处理来确定人的身份。如果人的身份匹配通过用户选择的身份(例如，用户的主管、配偶、子女等)，则HMD 100向用户104显示警报。HMD 100可使用手势识别处理来确定人正在执行预定义的手势(例如，挥手、举起棍子、用枪指着等)，并且作为响应，向用户显示警报。HMD 100可使用注视跟踪处理(gaze-tracking processing)来确定人正在看着用户104，并且作为响应，向用户104显示警报。在一些这样的实施例中，HMD 100可使用HMD 100的外部传感器114和/或其它传感器来另外捕获做出手势或看着用户104的人的视频、音频和静止图像中的一个或多个。
在一些实施例中，HMD 100提供用于提供根据本公开的功能的多个操作模式。在每个模式中，用户104可以选择性地使能HMD 100检测的对象504或506的特性和/或与特性相匹配的预定义标准。例如，在“家庭”模式中，HMD 100可被设置以识别配偶、子女或其他家庭成员。在“家庭”模式中，触发区域502的范围可能更小，或者显示响应于人看着用户而警报可被禁用。与此相反，在“公共”模式中，可使得触发区域502的范围更大，并且手势识别可触发对更大数量的手势的警报。在“办公室”模式中，特性和预定义标准的第三组合可被使能。
在一些实施例中，HMD 100可由用户放置在这样的操作模式中。在其它实施例中，例如基于可视地识别家庭或工作环境、或者将HMD 100与其通信的WiFi(无线保真)接入点识别为用户的家庭或办公室WiFi系统或公共接入点，HMD 100可自动选择操作模式。
在任何实施例中，警报可以以一个或多个形式。在一些实施例中，警报是直通窗口(passthrough window)，其给用户显示由外部传感器114或其它可见图像传感器捕获的视图。在一些实施例中，直通窗口可代替用户的当前VR显示，暂停在生成VR显示的应用中的用户的活动。HMD 100可通过向生成VR显示的主机系统发送消息而引起这样的活动暂停。
在其它实施例中，直通窗口可与用户的VR显示一起并排显示，或者作为用户的VR显示内的图片内图片插图(picture-in-picture inset)。在这样的实施例中，用户可继续VR应用中的活动。
在警报是直通窗口的情况下，当直通窗口被显示给用户104时，HMD100还可激活外部指示器110。以这种方式，可通知用户附近的人：用户正在直通窗口中观看他/她的周围。
在又一个实施例中，警报可以是在用户的当前VR显示内显示的图形符号。这样的图形符号的示例包括但不限于：来自街道十字路口信号的红色圆圈或“行走的人”符号。
在再一个实施例中，警报的位置可向用户传送所检测到的对象的方向。着色的边界可被显示在用户的VR显示的左侧以指示用户的左边的对象，或者边界可被显示在显示的顶部以指示用户后面的对象。
图6图示根据本公开的用于向头戴式显示器用户显示对真实世界对象的警报的流程图。
在步骤605中，HMD 100可以通过使用外部传感器114检测HMD附近的对象的至少一个特性。这里，所述对象可以用人来代替，并且所述至少一个特性包括所述对象或所述人的速度以及所述人的运动。
在步骤610中，HMD 100可以确定所述至少一个特性是否匹配在HMD100中设置的预定标准。HMD 100可以基于步骤610的确定而预计HMD 100的用户与所述对象或另一个人冲突的可能性。例如，HMD 100可以确定所述对象是否进入以所述用户的位置为中心的触发区域的预定范围。再例如，HMD 100可以通过运动识别处理确定人是否执行预定运动。
在步骤615中，如果所述至少一个特性匹配在HMD 100中设置的所述预定标准，则HMD 100可以在其显示器上显示警报。例如，如果HMD确定所述对象进入所述触发区域的所述预定范围，则HMD 100可以显示警报(例如，窗口或图形符号)给耦合到HMD 100的内部显示器208以便HMD 100的用户识别进入触发区域的对象。
HMD 100的整体操作包括：检测HMD附近的对象的至少一个特性，确定至少一个特性是否匹配在HMD中设置的预定标准，响应于可以由HMD100自动执行的确定而无需来自HMD100的用户的任何输入，在HMD上显示警报。
虽然已经用示范性实施例描述了本公开，但是可向本领域技术人员建议各种变化和修改。其意图是：本公开包括落入所附权利要求的范围内的这样的变化和修改。

Claims (14)

1.一种用于操作头戴式显示器HMD的方法，所述方法包括：
检测所述HMD附近的对象的至少一个特性；
确定所述至少一个特性是否匹配在所述HMD中设置的预定标准；并且
响应于所述确定而在所述HMD上显示警报。
2.如权利要求1所述的方法，其中，确定所述至少一个特性是否匹配预定标准包括：计算所述对象是否将进入具有以所述用户的位置为中心的预定义范围的区域。
3.如权利要求2所述的方法，其中，检测所述HMD附近的对象的至少一个特性包括：检测所述对象和所述HMD中的至少一个的速度。
4.如权利要求2所述的方法，其中，所述预定范围基于通过所述HMD的移动确定的所述HMD的期望路径来设置。
5.如权利要求2所述的方法，其中，所述预定范围基于从所述HMD的用户接收的输入和所述HMD正在与其通信的WiFi热点的身份中的至少一个来确定。
6.如权利要求1所述的方法，其中，检测所述对象的所述至少一个特性包括：
检测人的至少一个特性，其中，所述对象被检测为所述人。
7.如权利要求1所述的方法，其中，响应于所述确定而在所述HMD上显示所述警报包括：激活耦合到所述HMD的外部指示器。
8.一种头戴式显示器(HMD)，包括：
内部显示器；
外部传感器；和
控制器，被配置成：
检测所述HMD附近的对象的至少一个特性；
确定所述至少一个特性是否匹配在所述HMD中设置的预定标准；并且
响应于所述确定而在所述HMD上显示警报。
9.如权利要求8所述的HMD，其中，所述控制器被进一步配置成：计算所述对象是否将进入具有以所述用户的位置为中心的预定义范围的区域。
10.如权利要求9所述的HMD，其中，所述控制器被进一步配置成：检测所述对象和所述HMD中的至少一个的速度。
11.如权利要求9所述的HMD，其中，所述预定范围基于通过所述HMD的移动确定的所述HMD的期望路径来设置。
12.如权利要求9所述的HMD，其中，所述预定范围基于从所述HMD的用户接收的输入和所述HMD正在与其通信的WiFi热点的身份中的至少一个来确定。
13.如权利要求8所述的HMD，其中，所述控制器被进一步配置成：检测人的至少一个特性，其中，所述对象被检测为所述人。
14.如权利要求8所述的HMD，其中，所述控制器被进一步配置成：激活耦合到所述HMD的外部指示器。
CN201610971094.6A 2015-10-29 2016-10-28 用于向头戴式显示器用户报警的方法和装置 Active CN107015638B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/927,309 US10474411B2 (en) 2015-10-29 2015-10-29 System and method for alerting VR headset user to real-world objects
US14/927,309 2015-10-29
KR10-2016-0032288 2016-03-17
KR1020160032288A KR102627636B1 (ko) 2015-10-29 2016-03-17 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
CN107015638A true CN107015638A (zh) 2017-08-04
CN107015638B CN107015638B (zh) 2020-06-12

Family

ID=58638404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610971094.6A Active CN107015638B (zh) 2015-10-29 2016-10-28 用于向头戴式显示器用户报警的方法和装置

Country Status (3)

Country Link
US (1) US10474411B2 (zh)
KR (1) KR102627636B1 (zh)
CN (1) CN107015638B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109830083A (zh) * 2017-11-23 2019-05-31 富泰华工业（深圳）有限公司 Vr报警装置及报警方法
CN111957034A (zh) * 2020-10-19 2020-11-20 歌尔光学科技有限公司 一种手柄保护方法、系统及vr设备
US11507246B2 (en) 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740973B2 (en) * 2017-06-23 2020-08-11 Dell Products, L.P. Ultrasonic collision management in virtual, augmented, and mixed reality (xR) applications
US10627635B2 (en) 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
CN111108746A (zh) * 2017-09-22 2020-05-05 惠普发展公司，有限责任合伙企业 对象的检测
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
WO2019245543A1 (en) 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US11430215B2 (en) 2018-06-20 2022-08-30 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
CN110634189B (zh) 2018-06-25 2023-11-07 苹果公司 用于在沉浸式混合现实体验期间用户警报的系统和方法
CN108922115B (zh) * 2018-06-26 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
US10891922B1 (en) 2018-07-17 2021-01-12 Apple Inc. Attention diversion control
KR20220018107A (ko) 2020-08-05 2022-02-15 삼성디스플레이 주식회사 표시 장치
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
US20230081452A1 (en) * 2021-09-10 2023-03-16 Qualcomm Incorporated Proximity motion sensing for virtual reality systems
US11776166B2 (en) * 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194554A1 (en) * 2011-01-28 2012-08-02 Akihiko Kaino Information processing device, alarm method, and program
CN103383626A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 移动对象的方法和装置
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
JP5388392B2 (ja) 2011-07-01 2014-01-15 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャベースのゲームのための安全スキーム
EP2763535B1 (en) 2011-10-03 2017-06-07 Merck Sharp & Dohme Corp. Azaindoles as janus kinase inhibitors
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9113344B1 (en) * 2012-03-21 2015-08-18 Square, Inc. Detecting location using WiFi hotspots
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US20140294257A1 (en) * 2013-03-28 2014-10-02 Kevin Alan Tussy Methods and Systems for Obtaining Information Based on Facial Identification
WO2014156389A1 (ja) * 2013-03-29 2014-10-02 ソニー株式会社 情報処理装置、提示状態制御方法及びプログラム
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194554A1 (en) * 2011-01-28 2012-08-02 Akihiko Kaino Information processing device, alarm method, and program
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
CN103383626A (zh) * 2012-05-02 2013-11-06 三星电子株式会社 移动对象的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109830083A (zh) * 2017-11-23 2019-05-31 富泰华工业（深圳）有限公司 Vr报警装置及报警方法
US11507246B2 (en) 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
CN111957034A (zh) * 2020-10-19 2020-11-20 歌尔光学科技有限公司 一种手柄保护方法、系统及vr设备

Also Published As

Publication number Publication date
US10474411B2 (en) 2019-11-12
KR102627636B1 (ko) 2024-01-22
KR20170051136A (ko) 2017-05-11
US20170123747A1 (en) 2017-05-04
CN107015638B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN107015638A (zh) 用于向头戴式显示器用户报警的方法和装置
US11347304B2 (en) Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
CN110167823B (zh) 用于驾驶员监测的系统和方法
US10257499B2 (en) Motion sensor
JP6898165B2 (ja) 人流分析方法、人流分析装置及び人流分析システム
JP2023509455A (ja) 輸送ハブ情報システム
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
KR102284744B1 (ko) 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
CN108369482A (zh) 信息处理设备、信息处理方法和程序
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
WO2016199248A1 (ja) 情報提示システム及び情報提示方法
US11614621B2 (en) User-wearable systems and methods to collect data and provide information
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11615549B2 (en) Image processing system and image processing method
US11729573B2 (en) Audio enhanced augmented reality
US11137600B2 (en) Display device, display control method, and display system
WO2015198284A1 (en) Reality description system and method
KR20150086840A (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
JP2017054229A (ja) 人物判別システム
JP6467039B2 (ja) 情報処理装置
KR102210340B1 (ko) 시력 취약계층을 위한 쇼핑 보조 서비스 제공 방법 및 이를 위한 시력 보조장치
KR20190071781A (ko) 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법
US11361511B2 (en) Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
KR20230132001A (ko) 적외선 기반의 스마트형 객체 정보 처리 장치 및 방법
EP3340013A1 (en) A gazed object identification module, a system for implementing gaze translucency, and a related method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant