CN111311754A - 用于扩展现实内容排除的方法、信息处理设备和产品 - Google Patents

用于扩展现实内容排除的方法、信息处理设备和产品 Download PDF

Info

Publication number
CN111311754A
CN111311754A CN201911000020.8A CN201911000020A CN111311754A CN 111311754 A CN111311754 A CN 111311754A CN 201911000020 A CN201911000020 A CN 201911000020A CN 111311754 A CN111311754 A CN 111311754A
Authority
CN
China
Prior art keywords
augmented reality
reality content
view
field
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911000020.8A
Other languages
English (en)
Inventor
钱明
王松
李健
张健邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN111311754A publication Critical patent/CN111311754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了用于扩展现实内容排除的方法、信息处理设备和产品。一种实施方式提供了用于扩展现实内容排除的方法，该方法包括：在信息处理设备处接收用于在视野中显示扩展现实内容的指示；使用处理器来识别视野中的不应显示扩展现实内容的至少一部分；以及响应于识别，排除在视野中的所述至少一部分上显示扩展现实内容。描述并且要求保护了其他方面。

Description

用于扩展现实内容排除的方法、信息处理设备和产品
技术领域
本发明涉及一种用于扩展现实内容排除的方法、信息处理设备和产品。
背景技术
技术的进步导致对能够显示诸如增强现实(“AR”)内容、混合现实(“MR”)内容、虚拟现实(“VR”)内容、其组合等各种不同类型的扩展现实(“XR”)内容的信息处理设备(“设备”)例如智能电话、平板电脑设备、头戴式可穿戴耳机等的开发。这些XR使能设备可以提供将虚拟元素叠加到物理真实世界环境的实时视图上。虚拟元素可以在空间上与物理世界配准，使得虚拟元素可以被感知为物理世界的沉浸式方面。
发明内容
总之，一方面提供了一种用于扩展现实内容排除的方法，该方法包括：在信息处理设备处接收用于在视野中显示扩展现实内容的指示；使用处理器来识别视野中的不应显示扩展现实内容的至少一部分；以及响应于识别，排除在视野中的所述至少一部分上显示扩展现实内容。
另一方面提供了一种用于扩展现实内容排除的信息处理设备，该信息处理设备包括：处理器；存储器装置，其存储能够由处理器执行以进行以下操作的指令：接收用于在视野中显示扩展现实内容的指示；识别视野中的不应显示扩展现实内容的至少一部分；响应于识别，排除在视野中的所述至少一部分上显示扩展现实内容。
又一方面提供了一种用于扩展现实内容排除的产品，包括：存储代码的存储设备，所述代码能够由处理器执行并且所述代码包括：接收用于在视野中显示扩展现实内容的指示的代码；识别视野中的不应显示扩展现实内容的至少一部分的代码；以及排除在视野中的所述至少一部分上显示扩展现实内容的代码。
前述是概要，并且因此可能包含细节的简化、概括和省略；因此，本领域的技术人员将理解的是，该概要仅仅是说明性的且不旨在以任何方式进行限制。
为了更好地理解实施方式连同这些实施方式的其他的以及进一步的特征和优点，参考结合附图进行的以下描述。将在所附权利要求书中指出本发明的范围。
附图说明
图1示出了信息处理设备电路系统的示例。
图2示出了信息处理设备电路系统的另一示例。
图3示出了从用户的视野中的选择对象排除内容的示例方法。
具体实施方式
将容易理解的是，除了所描述的示例实施方式以外，还可以以各种不同的配置来布置和设计本文附图中一般性地描述并示出的实施方式的部件。因此，以下对如附图中示出的示例实施方式的更详细的描述并不旨在限制所要求保护的实施方式的范围，而仅代表示例实施方式。
遍及本说明书对“一个实施方式”或“实施方式”(等)的引用是指结合该实施方式所描述的特定特征、结构或特性包括在至少一个实施方式中。因此，遍及本说明书在各个地方出现的短语“在一个实施方式中”或“在实施方式中”等不一定都指代同一实施方式。
此外，可以以任何合适的方式将所描述的特征、结构或特性组合在一个或更多个实施方式中。在以下描述中，提供了许多具体的细节以便给出对实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下或者利用其他方法、部件、材料等来实践各种实施方式。在其他情况下，未详细示出或描述公知的结构、材料或操作以避免混淆。
使用XR使能设备，用户可以以新的和独特的方式可视化XR内容并与XR内容交互。然而，在某些情况下，XR内容的显示可能对用户而言是烦人的和/或危险的。例如，佩戴XR使能耳机的用户可能发现XR内容被投射到用户的视野中。取决于XR内容的特性(例如，大小、形状、颜色、位置等)，XR内容可能通过遮蔽用户视野中的重要对象而干扰用户在现实世界中正常活动的能力。例如，可能在用户面部的前方投射大的应用窗口，该应用窗口可能会遮蔽一个或更多个对象(例如，一个或更多个镜子、个人、标志、其他电子设备等)。在这种情况下，用户可能在这些对象被遮蔽时无法获得由这些对象提供的任何视觉信息。
传统上，用户可以手动调整所显示的XR内容的一个或更多个特性。例如，用户可以重新定位应用或使应用最小化，调整XR对象的透明度等。然而，尽管用户对如何显示XR内容具有一定程度的控制，但是他们可能无法及时进行调整，尤其是在其上下文情境变化很快的情况下。例如，如果XR内容显示在车辆的某些镜(例如，后视镜、一个或两个侧视镜等)或仪表组(例如，速度计、燃料表、导航屏幕等)之上，操作车辆的用户可能发现很不方便。尽管可以重新定位XR内容，但是用户必须暂时将他们的注意力从道路转移才能这样做。此外，用户可能在车辆对象被遮蔽的时间期间错过重要信息(例如，速度信息、周围的交通信息等)。因此，提供用于重新定位XR内容的调整输入是耗时的、繁重的并且有潜在危险。
因此，实施方式提供了一种用于动态地防止将内容显示在用户的视野中的某些对象上的方法。在实施方式中，设备可以接收用于在用户的视野中显示内容的指示。内容可以是任何类型的XR内容(例如，增强现实内容、混合现实内容、虚拟现实内容等)、数字内容(例如，时间显示、设备电池显示等)、其组合等。实施方式可以确定视野中的不应显示内容的至少一部分。例如，可以通过分析用户视野中存在的对象并且确定是否有任何对象与被排除对象(即，其上不显示内容的已知对象)相关联来进行确定。响应于识别出视野中的被排除对象，实施方式可以排除将内容显示在视野的与排除对象相关联的部分上。例如，在非限制性示例用例中，在佩戴增强现实耳机时操作车辆的用户可能不希望任何增强现实内容出现在其后视镜之上。如果实施方式检测(例如，通过一个或更多个对象检测和/或对象识别技术等)到用户视野中的后视镜，则实施方式可以防止任何内容显示在对应于后视镜的耳机透镜部分上。这样的方法可以防止内容被显示在用户认为重要的对象或位置之上。
通过参照附图将最好地理解所示出的示例实施方式。以下描述仅旨在作为示例，并且仅示出了某些示例实施方式。
虽然可以在信息处理设备中利用各种其他电路、电路系统或部件，但是关于智能电话和/或平板电脑电路系统100，图1所示的示例包括例如在平板电脑或其他移动计算平台中建立的芯片上系统设计。软件和处理器被组合在单个芯片110中。如本领域所公知的，处理器包括内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等取决于不同的供应商，但是基本上所有外围设备(120)均可以附接至单个芯片110。电路系统100将处理器、存储器控制以及I/O控制器集线器全部组合到单个芯片110中。此外，该类型的系统100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。
存在对例如经由可再充电电池140供应的电力进行管理的电力管理芯片130如电池管理单元BMU，可再充电电池140可以通过与电源(未示出)的连接来进行再充电。在至少一种设计中，使用诸如110的单个芯片来提供BIOS式功能和DRAM存储器。
系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个以用于连接至诸如电信网络的各种网络和无线因特网设备例如接入点。此外，通常包括设备120，例如，诸如相机的图像传感器、诸如麦克风的音频捕获设备、诸如加速度计或陀螺仪的运动传感器、热传感器等。系统100通常包括用于数据输入和显示/呈现的一个或更多个触摸屏170。系统100通常还包括各种存储器装置，例如闪速存储器180和SDRAM 190。
图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于例如由北卡罗来纳州的莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他设备的计算系统。如根据本文的描述明显的是，实施方式可以包括其他特征或图2中示出的示例的特征中的仅一些特征。
图2的示例包括具有可以根据制造商(例如，INTEL、AMD、ARM等)而变化的架构的所谓的芯片组210(一组一起工作的集成电路或芯片、芯片组)。INTEL是英特尔公司在美国和其他国家的注册商标。AMD是高级微设备公司在美国和其他国家的注册商标。ARM是ARM控股公司在美国和其他国家的未注册商标。芯片组210的架构包括核与存储器控制组220以及I/O控制器集线器250，所述核与存储器控制组220以及I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244交换信息(例如，数据、信号、命令等)。在图2中，DMI 242是芯片到芯片接口(有时被称为“北桥”与“南桥”之间的链路)。核与存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如，单核或多核)以及存储器控制器集线器226；注意，组220的部件可以集成在取代传统“北桥”式架构的芯片中。如本领域所公知的，一个或更多个处理器222包括内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。
在图2中，存储器控制器集线器226与存储器240对接(例如，以提供对可以被称为“系统存储器”或“存储器”的RAM类型的支持)。存储器控制器集线器226还包括用于显示设备292(例如，CRT、平板、触摸屏等)的低压差分信令(LVDS)接口232。块238包括可以经由LVDS接口232来支持的一些技术(例如，串行数字视频、HDMI/DVI、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express(PCI-E)接口234。
在图2中，I/O集线器控制器250包括SATA接口251(例如，用于HDD、SDD等280)、PCI-E接口252(例如，用于无线连接282)、USB接口253(例如，用于设备284如数字化器、键盘、鼠标、相机、电话、麦克风、存储装置、其他连接的设备等)、网络接口254(例如，LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及诸如ROM 277、闪存278和NVRAM 279的各种类型的存储器276)、电力管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265和SPI闪存266，SPI闪存266可以包括BIOS 268和启动代码(Boot Code)290。I/O集线器控制器250可以包括千兆比特以太网支持。
系统在通电时可以被配置成执行SPI闪存266内存储的用于BIOS 268的启动代码290，并且此后在(例如存储在系统存储器240中的)一个或更多个操作系统和应用软件的控制下处理数据。操作系统可以被存储在各种位置中的任何位置中并且例如根据BIOS 268的指令而被访问。如本文所描述的，设备可以包括与图2的系统中示出的特征相比更少或更多的特征。
如例如在图1或图2中概述的信息处理设备电路系统可以用于诸如智能电话、平板电脑、具有扩展现实功能的耳机、通常的个人计算机设备和/或能够捕获世界视图图像数据并且在设备的一个或更多个显示屏上显示扩展现实内容的电子设备。例如，可以在平板电脑或智能电话实施方式中实现图1中所概述的电路系统，而可以在膝上型计算机实施方式中实现图2中所概述的电路系统。
现在参照图3，实施方式可以自动地排除在用户的视野中的某些真实世界对象之上显示内容。在301处，实施方式可以接收用于在用户的视野中显示内容的指示。在本申请的上下文中，内容可以是指几乎任何类型的扩展现实内容(例如，增强现实内容、混合现实内容、虚拟现实内容等)、数字内容(例如，时间显示、设备电池显示等)、其组合等。内容可以显示在具有XR功能的设备(例如，能够在设备的显示屏上显示XR内容的智能电话或平板电脑、能够在耳机的透明或半透明的护目镜或显示透镜上显示内容的可穿戴XR耳机等)的一个或更多个显示器上。在本申请的上下文中，用户的视野可以与用户能够通过他们的眼睛或通过与设备相关联的透明或半透明屏幕(例如，XR耳机的透镜或护目镜等)看到的可观察区域对应。附加地或替代地，用户的视野可以与由光学设备(例如，相机等)捕获并且在设备(例如，智能电话、平板电脑等)的显示屏上提供给用户的静态或动态图像对应。为了简单起见，本文的大部分讨论将涉及在AR耳机上显示AR内容。然而，应当理解，这样的概括不是限制性的，并且可以利用任何具有XR功能的设备来执行对潜在应用的处理。
在实施方式中，指示可以与用户提供的用于显示内容的命令相关联。例如，用户可以提供用于激活AR应用(例如，基于AR的文字处理应用、基于AR的互联网浏览应用等)的姿势命令。替代地，在另一实施方式中，指示可以与由与设备相关联的一个或更多个传感器(例如，相机、麦克风等)捕获的某些类型的上下文数据的检测和/或识别相关联。例如，响应于检测到或识别出道路标志(例如，限速标志、停车标志等)，实施方式可以自动向用户显示该标志的AR表示(例如，已经检测到标志的通知、该标志的图像等)。作为另一示例，响应于检测到或识别出用户环境中的环境光水平已降低到预定阈值之下，实施方式可自动地激活夜视滤波器。
在302处，实施方式可以识别用户的视野中不应显示内容的至少一部分。在实施方式中，可以在用户的视野中实际显示内容之前进行对该部分的识别。在实施方式中，可以通过首先识别视野中的对象并且随后确定对象是否与被排除对象相关联来进行识别。在本申请的上下文中，被排除对象可以是指不应在其上或上方显示内容的对象。被排除对象与被包括对象形成对比，被包括对象在本申请的上下文中可以指代可以在其上或上方显示内容的对象。在本申请的上下文中，在对象“上或上方”显示内容可以是指在设备的显示屏的与对象位置对应的部分上显示内容。在实施方式中，可以通过使用一种或更多种传统图像分析技术来完成对象的确定和/或识别。例如，实施方式可以首先捕获(例如，使用一个或更多个相机传感器等)与用户的视野对应的世界视图图像。此后，实施方式可以访问包括多个存储对象的数据库，并且此后确定在用户的视野中是否存在这些存储对象中的任何一个。
响应于在用户的视野中识别出一个或更多个对象，实施方式可以将所识别的对象与对象的存储列表(例如，存储在本地或远程可访问的数据库等中)进行比较，以确定所识别的对象是与被排除对象还是与被包括对象相关联。在实施方式中，存储列表中的每个对象可以包括与被排除对象或被包括对象相关联的指定。在实施方式中，指定可以由系统的制造商设立以及/或者可以由用户创建和调整。在实施方式中，响应于接收到某些类型的上下文数据，可以动态地改变/更新指定。例如，驾驶车辆的用户可能不希望将任何类型的内容显示在其任何镜(例如，后视镜、侧视镜等)之上。然而，当车辆停放或不在运动时，用户不会介意内容是否显示在其镜之上。因此，实施方式可以从各种源接收上下文数据以确定车辆是否在运动中(例如，来自一个或更多个设备的GPS移动数据等)，并且此后可以基于该接收到的数据来调整对镜对象的指定(例如，当车辆在运动中时将镜指定为被排除对象，并且当车辆不在运动中时将该指定改变为被包括对象，等)。
实施方式可以通过确定所识别的对象是否与列表中的对象匹配来推断所识别的对象是被排除对象还是被包括对象。在实施方式中，如果所识别的对象与列表中的对象共享预定水平的相似度，则可以识别为“匹配”。例如，在实施方式中，如果所识别的对象与列表中的对象共享预定水平的物理相似度(例如，大于50％的相似度，大于75％的相似度等)，则实施方式可以推断出两个对象是匹配的。替代地，作为另一示例，即使两个对象可能在物理上不相似，如果这两个对象是相同类型的，则可以将这两个对象识别为是匹配的。例如，尽管所识别的对象与存储列表中的对象可能在物理上不相似，但可以被识别为相同物，因为它们执行相同的功能，服务于相同的目的等。
响应于在302处识别出用户视野中的不应显示内容的部分，实施方式可以在304处排除将内容显示在该部分上或上方。例如，响应于识别出所识别的对象与存储列表中的被排除对象相关联，实施方式可以不将内容显示在所识别的对象上或上方。替代地，如果内容已经显示在被包括对象上或上方并且该对象的指定改变成被排除对象，则实施方式可以从用户的视野中动态地移除该内容，将该内容重新定位到不与被排除对象相关联的另一位置，增加内容的透明度使得对象对用户可见等。以相同的方式，如果内容正被显示在用户的视野中并且用户的视野改变成包括其上先前正在显示内容的被排除对象，则实施方式可以将内容从用户视野的与新识别的被排除对象相关联的部分中移除或重新定位。例如，如果用户在其耳机上具有激活的AR红外屏幕并且将头部转向为面向另一个人并与另一个人交谈，则实施方式可以移除在用户的视野的被另一个人占据的部分上方的AR红外屏幕。
与前述相反，响应于在302处识别出在用户的视野中没有不能显示内容的部分，实施方式可以在303处将内容显示在用户的视野的任何部分中。
因此，本文中描述的各种实施方式表示常规内容排除技术的技术进步。使用本文描述的技术，实施方式可以接收用于在用户的视野中显示扩展现实内容的指示。在实施方式中，用户视野中的至少一部分可以被识别为与不应在其上或上方显示扩展现实内容的部分相关联。所述至少一部分可以对应于用户视野中的对象。响应于识别出不应在其上或上方显示内容的部分，实施方式然后可以动态地排除在该部分上或上方显示扩展现实内容。这样的方法可以防止将内容显示在用户地视野的用户认为重要的部分上或上方。此外，这样的方法消除了用户提供手动调整输入以移除或重新定位已经在他们认为重要的对象上方显示的内容的需要。
如本领域技术人员将理解的，各方面可以被实施为系统、方法或设备程序产品。因此，各方面可以采用完全硬件实施方式或者包括软件的实施方式的形式，这些在本文中可以全部统称为“电路”、“模块”或“系统”。此外，各方面可以采用在其中包含设备可读程序代码的一个或更多个设备可读介质中实现的设备程序产品的形式。
应当注意，可以使用由处理器执行的、存储在诸如非信号存储设备的设备可读存储介质上的指令来实现本文中描述的各种功能。存储设备例如可以是系统、装置或设备(例如电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备)或者前述的任何适当的组合。存储设备/介质的更具体的示例包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何适当的组合。在本文档的上下文中，存储设备不是信号，并且“非暂态”包括除了信号介质之外的所有介质。
可以使用任何适当的介质来传送在存储介质上体现的程序代码，所述任何适当的介质包括但不限于无线、有线、光纤线缆、RF等或前述的任何适当的组合。
用于执行操作的程序代码可以以一种或更多种编程语言的任何组合来编写。程序代码可以完全在单个设备上执行、部分地在单个设备上执行、作为独立软件包执行、部分地在单个设备上且部分地在另一设备上执行或者完全在其他设备上执行。在一些情况下，可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接设备，或者可以通过其他设备(例如，通过使用因特网服务提供商的因特网)、通过无线连接如近场通信或者通过硬线连接如通过USB连接来进行连接。
本文中参照示出根据各种示例实施方式的示例性方法、设备和程序产品的附图描述了示例实施方式。应当理解，动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器，使得经由设备的处理器执行的指令实现指定的功能/动作。
值得注意的是，虽然在图中使用了特定块，并且示出了块的特定顺序，但是这些是非限制性示例。在某些上下文中，可以组合两个或更多个块，可以将块划分成两个或更多个块，或者可以视情况对某些块进行重新排序或重新组织，原因是明确示出的示例仅用于描述性目的并且不应被解释为进行限制。
如本文中使用的，除非另有明确说明，否则单数形式可以被解释为包括复数“一个或更多个”。
出于说明和描述的目的呈现了本公开内容，但本公开内容并非旨在是穷举或限制性的。许多修改和变化对本领域普通技术人员而言将是明显的。选择和描述示例实施方式是为了说明原理和实际应用，并且使本领域其他普通技术人员能够理解本公开内容以实现适合于预期的特定用途的具有多种修改的多种实施方式。
因此，尽管本文已经参照附图描述了说明性的示例性实施方式，但应当理解，该描述不是限制性的，并且本领域技术人员可以在不偏离本公开内容的范围或精神的情况下作出各种其他变化和修改。

Claims (20)

1.一种用于扩展现实内容排除的方法，包括：
在信息处理设备处接收用于在视野中显示扩展现实内容的指示；
使用处理器来识别所述视野中的不应显示所述扩展现实内容的至少一部分；以及
响应于所述识别，排除在所述视野中的所述至少一部分上显示所述扩展现实内容。
2.根据权利要求1所述的方法，其中，所述扩展现实内容包括选自组的内容，所述组包括：增强现实内容、混合现实内容和虚拟现实内容。
3.根据权利要求1所述的方法，其中，所述信息处理设备与头戴式可穿戴设备和手持式智能设备中的至少一个相关联。
4.根据权利要求1所述的方法，其中，所述指示与用户命令和上下文检测中的至少一个相关联。
5.根据权利要求1所述的方法，其中，所述识别包括：在显示所述扩展现实内容之前进行识别。
6.根据权利要求1所述的方法，其中，所述识别包括：识别所述视野中的至少一个对象，并且确定所述至少一个对象是否与被排除对象相关联，其中，所述被排除对象与不能将所述扩展现实内容显示在其上的对象相关联。
7.根据权利要求6所述的方法，其中，识别所述至少一个对象是否与被排除对象相关联包括：将所述至少一个对象与对象的存储列表进行比较，并且确定所述至少一个对象是否与所述存储列表中的对象匹配，所述存储列表中的每个对象包括作为被排除对象或被包括对象中的一个的指定。
8.根据权利要求7所述的方法，还包括：响应于接收到上下文数据而改变所述指定。
9.根据权利要求1所述的方法，其中，所述排除包括选自组的动作，所述组包括：从用户的视野中移除所述扩展现实内容；将所述扩展现实内容重新定位到所述用户的视野中的其他部分；以及使所述扩展现实内容的透明度增加预定量。
10.根据权利要求1所述的方法，还包括：
在与所述至少一部分不相关联的视野中显示所述扩展现实内容；
在所述显示之后，检测所述视野到其他视野的变化；
识别到所述扩展现实内容被显示在所述其他视野中的被排除对象上；以及
从所述被排除对象自动地移除所述扩展现实内容。
11.一种用于扩展现实内容排除的信息处理设备，包括：
处理器；
存储器装置，所述存储器装置存储能够由所述处理器执行以进行以下操作的指令：
接收用于在视野中显示扩展现实内容的指示；
识别所述视野中的不应显示所述扩展现实内容的至少一部分；以及
响应于所述识别，排除在所述视野中的所述至少一部分上显示所述扩展现实内容。
12.根据权利要求11所述的信息处理设备，其中，所述扩展现实内容包括选自组的内容，所述组包括：增强现实内容、混合现实内容和虚拟现实内容。
13.根据权利要求11所述的信息处理设备，其中，所述信息处理设备与头戴式可穿戴设备和手持式智能设备中的至少一个相关联。
14.根据权利要求11所述的信息处理设备，其中，能够由所述处理器执行以进行识别的指令包括能够由所述处理器执行以在显示所述扩展现实内容之前进行识别的指令。
15.根据权利要求11所述的信息处理设备，其中，能够由所述处理器执行以进行识别的指令包括能够由所述处理器执行以进行以下操作的指令：识别所述视野中的至少一个对象，并且确定所述至少一个对象是否与被排除对象相关联，其中，所述被排除对象与不能将所述内容显示在其上的对象相关联。
16.根据权利要求15所述的信息处理设备，其中，能够由所述处理器执行以识别所述至少一个对象是否与被排除对象相关联的指令包括能够由所述处理器执行以进行以下操作的指令：将所述至少一个对象与对象的存储列表进行比较，并且确定所述至少一个对象是否与所述存储列表中的对象匹配，所述存储列表中的每个对象包括作为被排除对象或被包括对象中的一个的指定。
17.根据权利要求16所述的信息处理设备，其中，所述指令还能够由所述处理器执行，以响应于接收到上下文数据而改变所述指定。
18.根据权利要求17所述的信息处理设备，其中，能够由所述处理器执行以进行排除的指令包括选自组的动作，所述组包括：从用户的视野中移除所述扩展现实内容；将所述扩展现实内容重新定位到所述用户的视野中的其他部分；以及使所述扩展现实内容的透明度增加预定量。
19.根据权利要求11所述的信息处理设备，其中，所述指令还能够由所述处理器执行以：
在与所述至少一部分不相关联的视野中显示所述扩展现实内容；
在所述显示之后，检测所述视野到其他视野的变化；
识别所述扩展现实内容被显示在所述其他视野中的被排除对象上；以及
从所述被排除对象自动地移除所述扩展现实内容。
20.一种用于扩展现实内容排除的产品，包括：
存储代码的存储设备，所述代码能够由处理器执行并且所述代码包括：
接收用于在视野中显示扩展现实内容的指示的代码；
识别所述视野中的不应显示所述扩展现实内容的至少一部分的代码；以及
排除在所述视野中的所述至少一部分上显示所述扩展现实内容的代码。
CN201911000020.8A 2018-12-12 2019-10-21 用于扩展现实内容排除的方法、信息处理设备和产品 Pending CN111311754A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/217,991 US10761694B2 (en) 2018-12-12 2018-12-12 Extended reality content exclusion
US16/217,991 2018-12-12

Publications (1)

Publication Number Publication Date
CN111311754A true CN111311754A (zh) 2020-06-19

Family

ID=68807190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000020.8A Pending CN111311754A (zh) 2018-12-12 2019-10-21 用于扩展现实内容排除的方法、信息处理设备和产品

Country Status (5)

Country Link
US (1) US10761694B2 (zh)
JP (1) JP2020095712A (zh)
CN (1) CN111311754A (zh)
DE (1) DE102019131372A1 (zh)
GB (1) GB2580509A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
JP6968326B1 (ja) * 2021-04-16 2021-11-17 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123750A1 (en) * 2015-10-28 2017-05-04 Paypal, Inc. Private virtual object handling
US20170169611A1 (en) * 2015-12-09 2017-06-15 Lenovo (Singapore) Pte. Ltd. Augmented reality workspace transitions based on contextual environment
US20170301147A1 (en) * 2016-04-15 2017-10-19 Ecole Nationale De L'aviation Civile Selective display in a computer generated environment
WO2018008210A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018217470A1 (en) * 2017-05-23 2018-11-29 Pcms Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128877A (ja) * 2003-10-24 2005-05-19 Canon Inc 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム
JP5055402B2 (ja) * 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
WO2015189972A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 情報重畳画像表示装置および情報重畳画像表示プログラム
US10140464B2 (en) * 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
JP7265312B2 (ja) * 2017-03-16 2023-04-26 株式会社デンソーウェーブ 情報表示システム
US20190130648A1 (en) * 2017-10-26 2019-05-02 Tsunami VR, Inc. Systems and methods for enabling display of virtual information during mixed reality experiences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123750A1 (en) * 2015-10-28 2017-05-04 Paypal, Inc. Private virtual object handling
US20170169611A1 (en) * 2015-12-09 2017-06-15 Lenovo (Singapore) Pte. Ltd. Augmented reality workspace transitions based on contextual environment
US20170301147A1 (en) * 2016-04-15 2017-10-19 Ecole Nationale De L'aviation Civile Selective display in a computer generated environment
WO2018008210A1 (ja) * 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018217470A1 (en) * 2017-05-23 2018-11-29 Pcms Holdings, Inc. System and method for prioritizing ar information based on persistence of real-life objects in the user's view

Also Published As

Publication number Publication date
GB201916901D0 (en) 2020-01-01
DE102019131372A1 (de) 2020-06-18
US10761694B2 (en) 2020-09-01
GB2580509A (en) 2020-07-22
US20200193715A1 (en) 2020-06-18
JP2020095712A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
US10761694B2 (en) Extended reality content exclusion
US9442631B1 (en) Methods and systems for hands-free browsing in a wearable computing device
US20160170206A1 (en) Glass opacity shift based on determined characteristics
US9336779B1 (en) Dynamic image-based voice entry of unlock sequence
US11237641B2 (en) Palm based object position adjustment
US20170115736A1 (en) Photo-Based Unlock Patterns
US10956613B2 (en) Sensitive information filter
CN110209263B (zh) 信息处理方法、信息处理设备及设备可读存储介质
CN110968190B (zh) 用于触摸检测的imu
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
US11144091B2 (en) Power save mode for wearable device
CN110134228B (zh) 信息处理方法、信息处理设备及用于信息处理的产品
US10740423B2 (en) Visual data associated with a query
US10768699B2 (en) Presentation to user of indication of object at which another person is looking
US10782858B2 (en) Extended reality information for identified objects
US20230102205A1 (en) Road sign information presentation
US11989336B2 (en) Electronic privacy filter activation
US11556233B2 (en) Content size adjustment
US20220308674A1 (en) Gesture-based visual effect on augmented reality object
CN105321149B (zh) 自动缩放数据
US20180341834A1 (en) Description of content image
US11928264B2 (en) Fixed user interface navigation
US10963217B2 (en) Command detection notification on auxiliary display
US10546428B2 (en) Augmented reality aspect indication for electronic device
US11270571B1 (en) Sanitary enforcement action for device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination