CN115885321A - 真实和对象识别属性的增强统一 - Google Patents

真实和对象识别属性的增强统一 Download PDF

Info

Publication number
CN115885321A
CN115885321A CN202080102286.8A CN202080102286A CN115885321A CN 115885321 A CN115885321 A CN 115885321A CN 202080102286 A CN202080102286 A CN 202080102286A CN 115885321 A CN115885321 A CN 115885321A
Authority
CN
China
Prior art keywords
node
physical
user interface
narrative
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080102286.8A
Other languages
English (en)
Inventor
S·J·夏皮拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaledok GmbH
Original Assignee
Kaledok GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaledok GmbH filed Critical Kaledok GmbH
Publication of CN115885321A publication Critical patent/CN115885321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

可以提供在物理环境中使用具有对象识别(OR)的增强现实(AR)以推进叙事的系统和方法。例如，该系统可以访问表示叙事的叙事数据。对于一个或多个节点的第一节点，该系统可以：为第一节点生成与叙事相关联的用户界面，并访问指定了将要被识别以推进经过在叙事中的第一节点的第一物理对象的第一决策规则。该系统还可以对物理环境的图像执行图像识别，基于图像识别确定第一物理对象在物理环境中，基于第一决策规则和确定从在叙事中的第一节点的转变，并且基于从第一节点的转变将用户界面更新到在叙事中的第二节点。

Description

真实和对象识别属性的增强统一
相关申请
该申请要求在2020年4月22日提交的美国临时专利申请序列号63/013，894，以及在2020年5月13日提交的美国临时专利申请序列号63/024，282的优先权，每个专利申请的内容通过引用整体并入本文作为参考。该申请与在2020年7月2日提交的美国专利申请序列号16/920，200有关，其内容通过引用整体并入本文作为参考。
背景技术
增强现实(AR)显示可以提供覆盖在物理环境上的图形信息。例如，物理对象的描述可以被覆盖在该物理对象上。混合现实(MR)显示还可以包括人造对象(与“虚拟”互换使用，以表示由AR显示生成的非物理对象)，诸如可以在物理环境中移动的家具的图像。出于描述的目的，AR将被描述为包含MR。
附图说明
图1A示出了基于AR和/或OR提供叙事的系统的示例。
图1B示出了图1A所示系统的一组操作示例的数据流程图。
图2示出了对导致线性叙事的二元结果的决策规则进行评估的示例的数据流程图。
图3示出了对导致非线性叙事的非二元结果的决策规则进行评估的示例的数据流程图。
图4示出了在线性叙事中的节点的示例的示意图。
图5示出了在非线性叙事中的节点的示例的示意图。
图6示出了基于对象识别对在AR显示中的叙事的节点进行评估以确定是否转变到在叙事中的另一节点的示例。
图7示出了基于用户动作对在AR显示中的叙事的节点进行评估以确定是否转变到在叙事中的另一节点的示例。
图8示出了对在AR显示中的叙事的节点进行评估以确定在叙事中是否转变以及转变到哪个节点的示例。
图9示出了基于AR和/或OR提供叙事的方法的示例。
具体实施方式
本公开涉及提供增强统一(AU)的改进的AR系统和显示，增强统一(AU)是在真实世界中的交互式体验，其中使用图像处理来识别对象，并且使用人工智能(AI)来确定它们的属性，以利用计算机生成的感知信息来增强对环境的体验。在一些示例中，AR系统可以生成AR显示，其中虚拟对象可以与通过机器学习训练的AI图像分类器识别的物理对象进行交互。
例如，AR系统可以使用图像分类器来对在物理环境中的物理对象进行分类。作为非限制性示例，AR系统可以使用图像分类器来识别诸如真实火焰等的物理热源，并使AR显示描绘虚拟冰块在AR显示中正在被融化。以这种方式，AR系统可以统一虚拟对象和物理对象之间的交互性。更具体地，AR系统可以统一物理对象在虚拟对象上的交互。需要注意的是，术语“物理对象”可指在物理环境中存在且非计算机生成的任何事物，而术语“虚拟对象”可指在AR显示中由计算机生成且在物理环境中不存在(除了其在物理环境中的表示之外)的图像。
在一些示例中，基于由图像分类器输出的图像分类，AR系统可以确定在物理环境中已经识别出的一个或多个物理对象的一组。AR系统可以基于所识别的物理对象来识别位置，并且基于所识别的位置来驱动AR显示。例如，AR系统可以基于与特定厨房有关的对象(如烹饪器具、橱柜、电器等)的识别来确定用户在建筑物的特定房间中，诸如家中的厨房中。AR系统可以通过访问和应用机器可读的决策规则来进行这样的位置识别。在这些示例中，决策规则可以指定特定对象或对象的组合与各种位置相关联。可替代地或附加地，这种位置识别可以由被训练以识别特定位置(诸如家中的房间、诸如杂货店或电子商店的零售位置和/或其他类型的位置)的图像分类器来驱动。在这种情况下，图像分类器可以基于训练图像语料库进行训练，该训练图像语料库包括根据将要被识别的位置的类型来标记的图像(诸如厨房的标记图像)。例如，在识别诸如住宅的建筑物内的房间的情况下，AR系统可以缓解定位建筑物内的指定区域的问题，因为全球定位系统(GPS)和其他定位信号在室外可能是准确的，但是可能不足以穿透室内位置。
在一些示例中，可改进AR系统以提供基于对象识别的交互式叙事。叙事可以涉及交互式现场表演、基于AR的游戏、基于AR的文学作品，诸如小说。叙事可以基于指定要满足以转变到叙事的另一部分的条件的决策规则来推进。在一些示例中，这样的条件可以是动态的，因为如果满足第一决策规则，则叙事可以转变到叙事的第一部分，并且如果满足第二决策规则，则叙事可以转变到叙事的第二部分。这些条件可以包括在物理环境中存在一个或多个物理对象(并且在AR显示中成像)的要求、用户在物理和/或增强环境中采取的动作、存在一个或多个环境条件或其他感知条件、和/或其他类型的要求。在一些示例中，条件可以涉及用户在特定位置中(诸如家中的房间)的要求。例如，如果确定用户在厨房中，则叙事可以被转变到叙事的被设计成在厨房中发生的一部分。
需要注意的是，叙事不必是连续的叙事。例如，用户可以打开AR显示，AR系统可以识别一个或多个对象，并且AR系统可以基于所识别的一个或多个对象来确定用户在厨房中。然后AR系统可以基于确定用户在厨房中来更新AR显示。在另一个示例中，用户可以打开AR显示，并且系统可以识别诸如棒球棒之类的对象，并且在AR显示中开始虚拟击球会话，在这种情况下虚拟棒球将被击中。在该示例中，根据被识别的物理对象，AR系统可以提供不同的叙事。例如，如果物理高尔夫球杆被识别，则AR系统可以在AR显示中开始虚拟高尔夫球练习场或高尔夫球会话，其中虚拟高尔夫球将被击中。在另一示例中，如果物理高尔夫球杆和物理高尔夫球都被识别，则AR系统可以不提供虚拟高尔夫球将被击中的图像，而是在AR显示中仅提供虚拟场景(其中各种虚拟对象，如虚拟场景的虚拟树，可以被物理高尔夫球“虚拟地击中”)。
以下示例可将对象识别(通过机器学习(ML)进行图像分类)描述为控制叙事的条件。然而，其他类型的条件可以被用来作为对象识别的补充或替代。在交互式现场表演的场景中，现场人类演员和/或观众成员可以收集对象以放置在场景中，这些对象可以通过AR显示进行成像，并且通过AR显示呈现的故事情节(包括在AR显示中可以伴随现场人类演员的虚拟角色)可以基于对象是否被放置在场景中以及哪些对象被放置在场景中来推进。在基于AR的游戏的场景中，一关卡可以要求对一个或多个对象进行成像以通过该关卡。在基于AR的文学作品的场景中，文学作品的不同情节或其他不同部分可以基于所成像的对象而动态变化。
图1A示出了基于AR和/或OR提供叙事的系统100的示例，该系统100可以包括装置120、系统存储库150、增强现实或对象识别(AROR)服务器160和/或其他部件。
装置120可以是诸如智能手机的计算装置、诸如一副AR眼镜的可穿戴计算装置和/或其他计算装置。装置120可以包括图像拍摄装置122、显示装置124、传感器126、处理器130、存储器132、AR引擎140A和/或其他部件。图像拍摄装置122可以包括包括图像传感器的相机。图像拍摄装置122可以为机载或非机载，只要装置120能够对物理环境(包括在物理环境中的物理对象110)成像。
显示装置124可以包括用于显示图形用户界面(GUI)的装置。在一些示例中，图形用户界面可以包括AR显示或其他类型的GUI。如本文所使用的，“AR显示”可以指包括由图像拍摄装置122拍摄的物理环境和AR用户界面显示特征(诸如图形、视频、图像、文本等)的显示，其可以与物理环境的拍摄图像一起呈现(诸如覆盖在其上)以增强拍摄图像。
传感器126可以包括感知物理环境的装置或关于物理环境的装置120。例如，该传感器126可以包括陀螺仪、光传感器、温度传感器和/或其他类型的传感器。
处理器130可以是基于半导体的微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或其他合适的硬件装置。尽管装置100被描述为包括单个处理器130，但应该理解的是，装置100可以包括多个处理器、多个内核等，而不脱离本文所公开的装置100的范围。
存储器132可以是包括或存储可执行指令的电子的、磁的、光学的或其他物理存储装置。该存储器132可以是例如随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储装置、光盘等。存储器132可以是非暂时性机器可读存储介质，其中术语“非暂时性”不包括暂时性传播信号。应该理解的是，在图1中描绘的示例装置100可以包括附加的特征，并且本文描述的一些特征可以在不脱离示例装置100的范围的情况下被移除和/或修改。
叙事代理134可以包括对处理器130进行编程的硬件和/或指令，在这种情况下指令可以存储在存储器132上。在一些示例中，叙事代理134可以被配置为基于AR的移动应用，诸如观看交互式现场表演的观看应用、提供文本和/或图形小说的阅读应用、移动游戏应用和/或在装置120上执行的其他应用。
叙事代理134可以访问并通过显示装置124向用户提供叙事152。叙事152可以指通常从一个或多个点推进到一个或多个其他点的故事情节。例如，叙事152可以是通过游戏性推进的游戏的关卡或其他部分，诸如戏剧作品的交互式现场表演的一部分、小说或其他文学作品的情节的一部分和/或其他类型的故事情节。在一些示例中，叙事152可以具有一个或多个起点和一个或多个终点。在其他示例中，叙事152可以没有指定的终点。在这些示例中，现场表演或文学作品可以没有定义的结局，并且游戏可以持续进行。
在一些示例中，叙事152可以被表示为多个节点(在图2-图4中被示为编号为1-5的节点，尽管可以使用其他数量的节点)。节点可以指表示叙事的部分的数据和/或逻辑。例如，节点可以表示在交互式现场表演中的一幕、在游戏中的游戏关卡、在小说中的章节和/或在叙事152中的其他部分。叙事152可以是交互式的，因为可以要求用户找到一个或多个物理对象(通过物理对象的图像识别来证明)、执行一个或多个动作、和/或以其他方式与物理环境交互以推进故事情节。
在一些示例中，每个节点可以与一个或多个决策规则154相关联。决策规则152可以指由叙事代理134(并且因此由叙事代理134编程的处理器130)应用以确定是否将该节点转变到在多个节点中的另一节点的规则。决策规则152可以指定为了转变到另一节点而要满足的条件。该条件可以要求在物理环境中存在一个或多个物理对象，在物理环境中存在一个或多个环境或环境条件，在物理环境中读取一个或多个传感器读数，用户在物理环境中采取一个或多个动作，和/或其他条件。在一些示例中，决策规则152可以指定要满足的通用条件。通用条件可以指实现该条件的非指定方式。例如，通用条件可以包括热源被识别或应用以满足决策规则152的条件。通用条件可以通过一系列选项来满足，诸如通过对诸如蜡烛、打火机或其他能够提供热的物理对象的实际的(物理的)热源进行成像，将实际的热源应用于温度传感器等。相比之下，一些条件可以是指定的，诸如对特定物理对象成像的要求。在一些示例中，决策规则152可以指定将要执行的AR引导的交互，诸如在2020年4月22日提交的美国临时申请序列号63/013，894中描述的AR引导的交互，其内容通过引用整体并入本文作为参考。
在一些示例中，当一节点与一个以上的决策规则152相关联时，为了转变到另一节点，可能必须满足该节点的所有决策规则152。在其他示例中，为了转变到另一节点，可能只需要满足一些决策规则152。在这些示例中的一些示例中，满足第一组一个或多个决策规则152可以导致转变到第一其他节点，而满足第二组一个或多个决策规则152可以导致转变到第二其他节点等等。因此，根据满足了哪些决策规则152，叙事可以转变到不同的节点。
在一些示例中，叙事152可以是线性的，因为节点可以以线性的方式排列，使得节点可以彼此串联转变，其示例在图4中示出。在其他示例中，叙事152可以是动态的，因为节点可以以非线性的方式排列，使得给定节点可以在由对应的决策规则152指定的任意方向中转变到两个或更多节点中的任意一个，其示例在图5中示出。需要理解的是，叙事152的一些部分可以是线性的，而叙事152的其他部分可以是非线性的。例如，参考图5，节点1->2可以呈现线性，而叙事152的其他部分可以呈现非线性。需要注意的是，在一些示例中，节点是不与特定叙事152相关联的激活节点。在这些示例中，用户可以打开AR应用(执行叙事代理134)，该AR应用可以开始识别物理对象以确定将要呈现哪个叙事152。在这个意义上，激活节点可以不必是指定叙事152的一部分，而是用于基于所识别的物理对象来识别和选择叙事152以启动。所选叙事152可以是交互式现场表演、游戏(诸如在先前的示例中开始虚拟棒球或虚拟高尔夫)、文学作品等的一部分。在一些示例中，叙事代理134可以基于位置(诸如房间)选择特定的叙事152，该位置是基于所识别的物理对象来识别的。例如，叙事代理134可以确定用户在卧室中，并且基于确定用户在卧室中而开始叙事152。
在一些示例中，叙事代理134可以调用节点评估器136。节点评估器136可以包括对处理器130进行编程的硬件和/或指令，在这种情况下指令可以存储在存储器132上。节点评估器136可以针对给定节点评估一个或多个决策规则154，以确定是否满足决策规则154。例如，如果决策规则154要求在物理环境中识别一个或多个对象，则节点评估器136可以调用图像分类器138A和/或138B来确定对象是否在物理环境中已经被识别。如果决策规则154要求存在特定的环境条件(诸如特定的温度、湿度等)或存在速度或运动，则节点评估器136可以使用来自传感器126的传感器数据。如果决策规则154要求采取动作(诸如在物理环境中的用户动作)，则节点评估器136可以调用AR引擎140A和/或140B以确定此类动作是否已经被执行。
图像分类器138A可以包括对处理器130进行编程的硬件和/或指令，在这种情况下指令可以存储在存储器132上。图像分类器138A可以被训练以在训练图像语料库156上执行图像识别，训练图像语料库156可以包括标记图像。在训练图像语料库156中的每个标记图像可以指示在图像中的一项(诸如人、动物、事物等)。在一些示例中，训练图像语料库156可以包括用于训练的附加特征，诸如对象分割(以能够在图像中区分多个对象)、在上下文中识别以支持上下文图像识别和/或其他特征。训练图像语料库156的示例可以包括MNIST数据集、MS-COCO数据集、ImageNet数据集、开放图像数据集、CIFAR-10数据集、CIFAR-100数据集和/或其他图像训练数据集。
图像识别可以指向神经网络提供图像，神经网络可以输出图像的标签。标签可以对应预定义的类别。图像可以根据一个或多个类别进行标记。如果标记为单一类别，则可应用术语“识别”，而多类别识别可称为“分类”。图像分类器138可以使用识别和/或分类。然而，应该注意的是，这里使用的“对象识别”可以指在图像中识别的对象，无论是通过识别还是分类。
图像分类的子集可以包括对象检测，其中对象的指定实例被识别为属于特定类别，诸如动物、汽车、人或其他对象类别。在一些示例中，神经网络可以执行特征提取。在图像中的特征可以包括对象的像素组(诸如边缘和点)，网络可以分析像素组以获得可以识别的模式。神经网络可以从输入图像中提取相关特征，以便可以分析这些特征。在一些示例中，训练图像语料库156可以包括关于指示相关特征的给定图像的注释或元数据。为此，神经网络的第一层可以分析在图像内的所有像素。可以对图像应用不同的滤波器来生成特征图，该特征图形成图像不同部分的表示。
在一些示例中，神经网络可以使用卷积神经网络(CNN)架构。CNN可以使用确定在给定时间内分析多少像素的图像滤波器。通常情况下，尽管不是必须的，滤波器大小可以是3×3的像素区域，尽管可以使用其他滤波器大小。数字图像可以被渲染为高度、宽度和颜色值，诸如表示图像深度的红、绿、蓝(RGB)颜色值。灰度(非彩色)图像只有1个颜色通道，而彩色图像有对应RGB颜色值的3个深度通道。
在创建图像的特征图之后，表示图像的值可以通过激活层。激活层可以获取来自卷积层的以线性形式的表示图像的值，并增加它们的非线性。
激活层的一个示例可以包括整流线性单元(ReLU)，尽管可以使用其他单元。激活的数据可以通过池化层发送。池化可以压缩图像数据，从而使得分析更有效，因为通常只有图像的不相关方面不被这种池化保留。池化后，可以只保留输入图像的相关部分，这可以缓解或防止过度拟合，其中神经网络学习训练图像的具有太多的特异性以至于无法应用于其他图像的方面。
池化的一个示例包括最大池化，其中在单个滤波器(在图像中的单个点内)内的像素的最大值被保留用于分析。使用像素的最大值以考虑可能的图像失真，并且图像的参数/大小被减小以控制过拟合。也可以使用其他类型的最大池化。
CNN的最后一层可以使用矢量形式的数据。因此，可以将数据压缩成一长向量或一列顺序排列的数字。CNN的最后一层可以包括密集连接层，或者人工神经网络(ANN)。ANN可以分析输入特征并将它们组合成不同的属性以用于图像分类。ANN可以包括每个识别对象的不同部分的计算神经元。例如，神经元的集合可表示将要被识别的物理对象的可识别部分。当响应于输入图像足够数量的神经元被激活时，该图像可以被分类为对象。
在一些示例中，装置120可以与AROR服务器160通信，使得AROR服务器160可以执行由图像分类器138A执行的一些或全部的处理。在这些示例中，装置120可以将拍摄的图像传输至AROR服务器160以用于图像分类器138B进行处理，图像分类器138B可以执行与图像分类器138A相似的功能。
在一些示例中，叙事代理134可以通过AR引擎140A(和/或AR引擎140B)生成的AR显示提供叙事。AR引擎140A可以包括对处理器130进行编程的硬件和/或指令，在这种情况下指令可以存储在存储器132上。AR引擎140A可以从图像拍摄装置122访问拍摄的图像，识别一个或多个AR元件(诸如AR标记)，并生成AR显示以提供叙事152。如前所述，这样的叙事152可以包括交互式现场表演，在这种情况下观众可以使用AR显示通过AR观看交互式现场表演并与之互动，游戏，在这种情况下AR显示可以提供游戏性的视觉效果(其中可以包括音频)以及文学作品，在这种情况下AR显示可以提供交互式故事。
在一些示例中，装置120可以与AROR服务器160通信，使得AROR服务器160可以执行由AR引擎140A执行的一些或全部的处理。在这些示例中，装置120可以将拍摄的图像发送到AROR服务器160以用于AR引擎140B进行处理，AR引擎140B可以执行与AR引擎140A相似的功能。例如，AROR服务器160还可以包括处理器(为了方便起见未示出)、存储器(为了方便起见未示出)及其版本的AR引擎140B。更通常地，AR引擎140或其部分可以在装置120和/或AROR服务器160上执行。因此，AR引擎140A、AR引擎140B的功能将通常按照AR引擎140的功能来描述。
系统存储库150可以存储由系统100使用的各种数据。例如，系统存储库150可以存储叙事152、决策规则154、训练图像语料库156和/或其他数据。存储在系统存储库150中的每个数据可以在单独的存储库中或组合在一起。例如，系统存储库可以包括用于叙事152的存储库、用于决策规则154的存储库和用于训练图像语料库156的存储库。
图1B示出了图1A所示的系统100的操作的示例集的数据流程图101。将在基于AR的游戏环境中描述操作的示例集以用于说明。可以提供其他类型的交互式媒体，诸如用于交互式现场表演和文学作品等。
叙事代理134可以访问叙事152和叙事152的一个或多个节点。叙事代理134可以识别叙事152中的当前节点以通过显示装置124进行显示。当前节点可以是初始启动节点(诸如游戏的开始关卡、阶段或位置)或保存节点(诸如游戏的保存关卡、阶段或位置)。叙事代理134可以提供与当前节点相关联的图像、文本、音频和/或其他数据。例如，图像、文本、音频和/或其他数据可以为当前节点提供游戏性。
叙事代理134可以调用节点评估器136来确定是否转变到在叙事152中的另一节点。例如，叙述代理134可以向节点评估器提供识别当前节点的节点标识符(节点ID)。节点评估器136可以访问与节点相关联的决策规则154。例如，节点评估器136可以查找可以与节点ID相关联的存储的决策规则154。
叙述代理134可以针对可能与决策规则154相关的各种输入源来评估决策规则154。例如，节点评估器136可以访问来自传感器126的传感器数据，以确定是否已经满足任意与传感器有关的决策规则154。与传感器有关的决策规则154的一个示例可以包括环境温度至少为特定的温度或装置120正以特定的速度行进或处于特定的位置(诸如基于来自GPS传感器的全球定位系统(GPS)坐标)的要求。在另一示例中，节点评估器136可以访问来自AR引擎140的数据，以确定是否已经满足要求用户关于AR显示的动作的任意与动作有关的决策规则154。与动作有关的决策规则154的一个示例可以包括由AR引擎140识别的用户执行一些动作的要求，诸如在物理环境中执行任务。例如，AR引擎140可以确定AR锚是否已经被操纵或者用户是否已经将对象放置在与由AR引擎140生成的图形图像对应的视野中。在特定的示例中，图形图像可以是需要遍历在物理环境中的空间的AR生成的特征，并且所需动作可以用于用户通过建造桥梁或其他影响物理环境的物理动作以使AR生成的特征可以通过来辅助AR生成的特征。
在另一示例中，节点评估器136可以访问图像分类器138(其可以指图像分类器138A和/或138B)的图像分类，以确定是否已经满足任意与对象识别(OR)有关的决策规则154。图像分类器138可以对由图像拍摄装置122拍摄的物理环境的图像执行图像识别。例如，图像分类器138可以输出一组图像分类。每个图像分类可以表示对象(诸如人、事物、地点等)在图像中被图像分类器138识别的概率。在一些示例中，当概率满足或超过阈值概率时，节点评估器136可以确定对象被识别。因此，对于给定的一组分类，如果多于一个对应的图像分类满足或超过该阈值概率，则可以认为在物理环境的图像中识别了多于一个的对象。相应地，节点评估器136可以基于图像分类器138的图像分类来确定一个或多个对象已经在物理环境中被识别。节点评估器136可以通过确定是否已经在物理环境中识别出任意需要识别的对象来评估与OR有关的决策规则154。
在一些示例中，节点评估器136可以输出二进制结果。即节点评估器136可以输出正(1)或负(0)的评估结果，该评估结果指示是否已经满足决策规则154。在这些示例中，与当前节点相关联的叙事152的部分可线性转变到下一节点。
在其他示例中，节点评估器136可以输出可变结果，该可变结果识别：当前节点不应该转变到另一节点或者转变到的另一节点的识别。在这些示例中，与当前节点相关联的叙事152的部分可以根据已经满足了哪些决策规则154转变到在叙事中的两个或多个不同节点。
图2示出了评估导致线性叙事的二元结果的决策规则的示例的数据流程图200。在这个示例中，节点1是当前节点，如果满足与节点1相关联的决策规则，则当前节点可以转变到另一节点(节点2)。在这个示例中，决策规则可以指定将要被识别的一个或多个对象，诸如通过图像分类器138。如果在202识别出一个或多个对象，则结果可以是肯定的并且叙事可以从节点1转变到节点2。如果没有识别一个或多个对象，则结果可以是否定的并且对象识别可以继续。需要注意的是，可以向用户提供包括由决策规则指定的条件的指导信息(诸如通过显示装置124)。还需要注意的是，块202可以包括在确定肯定的结果之前必须满足的除对象识别之外的其他条件。
图3示出了评估导致非线性叙事的非二元结果的决策规则的示例的数据流程图300。在这个示例中，节点3是当前节点，它可以根据与节点3相关联的叙事规则中的哪一个被满足而转变到另一节点(节点4、节点5或其他节点)。例如，第一决策规则可以指定，如果满足第一决策规则的条件，则叙事将转变到节点4。在这个示例中，第一决策规则可以包括节点ID，该节点ID将节点4识别为将要转变到的目标节点。相似地，第二决策规则可以指定，如果满足第二决策规则的条件，则叙事将转变到节点5。在这个示例中，第二决策规则可以包括节点ID，该节点ID将节点5识别为将要转变到的目标节点。如图所示，第一决策规则可以指定要被识别的第一对象(一个或多个第一对象)，第二决策规则可以指定要被识别的第二对象(一个或多个第二对象)。相应地，在204，如果第一对象被图像分类器138识别，则评估结果可以转变到节点4。否则，在206，如果第二对象被图像分类器138识别，则评估结果可以转变到节点5。也可以评估可以指定其他节点转变的其他条件的其他决策规则。还需要注意的是，第一决策规则和第二决策规则可以被组合成被一起评估以确定要转变到哪个节点的单个决策规则。还需要注意的是，可以并行评估条件。在这些示例中，每个条件可以被优先作为平局决胜程序。例如，如果第一决策规则和第二决策规则的条件都满足，则节点评估器136可以应用优先规则，该优先规则确定第一决策规则将采取优先权，因此节点4将被转变而不是节点5。
图6示出了基于对象识别评估在AR显示600(示为AR显示600A、B、C)中的叙事的节点(示为节点1)以确定是否转变到在叙事中的另一节点(示为节点2)的示例。AR显示600A、600B和600C可以分别指AR显示的第一状态、第二状态和第三状态。
AR显示600A可以显示叙事152的节点1。节点1被示为对应于在AR游戏中的关卡，其中在该关卡中的目标是获得AR特征602(其是由AR显示600A生成的虚拟特征)。然而，也可以实现其他类型的AR显示(诸如涉及交互式现场戏剧作品、文学作品等)。AR特征602可以被虚拟冰块604(由AR显示600A生成的虚拟图像)阻止到达AR目标606(由AR显示600A生成的虚拟目标)。该目标可以是通过提供热源来融化冰。节点1可以与指定检测热源的决策规则154相关联。在一些示例中，决策规则154可以指定通过对象识别来识别热源。可替代地或附加地，可以由决策规则154指定其它类型的识别(诸如通过温度或光传感器)。
在节点评估期间，AR显示600B可以提供拍摄的物理热源的图像(示为物理蜡烛610，其是在物理环境中的物理对象)。该物理蜡烛610例如可以由图像拍摄装置122进行成像。在识别出物理蜡烛610之后，节点评估器136可以确定与节点1相关联的判定规则154已经被满足，并且可以向叙事代理134提供这种满足的指示，这可以使得AR显示600C将要被显示。AR显示600C可以提供与节点1相关联的决策规则154的满足指示。例如，AR显示600C可以包括表示融化的冰块的AR图像605。
在一些示例中，节点评估器136可以确定在物理环境中识别的物理对象是否已经与虚拟对象进行了充分的交互。例如，节点评估器136可以确定所识别的物理蜡烛610是否在足够接近虚拟冰块604的地方中成像。为此，节点评估器136可以咨询AR引擎140以确定成像的物理蜡烛610是否足够接近在AR显示中的虚拟冰块604。例如，在AR显示中的成像的物理蜡烛610可能需要来自在AR显示中显示虚拟冰块604的位置的特定数量的像素内。在一些示例中，决策规则154还可以指定物理对象和虚拟对象之间的交互性功能。例如，交互性功能可以利用在AR显示中成像的物理蜡烛610和虚拟冰块604之间的像素距离(像素数)来定义虚拟融化的速率。交互性功能的其他类型可以基于物理对象的其他属性，诸如光源的强度、对象的大小等等。例如，与光源的强度有关的交互功能可以使得对光不利的虚拟特征基于强度做出不同的反应。在另一示例中，当在物理环境中识别的较大的物理对象和在AR显示中的虚拟对象之间发生接触时，在物理环境中识别的较大的物理对象可以对虚拟对象具有较大的(与较小的物理对象相比)虚拟物理效果。虚拟物理效果可以指在AR显示中显示的效果，其中物理对象对在AR显示中的虚拟对象上施加模拟的力或其他反应。在又一示例中，在物理环境中识别的快速运动的物理对象(其中可以基于跨多帧的运动速率来测量速度)可以对虚拟对象具有更大的虚拟物理效果。
需要注意的是，前述提供的示例用于说明。也可以与在前述示例中提供的描述一起使用其它类型的图像和目标或者代替。
图7示出了基于用户动作来评估在AR显示700(示为AR显示700A、700B、700C)中的叙事的节点以确定是否转变到叙事中的另一节点的示例。节点评估和AR显示700的提供可以以相似于图6所示的AR显示600的方式发生。然而，在这个示例中，决策规则154的目标可以是将要执行的用户动作。在所示示例中，用户动作可以是改变由图像拍摄装置122创建的图像的视角大小，诸如通过放大或缩小，或者通过将装置120移动得更靠近或更远离在物理环境中的物理对象(示为物理箱710)。目标可以是将物理箱710的视觉大小改变为大于虚拟特征702。在节点评估期间，用户可以通过改变视角使物理箱710变大。一旦确定物理箱710足够大，AR显示700B可以指示已经满足了决策规则152。在这个示例中，决策规则152可以包括对象识别条件(诸如识别物理箱)和用户动作(诸如改变视角)。同图6，也可以与在前述示例中提供的描述一起使用其它类型的使用图像和目标，或作为替代。
图8示出了评估在AR显示中的叙事的节点以确定在叙事中是否转变以及转变到哪个节点的示例。在这个示例中，AR显示可以提供诸如小说的文学作品的不同部分802、803、804或805。这样的部分802、803、804或805可以包括文本和/或图像。根据当前节点(示为节点1)和/或节点评估，可以提供不同的部分802、803、804或805。与节点1相关联的一个或多个决策规则152可以指定根据不同的条件转变到不同的节点(示为节点3-5)。例如，如图所示，一个或多个决策规则152可以指定如果识别出第一组物理对象810A-C，则转变到具有部分803的节点3；如果识别出第二组物理对象810A和D，则转变到具有部分804的节点4；并且如果识别出第三组物理对象810E和F，则转变到具有部分805的节点5。需要注意的是，在要被识别的对象中可以有(也可能以没有)重叠。例如，可以要求识别出物理对象810A以转变到节点3或节点4(以及所示的其他物理对象)。根据这个示例，根据在物理环境中识别出什么对象，可以提供叙事152的不同部分。同图6，也可以与在前述示例中提供的描述一起使用目标的其他类型，或者作为替代。还需要注意的是，图8所示的节点评估可以用于其他环境，诸如游戏或交互式现场戏剧作品。
图9示出了基于AR和/或OR提供叙事的方法900的示例。需要理解的是，方法900可以包括附加的操作，并且其中描述的一些操作可以被移除和/或修改而不脱离该方法的范围。为了说明的目的，方法900的描述可以参考在前面附图中描述的特征。
在902，方法900可以包括访问表示叙事的叙事数据，叙事数据包括一个或多个节点，一个或多个节点中的每个节点与决策规则相关联，该决策规则指定在物理环境中通过图像识别来识别以推进经过在叙事中的节点的一个或多个物理对象。在904，对于一个或多个节点中的第一节点，该方法900可以包括为第一节点生成与叙事相关联的用户界面。在906，对于一个或多个节点中的第一节点，该方法900可以包括访问指定将要被识别以推进经过在叙事中的第一节点的第一物理对象的第一决策规则。在908，该方法900可以包括使用图像分类器(诸如图像分类器138)在物理环境的图像上执行图像识别。在910，该方法900可以包括基于图像识别确定第一物理对象在物理环境中。在912，该方法900可以包括基于第一决策规则和确定第一物理对象在物理环境中而从在叙事中的第一节点转变。在914，该方法900可以包括基于从第一节点的转变，将用户界面更新至在叙事中的第二节点。
本文提供的各种示例在本质上是说明性的。也可以指导其它类型的交互式物理任务。例如，该物理任务可以涉及修复物理对象，其中可以引导在修复过程中的各种交互式物理任务。该交互式物理任务可以涉及训练个体以在物理对象上执行任务。该交互式物理任务可以涉及显示清醒的证明，诸如在酒吧展示附加的对象，诸如饮料(其中喝醉的个体可能不能执行该交互式物理任务)。因此，基于本文的公开内容，改进的AR显示系统和方法的使用的各种示例将是显而易见的。
本文描述的不同指令提供的功能的描述是为了说明的目的而并不旨在加以限制，因为任意指令可以提供比所描述的更多或更少的功能。例如，可以删除一个或多个指令，并且其部分或全部功能可以由其他指令提供。作为另一示例，处理器130均可以由一个或多个附加指令编程，所述附加指令可执行本文归于其中一个指令的部分或全部功能。
处理器130均可以包括由计算机程序指令编程的一个或多个物理处理器。本文描述的各种指令仅仅是示例性的。只要处理器130均被编程为执行本文描述的功能，就可以使用其他指令的配置和数量。此外，应该理解的是，尽管在图中的各种指令共同位于单个处理单元内，但在处理器130均可包括多个处理单元的实现方式中，一个或多个指令可以远离其他指令执行。
本文描述的各种存储库(诸如系统存储库150)可以是包括或连接至例如Oracle公司商业销售的OracleTM关系数据库。也可以使用、合并或访问其他数据库，例如InformixTM、DB2或包括基于文件或查询格式、平台或资源的其他数据存储，诸如OLAP(在线分析处理)、SQL(结构化查询语言)、SAN(存储区域网络)、Microsoft AccessTM或其他。数据库可以包括驻留在一个或多个物理装置中和一个或多个物理位置中的一个或多个这样的数据库。该数据库可以包括基于云的存储解决方案。该数据库可以存储多种类型的数据和/或文件以及相关联的数据或文件描述、管理信息或任意其他数据。各种数据库可以存储本文描述的预定义和/或自定义的数据。
在附图中所示的各种部件可以通过网络耦合到至少一个其他部件，网络可以包括例如因特网、内联网、PAN(个人局域网)、LAN(局域网)、WAN(广域网)、SAN(存储区域网)、MAN(城域网)、无线网络、蜂窝通信网络、公共交换电话网和/或其他网络中的任意一个或多个。在图1以及其他附图中，可以使用与所描述不同的实体数量。此外，根据各种实现，本文所描述的部件可以在硬件和/或配置硬件的软件中实现。
在附图中描述的各种处理操作和/或数据流在本文被更详细地描述。所描述的操作可以使用上面详细描述的部分或全部系统部件来实现，并且在一些实现中，各种操作可以以不同的顺序执行，并且各种操作可以被省略。附加的操作可以与所示流程图中所示的部分或全部操作一起执行。可以同时进行一项或多项操作。相应地，所示出的操作(以及下面更详细描述的操作)本质上是示例性的，因此不应被视为限制。
考虑到本文公开的发明的说明书和实践，本发明的其他实现、用途和优点对于本领域技术人员来说将是显而易见的。本说明书应被认为仅是示例性的，相应地本发明的范围仅由以下权利要求限定。

Claims (20)

1.一种用于利用在物理环境中的对象识别提供增强现实(AR)以推进叙事的系统，包括：
处理器被编程为：
访问表示所述叙事的叙事数据，所述叙事数据包括一个或多个节点，所述一个或多个节点中的每个节点与决策规则相关，所述决策规则指定了在所述物理环境中的将要通过图像识别被识别以推进经过在所述叙事中的所述节点的一个或多个物理对象；
对于所述一个或多个节点的第一节点：
为所述第一节点生成与所述叙事相关联的用户界面；
访问第一决策规则，所述第一决策规则指定了将要被识别以推进经过在所述叙事中的所述第一节点的第一物理对象；
使用图像分类器对所述物理环境的图像执行图像识别；
基于所述图像识别确定所述第一物理对象在所述物理环境中；
基于所述第一决策规则和确定所述第一物理对象在所述物理环境中，从在所述叙事中的所述第一节点转变；和
基于从所述第一节点的转变，将所述用户界面更新到在所述叙事中的第二节点。
2.根据权利要求1所述的系统，其中所述第一决策规则还指定了将要被识别以推进经过所述第一节点的第二物理对象，其中所述处理器还被编程为：
只有当基于所述图像识别确定所述第二物理对象也在所述物理环境中时，才推进经过所述第一节点。
3.根据权利要求1所述的系统，其中所述第一决策规则指定了将被识别以推进经过所述第一节点的包括所述第一物理对象在内的多个物理对象，其中所述处理器还被编程为：
响应于确定所述多个对象中的第一组对象在所述物理环境中，推进到第二节点；和
响应于确定所述多个对象中的第二组对象在所述物理环境中，推进到第三节点。
4.根据权利要求1所述的系统，其中所述第一决策规则还指定了要对于所述第一物理对象执行以推进经过所述第一节点的动作。
5.根据权利要求4所述的系统，其中所述用户界面显示第一虚拟对象，要执行的动作包括使所述第一物理对象与由所述用户界面显示的虚拟对象在足够接近的范围内，并且其中所述处理器还被编程为：
确定在所述用户界面中成像的所述第一物理对象是否在所述用户界面中的所述虚拟对象的足够接近的范围内。
6.根据权利要求5所述的系统，其中为了确定在所述用户界面中成像的所述第一物理对象是否在所述用户界面中的所述虚拟对象的足够接近的范围内，所述处理器还被编程为：
确定在所述用户界面中成像的所述第一物理对象的像素是否在所述用户界面中显示的所述增强现实对象的像素的阈值数量内。
7.根据权利要求5所述的系统，其中所述处理器还被编程为:
确定在所述用户界面中成像的所述第一物理对象在所述用户界面中的虚拟对象的足够接近的范围内；
基于确定在所述用户界面中成像的所述第一物理对象在所述用户界面中的所述虚拟对象的足够接近的范围内，确定在所述用户界面中成像的所述第一物理对象和在所述用户界面中的所述虚拟对象之间已经发生了交互；和
在所述用户界面中显示所述交互的结果。
8.根据权利要求1所述的系统，其中所述第一决策规则还指定了要在所述物理环境中发生的用户改变的视角，使得所述第一物理对象相对于所述第一物理对象具有特定尺寸。
9.根据权利要求1所述的系统，其中所述第一决策规则还指定了要在所述第一物理对象上执行的AR引导的交互。
10.根据权利要求1所述的系统，其中所述处理器还被编程为：
生成虚拟化身以引导要在所述第一物理对象上执行的所述AR引导的交互。
11.一种为增强现实(AR)在物理环境中提供对象识别以推进叙事的方法，包括：
由处理器访问表示所述叙事的叙事数据，所述叙事数据包括一个或多个节点，所述一个或多个节点中的每个节点与决策规则相关，所述决策规则指定了所述物理环境中的要通过图像识别被识别以推进经过在所述叙事中的节点的一个或多个物理对象；
对于所述一个或多个节点的第一节点：
由所述处理器生成用于第一节点的与所述叙事相关联的用户界面；
由所述处理器访问第一决策规则，所述第一决策规则指定了将被识别以推进经过在所述叙事中的第一节点的第一物理对象；
由所述处理器使用图像分类器对物理环境的图像执行图像识别；
由所述处理器基于所述图像识别确定所述第一物理对象在所述物理环境中；
由所述处理器基于所述第一决策规则和确定所述第一物理对象在所述物理环境中，从在所述叙事中的第一节点转变；和
基于从所述第一节点的转变，由所述处理器将所述用户界面更新到在所述叙事中的第二节点。
12.根据权利要求11所述的方法，其中所述第一决策规则还指定了要被识别以推进经过所述第一节点的第二物理对象，所述方法还包括：
只有当基于所述图像识别确定所述第二物理对象也在所述物理环境中时，才推进经过所述第一节点。
13.根据权利要求11所述的方法，其中所述第一决策规则指定了要被识别以推进经过所述第一节点的包括所述第一物理对象在内的的多个物理对象将，所述方法还包括：
响应于确定所述多个对象中的第一组对象在所述物理环境中，推进到第二节点；和
响应于确定所述多个对象中的第二组对象在所述物理环境中，推进到第三节点。
14.根据权利要求11所述的方法，其中所述第一决策规则还指定了要对所述第一物理对象以推进经过所述第一节点的动作。
15.根据权利要求14所述的方法，其中所述用户界面显示第一虚拟对象，要执行的动作包括使所述第一物理对象在由所述用户界面显示的虚拟对象的足够接近的范围内，所述方法还包括：
确定在所述用户界面中成像的所述第一物理对象是否在所述用户界面中的所述虚拟对象的足够接近的范围内。
16.根据权利要求15所述的方法，其中确定在所述用户界面中成像的所述第一物理对象是否在所述用户界面中的所述虚拟对象的足够接近的范围内包括：
确定在所述用户界面中成像的所述第一物理对象的像素是否在所述用户界面中显示的所述AR对象的像素的阈值数量内。
17.根据权利要求15所述的方法，所述方法还包括：
确定在所述用户界面中成像的所述第一物理对象在所述用户界面中的所述虚拟对象的足够接近的范围内；
基于确定在所述用户界面中成像的所述第一物理对象在所述用户界面中的所述虚拟对象的足够接近的范围内，确定在所述用户界面中成像的所述第一物理对象和在所述用户界面中的所述虚拟对象之间已经发生交互；和
在所述用户界面中显示所述交互的结果。
18.根据权利要求11所述的方法，其中所述第一决策规则还指定了要在所述物理环境中发生从而使得所述第一物理对象相对于所述第一物理对象具有特定尺寸的用户改变的视角。
19.根据权利要求11所述的方法，其中所述第一决策规则还指定了要在所述第一物理对象上执行的AR引导的交互。
20.根据权利要求11所述的方法，所述方法还包括：
生成虚拟化身以引导要在所述第一物理对象上执行的所述AR引导的交互。
CN202080102286.8A 2020-04-22 2020-12-10 真实和对象识别属性的增强统一 Pending CN115885321A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063013894P 2020-04-22 2020-04-22
US63/013,894 2020-04-22
US202063024282P 2020-05-13 2020-05-13
US63/024,282 2020-05-13
PCT/US2020/064311 WO2021216123A1 (en) 2020-04-22 2020-12-10 Augmented unification of real and object recognized attributes

Publications (1)

Publication Number Publication Date
CN115885321A true CN115885321A (zh) 2023-03-31

Family

ID=72832587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102286.8A Pending CN115885321A (zh) 2020-04-22 2020-12-10 真实和对象识别属性的增强统一

Country Status (4)

Country Link
US (2) US10964118B2 (zh)
EP (1) EP4139903A4 (zh)
CN (1) CN115885321A (zh)
WO (1) WO2021216123A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037351B2 (en) * 2017-12-22 2021-06-15 Bram Hall System and method for directed storyline customization
US11910269B2 (en) * 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US20240077984A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Recording following behaviors between virtual objects and user avatars in ar experiences

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US9436276B2 (en) * 2009-02-25 2016-09-06 Microsoft Technology Licensing, Llc Second-person avatars
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US9474068B2 (en) * 2013-09-16 2016-10-18 Disney Enterprises, Inc. Storytelling simulator and device communication
CA2983046A1 (en) * 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
US10249091B2 (en) * 2015-10-09 2019-04-02 Warner Bros. Entertainment Inc. Production and packaging of entertainment data for virtual reality
US20180053351A1 (en) * 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
US10963750B2 (en) * 2018-01-04 2021-03-30 IAS Machine, LLC Procedural language and content generation environment for use in augmented reality/mixed reality systems to support laboratory and related operations
US20190340567A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Computer-implemented method and system for tracking inventory
US11483486B1 (en) * 2019-05-23 2022-10-25 Disney Enterprises, Inc. Virtual experience imaging products

Also Published As

Publication number Publication date
US20230125879A1 (en) 2023-04-27
EP4139903A4 (en) 2024-04-24
US10964118B2 (en) 2021-03-30
US20200334463A1 (en) 2020-10-22
WO2021216123A1 (en) 2021-10-28
EP4139903A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
De Geest et al. Online action detection
Jalal et al. Students’ behavior mining in e-learning environment using cognitive processes with information technologies
US20230125879A1 (en) Augmented unification of real and object recognized attributes
CN110737783B (zh) 一种推荐多媒体内容的方法、装置及计算设备
Peng et al. Where do emotions come from? predicting the emotion stimuli map
KR102543508B1 (ko) 머신 러닝을 사용하는 비디오 피드 내에서의 자동화된 오브젝트 추적
Lan et al. Social roles in hierarchical models for human activity recognition
CN106164959B (zh) 行为事件测量系统和相关方法
Shih et al. MSTN: Multistage spatial-temporal network for driver drowsiness detection
US10963700B2 (en) Character recognition
CN106204165A (zh) 一种广告投放方法及装置
Magdin et al. Real time facial expression recognition using webcam and SDK affectiva
CN113395578B (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
CN111985385A (zh) 一种行为检测方法、装置及设备
CN109977779B (zh) 对视频创意中插入的广告进行识别的方法
CN112733789A (zh) 一种基于动态时空图的视频推理方法、装置、设备及介质
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
Zhu et al. Egoobjects: A large-scale egocentric dataset for fine-grained object understanding
Nadeem et al. Deep labeller: automatic bounding box generation for synthetic violence detection datasets
Abdulhamied et al. Real-time recognition of American sign language using long-short term memory neural network and hand detection
US20230297634A1 (en) System and Method for Design-Based Relationship Matchmaking
US11589116B1 (en) Detecting prurient activity in video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40090272

Country of ref document: HK