CN107705349A - 用于增强现实感知内容的系统和方法 - Google Patents

用于增强现实感知内容的系统和方法 Download PDF

Info

Publication number
CN107705349A
CN107705349A CN201710006855.9A CN201710006855A CN107705349A CN 107705349 A CN107705349 A CN 107705349A CN 201710006855 A CN201710006855 A CN 201710006855A CN 107705349 A CN107705349 A CN 107705349A
Authority
CN
China
Prior art keywords
augmented reality
content
digital content
trigger signal
user equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710006855.9A
Other languages
English (en)
Other versions
CN107705349B (zh
Inventor
R·贾亚拉杰
M·M·普拉布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipro Ltd
Original Assignee
Wipro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipro Ltd filed Critical Wipro Ltd
Publication of CN107705349A publication Critical patent/CN107705349A/zh
Application granted granted Critical
Publication of CN107705349B publication Critical patent/CN107705349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于增强现实感知内容的系统和方法。该方法包括：对响应于与标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测；利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；根据所述增强现实内容信息，获取增强现实触发信息、增强现实数字内容以及混合内容体验配置当中的至少一个；响应于所述获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；识别所述至少一个现实源中的至少一个增强现实触发信号；以及对所述标准数字内容的所述至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的现实数据当中的一个进行选择性渲染。

Description

用于增强现实感知内容的系统和方法
技术领域
本发明总体涉及增强现实，尤其涉及用于增强现实感知内容的系统和方法。
背景技术
增强现实是一种用于提供情境相关辅助的情境感知内容渲染技术。标准数字内容是以数字数据的形式存在并由支持特定内容类型的标准渲染工具渲染的任何类型的内容。混合内容体验是将增强现实和标准数字内容合并，以产生此两者可在其中共存并实时交互的新的动态体验和可视化内容。
在一种传统增强现实的工具中，增强现实技术用于将线框，图标和文本覆盖至真实世界视图上。类似地，增强现实工具试图以现有的标准数字内容来增强现实。然而，在此增强现实的工具中，所述标准数字内容被完全转换为基于增强现实的数字内容。此方法因需要其他增强现实内容而成为一种时间、精力和成本密集型方法。
上述问题在另一现有增强现实的工具中得以解决。该工具的作用机制能够将身临其境式的内容插入eBook中，从而向电子书用户提供增强现实的体验。然而，该机制仅可用于电子书，并仅限于使用基于增强现实的小部件，而且不能与其他标准数字内容兼容。此外，该增强现实的工具仅用摄像头(和媒体帧)作为现实源和输入。
发明内容
在一种实施方式中，本发明公开了一种渲染增强现实感知标准数字内容的方法。该方法包括：由用户设备对响应于与标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测；利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；根据所述用户设备的渲染能力和增强现实内容信息，获取增强现实触发信息、与该增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由该用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及由所述用户设备根据该用户设备的渲染能力和所述混合内容体验配置，采用所述标准数字内容的至少一个部分、所述增强现实数字内容以及至少一个现实源获取的现实数据当中的一个对所述标准数字内容的所述至少一个部分进行选择性渲染。
在另一实施方式中，本发明公开了一种渲染增强现实感知标准数字内容的系统。该系统包括至少一个处理器以及计算机可读介质。该介质存有指令，该指令在由所述至少一个处理器执行时使得该至少一个处理器实施操作，该操作包括：对响应于与标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测；利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；根据用户设备的渲染能力和增强现实内容信息，获取增强现实触发信息、与该增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由该用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及根据所述用户设备的渲染能力和所述混合内容体验配置，对所述标准数字内容的至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的至少一个现实源获取的现实数据当中的一个进行选择性渲染。
在又一实施方式中，本发明公开了一种渲染增强现实感知标准数字内容的非暂时性计算机可读存储介质，当该介质由计算装置执行时使得该计算装置：由用户设备对响应于与标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测；利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；根据所述用户设备的渲染能力和增强现实内容信息，获取增强现实触发信息、与该增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由该用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及由所述用户设备根据该用户设备的渲染能力和所述混合内容体验配置，对所述标准数字内容的至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的至少一个现实源获取的现实数据当中的一个进行选择性渲染。
应当理解的是，以上概略描述与以下详细描述均仅在于例示和说明，而不在于限制所要求保护的发明。
附图说明
所附各图并入本公开内容之内并构成本公开内容的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。
图1显示了用于实现各种实施方式的示例计算机系统框图。
图2显示了根据一种实施方式渲染增强现实感知标准数字内容的方法流程图。
图3显示了根据另一实施方式渲染增强现实感知标准数字内容的方法流程图。
图4显示了根据一种实施方式创建增强现实感知标准数字内容的方法流程图。
图5显示了根据一种实施方式渲染增强现实感知内容的系统框图。
具体实施方式
以下，参考附图，对例示实施方式进行描述。在任何方便之处，各图中均采用相同附图标记指代相同或类似部件。虽然本文中描述了所公开原理的实施例和特征，但是在不脱离所公开实施方式的精神和范围的前提下，还可进行修改、调整以及实现其他实施方式。以下具体描述意在仅视作例示，而真正的范围及精神如权利要求书所述。
以下对其他说明性实施方式进行描述。在一种实施方式中，图1公开了用于实现各种实施方式的示例计算机系统框图。计算机系统102可包括中央处理单元(“CPU”或“处理器”104)。处理器104可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。用户可包括个人，使用设备(例如，本公开内容范围内的设备)的个人，或此类设备本身。所述处理器可包括专用处理单元，例如集成系统(总线)控制器、存储器管理控制单元、浮点单元、图形处理单元、数字信号处理单元等。所述处理器可包括微处理器，例如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron)，ARM应用处理器，嵌入式或安全处理器，IBM PowerPC，Intel Core、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他处理器产品线等。处理器104可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可采用专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等嵌入式技术。
处理器104可设置为通过输入/输出(I/O)接口106与一个或多个I/O设备进行通信。I/O接口106可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、射频天线、S-视频，VGA、IEEE 802.n/b/g/n/x、蓝牙、蜂窝(例如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口106，计算机系统102可与一个或多个I/O设备进行通信。举例而言，输入设备108可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(例如加速度计、光传感器、GPS、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备110可以为打印机、传真机、视频显示器(例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子等)、音频扬声器等。在一些实施方式中，收发器112可与处理器104连接。收发器112可促进各类无线传输或接收。例如，收发器112包括以可操作方式连接至收发器芯片(例如德州仪器(Texas Instruments)WiLink WL1283、博通(Broadcom)BCM4750IUB8、英飞凌科技(Infineon Technologies)X-Gold618-PMB9800等)的天线，以实现IEEE 802.11a/b/g/n、蓝牙、FM、全球定位系统(GPS)、2G/3G HSDPA/HSUPA通信等。
在一些实施方式中，处理器104可配置为通过网络接口116与通信网络114通信。网络接口116可与通信网络114通信。网络接口116可采用连接协议，包括但不限于，直接连接，以太网(例如双绞线10/100/1000BaseT)，传输控制协议/网际协议(TCP/IP)，令牌环，IEEE802.11a/b/g/n/x等。通信网络114可包括，但不限于，直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口116和通信网络114，计算机系统102可与设备118、120和122通信。这些设备可包括，但不限于，个人计算机，服务器，传真机，打印机，扫描仪，以及各种移动设备，例如蜂窝电话、智能电话(例如苹果(Apple)iPhone、黑莓(Blackberry)、基于安卓(Android)系统的电话等)、平板电脑、电子书阅读器(亚马逊(Amazon)Kindle，Nook等)、膝上型计算机、笔记本电脑、游戏机(微软(Microsoft)Xbox、任天堂(Nintendo)DS，索尼(Sony)PlayStation等)等。在一些实施方式中，计算机系统102本身可包含一个或多个上述设备。
在一些实施方式中，处理器104可配置为通过存储接口124与一个或多个存储设备(例如RAM 126、ROM 128等)通信。存储接口124可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE 1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接协议连接至存储设备130，该存储设备包括，但不限于，存储驱动器、可移除磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。
存储设备130可存储一系列程序或数据库组件，包括但不限于，操作系统132、用户界面应用程序134、网页浏览器136、邮件服务器138、邮件客户端140、用户/应用程序数据142(例如本公开内容中所述的任何数据变量或数据记录)等。操作系统132可促进计算机系统102的资源管理和运行。操作系统132例如包括，但不限于，苹果Macintosh OS X、Unix、类Unix系统套件(例如伯克利软件套件(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux套件(如Red Hat、Ubuntu、Kubuntu等)、IBM OS/2、微软Windows(XP，Vista/7/8等)、苹果iOS、谷歌(Google)安卓、黑莓操作系统等。用户界面134可利用文本或图形工具促进程序组件的显示、执行、互动、操控或操作。例如，用户界面可在以可操作方式连接至计算机系统102的显示系统上提供光标、图标、复选框、菜单、滚动条、窗口、窗口部件等计算机交互界面元件。还可采用图形用户界面(GUI)，包括但不限于，苹果Macintosh操作系统的Aqua、IBM OS/2、微软Windows(例如Aero、Metro等)、Unix X-Windows、网页界面库(例如ActiveX、Java、Javascript、AJAX、HTML、Adobe Flash等)等。
在一些实施方式中，计算机系统102可执行网页浏览器136存储的程序组件。网页浏览器136可以为超文本浏览应用程序，如微软因特网Explorer、谷歌Chrome、谋智(Mozilla)火狐(Firefox)、苹果Safari等。安全网页浏览可通过HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现。网页浏览器可使用AJAX、DHTML、AdobeFlash、JavaScript、Java、应用程序编程接口(API)等工具。在一些实施方式中，计算机系统102可执行邮件服务器138存储的程序组件。邮件服务器138可以为微软Exchange等因特网邮件服务器。所述邮件服务器可使用ASP、ActiveX、ANSI C++/C#、微软.NET、CGI脚本、Java、JavaScript、PERL、PHP、Python、WebObjects等工具。所述邮件服务器还可使用因特网信息访问协议(IMAP)，邮件应用程序编程接口(MAPI)，微软Exchange，邮局协议(POP)，简单邮件传输协议(SMTP)等通信协议。在一些实施方式中，计算机系统102可执行邮件客户端140存储的程序组件。邮件客户端140可为苹果Mail、微软Entourage、微软Outlook、谋智Thunderbird等邮件查看程序。
在一些实施方式中，计算机系统102可存储用户/应用程序数据142，例如本公开内容中所述数据、变量、记录等。此类数据库可以为容错、关系、可扩展、安全数据库，例如甲骨文(Oracle)或赛贝斯(Sybase)。或者，上述数据库可通过数组、散列、链表、结构、结构化文本文件(例如XML)、表格等标准化数据结构实现，或者实施为面向对象的数据库(例如通过ObjectStore、Poet、Zope等)。上述数据库可以为合并或分布数据库，有时分布于本公开内容所讨论的上述各种计算机系统之间。应该理解的是，可以以任何可工作的组合形式对上述任何计算机或数据库组件的结构及操作进行组合、合并或分布。
可以理解的是，为了清楚起见，以上已参考不同功能单元和处理器对本发明实施方式进行了描述。然而，容易想到的是，在不影响本发明的前提下，还可将功能在不同功能单元、处理器或域之间进行任何合适的分布。例如，描述为由各不同处理器或控制器实现的功能也可由同一处理器或控制器实现。因此，所指的特定功能单元仅视为指代用于提供所描述功能的合适手段，而不严格表示逻辑上或物理上的结构或组织。
图2显示了根据一种实施方式渲染增强现实感知标准数字内容的方法流程图。为此目的，首先创建所述增强现实感知标准数字内容，并将标准数字内容和增强现实感知元数据纳入其中。标准数字内容例如包括，但不限于，电子书，PDF文件，记事本，图像，网页，Microsoft Word文档，音频内容，3D对象，虚拟现实，动画内容和视频内容。
通过创建所述增强现实感知标准数字内容，当用户设备不具有在标准数字内容上渲染增强现实的能力，则该用户设备将仅显示所述标准数字内容。换句话说，所述增强现实感知标准数字内容并不仅限于专用用户设备。如此，增强现实感知标准数字内容的创建者和用户无需承担因持有所述标准数字内容的内设和不内设增强现实感知功能的多个版本而带来的开销。相同内容可在具有不同渲染能力的用户设备上得以使用。
所述增强现实感知标准数字内容包括上述标准数字内容和增强现实感知元数据，而此两者进一步包括用于实现增强现实的信息和与其中所包括项目相关联的细节。所述增强现实感知元数据可由，但不限于，文件，数据库或数字存储内容构成，而且可存储于所述标准数字内容之外。或者，所述增强现实感知元数据的至少一部分可存储于所述标准数字内容之内。换句话说，该增强现实感知元数据可部分或全部存储于所述标准数字内容中。
所述增强现实实现信息也为元数据，而且进一步包括与情境敏感触发信号和增强现实内容信息间关联关系相关的细节。换句话说，每当检测到特定情境敏感触发信号时，即获取与该特定情境敏感触发信号相关联的增强现实内容信息。因此，当检测到不具有关联增强现实内容信息的情境敏感触发信号时，将不会导致任何进一步的动作或结果。换言之，此类情境敏感触发信号可以被忽略。所述增强现实实现信息还包括当检测到特定情境敏感触发信号时，与在用户设备中开启或关闭增强现实感知功能相关的细节。在一种示例实施方式中，可使用下表1表示所述增强现实实现信息：
表1
因此，参考上表1，如果检测到情境敏感触发信号CST2，则确定ARC1为与CST2相关联的增强现实内容信息。另外，还确定每当检测到CST2时，需要关闭增强现实感知功能。类似地，每当检测到CST4时，需关闭增强现实感知功能。然而，当检测到CST1和CST3时，需打开增强现实感知功能。下面将对此作进一步详细解释。
情境敏感触发信号可由用户设备根据触发条件的激活而检测到。所述触发条件可包括以下的一个或多个，但不限于：用户动作；用户姿势；用户概况；用户偏好；周围环境；设备位置；设备朝向；内容流动态；以及设备事件，该设备事件包括省电模式、锁定状态和用户设备传感器值。所述情境敏感触发信号与触发条件的激活情境相对应。作为一例，对视频中2:00到2:15秒的时间段的渲染帧可用作情境敏感触发信号。作为另一例，文档第五页第二段到达用户设备显示器顶端可作为情境敏感触发信号。在一种例示实施方式中，可以以下表2表示情境敏感触发信号：
表2
所述增强现实内容信息包括涉及增强现实触发信号与增强现实数字内容间关联关系及混合内容体验配置的相关细节。增强现实触发信号可包括但不限于标记，物体，温度，时间流逝，位置，传感器值和声音。增强现实数字内容可包括但不限于3D模型，图像，音频，视频，动画内容，虚拟现实和文本。作为一例，每当标准数字内容或现实源中的特定标记(增强现实触发)进入视野时，即在背景中播放映射至该标记或与该标记相关联的音频。另一个例子是，当在标准数字内容或现实源中识别到特定对象时，播放与该对象相关联的视频。作为另一例，在用户与标准数字内容交互时，每当达到特定温度时，可以播放蜂鸣声。所述温度可由温度传感器(现实源)获得，该温度传感器可以内置于用户设备或者位于用户附近，并与用户设备通信。在一种例示实施方式中，可以以下表3表示增强现实触发信号：
表3
在此例示实施方式中，对于ART2：以现实源(如摄像头)检测到车轮(物体)作为一种指示。类似地，对于ART3：以温度传感器(现实源)检测到环境温度或用户设备温度大于100摄氏度作为一种指示。在一种例示实施方式中，将增强现实触发信号与增强现实数字内容之间的关联关系作为增强现实内容信息存储，其存储和表示方式如下表4所示：
表4
在一种例示实施方式中，增强现实数字内容还包括其与标准数字内容的一个或多个部分之间的关系/关联的相关信息，如下表5所示：
表5
其中，举例而言，当根据关联增强现实触发信号识别出增强现实数字内容(增强现实数字内容ID：ARDC3)时，将第3页第5段显示为弹出框，并根据上表所示细节对该弹出框的取向做进一步修改。
对应在用户设备上渲染标准数字内容部分、与该标准数字内容部分相关的增强现实数字内容，和/或由现实源获取的现实数据当中的哪些进行管理的规则保存为上述混合内容体验配置。换句话说，该混合内容体验配置规定必须对标准数字内容、增强现实数字内容和现实数据的何种组合进行渲染。该混合内容体验配置定义了可导致最终渲染决定的一系列事件，在以下步骤202～212对其进行进一步详细描述。所述现实源例如可包括但不限于摄像头，麦克风，传感器值和数字内容。所述传感器值可由多种传感器获得，此类传感器可包括但不限于压力传感器，临近传感器，周围环境传感器，陀螺仪，加速度计和罗盘。数字内容可包括但不限于电子书，PDF文件，记事本，图像，网页，Microsoft Word文档，音频内容，3D物体，虚拟现实，动画内容和视频内容。
在创建了增强现实感知标准数字内容后，当用户经用户设备与此类增强现实感知标准数字内容交互时，该用户设备可在步骤202中对响应于与该标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测。所述用户设备对该情境敏感触发信号的检测取决于该用户设备的渲染能力。该用户设备的渲染能力包括检测情境敏感触发信号和增强现实触发信号的能力，渲染增强现实数字内容的能力以及响应于增强现实触发信号的获取而启动一个或多个现实源的能力。
如果所述用户设备无检测情境敏感触发信号的内置功能，或者无实现此目的应用程序，则该用户设备将仅打开所述标准数字内容，而不能检测出该内容为增强现实感知内容。参考上表2，举例而言，用户可正利用其具有情境敏感触发信号检测能力的平板电脑阅读电子书(CID1)。当用户聚焦于该电子书的第2页时，将检测到一个情境敏感触发信号，即CST1。如果该平板电脑为标准平板电脑，则其无法检测到所述情境敏感触发信号。
随后，在步骤204中，基于步骤202中检测到的所述情境敏感触发信号，所述用户设备利用包含增强现实内容信息与情境敏感触发信号间关联记录的增强现实感知元数据确定与所述情境敏感触发信号相关联的增强现实内容信息。在步骤206中，根据所述用户设备的渲染能力以及增强现实内容信息，获取增强现实触发信息，与该增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的一个或多个。
其中，当所述用户设备已根据增强现实内容信息与情境敏感触发信号之间的映射关系确定了增强现实内容信息时，该增强现实内容信息即被用于确定彼此关联的增强现实触发信号和增强现实数字内容。作为一例，参考表4，在步骤204中，由于ARC2与步骤202中检测到的情境敏感触发信号相关联，因此确定ARC2为所述增强现实内容信息。ARC 2表明ART1与ARDC1相关联。作为另一例，当ARC4在步骤204中被确定为所述增强现实内容信息时，则表明ART2与ARDC3相关联。此外，还进一步获取混合内容体验配置，其包括可使用户设备决定当用户与标准数字内容交互时需要在该用户设备上渲染的内容(标准数字内容，增强现实数字内容和/或现实数据)类型和组合的规则。如此，用户便可在所述用户设备上获得混合内容体验。
在上述获取之后，在步骤208中，根据所述情境敏感触发信号，一个或多个现实源被启动。该一个或多个现实源可获取现实数据。所述现实源可例如包括但不限于摄像头，麦克风，传感器值和数字内容。所述传感器值可由多种传感器获得，此类传感器可包括但不限于压力传感器，临近传感器，周围环境传感器，陀螺仪，加速度计和罗盘。数字内容可包括但不限于电子书，PDF文件，记事本，图像，网页，Microsoft Word文档，音频内容，3D物体，虚拟现实，动画内容和视频内容。
当所述增强现实实现信息中情境敏感触发信号和增强现实内容信息之间的映射关系与开启的增强现实感知功能相关联时，可使一个或多个现实源被启动。类似地，当所述映射关系与关闭的增强现实感知功能相关联时，可使一个或多个现实源被停用。参考上述例示实施方式的表1，CST1与ARC1之间的映射关系与开启增强现实相关联，而CST2与ARC1的映射关系与关闭增强现实相关联。举例而言，参考表1和表2，当CID1的第2页被聚焦时，CST1被用户设备检测。随后，该用户设备确定，在表1中ARC1映射至CST1，而且此映射关系与开启增强感知功能相关联。类似地，CST2(CID1的第2页失焦)与ARC1之间的映射关系与关闭增强感知功能相关联。因此，在此情形中，每当CID1的第2页被聚焦时，对用户设备显示屏和用户进行观察的摄像头即被打开，每当第2页失焦时，该摄像头即被关闭。在该摄像头开启期间，其获取第2页被聚焦时的现实数据，该数据包括与用户和用户设备显示屏之间的交互相关的信息。
随后，在步骤210中，所述用户设备识别出所述至少一个现实源中的一个或多个增强现实触发信号。仅当该用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，其才能识别出增强现实触发信号。当所述用户设备为普通设备时，其不能检测出任何增强现实触发信号。继续上例并参考表3，当所述摄像头已打开且第2页处于该摄像头视野中时，其可识别出绘制于第3页上的车轮，并从而使得增强现实触发信号ART2(如表3所述)被识别。
在步骤212中，所述用户设备对所述标准数字内容的一个或多个部分，所述增强现实数字内容以及由与该标准数字内容的一个或多个部分相关的一个或多个现实源获取的现实数据当中的一个进行选择性渲染。该选择性渲染根据所述混合内容体验配置实施。
继续上例，当表3中的ART2被识别时，则进一步确定ART2与表4中的ARDC2相关联或映射至该ARDC2。如此，当所述摄像头检测出CID1的第2页中的车轮时，ART2被识别，并进一步导致需要在所述用户设备上对ARDC2进行渲染的结论。现在参考上表5，对ARDC2的渲染对应于在所述用户设备上全屏打开CID1的完整文档。从打开标准数字内容(即增强现实感知标准数字内容)到全屏打开CID1的完整文档的这一系列事件为建立于所述混合内容体验配置内的规则当中的一个规则。
作为另一例，当所述用户设备上显示某文档且当特定页面进入视野时，通过打开摄像头而开启增强现实感知功能。随后，根据该摄像头的拍摄内容，可在该页面或另一页面上显示内嵌附加信息/覆盖信息。作为又一例，当在摄像镜头内发现特定物体时，可从较大视频中截取一部分(例如从时间2:00到2:15)并将其显示于所述用户设备上。
在所述用户设备上的选择性渲染还取决于该用户设备的渲染能力。换句话说，如果该用户设备仅能渲染标准数字内容，则仅在该用户设备上渲染标准数字内容。如果该用户设备还具有渲染增强现实数字内容的能力，则其还将对与上述标准数字内容相关的增强现实数字内容进行渲染。然而，由于其不能启动现实源，因此不能根据由该现实源获取的现实数据对与所述标准数字内容相关的增强现实数字内容进行渲染。
例如，当使用所述用户设备上的普通PDF阅读器打开增强现实感知PDF文档时，该PDF文档将显示为无增强现实感知功能的普通PDF文档。然而，当使用该用户设备上的增强现实感知PDF阅读器打开相同文档时，还会对额外增强现实感知特征进行渲染。
由此可见，以上根据使用环境(目的)将可提供身临其境式混合内容体验的增强现实感知标准数字内容向用户渲染，而且标准数字内容的动态选择部分的渲染也基于使用环境。此外，还提供了可叠加于现有非增强现实内容或替代现有非增强现实内容的增强现实内容和非增强现实内容，从而可使维护人员的技能得到补充。此外，增强现实体验的所有现实输入被认为均可实现上述目的。
图3显示了根据另一实施方式渲染增强现实感知标准数字内容的方法流程图。在步骤302中，创建增强现实感知标准数字内容。以上已结合图2，对此进行了详细描述。在创建所述增强现实感知标准数字内容的过程中，增强现实感知功能和增强现实数字内容均可完全内嵌配置于所述标准数字内容中。或者，也可将增强现实数字内容配置于所述标准数字内容之外，而将增强现实感知功能内嵌配置于该标准数字内容之中。在另一情形中，还可将增强现实感知功能和增强现实数字内容完全配置于所述标准数字内容之外。
随后，在步骤304中，对响应于与标准数字内容相关的触发条件的激活而启动的情境敏感触发信号进行检测。在步骤306中，利用增强现实感知元数据确定与所述情境敏感触发信号相关联的增强现实内容信息。在步骤308中，根据所述增强现实内容信息与用户设备的渲染能力，获取增强现实触发信息，与该增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的一个或多个。以上已结合图2，对此进行了详细描述。
随后，在步骤310中，相应于步骤308中的获取动作，一个或多个现实源通过所述情境敏感触发信号被激活，以对现实数据进行获取。在步骤312中，识别所述一个或多个现实源中的一个或多个增强现实触发信号。以上已结合图2，对此进行了详细描述。在步骤314中，当所述情境敏感触发信号过期时，或当识别出停用情境敏感触发信号时，所述一个或多个现实源被停用。换句话说，增强现实感知功能可启动或关闭。作为一例，当标准数字内容的第3页进入视野时，物体检测引擎可被打开，而当该第5页离开视野时，所述对象检测引擎可被关闭。作为另一例，当对3:00到3:20时间段的帧进行渲染时，可打开噪声检测引擎，而当用户点击视频的暂停按钮时，该噪声检测引擎可被关闭。
增强现实引擎的选择还受到多种因素的影响，这些因素可包括但不限于用户偏好，增强现实数字内容，增强现实感知内容和用户设备的能力。例如，PDF文件的第2页可能含有用于开启增强现实功能以找出建筑物名称的标记。在这种情况下，仅运行光学字符识别(OCR)子引擎可能更加快捷，并节省时间和资源。
在步骤316中，用户设备根据其自身的能力自动确定在该用户设备上对增强现实数字内容进行渲染的程度。在一种实施方式中，通过对用户设备的能力进行查询而决定适当的渲染程度。所述能力可包括但不限于处理能力，可用存储器，显示尺寸，剩余电池量和通信速度。用户设备的这些能力用于增强现实感知内容渲染器所考虑的各种决策因素中。这些决策因素可包括，但不限于，选择合适的增强现实引擎，选择增强目标以及选择增强质量。
作为一例，具有2GHz处理器速度的用户设备可运行X增强现实引擎，而具有1GHz处理器的用户设备可运行Y增强现实引擎。所述X增强现实引擎的能力优于Y增强现实引擎的能力。作为另一例，一用户设备可具有由硬件加速的3D引擎，而另一用户设备可不具有该由硬件加速的3D引擎。如此，可做出在不具有所述硬件加速的3D引擎的用户设备上不显示3D增强内容的决定。
在此之后，在步骤316中，用户设备对所述标准数字内容的一个或多个部分、所述增强现实数字内容以及由所述一个或多个现实源获取的现实数据当中的一个进行渲染。以上已结合图2，对此进行了详细描述。
图4为显示了一种实施方式创建增强现实感知标准数字内容的方法流程图。在步骤402中，形成情境敏感触发信号与增强现实内容信息之间的关联关系以及增强现实触发信息与增强现实数字内容之间的关联关系。随后，在步骤404中，对包含选择性渲染规则的混合内容体验配置进行设置。以上已结合图2，对此进行了详细描述。
图5为显示了一种实施方式用于渲染增强现实感知标准数字内容的增强现实渲染系统500的框图。增强现实渲染系统500包括配置模块502，内容存储模块504和渲染模块506。
配置模块502由内容创建器508使用，以利用馈入配置模块502的外部标准数字内容创建和配置增强现实感知标准数字内容。配置模块502将标准数字内容和增强现实感知元数据(ARAMA)信息存入内容存储模块504的内容存取控制器510中，并从该内容存取控制器获取所述信息，该内容存取控制器对增强现实感知标准数字内容进行存储和管理，并将其提供给渲染模块506。为实现此目的，内容存取控制器510与渲染模块506的内容处理器512通信。随后，内容处理器512使得所述数据可供渲染模块506的各种模块和组件使用。以上已结合图2，对增强现实感知标准数字内容的创建和配置进行了详细描述。
渲染模块506还包括情境敏感触发模块514，现实源控制器516，内容混合器518，用户动作处理器520和内容渲染模块522。情境敏感触发模块514从渲染模块506中的其他模块和部件获取情境输入。此外，所述情境敏感触发模块还分析和生成情境敏感触发信号，并使其可供其他模块和部件使用。以上已结合图2，对情境敏感触发信号进行了详细描述。
现实源控制器516接收由现实源捕获的现实数据。现实源例如可包括但不限于摄像头，传感器值和数字内容。所述现实数据可以来自相同设备和/或其他外部源和环境。由内容处理器512，情境敏感触发模块514和现实源控制器516获取或生成的内容传送至内容混合器518。
内容混合器518包括增强现实引擎524和混合内容引擎526，并使用这些引擎对所接收的内容进行混合，而且将混合后的内容发送于内容渲染模块522。除了接收所述混合后的内容外，内容渲染模块522还从用户动作处理器520接收输入，而该用户动作处理器又从内容用户528接收输入。根据所接收的信息，内容渲染模块522在输出设备530上选择性渲染该所接收的内容，以供内容用户528消费。以上已结合图2，对此进行了详细描述。
本发明的各种实施方式提供用于增强现实感知内容的系统和方法。其中，根据使用环境(目的)将可提供身临其境式混合内容体验的增强现实感知标准数字内容向用户渲染，而且标准数字内容的动态选择部分的渲染也基于使用环境。此外，还提供了可叠加于现有非增强现实内容或替代现有非增强现实内容的增强现实内容和非增强现实内容，从而可使维护人员的技能得到补充。此外，增强现实体验的所有现实输入被认为均可实现上述目的。
本说明书已对用于增强现实感知内容的系统和方法进行了描述。所示步骤用于说明所述例示实施方式，并且应当预想到的是，随着技术的不断发展，特定功能的执行方式也将发生改变。本文所呈现的上述实施例用于说明而非限制目的。此外，为了描述的方便性，本文对各功能构建模块边界的定义为任意性的，只要其上述功能及其关系能够获得适当执行，也可按其他方式定义边界。根据本申请的启示内容，替代方案(包括本申请所述方案的等同方案、扩展方案、变形方案、偏差方案等)对于相关领域技术人员是容易想到的。这些替代方案均落入所公开实施方式的范围和精神内。
此外，一个或多个计算机可读存储介质可用于实施本公开内容的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。其中，计算机可读存储介质可对由一个或多个处理器执行的指令进行存储，包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件且不包括载波及瞬态信号，即为非临时性介质，例如随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、只读光盘存储器(CD-ROM)、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以上公开内容及实施例旨在于仅视为示例性，所公开实施方式的真正范围和精神由权利要求指出。

Claims (20)

1.一种渲染增强现实感知标准数字内容的方法，其特征在于，所述方法包括：
由用户设备对情境敏感触发信号进行检测，所述情境敏感触发信号响应于与标准数字内容相关的触发条件的激活而启动；
利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；
根据所述用户设备的渲染能力和所述增强现实内容信息，获取增强现实触发信息、与所述增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；
响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；
当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由所述用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及
由所述用户设备根据所述用户设备的渲染能力和所述混合内容体验配置，对所述标准数字内容的至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的至少一个现实源获取的现实数据当中的一个进行选择性渲染。
2.如权利要求1所述的方法，其特征在于，所述情境敏感触发信号的触发条件包括以下当中的至少一个：用户动作，用户姿势，用户概况，用户偏好，周围环境，设备位置，设备取向，内容流动态，以及设备事件，所述设备事件包括省电模式、锁定状态和用户设备传感器值。
3.如权利要求1所述的方法，其特征在于，所述标准数字内容包括以下当中的至少一个：电子书，PDF文件，记事本，图像，网页，Microsoft Word文档，音频内容，3D对象，虚拟现实，动画内容，以及视频内容。
4.如权利要求1所述的方法，其特征在于，所述情境敏感触发信号对应于所述触发条件被激活的情境，由所述情境敏感触发信号指示增强现实数字内容的启用或禁用。
5.如权利要求1所述的方法，其特征在于，还包括根据所述用户设备的渲染能力，在所述用户设备上对所述标准数字内容的所述至少一部分进行渲染。
6.如权利要求1所述的方法，其特征在于，还包括根据所述用户设备的渲染能力，在所述用户设备上对所述标准数字内容的所述至少一部分以及所述增强现实数字内容进行渲染，其中，所述增强现实数字内容叠加于所述标准数字内容之上。
7.如权利要求1所述的方法，其特征在于，所述至少一个现实源包括摄像头，传感器值和数字内容。
8.如权利要求1所述的方法，其特征在于，还包括根据所述用户设备的能力，自动确定在所述用户设备上对所述增强现实数字内容进行渲染的程度。
9.如权利要求1所述的方法，其特征在于，所述增强现实触发信号包括以下当中的至少一个：标记，物体，温度，时间流逝，位置，传感器值，以及声音。
10.如权利要求1所述的方法，其特征在于，还包括创建所述增强现实感知标准数字内容，所述创建包括：
形成情境敏感触发信号与增强现实内容信息之间的关联关系以及增强现实触发信息与增强现实数字内容之间的关联关系；以及
对所述混合内容体验配置进行设置，以使所述混合内容体验配置包括对所述标准数字内容的所述至少一个部分、与所述标准数字内容的所述至少一个部分相关的增强现实数字内容以及由所述至少一个现实源获取的现实数据当中的至少一个进行选择性渲染的规则。
11.如权利要求1所述的方法，其特征在于，还包括当所述情境敏感触发信号过期时，或者当识别出停用情境敏感触发信号时，停用所述至少一个现实源。
12.如权利要求1所述的方法，其特征在于，所述用户设备的渲染能力包括：检测情境敏感触发信号的能力，检测增强现实触发信号的能力，渲染增强现实数字内容的能力，以及响应于增强现实触发信号的获取而启动所述至少一个现实源的能力。
13.一种渲染增强现实感知标准数字内容的系统，其特征在于，所述系统包括：
至少一个处理器；以及
存有指令的计算机可读介质，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器实施操作，所述操作包括：
对情境敏感触发信号进行检测，所述情境敏感触发信号响应于与标准数字内容相关的触发条件的激活而启动；
利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；
根据用户设备的渲染能力和增强现实内容信息，获取增强现实触发信息、与所述增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；
响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；
当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由所述用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及
根据所述用户设备的渲染能力和所述混合内容体验配置，对所述标准数字内容的至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的至少一个现实源获取的现实数据当中的一个进行选择性渲染。
14.如权利要求13所述的系统，其特征在于，所述情境敏感触发信号的触发条件包括以下当中的至少一个：用户动作，用户姿势，用户概况，用户偏好，周围环境，设备位置，设备取向，内容流动态，以及设备事件，所述设备事件包括省电模式、锁定状态和用户设备传感器值。
15.如权利要求13所述的系统，其特征在于，所述操作还包括，根据所述用户设备的渲染能力，在所述用户设备上对所述标准数字内容的所述至少一部分进行渲染。
16.如权利要求13所的述系统，其特征在于，所述操作还包括，根据所述用户设备的渲染能力，在所述用户设备上对所述标准数字内容的所述至少一部分以及所述增强现实数字内容进行渲染，其中，所述增强现实数字内容叠加于所述标准数字内容之上。
17.如权利要求13所的述系统，其特征在于，所述操作还包括，根据所述用户设备的能力，自动确定在所述用户设备上对所述增强现实数字内容进行渲染的程度。
18.如权利要求13所的述系统，其特征在于，所述操作还包括，创建所述增强现实感知标准数字内容，所述创建包括如下操作：
形成情境敏感触发信号与增强现实内容信息之间的关联关系以及增强现实触发信息与增强现实数字内容之间的关联关系；以及
对所述混合内容体验配置进行设置，以使所述混合内容体验配置包括对所述标准数字内容的所述至少一个部分、与所述标准数字内容的所述至少一个部分相关的增强现实数字内容以及由所述至少一个现实源获取的现实数据当中的至少一个进行选择性渲染的规则。
19.如权利要求13所述的系统，其特征在于，所述操作还包括，当所述情境敏感触发信号过期时，或者当识别出停用情境敏感触发信号时，停用所述至少一个现实源。
20.一种渲染增强现实感知标准数字内容的非暂时性计算机可读存储介质，其特征在于，当所述介质由计算装置执行时使得所述计算装置：
由用户设备对情境敏感触发信号进行检测，所述情境敏感触发信号响应于与标准数字内容相关的触发条件的激活而启动；
利用增强现实感知数据确定与所述情境敏感触发信号相关联的增强现实内容信息；
根据所述用户设备的渲染能力和增强现实内容信息，获取增强现实触发信息、与所述增强现实触发信息相关联的增强现实数字内容以及混合内容体验配置当中的至少一个；
响应于所述增强现实内容信息、增强现实触发信息以及混合内容体验配置的获取，根据所述情境敏感触发信号，启动至少一个现实源，以获取现实数据；
当所述用户设备的渲染能力包括识别现实源中的增强现实触发信号的能力时，由所述用户设备识别所述至少一个现实源中的至少一个增强现实触发信号；以及
由所述用户设备根据所述用户设备的渲染能力和所述混合内容体验配置，对所述标准数字内容的至少一个部分、所述增强现实数字内容以及由与所述标准数字内容的所述至少一个部分相关的至少一个现实源获取的现实数据当中的一个进行选择性渲染。
CN201710006855.9A 2016-08-03 2017-01-05 用于增强现实感知内容的系统和方法 Active CN107705349B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201641026534 2016-08-03
IN201641026534 2016-08-03

Publications (2)

Publication Number Publication Date
CN107705349A true CN107705349A (zh) 2018-02-16
CN107705349B CN107705349B (zh) 2021-06-11

Family

ID=57256074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710006855.9A Active CN107705349B (zh) 2016-08-03 2017-01-05 用于增强现实感知内容的系统和方法

Country Status (3)

Country Link
US (1) US10169921B2 (zh)
EP (1) EP3279869A1 (zh)
CN (1) CN107705349B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515880A (zh) * 2016-06-17 2017-12-26 宏碁股份有限公司 数据分散处理系统与方法
CN108845745A (zh) * 2018-07-04 2018-11-20 百度在线网络技术（北京）有限公司 增强现实的触发方法、装置、电子设备及存储介质
CN109191590A (zh) * 2018-09-26 2019-01-11 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
CN110389646A (zh) * 2018-04-17 2019-10-29 富士施乐株式会社 用于语义或视觉协同增强现实的系统和方法
CN111310049A (zh) * 2020-02-25 2020-06-19 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
CN107766303A (zh) * 2017-10-23 2018-03-06 百度在线网络技术（北京）有限公司 向用户提供3d阅读场景
CN108932751A (zh) * 2018-08-15 2018-12-04 北京知感科技有限公司 快速创建vr/ar/mr内容的系统及方法
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
KR102603254B1 (ko) 2018-12-13 2023-11-16 삼성전자주식회사 웹 콘텐츠를 ar모드에서 표시하는 전자 장치 및 방법
CN113330484A (zh) * 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
KR20210003033A (ko) 2019-07-01 2021-01-11 최해용 Vr 영상 구현용 책자
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US10777017B1 (en) 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120144169A1 (en) * 2010-12-03 2012-06-07 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and computer readable medium
CN103035135A (zh) * 2012-11-27 2013-04-10 北京航空航天大学 基于增强现实技术的儿童认知系统及认知方法
CN103197980A (zh) * 2012-01-10 2013-07-10 华为终端有限公司 一种呈现增强现实技术内容的方法、装置及系统
EP2761571A2 (en) * 2011-09-30 2014-08-06 iOculi Inc. Location based augmented reality system for exchange of items based on location sensing and methods and devices related thereto
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
US20150042681A1 (en) * 2013-08-12 2015-02-12 Airvirtise Augmented Reality Device
US20150235267A1 (en) * 2014-02-19 2015-08-20 Cox Target Media, Inc. Systems and methods for delivering content

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460327B2 (en) 2006-07-28 2019-10-29 Palo Alto Research Center Incorporated Systems and methods for persistent context-aware guides
US7735019B2 (en) 2007-04-25 2010-06-08 International Business Machines Corporation Method for providing functional context within an actively scrolling view pane
JP2011253512A (ja) 2010-06-02 2011-12-15 Kunio Yasuzawa 拡張現実感の応用装置
CN101976563A (zh) 2010-10-22 2011-02-16 深圳桑菲消费通信有限公司 一种判断移动终端通话接通后有无通话语音的方法
CN102110379A (zh) 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US20130002425A1 (en) 2011-07-01 2013-01-03 General Electric Company Augmented reality excessive noise display and warning system
CN102509484A (zh) 2011-10-13 2012-06-20 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统及其学习方法
CN202331859U (zh) 2011-10-13 2012-07-11 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习系统
TW201316328A (zh) 2011-10-14 2013-04-16 Hon Hai Prec Ind Co Ltd 聲音反饋裝置及其工作方法
KR101193668B1 (ko) 2011-12-06 2012-12-14 위준성 스마트 기기를 이용한 상황 인식 기반 외국어 습득 및 학습 서비스 제공 방법
GB201122284D0 (en) * 2011-12-23 2012-02-01 Zappar Ltd Content identification and distribution
JP6208151B2 (ja) 2012-02-06 2017-10-04 ソニー インタラクティブ エンタテインメント ヨーロッパ リミテッド 拡張現実のためのブックオブジェクト
GB2499249B (en) 2012-02-13 2016-09-21 Sony Computer Entertainment Europe Ltd System and method of image augmentation
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US9430876B1 (en) * 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20140173441A1 (en) 2012-12-19 2014-06-19 Hcl Technologies Limited Method and system for inserting immersive contents into eBook
KR102056175B1 (ko) * 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
EP3042340A4 (en) 2013-09-02 2017-04-26 Suresh T. Thankavel Ar-book
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
EP3138284A4 (en) * 2014-04-30 2017-11-29 Aurasma Limited Augmented reality without a physical trigger
US20160112479A1 (en) * 2014-10-16 2016-04-21 Wipro Limited System and method for distributed augmented reality
CN104992205B (zh) 2015-06-04 2018-11-06 西安教育文化数码有限责任公司 基于ar图书的索引式增强现实系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120144169A1 (en) * 2010-12-03 2012-06-07 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and computer readable medium
EP2761571A2 (en) * 2011-09-30 2014-08-06 iOculi Inc. Location based augmented reality system for exchange of items based on location sensing and methods and devices related thereto
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN103197980A (zh) * 2012-01-10 2013-07-10 华为终端有限公司 一种呈现增强现实技术内容的方法、装置及系统
CN103035135A (zh) * 2012-11-27 2013-04-10 北京航空航天大学 基于增强现实技术的儿童认知系统及认知方法
US20150042681A1 (en) * 2013-08-12 2015-02-12 Airvirtise Augmented Reality Device
US20150235267A1 (en) * 2014-02-19 2015-08-20 Cox Target Media, Inc. Systems and methods for delivering content

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107515880A (zh) * 2016-06-17 2017-12-26 宏碁股份有限公司 数据分散处理系统与方法
CN110389646A (zh) * 2018-04-17 2019-10-29 富士施乐株式会社 用于语义或视觉协同增强现实的系统和方法
CN108845745A (zh) * 2018-07-04 2018-11-20 百度在线网络技术（北京）有限公司 增强现实的触发方法、装置、电子设备及存储介质
CN109191590A (zh) * 2018-09-26 2019-01-11 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
CN109191590B (zh) * 2018-09-26 2023-11-07 浙江优创信息技术有限公司 一种用于制作虚拟现实应用的处理系统及处理方法
CN111310049A (zh) * 2020-02-25 2020-06-19 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备
CN111310049B (zh) * 2020-02-25 2023-04-07 腾讯科技（深圳）有限公司 一种信息交互方法及相关设备

Also Published As

Publication number Publication date
EP3279869A1 (en) 2018-02-07
US20180040166A1 (en) 2018-02-08
US10169921B2 (en) 2019-01-01
CN107705349B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107705349A (zh) 用于增强现实感知内容的系统和方法
US20220365646A1 (en) Messaging system with message transmission user interface
US11734959B2 (en) Activating hands-free mode on mirroring device
US10038839B2 (en) Assisted text input for computing devices
US20200311116A1 (en) Context based media curation
EP4296827A1 (en) Redundant tracking system
US11727280B2 (en) Generative neural network distillation
CN114402275A (zh) 用于使用增强现实进行建模、测量和绘图的系统、方法和图形用户界面
US10786196B2 (en) Display apparatus and control method thereof for skin care analysis
WO2016041340A1 (zh) 一种提示方法及移动终端
US20200412864A1 (en) Modular camera interface
US11487501B2 (en) Device control using audio data
US11521334B2 (en) Augmented reality experiences of color palettes in a messaging system
CN111240482B (zh) 一种特效展示方法及装置
US11030815B2 (en) Method and system for rendering virtual reality content
US20210336916A1 (en) Event overlay invite messaging system
US11710311B2 (en) Dynamic contextual media filter
US20220207805A1 (en) Adding time-based captions to captured video within a messaging system
US20210312678A1 (en) Generating augmented reality experiences with physical products using profile information
US20220101609A1 (en) Online transaction based on currency scan
WO2021203118A1 (en) Identification of physical products for augmented reality experiences in a messaging system
EP4173266A1 (en) Camera user interface to generate content
US10057321B2 (en) Image management apparatus and control method capable of automatically creating comment data relevant to an image
US11546280B2 (en) Messaging system with discard user interface
US11520980B2 (en) Techniques for enhancing an electronic document with an interactive workflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant