CN110352595A - 用于提供增强现实叠加的系统和方法 - Google Patents

用于提供增强现实叠加的系统和方法 Download PDF

Info

Publication number
CN110352595A
CN110352595A CN201780087779.7A CN201780087779A CN110352595A CN 110352595 A CN110352595 A CN 110352595A CN 201780087779 A CN201780087779 A CN 201780087779A CN 110352595 A CN110352595 A CN 110352595A
Authority
CN
China
Prior art keywords
user
camera view
augmented reality
social networking
networking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780087779.7A
Other languages
English (en)
Other versions
CN110352595B (zh
Inventor
约翰·塞谬尔·巴尼特
丹特利·戴维斯
陆从喜
乔纳森·莫顿
皮特·瓦伊达
约书亚·查尔斯·哈里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN110352595A publication Critical patent/CN110352595A/zh
Application granted granted Critical
Publication of CN110352595B publication Critical patent/CN110352595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

系统、方法和非暂时性计算机可读介质可以识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象。基于在照相机视图中识别的一个或更多个对象来确定增强现实叠加。基于增强现实叠加来修改照相机视图。

Description

用于提供增强现实叠加的系统和方法
发明领域
本技术涉及增强现实领域。更具体地，本技术涉及用于提供增强现实叠加(augmented reality overlay)的系统和方法。
背景
如今，人们常常为了各种各样的目的而利用计算设备(或系统)。用户可以使用他们的计算设备来例如，与彼此交互、创建内容、共享内容和观看内容。在一些情况下，用户可以利用他的或她的计算设备来访问社交网络系统(或服务)。用户可以经由社交网络系统提供、发布、共享和访问各种内容项目，例如状态更新、图像、视频、文章和链接。
社交网络系统可以对大量数据具有访问权。例如，社交网络系统可以对关于社交网络系统上的用户、被发布到社交网络系统的内容、以及用户与被发布到社交网络系统的内容的交互的数据具有访问权。可以使用社交网络系统可用的数据来提升与社交网络系统相关联的用户体验。当获得关于社交网络系统上的用户、内容和用户交互的知识时，可以优化通过社交网络系统提供的特征、服务和其他工具，以增加用户对社交网络系统的兴趣和参与。
概述
本公开的各种实施例可以包括被配置为识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象的系统、方法和非暂时性计算机可读介质。基于在照相机视图中识别的一个或更多个对象来确定增强现实叠加。基于该增强现实叠加来修改照相机视图。
在实施例中，基于机器学习技术来识别照相机视图中描绘的一个或更多个对象。
在实施例中，接收与用户设备相关联的用户位置信息。基于用户位置信息来识别照相机视图中描绘的一个或更多个对象。
在实施例中，与用户位置信息相关联的一个或更多个机器学习模型被下载到用户设备。基于该一个或更多个机器学习模型来识别照相机视图中描绘的一个或更多个对象。
在实施例中，增强现实叠加包括与照相机视图中描绘的一个或更多个对象中的对象相关联的上下文信息。
在实施例中，上下文信息包括与该对象相关联的社交网络系统信息。
在实施例中，社交网络系统信息包括由社交网络系统的用户发布的与对象相关联的一个或更多个内容项目。
在实施例中，增强现实叠加包括交互式增强现实对象，该交互式增强现实对象表现为与照相机视图中描绘的一个或更多个对象中的对象进行交互。
在实施例中，基于与对象的关联来选择交互式增强现实对象。
在实施例中，确定增强现实叠加包括向用户呈现多个增强现实叠加，以及接收对来自该多个增强现实叠加的一增强现实叠加的选择。
本公开的各种实施例可以包括被配置为识别在由第二用户捕获的图像内容中描绘的第一用户的系统、方法和非暂时性计算机可读介质。基于隐私设置确定第一用户在图像内容中应当被遮蔽(obscure)。图像内容被修改以遮蔽第一用户。
在实施例中，图像内容包括在用户设备上的照相机应用的照相机视图。
在实施例中，图像内容包括由第二用户上传到社交网络系统的图像或视频。
在实施例中，基于自动面部识别技术来识别第一用户。
在实施例中，隐私设置包括与社交网络系统上的第一用户相关联的隐私设置。
在实施例中，与社交网络系统上的第一用户相关联的隐私设置包括社交图要求(social graph requirement)。
在实施例中，确定第一用户应当被遮蔽包括确定第二用户不是社交网络系统上的第一用户的关连人(connection)或关连人的关连人。
在实施例中，隐私设置包括与社交网络系统上的第二用户相关联的隐私设置。
在实施例中，确定第一用户应当被遮蔽包括确定第一用户不是社交网络系统上的第二用户的关连人或关连人的关连人。
在实施例中，隐私设置包括基于位置的隐私设置，并且基于与图像内容相关联的位置信息来确定第一用户应当被遮蔽。
应当理解，从附图中和从下面的详细描述中，所公开的技术的许多其他特征、应用、实施例和/或变化将是明显的。本文描述的结构、系统、非暂时性计算机可读介质和方法的附加和/或替代实现可以被使用而不偏离所公开的技术的原理。
附图简述
图1示出了根据本公开的实施例的包括增强现实叠加模块的示例系统。
图2示出了根据本公开的实施例的示例基于对象的增强现实叠加模块。
图3示出了根据本公开的实施例的示例隐私保护增强现实叠加模块。
图4示出了根据本公开的实施例的与基于对象识别来提供增强现实叠加相关联的示例方法。
图5示出了根据本公开的实施例的与基于隐私设置来遮蔽图像内容中的用户相关联的示例方法。
图6示出了根据本公开的实施例的可以在各种场景中利用的包括示例社交网络系统的示例系统的网络图。
图7示出了根据本公开的实施例的可以在各种场景中利用的计算机系统或计算设备的示例。
附图仅为了说明的目的描绘了所公开的技术的各种实施例，其中附图使用相似的参考数字来标识相似的元件。本领域中的技术人员将从下面的讨论中容易认识到，在附图中示出的结构和方法的替代实施例可以被采用而不偏离本文描述的所公开的技术的原理。
详细描述
提供增强现实叠加的方法
如今，人们常常为了各种各样的目的而利用计算设备(或系统)。用户可以使用他们的计算设备来例如，与彼此交互、创建内容、共享内容和观看内容。在一些情况下，用户可以利用他的或她的计算设备来访问社交网络系统(或服务)。用户可以经由社交网络系统提供、发布、共享和访问各种内容项目，例如状态更新、图像、视频、文章和链接。
社交网络系统可以对大量的数据具有访问权。例如，社交网络系统可以对关于社交网络系统上的用户、被发布到社交网络系统的内容、以及用户与被发布到社交网络系统的内容的交互的数据具有访问权。可以使用社交网络系统可用的数据来提升与社交网络系统相关联的用户体验。当获得关于社交网络系统上的用户、内容和用户交互的知识时，可以优化通过社交网络系统提供的特征、服务和其他工具，以增加用户对社交网络系统的兴趣和参与。
对于社交网络系统，向用户提供工具以轻松地创建并共享有趣的、高质量的内容给社交网络系统仍然有重要的意义。这类工具可以在社交网络系统上产生更多数量的有趣的内容帖子。更多数量的有趣的内容帖子导致在社交网络系统上更多的参与和互动。然而，向用户提供这类工具是很难的。例如，在某些传统方法中，以促进有趣的内容的创建为目的而提供的工具可能不直观且难以使用。此外，传统方法通常不能在同时参与现实世界体验和环境的同时向用户提供参与社交网络系统的机会和提醒和为社交网络系统创建有趣的内容。在某些情况下，鼓励用户生成更多内容同时保护社交网络系统上其他用户的隐私利益也是一个挑战。
植根于计算机技术的改进的方法克服了与在计算机技术领域中特别出现的传统方法相关联的前述和其他缺点。在一些实施例中，可以向用户提供增强现实叠加，该增强现实叠加修改在照相机应用中呈现给用户的照相机视图。当用户在他的或她的计算设备(例如移动设备)上打开照相机应用时，可以向用户呈现照相机(例如，内置于用户的移动设备中的照相机)当前捕获的图像数据的照相机视图。当用户四处移动他的或她的照相机时，照相机视图可以被更新以反映照相机正在捕获的内容。贯穿本公开，术语“捕获(capturing)”图像数据可以被理解为包括通过照相机视图对图像数据的瞬时呈现(例如，通过照相机的取景器对周围环境的显示，而没有对与该周围环境相关联的图像数据的任何永久或半永久记录)，以及对通过照相机视图呈现的图像数据的永久或半永久记录(例如，录制视频或拍摄照片)。在各种实施例中，增强现实叠加可以被施加在照相机视图上，以修改呈现给用户的照相机视图。例如，在某些实施例中，增强现实叠加可以呈现关于照相机视图中描绘的对象的信息。在另一示例中，在各种实施例中，增强现实叠加可以用于实现各种隐私保护特征，例如模糊和/或以其他方式遮蔽照相机视图中描绘的人。增强现实叠加可以用于例如向用户提供关于用户的周围区域的附加信息。在另一示例中，用户可以捕获内容(例如，图像和/或视频)，其中由用户的照相机捕获的图像被增强现实叠加修改。本文将更详细地描述这些概念。
图1示出了根据本公开的实施例的包括示例增强现实叠加模块102的示例系统100。增强现实叠加模块102可以被配置成提供一个或更多个增强现实叠加，以修改由照相机捕获的图像内容。图像内容可以包括例如，在照相机应用中呈现的照相机视图和/或图像或视频。例如，用户可以使用用户的移动设备上的照相机来捕获图像和/或视频。当用户四处移动照相机时，照相机捕获的图像数据可以在照相机视图中(例如，在用户的移动设备的显示器上)被呈现给用户。增强现实叠加可以被应用于照相机视图以修改照相机视图。
在某些实施例中，可以基于在照相机视图中检测到的对象来向用户提供一个或更多个增强现实叠加。例如，如果用户的照相机视图描绘了金门大桥(Golden Gate Bridge)，则可以利用对象检测或识别技术来识别金门大桥，并基于所识别的对象来推荐一个或更多个增强现实叠加。在金门大桥的示例中，可以向用户推荐增强现实叠加，在一个实例中，该增强现实叠加可以包括被施加在照相机视图上的写着“来自金门大桥的你好！(Hello fromthe Golden Gate Bridge！)”的明信片风格的边框(frame)。在另一示例中，增强现实叠加可以包括呈现在照相机视图内的金门大桥旁边的关于金门大桥的历史信息。用户然后可以录制包括该增强现实叠加的图像和/或视频。
在各种实施例中，增强现实叠加模块102可以被配置为提供一个或更多个增强现实叠加来保护用户隐私。某些人可能不希望被捕获在其他用户的图像或视频中。可以通过实现增强现实叠加来保护用户隐私，该增强现实叠加遮蔽了被捕获在其他用户的图像内容(例如，照相机视图、图像、视频)中的用户。在各种实施例中，可以基于用户隐私设置来提供一个或更多个增强现实叠加。例如，可以赋予用户定义隐私设置的能力(例如，通过修改社交网络系统上用户的账户的隐私设置)。用户的隐私设置可以用于在其他用户的图像内容中选择性地遮蔽用户的脸。例如，面部识别技术可以用于检测第一用户出现在第二用户的照相机视图、图像和/或视频中。可以生成增强现实叠加，以基于第一用户的隐私设置来选择性地遮蔽第一用户的脸。在某些实施例中，隐私设置可以包括社交图要求。例如，第一用户可能已经在他的或她的隐私设置中指定了唯有其他用户是社交网络系统上的关连人(例如，朋友)或关连人的关连人(例如，朋友的朋友)，他或她才希望出现在其他用户的图像内容中。如果第二用户被关连到社交网络系统上的第一用户(例如，第一用户的朋友、第一用户的朋友的朋友)，则第一用户的脸可以保持不被遮蔽。然而，如果第二用户不满足第一用户的隐私设置中的社交图要求，则可以提供增强现实叠加，该增强现实叠加在第二用户的照相机视图中、和/或在由第二用户捕获的任何图像或视频中遮蔽第一用户的脸和其他识别特征。
如图1的示例中所示，增强现实叠加模块102可以包括基于对象的增强现实叠加模块104和隐私保护增强现实叠加模块106。在一些实例中，示例系统100可以包括至少一个数据储存器110。在该附图和本文的所有附图中示出的部件(例如，模块、元件等)仅仅是示例性的，且其他实现可以包括附加的、更少的、集成的、或不同的部件。一些部件可能未示出，以便不使相关细节模糊。
在一些实施例中，增强现实叠加模块102可以部分地或全部被实现为软件、硬件或其任何组合。通常，如本文讨论的模块可以与软件、硬件或其任何组合相关联。在一些实现中，模块的一个或更多个功能、任务和/或操作可以由软件例程、软件过程、硬件和/或其任何组合来实施或执行。在一些情况下，增强现实叠加模块102可以部分地或全部被实现为在一个或更多个计算设备或系统上(例如在用户计算设备或客户端计算设备上)运行的软件。在一个示例中，增强现实叠加模块102或其至少一部分可以被实现为在用户计算设备或客户端计算系统(例如图6的用户设备610)上运行的应用(例如，app)、程序或小应用程序(applet)等，或者在应用(例如，app)、程序或小应用程序等内实现。在另一示例中，可以使用一个或更多个计算设备或包括一个或更多个服务器(例如网络服务器或云服务器)的系统来实现增强现实叠加模块102或其至少一部分。在一些实例中，增强现实叠加模块102可以部分地或全部在社交网络系统(或服务)(例如图6的社交网络系统630)内实现或者被配置为结合社交网络系统(或服务)进行操作。
如示例系统100中所示，增强现实叠加模块500可以被配置成与至少一个数据储存器110通信和/或操作。至少一个数据储存器110可以被配置成存储并维护各种类型的数据。例如，数据储存器110可以存储描述由社交网络系统的用户发布的各种内容的信息。在一些实现中，至少一个数据储存器110可以存储与社交网络系统(例如，图6的社交网络系统630)相关联的信息。与社交网络系统相关联的信息可以包括关于用户、社交关连、社交互动、位置、地理围栏区域、地图、地点、事件、页面、群组、帖子、通信、内容、信息流(feed)、账户设置、隐私设置、社交图的数据和各种其他类型的数据。在一些实施例中，数据储存器110可以存储增强现实叠加模块102使用的信息。例如，数据储存器110可以存储一个或更多个增强现实叠加、一个或更多个对象识别机器学习模型、一个或更多个面部识别模型、用户隐私设置等。设想可以有许多变化或其他可能性。
基于对象的增强现实叠加模块104可以被配置为基于在用户的照相机视图中检测到的对象来提供一个或更多个增强现实叠加。在某些实施例中，可以使用自动对象识别技术来检测在用户的照相机视图中描绘的对象。例如，可以训练一个或更多个机器学习模型来识别在用户的照相机视图中描绘的对象。在某些实施例中，用户位置信息可以用来帮助确定在用户的照相机视图中描绘了什么对象。例如，如果用户位于特定位置，则可以将其他位置(例如，远离用户的当前位置的地标)特有的对象从考虑中移除。一个或更多个增强现实叠加可以基于在用户的照相机视图中检测到的对象来被确定，并被提供给用户用于潜在的选择和应用。例如，可以提供呈现关于在用户的照相机视图中描绘的对象的附加信息的增强现实叠加。在另一示例中，增强现实叠加可以包括表现为与在用户的照相机视图中描绘的对象进行交互的交互式增强现实对象。在某些实施例中，可以基于社交网络系统信息(例如关于社交网络系统上的用户的朋友的信息或者关于由社交网络系统上的用户的朋友发布的内容的信息)来呈现增强现实叠加。如果基于照相机视图中描绘的对象来识别多个增强现实叠加，则用户可以选择一个增强现实叠加来应用于他的或她的照相机视图。用户可以捕获包括被应用于照相机视图的增强现实叠加的图像和/或视频。本文将更详细地描述基于对象的增强现实叠加模块104。
隐私保护增强现实叠加模块106可以被配置为提供遮蔽在图像内容中检测到的一个或更多个用户的一个或更多个增强现实叠加。隐私保护增强现实叠加模块106可以基于隐私设置来提供遮蔽一个或更多个用户的一个或更多个增强现实叠加。隐私设置可以是与捕获用户(capturing user)(即，观看照相机应用内的照相机视图和/或正在捕获图像或视频的用户)和/或所描绘的用户(即，在捕获用户的照相机视图、图像和/或视频中描绘的用户)相关联的隐私设置。自动面部识别技术可以用于识别在图像内容中描绘的用户。捕获用户的隐私设置和/或任何所描绘的用户的隐私设置可以通过应用增强现实叠加来被自动地应用，其中基于隐私设置来遮蔽一个或更多个所描绘的用户的脸或其他识别物理特征。例如，如果第一用户已经在他的或她的隐私设置中指定他或她仅想要出现在他的或她的朋友的图像内容中，则如果其他用户不是社交网络系统上的第一用户的朋友，则每当他或她被识别为被描绘在另一用户的图像内容中时，第一用户的脸可以被遮蔽。本文将更详细地描述隐私保护增强现实叠加模块106。
图2示出了根据本公开的实施例的基于对象的增强现实叠加模块202。在一些实施例中，图1的基于对象的增强现实叠加模块104可以被实现为基于对象的增强现实叠加模块202。如图2的示例中所示，基于对象的增强现实叠加模块202可以包括对象识别模块204和基于对象的照相机视图修改模块206。
对象识别模块204可以被配置为识别在用户的照相机视图中描绘的一个或更多个对象。在各种实施例中，机器学习技术可以用于自动识别在用户的照相机视图中描绘的对象。可以理解，为了在用户的照相机视图上向用户提供增强现实叠加，可能需要相对快速地(例如，实时地或接近实时地)检测对象。可以实现各种特征以促进高效并及时的自动对象识别。在某些实施例中，与捕获用户相关联的位置信息可以用于缩小用户的照相机视图中潜在描绘的对象的语料库(corpus)。换句话说，可以基于位置信息来从考虑中消除某些对象。例如，如果用户当前位于旧金山，则用户的照相机视图包括帝国大厦(Empire StateBuilding)至少是不太可能的。可以以多种方式(包括例如，用户的移动设备的GPS信息、蓝牙信标、近场通信设备、和/或可以与用户的移动设备通信以基于接近度(proximity)确定用户位置的其他设备等)获得用户位置信息。
在某些实施例中，可以对多个机器学习模型进行训练，其中每个机器学习模型与特定地理区域相关联，使得每个机器学习模型被训练以识别与特定地理区域相关联的对象。可以以不同级别的粒度来指定地理区域。例如，可以训练与特定建筑物相关联的机器学习模型来识别该建筑物内的对象(例如，可以训练与特定艺术博物馆相关联的机器学习模型来识别艺术博物馆中容纳的作品)。可以训练与特定城市相关联的另一机器学习模型来识别该城市内的地标。基于用户的位置信息，可以将各种机器学习模型下载到用户的移动设备，使得可以使用已下载的机器学习模型在用户的移动设备上本地地执行对象识别。例如，如果检测到用户在旧金山市，则可以将与旧金山相关联的一个或更多个机器学习模型下载到用户的移动设备。这些机器学习模型可以包括与旧金山相关联的机器学习模型、与北加州(Northern California)相关联的机器学习模型、与用户已经进入的旧金山的特定建筑物相关联的机器学习模型等。当用户的位置发生改变，可以移除与先前位置信息相关联的机器学习模型，并用与用户的当前位置相关联的机器学习模型进行替代。
基于对象的照相机视图修改模块206可以被配置为基于在用户的照相机视图中检测到的对象来提供一个或更多个增强现实叠加，以修改用户的照相机视图。增强现实叠加可以采取各种形式，并提供各种类型的效果和/或修改。例如，在一个实施例中，基于用户的位置和/或在用户的照相机视图中描绘的一个或更多个对象，增强现实叠加可以像围绕照相机视图的边框一样简单。例如，如果检测到用户在金门大桥、和/或金门大桥被描绘在用户的照相机视图中，则可以将含有词语“来自金门大桥的你好！”的类似明信片的边框应用于用户的照相机视图。在某些实施例中，增强现实叠加可以呈现二维效果(例如，明信片样式的边框)。在某些实施例中，增强现实叠加可以呈现三维效果(例如，生物移动通过天际线(skyline)中的建筑物/与天际线中的建筑物进行交互)。
在另一示例中，增强现实叠加可以提供关于在用户的照相机视图中描绘的一个或更多个对象的上下文信息。例如，如果用户站在峭壁(cliff)上俯瞰城市，则用户可以扫描(scan)他的或她的照相机，以将各种地标引入和移出照相机视图。当地标进入照相机视图时，关于该地标的信息可以被呈现在用户的照相机视图中。上下文信息也可以包括社交网络系统信息。例如，如果地标进入用户的照相机视图，则可以向用户呈现在该地标处已经签到(check-in)的其他社交网络系统用户(例如，社交网络系统上的用户的朋友)。在另一示例中，社交网络系统信息可以包括由社交网络系统上的其他用户(例如，社交网络系统上的用户的朋友)捕获的包括该地标的图像和/或视频。为在用户的照相机视图中检测到的每一个对象呈现上下文信息可能是令人难以承受的。因此，在某些实施例中，对于用户的照相机视图中的一个或更多个对象，上下文信息可以保持隐藏，并且可以根据用户对呈现照相机视图的界面施加的特定手势的行为来呈现上下文信息。例如，如果用户点击(tap)对象，或者用他的或她的手指在触摸屏显示器上圈出对象，则可以显示该对象的上下文信息。然后，用户可以执行另一个手势来隐藏上下文信息。
在某些实施例中，增强现实叠加可以包括与照相机视图中描绘的一个或更多个对象进行交互的一个或更多个交互式增强现实对象。这些对象可以是呈现视频、音频或两者的动画。例如，如果在照相机视图中检测到天际线，可以呈现动画形式的增强现实叠加，使得看起来像是大型生物在横冲直撞(rampage)穿过天际线。可以基于照相机视图中描绘的对象的类型来选择增强现实叠加。例如，任何天际线都可能导致推荐和/或包含普通生物横冲直撞穿过天际线的增强现实叠加。还可以基于在照相机视图中识别的特定对象(例如，特定地标)来选择增强现实叠加。例如，如果描绘了帝国大厦，则包括金刚(King Kong)攀登帝国大厦的增强现实叠加可以被呈现给用户用于潜在选择，而如果描绘了东京塔(TokyoTower)，则包括哥斯拉(Godzilla)攀登东京塔的增强现实叠加可以被呈现给用户用于潜在选择。虽然已经提供了一些示例，但是与照相机视图中描绘的一个或更多个对象进行交互的交互式增强现实对象可以以任何形式、主题、方式或风格被呈现。
当增强现实叠加被应用于用户的照相机视图时，用户可以捕获包括增强现实叠加的用户的周围或环境的图像和/或视频。在某些实施例中，用户还可以发布直播(例如，到社交网络系统)，该直播包括被应用于该直播的一个或更多个增强现实叠加。如果有被标识为可用的多个增强现实叠加(例如，基于在照相机视图中检测到的对象来标识多个增强现实叠加)，则可以向用户呈现这些叠加，并提示用户选择一个叠加来应用于用户的照相机视图。
已经提供了各种示例，其中图像数据由用户的移动设备上的照相机捕获。然而，应当理解，呈现在照相机视图中的图像数据可以由任何照相机捕获。例如，在各种实施例中，无人飞机(drone)上的照相机可以用于捕获图像数据。图像数据可以被中继回用户的移动设备或其他显示设备，以呈现在照相机视图中。如本文所述，可以使用一个或更多个增强现实叠加来修改照相机视图。
图3示出了根据本公开的实施例的隐私保护增强现实叠加模块302。在一些实施例中，图1的隐私保护增强现实叠加模块106可以被实现为隐私保护增强现实叠加模块302。如图3的示例中所示，隐私保护增强现实叠加模块302可以包括用户识别模块304和基于隐私的图像内容修改模块306。
用户识别模块304可以被配置为识别在由捕获用户所捕获的图像内容中描绘的一个或更多个用户。图像内容可以包括例如在捕获用户的设备上的照相机应用中呈现的照相机视图、用户捕获的图像、和/或用户捕获的视频。自动面部识别技术可以用于识别图像内容中描绘的用户。
基于隐私的图像内容修改模块306可以被配置成基于隐私设置来修改图像内容。例如，可以基于隐私设置，通过遮蔽(或隐藏、匿名化等)一个或更多个用户、或他们的身份来修改图像内容。举几个示例，可以通过模糊用户的脸或者在用户的脸上放置遮罩(mask)或贴纸(sticker)、隐藏与用户相关联的其他物理特征来遮蔽用户。在某些实施例中，可以通过向图像内容施加增强现实叠加来修改图像内容。隐私设置可以包括捕获用户(即，捕获图像内容的用户)的隐私设置和/或所描绘的用户(即，在图像内容中描绘的用户)的隐私设置。在某些实施例中，隐私设置可以包括社交图要求。社交图要求可以指定社交网络系统上分隔度的阈值数量。例如，捕获用户可能希望仅描绘在社交网络系统上是捕获用户的朋友的用户。类似地，所描绘的用户可能希望被包括在由社交网络系统上的所描绘的用户的朋友或所描绘的用户的朋友的朋友捕获的图像内容中，而不被包括在由其他用户捕获的图像内容中。当第一用户捕获描绘了第二用户的图像内容时，可以使用例如自动面部识别来识别第二用户。可以分析并应用与第二用户相关联的隐私设置。例如，如果第二用户已经指定他或她仅想要被包括在由社交网络系统上的第二用户的朋友捕获的图像内容中，则可以分析第二用户的社交图，以确定第一用户是否是社交网络系统上的第二用户的朋友。如果第一用户是朋友，则第二用户不会在图像内容中被遮蔽。然而，如果第一用户不是第二用户的朋友，则第二用户会被遮蔽。
在某些实施例中，隐私设置可以包括特定位置和/或特定活动隐私设置。例如，如果用户希望参加活动，他或她可能需要接受活动的隐私设置，这可能需要例如所有用户接受他们可以被显示在活动中拍摄的图像或视频中。在另一示例中，特定用户可以指定他或她愿意被显示在特定位置处捕获的任何图像内容中，而不管捕获用户是否在社交网络系统上关连到该用户。相反，用户也可以指定他或她不想被显示在第二位置处捕获的任何图像内容中，而不管捕获用户是否在社交网络系统上关连到该用户。
在某些实施例中，当图像内容被捕获时，用户的遮蔽可以实时地(或接近实时地)发生。例如，当捕获用户正在观看照相机应用上的照相机视图时，可以实时地识别照相机视图中的用户，并且可以实时地确定是否遮蔽每个用户。可以使用遮蔽照相机视图内的用户的增强现实叠加来修改照相机视图。
在某些实施例中，用户的遮蔽可能发生在图像内容被捕获之后。例如，如果捕获用户捕获了其中描绘了其他用户的图像，则当捕获用户试图将该图像上传到社交网络系统时，可以针对隐私设置对该图像进行分析。当用户试图上传图像时，可以分析图像以识别图像中的所有用户。基于所有所描绘的用户和/或捕获用户的隐私设置，可以遮蔽图像中描绘的一个或更多个用户。
图4示出了根据本公开的实施例的与基于在照相机视图中识别的对象利用增强现实叠加来修改照相机视图相关联的示例方法400。应当理解，在本文讨论的各种实施例的范围内，除非另有说明，否则可以以类似的或可选择的顺序或者并行地执行附加的、更少的或可选择的步骤。
在块402，示例方法400可以识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象。在块404，示例方法400可以基于在照相机视图中识别的一个或更多个对象来确定增强现实叠加。在块406，示例方法400可以基于增强现实叠加来修改照相机视图。
图5示出了根据本公开的实施例的与基于隐私设置来遮蔽图像内容中描绘的第一用户相关联的示例方法500。应当理解，在本文讨论的各种实施例的范围内，除非另有说明，否则可以以类似的或可选择的顺序或者并行地执行附加的、更少的或可选择的步骤。
在块502，示例方法500可以识别在由第二用户捕获的图像内容中描绘的第一用户。在块504，示例方法500可以基于隐私设置来确定第一用户在图像内容中应当被遮蔽。在块506，示例方法500可以修改图像内容以遮蔽第一用户。
设想可以有与本公开的各种实施例相关联的许多其他用途、应用、特征、可能性和变化。例如，在一些情况下，用户可以选择是否选择加入(opt-in)以利用所公开的技术。所公开的技术还可以确保各种隐私设置、偏好和配置被维护，并且可以防止隐私信息被泄露。在另一示例中，本公开的各种实施例可以随着时间的推移而学习、改进和/或被完善。
社交网络系统-示例实现
图6示出了根据本公开的实施例的可以在各种场景中被利用的示例系统600的网络图。系统600包括一个或更多个用户设备610、一个或更多个外部系统620、社交网络系统(或服务)630和网络650。在实施例中，关于上述实施例讨论的社交网络服务、提供者和/或系统可以被实现为社交网络系统630。为了说明的目的，图6所示的系统600的实施例包括单个外部系统620和单个用户设备610。然而在其他实施例中，系统600可以包括更多个用户设备610和/或更多个外部系统620。在某些实施例中，社交网络系统630由社交网络提供者进行操作，而外部系统620与社交网络系统630分离，因为它们可以由不同的实体进行操作。然而在各种实施例中，社交网络系统630和外部系统620协同操作以向社交网络系统630的用户(或成员)提供社交网络服务。在这个意义上，社交网络系统660提供了平台或骨干网，其他系统(例如外部系统620)可以使用该平台或骨干网来通过互联网向用户提供社交网络服务和功能。
用户设备610包括可以接收来自用户的输入并经由网络650来传输并接收数据的一个或更多个计算设备。在一个实施例中，用户设备610是执行例如Microsoft Windows兼容操作系统(OS)、Apple OS X和/或Linux发行版的传统计算机系统。在另一实施例中，用户设备610可以是具有计算机功能的设备，例如智能电话、平板电脑、个人数字助理(PDA)、移动电话等。用户设备610被配置成经由网络650进行通信。用户设备610可以执行允许用户设备610的用户与社交网络系统630交互的应用(例如浏览器应用)。在另一实施例中，用户设备610通过由用户设备610的本机(native)操作系统(例如iOS和ANDROID)提供的应用编程接口(API)来与社交网络系统630交互。用户设备610被配置成使用有线和/或无线通信系统经由网络650来与外部系统620和社交网络系统630进行通信，网络650可以包括局域网和/或广域网的任何组合。
在一个实施例中，网络650使用标准通信技术和协议。因此，网络650可以包括使用诸如以太网、802.11、全球互通微波接入(WiMAX)、3G、4G、CDMA、GSM、LTE、数字用户线路(DSL)等的技术的链路。类似地，在网络650上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。可以使用包括超文本标记语言(HTML)和可扩展标记语言(XML)的技术和/或格式来表示通过网络650交换的数据。此外，可以使用诸如安全套接字层(SSL)、传输层安全(TLS)和互联网协议安全(IPsec)的常规加密技术来对所有或一些链路进行加密。
在一个实施例中，用户设备610可以通过使用浏览器应用612处理从外部系统620和从社交网络系统630接收的标记语言文档614来显示来自外部系统620和/或来自社交网络系统630的内容。标记语言文档614识别内容以及描述内容的格式或表现形式的一个或更多个指令。通过执行在标记语言文档614中包括的指令，浏览器应用612使用由标记语言文档614所描述的格式或表现形式来显示所识别的内容。例如，标记语言文档614包括用于生成并显示具有多个帧(frame)的网页的指令，这些帧包括从外部系统620和社交网络系统630检索的文本和/或图像数据。在各种实施例中，标记语言文档614包括数据文件，该数据文件包括可扩展标记语言(XML)数据、可扩展超文本标记语言(XHTML)数据或其他标记语言数据。此外，标记语言文档614可以包括JavaScript对象简谱(JSON)数据、带填充的JSON(JSONP)和JavaScript数据，以便于在外部系统620和用户设备610之间的数据交换。用户设备610上的浏览器应用612可以使用JavaScript编译器来对标记语言文档614进行解码。
标记语言文档614还可以包括或链接到应用或应用框架，例如FLASHTM或UnityTM应用、SilverLightTM应用框架等。
在一个实施例中，用户设备610还包括一个或更多个cookie 616，cookie616包括指示用户设备610的用户是否登录到社交网络系统630内的数据，这可以实现从社交网络系统630传递到用户设备610的数据的修改。
外部系统620包括一个或更多个web服务器，其包括一个或更多个网页622a、622b，这些网页使用网络650被传递到用户设备610。外部系统620与社交网络系统630分离。例如，外部系统620与第一域相关联，而社交网络系统630与单独的社交网络域相关联。被包括在外部系统620中的网页622a、622b包括标记语言文档614，其识别内容并且包括指定所识别的内容的格式或表现形式的指令。
社交网络系统630包括用于社交网络(包括多个用户)并且向社交网络的用户提供与社交网络的其他用户通信并交互的能力的一个或更多个计算设备。在一些实例中，社交网络可以由图形(即，包括边和节点的数据结构)表示。其他数据结构也可以用来表示社交网络，包括但不限于数据库、对象、类、元元素(meta element)、文件或任何其他数据结构。社交网络系统630可以由操作者掌管、管理或控制。社交网络系统630的操作者可以是人、自动化应用或用于管理内容、调节策略和收集在社交网络系统630内的使用度量的一系列应用。可以使用任何类型的操作者。
用户可以加入社交网络系统630，且然后添加对他们希望关连到的社交网络系统630的任何数量的其他用户的关连。如在本文所使用的，术语“朋友”指社交网络系统630的任何其他用户，用户经由社交网络系统630与任何其他用户形成关连、关联(association)或关系。例如在实施例中，如果在社交网络系统630中的用户被表示为在社交图中的节点，则术语“朋友”可以指在两个用户节点之间形成的并直接连接两个用户节点的边。
关连可以由用户明确地添加，或者可以由社交网络系统630基于用户(例如，作为同一教育机构的校友的用户)的共同特性来自动创建。例如，第一用户特别地将特定的其他用户选择为朋友。在社交网络系统630中的关连通常在两个方向上，但不需要是这样，因此术语“用户”和“朋友”取决于参考系。在社交网络系统630的用户之间的关连通常是双边的(“双向的”)或“相互的”，但是关连也可以是单边的或“单向的”。例如，如果鲍勃和乔都是社交网络系统630的用户并且关连到彼此，则鲍勃和乔是彼此的关连。另一方面，如果鲍勃希望关连到乔以查看由乔传递到社交网络系统630的数据，但是乔不希望形成相互关连，则单边连接可以被建立。在用户之间的关连可以是直接关连；然而，社交网络系统630的一些实施例允许经由一个或更多个级别的关连或分离的程度的关连是间接的。
除了建立并维护在用户之间的关连并允许在用户之间的交互之外，社交网络系统630还向用户提供对由社交网络系统630支持的各种类型的项目采取动作的能力。这些项目可以包括社交网络系统630的用户可能属于的群组或网络(即，人、实体和概念的社交网络)、用户可能感兴趣的事件或日历条目、用户可以经由社交网络系统630使用的基于计算机的应用、允许用户经由由社交网络系统630提供或通过社交网络系统630提供的服务来购买或销售项目的交易、以及用户可以在社交网络系统630上或外执行的与广告的交互。这些仅仅是用户可以在社交网络系统630上作用于的项目的几个示例，并且许多其他项目是可能的。用户可以与能够在社交网络系统630中或在外部系统620中被表示的、与社交网络系统630分离的、或者经由网络650耦合到社交网络系统630的任何事物进行交互。
社交网络系统630也能够链接各种实体。例如，社交网络系统630使用户能够通过API、web服务或其他通信渠道来与彼此以及外部系统620或其他实体进行交互。社交网络系统630生成并维护包括由多个边互连的多个节点的“社交图”。社交图中的每个节点可以表示可以作用于另一个节点和/或可以由另一个节点作用于的实体。社交图可以包括各种类型的节点。节点的类型的示例包括用户、非个人实体、内容项目、网页、群组、活动、消息、概念以及可以由社交网络系统630中的对象表示的任何其他事物。在社交图中的两个节点之间的边可以表示在两个节点之间的特定类型的关连或关联，这可以由节点关系或由节点中的一个节点在另一个节点上所执行的动作产生。在一些情况下，在节点之间的边可以被加权。边的权重可以表示与该边相关联的属性，例如在节点之间的关连或关联的强度。不同类型的边可以具有不同的权重。例如，当一个用户“赞”另一个用户时创建的边可以被赋予一个权重，而当一个用户加另一个用户为好友(befriend)时创建的边可以被赋予不同的权重。
作为示例，当第一用户将第二用户识别为朋友时，生成将表示第一用户的节点和表示第二用户的第二节点连接的在社交图中的边。当各种节点与彼此关联(relate)或交互时，社交网络系统630修改连接各种节点的边以反映关系和交互。
社交网络系统630还包括用户生成的内容，这增强了用户与社交网络系统630的交互。用户生成的内容可以包括用户可以添加、上传、发送或“发布”到社交网络系统630的任何内容。例如，用户将帖子从用户设备610传递到社交网络系统630。帖子可以包括数据(例如状态更新或其他文本数据)、位置信息、图像(例如照片)、视频、链接、音乐或其他类似数据或媒体。内容也可以由第三方添加到社交网络系统630。内容“项目”被表示为在社交网络系统630中的对象。以这种方式，通过经由各种通信渠道发布各种类型的媒体的文本和内容项目来鼓励社交网络系统630的用户与彼此进行通信。这种通信增加了用户与彼此之间的交互，并增加了用户与社交网络系统630交互的频率。
社交网络系统630包括web服务器632、API请求服务器634、用户简档储存器636、关连储存器638、动作记录器640、活动日志642和授权服务器644。在本发明的实施例中，社交网络系统630可以包括用于各种应用的附加的、更少的或不同的部件。没有示出其他部件(例如网络接口、安全机构、负载平衡器、故障转移服务器、管理和网络操作控制台等)，以便不使系统的细节模糊。
用户简档储存器636维护关于用户账户的信息，包括传记、人口统计和其他类型的描述性信息，例如由用户声明或由社交网络系统630推断的工作经历、教育历史、爱好或偏好、位置等。该信息存储在用户简档储存器636中，使得每个用户被唯一地识别。社交网络系统630还在关连储存器638中存储描述在不同用户之间的一个或更多个关连的数据。关连信息可以指示具有相似或共同的工作经历、组成员资格、爱好或教育历史的用户。另外，社交网络系统630包括在不同用户之间的用户定义的关连，允许用户指定他们与其他用户的关系。例如，用户定义的关连允许用户生成与其他用户的关系，这些关系并行于用户的真实生活关系，例如朋友、同事、伙伴等。用户可以从预定义的类型的关连中进行选择，或者根据需要定义他们自己的关连类型。与社交网络系统630中的其他节点(例如非个人实体、存储桶(bucket)、集群中心、图像、兴趣、页面、外部系统、概念等)的关连也存储在关连储存器638中。
社交网络系统630维护关于对象的数据，用户可以与该对象交互。为了维护该数据，用户简档储存器636和关连储存器638存储由社交网络系统630维护的相应类型的对象的实例。每种对象类型都有适于存储适合于对象的类型的信息的信息字段。例如，用户简档储存器636包含具有适于描述用户的账户的字段和与用户的账户相关的信息的数据结构。当特定类型的新对象被创建时，社交网络系统630初始化相应类型的新数据结构，给它分配唯一的对象标识符，并开始根据需要来向对象添加数据。例如，这可能在用户成为社交网络系统630的用户时出现，社交网络系统630在用户简档储存器636中生成用户简档的新实例，给用户账户分配唯一标识符，并开始用由用户提供的信息来填充用户账户的字段。
关连储存器638包括适于描述用户到其他用户的关连、与外部系统620的关连或与其他实体的关连的数据结构。关连储存器638还可以使关连类型与用户的关连相关联，用户的关连可以结合用户的隐私设置来被使用以调节对关于用户的信息的访问。在本发明的实施例中，用户简档储存器636和关连储存器638可以被实现为联合数据库(federateddatabase)。
存储在关连储存器638、用户简档储存器636和活动日志642中的数据使社交网络系统630能够生成社交图，该社交图使用节点来识别各种对象并且使用连接节点的边来识别在不同对象之间的关系。例如，如果第一用户与社交网络系统630中的第二用户建立关连，则来自用户简档储存器636的第一用户和第二用户的用户账户可以充当社交图中的节点。由关连储存器638存储的在第一用户和第二用户之间的关连是在与第一用户和第二用户相关联的节点之间的边。继续该示例，第二用户然后可以在社交网络系统630内向第一用户发送消息。可以被存储的发送消息的动作是在社交图中的表示第一用户和第二用户的两个节点之间的另一条边。另外，消息本身可以被识别并被包括在社交图中，作为关连到表示第一用户和第二用户的节点的另一个节点。
在另一示例中，第一用户可以在由社交网络系统630维护的图像中(或者可选地，在由在社交网络系统630外部的另一系统维护的图像中)标记第二用户。图像本身可以被表示为社交网络系统630中的节点。该标记动作可以在第一用户和第二用户之间创建边，以及在每个用户和图像之间创建边，图像也是社交图中的节点。在又一示例中，如果用户确认参加事件，则用户和事件是从用户简档储存器636获得的节点，其中事件的参加是在可以从活动日志642检索的节点之间的边。通过生成并维护社交图，社交网络系统630包括描述许多不同类型的对象以及在这些对象当中的交互和关连的数据，提供了社交相关信息的丰富源。
web服务器632经由网络650来将社交网络系统630链接到一个或更多个用户设备610和/或一个或更多个外部系统620。web服务器632提供网页以及其他网络相关内容，例如Java、JavaScript、Flash、XML等。web服务器632可以包括邮件服务器或用于在社交网络系统630和一个或更多个用户设备610之间接收并按规定路线发送消息的其他消息传送功能。消息可以是即时消息、排队消息(例如，电子邮件)、文本和SMS消息或者任何其他合适的消息格式。
API请求服务器634允许一个或更多个外部系统620和用户设备610通过调用一个或更多个API函数来调用来自社交网络系统630的访问信息。API请求服务器634还可以允许外部系统620通过调用API来向社交网络系统630发送信息。在一个实施例中，外部系统620经由网络650向社交网络系统630发送API请求，并且API请求服务器634接收该API请求。API请求服务器634通过调用与API请求相关联的API来处理该请求以生成适当的响应，API请求服务器634经由网络650来将该响应传递到外部系统620。例如，响应于API请求，API请求服务器634收集与用户相关联的数据(例如已经登录到外部系统620内的用户的关连)，并将所收集的数据传递到外部系统620。在另一实施例中，用户设备610以与外部系统620相同的方式经由API来与社交网络系统630进行通信。
动作记录器640能够从web服务器632接收关于在社交网络系统630上和/或外的用户动作的通信。动作记录器640用关于用户动作的信息来填充活动日志642，使社交网络系统630能够发现由它的用户在社交网络系统630内和在社交网络系统630外采取的各种动作。特定用户相对于在社交网络系统630上的另一个节点采取的任何动作可以通过在活动日志642中或在类似数据库或其他数据仓库中维护的信息来与每个用户的账户相关联。被识别并存储的由用户在社交网络系统630内采取的动作的示例可以包括例如，添加到另一个用户的关连、向另一个用户发送消息、从另一个用户读取消息、查看与另一个用户相关联的内容、参加由另一个用户发布的事件、发布图像、尝试发布图像、或与另一个用户或另一个对象交互的其他动作。当用户在社交网络系统630内采取动作时，该动作被记录在活动日志642中。在一个实施例中，社交网络系统630将活动日志642维护为条目的数据库。当在社交网络系统630内采取动作时，该动作的条目被添加到活动日志642。活动日志642可以被称为动作日志。
此外，用户动作可以与在社交网络系统630外部的实体(例如与社交网络系统630分离的外部系统620)内出现的概念和动作相关联。例如，动作记录器640可以从web服务器632接收描述用户与外部系统620的交互的数据。在该示例中，外部系统620根据在社交图中的结构化动作和对象来报告用户的交互。
用户与外部系统620交互的动作的其他示例包括用户表达对外部系统620或另一实体的兴趣、用户将讨论外部系统620或在外部系统620内的网页622a的评论发布到社交网络系统630、用户将统一资源定位符(URL)或与外部系统620相关联的其他标识符发布到社交网络系统630、用户参加与外部系统620相关联的事件、或者由用户进行的与外部系统620相关的任何其他动作。因此，活动日志642可以包括描述在社交网络系统630的用户和与社交网络系统630分离的外部系统620之间的交互的动作。
授权服务器644实施社交网络系统630的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享。隐私设置包括与用户相关联的特定信息的规范以及信息可以被共享于的一个或更多个实体的规范。信息可以被共享于的实体的示例可以包括其他用户、应用、外部系统620、或可能潜在地访问信息的任何实体。可以由用户共享的信息包括用户账户信息(例如简档照片)、与用户相关联的电话号码、用户的关连、由用户采取的动作(例如添加关连)、改变用户简档信息等。
可以以不同的粒度级别提供隐私设置规范。例如，隐私设置可以识别要与其他用户共享的特定信息；隐私设置识别工作电话号码或一组特定的相关信息(例如，包括简档照片、家庭电话号码和状态的个人信息)。可选地，隐私设置可以应用于与用户相关联的所有信息。也可以以不同的粒度级别指定可以访问特定信息的该组实体的规范。信息可以被共享于的不同组的实体可以包括例如，用户的所有朋友、朋友的所有朋友、所有应用、或所有外部系统620。一个实施例允许该组实体的规范包括实体的枚举。例如，用户可以提供被允许访问某些信息的外部系统620的列表。另一实施例允许规范包括一组实体以及不被允许访问信息的例外。例如，用户可以允许所有外部系统620访问用户的工作信息，但是指定不被允许访问工作信息的外部系统620的列表。某些实施例将不被允许访问某些信息的例外的列表称为“黑名单”。属于由用户指定的黑名单的外部系统620被阻止访问在隐私设置中指定的信息。信息的规范的粒度和信息被共享于的实体的规范的粒度的各种组合是可能的。例如，所有个人信息可以与朋友共享，而所有工作信息可以与朋友的朋友共享。
授权服务器644包含确定与用户相关联的某些信息是否可以由用户的朋友、外部系统620和/或其他应用和实体访问的逻辑。外部系统620可能需要来自授权服务器644的授权来访问用户的更私密且敏感的信息，例如用户的工作电话号码。基于用户的隐私设置，授权服务器644确定另一用户、外部系统620、应用、或另一实体是否被允许访问与用户相关联的信息，包括关于由用户采取的动作的信息。
在一些实施例中，社交网络系统630可以包括增强现实叠加模块646。例如，如本文更详细讨论的，增强现实叠加模块646可以被实现为增强现实叠加模块102。如前所述，应当认识，可以有许多变化或其他可能性。例如，在一些实施例中，可以在用户设备610中实现增强现实叠加模块646的一个或更多个功能。
硬件实现
前述过程和特征可以由各种机器和计算机系统架构以及在各种网络和计算环境中实现。图7示出了根据本发明的实施例的可以用于实现本文描述的一个或更多个实施例的计算机系统700的示例。计算机系统700包括用于使计算机系统700执行本文讨论的过程和特征的指令集。计算机系统700可以连接(例如，联网)到其他机器。在联网部署中，计算机系统700可以在客户端-服务器网络环境中的服务器机器或客户端机器的能力下进行操作，或者作为在对等(或分布式)网络环境中的对等机器来进行操作。在本发明的实施例中，计算机系统700可以是社交网络系统630、用户设备610和外部系统620、或者其部件。在本发明的实施例中，计算机系统700可以是在构成社交网络系统630的全部或部分的许多服务器当中的一个服务器。
计算机系统700包括处理器702、高速缓存704以及存储在计算机可读介质上的指向本文描述的过程和特征的一个或更多个可执行模块和驱动程序。另外，计算机系统700包括高性能输入/输出(I/O)总线706和标准I/O总线708。主桥(host bridge)710将处理器702耦合到高性能I/O总线706，而I/O总线桥712将两个总线706和708耦合到彼此。系统存储器714和一个或更多个网络接口716耦合到高性能I/O总线706。计算机系统700还可以包括视频存储器和耦合到视频存储器的显示设备(未示出)。大容量存储装置718和I/O端口720耦合到标准I/O总线708。计算机系统700可以可选地包括键盘和定点设备、显示设备、或耦合到标准I/O总线708的其他输入/输出设备(未示出)。共同地，这些元件旨在表示广泛类别的计算机硬件系统，包括但不限于基于由加利福尼亚州(California)圣克拉拉(SantaClara)的英特尔公司制造的x86兼容处理器和由加利福尼亚州森尼维尔(Sunnyvale)的高级微器件(AMD)公司制造的x86兼容处理器以及任何其他合适的处理器的计算机系统。
操作系统管理并控制计算机系统700的操作，包括往返软件应用(未示出)的数据输入和输出。操作系统提供在系统上执行的软件应用和系统的硬件部件之间的接口。可以使用任何合适的操作系统，例如LINUX操作系统、可从加利福尼亚州库比蒂诺(Cupertino)的苹果计算机公司获得Apple Macintosh操作系统、UNIX操作系统、操作系统、BSD操作系统等。其他实现是可能的。
将在下面更详细地描述计算机系统700的元件。特别是，网络接口716提供在计算机系统700和各种网络(诸如以太网(例如，IEEE 802.3)网络)中的任一种、背板等之间的通信。大容量存储装置718提供数据和编程指令的永久存储，以执行由上面识别的相应计算系统实现的上述过程和特征，而系统存储器714(例如，DRAM)提供当由处理器702执行时的数据和编程指令的临时存储。I/O端口720可以是提供在可以耦合到计算机系统700的附加外围设备之间的通信的一个或更多个串行和/或并行通信端口。
计算机系统700可以包括各种系统架构，并且计算机系统700的各种部件可以被重新排列。例如，高速缓存704可以与处理器702一起在芯片上。可选地，高速缓存704和处理器702可以封装在一起作为“处理器模块”，处理器702被称为“处理器核心”。此外，本发明的某些实施例可能既不需要也不包括所有上述部件。例如，耦合到标准I/O总线708的外围设备可以耦合到高性能I/O总线706。此外，在一些实施例中，只有单个总线可以存在，计算机系统700的部件耦合到该单个总线。此外，计算机系统700可以包括附加部件，例如附加处理器、存储设备或存储器。
一般来说，本文描述的过程和特征可以被实现为操作系统或特定应用、部件、程序、对象、模块、或被称为“程序”的指令系列的一部分。例如，一个或更多个程序可以用于执行本文描述的特定过程。程序通常包括在计算机系统700中的各种存储器和存储设备中的一个或更多个指令，其当由一个或更多个处理器读取并执行时使计算机系统700执行操作以执行本文描述的过程和特征。可以在软件、固件、硬件(例如，专用集成电路)、或其任何组合中实现本文描述的过程和特征。
在一个实现中，本文描述的过程和特征被实现为由计算机系统700在分布式计算环境中单独或共同地运行的一系列可执行模块。前述模块可以由硬件、存储在计算机可读介质(或机器可读介质)上的可执行模块、或者两者的组合来实现。例如，模块可以包括由在硬件系统中的处理器(例如处理器702)执行的多个指令或指令系列。最初，指令系列可以存储在存储设备(例如大容量存储装置718)上。然而，指令系列可以存储在任何合适的计算机可读存储介质上。此外，指令系列不需要存储在本地，并且可以经由网络接口716从远程存储设备(例如网络上的服务器)被接收。指令从诸如大容量存储装置718的存储设备被复制到系统存储器714中，且然后由处理器702进行访问和执行。在各种实现中，一个或更多个模块可以由在一个或多个位置上的一个或多个处理器(例如在并行处理环境中的多个服务器)执行。
计算机可读介质的示例包括但不限于可记录类型的介质(例如易失性和非易失性存储设备)；固态存储器；软盘和其他可移动盘；硬盘驱动器；磁性介质；光盘(例如，光盘只读存储器(CD ROM)、数字通用盘(DVD))；其他类似的非暂时性(或暂时性)、有形(或非有形)存储介质；或任何类型的介质，其适于存储、编码或携带一系列指令，用于由计算机系统700执行以执行本文描述的任何一个或更多个过程和特征。
为了解释的目的，阐述了许多具体细节，以便提供描述的透彻理解。然而对于本领域中的技术人员将明显，可以在没有这些具体细节的情况下实践本公开的实施例。在一些实例中，以框图形式示出了模块、结构、过程、特征和设备，以便避免使本描述模糊。在其他实例中，功能框图和流程图被示出为表示数据和逻辑流。框图和流程图的部件(例如，模块、块、结构、设备、特征等)可以以不同于如在本文明确描述并描绘的方式来被不同地组合、分离、移除、重新排序和替换。
在本说明书中对“一个实施例”、“实施例”、“其他实施例”、“一系列实施例”、“一些实施例”、“各种实施例”等的提及意指关于实施例描述的特定特征、设计、结构或特性被包括在本公开的至少一个实施例中。例如，短语“在一个实施例中”或“在实施例中”在说明书中的不同地方中的出现并不一定都指同一实施例，也不是与其他实施例相互排斥的单独的或可选的实施例。此外，无论是否存在对“实施例”等的明确提及，都描述了各种特征，这些特征可以多方面地被组合并且包括在一些实施例中，但是在其他实施例中也可以多方面地被省略。类似地，描述了各种特征，其可以是对于一些实施例而不是其他实施例的优先选择或要求。
本文使用的语言主要为了可读性和教学目的而被选择，并且它可以不被选择为描写或限制创造性主题。因此，意图是本发明的范围不由该详细描述进行限制，而是由在基于其的申请上发布的任何权利要求进行限制。因此，本发明的实施例的公开旨在是说明性的，但不是在下面的权利要求中阐述的本发明的范围的限制。

Claims (20)

1.一种计算机实现的方法，包括：
由计算系统识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象；
由所述计算系统基于在所述照相机视图中识别的所述一个或更多个对象来确定增强现实叠加；以及
由所述计算系统基于所述增强现实叠加来修改所述照相机视图。
2.根据权利要求1所述的计算机实现的方法，其中，基于机器学习技术来识别所述照相机视图中描绘的所述一个或更多个对象。
3.根据权利要求2所述的计算机实现的方法，还包括接收与所述用户设备相关联的用户位置信息，其中，
基于所述用户位置信息来识别所述照相机视图中描绘的所述一个或更多个对象。
4.根据权利要求3所述的计算机实现的方法，还包括将与所述用户位置信息相关联的一个或更多个机器学习模型下载到所述用户设备，其中，
基于所述一个或更多个机器学习模型来识别所述照相机视图中描绘的所述一个或更多个对象。
5.根据权利要求1所述的计算机实现的方法，其中，所述增强现实叠加包括与所述照相机视图中描绘的所述一个或更多个对象中的对象相关联的上下文信息。
6.根据权利要求5所述的计算机实现的方法，其中，所述上下文信息包括与所述对象相关联的社交网络系统信息。
7.根据权利要求6所述的计算机实现的方法，其中，所述社交网络系统信息包括由社交网络系统的用户发布的与所述对象相关联的一个或更多个内容项目。
8.根据权利要求1所述的计算机实现的方法，其中，所述增强现实叠加包括交互式增强现实对象，所述交互式增强现实对象表现为与所述照相机视图中描绘的所述一个或更多个对象中的对象进行交互。
9.根据权利要求8所述的计算机实现的方法，其中，基于与所述对象的关联来选择所述交互式增强现实对象。
10.根据权利要求1所述的计算机实现的方法，其中，确定所述增强现实叠加包括：
向用户呈现多个增强现实叠加，以及
接收对来自所述多个增强现实叠加的一增强现实叠加的选择。
11.一种系统，包括：
至少一个处理器；以及
存储器，其存储指令，所述指令当由所述至少一个处理器执行时使所述系统执行一种方法，所述方法包括：
识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象；
基于在所述照相机视图中识别的所述一个或更多个对象来确定增强现实叠加；以及
基于所述增强现实叠加来修改所述照相机视图。
12.根据权利要求11所述的系统，其中，基于机器学习技术来识别所述照相机视图中描绘的所述一个或更多个对象。
13.根据权利要求12所述的系统，其中，
所述方法还包括接收与所述用户设备相关联的用户位置信息，以及
基于所述用户位置信息来识别所述照相机视图中描绘的所述一个或更多个对象。
14.根据权利要求13所述的系统，其中，
所述方法还包括将与所述用户位置信息相关联的一个或更多个机器学习模型下载到所述用户设备，以及
基于所述一个或更多个机器学习模型来识别所述照相机视图中描绘的所述一个或更多个对象。
15.根据权利要求11所述的系统，其中，所述增强现实叠加包括与所述照相机视图中描绘的所述一个或更多个对象中的对象相关联的上下文信息。
16.一种非暂时性计算机可读存储介质，其包括指令，所述指令当由计算系统的至少一个处理器执行时使所述计算系统执行一种方法，所述方法包括：
识别在用户设备的显示器上显示的照相机应用的照相机视图中描绘的一个或更多个对象；
基于在所述照相机视图中识别的所述一个或更多个对象来确定增强现实叠加；以及
基于所述增强现实叠加来修改所述照相机视图。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，基于机器学习技术来识别所述照相机视图中描绘的所述一个或更多个对象。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，
所述方法还包括接收与所述用户设备相关联的用户位置信息，以及
基于所述用户位置信息来识别所述照相机视图中描绘的所述一个或更多个对象。
19.根据权利要求18所述的非暂时性计算机可读存储介质，其中，
所述方法还包括将与所述用户位置信息相关联的一个或更多个机器学习模型下载到所述用户设备，以及
基于所述一个或更多个机器学习模型来识别所述照相机视图中描绘的所述一个或更多个对象。
20.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述增强现实叠加包括与所述照相机视图中描绘的所述一个或更多个对象中的对象相关联的上下文信息。
CN201780087779.7A 2016-12-30 2017-12-21 用于提供增强现实叠加的系统和方法 Active CN110352595B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662441091P 2016-12-30 2016-12-30
US62/441,091 2016-12-30
US15/849,577 US10229312B2 (en) 2016-12-30 2017-12-20 Systems and methods for providing augmented reality overlays
US15/849,577 2017-12-20
US15/849,611 US11030440B2 (en) 2016-12-30 2017-12-20 Systems and methods for providing augmented reality overlays
US15/849,611 2017-12-20
PCT/US2017/067986 WO2018136199A2 (en) 2016-12-30 2017-12-21 Systems and methods for providing augmented reality overlays

Publications (2)

Publication Number Publication Date
CN110352595A true CN110352595A (zh) 2019-10-18
CN110352595B CN110352595B (zh) 2021-08-17

Family

ID=62708422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087779.7A Active CN110352595B (zh) 2016-12-30 2017-12-21 用于提供增强现实叠加的系统和方法

Country Status (3)

Country Link
US (3) US10229312B2 (zh)
CN (1) CN110352595B (zh)
WO (1) WO2018136199A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242704A (zh) * 2020-04-26 2020-06-05 北京外号信息技术有限公司 用于在现实场景中叠加直播人物影像的方法和电子设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
EP3454254B1 (en) * 2017-09-07 2023-11-08 Canon Kabushiki Kaisha Image processing apparatus, image providing apparatus, control methods thereof, and program
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
FR3081069B1 (fr) * 2018-05-14 2022-01-21 Diotasoft Procede et systeme pour teletransmettre vers un site de traitement un flux video capte sur un site d’intervention distant
US20210252339A1 (en) * 2018-08-24 2021-08-19 Strive Tech Inc. Augmented reality for detecting athletic fatigue
US10997760B2 (en) * 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10762174B2 (en) 2018-09-28 2020-09-01 Snap Inc. Collaborative public user profile
US11107255B2 (en) * 2019-01-31 2021-08-31 Snap Inc. Interactive augmented reality system
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US11182965B2 (en) 2019-05-01 2021-11-23 At&T Intellectual Property I, L.P. Extended reality markers for enhancing social engagement
US11409903B2 (en) * 2019-10-10 2022-08-09 Shmuel Ur Innovation Ltd Private and non-private tasks in augmented reality systems
US11790653B2 (en) 2019-09-09 2023-10-17 Apple Inc. Computer-generated reality recorder
US20210073357A1 (en) * 2019-09-09 2021-03-11 Apple Inc. Providing restrictions in computer-generated reality recordings
US11743064B2 (en) * 2019-11-04 2023-08-29 Meta Platforms Technologies, Llc Private collaboration spaces for computing systems
EP4066137A4 (en) * 2019-11-25 2023-08-23 Telefonaktiebolaget LM Ericsson (publ) BLOCKCHAIN-BASED FACIAL ANONYMIZATION SYSTEM
US10893302B1 (en) * 2020-01-09 2021-01-12 International Business Machines Corporation Adaptive livestream modification
US20210312084A1 (en) * 2020-04-01 2021-10-07 Rovi Guides, Inc. Systems and methods for managing digital media items access
US11521359B2 (en) 2020-04-17 2022-12-06 Apple Inc. Extended reality recorder
US11589084B2 (en) 2020-05-13 2023-02-21 Bauhaus X LLC Dynamic, interactive segmentation in layered multimedia content
US11606513B2 (en) * 2021-06-29 2023-03-14 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for enhancing privacy via facial feature obfuscation
EP4123596A1 (en) * 2021-07-19 2023-01-25 Nokia Technologies Oy Image capture and storage
WO2023041150A1 (en) * 2021-09-15 2023-03-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for facilitating a privacy-aware representation in a system
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses
US20240086502A1 (en) * 2022-09-13 2024-03-14 Arm Limited Methods of controlling permission on a device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216446A1 (en) * 2008-01-22 2009-08-27 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
US20120116920A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality system for product identification and promotion
CN103380631A (zh) * 2010-12-22 2013-10-30 英特尔公司 用于移动增强现实应用的技术
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20140086493A1 (en) * 2012-09-25 2014-03-27 Google Inc. Providing privacy in a social network system
CN103870485A (zh) * 2012-12-13 2014-06-18 华为终端有限公司 实现增强现实应用的方法及设备
US20150109338A1 (en) * 2013-10-17 2015-04-23 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN105138763A (zh) * 2015-08-19 2015-12-09 中山大学 一种增强现实中实景与现实信息叠加的方法
CN106127828A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及移动终端
US20160364758A1 (en) * 2015-06-09 2016-12-15 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US20160373454A1 (en) * 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing content to verified entities

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
US8063929B2 (en) * 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
TWI444816B (zh) * 2011-07-25 2014-07-11 Pegatron Corp 可拆卸更換接口模組
WO2013123045A1 (en) * 2012-02-13 2013-08-22 The Trustees Of The University Of Pennsylvania Novel screening methods
US9582681B2 (en) * 2012-04-27 2017-02-28 Nokia Technologies Oy Method and apparatus for privacy protection in images
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
KR20140110584A (ko) 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
KR101506610B1 (ko) 2013-04-29 2015-03-27 주식회사 제이엠랩 증강현실 제공 장치 및 그 방법
US9715180B2 (en) * 2013-06-11 2017-07-25 Cymer, Llc Wafer-based light source parameter control
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US20160294781A1 (en) 2015-01-25 2016-10-06 Jennifer Kate Ninan Partial or complete image obfuscation and recovery for privacy protection
US10135836B2 (en) 2015-06-29 2018-11-20 International Business Machines Corporation Managing data privacy and information safety
US9949056B2 (en) 2015-12-23 2018-04-17 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US20170192651A1 (en) * 2015-12-30 2017-07-06 Facebook, Inc. Editing photos over an online social network
US11379695B2 (en) * 2016-10-24 2022-07-05 International Business Machines Corporation Edge-based adaptive machine learning for object recognition
US10282639B2 (en) * 2016-11-29 2019-05-07 Sap Se Object detection in image data using depth segmentation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216446A1 (en) * 2008-01-22 2009-08-27 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20120116920A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality system for product identification and promotion
CN103380631A (zh) * 2010-12-22 2013-10-30 英特尔公司 用于移动增强现实应用的技术
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法
US8606645B1 (en) * 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
US20140086493A1 (en) * 2012-09-25 2014-03-27 Google Inc. Providing privacy in a social network system
CN103870485A (zh) * 2012-12-13 2014-06-18 华为终端有限公司 实现增强现实应用的方法及设备
US20150109338A1 (en) * 2013-10-17 2015-04-23 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US20160364758A1 (en) * 2015-06-09 2016-12-15 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US20160373454A1 (en) * 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing content to verified entities
CN105138763A (zh) * 2015-08-19 2015-12-09 中山大学 一种增强现实中实景与现实信息叠加的方法
CN106127828A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实的处理方法、装置及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAO CHEN，ET AL: "Integrated Content and Context Analysis for Mobile Landmark Recognition", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
WEIQING MIN，ET AL: "A survey on context-aware mobile visual recognition", 《MULTIMEDIA SYSTEMS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242704A (zh) * 2020-04-26 2020-06-05 北京外号信息技术有限公司 用于在现实场景中叠加直播人物影像的方法和电子设备
CN111242704B (zh) * 2020-04-26 2020-12-08 北京外号信息技术有限公司 用于在现实场景中叠加直播人物影像的方法和电子设备
TWI795762B (zh) * 2020-04-26 2023-03-11 大陸商北京外號信息技術有限公司 用於在現實場景中疊加直播人物影像的方法和電子設備

Also Published As

Publication number Publication date
CN110352595B (zh) 2021-08-17
US10229312B2 (en) 2019-03-12
US20180190032A1 (en) 2018-07-05
WO2018136199A2 (en) 2018-07-26
WO2018136199A3 (en) 2018-11-08
US20190171867A1 (en) 2019-06-06
US20180189552A1 (en) 2018-07-05
US11030440B2 (en) 2021-06-08
US10452898B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110352595A (zh) 用于提供增强现实叠加的系统和方法
CN110352442A (zh) 用于提供增强现实个性化内容的系统和方法
CN110235120A (zh) 用于媒体内容项目之间的转换的系统和方法
KR102057592B1 (ko) 공유된 관심사를 갖는 메시지들의 갤러리
US9704029B2 (en) Systems and methods for identifying users in media content based on poselets and neural networks
CN110352443A (zh) 用于提供与对象相关联的内容项目的系统和方法
Rafferty et al. Towards a privacy rule conceptual model for smart toys
CN109891900A (zh) 基于说明性指令动态提供视频内容的系统和方法
CN107077192A (zh) 用于基于装置方位提供功能的系统和方法
CN109076187A (zh) 用于呈现内容的系统和方法
CN108702481A (zh) 创建复合视频的系统和方法
CN108292422A (zh) 用于基于触发修改与帖子相关的隐私设置的系统和方法
EP3343441A1 (en) Systems and methods for providing augmented reality overlays
CN108496197A (zh) 用于共享内容的系统和方法
US20180189254A1 (en) Systems and methods to present information in a virtual environment
WO2018125762A1 (en) Systems and methods for providing augmented reality overlays
CN111480348A (zh) 用于基于音频的增强现实的系统和方法
EP3343490A1 (en) Systems and methods for providing augmented reality effects and three-dimensional mapping associated with interior spaces
EP3343491A1 (en) Systems and methods for providing augmented reality personalized content
CN110326030A (zh) 用于提供与虚拟内容项目相关联的嵌套内容项目的系统和方法
WO2018125764A1 (en) Systems and methods for providing augmented reality effects and three-dimensional mapping associated with interior spaces
CN109219831A (zh) 基于分层架构为视频提供数据分析的系统和方法
US20190138162A1 (en) Systems and methods for providing calls-to-action and related content associated with virtual media content
CN110214307A (zh) 用于为社交网络系统提供存根应用的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan platform Co.

Address before: California, USA

Patentee before: Facebook, Inc.