CN113646733A - 辅助表情 - Google Patents

辅助表情 Download PDF

Info

Publication number
CN113646733A
CN113646733A CN202080026298.7A CN202080026298A CN113646733A CN 113646733 A CN113646733 A CN 113646733A CN 202080026298 A CN202080026298 A CN 202080026298A CN 113646733 A CN113646733 A CN 113646733A
Authority
CN
China
Prior art keywords
physical
implementations
virtual
face
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080026298.7A
Other languages
English (en)
Inventor
I·M·里克特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113646733A publication Critical patent/CN113646733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

一种方法包括：经由显示器显示增强型现实(ER)布景，该ER布景包括与设备相关联的人的ER表示。该ER表示包括具有虚拟面部特征的ER面部，这些虚拟面部特征对应于与该设备相关联的该人的相应物理面部特征。该方法包括：经由传感器检测与该设备相关联的该人的物理面部特征的变化。该物理面部特征指示该人的物理面部表情。响应于确定该物理面部表情违反标准，通过修改该ER面部的一个或多个虚拟面部特征以使得该ER面部指示满足该标准的虚拟面部表情，来修改该物理面部表情。

Description

辅助表情
相关申请的交叉引用
本申请要求于2019年6月27日提交的美国临时专利申请62/867544的权益，该申请全文以引用方式并入。
技术领域
本公开总体涉及增强型现实(ER)布景。
背景技术
一些设备能够呈现增强型现实(ER)布景，用户可通过该ER布景经由网络诸如互联网与其他实体进行交互。一些此类设备可将用户的ER表示传输到用户正与之进行交互的实体。一些ER布景可包括不同人的ER表示。不同人的ER表示可在控制ER表示的人的引导下彼此交互。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1示出了根据一些具体实施的示例性操作环境。
图2A至图2M是根据一些具体实施的示例性图像数据帧的图示。
图3是根据一些具体实施的示例性表情调节设备的框图。
图4A至图4C是根据一些具体实施的合成经修改图像数据帧的方法的流程图表示。
图5是根据一些具体实施的修改物理面部表情的设备的框图。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于修改用户的物理面部表情的设备、系统和方法。在各种具体实施中，一种设备包括传感器、显示器、非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括经由显示器显示增强型现实(ER)布景，该ER布景包括与设备相关联的人的ER表示。该ER表示包括具有虚拟面部特征的ER面部，这些虚拟面部特征对应于与设备相关联的人的相应物理面部特征。该方法包括经由传感器检测与设备相关联的人的物理面部特征中的一个或多个物理面部特征的变化。这些物理面部特征指示人的物理面部表情。响应于确定该物理面部表情违反标准，通过修改ER面部的虚拟面部特征中的一个或多个虚拟面部特征以使得ER面部指示满足标准的虚拟面部表情，来修改物理面部表情。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
与物理布景相比，增强型现实(ER)布景是指各种人通过使用电子系统可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER系统检测到人向上看，ER系统可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER布景中的虚拟对象的属性的调整。
人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测音频对象和/或仅与其交互。
虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。
混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。
在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。
增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。
各种系统允许人们感测ER布景和/或与其交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
本公开提供了用于通过修改用户面部的ER表示的一个或多个虚拟面部特征来修改用户的物理面部表情的方法、系统和/或设备。代替模仿用户的物理面部表情或显示无表情面部，ER表示可表达用户的物理面部表情的经修改版本。物理面部表情可通过放大物理面部表情来修改。物理面部表情可通过衰减物理面部表情来修改。在一些具体实施中，用户可控制修改的量。在一些具体实施中，可根据ER布景来选择修改的量。在一些具体实施中，可随机地或伪随机地选择修改的量。
根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
在一些具体实施中，设备可呈现增强型现实(ER)布景，用户可通过该ER布景经由网络诸如互联网与其他实体进行交互。设备可将用户的ER表示传输到用户正与之进行交互的实体。在一些具体实施中，设备包括可检测用户的物理面部表情的传感器。用户的ER表示可模拟用户的物理面部表情。
然而，在一些情况下，可能不期望用户的ER表示模仿用户的物理面部表情。例如，一些用户可通过神经学损伤、行为损伤、医学损伤或其他损伤来表征，这些损伤不利地影响他们生成物理面部表情的能力，这些物理面部表情代表他们可能希望传达的情绪状态。在一些具体实施中，用户可禁用表情模仿并渲染无表情的ER表示。在一些具体实施中，表情调节设备合成用户的物理面部表情的经修改版本，以便修改物理面部表情，例如，以便增强用户经由用户的ER表示传达情绪状态的能力。因此，除启用和禁用物理面部表情模仿之外，通过促进控制来增强用户对ER表示的控制。通过促进在ER布景中显示用户可能发现难以或不可能物理生成的面部表情来增强用户非言语通信的能力。
在一些具体实施中，表情调节设备合成用户的物理面部表情的经修改版本，例如，以辅助用户模拟目标面部表情。例如，在娱乐应用中，表情调节设备可辅助用户模拟由ER布景中的另一ER表示显示的面部表情或生成满足标准(例如快乐标准)的面部表情。
又如，在一些具体实施中，表情调节设备辅助用户描绘虚构工作(诸如电视节目或电影)中的虚构角色。虚构角色可具有目标面部表情或目标情绪状态。在一些具体实施中，表情调节设备合成ER表示，该ER表示显示与目标面部表情或目标情绪状态具有一定程度相似性的虚拟面部表情。
在一些具体实施中，表情调节设备通过衰减物理面部表情来修改物理面部表情。例如，如果物理面部表情指示超过阈值(例如恐惧阈值)的恐惧程度，则表情调节设备合成表现出用户的物理面部表情的所衰减版本的ER表示。因此，用户的ER表示显示与用户的物理面部表情相比看起来不太恐惧的虚拟面部表情。
在一些具体实施中，表情调节设备通过放大物理面部表情来修改物理面部表情。例如，如果物理面部表情指示低于阈值(例如快乐阈值)的温和微笑，则表情调节设备合成表现出用户的物理面部表情的所放大版本的ER表示。因此，用户的ER表示显示与用户的物理面部表情相比看起来更快乐的虚拟面部表情。
在一些具体实施中，用户可控制修改的程度，例如用户的物理面部表情受到衰减或放大的程度，以生成在ER表示上显示的虚拟面部表情。在一些具体实施中，修改的程度是ER布景(诸如气氛或仪式布景)的函数。在一些具体实施中，修改用户的物理面部表情包括生成在ER表示上显示的随机或伪随机虚拟面部表情。
在一些具体实施中，修改的程度是与ER布景相关联的时间段(例如，历史时间段)的函数。例如，如果ER布景与人更拘谨(formal)的年代相关联，则修改的程度相对较高。在一些示例中，如果ER布景与人不太拘谨的年代相关联，则修改的程度相对较低。
在一些具体实施中，修改是与ER布景相关联的位置的函数。例如，如果ER布景与人表现出某些类型的表情的特定地理区域相关联，则修改物理面部表情包括将物理面部表情转换成与在该特定地理区域中表现出的表情具有一定程度相似性的虚拟面部表情。在一些具体实施中，与ER布景相关联的位置是指ER布景中所表示的至少一些人的位置。例如，如果ER布景中所表示的大多数人位于法国，则ER布景与法国相关联。在该示例中，修改物理面部表情包括将物理面部表情转换成与在法国表现出的物理面部表情的具有一定程度相似性的虚拟面部表情。
图1示出了根据一些具体实施的示例性操作环境100。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括表情数据源101、客户端设备104和表情调节设备106。在图1的示例中，表情调节设备106被示出为与表情数据源101和客户端设备104分开。然而，在一些具体实施中，表情调节设备106和表情数据源101集成到单个设备中。另选地，在一些具体实施中，表情调节设备106集成到客户端设备104中。在一些具体实施中，表情调节设备106驻留在服务器(例如，由企业控制的企业服务器)处(例如，集成到该服务器中)。
在各种具体实施中，表情数据源101向表情调节设备106提供用户110的物理表情数据108。在一些具体实施中，表情数据源101包括传感器102。在一些具体实施中，传感器102包括捕获图像数据帧114(例如，表示用户110的面部)的相机112。在一些具体实施中，相机112集成到另一设备中，诸如移动计算设备(例如，智能电话或平板电脑)。在一些具体实施中，表情数据源101包括可存储图像数据帧114的数据存储库116。在一些具体实施中，表情数据源101包括生成ER体验的增强型现实(ER)系统118，图像数据帧114可以是该ER系统的一部分。数据存储库116和/或ER系统118可集成到与相机112相同的设备中，或者可在一个或多个其他设备中实现。
如图1所示，图像数据帧114包括针对图像数据帧114中的各种像素的像素数据120。例如，图像数据帧114包括针对第一像素的第一像素数据120a、针对第二像素的第二像素数据120b、针对第三像素的第三像素数据120c、针对第四像素的第四像素数据120d以及针对第n像素的第n像素数据120n。在一些具体实施中，像素数据120包括像素值。例如，像素数据120包括针对对应像素的红色、绿色和蓝色(RGB)色值。
在一些具体实施中，图像数据帧114表示用户110的面部并且对指示一个或多个物理面部特征的物理面部表情进行编码。在一些具体实施中，表情调节设备106检测指示物理面部表情的物理面部特征中的一个或多个物理面部特征的变化。例如，表情调节设备106可检测到用户110正表现出恐惧的物理面部表情、快乐的物理面部表情、激动的物理面部表情、生气的物理面部表情、难过的物理面部表情、惊喜的物理面部表情、厌烦的物理面部表情和/或另一种物理面部表情。
物理表情数据108可包括除图像数据帧114之外或代替图像数据帧的数据。在一些具体实施中，传感器102包括捕获与用户110的面部相关的触觉传感器数据115的触觉传感器113。在一些具体实施中，触觉传感器113包括接触用户110的面部的一个或多个接触点(例如，传感器垫)。在一些具体实施中，触觉传感器113检测面部肌肉的移动，并且触觉传感器数据115对移动进行编码。
在一些具体实施中，传感器102包括深度传感器117，该深度传感器捕获深度数据并生成网格图119，该网格图包括与用户110的面部相关的深度信息。在一些具体实施中，网格图119指示用户110的物理面部特征。
在一些具体实施中，物理表情数据108包括表征用户110的物理面部特征的物理面部特征值121。例如，物理面部特征值121可包括微笑的宽度、物理凸脊的高度、物理凹痕的深度、眉毛的形状、瞳孔的直径、出汗量和/或皮肤颜色。在一些具体实施中，从图像数据帧114、触觉传感器数据115和/或网格图119生成(例如，导出)物理面部特征值121。
在各种具体实施中，表情调节设备106基于物理表情数据108生成虚拟表情数据122。在一些具体实施中，表情调节设备106修改物理表情数据108以便为用户110生成虚拟表情数据122。在一些具体实施中，表情调节设备106修改图像数据帧114以生成经修改图像数据帧124，以便修改用户110的物理面部表情。在一些具体实施中，表情调节设备106修改物理面部特征值121以生成虚拟面部特征值128。例如，表情调节设备106可修改表示物理瞳孔大小的物理面部特征值，以生成表示大于或小于物理瞳孔大小的虚拟瞳孔大小的虚拟面部特征值。
在一些具体实施中，表情调节设备106改变像素中的一些像素的值，同时使其他像素的值保持不变。在图1的示例中，经修改图像数据帧124包括针对像素中的一些像素的经修改像素数据126。例如，经修改图像数据帧124包括针对第一像素的经修改像素数据126a和针对第三像素的经修改像素数据126c。如图1所示，在一些具体实施中，经修改图像数据帧124还包括针对一些像素的未修改像素数据。例如，经修改图像数据帧124包括针对第二像素的未修改第二像素数据120b、针对第四像素的未修改第四像素数据120d和针对第n像素的未修改像素数据120n。
在各种具体实施中，客户端设备104获得包括经修改像素数据126和/或虚拟面部特征值128的虚拟表情数据122。客户端设备104可在客户端设备104的显示器上渲染经修改图像数据帧124。在一些具体实施中，客户端设备104渲染与虚拟面部特征值128一致的图像数据帧。由于经修改图像数据帧124包括经修改像素数据126，因此在一些具体实施中，根据图像数据帧114修改在客户端设备104处显示的像素中的一些像素。例如，在一些具体实施中，经修改图像数据帧124表示用户110的面部并显示虚拟面部表情，该虚拟面部表情包括对应于用户110的一个或多个物理面部特征的一个或多个虚拟面部特征。在一些具体实施中，表示虚拟面部特征的像素被修改，使得相对于用户110的对应的物理面部特征修改(例如，缩放)虚拟面部特征。因此，在一些具体实施中，虚拟表情数据122表现出表示用户110的经修改物理面部表情的虚拟面部表情。
在各种具体实施中，客户端设备104包括移动计算设备(例如，智能电话、平板电脑或膝上型计算机)、台式计算机、电视机和/或ER设备(例如，可头戴设备(HMD)诸如ER头戴式耳机)。在一些具体实施中，由用户穿戴的可头戴设备(HMD)根据各种具体实施呈现(例如，显示)ER布景。在一些具体实施中，HMD包括显示ER布景的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，客户端设备104可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一设备(例如，客户端设备104)的接收器。例如，在一些具体实施中，客户端设备104滑动/卡扣到可头戴壳体或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)ER布景。在各种具体实施中，客户端设备104的示例包括智能电话、平板电脑、媒体播放器、膝上型计算机等。
在一些具体实施中，HMD包括壳体，移动计算设备可插入或安装在该壳体中。在一些具体实施中，HMD包括集成显示器，该集成显示器显示经由有线或无线接口接收的内容。
在各种具体实施中，表情调节设备106允许传感器102将虚拟表情数据122提供给客户端设备104，同时防止客户端设备104访问由物理表情数据108表示的某些信息，诸如用户的物理面部表情。因此，表情调节设备106提供对客户端设备104的用户能够查看的内容的更多控制。在各种具体实施中，表情调节设备106完全减少了对阻断物理表情数据108的传输的需要，因为表情调节设备106允许修改某些物理表情，从而增强用户体验。在各种具体实施中，表情调节设备106因此通过在用户的控制下对信息进行修改或以其他方式限制信息从用户的环境向另一用户的传输来增强用户的隐私。在一些具体实施中，客户端设备104的用户能够选择例如为经修改物理面部表情的显示提供知情同意。在一些具体实施中，表情调节设备106通知客户端设备104的用户虚拟面部表情是或可以是经修改物理面部表情。
图2A示出了示例性图像数据帧200a。在一些具体实施中，表情调节设备106从表情数据源101(例如，传感器102)获得图像数据帧200a。例如，在一些具体实施中，相机112捕获图像数据帧200a并将图像数据帧200a提供给表情调节设备106。在一些具体实施中，图像数据帧200a是视频馈送的一部分。例如，在一些具体实施中，图像数据帧200a是视频帧。在一些具体实施中，图像数据帧200a是静止图像帧。
图像数据帧200a包括表示面部202的像素。在图2A的示例中，面部202包括单独地或组合地形成物理面部表情的多个面部特征。面部202包括具有相应瞳孔206a、206b的两只眼睛204a、204b。在图2A的示例中，面部202包括两个眉毛208a、208b。面部202还包括鼻部210和口部212。在一些具体实施中，表情调节设备106检测这些和其他面部特征的形状和/或相对定位以确定用户的物理面部表情。
在一些具体实施中，表情调节106检测其他特征以确定用户的物理面部表情。例如，在某些物理面部表情的表现期间，物理凸脊214(例如，皱纹)可出现在用户的前额上。又如，在某些物理面部表情的表现期间，物理凹痕216(例如，酒窝)可出现在用户的脸颊或面部202的其他区域上。又如，在某些物理面部表情的表现期间，汗液218液滴可出现在面部202上。又如，在某些物理面部表情的表现期间，面部202的皮肤颜色220可改变，例如变亮、变暗和/或变红。
在一些具体实施中，表情调节设备106经由传感器102检测指示用户的物理面部表情的用户(例如，面部202)的物理面部特征的变化。图2B示出了包括物理面部特征的变化的示例性图像数据帧200b。在一些具体实施中，表情调节设备106检测到由图像数据帧200b指示的物理面部表情违反标准，例如，物理凸脊214已出现在用户的前额上和/或物理凸脊214具有违反(例如，超过或低于)阈值高度T的高度H。
图2C示出了表情调节设备106可合成的示例性经修改图像数据帧200c。经修改图像数据帧200c包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放物理凸脊214的高度并在生成经修改图像数据帧200c时相应地修改图像数据帧200b的像素。在一些具体实施中，表情调节设备106通过修改图像数据帧200b的像素以移除物理凸脊214来修改用户的物理面部表情。在一些具体实施中，表情调节设备106修改图像数据帧200b的像素，使得由经修改图像数据帧200c指示的虚拟面部表情满足标准，例如，虚拟凸脊214a的高度H'不违反阈值高度T，如图2C所示。在一些具体实施中，表情调节设备106可修改表示物理凸脊高度的物理面部特征值，以生成表示大于或小于阈值凸脊高度(如标准所指定的)的虚拟凸脊高度的虚拟面部特征值。
图2D示出了包括物理面部特征的变化的另一示例性图像数据帧200d。在一些具体实施中，表情调节设备106检测到由图像数据帧200d指示的物理面部表情违反标准，例如，物理凹痕216已出现在用户的脸颊上和/或物理凹痕216具有违反(例如，超过或低于)阈值深度T的深度D。
图2E示出了表情调节设备106可合成的示例性经修改图像数据帧200e。经修改图像数据帧200e包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放凹痕的高度并相应地修改图像数据帧200d的像素。在一些具体实施中，表情调节设备106通过修改图像数据帧200d的像素以移除物理凹痕216来修改用户的物理面部表情。在一些具体实施中，表情调节设备106修改图像数据帧200d的像素，使得由经修改图像数据帧200e指示的虚拟面部表情满足标准，例如，虚拟凹痕216a的深度D'不违反阈值深度T，如图2E所示。在一些具体实施中，表情调节设备106可修改表示物理凹痕深度的物理面部特征值，以生成表示大于或小于阈值凹痕深度(如标准所指定的)的虚拟凹痕深度的虚拟面部特征值。
图2F示出了包括物理面部特征的变化的另一示例性图像数据帧200f。在一些具体实施中，表情调节设备106检测到由图像数据帧200d指示的物理面部表情违反标准，例如，用户的眉毛208a、208b中的一者或两者已相对于图像数据帧200a改变了形状(例如，成拱形)和/或变化量违反(例如，超过或低于)阈值变化量T。
图2G示出了表情调节设备106可合成的示例性经修改图像数据帧200g。图像数据帧200g包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放眉毛208a、208b的大小并相应地修改图像数据帧200f的像素。在一些具体实施中，表情调节设备106通过修改图像数据帧200f的像素以将眉毛208a、208b替换为另一组眉毛208a'、208b'(诸如来自图像数据帧200a的眉毛)来修改用户的物理面部表情。在一些具体实施中，表情调节设备106修改图像数据帧200f的像素，使得由经修改图像数据帧200g指示的虚拟面部表情满足标准，例如，眉毛形状的变化量不违反阈值变化量T。在一些具体实施中，表情调节设备106可修改表示眉毛大小或形状的物理面部特征值，以生成满足标准(例如，眉毛208a'、208b'满足标准)的虚拟面部特征值。
图2H示出了包括物理面部特征的变化的另一示例性图像数据帧200h。在一些具体实施中，表情调节设备106检测到由图像数据帧200h指示的物理面部表情违反标准，例如，用户的眼睛204a、204b中的瞳孔206a、206b中的一者或两者已相对于图像数据帧200a改变了大小(例如，扩张)和/或变化量D违反(例如，超过或低于)阈值变化量T。
图2I示出了表情调节设备106可合成的示例性经修改图像数据帧200i。图像数据帧200i包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放瞳孔206a、206b的大小并相应地修改图像数据帧200i的像素。在一些具体实施中，表情调节设备106修改图像数据帧200h的像素，使得由经修改图像数据帧200i指示的虚拟面部表情满足标准，例如，瞳孔大小的变化量D’不违反阈值变化量T。在一些具体实施中，表情调节设备106可修改表示物理瞳孔大小的物理面部特征值，以生成表示大于或小于阈值瞳孔大小(如标准所指定的)的虚拟瞳孔大小的虚拟面部特征值。
图2J示出了包括物理面部特征的变化的另一示例性图像数据帧200j。在一些具体实施中，表情调节设备106检测到由图像数据帧200h指示的物理面部表情违反标准，例如，皮肤颜色220已相对于图像数据帧200a改变，如图2J上的阴影线所指示，和/或变化量违反(例如，超过或低于)阈值变化量。
图2K示出了表情调节设备106可合成的示例性经修改图像数据帧200k。图像数据帧200k包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放皮肤颜色220的变化并例如通过改变适当像素的RGB值来相应地修改图像数据帧200j的像素。在一些具体实施中，表情调节设备106修改图像数据帧200j的像素，使得由经修改图像数据帧200k指示的虚拟面部表情满足标准，例如，皮肤颜色220’的变化量不违反阈值变化量。在一些具体实施中，表情调节设备106可修改表示皮肤颜色的物理面部特征值，以生成表示满足标准的皮肤颜色的虚拟面部特征值。
图2L示出了包括物理面部特征的变化的另一示例性图像数据帧200l。在一些具体实施中，表情调节设备106检测到由图像数据帧200h指示的物理面部表情违反标准，例如，汗液218的量已相对于图像数据帧200a改变，和/或汗液218的量违反(例如，超过或低于)阈值汗液量。
图2M示出了表情调节设备106可合成的示例性经修改图像数据帧200m。图像数据帧200m包括表示虚拟面部表情的像素。在一些具体实施中，表情调节设备106通过以下方式来修改用户的物理面部表情：按缩放系数缩放汗液218的量并例如通过改变适当像素的RGB值来相应地修改图像数据帧200l的像素。在一些具体实施中，表情调节设备106修改图像数据帧200l的像素，使得由经修改图像数据帧200m指示的虚拟面部表情满足标准，例如，汗液218’的量不违反阈值汗液量。在一些具体实施中，表情调节设备106可修改表示汗液218的量的物理面部特征值，以生成表示满足标准的汗液218’的量的虚拟面部特征值。
图3示出了根据一些具体实施的表情调节设备106。在一些具体实施中，表情调节设备106包括数据获取器310、像素标记器320、表情分析器330、像素修改器340和经修改图像合成器350。在各种具体实施中，数据获取器310获取图像数据帧。例如，在一些具体实施中，数据获取器310获取图1的图像数据帧114。在一些具体实施中，数据获取器310例如从图1所示的传感器102接收图像数据帧114。在一些具体实施中，数据获取器310例如从传感器102(例如，相机112)检索图像数据帧114。在一些具体实施中，数据获取器310例如从相机112或ER系统118获取视频馈送，并且从该视频馈送提取图像数据帧。
在一些具体实施中，像素标记器320针对图像数据帧114中的像素中的每个像素生成相应对象标记324。在一些具体实施中，每个对象标记324指示对应像素表示的对象类型，例如面部特征。
在一些具体实施中，表情分析器330接收像素数据118和相关联的对象标记324，并且检测构成用户的物理面部表情的物理面部特征。表情分析器330确定物理面部特征的形状、大小、相对定位和/或其他特性，并且确定由物理面部特征表达的物理面部表情。
在各种具体实施中，像素修改器340修改像素的对应像素数据以便修改用户的物理面部表情。例如，像素修改器340可接收规则342并根据所接收规则342来修改像素的像素数据。规则342可指定标准，例如修改标准，并且可指定在违反标准的条件下在ER面部的虚拟面部特征上执行的修改操作。本文结合图2A至图2M公开了一些示例性规则。
例如，在一些实施方案中，规则可规定，如果出现在用户的面部上的物理凸脊的高度违反(例如，超过或低于)阈值高度，则出现在ER面部上的对应凸脊的高度应按缩放系数344进行缩放。根据规则是否旨在使用户的ER表示上的虚拟面部表情相对于用户的物理面部表情减弱或加强，可选择缩放系数以减小凸脊的大小或使凸脊放大。
在一些实施方案中，规则可规定对ER面部的虚拟面部特征执行修改操作，使得ER面部指示不再违反标准的虚拟面部表情。例如，如果修改操作由违反阈值高度的物理凸脊的高度触发，则可执行修改操作以生成所具有的虚拟凸脊的高度不违反阈值高度的ER面部。
在各种具体实施中，像素修改器340生成经修改像素数据126。例如，像素修改器340生成针对图像数据帧114中的第一像素的经修改像素数据126a和针对图像数据帧114中的第三像素的经修改像素数据126c。在一些具体实施中，像素修改器340将经修改像素数据126提供给经修改图像合成器350。
在各种具体实施中，经修改图像合成器350基于经修改像素数据126合成经修改图像数据帧124。由经修改图像合成器350合成的经修改图像数据帧124包括对应于经修改面部特征的像素的经修改像素数据126和对应于未修改面部特征的像素的未修改像素数据。在图3的示例中，经修改图像数据帧124包括针对第一像素和第三像素的经修改像素数据126以及针对第二像素、第四像素和第n像素的未修改像素数据。在一些具体实施中，经修改图像合成器350将经修改图像数据帧124提供到渲染和显示流水线。在一些具体实施中，经修改图像合成器350将经修改图像数据帧124传输到显示经修改图像数据帧124的另一设备。
图4A至图4C是根据一些具体实施的用于修改物理面部表情的方法400的流程图表示。在一些具体实施中，方法400由具有显示器的设备(例如，图1和图3所示的表情调节设备106)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些实施方式中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在各种具体实施中，方法400包括：显示包括人的ER表示的增强型现实(ER)布景，检测指示物理面部表情的物理面部特征，并且在确定该物理面部表情违反标准时，通过修改人的ER表示的虚拟面部特征来修改物理面部表情。
如框410所示，在各种具体实施中，方法400包括经由显示器显示ER布景。ER布景可以是例如虚拟会议室或会议空间，并且可包括与设备相关联的人(例如，图1的用户110)和/或其他人(诸如用户110与之进行会话的一个或多个人)的ER表示。用户110的ER表示包括具有虚拟面部特征的面部。虚拟面部特征对应于与设备相关联的人(例如，图1所示的用户110)的相应物理特征。
如框420所示，在各种具体实施中，方法400包括经由传感器检测与设备相关联的人的物理面部特征的变化，并且确定是否违反标准(例如，修改标准)。例如，在一些具体实施中，图像数据帧由相机112捕获或从数据存储库116或ER系统118获取。在一些具体实施中，方法400包括捕获包括图像数据帧的视频馈送。例如，在一些具体实施中，图像数据帧是从视频提取的视频帧。可使用相机112捕获视频馈送。在一些具体实施中，视频是预先录制的视频。另选地，在一些具体实施中，视频是实时视频(例如，直播)。
在一些具体实施中，图像数据帧(例如，图像数据帧114或图像数据帧200a)包括多个像素。在一些具体实施中，每个像素与相应像素数据相关联。例如，如图1所示，图像数据帧114的第一像素与第一像素数据120a相关联，图像数据帧114的第二像素与第二像素数据120b相关联，并且图像数据帧，114的第n像素与第n像素数据120n相关联。
像素与用户110的物理面部特征相关联。在一些具体实施中，表情调节设备106检测构成用户的物理面部表情的物理面部特征。表情调节设备106确定物理面部特征的形状、大小、相对定位和/或其他特性，并且确定由物理面部特征表达的物理面部表情。
如框420a所示，在一些具体实施中，方法400包括检测用户的面部上的物理凸脊(例如，潜在地指示愤怒的皱纹，如图2B所示)或物理凹痕(例如，潜在地指示快乐的酒窝，如图2D所示)的外观。在一些具体实施中，物理凸脊或物理凹痕的外观违反标准。在一些具体实施中，如框420b所示，表情调节设备106将物理凸脊的高度与阈值高度进行比较。如果违反阈值高度，则违反标准。在一些具体实施中，如果物理凸脊的高度超过阈值高度，例如潜在地指示用户的物理面部表情被示出为太过愤怒，则违反标准。在一些具体实施中，如果物理凸脊的高度小于阈值高度，例如潜在地指示用户的物理面部表情被示出为不太愤怒，则违反标准。
在一些具体实施中，如框420c所示，表情调节设备106将物理凹痕的深度与阈值深度进行比较。如果违反阈值深度，则违反标准。在一些具体实施中，如果物理凹痕的深度超过阈值深度，例如潜在地指示用户的物理面部表情被示出为太过快乐，则违反标准。在一些具体实施中，如果物理凹痕的深度小于阈值深度，例如潜在地指示用户的物理面部表情被示出为不太快乐，则违反标准。
如框420d所示，在一些具体实施中，方法400包括检测与设备相关联的人的眉毛的形状的变化。例如，表情调节设备106可检测到眉毛已变成拱形。在一些具体实施中，形状的变化违反第一标准。在一些具体实施中，如框420e所示，表情调节设备106将眉毛的形状的变化量与阈值变化量进行比较。例如，表情调节设备106可确定在不同时刻眉毛形状之间的相似性程度。如果违反阈值变化量，则违反标准。在一些具体实施中，如果眉毛的形状的变化量超过阈值量，则违反标准。在一些具体实施中，如果眉毛的形状的变化量低于阈值量，则违反标准。
如框420f所示，在一些具体实施中，方法400包括检测与设备相关联的人的瞳孔的大小的变化。例如，表情调节设备106可检测到用户的瞳孔已扩张，从而潜在地指示感兴趣、兴奋或恐惧。在一些具体实施中，瞳孔大小的变化违反第一标准。在一些具体实施中，如框420g所示，表情调节设备将瞳孔大小的变化与阈值变化量进行比较。如果违反阈值变化量，则违反标准。在一些具体实施中，如果瞳孔大小的变化量超过阈值量，例如潜在地指示用户的物理面部表情被示出为太过感兴趣、兴奋或恐惧，则违反标准。在一些具体实施中，如果瞳孔大小的变化量低于阈值量，例如潜在地指示用户的物理面部表情被示出为不太感兴趣、兴奋或恐惧，则违反标准。
如框420h所示，在一些具体实施中，方法400包括检测与设备相关联的人的皮肤颜色的变化。例如，表情调节设备106可检测到用户正脸红，从而潜在地发出尴尬的信号。在一些具体实施中，皮肤颜色的变化违反标准。在一些具体实施中，如框420i所示，表情调节设备将皮肤颜色的变化与阈值变化量进行比较。如果违反阈值变化量，则违反标准。在一些具体实施中，如果皮肤颜色的变化量超过阈值量，例如潜在地指示物理面部表情被示出为太过尴尬，则违反标准。在一些具体实施中，如果皮肤颜色的变化量低于阈值量，例如潜在地指示物理面部表情被示出为不太尴尬，则违反标准。
如框420j所示，在一些具体实施中，方法400包括检测与设备相关联的人的面部上汗液的存在，这可以是例如恐惧的指示标识。在一些具体实施中，汗液的存在违反标准。在一些具体实施中，如框420k所示，表情调节设备将汗液量与阈值汗液量进行比较。如果违反阈值汗液量，则违反标准。在一些具体实施中，如果汗液量超过阈值量，例如潜在地指示物理面部表情太恐惧，则违反标准。在一些具体实施中，如果汗液量低于阈值量，例如潜在地指示物理面部表情不太恐惧，则违反标准。
如框430所示，在各种具体实施中，方法400包括在违反标准的条件下，通过修改ER面部的虚拟面部特征以使得ER面部指示满足(例如，不再违反)标准的虚拟面部表情，来修改物理面部表情。
如框430a所示，在一些具体实施中，方法400包括确定缩放系数。缩放系数可大于一，例如以放大物理面部特征。在一些具体实施中，缩放系数可小于一，例如以衰减或减弱物理面部特征。
在一些具体实施中，如框430b所示，方法400包括基于缩放系数和所检测到的物理面部特征的变化来修改虚拟面部特征。例如，如果在框420a处，表情调节设备106检测到物理凸脊的外观，则虚拟凸脊将基于缩放系数进行修改。在一些具体实施中，如果缩放系数大于一，则ER表示的面部上的虚拟凸脊的外观被放大，使得愤怒的外观加强。在一些具体实施中，如果缩放系数小于一，则ER表示的面部上的虚拟凸脊的外观被衰减，使得愤怒的外观减弱。因此，如框430c所示，在一些具体实施中，ER表示的面部上的虚拟面部表情是与设备相关联的人的面部上的物理面部表情的经缩放版本。
在一些具体实施中，如框430d所示，方法400包括基于与ER布景中的人的ER表示相关联的身份来修改ER面部的虚拟面部特征。例如，除与设备相关联的人之外，ER布景可包括一个或多个其他人的表示。在一些情况下，其他人对于与设备相关联的人可能是已知的。在其他情况下，其他人对于与设备相关联的人可能是未知的。用户可能希望采用不同的方法来修改物理面部表情，这取决于用户与之交互的人是否是用户已知的。因此，在一些具体实施中，如框430e所示，如果与ER布景中的人的ER表示相关联的身份在设备的联系人数据库中，则放大虚拟面部特征(例如，缩放系数大于一)。在一些具体实施中，如框430f所示，如果与ER布景中的人的ER表示相关联的身份不在设备的联系人数据库中，则衰减虚拟面部特征(例如，缩放系数小于一)。
在一些具体实施中，用户可与ER布景中的多个人进行交互。这些人可包括用户已知和未知的人的混合。在一些具体实施中，如框430g所示，方法400包括基于与ER布景中的多个人的ER表示相关联的多个身份的缩放系数来修改虚拟面部特征。例如，可针对在设备的联系人数据库中出现的身份来选择大于一的缩放系数。可针对在设备的联系人数据库中未出现的身份来选择小于一的缩放系数。在一些具体实施中，基于联系人的分类(例如，身份是否被指定为“最爱”或“熟人”或“专业人员”联系人)来选择缩放系数的量值。
在一些具体实施中，如框430h所示，方法400包括对ER面部的虚拟面部特征执行随机或伪随机修改。例如，在一些具体实施中，通过随机或伪随机数生成来选择缩放系数。在一些具体实施中，随机地或伪随机地选择待修改的虚拟面部特征。如框430i所示，在一些具体实施中，如果ER布景对应于游戏(例如，扑克)，则执行对虚拟面部特征的随机或伪随机修改。
如本文结合图2A至图2M所公开的，可对虚拟面部特征执行多种修改以修改用户的物理面部表情。例如，在一些具体实施中，相对于出现在用户的物理面部上的物理凸脊的高度缩放出现在用户的面部的ER表示上的虚拟凸脊的高度，如框430j所示。这样做可以使用户看起来更加或不太生气，例如，如图2C所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
在一些具体实施中，相对于出现在用户的物理面部上的物理凹痕的深度缩放出现在用户的面部的ER表示上的虚拟凹痕的深度，如框430k所示。可执行该修改以使ER面部与用户的物理面部表情相比看起来更快乐或更不快乐，如图2E所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
在一些具体实施中，可相对于与设备相关联的人的物理眉毛的形状的变化缩放或修改一个或两个虚拟眉毛的形状，如框430l所示。可执行该修改以使ER面部与用户的物理面部表情相比看起来更激动或不太激动，例如，如图2G所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
在一些具体实施中，可相对于与设备相关联的人的物理瞳孔的大小缩放一个或两个虚拟瞳孔的大小，如框430m所示。可执行该修改以使ER面部与用户的物理面部表情相比看起来更感兴趣、激动或恐惧或不太感兴趣、激动或恐惧，例如，如图2I所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
在一些具体实施中，可相对于与设备相关联的人的物理皮肤颜色的变化(例如，脸红)缩放ER面部的皮肤颜色的变化，如框430n所示。可执行该修改以使ER面部与用户的物理面部表情相比看起来更尴尬或不太尴尬，例如，如图2K所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
在一些具体实施中，可相对于出现在与设备相关联的人的面部上的汗液量缩放ER面部上的虚拟汗液量，如框430o所示。可执行该修改以使ER面部与用户的物理面部表情相比看起来更恐惧或不太恐惧，例如，如图2M所示。在一些具体实施中，选择缩放系数使得由ER面部指示的虚拟面部表情满足标准。
如框430p所示，在一些具体实施中，方法400包括将ER面部(例如，表示ER面部的经修改图像数据帧和/或图1所示的虚拟面部特征值128)提供到渲染和显示流水线。例如，表情调节设备106(例如，经修改图像合成器350)将经修改图像数据帧124提供到渲染和显示流水线。在一些具体实施中，如框430q所示，方法400包括将ER面部(例如，图1所示的经修改图像数据帧124和/或虚拟面部特征值128)传输到另一设备。例如，如图1所示，表情调节设备106将经修改图像数据帧124传输到客户端设备104。在一些具体实施中，如框430r所示，方法400包括在与设备通信的显示器上显示第一经修改图像数据帧。例如，图1所示的客户端设备104在客户端设备104的显示器上显示经修改图像数据帧124。
在各种具体实施中，合成经修改图像数据帧减少了关闭ER布景中的表情模仿的需要。如本文所述，能够传输和/或接收图像数据帧趋于提供增强的用户体验。
图5是根据一些具体实施的通过修改虚拟面部特征来修改物理面部表情的设备500(例如，图1和图3所示的表情调节设备106)的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备500包括一个或多个处理单元502(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备506、一个或多个通信接口508(例如，通用串行总线(USB)、火线、THUNDERBOLT、IEEE802.3x、IEEE802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口510、存储器520以及用于互连这些部件和各种其他部件的一条或多条通信总线504。
在一些具体实施中，一条或多条通信总线504包括互连并控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备506包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器(例如，一个或多个相机例如前置相机)、一个或多个显示器(例如，一个或多个ER显示器)等中的至少一者。
存储器520可包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或其他随机存取固态存储器设备。在一些具体实施中，存储器520包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器520任选地包括与一个或多个处理单元502远程定位的一个或多个存储设备。存储器520包括非暂态计算机可读存储介质。在一些具体实施中，存储器520或者存储器520的非暂态计算机可读存储介质存储以下程序、模块和数据结构或它们的子集，包括任选的操作系统530、数据获取器310、像素标记器320、表情分析器330、像素修改器340和经修改图像合成器350。
操作系统530包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
如本文所述，在各种具体实施中，数据获取器310获取(例如，接收或检索)包括图像数据帧的物理表情数据(例如，包括图1和图3所示的图像数据帧114的物理表情数据108)。为此，数据获取器310包括指令310a以及启发法和元数据310b。如本文所述，在各种具体实施中，像素标记器320针对图像数据帧中的像素生成对象标记(例如，图3所示的对象标记324)。为此，数据标记器320包括指令320a以及启发法和元数据320b。如本文所述，在各种具体实施中，表情分析器330检测构成用户的物理面部表情的物理面部特征，并且基于那些物理面部特征来确定物理面部表情。在一些具体实施中，表情分析器330确定物理面部表情是否违反标准。为此，表情分析器包括指令330a以及启发法和元数据330b。
如本文所述，在各种具体实施中，像素修改器340修改图像数据帧中的像素中的一个或多个像素以便修改物理面部表情(例如，像素修改器340生成图1和图3所示的经修改像素数据126)。为此，像素修改器340包括指令330a以及指令和启发法340b。如本文所述，在各种具体实施中，经修改图像合成器350合成经修改图像数据帧，该经修改图像数据帧包括对应于第一对象标记的像素的经修改像素数据和不对应于第一对象标记的像素的未修改像素数据(例如，经修改图像数据帧124包括针对第一像素和第三像素的经修改像素数据126以及针对第二像素和第四像素的未修改像素数据120b和120d)。为此，经修改图像合成器350包括指令350a以及指令和启发法350b。
尽管数据获取器310、像素标记器320、表情分析器330、像素修改器340和经修改图像合成器350被示出为驻留在单个设备(例如，表情调节设备106)上，但应当理解，在其他具体实施中，数据获取器310、像素标记器320、表情分析器330、像素修改器340和经修改图像合成器350的任何组合可位于独立计算设备中。
此外，图5更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能块可以作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。
个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。
然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (33)

1.一种方法，所述方法包括：
在包括传感器、显示器、非暂态存储器以及与所述传感器、所述显示器和所述非暂态存储器耦接的一个或多个处理器的设备处：
经由所述显示器显示增强型现实(ER)布景，所述ER布景包括与所述设备相关联的人的ER表示，其中所述ER表示包括具有虚拟面部特征的ER面部，所述虚拟面部特征对应于与所述设备相关联的所述人的相应物理面部特征；
经由所述传感器检测与所述设备相关联的所述人的所述物理面部特征中的一个或多个物理面部特征的变化，其中所述物理面部特征指示所述人的物理面部表情；以及
响应于确定所述物理面部表情违反标准：
通过修改所述ER面部的所述虚拟面部特征中的一个或多个虚拟面部特征以使得所述ER面部指示满足所述标准的虚拟面部表情，来修改所述物理面部表情。
2.根据权利要求1所述的方法，所述方法还包括：确定所述一个或多个物理面部特征的缩放系数。
3.根据权利要求2所述的方法，所述方法还包括：基于所述缩放系数和所检测到的所述一个或多个物理面部特征的变化来修改所述ER面部的所述一个或多个虚拟面部特征。
4.根据权利要求1-3中任一项所述的方法，其中，所述虚拟面部表情是所述物理面部表情的经缩放版本。
5.根据权利要求1-4中任一项所述的方法，所述方法还包括：基于与所述ER布景中的所述人的所述ER表示相关联的身份来修改所述ER面部的所述一个或多个虚拟面部特征。
6.根据权利要求5所述的方法，所述方法还包括：如果与所述ER布景中的所述人的所述ER表示相关联的所述身份在与所述设备相关联的联系人数据库中，则放大所述ER面部的所述一个或多个虚拟面部特征。
7.根据权利要求5所述的方法，所述方法还包括：如果与所述ER布景中的所述人的所述ER表示相关联的所述身份不在与所述设备相关联的联系人数据库中，则衰减所述ER面部的所述一个或多个虚拟面部特征。
8.根据权利要求1-7中任一项所述的方法，所述方法还包括：基于与所述ER布景中的多个人的多个ER表示中的每个ER表示相关联的多个相应缩放系数来修改所述ER面部的所述一个或多个虚拟面部特征。
9.根据权利要求1-8中任一项所述的方法，所述方法还包括：对所述ER面部的所述一个或多个虚拟面部特征执行随机修改或伪随机修改中的至少一者。
10.根据权利要求9所述的方法，所述方法还包括：在所述ER布景对应于游戏的条件下，对所述ER面部的所述一个或多个虚拟面部特征执行所述随机修改或所述伪随机修改中的所述至少一者。
11.根据权利要求1-10中任一项所述的方法，其中，经由所述传感器检测与所述设备相关联的所述人的所述一个或多个物理面部特征的所述变化包括：检测与所述设备相关联的所述人的面部上的物理凸脊或物理凹痕中的至少一者的外观。
12.根据权利要求11所述的方法，其中，在所述物理凸脊的高度违反阈值高度的条件下，所述物理面部表情违反所述标准。
13.根据权利要求12所述的方法，所述方法还包括：相对于所述物理凸脊的所述高度缩放所述ER面部的虚拟凸脊的高度。
14.根据权利要求11-13中任一项所述的方法，其中，在所述物理凹痕的深度违反阈值深度的条件下，所述物理面部表情违反所述标准。
15.根据权利要求14所述的方法，所述方法还包括：相对于所述物理凹痕的所述深度缩放所述ER面部的虚拟凹痕的深度。
16.根据权利要求1-15中任一项所述的方法，其中，经由所述传感器检测与所述设备相关联的所述人的所述一个或多个物理面部特征的所述变化包括：检测与所述设备相关联的所述人的眉毛的形状的变化。
17.根据权利要求16所述的方法，其中，在所述眉毛的所述形状的所述变化违反阈值变化量的条件下，所述物理面部表情违反所述标准。
18.根据权利要求16-17中任一项所述的方法，所述方法还包括：相对于与所述设备相关联的所述人的所述眉毛的所述形状的所述变化缩放所述ER面部的虚拟眉毛的形状。
19.根据权利要求1-18中任一项所述的方法，其中，经由所述传感器检测与所述设备相关联的所述人的所述一个或多个物理面部特征的所述变化包括：检测与所述设备相关联的所述人的瞳孔的大小的变化。
20.根据权利要求19所述的方法，其中，在所述瞳孔的所述大小的所述变化违反阈值变化量的条件下，所述物理面部表情违反所述标准。
21.根据权利要求19-20中任一项所述的方法，所述方法还包括：相对于与所述设备相关联的所述人的所述瞳孔的所述大小的所述变化缩放所述ER面部的虚拟瞳孔的大小。
22.根据权利要求1-21中任一项所述的方法，其中，经由所述传感器检测与所述设备相关联的所述人的所述一个或多个物理面部特征的所述变化包括：检测与所述设备相关联的所述人的皮肤颜色的变化。
23.根据权利要求22所述的方法，其中，在皮肤颜色的所述变化违反阈值变化量的条件下，所述物理面部表情违反所述标准。
24.根据权利要求22-23中任一项所述的方法，所述方法还包括：相对于与所述设备相关联的所述人的所述皮肤颜色的所述变化缩放所述ER面部的虚拟皮肤颜色的变化。
25.根据权利要求1-24中任一项所述的方法，其中，经由所述传感器检测与所述设备相关联的所述人的所述一个或多个物理面部特征的变化包括：检测与所述设备相关联的所述人的面部上的汗液量。
26.根据权利要求25所述的方法，其中，在所述汗液量违反阈值汗液量的条件下，所述物理面部表情违反所述标准。
27.根据权利要求25-26中任一项所述的方法，所述方法还包括：相对于与所述设备相关联的所述人的所述面部上的所述汗液量缩放所述ER面部上的虚拟汗液量。
28.根据权利要求1-27中任一项所述的方法，所述方法还包括：将所述ER面部提供到渲染和显示流水线。
29.根据权利要求1-28中任一项所述的方法，所述方法还包括：将所述ER面部传输到另一设备。
30.根据权利要求1-29中任一项所述的方法，所述方法还包括：在所述显示器上显示所述ER面部。
31.一种设备，所述设备包括：
一个或多个处理器；
非暂态存储器；和
一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，所述一个或多个程序在由所述一个或多个处理器执行时致使所述设备执行根据权利要求1-30所述的方法中的任一种方法。
32.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序在由设备的一个或多个处理器执行时致使所述设备执行根据权利要求1-30所述的方法中的任一种方法。
33.一种设备，所述设备包括：
一个或多个处理器；
非暂态存储器；以及
用于致使所述设备执行根据权利要求1-30所述的方法中的任一种方法的装置。
CN202080026298.7A 2019-06-27 2020-06-18 辅助表情 Pending CN113646733A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962867544P 2019-06-27 2019-06-27
US62/867,544 2019-06-27
PCT/US2020/038421 WO2020263672A1 (en) 2019-06-27 2020-06-18 Assisted expressions

Publications (1)

Publication Number Publication Date
CN113646733A true CN113646733A (zh) 2021-11-12

Family

ID=71527983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026298.7A Pending CN113646733A (zh) 2019-06-27 2020-06-18 辅助表情

Country Status (3)

Country Link
US (1) US20220027604A1 (zh)
CN (1) CN113646733A (zh)
WO (1) WO2020263672A1 (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771862A (zh) * 2008-12-26 2010-07-07 富士通株式会社 监视系统和方法
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技（深圳）有限公司 视频通信方法及装置
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN106303578A (zh) * 2016-08-18 2017-01-04 北京奇虎科技有限公司 一种基于主播节目的信息处理方法、电子设备及服务器
CN106687989A (zh) * 2014-10-23 2017-05-17 英特尔公司 使用标志子集内的线性关系进行面部表情识别的方法和系统
CN107274465A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的主播方法、装置和系统
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN107613310A (zh) * 2017-09-08 2018-01-19 广州华多网络科技有限公司 一种直播方法、装置及电子设备
CN107735776A (zh) * 2015-06-30 2018-02-23 索尼公司 信息处理设备、信息处理方法和程序
CN108256835A (zh) * 2018-01-10 2018-07-06 百度在线网络技术（北京）有限公司 电子红包的实现方法、装置及服务器
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
CN108846886A (zh) * 2018-06-19 2018-11-20 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
CN108876877A (zh) * 2017-05-16 2018-11-23 苹果公司 表情符号人偶化
CN108886532A (zh) * 2016-01-14 2018-11-23 三星电子株式会社 用于操作个人代理的装置和方法
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN109032328A (zh) * 2018-05-28 2018-12-18 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN109409199A (zh) * 2018-08-31 2019-03-01 百度在线网络技术（北京）有限公司 微表情训练方法、装置、存储介质及电子设备
CN109670385A (zh) * 2017-10-16 2019-04-23 腾讯科技（深圳）有限公司 一种应用程序中表情更新的方法及装置
US20190126152A1 (en) * 2017-11-01 2019-05-02 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
US10636192B1 (en) * 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861255B1 (en) * 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771862A (zh) * 2008-12-26 2010-07-07 富士通株式会社 监视系统和方法
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技（深圳）有限公司 视频通信方法及装置
CN106687989A (zh) * 2014-10-23 2017-05-17 英特尔公司 使用标志子集内的线性关系进行面部表情识别的方法和系统
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107735776A (zh) * 2015-06-30 2018-02-23 索尼公司 信息处理设备、信息处理方法和程序
CN108886532A (zh) * 2016-01-14 2018-11-23 三星电子株式会社 用于操作个人代理的装置和方法
CN106303578A (zh) * 2016-08-18 2017-01-04 北京奇虎科技有限公司 一种基于主播节目的信息处理方法、电子设备及服务器
US20180247443A1 (en) * 2017-02-28 2018-08-30 International Business Machines Corporation Emotional analysis and depiction in virtual reality
CN108876877A (zh) * 2017-05-16 2018-11-23 苹果公司 表情符号人偶化
CN107274465A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的主播方法、装置和系统
US10636192B1 (en) * 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
CN107613310A (zh) * 2017-09-08 2018-01-19 广州华多网络科技有限公司 一种直播方法、装置及电子设备
CN107529091A (zh) * 2017-09-08 2017-12-29 广州华多网络科技有限公司 视频剪辑方法及装置
CN109670385A (zh) * 2017-10-16 2019-04-23 腾讯科技（深圳）有限公司 一种应用程序中表情更新的方法及装置
US20190126152A1 (en) * 2017-11-01 2019-05-02 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
CN108256835A (zh) * 2018-01-10 2018-07-06 百度在线网络技术（北京）有限公司 电子红包的实现方法、装置及服务器
CN109032328A (zh) * 2018-05-28 2018-12-18 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN108898068A (zh) * 2018-06-06 2018-11-27 腾讯科技（深圳）有限公司 一种人脸图像的处理方法和装置以及计算机可读存储介质
CN108846886A (zh) * 2018-06-19 2018-11-20 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
CN109409199A (zh) * 2018-08-31 2019-03-01 百度在线网络技术（北京）有限公司 微表情训练方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2020263672A1 (en) 2020-12-30
US20220027604A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
US9479736B1 (en) Rendered audiovisual communication
AU2021290132B2 (en) Presenting avatars in three-dimensional environments
CN111164540B (zh) 用于在模拟现实会话期间呈现物理环境交互的方法和设备
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US20210397811A1 (en) Obfuscating Location Data Associated with a Physical Environment
CN113692563A (zh) 基于目标观众来修改现有内容
US20200082576A1 (en) Method, Device, and System for Delivering Recommendations
CN114026603B (zh) 渲染计算机生成现实文本
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
CN113796088A (zh) 基于观众参与的内容生成
CN112396705A (zh) 使用过渡视觉内容缓解小视场显示
US11321926B2 (en) Method and device for content placement
KR20200099592A (ko) 합성 현실 설정을 위한 오브젝티브-이펙추에이터의 구성
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
CN113646733A (zh) 辅助表情
US11823343B1 (en) Method and device for modifying content according to various simulation characteristics
US11282171B1 (en) Generating a computer graphic for a video frame
JP7397883B2 (ja) 環境に基づく通信データの提示
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
WO2023205572A1 (en) Systems and methods of image processing for privacy management
WO2021061551A1 (en) Method and device for processing camera images
CN113906370A (zh) 为物理元素生成内容
CN112465988A (zh) 具有实例检测的对象检测以及一般场景理解
CN115734087A (zh) 基于环境光来显示图像数据
CN117643048A (zh) 基于来自增强现实显示装置的增强现实上下文信息调整来自用户装置的3d视频流中的视频对象的姿态

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination