CN111583355B - 面部形象生成方法、装置、电子设备及可读存储介质 - Google Patents

面部形象生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111583355B
CN111583355B CN202010386661.8A CN202010386661A CN111583355B CN 111583355 B CN111583355 B CN 111583355B CN 202010386661 A CN202010386661 A CN 202010386661A CN 111583355 B CN111583355 B CN 111583355B
Authority
CN
China
Prior art keywords
target user
face
facial
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010386661.8A
Other languages
English (en)
Other versions
CN111583355A (zh
Inventor
欧阳灵趋
陈迪凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010386661.8A priority Critical patent/CN111583355B/zh
Publication of CN111583355A publication Critical patent/CN111583355A/zh
Priority to JP2022567137A priority patent/JP7483940B2/ja
Priority to PCT/CN2021/091859 priority patent/WO2021227916A1/zh
Priority to EP21804806.4A priority patent/EP4148677A4/en
Priority to KR1020227042575A priority patent/KR20230006009A/ko
Priority to US17/984,212 priority patent/US20230085099A1/en
Application granted granted Critical
Publication of CN111583355B publication Critical patent/CN111583355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种面部形象生成方法、装置、电子设备及可读存储介质，属于通信领域。该方法应用于电子设备，包括：获取佩戴AR设备的目标用户的面部轮廓；根据面部轮廓确定目标用户的面部角度，面部角度包括目标用户的面部朝向与电子设备之间的角度；获取目标面部表情；根据目标面部表情和面部角度，生成目标用户的面部形象。本发明实施例中，根据佩戴AR设备的目标用户的面部轮廓，确定该目标用户的面部角度，基于目标用户的面部角度和获取的目标面部表情生成该目标用户的面部形象。这样在进行AR互动时，能够展现用户的面部形象，且根据不同的目标面部表情，使用户能够通过不同的表情进行表达，提高AR互动体验。

Description

面部形象生成方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及通信领域，具体涉及一种面部形象生成方法、装置、电子设备及可读存储介质。
背景技术
在利用现有增强现实(Augmented Reality，AR)技术进行互动的场景中，用户需要佩戴AR设备，该AR设备会对用户的面部造成遮挡，导致无法看到用户的面部，难以分辨彼此的身份。目前的处理方式为，通过预先录制的虚拟形象以及对用户动作的捕捉进行用户形象替换，但预设的虚拟形象相对固定，且面部只具备简单的说话动作，无法做出表情，导致用户的AR互动体验较差。
发明内容
本申请实施例的目的是提供一种面部形象生成方法、装置、电子设备及可读存储介质，能够解决现有AR互动场景中，用户无法展现面部形象，导致AR互动体验较差的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供一种面部形象生成方法，应用于电子设备，所述方法包括：
获取佩戴AR设备的目标用户的面部轮廓；
根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
获取目标面部表情；
根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
第二方面，本申请实施例提供一种面部形象生成装置，应用于电子设备，包括：
第一获取模块，用于获取佩戴AR设备的目标用户的面部轮廓；
确定模块，用于根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
第二获取模块，用于获取目标面部表情；
生成模块，用于根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的面部形象生成方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的面部形象生成方法的步骤
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本发明实施例中，根据佩戴AR设备的目标用户的面部轮廓，确定该目标用户的面部角度，基于目标用户的面部角度和获取的目标面部表情生成该目标用户的面部形象。这样在进行AR互动时，能够展现用户的面部形象，且根据不同的目标面部表情，使用户能够通过不同的表情进行表达，提高AR互动体验。
附图说明
图1为本申请实施例提供的面部形象生成方法的流程示意图；
图2a为本申请实施例提供的应用场景示意图之一；
图2b为本申请实施例提供的应用场景示意图之二；
图3为本申请实施例提供的面部形象生成装置的结构示意图；
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的面部形象生成方法进行详细地说明。
本申请实施例中，AR互动场景可以是基于AR的会议，即参会者通过佩戴AR设备进行会议讨论和互动，或者AR互动场景也可以是远程的角色扮演游戏中或在给异地的孩子讲故事等休闲场景。
本申请实施例中提供一种面部形象生成方法，该方法应用于电子设备。
上述电子设备为具有摄像头的设备，基于摄像头获取的图像，结合AR技术进行AR互动，该电子设备可以是AR设备，例如AR眼镜等，该电子设备也可以是手机、电脑等，本申请实施例对电子设备的具体类型不做限定。
参见图1，该方法包括：
步骤101：获取佩戴AR设备的目标用户的面部轮廓；
在本申请实施例中，目标用户指的是进行AR互动的对象，例如在AR会议中，目标用户可以是佩戴AR设备的发言人。具体地，获取目标用户的面部轮廓的方式可以包括多种，例如：可以通过带有摄像头的AR设备进行获取，或者可以通过带有摄像头的手机、电脑等设备进行获取，又或者可以通过单独设置一个摄像头对目标用户的面部轮廓进行录取，然后将录取的图像传输到用于显示的装置上。
在一些实施方式中，获取佩戴AR设备的目标用户的面部轮廓，具体包括：
通过摄像头获取目标用户的面部图像，在摄像头与目标用户的面部最近点至该最近点加预设距离的景深范围内，进行多次不同景深的轮廓成像，然后将得到的多个轮廓图像叠加得到该目标用户的面部轮廓。
在本申请实施例中，面部最近点指的是在通过摄像头获取目标用户的面部图像时，目标用户的面部距离摄像头最近的一点，例如：目标用户的面部针对摄像头时，面部最近点对应于目标用户的鼻尖位置。上述预设距离对应于目标用户一个头宽的距离，该一个头宽的距离可以基于人的平均头宽进行设置。
在从面部最近点至面部最近点加一个头宽的景深范围内，分别获取多个不同景深下的轮廓图像，然后基于不同景深下的轮廓图像进行叠加合成，这样能够得到一个相对精确的目标用户的面部轮廓，该面部轮廓能够体现出目标用户的面部形状，以及面部朝向角度。
步骤102：根据面部轮廓确定目标用户的面部角度；
在本申请实施例中，面部角度包括目标用户的面部朝向与电子设备之间的角度。面部角度用于反映目标用户的面部相对于电子设备的面部姿态，例如：根据目标用户的面部轮廓，确定出目标用户的面部朝向相对电子设备的正对方向上扬了30度，则可以反映出此时目标用户的面部姿态为仰面30度。进一步地，针对更复杂的面部角度，例如目标用户的面部呈斜向倾斜，可以通过目标用户的面部朝向相对电子设备在多个方向(例如水平和竖直方向)上的偏转角度，然后基于现有的空间角度算法计算出目标用户的面部角度。
在一些实施方式中，根据面部轮廓确定目标用户的面部角度，具体包括：在面部轮廓库中匹配与面部轮廓对应的面部角度；其中，面部轮廓库中包括预先从多个面部角度录制的目标用户的面部轮廓。
在本申请实施例中，可以预先从多个角度录制目标用户的面部轮廓，并根据录制的面部轮廓生成一个面部轮廓库，在该面部轮廓库中不同的面部轮廓分别对应不同的面部角度，这样在获取了目标用户的面部轮廓之后，可以直接在面部轮廓库中匹配出对应的面部角度。
步骤103：获取目标面部表情；
在本申请实施例中，目标面部表情指的是用于生成目标用户的面部形象的面部表情，该目标面部表情可以是目标用户的表情，可以是其他用户的表情，还可以是从网络中获取一些卡通形象的表情。
步骤104：根据目标面部表情和面部角度，生成目标用户的面部形象。
在本申请实施例会中，将选取好目标面部表情按照确定出的面部角度生成目标用户的面部形象，这样生成的面部形象的角度与目标用户的当前的面部角度能够保持一致，使面部形象更贴近目标用户的面部。
本发明实施例中，根据佩戴AR设备的目标用户的面部轮廓，确定该目标用户的面部角度，基于目标用户的面部角度和获取的目标面部表情生成该目标用户的面部形象。这样在进行AR互动时，能够展现用户的面部形象，且根据不同的目标面部表情，使用户能够通过不同的表情进行表达，提高AR互动体验。
可选地，在一些实施方式中，上述获取目标面部表情，具体包括：获取由AR设备录制的目标用户的面部表情；
在本申请实施例中，如果目标用户佩戴的AR设备本身具有图像获取功能，例如：该AR设备为带有摄像头的AR眼镜，则可以直接由目标用户佩戴的AR设备对目标用户的面部表情进行实时记录扫描，并将录制到的面部表情作为目标面部表情，用于生成目标用户的面部形象。
可选地，在一些实施方式中，上述获取目标面部表情，具体包括：获取目标用户的输入信息，根据输入信息的语境，从面部表情库中匹配与语境对应的面部表情；其中，面部表情库中包括在多个面部角度下的多种面部表情。
在本申请实施例中，如果目标用户佩戴的AR设备本身并不具有图像获取功能话，则可以预先录制目标用户在各种角度下的各种表情，例如：无表情、生气、开心、郁闷、伤心、认真、质疑等，相应地针对每种表情设置一个对应的标签。
在进行AR互动时，获取目标用户的输入信息，该输入信息可以是目标用户输入的文字、也可以是目标用户输入的语音，对根据输入信息进行语境识别，然后按照语境在面部表情库选取对应的标签并匹配对应的面部表情，例如：目标用户说了一句“今天我很开心”，则根据语境识别，此时的语境应当对应开心的标签，则从面部表情库中选取带有开心标签的面部表情。
可以理解的是，面部表情库中也可以存储一些其他对象在多个面部角度下的多种面部表情，例如：猫、狗等动物、超人、钢铁等卡通角色，这样在远程的角色扮演游戏中或在给异地的孩子讲故事等休闲场景下，可以将目标用户的面部形象替换为卡通形象，以提高AR互动效果。
进一步地，在根据目标面部表情和面部角度，生成目标用户的面部形象之前，本方法还包括以下至少一项：
(1)获取目标用户的嘴部状态，并根据目标用户的嘴部状态调整目标面部表情的嘴部状态；
在本申请实施例中，目标用户的嘴部状态用于反映目标用户的嘴部动作，例如：张嘴、闭嘴、抿嘴、嘴向一边歪等，通过目标用户的嘴部状态对目标面部表情的嘴部状态调整，使目标面部表情能够准确同步展现出目标用户的细微表情动作，使面部表情更丰富。
(2)获取目标用户的语音音调，并根据语音音调调整目标面部表情的表情幅度；
在本申请实施例中，目标用户的语音音调用于反映目标用户的情绪状态，进而可以用于确定目标表情的幅度，例如：可以分1-10个程度分别对应录制表情从无表情到开心表情的10个瞬间，随着目标用户的语音音调越高，则使用的表情越靠后。这样，通过语音音调调整目标面部表情的表情幅度，使目标面部表情能够准确展现出目标用户的情绪状态，使面部表情更丰富。
可选地，在一些实施方式中，佩戴AR设备的目标用户有多个人，且需要进行面部形象生成。则这些目标用户可以通过预设的手势动作来绑定面部形象生成功能，例如：AR设备会随机生成一组手势，如石头、布、剪子，需要绑定面部形象生成功能的人此时需要举起手并按指定顺序摆出手势进行确认。这样可以使AR互动过程中的面部形象生成更加灵活。
可选地，在一些实施方式中，目标用户需要临时处理其他事务，为避免对进行AR会议的其他用户造成影响，目标用户可以将自己当前的面部形象进行锁定，从而避免在处理其他事务时，面部形象发生变化对其他人造成影响，例如：在AR会议的场景下，其中一个参会人需要临时处理其他事务，则他可以将自己的面部形象锁定，防止在处理其他事务时，面部形象发生变化，让其他参会人误以外他在发表意见。
可选地，在一些实施方式中，本方法还包括：接收目标用户的第一输入；响应于第一输入，将目标用户的面部形象替换为预设图像；该预设图像包括以下至少一项：卡通表情图像；与目标用户的输入信息对应的图像，该与输入信息对应的图像可以采用图标的形式。
在本申请实施例中，目标用户可以将面部形象替换为预设图像，例如：参见图2a，将面部形象替换为卡通表情图像，如表情符号(emoji)、网络流行的表情包等，以此来达到夸张的表情效果，提高AR会议的趣味性。又例如：参见图2b，在进行投票时直接将结果替换为面部形象，即采用“对勾”或“叉子”的图标替换面部形象。
需要说明的是，本申请实施例提供的面部形象生成方法，执行主体可以为面部形象生成装置，或者该面部形象生成装置中的用于执行加载面部形象生成方法的控制模块。本申请实施例中以面部形象生成装置执行加载面部形象生成方法为例，说明本申请实施例提供的面部形象生成。
参见图3，本申请实施例提供一种面部形象生成装置300，应用于电子设备，包括：
第一获取模块301，用于获取佩戴AR设备的目标用户的面部轮廓；
确定模块302，用于根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
第二获取模块303，用于获取目标面部表情；
生成模块304，用于根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
可选地，所述第一获取模块301，包括：
第一匹配单元，用于在面部轮廓库中匹配与所述面部轮廓对应的面部角度；
其中，所述面部轮廓库中包括预先从多个面部角度录制的所述目标用户的面部轮廓。
可选地，所述第二获取模块303，包括：
第一获取单元，用于获取由所述AR设备录制的所述目标用户的面部表情；
第二获取单元，用于获取所述目标用户的输入信息；
第二匹配单元，用于根据所述输入信息的语境，从面部表情库中匹配与所述语境对应的面部表情；
其中，所述面部表情库中包括在多个面部角度下的多种面部表情。
可选地，所述装置300还包括：
第三获取模块，用于获取所述目标用户的嘴部状态；
第一调整模块，用于根据所述目标用户的嘴部状态调整所述目标面部表情的嘴部状态；
第四获取模块，用于获取所述目标用户的语音音调；
第一调整模块，用于根据所述语音音调调整所述目标面部表情的表情幅度。
可选地，所述装置300还包括：
接收模块，用于接收所述目标用户的第一输入；
替换模块，用于响应于所述第一输入，将所述目标用户的面部形象替换为预设图像；
所述预设图像包括以下至少一项：
卡通表情图像；
与所述目标用户的输入信息对应的图像。
本发明实施例中，根据佩戴AR设备的目标用户的面部轮廓，确定该目标用户的面部角度，基于目标用户的面部角度和获取的目标面部表情生成该目标用户的面部形象。这样在进行AR互动时，能够展现用户的面部形象，且根据不同的目标面部表情，使用户能够通过不同的表情进行表达，提高AR互动体验。
本申请实施例中的面部形象生成装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的面部形象生成装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的面部形象生成装置能够实现图1至图2b的方法实施例中面部形象生成装置实现的各个过程，为避免重复，这里不再赘述
可选的，本申请实施例还提供一种电子设备，包括处理器410，存储器409，存储在存储器409上并可在所述处理器410上运行的程序或指令，该程序或指令被处理器410执行时实现上述面部形象生成实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。
本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，输入单元404，可以为摄像头，用于获取佩戴AR设备的目标用户的面部轮廓；
处理器410，用于根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
输入单元404，还用于获取目标面部表情；
处理器410，还用于根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
本发明实施例中，根据佩戴AR设备的目标用户的面部轮廓，确定该目标用户的面部角度，基于目标用户的面部角度和获取的目标面部表情生成该目标用户的面部形象。这样在进行AR互动时，能够展现用户的面部形象，且根据不同的目标面部表情，使用户能够通过不同的表情进行表达，提高AR互动体验。
可选的，处理器410，还用于在面部轮廓库中匹配与所述面部轮廓对应的面部角度；
其中，所述面部轮廓库中包括预先从多个面部角度录制的所述目标用户的面部轮廓。
可选的，输入单元404，还用于获取由所述AR设备录制的所述目标用户的面部表情；或者，获取所述目标用户的输入信息，根据所述输入信息的语境，从面部表情库中匹配与所述语境对应的面部表情；
其中，所述面部表情库中包括在多个面部角度下的多种面部表情。
可选的，输入单元404，还用于获取所述目标用户的嘴部状态，并根据所述目标用户的嘴部状态调整所述目标面部表情的嘴部状态；
输入单元404，还用于获取所述目标用户的语音音调，并根据所述语音音调调整所述目标面部表情的表情幅度。
可选的，用户输入单元407，用于接收所述目标用户的第一输入；
处理器410，还用于响应于所述第一输入，将所述目标用户的面部形象替换为预设图像；所述预设图像包括以下至少一项：卡通表情图像；与所述目标用户的输入信息对应的图像。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述面部形象生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述面部形象生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种面部形象生成方法，应用于电子设备，其特征在于，所述方法包括：
获取佩戴AR设备的目标用户的手势动作；
在所述手势动作与预设的手势动作匹配的情况下，启动面部形象生成功能；
通过摄像头获取所述目标用户的面部图像，在所述摄像头与所述目标用户的面部最近点至所述最近点加预设距离的景深范围内，进行多次不同景深的轮廓成像，然后将得到的多个轮廓图像叠加得到所述目标用户的面部轮廓；
根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
获取所述目标用户的输入信息，根据所述输入信息的语境，从面部表情库中匹配与所述语境对应的面部表情，其中，所述面部表情库中包括在多个面部角度下的多种面部表情；
根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
2.根据权利要求1所述的方法，其特征在于，所述根据所述面部轮廓确定所述目标用户的面部角度，包括：
在面部轮廓库中匹配与所述面部轮廓对应的面部角度；
其中，所述面部轮廓库中包括预先从多个面部角度录制的所述目标用户的面部轮廓。
3.根据权利要求1所述的方法，其特征在于，在根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象之前，所述方法还包括以下至少一项：
获取所述目标用户的嘴部状态，并根据所述目标用户的嘴部状态调整所述目标面部表情的嘴部状态；
获取所述目标用户的语音音调，并根据所述语音音调调整所述目标面部表情的表情幅度。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述目标用户的第一输入；
响应于所述第一输入，将所述目标用户的面部形象替换为预设图像；
所述预设图像包括以下至少一项：
卡通表情图像；
与所述目标用户输入信息对应的图像。
5.一种面部形象生成装置，应用于电子设备，其特征在于，包括：
第一获取模块，用于获取佩戴AR设备的目标用户的手势动作；
在所述手势动作与预设的手势动作匹配的情况下，启动面部形象生成功能；
通过摄像头获取所述目标用户的面部图像，在所述摄像头与所述目标用户的面部最近点至所述最近点加预设距离的景深范围内，进行多次不同景深的轮廓成像，然后将得到的多个轮廓图像叠加得到所述目标用户的面部轮廓；
确定模块，用于根据所述面部轮廓确定所述目标用户的面部角度，所述面部角度包括所述目标用户的面部朝向与所述电子设备之间的角度；
第二获取模块，用于获取所述目标用户的输入信息，根据所述输入信息的语境，从面部表情库中匹配与所述语境对应的面部表情，其中，所述面部表情库中包括在多个面部角度下的多种面部表情；
生成模块，用于根据所述目标面部表情和所述面部角度，生成所述目标用户的面部形象。
6.根据权利要求5所述的装置，其特征在于，所述第一获取模块，包括：
第一匹配单元，用于在面部轮廓库中匹配与所述面部轮廓对应的面部角度；
其中，所述面部轮廓库中包括预先从多个面部角度录制的所述目标用户的面部轮廓。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述目标用户的嘴部状态；
第一调整模块，用于根据所述目标用户的嘴部状态调整所述目标面部表情的嘴部状态；
第四获取模块，用于获取所述目标用户的语音音调；
第一调整模块，用于根据所述语音音调调整所述目标面部表情的表情幅度。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
接收模块，用于接收所述目标用户的第一输入；
替换模块，用于响应于所述第一输入，将所述目标用户的面部形象替换为预设图像；
所述预设图像包括以下至少一项：
卡通表情图像；
与所述目标用户的输入信息对应的图像。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至4中任一项所述的面部形象生成方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至4中任一项所述的面部形象生成方法的步骤。
CN202010386661.8A 2020-05-09 2020-05-09 面部形象生成方法、装置、电子设备及可读存储介质 Active CN111583355B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010386661.8A CN111583355B (zh) 2020-05-09 2020-05-09 面部形象生成方法、装置、电子设备及可读存储介质
JP2022567137A JP7483940B2 (ja) 2020-05-09 2021-05-06 顔イメージ生成方法、装置、電子機器及び可読記憶媒体
PCT/CN2021/091859 WO2021227916A1 (zh) 2020-05-09 2021-05-06 面部形象生成方法、装置、电子设备及可读存储介质
EP21804806.4A EP4148677A4 (en) 2020-05-09 2021-05-06 METHOD AND DEVICE FOR GENERATING FACIAL IMAGE, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM
KR1020227042575A KR20230006009A (ko) 2020-05-09 2021-05-06 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체
US17/984,212 US20230085099A1 (en) 2020-05-09 2022-11-09 Facial image generation method and apparatus, electronic device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010386661.8A CN111583355B (zh) 2020-05-09 2020-05-09 面部形象生成方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111583355A CN111583355A (zh) 2020-08-25
CN111583355B true CN111583355B (zh) 2024-01-23

Family

ID=72124806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010386661.8A Active CN111583355B (zh) 2020-05-09 2020-05-09 面部形象生成方法、装置、电子设备及可读存储介质

Country Status (6)

Country Link
US (1) US20230085099A1 (zh)
EP (1) EP4148677A4 (zh)
JP (1) JP7483940B2 (zh)
KR (1) KR20230006009A (zh)
CN (1) CN111583355B (zh)
WO (1) WO2021227916A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11983826B2 (en) * 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
CN114067407A (zh) * 2021-11-19 2022-02-18 北京奇艺世纪科技有限公司 一种表情驱动方法、装置、电子设备及存储介质
CN114779948B (zh) * 2022-06-20 2022-10-11 广东咏声动漫股份有限公司 基于面部识别的动画人物即时交互控制方法、装置及设备
CN115359166B (zh) * 2022-10-20 2023-03-24 北京百度网讯科技有限公司 一种图像生成方法、装置、电子设备和介质
CN115946150B (zh) * 2022-12-13 2023-11-14 深圳无芯科技有限公司 具有面部表情的头部结构及具有其的机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241434A (zh) * 2018-01-03 2018-07-03 广东欧珀移动通信有限公司 基于景深信息的人机交互方法、装置、介质及移动终端
CN108614638A (zh) * 2018-04-23 2018-10-02 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN109166164A (zh) * 2018-07-25 2019-01-08 维沃移动通信有限公司 一种表情图片的生成方法及终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
JP5276854B2 (ja) * 2008-02-13 2013-08-28 株式会社日立ハイテクノロジーズ パターン生成装置およびパターン形状評価装置
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
CN103698884A (zh) * 2013-12-12 2014-04-02 京东方科技集团股份有限公司 开放式头戴显示装置及其显示方法
KR101714349B1 (ko) * 2014-12-29 2017-03-09 주식회사 슈프리마 생체 인증 장치와 그 생체 영상 출력제어 방법
KR102507567B1 (ko) * 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN107491165A (zh) * 2016-06-12 2017-12-19 张翔宇 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统
KR101810190B1 (ko) * 2016-07-14 2017-12-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
CN107767438A (zh) * 2016-08-16 2018-03-06 上海掌门科技有限公司 一种基于虚拟对象进行用户交互的方法与设备
KR102582665B1 (ko) * 2016-10-07 2023-09-25 삼성전자주식회사 집적 회로의 패턴들을 평가하는 시스템 및 방법
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
EP3791573B1 (en) * 2018-05-07 2023-10-18 Google LLC Puppeteering a remote avatar by facial expressions
CN109101953A (zh) * 2018-09-07 2018-12-28 大连东锐软件有限公司 基于人类面部表情的分区要素化的表情动作生成方法
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241434A (zh) * 2018-01-03 2018-07-03 广东欧珀移动通信有限公司 基于景深信息的人机交互方法、装置、介质及移动终端
CN108614638A (zh) * 2018-04-23 2018-10-02 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
CN108875633A (zh) * 2018-06-19 2018-11-23 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN109166164A (zh) * 2018-07-25 2019-01-08 维沃移动通信有限公司 一种表情图片的生成方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维人脸数据的获取及人脸特征自动定位;袁芳林;钟金钢;;计算机工程与设计(第16期);全文 *

Also Published As

Publication number Publication date
JP2023524119A (ja) 2023-06-08
US20230085099A1 (en) 2023-03-16
WO2021227916A1 (zh) 2021-11-18
CN111583355A (zh) 2020-08-25
EP4148677A4 (en) 2023-11-15
KR20230006009A (ko) 2023-01-10
JP7483940B2 (ja) 2024-05-15
EP4148677A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
CN111583355B (zh) 面部形象生成方法、装置、电子设备及可读存储介质
CN109637518B (zh) 虚拟主播实现方法及装置
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
WO2020203999A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
CN106339680B (zh) 人脸关键点定位方法及装置
US8044989B2 (en) Mute function for video applications
Le et al. Live speech driven head-and-eye motion generators
JP2019145108A (ja) 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置
US11657557B2 (en) Method and system for generating data to provide an animated visual representation
CN108876877A (zh) 表情符号人偶化
CN111833418A (zh) 动画交互方法、装置、设备以及存储介质
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
JP2021144706A (ja) バーチャルアバターの生成方法及び生成装置
CN111144266B (zh) 人脸表情的识别方法及装置
CN110794964A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN115396390B (zh) 基于视频聊天的互动方法、系统、装置及电子设备
US20220270302A1 (en) Content distribution system, content distribution method, and content distribution program
KR20190015332A (ko) 증강 현실의 가상 객체들에 영향을 미치는 장치
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114615455A (zh) 远程会议的处理方法、装置、会议系统和存储介质
EP4071760A1 (en) Method and apparatus for generating video
CN114945949A (zh) 化身显示装置、化身显示系统、化身显示方法以及化身显示程序
CN113176827B (zh) 基于表情的ar交互方法、系统、电子设备及存储介质
TW201108151A (en) Instant communication control system and its control method
CN114419694A (zh) 一种多人视频会议头像的处理方法及处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant