CN114241551A - 虚拟形象的展示方法和装置、存储介质及电子装置 - Google Patents

虚拟形象的展示方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114241551A
CN114241551A CN202111439340.0A CN202111439340A CN114241551A CN 114241551 A CN114241551 A CN 114241551A CN 202111439340 A CN202111439340 A CN 202111439340A CN 114241551 A CN114241551 A CN 114241551A
Authority
CN
China
Prior art keywords
action
expression
picture
avatar
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111439340.0A
Other languages
English (en)
Inventor
金绍港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202111439340.0A priority Critical patent/CN114241551A/zh
Publication of CN114241551A publication Critical patent/CN114241551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟形象的展示方法和装置、存储介质、电子装置，其中，上述方法包括：对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片；展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。采用上述技术方案，解决了显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。

Description

虚拟形象的展示方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种虚拟形象的展示方法和装置、存储介质及电子装置。
背景技术
目前，随着直播技术的发展，除了真人直播以外，虚拟形象直播也开始进入人们的视野。
相关技术中，在主播直播时，移动终端获取主播的脸部动作，并利用图片生成算法生成与主播的脸部动作相同的虚拟形象的动作图片，最后将虚拟形象的动作图片显示在直播界面上。
然而，直播时主播的脸部动作是实时变化的，移动终端在获取主播的脸部动作之后，再去驱动生成相应的虚拟形象的动作图片，会造成生成的虚拟形象的动作图片相对主播的脸部动作具有一定的时延，进一步导致显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致，降低了用户体验。
针对相关技术中，显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题，尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虚拟形象的展示方法和装置、存储介质及电子装置，以至少解决相关技术中，显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。
根据本发明实施例的一个实施例，提供了一种虚拟形象的展示方法，包括：对处于直播状态中的主播对象进行画面采集，以得到上述主播对象的人脸图像；从上述人脸图像中确定出上述主播对象当前的对象表情动作，其中，上述对象表情动作包括上述主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与上述对象表情动作的动作向量相匹配的目标动作图片，其中，上述动作图片组中包括不同动作向量分别对应的动作图片，上述动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，上述虚拟形象与上述主播对象具有关联关系；展示上述目标动作图片中上述虚拟形象的目标形象表情动作，其中，上述目标形象表情动作与上述对象表情动作一致。
在一个示例性实施例中，上述从上述人脸图像中确定出上述主播对象当前的对象表情动作包括：从上述人脸图像中识别出上述主播对象的每个关键部位当前的部位状态，其中，上述部位状态用于指示上述关键部位的部位动作；基于上述关键部位的部位状态确定上述对象表情动作。
在一个示例性实施例中，上述基于上述关键部位的部位状态确定上述对象表情动作包括以下至少之一：在上述关键部位包括眼睛部位的情况下，在上述眼睛部位的一只眼睛处于闭合状态的情况下，确定上述对象表情动作为单眼闭眼动作；在上述眼睛部位的两只眼睛处于闭合状态的情况下，确定上述对象表情动作为双眼闭眼动作；在上述眼睛部位的两只眼睛处于张开状态的情况下，确定上述对象表情动作为双眼睁眼动作；在上述关键部位包括嘴巴部位的情况下，在上述嘴巴部位处于闭合状态的情况下，确定上述对象表情动作为闭嘴动作；在上述嘴巴部位处于张开状态的情况下，确定上述对象表情动作为张嘴动作；在上述关键部位包括头部整体的情况下，在上述头部整体处于向第一方位变化的变化状态的情况下，确定上述对象表情动作为第一调整动作；在上述头部整体处于向第二方位变化的变化状态的情况下，确定上述对象表情动作为第二调整动作；在上述头部整体并未变化的情况下，确定上述对象表情动作为默认动作。
在一个示例性实施例中，在上述从上述人脸图像中确定出上述主播对象当前的对象表情动作之后，还包括：获取上述对象表情动作中各个关键部位的部位动作各自对应的动作子向量；基于上述动作子向量按照目标顺序拼接得到上述对象表情动作的动作向量。
在一个示例性实施例中，上述在本地存储的动作图片组中，查找出与上述对象表情动作的动作向量相匹配的目标动作图片包括：遍历上述动作图片组中各个动作图片的动作向量，查找出与上述对象表情动作的动作向量一致的目标动作向量；将上述目标动作向量对应的动作图片，确定为上述目标动作图片。
在一个示例性实施例中，在上述对处于直播状态中的主播对象进行画面采集，以得到上述主播对象的人脸图像之前，还包括：获取虚拟形象图片；将上述虚拟形象图片发送给服务器，以使上述服务器从上述虚拟形象图片中获取到为上述主播对象配置的上述虚拟形象；获取上述服务器基于上述虚拟形象生成的上述动作图片组。
在一个示例性实施例中，在将上述虚拟形象图片发送给服务器之后，还包括：上述服务器识别出上述虚拟形象图片中上述虚拟形象所在的区域；上述服务器对上述区域进行抠图处理，以获取到上述虚拟形象；上述服务器按照预设动作向量集合为上述虚拟形象生成上述动作图片组，其中，上述预设动作向量集合中的每个动作向量用于指示一个形象表情动作。
根据本发明实施例的另一个实施例，还提供了一种虚拟形象的展示装置，包括：采集模块，用于对处于直播状态中的主播对象进行画面采集，以得到上述主播对象的人脸图像；确定模块，用于从上述人脸图像中确定出上述主播对象当前的对象表情动作，其中，上述对象表情动作包括上述主播对象的至少一个关键部位的部位动作；查找模块，用于在本地存储的动作图片组中，查找出与上述对象表情动作的动作向量相匹配的目标动作图片，其中，上述动作图片组中包括不同动作向量分别对应的动作图片，上述动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，上述虚拟形象与上述主播对象具有关联关系；展示模块，用于展示上述目标动作图片中上述虚拟形象的目标形象表情动作，其中，上述目标形象表情动作与上述对象表情动作一致。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述虚拟形象的展示方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的虚拟形象的展示方法。
在本发明实施例中，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。采用上述技术方案，通过在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，减少了驱动生成虚拟形象的动作图片的时间，使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致，提高了用户体验，解决了显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的虚拟形象的展示方法的应用场景的示意图；
图2是根据本发明实施例的一种可选的虚拟形象的展示方法的流程图；
图3是根据本发明实施例的一种可选的虚拟形象的展示方法的示意图；
图4是根据本发明实施例的另一种可选的虚拟形象的展示方法的示意图；
图5是根据本发明实施例的另一种可选的虚拟形象的展示方法的示意图；
图6是根据本发明实施例的另一种可选的虚拟形象的展示方法的流程图；
图7是根据本发明实施例的一种可选的虚拟形象的展示装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明实施例中，提供了一种上述虚拟形象的展示方法的实施例。作为一种可选的实施方式，该虚拟形象的展示方法可以但不限于应用于如图1所示的应用环境中。
移动终端102包含存储器104，用于存储配置文件；处理器106，用于查找与对象表情动作的动作向量相匹配的目标动作图片。移动终端102通过步骤S102通过网络108将图片发送给服务器110。服务器110响应于接收到的图片发送请求，服务器110通过步骤S104返回虚拟形象的动作图片。接收到服务器110返回的虚拟形象的动作图片后，移动终端102将虚拟形象的动作图片保存在存储器104中。
可选地，上述移动终端102可以为但不限于手机、平板电脑等终端，上述网络108可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网。上述服务器110可以包括但不限于任何可以进行计算的硬件设备。
在本实施例中提供了一种虚拟形象的展示方法，图2是根据本发明实施例的虚拟形象的展示方法的流程图，该流程包括如下步骤：
步骤S202，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；
可选地，直播方式可以包括但不限于通过直播应用；直播内容可以包括但不限于聊天、带货等；画面采集方式可以包括但不限于通过移动终端的屏幕截屏、录屏等方式；
例如，某个主播正在某个直播应用通过直播的方式跟粉丝朋友聊天，手机开启录屏功能，对直播画面进行录屏；录屏视频由多帧图片组成，每一帧图片中均包括主播的人脸图像。
步骤S204，从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；
可选地，关键部位可以包括但不限于嘴巴、眼睛、头部；部位动作可以包括但不限于嘴巴张开与合拢，左眼睁眼与闭眼，右眼睁眼与闭眼，上下点头、左右摆头、左右摇头。
例如，某个主播的人脸图像中，各个关键部位的部位动作分别为嘴巴张开，双眼睁开，向下点头，那么确定的主播当前的表情动作为嘴巴与双眼睁开的同时，主播正在向下点头。
步骤S206，在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；
需要说明的是，移动终端本地存储有一组虚拟形象的动作图片，虚拟形象的动作图片中包括虚拟形象的形象表情动作；在获取了主播的对象表情动作以后，可以根据主播的对象表情动作去存储器中查找与主播的对象表情动作一致的虚拟形象的动作图片；查找方式可以包括但不限于不同形象表情动作相对应的动作图片分别具有不同的标识，在获取了主播的对象表情动作后，利用主播的对象表情动作生成相应的标识，根据主播的对象表情动作所对应的标识去存储器中查找具有该标识的虚拟形象的动作图片。
例如，手机本地存储有一组具有不同标识的虚拟形象的动作图片，在获取了主播的表情动作以后，根据主播的表情动作确定该表情动作对应的标识为111111，则去存储器中查找标识同样为111111的虚拟形象的动作图片。
步骤S208，展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。
可选地，展示方式可以包括但不限于在主播的左侧展示动作图片中虚拟形象的形象表情动作，在主播的右侧展示动作图片中虚拟形象的形象表情动作，在主播的头部上方展示动作图片中虚拟形象的形象表情动作。
如图3所示，主播302的表情动作为嘴巴张开，双眼闭合，头部不动，虚拟形象304的形象表情动作同样为嘴巴张开，双眼闭合，头部不动，同时，虚拟形象304的形象表情动作位于主播302的右侧，但并不限于此。
通过上述步骤，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。采用上述技术方案，通过在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，减少了驱动生成虚拟形象的动作图片的时间，使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致，提高了用户体验，解决了显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。
在一个示例性实施例中，从人脸图像中确定出主播对象当前的对象表情动作包括：从人脸图像中识别出主播对象的每个关键部位当前的部位状态，其中，部位状态用于指示关键部位的部位动作；基于关键部位的部位状态确定对象表情动作。
可选地，关键部位可以包括但不限于嘴巴、眼睛、头部；部位动作可以包括但不限于嘴巴张开与合拢，左眼睁眼与闭眼，右眼睁眼与闭眼，上下点头、左右摆头、左右摇头。从人脸图像中识别出主播对象的每个关键部位当前的部位状态可以包括但不限于分别确定主播的嘴巴、左眼、右眼、头部的动作，并根据这些动作的动作组合确定主播的表情动作。
例如，主播的各个关键部位的部位动作分别为嘴巴闭合，左眼睁开，右眼闭合，向左摆头，那么确定的主播当前的表情动作为嘴巴闭合，左眼睁开，右眼闭合，并向左摆头。
通过上述步骤，通过从人脸图像中识别出主播对象的每个关键部位当前的部位状态，可以准确的确定虚拟形象的动作图片，进而使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致。
在一个示例性实施例中，基于关键部位的部位状态确定对象表情动作包括以下至少之一：在关键部位包括眼睛部位的情况下，在眼睛部位的一只眼睛处于闭合状态的情况下，确定对象表情动作为单眼闭眼动作；在眼睛部位的两只眼睛处于闭合状态的情况下，确定对象表情动作为双眼闭眼动作；在眼睛部位的两只眼睛处于张开状态的情况下，确定对象表情动作为双眼睁眼动作；在关键部位包括嘴巴部位的情况下，在嘴巴部位处于闭合状态的情况下，确定对象表情动作为闭嘴动作；在嘴巴部位处于张开状态的情况下，确定对象表情动作为张嘴动作；在关键部位包括头部整体的情况下，在头部整体处于向第一方位变化的变化状态的情况下，确定对象表情动作为第一调整动作；在头部整体处于向第二方位变化的变化状态的情况下，确定对象表情动作为第二调整动作；在头部整体并未变化的情况下，确定对象表情动作为默认动作。
可选地，单眼闭眼动作包括左眼睁开右眼闭合，右眼睁开左眼闭合；头部整体处于向第一方位变化的变化状态可以包括但不限于向上抬头、向左摇头、向左摆头；头部整体处于向第二方位变化的变化状态可以包括但不限于向下抬头、向右摇头、向右摆头；头部整体并未变化的情况可以包括但不限于头部未运动。
通过上述步骤，通过对每个关键部位的动作进行详细划分，可以准确的确定虚拟形象的动作图片，进而使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致。
在一个示例性实施例中，在从人脸图像中确定出主播对象当前的对象表情动作之后，还包括：获取对象表情动作中各个关键部位的部位动作各自对应的动作子向量；基于动作子向量按照目标顺序拼接得到对象表情动作的动作向量。
可选地，动作子向量可以包括但不限于通过0、1和-1来表示相同部位的不同动作；目标顺序可以包括但不限于嘴巴、左眼、右眼、头部的顺序。
例如，动作向量是一组6维的向量，如[1,0,1,1,-1,0]，前三位的值分别代表嘴张开与合拢、左眼睁眼与闭眼，右眼睁眼与闭眼，值为1或者0，0代表闭眼(合拢)，1代表睁眼(张嘴)；后三位代表头部动作，分别为上下点头、左右摆头、左右摇头，值为1或0或者-1，1代表上(左)运动，0代表不运动，-1代表下(右)运动。[1,0,1,1,-1,0]表示[张嘴、左闭眼、右睁眼、抬头、朝右摆头、不动]。
通过上述步骤，利用动作子向量来表示各个关键部位的部位动作，并按照目标顺序拼接得到对象表情动作的动作向量，可以准确地标识不同的对象表情动作。
在一个示例性实施例中，在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片包括：遍历动作图片组中各个动作图片的动作向量，查找出与对象表情动作的动作向量一致的目标动作向量；将目标动作向量对应的动作图片，确定为目标动作图片。
需要说明的是，动作图片组中的各个动作图片也各自对应一个动作向量，该动作向量的表示方式与主播表情动作的动作向量的表示方式是一致的，以便于后续的查找操作。
例如，主播的表情动作对应的动作向量为[0,1,0,1,-1,0]，根据该动作向量去存储的动作图片组中查找动作向量[0,1,0,1,-1,0]相对应的动作图片，查找到的动作图片即为目标动作图片。
通过上述步骤，通过遍历动作图片组中各个动作图片的动作向量，查找出与对象表情动作的动作向量一致的目标动作向量，可以快速的定位目标动作图片。
在一个示例性实施例中，在对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像之前，还包括：获取虚拟形象图片；将虚拟形象图片发送给服务器，以使服务器从虚拟形象图片中获取到为主播对象配置的虚拟形象；获取服务器基于虚拟形象生成的动作图片组。
可选地，虚拟形象图片可以包括但不限于任何一张包含有虚拟形象的图片；服务器从虚拟形象图片中获取到为主播对象配置的虚拟形象可以包括但不限于利用图像抠图算法，将虚拟形象图片中的虚拟形象抠取出来。
例如，如图4所示，图片中包含有路灯402、汽车404和虚拟形象406，服务器利用图像抠图算法，将图片中的虚拟形象406抠取出来。
通过上述步骤，通过服务器预先生成好虚拟形象的动作图片组，可以减少移动终端驱动生成虚拟形象的动作图片的时间，使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致，提高了用户体验。
在一个示例性实施例中，在将虚拟形象图片发送给服务器之后，还包括：服务器识别出虚拟形象图片中虚拟形象所在的区域；服务器对区域进行抠图处理，以获取到虚拟形象；服务器按照预设动作向量集合为虚拟形象生成动作图片组，其中，预设动作向量集合中的每个动作向量用于指示一个形象表情动作。
可选地，服务器按照预设动作向量集合为虚拟形象生成动作图片组可以包括但不限于服务器利用图片生成算法生成虚拟形象的动作图片组，例如，生成式对抗网络(Generative Adversarial Networks，简称GAN)。
例如，如图5所示，步骤S501，移动终端获取虚拟形象图片；步骤S502，移动终端将虚拟形象图片发送给服务器；步骤S503，服务器识别出虚拟形象图片中虚拟形象所在的区域，并对区域进行抠图处理，以获取到虚拟形象；步骤S504，服务器按照预设动作向量集合为虚拟形象生成动作图片组；步骤S505，服务器向移动终端返回基于虚拟形象生成的动作图片组。
通过上述步骤，服务器按照预设动作向量集合为虚拟形象生成动作图片组，可以避免遗漏生成某些虚拟形象的动作图片。
为了更好的理解上述虚拟形象的展示方法的过程，以下再结合可选实施例对上述虚拟形象的展示的实现方法流程进行说明，但不用于限定本发明实施例的技术方案。
在本实施例中提供了一种虚拟形象的展示方法，图6是根据本发明实施例的虚拟形象的展示方法的示意图，如图6所示，具体如下步骤：
步骤S601：获取虚拟形象图片；
步骤S602：将虚拟形象图片发送给服务器；
步骤S603：服务器识别出虚拟形象图片中虚拟形象所在的区域；服务器对区域进行抠图处理，以获取到虚拟形象；
步骤S604：服务器按照预设动作向量集合为虚拟形象生成动作图片组，其中，预设动作向量集合中的每个动作向量用于指示一个形象表情动作；
步骤S605：获取服务器基于虚拟形象生成的动作图片组；
步骤S606：对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；
步骤S607：从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；
步骤S608：在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；
步骤S609：展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。
通过上述步骤，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。采用上述技术方案，通过在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，减少了驱动生成虚拟形象的动作图片的时间，使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致，提高了用户体验，解决了显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
图7是根据本发明实施例的一种虚拟形象的展示装置的结构框图；如图7所示，包括：
采集模块701，用于对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；
确定模块702，用于从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；
查找模块703，用于在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；
展示模块704，用于展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。
通过上述装置，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。采用上述技术方案，通过在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，减少了驱动生成虚拟形象的动作图片的时间，使得显示在直播界面上的虚拟形象的动作图片与主播的脸部动作保持一致，提高了用户体验，解决了显示在直播界面上的虚拟形象的动作图片与主播的脸部动作不一致的技术问题。
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；
S2，从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；
S3，在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；
S4，展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对处于直播状态中的主播对象进行画面采集，以得到主播对象的人脸图像；
S2，从人脸图像中确定出主播对象当前的对象表情动作，其中，对象表情动作包括主播对象的至少一个关键部位的部位动作；
S3，在本地存储的动作图片组中，查找出与对象表情动作的动作向量相匹配的目标动作图片，其中，动作图片组中包括不同动作向量分别对应的动作图片，动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，虚拟形象与主播对象具有关联关系；
S4，展示目标动作图片中虚拟形象的目标形象表情动作，其中，目标形象表情动作与对象表情动作一致。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟形象的展示方法，其特征在于，包括：
对处于直播状态中的主播对象进行画面采集，以得到所述主播对象的人脸图像；
从所述人脸图像中确定出所述主播对象当前的对象表情动作，其中，所述对象表情动作包括所述主播对象的至少一个关键部位的部位动作；
在本地存储的动作图片组中，查找出与所述对象表情动作的动作向量相匹配的目标动作图片，其中，所述动作图片组中包括不同动作向量分别对应的动作图片，所述动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，所述虚拟形象与所述主播对象具有关联关系；
展示所述目标动作图片中所述虚拟形象的目标形象表情动作，其中，所述目标形象表情动作与所述对象表情动作一致。
2.根据权利要求1所述的虚拟形象的展示方法，其特征在于，所述从所述人脸图像中确定出所述主播对象当前的对象表情动作包括：
从所述人脸图像中识别出所述主播对象的每个关键部位当前的部位状态，其中，所述部位状态用于指示所述关键部位的部位动作；
基于所述关键部位的部位状态确定所述对象表情动作。
3.根据权利要求2所述的虚拟形象的展示方法，其特征在于，所述基于所述关键部位的部位状态确定所述对象表情动作包括以下至少之一：
在所述关键部位包括眼睛部位的情况下，在所述眼睛部位的一只眼睛处于闭合状态的情况下，确定所述对象表情动作为单眼闭眼动作；在所述眼睛部位的两只眼睛处于闭合状态的情况下，确定所述对象表情动作为双眼闭眼动作；在所述眼睛部位的两只眼睛处于张开状态的情况下，确定所述对象表情动作为双眼睁眼动作；
在所述关键部位包括嘴巴部位的情况下，在所述嘴巴部位处于闭合状态的情况下，确定所述对象表情动作为闭嘴动作；在所述嘴巴部位处于张开状态的情况下，确定所述对象表情动作为张嘴动作；
在所述关键部位包括头部整体的情况下，在所述头部整体处于向第一方位变化的变化状态的情况下，确定所述对象表情动作为第一调整动作；在所述头部整体处于向第二方位变化的变化状态的情况下，确定所述对象表情动作为第二调整动作；在所述头部整体并未变化的情况下，确定所述对象表情动作为默认动作。
4.根据权利要求1所述的虚拟形象的展示方法，其特征在于，在所述从所述人脸图像中确定出所述主播对象当前的对象表情动作之后，还包括：
获取所述对象表情动作中各个关键部位的部位动作各自对应的动作子向量；
基于所述动作子向量按照目标顺序拼接得到所述对象表情动作的动作向量。
5.根据权利要求4所述的虚拟形象的展示方法，其特征在于，所述在本地存储的动作图片组中，查找出与所述对象表情动作的动作向量相匹配的目标动作图片包括：
遍历所述动作图片组中各个动作图片的动作向量，查找出与所述对象表情动作的动作向量一致的目标动作向量；
将所述目标动作向量对应的动作图片，确定为所述目标动作图片。
6.根据权利要求1所述的虚拟形象的展示方法，其特征在于，在所述对处于直播状态中的主播对象进行画面采集，以得到所述主播对象的人脸图像之前，还包括：
获取虚拟形象图片；
将所述虚拟形象图片发送给服务器，以使所述服务器从所述虚拟形象图片中获取到为所述主播对象配置的所述虚拟形象；
获取所述服务器基于所述虚拟形象生成的所述动作图片组。
7.根据权利要求6所述的虚拟形象的展示方法，其特征在于，在将所述虚拟形象图片发送给服务器之后，还包括：
所述服务器识别出所述虚拟形象图片中所述虚拟形象所在的区域；
所述服务器对所述区域进行抠图处理，以获取到所述虚拟形象；
所述服务器按照预设动作向量集合为所述虚拟形象生成所述动作图片组，其中，所述预设动作向量集合中的每个动作向量用于指示一个形象表情动作。
8.一种虚拟形象的展示装置，其特征在于，包括：
采集模块，用于对处于直播状态中的主播对象进行画面采集，以得到所述主播对象的人脸图像；
确定模块，用于从所述人脸图像中确定出所述主播对象当前的对象表情动作，其中，所述对象表情动作包括所述主播对象的至少一个关键部位的部位动作；
查找模块，用于在本地存储的动作图片组中，查找出与所述对象表情动作的动作向量相匹配的目标动作图片，其中，所述动作图片组中包括不同动作向量分别对应的动作图片，所述动作图片内展示有预先按照动作向量生成的虚拟形象的形象表情动作，所述虚拟形象与所述主播对象具有关联关系；
展示模块，用于展示所述目标动作图片中所述虚拟形象的目标形象表情动作，其中，所述目标形象表情动作与所述对象表情动作一致。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202111439340.0A 2021-11-29 2021-11-29 虚拟形象的展示方法和装置、存储介质及电子装置 Pending CN114241551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111439340.0A CN114241551A (zh) 2021-11-29 2021-11-29 虚拟形象的展示方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111439340.0A CN114241551A (zh) 2021-11-29 2021-11-29 虚拟形象的展示方法和装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN114241551A true CN114241551A (zh) 2022-03-25

Family

ID=80752068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111439340.0A Pending CN114241551A (zh) 2021-11-29 2021-11-29 虚拟形象的展示方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114241551A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604501A (zh) * 2022-11-28 2023-01-13 广州钛动科技有限公司（Cn） 互联网广告直播系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604501A (zh) * 2022-11-28 2023-01-13 广州钛动科技有限公司（Cn） 互联网广告直播系统和方法
CN115604501B (zh) * 2022-11-28 2023-04-07 广州钛动科技股份有限公司 互联网广告直播系统和方法

Similar Documents

Publication Publication Date Title
CN108876877B (zh) 表情符号人偶化
US10360715B2 (en) Storage medium, information-processing device, information-processing system, and avatar generating method
CN113422977B (zh) 直播方法、装置、计算机设备以及存储介质
US9817235B2 (en) Method and apparatus for prompting based on smart glasses
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
WO2021098338A1 (zh) 一种模型训练的方法、媒体信息合成的方法及相关装置
CN110136054B (zh) 图像处理方法和装置
CN109002248B (zh) Vr场景截图方法、设备及存储介质
US11917265B2 (en) Augmented reality data dissemination method, system and terminal and storage medium
US20230206093A1 (en) Music recommendation method and apparatus
US11553009B2 (en) Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
CN108765581A (zh) 一种在虚拟三维空间内展示标签的方法及装置
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN110415318B (zh) 图像处理方法和装置
CN114241551A (zh) 虚拟形象的展示方法和装置、存储介质及电子装置
CN111028318A (zh) 一种虚拟人脸合成方法、系统、装置和存储介质
CN114187392A (zh) 虚拟偶像的生成方法、装置和电子设备
CN113010009A (zh) 对象共享方法及装置
CN118648294A (zh) 图像处理设备、图像处理方法和程序
CN116363725A (zh) 显示设备的人像追踪方法、系统、显示设备及存储介质
CN113946221A (zh) 眼部驱动控制方法和装置、存储介质及电子设备
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
CN115543135A (zh) 显示屏幕的控制方法、装置及设备
CN114764930A (zh) 图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination