CN114240741A - 目标图像的显示方法、存储介质和电子设备 - Google Patents
目标图像的显示方法、存储介质和电子设备 Download PDFInfo
- Publication number
- CN114240741A CN114240741A CN202111547772.3A CN202111547772A CN114240741A CN 114240741 A CN114240741 A CN 114240741A CN 202111547772 A CN202111547772 A CN 202111547772A CN 114240741 A CN114240741 A CN 114240741A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- target image
- key element
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 239000000463 material Substances 0.000 claims description 48
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000750 progressive effect Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 241000282326 Felis catus Species 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000283707 Capra Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种目标图像的显示方法、存储介质和电子设备。其中,该方法包括:获取待识别的第一目标图像;在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示调整后的第二目标图像。本发明解决了目标图像的显示真实性较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种目标图像的显示方法、存储介质和电子设备。
背景技术
随着网络基础设施的进步,越来越多的虚拟对象将如雨后春笋般出现,而虚拟对象还可与现实中的目标对象进行联动,如通过采集目标对象的嘴部图像,以调整出虚拟对象进行说话的目标图像。
但相关技术往往是直接将目标对象的嘴部元素贴在虚拟对象的嘴部区域。虽然这种方式可以保证目标图像的同步调整,但调整后的目标图像所表现出的效果不佳,真实性较低。即,存在目标图像的显示真实性较低。因此,存在目标图像的显示真实性较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标图像的显示方法、存储介质和电子设备,以至少解决目标图像的显示真实性较低的技术问题。
根据本发明实施例的一个方面,提供了一种目标图像的显示方法,包括:获取待识别的第一目标图像;在上述第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取上述目标嘴部元素中包含的N个目标关键元素点、以及上述N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;在第二目标图像中确定出与上述每个目标关键元素点匹配的N个虚拟关键元素点,其中,上述虚拟关键元素点为上述第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;根据上述第一形变数据调整上述N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示调整后的第二目标图像。
根据本发明实施例的另一方面,还提供了一种目标图像的显示装置,包括:第一获取单元,用于获取待识别的第一目标图像;第二获取单元,用于在上述第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取上述目标嘴部元素中包含的N个目标关键元素点、以及上述N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;第一确定单元,用于在第二目标图像中确定出与上述每个目标关键元素点匹配的N个虚拟关键元素点,其中,上述虚拟关键元素点为上述第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;第一调整单元,用于根据上述第一形变数据调整上述N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示单元,用于显示调整后的第二目标图像。
作为一种可选的方案,上述第二获取单元,包括:获取模块,用于获取上述N个目标关键元素点、以及上述每个目标关键点的第一相对位置数据,其中,上述第一相对位置数据用于表示上述目标关键点当前在上述目标嘴部元素中相对于上述目标关键点在上述目标嘴部元素中的初始位置和/或边缘位置的位置数据,上述第一形变数据包括上述第一相对位置数据。
作为一种可选的方案,上述第一调整单元,包括:调整模块,用于根据上述第一相对位置数据调整上述每个虚拟关键元素点的第二相对位置数据,其中,上述第二相对位置数据用于表示上述虚拟关键元素点当前在上述虚拟嘴部元素中相对于上述虚拟关键元素点在上述虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,上述第二形变数据包括上述第二相对位置数据。
作为一种可选的方案,包括:第三获取单元,用于在上述显示调整后的第二目标图像之前,根据调整后的第二形变数据获取上述每个虚拟关键元素点对应的元素点像素;第二确定单元,用于在上述显示调整后的第二目标图像之前,在获取到的图像素材集合的情况下,根据上述元素点像素从多个候选图像素材中确定出目标图像素材,其中,上述候选图像素材为嘴部元素相关联的人像元素的图像素材;整合单元,用于在上述显示调整后的第二目标图像之前,整合上述目标图像素材与上述元素点像素,得到上述虚拟嘴部元素对应的第一子图像,其中,上述调整后的第二目标图像包括上述第一子图像。
作为一种可选的方案,包括:第四获取单元,用于在上述整合上述目标图像素材与上述元素点像素,得到上述虚拟嘴部元素对应的第一子图像之后,获取第二子图像,其中,上述第二子图像包括上述第二目标图像中除上述第一子图像外的其他子图像;第二调整单元,用于在上述整合上述目标图像素材与上述元素点像素,得到上述虚拟嘴部元素对应的第一子图像之后,根据上述第一子图像的图像参数调整上述第二子图像,其中,调整后的第二子图像的图像参数与上述第一子图像的图像参数之间的相似度达到目标阈值,上述调整后的第二目标图像包括上述调整后的第二子图像。
作为一种可选的方案,包括:第五获取单元,用于在上述显示调整后的第二目标图像之后,获取第二目标图像集合,其中,上述第二目标图像集合中包括多个样本图像,上述多个样本图像包括上述每个虚拟关键元素点对应各个上述第二形变数据时所分别对应的上述第二目标图像;标记单元,用于在上述显示调整后的第二目标图像之后,利用上述多个样本图像中的每个样本图像各自匹配的上述第一目标图像对上述每个样本图像进行标记,得到标记后的多个样本图像;第一输入单元,用于在上述显示调整后的第二目标图像之后,将上述标记后的多个样本图像输入初始的目标图像模型,以训练得到上述目标图像模型。
作为一种可选的方案,包括:第六获取单元,用于在上述将上述标记后的多个样本图像输入初始的目标图像模型,以训练得到上述目标图像模型之后,获取待识别的第三目标图像;第二输入单元,用于在上述将上述标记后的多个样本图像输入初始的目标图像模型,以训练得到上述目标图像模型之后,将上述第三目标图像输入上述目标图像模型;第七获取单元,用于在上述将上述标记后的多个样本图像输入初始的目标图像模型,以训练得到上述目标图像模型之后,获取上述目标图像模型输出的目标结果图像,其中,上述目标结果图像为上述第三目标图像匹配的上述第二目标图像。
作为一种可选的方案,上述装置还包括:第三确定单元,用于在获取到至少两个上述调整后的第二目标图像的情况下,将上述至少两个上述调整后的第二目标图像中位于第一时刻的第二目标图像确定为初始状态图像,以及将上述至少两个上述调整后的第二目标图像中位于第二时刻的第二目标图像确定为最终状态图像,其中,上述第二时刻晚于上述第一时刻;第四确定单元,用于以渐进式的中间动画补充上述第一时刻与上述第二时刻之间的显示间隔,得到一段连续播放的目标动画,其中,上述目标动画包括上述位于第一时刻的第二目标图像、上述中间动画以及上述位于第二时刻的第二目标图像。
根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上目标图像的显示方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的目标图像的显示方法。
在本发明实施例中,获取待识别的第一目标图像;在上述第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取上述目标嘴部元素中包含的N个目标关键元素点、以及上述N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;在第二目标图像中确定出与上述每个目标关键元素点匹配的N个虚拟关键元素点,其中,上述虚拟关键元素点为上述第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;根据上述第一形变数据调整上述N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示调整后的第二目标图像,将目标关键元素点与虚拟关键元素点之间的匹配关系作为对第一目标图像的调整依据,确定第二目标图像中待调整的虚拟关键元素点;再以目标/虚拟关键元素点各自对应的形变数据作为对第一目标图像的另一调整依据,确定对虚拟关键元素点的调整方式,进而达到了兼顾对目标图像的调整效率以及调整后的目标图像的显示真实性的目的,从而实现了提高目标图像的显示真实性的技术效果,进而解决了目标图像的显示真实性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的目标图像的显示方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的目标图像的显示方法的流程的示意图;
图3是根据本发明实施例的一种可选的目标图像的显示方法的示意图;
图4是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图5是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图6是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图7是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图8是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图9是根据本发明实施例的另一种可选的目标图像的显示方法的示意图;
图10是根据本发明实施例的一种可选的目标图像的显示装置的示意图;
图11是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种目标图像的显示方法,可选地,作为一种可选的实施方式,上述目标图像的显示方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102、网络110及服务器112,其中,该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。
具体过程可如下步骤:
步骤S102,用户设备102获取待识别的第一目标图像1002;
步骤S104-S106,用户设备102通过网络110将第一目标图像1002发送给服务器112;
步骤S108,服务器112通过处理引擎116识别第一目标图像1002的目标嘴部元素中包含的N个目标关键元素点以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,再通过数据库114查找第二目标图像1004的目标嘴部元素中包含的N个虚拟关键元素点,再通过处理引擎116根据该第一形变数据将该N个虚拟关键元素点中的每个虚拟关键元素点进行分别处理,从而生成图像调整结果;
步骤S110-S112,服务器112通过网络110将图像调整结果发送给用户设备102,用户设备102中的处理器106根据图像调整结果调整第二目标图像1004,并将调整后的第二目标图像1004显示在显示器108中,以及将图像调整结果存储在存储器104中。其中,图像调整结果可以但不限于存储在服务器112或用户设备102中。
除图1示出的示例之外,上述步骤可以由用户设备102独立完成,即由用户设备102执行图像的识别、形变数据的获取、图像调整结果的生成等步骤,从而减轻服务器的处理压力。该用户设备102包括但不限于手持设备(如手机)、笔记本电脑、台式电脑、车载设备等,本发明并不限制用户设备102的具体实现方式。
可选地,作为一种可选的实施方式,如图2所示,目标图像的显示方法包括:
S202,获取待识别的第一目标图像;
S204,在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;
S206,在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;
S208,根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;
S210,显示调整后的第二目标图像。
可选地,在本实施例中,上述目标图像的显示方法可以但不限于应用在驱动虚拟动物进行同步说话的场景中。具体的,采集一段连续的目标视频,其中,该目标视频包括多帧带有目标对象(如人)进行说话的目标图像(待识别的第一目标图像);从该目标视频中提取出一张或多张目标图像作为上述目标图像的显示方法中的第一目标图像;从第一目标图像中识别出目标对象的目标嘴部元素,并从该目标嘴部元素中提取出N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,并将N个目标关键元素点、以及第一形变数据作为调整依据;
进一步基于提取到的调整依据,在待调整的、带有虚拟动物的图像(目标图像)中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,以及根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据,进而同步显示虚拟动物模仿目标对象的说话动作的图像(调整后的第二目标图像);
同理,对目标视频中的下一目标图像执行相同或相似的上述目标图像的显示方法,并将对应得到的多张虚拟动物模仿目标对象的说话动作的图像整合为一段目标模拟视频,以此实现驱动虚拟动物进行同步说话。
可选地,在本实施例中,上述目标图像的显示方法除可应用在目标对象的嘴部元素与虚拟对象的嘴部元素进行同步显示的场景中,还可应用在目标对象的其他人像元素(如眼睛元素、鼻子元素、眉毛元素、脸部元素等)与虚拟对象的对应元素进行同步显示的场景中。其中,嘴部元素相比于其他人像元素,其结构更为复杂,同步显示的难度更大,更适用于上述目标图像的显示方法。
可选地,在本实施例中,虚拟对象可以但不限于以真实对象的静态贴图为原型,如猫的静态贴图为原型,进而可利用上述目标图像的显示方法以模拟驱动猫的静态贴图进行动态说话。
可选地,在本实施例中,目标关键元素点可以但不限于理解为嘴部元素中说话时更易被牵动的位置点,例如图3所示,在第一目标图像302中识别出目标对象(人像)的目标嘴部元素304的情况下,获取目标嘴部元素304中包含的5个目标关键元素点306。
可选地,在本实施例中,目标关键点对应的第一形变数据可以但不限于为已发生形变的目标关键点相对于未发生形变的目标关键点的位置数据。同理,虚拟关键点对应的第二形变数据可以但不限于为已发生形变的虚拟关键点相对于未发生形变的虚拟关键点的位置数据,且第一形变数据与第二形变数据可以但不限于为同纬度的位置数据;或者说,可根据第一形变数据得到与之匹配的第二形变数据。
可选地,在本实施例中,每个目标关键元素点可以但不限于都有与之匹配的虚拟关键元素点,如基于图3所示场景,继续例如图4所示,在第二目标图像402中确定出与每个目标关键元素点306匹配的5个虚拟关键元素点406,其中,虚拟关键元素点406为第二目标图像402中的虚拟对象的虚拟嘴部元素404中包含的元素点。
需要说明的是,将目标关键元素点与虚拟关键元素点之间的匹配关系作为对第一目标图像的调整依据,确定第二目标图像中待调整的虚拟关键元素点;再以目标/虚拟关键元素点各自对应的形变数据作为对第一目标图像的另一调整依据,确定对虚拟关键元素点的调整方式。
进一步举例说明,可选的例如图5所示,获取待识别的第一目标图像502;在第一目标图像502中识别出目标对象的目标嘴部元素504的情况下,获取目标嘴部元素504中包含的5个目标关键元素点506、以及5个目标关键元素点506中的每个目标关键点506对应的第一形变数据;在第二目标图像508中确定出与每个目标关键元素点506匹配的5个虚拟关键元素点512,其中,虚拟关键元素点512为第二目标图像508中的虚拟对象的虚拟嘴部元素510中包含的元素点;根据第一形变数据调整5个虚拟关键元素点512中的每个虚拟关键元素点512对应的第二形变数据;显示调整后的第二目标图像508。
通过本申请提供的实施例,获取待识别的第一目标图像;在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示调整后的第二目标图像,进而达到了兼顾对目标图像的调整效率以及调整后的目标图像的显示真实性的目的,从而实现了提高目标图像的显示真实性的技术效果。
作为一种可选的方案,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,包括:
获取N个目标关键元素点、以及每个目标关键点的第一相对位置数据,其中,第一相对位置数据用于表示目标关键点当前在目标嘴部元素中相对于目标关键点在目标嘴部元素中的初始位置和/或边缘位置的位置数据,第一形变数据包括第一相对位置数据。
可选地,在本实施例中,目标关键点在目标嘴部元素中的初始位置可以但不限于理解为目标关键点在静止状态下的目标嘴部元素中的位置;目标关键点在目标嘴部元素中的边缘位置可以但不限于理解为目标关键点在目标嘴部元素中所能达到最远的距离所在的位置。
需要说明的是,获取N个目标关键元素点、以及每个目标关键点的第一相对位置数据,其中,第一相对位置数据用于表示目标关键点当前在目标嘴部元素中相对于目标关键点在目标嘴部元素中的初始位置和/或边缘位置的位置数据,第一形变数据包括第一相对位置数据。
进一步举例说明,可选的基于图3所示场景,继续例如图6所示,获取在静止状态下的目标嘴部元素中的5个目标关键元素点602的位置数据(0);以及获取5个目标关键元素点604在目标嘴部元素中所能达到最远的距离的位置数据(100)。进而在获取任一目标关键元素点的相对位置数据的过程中,先获取该目标元素点相对于位置数据(0)、或相对于位置数据(100)、或相对于位置数据(0~100)的比例位置。
通过本申请提供的实施例,获取N个目标关键元素点、以及每个目标关键点的第一相对位置数据,其中,第一相对位置数据用于表示目标关键点当前在目标嘴部元素中相对于目标关键点在目标嘴部元素中的初始位置和/或边缘位置的位置数据,第一形变数据包括第一相对位置数据,达到了利用相对位置获取形变数据的目的,实现了提高形变数据的获取准确性的效果。
作为一种可选的方案,根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据,包括:
根据第一相对位置数据调整每个虚拟关键元素点的第二相对位置数据,其中,第二相对位置数据用于表示虚拟关键元素点当前在虚拟嘴部元素中相对于虚拟关键元素点在虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,第二形变数据包括第二相对位置数据。
可选地,在本实施例中,虚拟关键点在虚拟嘴部元素中的初始位置可以但不限于理解为虚拟关键点在静止状态下的虚拟嘴部元素中的位置;虚拟关键点在虚拟嘴部元素中的边缘位置可以但不限于理解为虚拟关键点在虚拟嘴部元素中所能达到最远的距离所在的位置。
需要说明的是,根据第一相对位置数据调整每个虚拟关键元素点的第二相对位置数据,其中,第二相对位置数据用于表示虚拟关键元素点当前在虚拟嘴部元素中相对于虚拟关键元素点在虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,第二形变数据包括第二相对位置数据。
进一步举例说明,可选的基于图4所示场景,继续例如图7所示,获取在静止状态下的虚拟嘴部元素中的5个虚拟关键元素点702的位置数据(0);以及获取5个虚拟关键元素点704在虚拟嘴部元素中所能达到最远的距离的位置数据(100)。进而在获取任一虚拟关键元素点的相对位置数据的过程中,先获取该虚拟元素点相对于位置数据(0)、或相对于位置数据(100)、或相对于位置数据(0~100)的比例位置;
再者,根据第一相对位置数据所携带的第一比例信息确定每个虚拟关键元素点704对应的第二比例信息,再利用该第二比例信息确定每个虚拟关键元素704点在第二目标图像402中的位置。
通过本申请提供的实施例,根据第一相对位置数据调整每个虚拟关键元素点的第二相对位置数据,其中,第二相对位置数据用于表示虚拟关键元素点当前在虚拟嘴部元素中相对于虚拟关键元素点在虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,第二形变数据包括第二相对位置数据,达到了利用相对位置获取形变数据的目的,实现了提高形变数据的获取准确性的效果。
作为一种可选的方案,在显示调整后的第二目标图像之前,包括:
S1,根据调整后的第二形变数据获取每个虚拟关键元素点对应的元素点像素;
S2,在获取到的图像素材集合的情况下,根据元素点像素从多个候选图像素材中确定出目标图像素材,其中,候选图像素材为嘴部元素相关联的人像元素的图像素材;
S3,整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像,其中,调整后的第二目标图像包括第一子图像。
需要说明的是,根据调整后的第二形变数据获取每个虚拟关键元素点对应的元素点像素;在获取到的图像素材集合的情况下,根据元素点像素从多个候选图像素材中确定出目标图像素材,其中,候选图像素材为嘴部元素相关联的人像元素的图像素材;整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像,其中,调整后的第二目标图像包括第一子图像。
进一步举例说明,可选的基于图4所示场景,继续例如图8所示,根据调整后的第二形变数据获取每个虚拟关键元素点对应的元素点像素802;在获取到的图像素材集合的情况下,根据元素点像素从多个候选图像素材中确定出目标图像素材804,其中,候选图像素材为嘴部元素相关联的人像元素的图像素材;整合目标图像素材804与元素点像素802,得到虚拟嘴部元素对应的第一子图像806,其中,调整后的第二目标图像808包括第一子图像806。
通过本申请提供的实施例,根据调整后的第二形变数据获取每个虚拟关键元素点对应的元素点像素;在获取到的图像素材集合的情况下,根据元素点像素从多个候选图像素材中确定出目标图像素材,其中,候选图像素材为嘴部元素相关联的人像元素的图像素材;整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像,其中,调整后的第二目标图像包括第一子图像,达到了高效获取调整后的目标图像的目的,实现了提高目标图像的获取效率的效果。
作为一种可选的方案,在整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像之后,包括:
S1,获取第二子图像,其中,第二子图像包括第二目标图像中除第一子图像外的其他子图像;
S2,根据第一子图像的图像参数调整第二子图像,其中,调整后的第二子图像的图像参数与第一子图像的图像参数之间的相似度达到目标阈值,调整后的第二目标图像包括调整后的第二子图像。
需要说明的是,获取第二子图像,其中,第二子图像包括第二目标图像中除第一子图像外的其他子图像;根据第一子图像的图像参数调整第二子图像,其中,调整后的第二子图像的图像参数与第一子图像的图像参数之间的相似度达到目标阈值,调整后的第二目标图像包括调整后的第二子图像。
进一步举例说明,可选的基于图8所示,继续例如图9所示,获取第二子图像902,其中,第二子图像包括902第二目标图像402中除第一子图像806外的其他子图像;根据第一子图像806的图像参数调整第二子图像902,其中,调整后的第二子图像904的图像参数与第一子图像806的图像参数之间的相似度达到目标阈值,调整后的第二目标图像906包括调整后的第二子图像904。
通过本申请提供的实施例,获取第二子图像,其中,第二子图像包括第二目标图像中除第一子图像外的其他子图像;根据第一子图像的图像参数调整第二子图像,其中,调整后的第二子图像的图像参数与第一子图像的图像参数之间的相似度达到目标阈值,调整后的第二目标图像包括调整后的第二子图像,达到了的目的,实现了的效果。
作为一种可选的方案,在显示调整后的第二目标图像之后,包括:
S1,获取第二目标图像集合,其中,第二目标图像集合中包括多个样本图像,多个样本图像包括每个虚拟关键元素点对应各个第二形变数据时所分别对应的第二目标图像;
S2,利用多个样本图像中的每个样本图像各自匹配的第一目标图像对每个样本图像进行标记,得到标记后的多个样本图像;
S3,将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型。
作为一种可选的方案,在将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型之后,包括:
S1,获取待识别的第三目标图像;
S2,将第三目标图像输入目标图像模型;
S3,获取目标图像模型输出的目标结果图像,其中,目标结果图像为第三目标图像匹配的第二目标图像。
可选地,在本实施例中,可以但不限于使用gan等神经网络模型生成对应的嘴部形象,但该方法存在的技术缺陷在于难以获得训练所需的样本数据,这是因为虚拟对象往往是对真实动物的一种模拟形象,如猫、狗、山羊等,而这种真实动物的说话数据是很难采集完全的,如此就导致难以获得训练所需的样本数据,也就无法训练得到完整的神经网络模型。但在本实施例中,利用目标对象(如人)的便利性模拟出虚拟对象的说话数据,并将该说话数据作为训练所需样本数据,进而克服了上述技术缺陷。
作为一种可选的方案,方法还包括:
S1,在获取到至少两个调整后的第二目标图像的情况下,将至少两个调整后的第二目标图像中位于第一时刻的第二目标图像确定为初始状态图像,以及将至少两个调整后的第二目标图像中位于第二时刻的第二目标图像确定为最终状态图像,其中,第二时刻晚于第一时刻;
S2,以渐进式的中间动画补充第一时刻与第二时刻之间的显示间隔,得到一段连续播放的目标动画,其中,目标动画包括位于第一时刻的第二目标图像、中间动画以及位于第二时刻的第二目标图像。
需要说明的是,为防止多个目标图像被显示的过程中出现不真实的问题,采用渐进式的中间动画补充多个目标图像被显示的间隔中的空白,以提高目标图像被显示时的整体平滑度。
通过本申请提供的实施例,在获取到至少两个调整后的第二目标图像的情况下,将至少两个调整后的第二目标图像中位于第一时刻的第二目标图像确定为初始状态图像,以及将至少两个调整后的第二目标图像中位于第二时刻的第二目标图像确定为最终状态图像,其中,第二时刻晚于第一时刻;以渐进式的中间动画补充第一时刻与第二时刻之间的显示间隔,得到一段连续播放的目标动画,其中,目标动画包括位于第一时刻的第二目标图像、中间动画以及位于第二时刻的第二目标图像,实现了提高目标图像的显示平滑度的效果。
作为一种可选的方案,为方便理解,将上述目标图像的显示方法应用在驱动静态动物图进行说话的场景中。或者说,上述目标图像的显示方法提供了一种平面内任意动物说话的实现方法,以提升动物脸的趣味性;
可选的,在本实施例中,获取人脸视频流的数据帧及静态宠物脸图片,再对其进行关键点检测得到嘴巴部分关键点。具体的,对图片进行猫脸关键点检测,但我们这里张嘴说话可以但不限于只说嘴巴部分的,类同人脸关键点检测。
可选的,在本实施例中,通过色彩及透明度处理,从检测到的嘴唇向外非线性渲染一套嘴唇的形状,以提高图像的真实性。其中,嘴唇向外渲染即使用相对距离(因为每张猫脸大小不一致所以不能使用绝对距离)为猫脸构建一个嘴唇。
可选的,在本实施例中,渲染的基础方案都是线性渐变的,而我们要做的是给他附加一个激励函数(类似f(x),具体效果如羽化),使得其颜色和明暗变化更为柔和。
可选的,在本实施例中,实时检测人嘴部关键点位置,拟合形状后映射到宠物嘴的对应区域上。具体的,根据人嘴部内嘴唇关键点拟合人说话嘴唇的张嘴形状。拟合方式为曲线拟合(opencv自带有圆弧拟合)。拟合曲线与非线性渲染无关,只是为了获得人嘴的张嘴形状。检测到的猫嘴的检测框位置(即嘴部关键点的xmin、xmax、ymin、ymax构建框),将拟合的曲线缩放至该对应区域,并将初始检测的猫嘴关键点映射到曲线上的对应位置。
可选的,在本实施例中,使用渐进式动画来制作静态图片的说话效果(即source和target,通过weight控制动画效果)。具体来说,就是知道当前初始态和最终态,weight计算得到的张嘴权重(如:张嘴的横纵比,值在0-1之前),若为1则为完全target态,若为0则为source态,0.5则为source到target的中间态(为渐进式动画自动补充,即线性插值,自带的)。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述目标图像的显示方法的目标图像的显示装置。如图10所示,该装置包括:
第一获取单元1002,用于获取待识别的第一目标图像;
第二获取单元1004,用于在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;
第一确定单元1006,用于在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;
第一调整单元1008,用于根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;
显示单元1010,用于显示调整后的第二目标图像。
可选地,在本实施例中,上述目标图像的显示方法可以但不限于应用在驱动虚拟动物进行同步说话的场景中。具体的,采集一段连续的目标视频,其中,该目标视频包括多帧带有目标对象(如人)进行说话的目标图像(待识别的第一目标图像);从该目标视频中提取出一张或多张目标图像作为上述目标图像的显示方法中的第一目标图像;从第一目标图像中识别出目标对象的目标嘴部元素,并从该目标嘴部元素中提取出N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,并将N个目标关键元素点、以及第一形变数据作为调整依据;
进一步基于提取到的调整依据,在待调整的、带有虚拟动物的图像(目标图像)中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,以及根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据,进而同步显示虚拟动物模仿目标对象的说话动作的图像(调整后的第二目标图像);
同理,对目标视频中的下一目标图像执行相同或相似的上述目标图像的显示方法,并将对应得到的多张虚拟动物模仿目标对象的说话动作的图像整合为一段目标模拟视频,以此实现驱动虚拟动物进行同步说话。
可选地,在本实施例中,上述目标图像的显示方法除可应用在目标对象的嘴部元素与虚拟对象的嘴部元素进行同步显示的场景中,还可应用在目标对象的其他人像元素(如眼睛元素、鼻子元素、眉毛元素、脸部元素等)与虚拟对象的对应元素进行同步显示的场景中。其中,嘴部元素相比于其他人像元素,其结构更为复杂,同步显示的难度更大,更适用于上述目标图像的显示方法。
可选地,在本实施例中,虚拟对象可以但不限于以真实对象的静态贴图为原型,如猫的静态贴图为原型,进而可利用上述目标图像的显示方法以模拟驱动猫的静态贴图进行动态说话。
可选地,在本实施例中,目标关键点对应的第一形变数据可以但不限于为已发生形变的目标关键点相对于未发生形变的目标关键点的位置数据。同理,虚拟关键点对应的第二形变数据可以但不限于为已发生形变的虚拟关键点相对于未发生形变的虚拟关键点的位置数据,且第一形变数据与第二形变数据可以但不限于为同纬度的位置数据;或者说,可根据第一形变数据得到与之匹配的第二形变数据。
需要说明的是,将目标关键元素点与虚拟关键元素点之间的匹配关系作为对第一目标图像的调整依据,确定第二目标图像中待调整的虚拟关键元素点;再以目标/虚拟关键元素点各自对应的形变数据作为对第一目标图像的另一调整依据,确定对虚拟关键元素点的调整方式。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
通过本申请提供的实施例,获取待识别的第一目标图像;在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;显示调整后的第二目标图像,进而达到了兼顾对目标图像的调整效率以及调整后的目标图像的显示真实性的目的,从而实现了提高目标图像的显示真实性的技术效果。
作为一种可选的方案,第二获取单元1004,包括:
获取模块,用于获取N个目标关键元素点、以及每个目标关键点的第一相对位置数据,其中,第一相对位置数据用于表示目标关键点当前在目标嘴部元素中相对于目标关键点在目标嘴部元素中的初始位置和/或边缘位置的位置数据,第一形变数据包括第一相对位置数据。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一调整单元1008,包括:
调整模块,用于根据第一相对位置数据调整每个虚拟关键元素点的第二相对位置数据,其中,第二相对位置数据用于表示虚拟关键元素点当前在虚拟嘴部元素中相对于虚拟关键元素点在虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,第二形变数据包括第二相对位置数据。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第三获取单元,用于在显示调整后的第二目标图像之前,根据调整后的第二形变数据获取每个虚拟关键元素点对应的元素点像素;
第二确定单元,用于在显示调整后的第二目标图像之前,在获取到的图像素材集合的情况下,根据元素点像素从多个候选图像素材中确定出目标图像素材,其中,候选图像素材为嘴部元素相关联的人像元素的图像素材;
整合单元,用于在显示调整后的第二目标图像之前,整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像,其中,调整后的第二目标图像包括第一子图像。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第四获取单元,用于在整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像之后,获取第二子图像,其中,第二子图像包括第二目标图像中除第一子图像外的其他子图像;
第二调整单元,用于在整合目标图像素材与元素点像素,得到虚拟嘴部元素对应的第一子图像之后,根据第一子图像的图像参数调整第二子图像,其中,调整后的第二子图像的图像参数与第一子图像的图像参数之间的相似度达到目标阈值,调整后的第二目标图像包括调整后的第二子图像。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第五获取单元,用于在显示调整后的第二目标图像之后,获取第二目标图像集合,其中,第二目标图像集合中包括多个样本图像,多个样本图像包括每个虚拟关键元素点对应各个第二形变数据时所分别对应的第二目标图像;
标记单元,用于在显示调整后的第二目标图像之后,利用多个样本图像中的每个样本图像各自匹配的第一目标图像对每个样本图像进行标记,得到标记后的多个样本图像;
第一输入单元,用于在显示调整后的第二目标图像之后,将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:
第六获取单元,用于在将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型之后,获取待识别的第三目标图像;
第二输入单元,用于在将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型之后,将第三目标图像输入目标图像模型;
第七获取单元,用于在将标记后的多个样本图像输入初始的目标图像模型,以训练得到目标图像模型之后,获取目标图像模型输出的目标结果图像,其中,目标结果图像为第三目标图像匹配的第二目标图像。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,包括:装置还包括:
第三确定单元,用于在获取到至少两个调整后的第二目标图像的情况下,将至少两个调整后的第二目标图像中位于第一时刻的第二目标图像确定为初始状态图像,以及将至少两个调整后的第二目标图像中位于第二时刻的第二目标图像确定为最终状态图像,其中,第二时刻晚于第一时刻;
第四确定单元,用于以渐进式的中间动画补充第一时刻与第二时刻之间的显示间隔,得到一段连续播放的目标动画,其中,目标动画包括位于第一时刻的第二目标图像、中间动画以及位于第二时刻的第二目标图像。
具体实施例可以参考上述目标图像的显示方法中所示示例,本示例中在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述目标图像的显示方法的电子设备,如图11所示,该电子设备包括存储器1102和处理器1104,该存储器1102中存储有计算机程序,该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待识别的第一目标图像;
S2,在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;
S3,在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;
S4,根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;
S5,显示调整后的第二目标图像。
可选地,本领域普通技术人员可以理解,图11所示的结构仅为示意,电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图11其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图11中所示更多或者更少的组件(如网络接口等),或者具有与图11所示不同的配置。
其中,存储器1102可用于存储软件程序以及模块,如本发明实施例中的目标图像的显示方法和装置对应的程序指令/模块,处理器1104通过运行存储在存储器1102内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的目标图像的显示方法。存储器1102可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1102可进一步包括相对于处理器1104远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1102具体可以但不限于用于存储第一目标图像、第一形变数据、第二形变数据以及第二目标图像等信息。作为一种示例,如图11所示,上述存储器1102中可以但不限于包括上述目标图像的显示装置中的第一获取单元1002、第二获取单元1004、第一确定单元1006、第一调整单元1008及显示单元1010。此外,还可以包括但不限于上述目标图像的显示装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1106包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1106为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1108,用于显示上述第一目标图像、第一形变数据、第二形变数据以及第二目标图像等信息;和连接总线1110,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(Peer To Peer,简称P2P)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请实施例提供的各种功能。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述目标图像的显示方法。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待识别的第一目标图像;
S2,在第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取目标嘴部元素中包含的N个目标关键元素点、以及N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;
S3,在第二目标图像中确定出与每个目标关键元素点匹配的N个虚拟关键元素点,其中,虚拟关键元素点为第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;
S4,根据第一形变数据调整N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;
S5,显示调整后的第二目标图像。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种目标图像的显示方法,其特征在于,包括:
获取待识别的第一目标图像;
在所述第一目标图像中识别出目标对象的目标嘴部元素的情况下,获取所述目标嘴部元素中包含的N个目标关键元素点、以及所述N个目标关键元素点中的每个目标关键点对应的第一形变数据,其中,N为自然数;
在第二目标图像中确定出与所述每个目标关键元素点匹配的N个虚拟关键元素点,其中,所述虚拟关键元素点为所述第二目标图像中的虚拟对象的虚拟嘴部元素中包含的元素点;
根据所述第一形变数据调整所述N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据;
显示调整后的第二目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标嘴部元素中包含的N个目标关键元素点、以及所述N个目标关键元素点中的每个目标关键点对应的第一形变数据,包括:
获取所述N个目标关键元素点、以及所述每个目标关键点的第一相对位置数据,其中,所述第一相对位置数据用于表示所述目标关键点当前在所述目标嘴部元素中相对于所述目标关键点在所述目标嘴部元素中的初始位置和/或边缘位置的位置数据,所述第一形变数据包括所述第一相对位置数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一形变数据调整所述N个虚拟关键元素点中的每个虚拟关键元素点对应的第二形变数据,包括:
根据所述第一相对位置数据调整所述每个虚拟关键元素点的第二相对位置数据,其中,所述第二相对位置数据用于表示所述虚拟关键元素点当前在所述虚拟嘴部元素中相对于所述虚拟关键元素点在所述虚拟嘴部元素中的初始位置和/或边缘位置的位置数据,所述第二形变数据包括所述第二相对位置数据。
4.根据权利要求1所述的方法,其特征在于,在所述显示调整后的第二目标图像之前,包括:
根据调整后的第二形变数据获取所述每个虚拟关键元素点对应的元素点像素;
在获取到的图像素材集合的情况下,根据所述元素点像素从多个候选图像素材中确定出目标图像素材,其中,所述候选图像素材为嘴部元素相关联的人像元素的图像素材;
整合所述目标图像素材与所述元素点像素,得到所述虚拟嘴部元素对应的第一子图像,其中,所述调整后的第二目标图像包括所述第一子图像。
5.根据权利要求4所述的方法,其特征在于,在所述整合所述目标图像素材与所述元素点像素,得到所述虚拟嘴部元素对应的第一子图像之后,包括:
获取第二子图像,其中,所述第二子图像包括所述第二目标图像中除所述第一子图像外的其他子图像;
根据所述第一子图像的图像参数调整所述第二子图像,其中,调整后的第二子图像的图像参数与所述第一子图像的图像参数之间的相似度达到目标阈值,所述调整后的第二目标图像包括所述调整后的第二子图像。
6.根据权利要求1所述的方法,其特征在于,在所述显示调整后的第二目标图像之后,包括:
获取第二目标图像集合,其中,所述第二目标图像集合中包括多个样本图像,所述多个样本图像包括所述每个虚拟关键元素点对应各个所述第二形变数据时所分别对应的所述第二目标图像;
利用所述多个样本图像中的每个样本图像各自匹配的所述第一目标图像对所述每个样本图像进行标记,得到标记后的多个样本图像;
将所述标记后的多个样本图像输入初始的目标图像模型,以训练得到所述目标图像模型。
7.根据权利要求6所述的方法,其特征在于,在所述将所述标记后的多个样本图像输入初始的目标图像模型,以训练得到所述目标图像模型之后,包括:
获取待识别的第三目标图像;
将所述第三目标图像输入所述目标图像模型;
获取所述目标图像模型输出的目标结果图像,其中,所述目标结果图像为所述第三目标图像匹配的所述第二目标图像。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
在获取到至少两个所述调整后的第二目标图像的情况下,将所述至少两个所述调整后的第二目标图像中位于第一时刻的第二目标图像确定为初始状态图像,以及将所述至少两个所述调整后的第二目标图像中位于第二时刻的第二目标图像确定为最终状态图像,其中,所述第二时刻晚于所述第一时刻;
以渐进式的中间动画补充所述第一时刻与所述第二时刻之间的显示间隔,得到一段连续播放的目标动画,其中,所述目标动画包括所述位于第一时刻的第二目标图像、所述中间动画以及所述位于第二时刻的第二目标图像。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至8任一项中所述的方法。
10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547772.3A CN114240741A (zh) | 2021-12-16 | 2021-12-16 | 目标图像的显示方法、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547772.3A CN114240741A (zh) | 2021-12-16 | 2021-12-16 | 目标图像的显示方法、存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114240741A true CN114240741A (zh) | 2022-03-25 |
Family
ID=80757564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111547772.3A Pending CN114240741A (zh) | 2021-12-16 | 2021-12-16 | 目标图像的显示方法、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240741A (zh) |
-
2021
- 2021-12-16 CN CN202111547772.3A patent/CN114240741A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
US11062169B2 (en) | Metric-based recognition, systems and methods | |
CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
CN103810504B (zh) | 一种图像处理方法和装置 | |
CN109785400B (zh) | 一种剪影图像制作方法、装置、电子设备及存储介质 | |
CN108596102A (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
CN111508033A (zh) | 相机参数确定方法、图像处理方法、存储介质及电子装置 | |
KR20170002097A (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
CN114821004A (zh) | 虚拟空间构建方法、虚拟空间构建装置、设备及存储介质 | |
CN112381118B (zh) | 一种大学舞蹈考试测评方法及装置 | |
CN116664726A (zh) | 视频获取方法、装置和存储介质及电子设备 | |
CN114240741A (zh) | 目标图像的显示方法、存储介质和电子设备 | |
CN113453027A (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
CN110956599A (zh) | 图片处理方法和装置、存储介质及电子装置 | |
CN111047632A (zh) | 一种指甲图像的图色处理方法和装置 | |
CN111352680A (zh) | 信息推荐方法及装置 | |
CN111738087B (zh) | 一种游戏角色面部模型的生成方法和装置 | |
CN114067025A (zh) | 图像生成方法和装置、存储介质及电子设备 | |
CN114638920A (zh) | 会客方法、会客装置、计算机设备及存储介质 | |
CN115641464A (zh) | 图像分类方法、图像分类装置、计算机设备、存储介质 | |
CN117011439A (zh) | 图像重建方法、装置及计算机设备、存储介质、产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |