CN115187757A - 基于真实形象改变虚拟形象的图像处理方法及相关产品 - Google Patents
基于真实形象改变虚拟形象的图像处理方法及相关产品 Download PDFInfo
- Publication number
- CN115187757A CN115187757A CN202210709086.XA CN202210709086A CN115187757A CN 115187757 A CN115187757 A CN 115187757A CN 202210709086 A CN202210709086 A CN 202210709086A CN 115187757 A CN115187757 A CN 115187757A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- face
- avatar
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种基于真实形象改变虚拟形象的图像处理方法、装置、存储介质及电子设备,方法包括:获取包含真实形象的真实图像;根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。本申请实施例能够将虚拟形象的脸部替换成真实的脸部,从而使得虚拟形象可以拥有真实脸部的形象和表情,提高虚拟形象的灵活性。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于真实形象改变虚拟形象的图像处理方法、装置、存储介质及电子设备。
背景技术
随着科技的不断进步,业界研发出了多种虚拟形象合成技术。比如,可以通过虚拟形象执行银行业务解说、银行业务接待等任务。然而,目前的虚拟形象不够灵活。
发明内容
本申请实施例提供一种基于真实形象改变虚拟形象的图像处理方法、装置、存储介质及电子设备,能够提高虚拟形象的灵活性。
本申请实施例提供一种基于真实形象改变虚拟形象的图像处理方法,包括:
获取包含真实形象的真实图像;
根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;
从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;
根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
本申请实施例还提供了一种基于真实形象改变虚拟形象的图像处理装置,包括:
获取模块,用于获取包含真实形象的真实图像;
选取模块,用于根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;
提取模块,用于从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;
变换模块,用于根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
本申请实施例还提供一种计算机可读的存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行以实现上述的基于真实形象改变虚拟形象的图像处理方法中的步骤。
本申请实施例还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器上存储有计算机程序,处理器执行计算机程序以实现上述的基于真实形象改变虚拟形象的图像处理方法中的步骤。
本申请实施例中,首先获取包含真实形象的真实图像;根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;然后从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,进而得到变换后的虚拟形象。本申请实施例能够将虚拟形象的脸部替换成真实的脸部,从而使得虚拟形象可以拥有真实脸部的形象和表情,提高虚拟形象的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于真实形象改变虚拟形象的图像处理方法的第一种流程示意图。
图2为本申请实施例提供的基于真实形象改变虚拟形象的图像处理方法的第二种流程示意图。
图3为本申请实施例提供的基于真实形象改变虚拟形象的图像处理装置的第一种结构示意图。
图4为本申请实施例提供的基于真实形象改变虚拟形象的图像处理装置的第二种结构示意图。
图5为本申请实施例提供的电子设备的第一种结构示意图。
图6是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的所有实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应当理解,这样描述的对象在适当情况下可以互换。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块和单元,还可以包括没有清楚地列出的步骤或模块或单元,也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。
本申请实施例提供一种基于真实形象改变虚拟形象的图像处理方法,该基于真实形象改变虚拟形象的图像处理方法的执行主体可以是本申请实施例提供的基于真实形象改变虚拟形象的图像处理装置,也可以是电子设备。其中,基于真实形象改变虚拟形象的图像处理装置可以集成在电子设备中。电子设备可以是计算机设备,该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备,也可以是服务器。以下进行具体分析说明。
请参阅图1,图1为本申请实施例提供的基于真实形象改变虚拟形象的图像处理方法的第一种流程示意图。该基于真实形象改变虚拟形象的图像处理方法可以包括:
110、获取包含真实形象的真实图像。
本申请实施例提供的基于真实形象改变虚拟形象的图像处理方法可以实现真实形象与虚拟形象的结合。其中,本申请所指真实形象,指的是客观世界中真实存在的对象的形象,不包括任何通过人工合成手段生成的形象;本申请所指虚拟形象,指的是客观世界中并不存在的对象的形象,例如通过人工合成手段生成的二次元形象、虚拟模型等。
在一实施例中,可以通过获取包含有真实形象的真实图像,获取真实形象。例如,可以直接从网络上下载包含有真实形象的真实图像,也可以根据用户的存储授权,从用户的电子设备中读取包含有真实形象的真实图像。
其中,真实形象可以是人的形象,也可以是动物的形象。在获取包含真实形象的真实图像时,可以开启摄像头,通过摄像头的拍摄功能,对真实形象进行拍摄,获取实时拍摄的真实图像。
以人为例,对于处理银行业务的场景,银行业务人员在对客户讲解业务或者引导用户处理业务时,可以通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的真实图像。
具体的,可以通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频。然后,获取实时视频中的当前帧图像,并将当前帧图像确定为真实图像。即,本申请获取的真实图像,可以是对银行业务人员进行实时拍摄时的当前最新的一帧图像。
120、根据真实形象,从预设目标虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象。
除获取包含真实形象的真实图像外,本申请还获取与真实形象对应的目标虚拟场景。其中,目标虚拟场景中包含虚拟形象,虚拟形象与真实图像中的真实形象属于相同类型。如此,在进行真实形象与虚拟形象的结合时,虚拟形象与真实形象的类型相同。
例如,真实形象为真实的人物形象,虚拟形象为虚拟的人物形象;真实形象为真实的小狗形象,虚拟形象为虚拟的小狗形象;真实形象为真实的猫咪形象,虚拟形象为虚拟的猫咪形象;等等。
在一实施例中,在确定目标虚拟场景时,可以从预先设置的多种预设虚拟场景中,选取当前的目标虚拟场景。可选的,预先设置的各种预设虚拟场景可以关联有对应的虚拟形象的类型,即对应不同类别的虚拟形象,分别有不同的目标虚拟场景与之对应。
在确定目标虚拟场景时,可以根据获取的真实图像中的真实形象的类型,确定与之类型相同的虚拟形象,从而从预先设置的各种预设虚拟场景中选择出与该真实形象对应的目标虚拟场景。
例如,可以预先设置有虚拟形象为人的预设虚拟场景、虚拟形象为小狗的预设虚拟场景、虚拟形象为猫咪的预设虚拟场景。当获取到的真实图像中包含的真实形象为人时,则从预先设置的虚拟场景库中,选取虚拟形象为人的预设虚拟场景作为目标虚拟场景;当获取到的真实图像中包含的真实形象为小狗时,则从预先设置的虚拟场景库中,选取虚拟形象为小狗的预设虚拟场景作为目标虚拟场景;当获取到的真实图像中包含的真实形象为猫咪时,则从预先设置的虚拟场景库中,选取虚拟形象为猫咪的预设虚拟场景作为目标虚拟场景。各预设虚拟场景根据包含的虚拟形象的类型不同,场景中的具体布置也不同,从而呈现多样化的虚拟场景。
130、从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象。
本申请实施例中,不论真实图像中包含的真实形象是人还是动物,都可以从中提取出真实形象的脸部图像。对于真实人物形象,可以提取出真实的人脸图像,对于真实的动物形象,则可以提取出真实的动物的脸部图像,提取出的真实形象的脸部图像用于改变目标虚拟场景中的虚拟形象。
真实形象的脸部图像中由于包含真实形象的五官,可以展示真实形象的五官和表情等,因而相比于虚拟形象事先设定好的五官和表情,真实形象所能展示的五官都是真实的五官,所能展示的表情更加丰富和生动。
本申请实现真实形象与虚拟形象结合的一个重要步骤,就是根据真实形象的脸部改变目标虚拟场景中虚拟形象的脸部。为此,本申请基于获取到的真实图像,首先从真实图像中提取真实形象的脸部图像。
其中,从真实图像中提取到的脸部图像,可以是预设的固定形状、固定大小的包含真实形象脸部的图像,例如预先设置一个特定大小的圆框,使用该圆框到真实图像中去截取真实形象的脸部图像。
在一实施例中,从真实图像中提取到的脸部图像,可以是脸部轮廓图像,即俗称的“抠图”。即,从真实图像中提取真实形象的脸部图像的步骤,可以包括:识别真实图像中的脸部轮廓;根据识别出的脸部轮廓对真实图像进行裁剪,得到真实形象的脸部轮廓图像。
脸部轮廓图像不同于前面提到的用固定区域的方式截取,而是根据识别到的脸部轮廓,沿着轮廓边缘,将真实形象的脸部轮廓完整而又不多余地截取下来,实现将脸部轮廓图像从真实图像中“抠出来”的效果。脸部轮廓图像中包含了完整的脸部,又不含其它多余的内容,相比使用特定区域截取脸部图像的方式,脸部轮廓图像与虚拟形象结合时,效果更加自然。
140、根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
本申请实施例中,取出真实形象的脸部图像后,根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。其中,根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换的步骤,可以包括:
将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部;或者
从脸部图像中获取真实形象的五官图像,并将五官图像覆盖至目标虚拟场景中虚拟形象的五官。
即,在根据真实形象改变虚拟形象的脸部时,可以采用真实形象的脸部图像直接覆盖的方式,也可以单独获取真实形象的各个五官的五官图像,将各个五官的五官图像分别覆盖至目标虚拟场景中虚拟形象对应的五官之上。
其中,在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,可以采用新建图层的方式,实现快速覆盖。具体的,首先,确定虚拟形象所在的第一图层,在第一图层之上建立第二图层。在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,在第二图层绘制脸部图像,以将虚拟形象的脸部改变为真实形象的脸部。
至此,本申请即可实现基于真实形象的脸部改变虚拟形象的脸部。
本申请实施例还提供一种基于真实形象改变虚拟形象的图像处理方法。请参阅图2,图2为本申请实施例提供的基于真实形象改变虚拟形象的图像处理方法的第二种流程示意图。该基于真实形象改变虚拟形象的图像处理方法可以包括:
201、通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频。
对于处理银行业务的场景,银行业务人员在对客户讲解业务或者引导用户处理业务时,可以通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频。
202、获取实时视频中的当前帧图像,并将当前帧图像确定为真实图像。
在对银行业务人员拍摄实时视频时,可以获取实时视频中的当前帧图像,并将当前帧图像确定为真实图像。即,本申请获取的真实图像,可以是对银行业务人员进行实时拍摄时的当前最新的一帧图像。
203、根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象。
在一实施例中,在确定目标虚拟场景时,可以从预先设置的多种预设虚拟场景中,选取当前的目标虚拟场景。可选的,预先设置的各种预设虚拟场景可以关联有对应的虚拟形象的类型,即对应不同类别的虚拟形象,分别有不同的目标虚拟场景与之对应。
在确定目标虚拟场景时,可以根据获取的真实图像中的真实形象的类型,确定与之类型相同的虚拟形象,从而从预先设置的各种预设虚拟场景中选择出与该真实形象对应的目标虚拟场景。
当真实图像是通过对银行业务人员进行拍摄得到的,则真实图像中包含的真实形象的形象类型为人,则在获取目标虚拟场景中,获取人所对应的预设虚拟场景作为目标虚拟场景。
可选的,由于银行业务的多样性,在确定目标虚拟场景时,进一步的,还可以根据当前的场景需求,将符合当前场景需求的预设虚拟场景确定为目标虚拟场景。
204、识别真实图像中的脸部轮廓。
真实形象的脸部图像中由于包含真实形象的五官,可以展示真实形象的五官和表情等,因而相比于虚拟形象事先设定好的五官和表情,真实形象所能展示的五官都是真实的五官,所能展示的表情更加丰富和生动。
本申请实现真实形象与虚拟形象结合的一个重要步骤,就是根据真实形象的脸部改变目标虚拟场景中虚拟形象的脸部。为此,本申请基于获取到的真实图像,首先从真实图像中提取真实形象的脸部图像。
该脸部图像可以是脸部轮廓图像,即俗称的“抠图”。
205、根据识别出的脸部轮廓对真实图像进行裁剪,得到真实形象的脸部轮廓图像。
脸部轮廓图像不同于前面提到的用固定区域的方式截取,而是根据识别到的脸部轮廓,沿着轮廓边缘,将真实形象的脸部轮廓完整而又不多余地截取下来,实现将脸部轮廓图像从真实图像中“抠出来”的效果。脸部轮廓图像中包含了完整的脸部,又不含其它多余的内容,相比使用特定区域截取脸部图像的方式,脸部轮廓图像与虚拟形象结合时,效果更加自然。
206、在第二图层绘制脸部轮廓图像,以将虚拟形象的脸部改变为真实形象的脸部。
本申请中,在根据真实形象改变虚拟形象的脸部时,可以采用真实形象的脸部图像直接覆盖的方式,也可以单独获取真实形象的各个五官的五官图像,将各个五官的五官图像分别覆盖至目标虚拟场景中虚拟形象对应的五官之上。
其中,在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,可以采用新建图层的方式,实现快速覆盖。具体的,首先,确定虚拟形象所在的第一图层,在第一图层之上建立第二图层。在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,在第二图层绘制脸部图像,以将虚拟形象的脸部改变为真实形象的脸部。
207、从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态。
本申请实施例中,在将真实形象与虚拟形象结合时,除了根据真实形象改变虚拟形象的脸部形象外,还可以从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态。
其中,姿态数据是真实图像中真实形象的肢体动作所展现出的姿势。由于对真实形象进行实施拍摄,因此,在获取的每一帧当前帧图像中,姿态数据都可能不同,相邻的连续多帧真实图像组成完整的肢体动作。本申请实施例通过将每一帧当前帧图像作为真实图像,从每一帧真实图像中提取真实形象的姿态数据,可以将真实形象的肢体动作迁移到目标虚拟场景中,使得目标虚拟场景中虚拟形象随着真实世界中银行业务人员的肢体动作而动作。例如,银行业务人员抬手,则目标虚拟场景中的虚拟人物也抬手,银行业务人挥手,则目标虚拟场景中的虚拟人物也挥手。
从而,在实时的拍摄过程中,银行业务人员可以在后方开启视频实时录制,将自己的人脸形象转移到目标虚拟场景中,并驱动目标虚拟场景中的虚拟形象随着自己的动作而动作。
208、判断摄像头是否关闭;若是,则转入步骤209;若否则返回执行步骤202。
由于本申请实施例中的真实图像是实时获取的,因而,在摄像头录制期间,皆可以由银行业务人员控制虚拟形象的脸部表情以及肢体动作。通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频,若摄像头持续开启,则每次都获取最新的一帧当前帧图像作为真实图像,从最新的一帧当前帧图像中提取真实形象的脸部图像以及姿态数据,根据最新的一帧当前帧图像中提取出的脸部图像对目标虚拟场景中的虚拟场景的脸部进行变换,以及根据最新的一帧当前帧图像的姿态数据驱动虚拟形象的姿态。
从而,目标虚拟场景中的虚拟场景的脸部和姿态会随着最新的一帧当前帧图像的脸部形象和肢体姿态的更新而更新,使得目标虚拟场景中虚拟形象的脸部和姿态能跟随屏幕前的真实对象(如银行业务人员)做出相应的表情和动作。例如,银行业务人员微笑,则目标虚拟场景中的虚拟人物也微笑;银行业务人员说话,则目标虚拟场景中的虚拟人物也做出相应的嘴部开合动作;银行业务人员抬手,目标虚拟场景中的虚拟人物也抬手;银行业务人挥手,则目标虚拟场景中的虚拟人物也挥手。
在步骤208中,若判断出摄像头并未关闭,则可以返回执行步骤202,即重新获取最新的当前帧图像,将最新的当前帧图像作为新的真实图像,根据该真实图像改变目标虚拟场景中虚拟形象的脸部,以及驱动虚拟形象的姿态。
209、结束。
若是判断出摄像头已经关闭,则可以结束当前的虚拟形象与真实形象的结合展示。可选的,可以展示虚拟形象原本的脸部形象,以及预先设置的一些肢体动作,以方便继续对客户进行业务引导。
由上述可知,本申请实施例所提供的基于真实形象改变虚拟形象的图像处理方法首先获取包含真实形象的真实图像;根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;然后从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,进而得到变换后的虚拟形象。本申请实施例能够将虚拟形象的脸部替换成真实的脸部,从而使得虚拟形象可以拥有真实脸部的形象和表情,提高虚拟形象的灵活性。
请参阅图3,图3为本申请实施例提供的基于真实形象改变虚拟形象的图像处理装置300的第一种结构示意图。该基于真实形象改变虚拟形象的图像处理装置300包括获取模块301、选取模块302、提取模块303和变换模块304:
获取模块301,用于获取包含真实形象的真实图像;
选取模块302,用于根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;
提取模块303,用于从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;
变换模块304,用于根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
在一实施例中,在获取包含真实形象的真实图像时,获取模块301具体用于:
通过摄像头对银行业务人员进行拍摄,得到真实图像。
在一实施例中,在通过摄像头对银行业务人员进行拍摄,得到真实图像时,获取模块301具体用于:
通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频;
获取实时视频中的当前帧图像,并将当前帧图像确定为真实图像。
请参阅图4,图4为本申请实施例提供的基于真实形象改变虚拟形象的图像处理装置的第二种结构示意图。在一实施例中,基于真实形象改变虚拟形象的图像处理装置300还包括驱动模块305,在根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象之后,驱动模块305具体用于:
从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态。
请继续参阅图4,在一实施例中,基于真实形象改变虚拟形象的图像处理装置300还包括返回模块306,在一实施例中,在从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态之后,返回模块306具体用于:
返回执行获取实时视频中的当前帧图像的步骤。
在一实施例中,在根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换时,变换模块304具体用于:
将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部;或者
从脸部图像中获取真实形象的五官图像,并将五官图像覆盖至目标虚拟场景中虚拟形象的五官。
请继续参阅图4,在一实施例中,基于真实形象改变虚拟形象的图像处理装置300还包括确定模块307和建立模块308:
确定模块307,用于确定虚拟形象所在的第一图层;
建立模块308,用于在第一图层之上建立第二图层;
在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,变换模块304具体用于:
在第二图层绘制脸部图像,以将虚拟形象的脸部改变为真实形象的脸部。
在一实施例中,脸部图像包括脸部轮廓图像,在从真实图像中提取真实形象的脸部图像时,提取模块303具体用于:
识别真实图像中的脸部轮廓;
根据识别出的脸部轮廓对真实图像进行裁剪,得到真实形象的脸部轮廓图像。
由上述可知,本申请实施例提供了一种基于真实形象改变虚拟形象的图像处理装置300,其中获取模块301首先获取包含真实形象的真实图像;选取模块302根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;提取模块303从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;进而变换模块304根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。本申请实施例能够将虚拟形象的脸部替换成真实的脸部,从而使得虚拟形象可以拥有真实脸部的形象和表情,提高虚拟形象的灵活性。
本申请实施例还提供一种电子设备400。请参阅图5,图5为本申请实施例提供的电子设备的第一种结构示意图。电子设备400包括处理器401以及存储器402。其中,处理器401与存储器402电性连接。
该处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的计算机程序,以及通过存储在存储器402内的数据,执行电子设备400的各种功能并处理数据,从而对电子设备400进行整体监控。
该存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
在本申请实施例中,电子设备400中的处理器401会按照如下的步骤,将可在处理器401上执行的计算机程序存储在存储器402中,并由处理器401执行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取包含真实形象的真实图像;
根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;
从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;
根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
在一实施例中,在获取包含真实形象的真实图像时,处理器401可以执行:
通过摄像头对银行业务人员进行拍摄,得到真实图像。
在一实施例中,在通过摄像头对银行业务人员进行拍摄,得到真实图像时,处理器401可以执行:
通过摄像头对银行业务人员进行拍摄,得到包含银行业务人员的实时视频;
获取实时视频中的当前帧图像,并将当前帧图像确定为真实图像。
在一实施例中,在根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象之后,处理器401可以执行:
从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态。
在一实施例中,在从真实图像中提取真实形象的姿态数据,并根据姿态数据驱动虚拟形象的姿态之后,处理器401可以执行:
返回执行获取实时视频中的当前帧图像的步骤。
在一实施例中,在根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换时,处理器401可以执行:
将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部;或者
从脸部图像中获取真实形象的五官图像,并将五官图像覆盖至目标虚拟场景中虚拟形象的五官。
在一实施例中,处理器401还执行:
确定虚拟形象所在的第一图层;
在第一图层之上建立第二图层;
在将脸部图像覆盖至目标虚拟场景中虚拟形象的脸部时,处理器401可以执行:
在第二图层绘制脸部图像,以将虚拟形象的脸部改变为真实形象的脸部。
在一实施例中,脸部图像包括脸部轮廓图像,在从真实图像中提取真实形象的脸部图像时,处理器401可以执行:
识别真实图像中的脸部轮廓;
根据识别出的所述脸部轮廓对所述真实图像进行裁剪,得到所述真实形象的脸部轮廓图像。
请一并参阅图6,图6为本申请实施例提供的电子设备的第二种结构示意图。在某些实施方式中,电子设备400还可以包括:显示屏403、射频电路404、音频电路405以及电源406。其中,其中,显示屏403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。
该显示屏403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示屏403可以包括显示面板,在某些实施方式中,可以采用液晶显示屏(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路404可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源406可以用于给电子设备400的各个部件供电。在一些实施例中,电源406可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图5和图6中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
本申请实施例还提供一种计算机可读的存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行以实现上述任一实施例中的基于真实形象改变虚拟形象的图像处理方法中的步骤,比如:获取包含真实形象的真实图像;根据真实形象,从预设虚拟场景中选取与真实形象对应的目标虚拟场景,目标虚拟场景中包含与真实形象相同类型的虚拟形象;从真实图像中提取真实形象的脸部图像,真实形象的脸部图像用于改变虚拟形象;根据真实形象的脸部图像对目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的基于真实形象改变虚拟形象的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的基于真实形象改变虚拟形象的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读的存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如基于真实形象改变虚拟形象的图像处理方法的实施例的流程。其中,该计算机可读的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的基于真实形象改变虚拟形象的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读的存储介质中,该计算机可读的存储介质譬如为只读存储器,磁盘或光盘等。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
以上对本申请实施例所提供的一种基于真实形象改变虚拟形象的图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种基于真实形象改变虚拟形象的图像处理方法,其特征在于,包括:
获取包含真实形象的真实图像;
根据所述真实形象,从预设虚拟场景中选取与所述真实形象对应的目标虚拟场景,所述目标虚拟场景中包含与所述真实形象相同类型的虚拟形象;
从所述真实图像中提取所述真实形象的脸部图像,所述真实形象的脸部图像用于改变所述虚拟形象;
根据所述真实形象的脸部图像对所述目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
2.根据权利要求1所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述获取包含真实形象的真实图像包括:
通过摄像头对银行业务人员进行拍摄,得到所述真实图像。
3.根据权利要求2所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述通过摄像头对银行业务人员进行拍摄,得到所述真实图像包括:
通过所述摄像头对所述银行业务人员进行拍摄,得到包含所述银行业务人员的实时视频;
获取所述实时视频中的当前帧图像,并将所述当前帧图像确定为所述真实图像。
4.根据权利要求3所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述根据所述真实形象的脸部图像对所述目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象之后,还包括:
从所述真实图像中提取所述真实形象的姿态数据,并根据所述姿态数据驱动所述虚拟形象的姿态。
5.根据权利要求4所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述从所述真实图像中提取所述真实形象的姿态数据,并根据所述姿态数据驱动所述虚拟形象的姿态之后,还包括:
返回执行所述获取所述实时视频中的当前帧图像的步骤。
6.根据权利要求1-5任一项所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述根据所述真实形象的脸部图像对所述目标虚拟场景中虚拟形象的脸部进行变换包括:
将所述脸部图像覆盖至所述目标虚拟场景中虚拟形象的脸部;或者
从所述脸部图像中获取所述真实形象的五官图像,并将所述五官图像覆盖至所述目标虚拟场景中虚拟形象的五官。
7.根据权利要求6所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述方法还包括:
确定所述虚拟形象所在的第一图层;
在所述第一图层之上建立第二图层;
所述将所述脸部图像覆盖至所述目标虚拟场景中虚拟形象的脸部包括:
在所述第二图层绘制所述脸部图像,以将所述虚拟形象的脸部改变为所述真实形象的脸部。
8.根据权利要求1-5任一项所述的基于真实形象改变虚拟形象的图像处理方法,其特征在于,所述脸部图像包括脸部轮廓图像,所述从所述真实图像中提取所述真实形象的脸部图像包括:
识别所述真实图像中的脸部轮廓;
根据识别出的所述脸部轮廓对所述真实图像进行裁剪,得到所述真实形象的脸部轮廓图像。
9.一种基于真实形象改变虚拟形象的图像处理装置,其特征在于,包括:
获取模块,用于获取包含真实形象的真实图像;
选取模块,用于根据所述真实形象,从预设虚拟场景中选取与所述真实形象对应的目标虚拟场景,所述目标虚拟场景中包含与所述真实形象相同类型的虚拟形象;
提取模块,用于从所述真实图像中提取所述真实形象的脸部图像,所述真实形象的脸部图像用于改变所述虚拟形象;
变换模块,用于根据所述真实形象的脸部图像对所述目标虚拟场景中虚拟形象的脸部进行变换,得到变换后的虚拟形象。
10.一种计算机可读的存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1至8任一项所述的基于真实形象改变虚拟形象的图像处理方法中的步骤。
11.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序以实现如权利要求1至8任一项所述的基于真实形象改变虚拟形象的图像处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210709086.XA CN115187757A (zh) | 2022-06-21 | 2022-06-21 | 基于真实形象改变虚拟形象的图像处理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210709086.XA CN115187757A (zh) | 2022-06-21 | 2022-06-21 | 基于真实形象改变虚拟形象的图像处理方法及相关产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115187757A true CN115187757A (zh) | 2022-10-14 |
Family
ID=83515938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210709086.XA Pending CN115187757A (zh) | 2022-06-21 | 2022-06-21 | 基于真实形象改变虚拟形象的图像处理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115187757A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116778043A (zh) * | 2023-06-19 | 2023-09-19 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
-
2022
- 2022-06-21 CN CN202210709086.XA patent/CN115187757A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116778043A (zh) * | 2023-06-19 | 2023-09-19 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
CN116778043B (zh) * | 2023-06-19 | 2024-02-09 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7206388B2 (ja) | 仮想キャラクターの顔の表示方法、装置、コンピュータデバイス、およびコンピュータプログラム | |
CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
CN108255304B (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
CN108525305B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2022116604A1 (zh) | 拍摄图像处理方法及电子设备 | |
CN110119815A (zh) | 模型训练方法、装置、存储介质及设备 | |
CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
CN108874114B (zh) | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 | |
CN112156464B (zh) | 虚拟对象的二维形象展示方法、装置、设备及存储介质 | |
CN108416832B (zh) | 媒体信息的显示方法、装置和存储介质 | |
WO2021098338A1 (zh) | 一种模型训练的方法、媒体信息合成的方法及相关装置 | |
CN112905074B (zh) | 交互界面展示方法、交互界面生成方法、装置及电子设备 | |
CN106161939A (zh) | 一种照片拍摄方法及终端 | |
CN109327737A (zh) | 电视节目推荐方法、终端、系统及存储介质 | |
CN111643900A (zh) | 一种展示画面控制方法、装置、电子设备和存储介质 | |
CN111368127B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN108681390A (zh) | 信息交互方法和装置、存储介质及电子装置 | |
CN109670385A (zh) | 一种应用程序中表情更新的方法及装置 | |
CN114007099A (zh) | 一种视频处理方法、装置和用于视频处理的装置 | |
CN108961375A (zh) | 一种根据二维图像生成三维图像的方法及装置 | |
CN115187757A (zh) | 基于真实形象改变虚拟形象的图像处理方法及相关产品 | |
CN113689530A (zh) | 一种驱动数字人的方法、装置及电子设备 | |
CN113608978B (zh) | 测试方法、装置及计算机可读存储介质 | |
CN113457173B (zh) | 远程教学方法、装置、计算机设备及存储介质 | |
CN112488650A (zh) | 会议气氛调节方法、电子设备及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |