CN110956580B - 图像换脸的方法、装置、计算机设备以及存储介质 - Google Patents
图像换脸的方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN110956580B CN110956580B CN201911193839.0A CN201911193839A CN110956580B CN 110956580 B CN110956580 B CN 110956580B CN 201911193839 A CN201911193839 A CN 201911193839A CN 110956580 B CN110956580 B CN 110956580B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- person
- face image
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000009471 action Effects 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 26
- 210000000744 eyelid Anatomy 0.000 claims description 16
- 210000000887 face Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 8
- 210000001508 eye Anatomy 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像换脸的方法、装置、计算机设备以及存储介质，属于计算机技术领域。所述方法包括：获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息；如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像；基于所述待使用的面部图像，对所述目标直播图像和所述目标直播图像之后的直播图像进行换脸处理。通过本申请可以提高触发换脸处理的操作灵活性。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种图像换脸的方法、装置、计算机设备以及存储介质。
背景技术
现今在直播行业中，主播利用人物换脸进行直播已经十分常见，主播一般通过换脸的方式进行直播来营造直播效果，使观众获得更好的观感。
在主播想要进行换脸时，可以通过点击屏幕上的换脸控件开启换脸功能，并可以手动选择已有的换脸素材，当主播不想进行换脸时，可以通过再次点击屏幕上的换脸控件关闭换脸功能。
在实现本申请的过程中，发明人发现现有技术至少存在以下问题：
现有技术的换脸方法过于单一，只可以通过点击相应的换脸素材调整换脸效果，触发换脸处理的操作灵活性较差。
发明内容
本申请实施例提供了一种图像换脸的方法、装置、计算机设备以及存储介质,能够解决现有技术的换脸方法过于单调的问题。所述技术方案如下：
一方面，提供了一种图像换脸方法，所述方法包括：
获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息；
如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像；
基于所述待使用的面部图像，对所述目标直播图像和所述目标直播图像之后的直播图像进行换脸处理。
可选的，所述预设的人物生理特征点包括面部特征点和/或肢体特征点。
可选的，所述如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，包括：
如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像。
可选的，所述如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，包括：
如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
可选的，所述获取待使用的面部图像，包括：
基于轮询方式，在面部图像集合中，选取待使用的面部图像。
可选的，所述待使用的面部图像包括多个属于相同面部的面部图像，且多个面部图像对应有不同的眼睛开度，其中，所述眼睛开度为上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值，所述基于所述待使用的面部图像，对所述目标直播图像和所述目标直播图像之后的直播图像进行换脸处理，包括：
从所述目标直播图像开始，每获取到一个拍摄的直播图像，确定当前获取的直播图像的眼睛开度，在所述待使用的面部图像中，获取眼睛开度与当前获取的直播图像的眼睛开度相同的目标面部图像，基于所述目标面部图像，对当前获取的直播图像进行换脸处理。
另一方面，提供了一种图像处理装置，所述装置包括：
检测模块，用于获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息；
获取模块，用于如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像；
换脸模块，用于基于所述待使用的面部图像，对所述目标直播图像和所述目标直播图像之后的直播图像进行换脸处理。
可选的，所述预设的人物生理特征点包括面部特征点和/或肢体特征点。
可选的，所述获取模块，用于：
如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像。
可选的，所述获取模块，用于：
如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
可选的，所述获取模块，用于：
基于轮询方式，在面部图像集合中，选取待使用的面部图像。
可选的，所述待使用的面部图像包括多个属于相同面部的面部图像，且多个面部图像对应有不同的眼睛开度，其中，所述眼睛开度为上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值，所述换脸模块，用于：
从所述目标直播图像开始，每获取到一个拍摄的直播图像，确定当前获取的直播图像的眼睛开度，在所述待使用的面部图像中，获取眼睛开度与当前获取的直播图像的眼睛开度相同的目标面部图像，基于所述目标面部图像，对当前获取的直播图像进行换脸处理。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的图像换脸的方法所执行的操作。
还一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的图像换脸的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
通过获取到的人物生理特征点，检测人物是否满足预设的动作条件，若满足则进行换脸操作，这样，主播只要在摄像头前做某个指定的动作，就可以触发换脸处理，从而，可以提高触发换脸处理的操作灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像换脸方法流程图；
图2是本申请实施例提供的人物的面部特征点示意图；
图3是本申请实施例提供的人物的肢体特征点示意图；
图4是本申请实施例提供的人物的肢体特征点与面部特征点交互示意图；
图5是本申请实施例提供的人物偏转时的面部特征点示意图；
图6是本申请实施例提供的一种图像换脸装置结构示意图；
图7是本申请实施例提供的一种图像换脸终端结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种图像换脸的方法，该方法可以由终端实现。终端可以具有屏幕，同时终端可以具有处理图像的功能，还可以具有联网的功能，终端可以是手机、台式电脑、平板电脑、笔记本电脑等。终端中可以安装有应用程序，如直播应用程序，该直播应用程序可以具有播放图像的功能、播放音频的功能、图像换脸的功能。
终端安装有直播应用程序，主播可以通过点击该应用程序中的开始直播控件进行直播，在点击该控件后该应用程序会获取摄像头的使用权限，并开始录制主播的人物图像，在得到主播的人物图像后，该应用程序可以对该人物图像进行美颜处理，提升人物图像的观感，在经过美颜处理后主播的终端将经美颜处理后的人物图像发送给服务器，服务器将该人物图像发送给观众的终端。本申请实施例中以终端使用直播应用程序将直播中的人物的脸换成目标面部图像为例，其他情况与之类似，不再赘述。
在主播使用直播应用程序进行换脸时，主播点击开始直播的控件，终端获取使用摄像头的权限并录制主播的图像，在直播过程中主播可以点击换脸控件进行换脸，终端检测到换脸的控件被触发，则将录制的主播的图像输入到相应的换脸算法中，得到换脸后的图像，终端对换脸后的图像进行美颜等操作后将最终的数据传输到服务器，服务器将该数据发送向观众的终端。本申请实施例中提供的图像换脸的方法，可以通过检测人物的肢体动作进行换脸。
图1是本申请实施例提供的一种图像换脸方法的流程图。参见图1，该流程包括：
步骤101、获取目标直播图像，检测目标直播图像中多个预设的人物生理特征点的位置信息。
其中，人物生理特征点是用来描绘人体特征的虚拟点，其可以是主要分布在人物肢体上各关节的人物的肢体特征点，以及分布在面部五官和面部轮廓上的人物的面部特征点，其在计算机内是以位置信息的方式进行存储的，位置信息可以是二维坐标。
在实施中，主播开启直播，在直播应用程序的后台会一直运行直播图像获取机制，该机制可以设置获取的频率，例如，设置为每秒24次。在获取到直播图像后，检测直播图像中人物生理特征点，上述人物生理特征点可以通过以下几种检测方式获得：
第一方式，通过人脸检测模型检测人物的面部特征点。
其中，人脸检测模型是一个机器学习模型。
在获取到上述直播图像后，将直播图像输入人脸检测模型，人脸检测模型检测直播图像，得到上述直播图像中人脸外围轮廓以及内眼角、外眼角、上眼皮、下眼皮、嘴角、鼻尖等部位的特征点，该特征点共有106个，如图2所示，记录上述所有特征点的位置信息，该位置信息可以是特征点的二维坐标。
第二方式，通过肢体检测模型检测人物的肢体特征点。
其中，肢体检测模型是一个机器学习模型。
在获取到上述直播图像后，将直播图像输入肢体检测模型，肢体检测模型检测直播图像，得到图像中出现的人物的肢体特征点，例如，左手特征点、右手特征点，该肢体特征点共有25个，如图3所示，记录得到的肢体特征点的位置信息，该位置信息可以是特征点的二维坐标，该肢体检测模型检测出的特征点可以是上述25个肢体特征点中的某几个。
第三方式，通过人脸检测模型检测人物的面部特征点，并通过肢体检测模型检测人物的肢体特征点。其中，人脸检测模型是一个机器学习模型，肢体检测模型是一个机器学习模型。
在获取到上述直播图像后，将直播图像输入人脸检测模型以及肢体检测模型中，人脸检测模型检测直播图像，得到上述直播图像中人脸外围轮廓以及内眼角、外眼角、上眼皮、下眼皮、嘴角、鼻尖等部位的特征点，该特征点共计106个生理特征点，记录上述所有特征点的位置信息，该位置信息可以是特征点的二维坐标。肢体检测模型检测直播图像，得到图像中出现的人物的肢体特征点，例如，左手特征点、右手特征点、左手中指特征点、右手中指特征点，该肢体特征点共有25个，记录得到的肢体特征点的位置信息，该位置信息可以是特征点的二维坐标。
步骤102、如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像。
在实施中，基于上述步骤获得的特征点的位置信息，可以通过以下几种方式判断人物动作是否满足预设的动作条件：
第一方式，如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
在得到上述人物的面部特征点的位置信息后，即得到上述人物的面部特征点的二维坐标后，基于人物的面部特征点的二维坐标中面部轮廓特征点的二维坐标确定一个面部区域范围，然后通过肢体检测模型检测人物的手部特征点，如图4所示，该手部特征点每只手有两个，分别是左手特征点、右手特征点、左手中指特征点、右手中指特征点，即总共有四个手部特征点，如果检测到人物的任意一个手部特征点或者两个手部特征点都出现在直播图像上，则判断上述出现在直播图像上的手部特征点中是否有一个的二维坐标在上述的面部区域范围内，如果有一个或者两个手部特征点在该面部区域范围，则选取待使用的面部图像，如果检测到的手部特征点中任意一个的二维坐标都不在上述面部区域范围内，或者直播图像中没有出现手部特征点，则不选取待使用的面部图像。
第二方式，如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像，如图5所示，该预设角度阈值可以是偏转角度阈值或者是倾斜角度阈值。可以进行以下几种处理：
第一种，基于上述人物的面部特征点的位置信息，即基于经上述步骤得到的面部特征点的二维坐标，将该二维坐标输入到人物面部三维重建算法中，人物面部三维重建算法建立一个平均形状的数学模型和一个三维向量集，然后建立特征点的二维坐标与三维坐标的对应关系，再对上述三维向量集进行多次迭代，最终得到该直播图像中人物面部的三维图像，以用户正对屏幕时偏转角度为0，检测直播图像中人物面部偏转角度，当检测到人物面部偏转角度大于偏转角度阈值时，获取待使用的面部图像。例如，检测到人物面部偏转角度大于30度，则选取待使用的面部图像。
第二种，基于上述人物的面部特征点的位置信息，即基于经上述步骤得到的面部特征点的二维坐标，将该二维坐标输入到偏转角度计算算法中，偏转角度计算算法根据输入的各特征点的二维坐标之间的距离，计算出其相对于正对屏幕时的偏转角度，将计算出的偏转角度与偏转角度阈值进行比较，判断是否超过该偏转角度阈值，如果超过该偏转角度阈值，则选取待使用的面部图像。
上述第二种处理还可以将偏转角度计算算法换成偏转角度计算学习模型进行偏转角度的计算。
第三方式，如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部倾斜角度大于预设角度阈值，则获取待使用的面部图像。
其中，倾斜角度是指基于鼻梁、鼻尖部位的几个特征点连接成的直线与竖直方向所成的角度。
在得到面部特征点的位置信息后，即得到经上述步骤得到的面部特征点的二维坐标后，将鼻梁以及鼻尖部位的特征点的二维坐标输入倾斜角度计算算法中，倾斜角度计算算法基于上述输入的二维坐标计算出人物的倾斜角度，将计算出的倾斜角度与倾斜角度阈值进行比较，判断是否超过该偏转角度阈值，如果超过该偏转角度阈值，则选取待使用的面部图像。
步骤103、基于待使用的面部图像，对目标直播图像和目标直播图像之后的直播图像进行换脸处理。
在实施中，基于获取的人物的面部特征点，以及待使用的面部图像上的面部特征点进行换脸，得到换脸后的直播图像，其处理可以有以下几种方式：
第一方式，根据预设的换脸顺序，确定待使用的面部图像。在得到待使用的面部图像后，可以将待使用的面部图像的面部特征点的位置信息以及经上述人脸检测模型得到的面部特征点的位置信息输入换脸算法中，换脸算法根据待使用的面部图像中的特征点与人脸检测模型得到的面部特征点的对应关系进行运算，得到换脸后的直播图像，换脸后的直播图像中人脸部分显示的是上述待使用的面部图像经变换处理后的图像，该变换处理是将待使用的面部图像的边缘进行处理使其能与目标直播图像的边缘相同。
第二方式，在确定待使用的面部图像后，还可以通过检测直播图像中人物的面部特征点中眼睛部位的特定两个生理特征点之间的距离来计算眼睛开度，例如，上述眼睛开度可以是通过上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值来计算，在得到直播图像中眼睛的开度后，可以查找该待使用的面部图像中，即多个属于相同面部的面部图像中与上述眼睛开度相同的面部图像作为目标面部图像，还可以通过上述方法计算两只眼睛的开度，再选择与两个眼睛开度相同的目标面部图像，在选择完成后将目标面部图像作为最终选定的面部图像。
然后，在得到最终选定的面部图像后，将目标面部图像的面部特征点的位置信息以及经上述人脸检测模型得到的面部特征点的位置信息输入换脸算法中，换脸算法根据目标面部图像中的特征点与人脸检测模型得到的面部特征点的对应关系进行运算，得到换脸后的直播图像。换脸后的直播图像中人脸部分显示的是上述待使用的面部图像经变换处理后的图像，该变换处理是将待使用的面部图像的边缘进行处理使其能与目标直播图像的边缘相同。
在上述换脸完成后，用户在观看主播的直播时，会看到主播的脸被换成目标面部图像，同时还可以看到主播眨眼，如果主播做出与预设动作，则用户就可以看到主播的脸被换成另一张目标面部图像。通过获取到的人物生理特征点，检测人物是否满足预设的动作条件，若满足则进行换脸操作，这样，主播只要在摄像头前做某个指定的动作，就可以触发换脸处理，从而，可以提高触发换脸处理的操作灵活性。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，且上述步骤在每获取到一个新的直播图像时就会进行一次，在此不再一一赘述。
图6是本申请实施例提供的一种图像换脸装置的示意图。上述装置可以是终端，参见图6，该流程包括：
检测模块610，用于获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息。
获取模块620，用于如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像。
换脸模块630，用于基于所述待使用的面部图像，对所述目标直播图像和所述目标直播图像之后的直播图像进行换脸处理。
可选的，所述预设的人物生理特征点包括面部特征点和/或肢体特征点。
可选的，所述获取模块620，用于：
如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像。
可选的，所述获取模块620，用于：
如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
可选的，所述获取模块620，用于：
基于轮询方式，在面部图像集合中，选取待使用的面部图像。
可选的，所述待使用的面部图像包括多个属于相同面部的面部图像，且多个面部图像对应有不同的眼睛开度，其中，所述眼睛开度为上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值，所述换脸模块630，用于：
从所述目标直播图像开始，每获取到一个拍摄的直播图像，确定当前获取的直播图像的眼睛开度，在所述待使用的面部图像中，获取眼睛开度与当前获取的直播图像的眼睛开度相同的目标面部图像，基于所述目标面部图像，对当前获取的直播图像进行换脸处理。
通过获取到的人物生理特征点，检测人物是否满足预设的动作条件，若满足则进行换脸操作，这样，主播只要在摄像头前做某个指定的动作，就可以触发换脸处理，从而，可以提高触发换脸处理的操作灵活性。
需要说明的是：上述实施例提供的图像换脸的装置在进行换脸时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像换脸的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7示出了本申请一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的图像换脸方法。
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中图像换脸方法。例如，所述计算机可读存储介质可以是只读存储器(Read-only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
需要说明的是，本公开所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号(包括但不限于用户终端与其他设备之间传输的信号等)，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的“主播的人物图像”、“目标直播图像”、“目标直播图像之后的直播图像”、“待使用的面部图像”等都是在充分授权的情况下获取的。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像换脸的方法，其特征在于，所述方法包括：
获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息；
如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，其中，所述待使用的面部图像包括多个属于相同面部的面部图像，且多个面部图像对应有不同的眼睛开度，所述眼睛开度为上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值；
从所述目标直播图像开始，每获取到一个拍摄的直播图像，确定当前获取的直播图像的眼睛开度，在所述待使用的面部图像中，获取眼睛开度与当前获取的直播图像的眼睛开度相同的目标面部图像，基于所述目标面部图像，对所述当前获取的直播图像进行换脸处理。
2.根据权利要求1所述的方法，其特征在于，所述预设的人物生理特征点包括面部特征点和/或肢体特征点。
3.根据权利要求1所述的方法，其特征在于，所述如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，包括：
如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像。
4.根据权利要求1所述的方法，其特征在于，所述如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，包括：
如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
5.根据权利要求1所述的方法，其特征在于，所述获取待使用的面部图像，包括：
基于轮询方式，在面部图像集合中，选取待使用的面部图像。
6.一种图像换脸的装置，其特征在于，所述装置包括：
检测模块，用于获取目标直播图像，检测所述目标直播图像中多个预设的人物生理特征点的位置信息；
获取模块，用于如果基于检测到的各人物生理特征点的位置信息确定对应的人物满足预设的动作条件，则获取待使用的面部图像，其中，所述待使用的面部图像包括多个属于相同面部的面部图像，且多个面部图像对应有不同的眼睛开度，所述眼睛开度为上眼皮中间点和下眼皮中间点之间的实际距离与最大距离的比值；
从所述目标直播图像开始，每获取到一个拍摄的直播图像，确定当前获取的直播图像的眼睛开度，在所述待使用的面部图像中，获取眼睛开度与当前获取的直播图像的眼睛开度相同的目标面部图像，基于所述目标面部图像，对所述当前获取的直播图像进行换脸处理。
7.根据权利要求6所述的装置，其特征在于，所述预设的人物生理特征点包括面部特征点和/或肢体特征点。
8.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：
如果基于检测到的各人物生理特征点的位置信息确定对应的人物面部偏转角度大于预设角度阈值，则获取待使用的面部图像。
9.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：
如果各人物生理特征点中的至少一个手部特征点在基于面部轮廓特征点确定的面部区域范围内，则获取待使用的面部图像。
10.根据权利要求6所述的装置，其特征在于，所述获取模块，用于：
基于轮询方式，在面部图像集合中，选取待使用的面部图像。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求5任一项所述的图像换脸方法所执行的操作。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的图像换脸方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911193839.0A CN110956580B (zh) | 2019-11-28 | 2019-11-28 | 图像换脸的方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911193839.0A CN110956580B (zh) | 2019-11-28 | 2019-11-28 | 图像换脸的方法、装置、计算机设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110956580A CN110956580A (zh) | 2020-04-03 |
| CN110956580B true CN110956580B (zh) | 2024-04-16 |
Family
ID=69978875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911193839.0A Active CN110956580B (zh) | 2019-11-28 | 2019-11-28 | 图像换脸的方法、装置、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956580B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640058B (zh) * | 2020-06-03 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种图像融合处理方法及装置 |
| CN111783644B (zh) * | 2020-06-30 | 2023-07-14 | 百度在线网络技术（北京）有限公司 | 检测方法、装置、设备和计算机存储介质 |
| CN112330529A (zh) * | 2020-11-03 | 2021-02-05 | 上海镱可思多媒体科技有限公司 | 基于Dlid的人脸老化方法、系统以及终端 |
| CN114004922B (zh) * | 2021-10-29 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 骨骼动画显示方法、装置、设备、介质及计算机程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017185208A1 (zh) * | 2016-04-25 | 2017-11-02 | 深圳前海达闼云端智能科技有限公司 | 一种机器人三维模型的建立方法、装置及电子设备 |
| CN108040290A (zh) * | 2017-12-22 | 2018-05-15 | 四川长虹电器股份有限公司 | 基于ar技术的电视节目实时换脸方法 |
| CN109145742A (zh) * | 2018-07-19 | 2019-01-04 | 银河水滴科技（北京）有限公司 | 一种行人识别方法及系统 |
| CN109345447A (zh) * | 2018-09-20 | 2019-02-15 | 广州酷狗计算机科技有限公司 | 面部替换处理的方法和装置 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110427110A (zh) * | 2019-08-01 | 2019-11-08 | 广州华多网络科技有限公司 | 一种直播方法、装置以及直播服务器 |
-
2019
- 2019-11-28 CN CN201911193839.0A patent/CN110956580B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017185208A1 (zh) * | 2016-04-25 | 2017-11-02 | 深圳前海达闼云端智能科技有限公司 | 一种机器人三维模型的建立方法、装置及电子设备 |
| CN108040290A (zh) * | 2017-12-22 | 2018-05-15 | 四川长虹电器股份有限公司 | 基于ar技术的电视节目实时换脸方法 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109145742A (zh) * | 2018-07-19 | 2019-01-04 | 银河水滴科技（北京）有限公司 | 一种行人识别方法及系统 |
| CN109345447A (zh) * | 2018-09-20 | 2019-02-15 | 广州酷狗计算机科技有限公司 | 面部替换处理的方法和装置 |
| CN110427110A (zh) * | 2019-08-01 | 2019-11-08 | 广州华多网络科技有限公司 | 一种直播方法、装置以及直播服务器 |
Non-Patent Citations (1)
| Title |
|---|
| AR开发技术点探索.电脑知识与技术(经验技巧).2018,(第7期),第97-100页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110956580A (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110956580B (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
| CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
| CN110263617B (zh) | 三维人脸模型获取方法及装置 | |
| CN111028144B (zh) | 视频换脸方法及装置、存储介质 | |
| CN111445901B (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
| CN109947338B (zh) | 图像切换显示方法、装置、电子设备及存储介质 | |
| CN108363982B (zh) | 确定对象数量的方法及装置 | |
| CN113763228B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112337105B (zh) | 虚拟形象生成方法、装置、终端及存储介质 | |
| CN111723803B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110796083B (zh) | 图像显示方法、装置、终端及存储介质 | |
| CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN112565806B (zh) | 虚拟礼物赠送方法、装置、计算机设备及介质 | |
| CN110837300B (zh) | 虚拟交互的方法、装置、电子设备及存储介质 | |
| CN110152309B (zh) | 语音通信方法、装置、电子设备及存储介质 | |
| CN112860046B (zh) | 选择运行模式的方法、装置、电子设备及介质 | |
| CN110891181B (zh) | 直播画面显示方法、装置、存储介质及终端 | |
| CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
| CN113592874B (zh) | 图像显示方法、装置和计算机设备 | |
| CN111325083B (zh) | 记录考勤信息的方法和装置 | |
| CN114153361B (zh) | 界面显示方法、装置、终端及存储介质 | |
| CN110942426B (zh) | 图像处理的方法、装置、计算机设备和存储介质 | |
| CN112399080A (zh) | 视频处理方法、装置、终端及计算机可读存储介质 | |
| CN112052806A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210120 Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 511446 28th floor, block B1, Wanda Plaza, Wanbo business district, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200403 Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Contract record no.: X2021440000054 Denomination of invention: Image face changing method, device, computer device and storage medium License type: Common License Record date: 20210208 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |