CN110298229A - 视频图像处理方法及装置 - Google Patents

Abstract

本公开实施例涉及图像处理技术领域，提供一种视频图像处理方法及装置，其中，方法包括：基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，第一视频文件用于编辑处理，第二视频文件用于素材取样；对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像；特征提取步骤，对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征；对第一人脸特征、第二人脸特征进行特征映射；基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。本公开实施例提高了合成视频的图像清晰度。

Description

视频图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像处理方法及装置。

背景技术

随着科学技术的不断发展和进步，图像处理技术也在当今社会公共安全防范、刑侦、技侦、网络安全、金融安全、生活娱乐等诸多领域将发挥着独有的不可替代的作用。

相关技术中，对待编辑视频的画面行局部替换，采用贴图覆盖的形式来实现。然而，前述的待编辑视频为连续的动态图像，图像的清晰度不同于贴图覆盖的图像，并且视频图像存在角度变化，造成合成后的视频的清晰度较低。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种视频图像处理方案。

根据本发明实施例的其中一方面，提供一视频图像处理方法，方法包括：。

在一例中，视频文件审核步骤，基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，第一视频文件用于编辑处理，第二视频文件用于素材取样；

人脸检测步骤，对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像；

特征提取步骤，对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征；

特征映射步骤，对第一人脸特征、第二人脸特征进行特征映射；

特征替换步骤，基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。

在一例中，在视频文件审核步骤中，

第一视频文件的清晰度小于或者等于第二视频文件的清晰度，审核结果为通过；

第一视频文件的清晰度大于第二视频文件的清晰度，审核结果为未通过。

在一例中，方法还包括：

视频拆解步骤，对第一视频文件、第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；

人脸检测步骤中，对第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；

特征提取步骤中，基于第一人脸特征关键点坐标对第一图像帧进行特征提取，得到第一人脸图像特征，基于第二人脸特征关键点坐标对第二图像帧进行特征提取，得到第二人脸图像特征。

在一例中，人脸检测步骤，包括：

图像检测步骤，对第一图像帧、第二图像帧进行人脸定位，获得人脸检测框；

关键点定位步骤，基于人脸检测框，对第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对第二图像帧进行关键点定位，得到多个第二人脸特征关键点。

在一例中，方法还包括：

特征角度计算步骤，基于第一人脸特征关键点坐标计算第一人脸图像特征的角度，基于第二人脸特征关键点坐标计算第二人脸图像特征的角度；

图像大小信息获取步骤，基于人脸检测框的尺寸获取第一人脸图像特征的大小信息、第二图像特征的大小信息，其中，人脸检测框的尺寸包括人脸检测框的长度和/或宽度。

在一例中，方法还包括：

置信度获取步骤，基于第一图像帧、第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，第一置信度为第一特人脸征关键点坐标的置信度、第二置信度为第二人脸特征关键点坐标的置信度；

特征修正步骤，基于第一置信度对第一人脸特征关键点坐标进行修正，基于第二置信度对第二人脸特征关键点坐标进行修正。

在一例中，特征提取步骤包括：

图像选取步骤，基于第一人脸图像特征的角度和/或第一人脸图像特征的大小信息和/或第一置信度，从多个第一图像帧中选取至少一个用于特征提取；基于第二人脸图像特征的角度和/或第二人脸图像特征的大小信息和/或第二置信度，从多个第二图像帧中选取至少一个用于特征提取。

在一例中，方法还包括：

颜色值计算步骤，计算第一图像帧的人脸检测框内的颜色值，得到第一颜色值；

颜色值修正步骤，基于第一颜色值，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。

在一例中，特征替换步骤，基于特征替换第一人脸图像与第二颜色值，用第二人脸图像特征对第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

根据本发明实施例的另一方面，提供一种视频图像处理装置，其中，包括：

视频文件接收单元，用于接收第一视频文件、第二视频文件，所述第一视频文件用于编辑处理，所述第二视频文件用于素材取样；

视频文件审核单元，用于基于视频清晰度对所述第一视频文件以及所述第二视频文件进行审核，获得审核结果；

人脸检测单元，用于对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像；

特征提取单元，用于对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征；

特征映射单元，用于对第一人脸特征、第二人脸特征进行特征映射；

特征替换单元，用于基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。

在一例中，第一视频文件的清晰度小于或者等于第二视频文件的清晰度，审核结果为通过；

第一视频文件的清晰度大于第二视频文件的清晰度，审核结果为未通过。

在一例中，装置还包括：

视频拆解单元，用于对第一视频文件、第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；

人脸检测单元，具体用于对第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；

特征提取单元，具体用于基于第一人脸特征关键点坐标对第一图像帧进行特征提取，得到第一人脸图像特征，基于第二人脸特征关键点坐标对第二图像帧进行特征提取，得到第二人脸图像特征。

在一例中，人脸检测单元，包括：

图像检测模块，用于对第一图像帧、第二图像帧进行人脸定位，获得人脸检测框；

关键点定位模块，用于基于人脸检测框，对第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对第二图像帧进行关键点定位，得到多个第二人脸特征关键点。

在一例中，装置还包括：

特征角度计算单元，用于基于第一人脸特征关键点坐标计算第一人脸图像特征的角度，基于第二人脸特征关键点坐标计算第二人脸图像特征的角度；

图像大小信息获取单元，用于基于人脸检测框的尺寸获取第一人脸图像特征的大小信息、第二图像特征的大小信息，其中，人脸检测框的尺寸包括人脸检测框的长度和/或宽度。

在一例中，装置还包括：

置信度获取单元，用于基于第一图像帧、第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，第一置信度为第一特人脸征关键点坐标的置信度、第二置信度为第二人脸特征关键点坐标的置信度；

特征修正单元，用于基于第一置信度对第一人脸特征关键点坐标进行修正，基于第二置信度对第二人脸特征关键点坐标进行修正。

在一例中，特征提取单元，包括：

图像选取模块，用于基于第一人脸图像特征的角度和/或第一人脸图像特征的大小信息和/或第一置信度，从多个第一图像帧中选取至少一个用于特征提取；基于第二人脸图像特征的角度和/或第二人脸图像特征的大小信息和/或第二置信度，从多个第二图像帧中选取至少一个用于特征提取。

在一例中，装置还包括：

颜色值计算单元，用于计算第一图像帧的人脸检测框内的颜色值，得到第一颜色值；

颜色值修正单元，用于基于第一颜色值，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。

在一例中，特征替换单元，具体用于基于特征替换第一人脸图像与第二颜色值，用第二人脸图像特征对第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

根据本发明实施例的另一方面，提供一种电子设备，其中，包括：

存储器，用于存储计算机程序；

处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现上述任一实施例的视频图像处理方法。

根据本发明实施例的另一方面，提供一种计算机可读存储介质，存储有计算机程序，其中，计算机程序被处理器执行时，实现上述任一实施例的视频图像处理方法。

基于本发明的视频图像处理方法、装置、电子设备、计算机可读存储介质，通过基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，第一视频文件用于编辑处理，第二视频文件用于素材取样；对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像；对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征；对第一人脸特征、第二人脸特征进行特征映射；基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像，可有效提高合成视频的图像清晰度。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明的视频图像处理方法一个实施例的流程示意图；

图2示出了本发明的视频图像处理方法另一实施例的流程示意图；

图3示出了本发明的视频图像处理方法另一实施例的流程示意图；

图4示出了本发明的视频图像处理方法另一实施例的流程示意图；

图5示出了本发明的视频图像处理方法另一实施例的流程示意图；

图6示出了本发明的视频图像处理方法另一实施例的流程示意图；

图7示出了本发明的视频图像处理方法另一实施例的流程示意图；

图8示出了本发明的视频图像处理装置的一个实施例的结构示意图；

图9示出了本发明的视频图像处理装置另一实施例的结构示意图；

图10示出了本发明的视频图像处理装置另一实施例的结构示意图；

图11示出了本发明的视频图像处理装置另一实施例的结构示意图；

图12示出了本发明的视频图像处理装置另一实施例的结构示意图；

图13示出了本发明的视频图像处理装置另一实施例的结构示意图；

图14示出了本发明的视频图像处理装置另一实施例的结构示意图；

图15示出了本发明的电子设备的一个实施例的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

本发明实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1为本发明视频图像处理方法一个实施例的流程图。如图1所示，该实施例方法包括：视频文件审核步骤100、人脸检测步骤200、特征提取步骤300、特征映射步骤400以及特征替换步骤500。下面对图1中的各步骤进行详细说明。

视频文件审核步骤100，基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，第一视频文件用于编辑处理，第二视频文件用于素材取样。

在一些实施例中，视频的清晰度是指画面十分细腻，没有马赛克。并不是分辨率越高图像就越清晰。在码率一定的情况下，分辨率与清晰度成反比关系：分辨率越高，图像越不清晰，分辨率越低，图像越清晰。在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。其中，视频码率是数据传输时单位时间传送的数据位数，一般我们用的单位是kbps即千位每秒，即取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。上述的数据传输为像素传输。分辨率是图像的精密度，是指单位面积上所能显示的像素有多少。由于点、线和面都是由像素组成的，可显示的像素越多，画面就越精细，同样的区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线交叉点的数目。显示分辨率一定的情况下，显示屏越小图像越清晰，反之，显示屏大小固定时，分辨率越高图像越清晰。

本实施例中，为了保障编辑处理后的第一视频文件的清晰度，其取样视频，即第二视频文件的清晰度不低于第一视频文件的清晰度。第一视频文件的清晰度小于或者等于第二视频文件的清晰度时，审核结果为通过，可以用一个或者多个第二视频文件进行素材取样。第一视频文件的清晰度大于第二视频文件的清晰度，审核结果为未通过。若采用清晰度低于第一视频文件的第二视频文件进行素材取样，会造成编辑处理后的第一视频文件产生与原第一视频文件分辨率不一致的现象产生，造成编辑处理后的第一视频文件局部不清晰。若第一视频文件的清晰度高于第二视频文件的清晰度，就可能会造成编辑处理后的第一视频文件中局部与第二视频文件的清晰度一致，不同于其他部分的编辑处理后的第一视频文件的清晰度。

本实施例通过对用于素材取样的第二视频文件的清晰度与第一视频文件的清晰度进行筛选审核，保障了素材取样的清晰度能够与第一视频文件匹配，避免编辑处理后的第一视频文件产生清晰度不一致的现象，造成编辑处理后的第一视频文件模糊。

在一些实施例中，还可以对第一视频文件、第二视频文件的视频格式进行审核，若第一视频文件、第二视频文件的格式一致且第一视频文件的清晰度不高于第二视频文件的清晰度，则可以采用第二视频文件进行素材取样对第一视频文件进行编辑处理。若第一视频文件、第二视频文件的视频格式不一样，还需调用视频转换器对不同于第一视频文件视频格式的第二视频文件进行格式转换，避免不同格式的视频文件之间产生不可融合的现象产生。

在一些实施例中，可以通过AI智能识别对第一视频文件以及第二视频文件进行审核，审核的项目包括视频清晰度、视频格式、视频时长等。人工智能(ArtificialIntelligence，AI)是一门研究模拟人类智能，实现机器智能的一门科学，研究人员希望机器人不止能够做一些繁重繁琐的工业任务或者数理计算，而是希望机器人能够有独立思考的能力，也就是有自我。通过图像识别，动作识别，逻辑判断，自然语言的处理和反馈以及深层次的数学以及理论思考来体现人工智能的意义。现阶段并不能真正的制造出有自我思考能力的机器人，但是已经有了初步的探索，比如神经网络的提出和发展。

人脸检测步骤200，对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像。

本实施例中，对审核结果为通过的第一视频文件、第二视频文件进行人脸检测，分别获取人脸图像。本实施例首先对第一视频文件、第二视频文件中是否存在人脸进行判断。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。通过人脸检测，可以排除第一视频文件、第二视频文件中不包括人脸图像的视频，从而避免对不包括人脸图像的部分第一视频文件、部分第二视频文件进行处理，可降低视频图像处理的计算量，节约资源。在一些实施例中，可以采用dlib中的人脸识别库来能定位人脸。dlib是一个现代化的C++工具箱，其中包含用于在C++中创建复杂软件以解决实际问题的机器学习算法和工具。它广泛应用于工业界和学术界，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。

特征提取步骤300，对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征。

本实施例中，从第一视频文件中提取出的第一人脸图像、从第二视频文件中提取出的第二人脸图像均包括多个，但是不同的人脸图像中人脸的角度、在人脸图像中的位置存在一定的差异。为保障能够挑选出基于人脸最有效的特征达到降低特征空间维数，降低图像计算量，本实施例对第一人脸图像、第二人脸图像进行特征提取，提高了人脸图像处理的效率。在一些实施例中，可以通过训练卷积神经网络形成人脸特征提取网络，使第一人脸图像特征、第二人脸图像特征通过人脸特征提取网络自动提取，降低人工标注人脸特征进行人脸特征提取的人力物力投入，节约资源。

本实施例通过特征提取可将第一视频文件、第二视频文件中的人脸图像通过特征进行表示，提取的人脸特征可以自由变换用于第一人脸图像中，避免替换第一视频文件中的整个第一人脸图像，造成编辑处理后的第一视频文件中的人脸不清晰的现象产生。

特征映射步骤400，对第一人脸特征、第二人脸特征进行特征映射。

本实施例中，特征映射可以理解为在第一人脸图像中的第一人脸特征与第二人脸图像中的第二人脸特征为相同类型的人脸特征，例如眉、耳、眼、口、鼻，但是第一人脸特征与第二人脸特征分别位于不同的人脸图像中，第一人脸特征与第二人脸特征之间的关系可以认为是特征映射。

本实施例通过对第一人脸特征、第二人脸特征进行特征映射，可以提高对第一人脸特征与第二人脸特征的一一对应的准确度，保障第一人脸特征进行编辑处理过程中的准确性。

特征替换步骤500，基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。

在特征映射步骤400完成后，用第二视频文件中的第二人脸特征替换第一视频文件中的第一人脸特征，完成第一视频文件中的人脸替换的操作。

本实施例通过对第一视频文件、第二视频文件进行审核，避免了用于素材取样的第二视频文件的清晰度低于第一视频文件的清晰度，人脸检测后进行人脸特征提取，从而通过人脸特征替换实现替换第一视频文件中的第一人脸图像，避免贴图覆盖第一人脸图像造成的第一视频文件的清晰度低的缺陷，为编辑处理后的第一视频文件提供较高清晰度的保障。

图2示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图2所示，本实施例的视频图像处理方法还包括：视频拆解步骤600，对第一视频文件、第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；人脸检测步骤200中，对第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；特征提取步骤300中，基于第一人脸特征关键点坐标对第一图像帧进行特征提取，得到第一人脸图像特征，基于第二人脸特征关键点坐标对第二图像帧进行特征提取，得到第二人脸图像特征。

本实施例通过将第一视频文件拆解为多个第一图像帧，针对每一图像帧中的人脸图像进行编辑处理，可使得每一个包含人脸特征第一图像帧中的人脸特征均被编辑处理，避免以视频格式进行人脸特征处理的过程中部分第一图像帧未被处理，视频文件颤抖造成编辑处理后的视频文件不清晰。

在对第一视频文件、第二视频文件分别拆解成第一图像帧、第二图像帧之后，人脸检测步骤200实现的过程中针对第一图像帧、第二图像帧进行人脸图像检测，并通过特征提取步骤300实现第一人脸图像特征、第二人脸图像特征的提取。其中，在检测到人脸图像之后对第一图像帧、第二图像帧的人脸图像特征进行关键点的标注，具体的标注形式可以是人脸特征关键点的二维坐标。特征提取步骤300中可以根据人脸特征关键点坐标分别提取第一人脸图像特征的人脸特征关键点集合、第二人脸图像特征的人脸特征关键点集合。其中，第一人脸图像特征的人脸特征关键点集合可以包括第一人脸图像中的耳、眉、眼、鼻、口的关键点集合，第二人脸图像特征的人脸特征关键点集合可以包括第二人脸图像中的耳、眉、眼、鼻、口的关键点集合。

本实施例通过对第一视频文件、第二视频文件进行拆解成图像帧，对第一图像帧、第二图像帧中的人脸图像进行人脸特征关键点的提取，使得提取后的第一人脸图像特征、第二人脸图像特征更准确，并且，坐标表示的第一人脸图像特征、第二人脸图像特征更容易被修正，使第二人脸图像特征能够与第一人脸图像特征更匹配。

图3示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图3所示，本实施例的人脸检测步骤200，包括图像检测步骤210、关键点定位步骤220，其中，图像检测步骤210对第一图像帧、第二图像帧进行人脸定位，获得人脸检测框。其中，人脸检测框包括从图像中检测到的人脸图像。例如，可以通过人脸检测算法，对图像进行人脸检测，获得人脸检测框。通过定位人脸后获得的人脸检测框可以缩小人脸特征提取的区域范围，减少计算量，提高人脸特征检测的效率。

关键点定位步骤220，基于人脸检测框，对第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对第二图像帧进行关键点定位，得到多个第二人脸特征关键点。可以通过关键点检测算法，对人脸检测框中的人脸进行关键点定位，获得人脸的关键点坐标。可以采用全连接层基于关键点坐标对人脸图像特征进行提取，提取得到的人脸图像特征更加准确。

为进一步提高人脸图像特征的准确性，可以增加人脸特征关键点的数量，例如“眉”这一特征采用3个关键点，两端各一个以及中间一个，进行定位标注的效果不理想，可以采用5个关键点，两端各一个，两端之间三个，对“眉”这一特征进行关键点定位标注，以达到提高人脸图像特征提取的准确性。

在一些实施例中，关键点定位步骤220之后还可以对连续的第一图像帧、连续的第二图像帧进行关键点跟踪。连续的图像帧中人脸图像特征可能位于不同的位置。通过关键点跟踪，可以避免连续的图像帧中人脸图像特征关键点消失的现象产生。例如，每一条“眉”可以通过五个人脸特征关键点进行标注，在连续的图像帧中，由于人脸角度变换，人脸特征图像中只可以显示出三个人脸特征关键点。此时只通过特征识别的方式无法识别定位出“眉”这一特征。通过关键点跟踪可以使连续的图像帧中人脸特征关键点坐标不丢失，提高了人脸特征提取的准确性。

图4示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图4所示，本实施例的视频图像处理方法还包括：特征角度计算步骤700、图像大小信息获取步骤800，其中，特征角度计算步骤700，基于第一人脸特征关键点坐标计算第一人脸图像特征的角度，基于第二人脸特征关键点坐标计算第二人脸图像特征的角度。

本实施例中人脸图像特征的角度也即人脸角度、头部角度，包括头部归一化球坐标(即：图像采集坐标系)中人脸的偏航角度和俯仰角度，其中，偏航角度用于表示水平方向上人脸侧脸的角度，俯仰角度用于表示竖直方向上人脸低头或仰头的角度。在人脸大小一定的情况下，偏航角度、俯仰角度越小，人脸越正，越易于人脸识别，人脸识别的准确率越高，偏航角度和俯仰角度均为0时，人脸最正，人脸识别的准确率最高。其中，人脸大小也即人脸像素的大小，人脸越大、清晰度越高，越易于人脸识别，人脸识别的准确率越高。

在人脸识别过程中容易产生误识别的情况。误识别率除了和识别算法模型有关之外，和人脸图像的质量也是分不开的。在人脸图像质量较差的情况下，例如侧脸角度过大、人脸像素过小等，人脸识别的准确率通常会明显降低，误识别率较高。在实际场景中，大部分的误识别和漏识别都是因为视频人脸图像的角度不够正造成的。因此，对人脸图像特征的角度计算后对人脸图像特征进行修正有助于提高人脸识别率而且非常重要。

图像大小信息获取步骤800，基于人脸检测框的尺寸获取第一人脸图像特征的大小信息、第二图像特征的大小信息，其中，人脸检测框的尺寸包括人脸检测框的长度和/或宽度。

人脸图像在需要满足清晰度高、人脸大、人脸正等条件时，易于识别。在实际应用场景中，人脸图像的清晰度来源于两个方面的影响：一是摄像头采集的图像本身是模糊不清晰的，二是人脸图像本身太小。由于在进行人脸图像识别前需要先将人脸图像大小统一缩放到标准大小，当小的人脸图像放大到标准大小时，会存在由于像素插值造成的模糊。一般情况下，根据应用场景选择合适的摄像头后，其采集的图像本身是清晰，于是在不考虑摄像头采集图像不清晰的情况下，人脸图像的清晰度和人脸大小是正相关的，人脸越大其清晰度也越高，可以用人脸大小来评价人脸的清晰度。

获取人脸图像的大小信息，可以通过如下方式实现：根据人脸检测框的大小获取人脸的大小信息。其中，人脸检测框的大小包括人脸检测框的长度和/或宽度。

基于特征角度计算步骤700、图像大小信息获取步骤800，通过人脸图像特征的角度确定人脸正面的程度，通过人脸图像的大小信息确定人脸清晰度，从而可以更精确、客观地检测图像中人脸图像的清晰度；另外，本实施例通过获取人脸图像特征的角度及大小信息来反应影响人脸识别结果的人脸清晰度，提高了运算效率。

图5示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图5所示，本实施例的视频图像处理方法还包括：置信度获取步骤900，基于第一图像帧、第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，第一置信度为第一特人脸征关键点坐标的置信度、第二置信度为第二人脸特征关键点坐标的置信度。其中，关键点坐标的置信度用于表示人脸的关键点坐标的准确率，置信度的数值越大，表示人脸图像特征关键点坐标定位得越准确。可以通过一个预先训练好的神经网络实现，该神经网络接收到输入的人脸图像时，便可以通过对该人脸图像进行人脸检测和关键点检测，输出人脸检测框、根据该人脸检测框确定的人脸特征关键点坐标和该人脸特征关键点坐标的置信度，关键点坐标的置信度可以根据预设方式，由该神经网络基于该神经网络的性能和人脸检测框的大小等情况确定，该神经网络的性能越好，人脸检测框的大小较大(即：人脸图像较大、人脸较清晰)时，确定的人脸的关键点坐标的准确率越高。

特征修正步骤1000，基于第一置信度对第一人脸特征关键点坐标进行修正，基于第二置信度对第二人脸特征关键点坐标进行修正。

在人脸图像特征关键点坐标不准确时，由该人脸图像特征关键点坐标获取到的人脸的角度信息也会不准确。为解决上述问题根据该人脸的关键点坐标的置信度的大小对计算获得的人脸角度的分数进行相应修正，从而消除了由于人脸特征关键点坐标不准确造成人脸的角度不准确、以及由此对最终确定人脸图像特征的影响，提升了确定人脸图像质量的结果的准确性和可靠性。

图6示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图6所示，本实施例的特征提取步骤300包括：图像选取步骤310，基于第一人脸图像特征的角度和/或第一人脸图像特征的大小信息和/或第一置信度，从多个第一图像帧中选取至少一个用于特征提取；基于第二人脸图像特征的角度和/或第二人脸图像特征的大小信息和/或第二置信度，从多个第二图像帧中选取至少一个用于特征提取。

本实施例通过在多个第一图像帧、多个第二图像帧中选取用于人脸图像特征提取的第一人脸图像、第二人脸图像，提高了第一人脸图像特征、第二人脸图像特征提取的准确性、可靠性。

图7示出了本发明视频图像处理方法的另一些实施例的流程示意图，如图7所示，本实施例的视频图像处理方法还包括：颜色值计算步骤1100，计算第一图像帧的人脸检测框内的颜色值，得到第一颜色值；颜色值修正步骤1200，基于第一颜色值，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。

本实施例中，第一图像帧的人脸检测框内的颜色值可以是第一人脸图像特征关键点的颜色值以及第一人脸图像特征关键点相邻像素的颜色值。根据第一图像帧的人脸检测框的梯度信息以及第二人脸图像特征的边界信息，利用插值的方法重新构建出合成后的第一图像帧区域内的图像像素。在计算获得第一颜色值之后，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。第一颜色值与第二颜色值的理想状态是二者之间不存在差值，基于现阶段的科学技术还不能实现，可以允许二者之间存在预设阈值范围内的差值，该预设阈值根据计算机性能确定。

在一些实施例中，特征替换步骤500，基于特征替换第一人脸图像与第二颜色值，用第二人脸图像特征对第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

本实施例通过用第二人脸图像特征对第一图像帧进行特征替换，对第二人脸图像特征的颜色值基于第一图像帧的人脸检测框内的颜色值进行修正，仅从局部特征替换达到了全局特征融合，实现无缝融合。使替换后的第一图像帧的清晰度大于或者等于第一图像帧的清晰度。

本发明实施例的第二方面还提供一视频图像处理装置，图8示出了本发明的视频图像处理装置一个实施例的结构示意图，如图8所示，本实施例的视频图像处理装置，包括：视频文件接收单元1，用于接收第一视频文件、第二视频文件，第一视频文件用于编辑处理，第二视频文件用于素材取样。用户只需在本实施例的视频图像处理装置的终端中按照指令上传第一视频文件、第二视频文件即可，其他操作由视频图像处理装置后台运行即可，提高了用户使用的方便性。

视频文件审核单元10，用于基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果。本实施例中，为了保障编辑处理后的第一视频文件的清晰度，其取样视频，即第二视频文件的清晰度不低于第一视频文件的清晰度。第一视频文件的清晰度小于或者等于第二视频文件的清晰度时，审核结果为通过，可以用一个或者多个第二视频文件进行素材取样。第一视频文件的清晰度大于第二视频文件的清晰度，审核结果为未通过。若采用清晰度低于第一视频文件的第二视频文件进行素材取样，会造成编辑处理后的第一视频文件产生与原第一视频文件分辨率不一致的现象产生，造成编辑处理后的第一视频文件局部不清晰。若第一视频文件的清晰度高于第二视频文件的清晰度，就可能会造成编辑处理后的第一视频文件中局部与第二视频文件的清晰度一致，不同于其他部分的编辑处理后的第一视频文件的清晰度。

本实施例通过视频文件审核单元10对用于素材取样的第二视频文件的清晰度与第一视频文件的清晰度进行筛选审核，保障了素材取样的清晰度能够与第一视频文件匹配，避免编辑处理后的第一视频文件产生清晰度不一致的现象，造成编辑处理后的第一视频文件模糊。

在一些实施例中，视频文件审核单元10还可以对第一视频文件、第二视频文件的视频格式进行审核，若第一视频文件、第二视频文件的格式一致且第一视频文件的清晰度不高于第二视频文件的清晰度，则可以采用第二视频文件进行素材取样对第一视频文件进行编辑处理。若第一视频文件、第二视频文件的视频格式不一样，还需调用视频转换器对不同于第一视频文件视频格式的第二视频文件进行格式转换，避免不同格式的视频文件之间产生不可融合的现象产生。

在一些实施例中，视频文件审核单元10可以通过AI智能识别对第一视频文件以及第二视频文件进行审核，审核的项目包括视频清晰度、视频格式、视频时长等。

人脸检测单元20，用于对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像。

人脸检测单元20对审核结果为通过的第一视频文件、第二视频文件进行人脸检测，分别获取人脸图像。本实施例中，人脸检测单元20首先对第一视频文件、第二视频文件中是否存在人脸进行判断。人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。通过人脸检测，可以排除第一视频文件、第二视频文件中不包括人脸图像的视频，从而避免对不包括人脸图像的部分第一视频文件、部分第二视频文件进行处理，可降低视频图像处理的计算量，节约资源。在一些实施例中，可以采用dlib中的人脸识别库来能定位人脸。

特征提取单元30，用于对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征。特征提取单元30从第一视频文件中提取出的第一人脸图像、从第二视频文件中提取出的第二人脸图像均包括多个，但是不同的人脸图像中人脸的角度、在人脸图像中的位置存在一定的差异。为保障能够挑选出基于人脸最有效的特征达到降低特征空间维数，降低图像计算量，本实施例对第一人脸图像、第二人脸图像进行特征提取，提高了人脸图像处理的效率。在一些实施例中，特征提取单元30可以通过训练卷积神经网络形成人脸特征提取网络，使第一人脸图像特征、第二人脸图像特征通过人脸特征提取网络自动提取，降低人工标注人脸特征进行人脸特征提取的人力物力投入，节约资源。

本实施例通过特征提取单元30可将第一视频文件、第二视频文件中的人脸图像通过特征进行表示，提取的人脸特征可以自由变换用于第一人脸图像中，避免替换第一视频文件中的整个第一人脸图像，造成编辑处理后的第一视频文件中的人脸不清晰的现象产生。

特征映射单元40，用于对第一人脸特征、第二人脸特征进行特征映射。特征映射可以理解为在第一人脸图像中的第一人脸特征与第二人脸图像中的第二人脸特征为相同类型的人脸特征，例如眉、耳、眼、口、鼻，但是第一人脸特征与第二人脸特征分别位于不同的人脸图像中，第一人脸特征与第二人脸特征之间的关系可以认为是特征映射。本实施例通过特征映射单元40对第一人脸特征、第二人脸特征进行特征映射，可以提高对第一人脸特征与第二人脸特征的一一对应的准确度，保障第一人脸特征进行编辑处理过程中的准确性。

特征替换单元50，用于基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。特征替换单元50用第二视频文件中的第二人脸特征替换第一视频文件中的第一人脸特征，完成第一视频文件中的人脸替换的操作。本实施例通过视频文件审核单元10对第一视频文件、第二视频文件进行审核，避免了用于素材取样的第二视频文件的清晰度低于第一视频文件的清晰度，人脸检测后进行人脸特征提取，从而通过人脸特征替换实现替换第一视频文件中的第一人脸图像，避免贴图覆盖第一人脸图像造成的第一视频文件的清晰度低的缺陷，为编辑处理后的第一视频文件提供较高清晰度的保障。

在一些实施例中，第一视频文件的清晰度小于或者等于第二视频文件的清晰度，审核结果为通过；第一视频文件的清晰度大于第二视频文件的清晰度，审核结果为未通过。

图9示出了本发明的视频图像处理装置另一实施例的结构示意图，如图9所示，本实施例的视频图像处理装置还包括：

视频拆解单元60，用于对第一视频文件、第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；人脸检测单元20，具体用于对第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；特征提取单元30，具体用于基于第一人脸特征关键点坐标对第一图像帧进行特征提取，得到第一人脸图像特征，基于第二人脸特征关键点坐标对第二图像帧进行特征提取，得到第二人脸图像特征。

本实施例通过视频拆解单元60将第一视频文件拆解为多个第一图像帧，针对每一图像帧中的人脸图像进行编辑处理，可使得每一个包含人脸特征第一图像帧中的人脸特征均被编辑处理，避免以视频格式进行人脸特征处理的过程中部分第一图像帧未被处理，视频文件颤抖造成编辑处理后的视频文件不清晰。

在对第一视频文件、第二视频文件分别拆解成第一图像帧、第二图像帧之后，人脸检测过程中针对第一图像帧、第二图像帧进行人脸图像检测，并通过特征提取实现第一人脸图像特征、第二人脸图像特征的提取。其中，在检测到人脸图像之后对第一图像帧、第二图像帧的人脸图像特征进行关键点的标注，具体的标注形式可以是人脸特征关键点的二维坐标。特征提取过程中可以根据人脸特征关键点坐标分别提取第一人脸图像特征的人脸特征关键点集合、第二人脸图像特征的人脸特征关键点集合。其中，第一人脸图像特征的人脸特征关键点集合可以包括第一人脸图像中的耳、眉、眼、鼻、口的关键点集合，第二人脸图像特征的人脸特征关键点集合可以包括第二人脸图像中的耳、眉、眼、鼻、口的关键点集合。

本实施例通过视频拆解单元60对第一视频文件、第二视频文件进行拆解成图像帧，对第一图像帧、第二图像帧中的人脸图像进行人脸特征关键点的提取，使得提取后的第一人脸图像特征、第二人脸图像特征更准确，并且，坐标表示的第一人脸图像特征、第二人脸图像特征更容易被修正，使第二人脸图像特征能够与第一人脸图像特征更匹配。

图10示出了本发明的视频图像处理装置另一实施例的结构示意图，如图10所示，本实施例的人脸检测单元20，包括：图像检测模块21，用于对第一图像帧、第二图像帧进行人脸定位，获得人脸检测框。其中，人脸检测框包括从图像中检测到的人脸图像。例如，可以通过人脸检测算法，对图像进行人脸检测，获得人脸检测框。通过定位人脸后获得的人脸检测框可以缩小人脸特征提取的区域范围，减少计算量，提高人脸特征检测的效率。

关键点定位模块22，用于基于人脸检测框，对第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对第二图像帧进行关键点定位，得到多个第二人脸特征关键点。

可以通过关键点检测算法，对人脸检测框中的人脸进行关键点定位，获得人脸的关键点坐标。可以采用全连接层基于关键点坐标对人脸图像特征进行提取，提取得到的人脸图像特征更加准确。

为进一步提高人脸图像特征的准确性，可以增加人脸特征关键点的数量，例如“眉”这一特征采用3个关键点，两端各一个以及中间一个，进行定位标注的效果不理想，可以采用5个关键点，两端各一个，两端之间三个，对“眉”这一特征进行关键点定位标注，以达到提高人脸图像特征提取的准确性。

在一些实施例中，还可以对连续的第一图像帧、连续的第二图像帧进行关键点跟踪。连续的图像帧中人脸图像特征可能位于不同的位置。通过关键点跟踪，可以避免连续的图像帧中人脸图像特征关键点消失的现象产生。例如，每一条“眉”可以通过五个人脸特征关键点进行标注，在连续的图像帧中，由于人脸角度变换，人脸特征图像中只可以显示出三个人脸特征关键点。此时只通过特征识别的方式无法识别定位出“眉”这一特征。通过关键点跟踪可以使连续的图像帧中人脸特征关键点坐标不丢失，提高了人脸特征提取的准确性。

图11示出了本发明的视频图像处理装置另一实施例的结构示意图，如图11所示，本实施例的视频图像处理装置还包括：特征角度计算单元70，用于基于第一人脸特征关键点坐标计算第一人脸图像特征的角度，基于第二人脸特征关键点坐标计算第二人脸图像特征的角度。在人脸识别过程中容易产生误识别的情况。误识别率除了和识别算法模型有关之外，和人脸图像的质量也是分不开的。在人脸图像质量较差的情况下，例如侧脸角度过大、人脸像素过小等，人脸识别的准确率通常会明显降低，误识别率较高。在实际场景中，大部分的误识别和漏识别都是因为视频人脸图像的角度不够正造成的。因此，对人脸图像特征的角度计算后对人脸图像特征进行修正有助于提高人脸识别率而且非常重要。

图像大小信息获取单元80，用于基于人脸检测框的尺寸获取第一人脸图像特征的大小信息、第二图像特征的大小信息，其中，人脸检测框的尺寸包括人脸检测框的长度和/或宽度。人脸图像在需要满足清晰度高、人脸大、人脸正等条件时，易于识别。在实际应用场景中，人脸图像的清晰度来源于两个方面的影响：一是摄像头采集的图像本身是模糊不清晰的，二是人脸图像本身太小。由于在进行人脸图像识别前需要先将人脸图像大小统一缩放到标准大小，当小的人脸图像放大到标准大小时，会存在由于像素插值造成的模糊。一般情况下，根据应用场景选择合适的摄像头后，其采集的图像本身是清晰，于是在不考虑摄像头采集图像不清晰的情况下，人脸图像的清晰度和人脸大小是正相关的，人脸越大其清晰度也越高，可以用人脸大小来评价人脸的清晰度。图像大小信息获取单元80获取人脸图像的大小信息，可以通过如下方式实现：根据人脸检测框的大小获取人脸的大小信息。其中，人脸检测框的大小包括人脸检测框的长度和/或宽度。

本实施例通过人脸图像特征的角度确定人脸正面的程度，通过人脸图像的大小信息确定人脸清晰度，从而可以更精确、客观地检测图像中人脸图像的清晰度；另外，本实施例通过获取人脸图像特征的角度及大小信息来反应影响人脸识别结果的人脸清晰度，提高了运算效率。

图12示出了本发明的视频图像处理装置另一实施例的结构示意图，如图12所示，本实施例的视频图像处理装置还包括：置信度获取单元90，用于基于第一图像帧、第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，第一置信度为第一特人脸征关键点坐标的置信度、第二置信度为第二人脸特征关键点坐标的置信度。

可以通过一个预先训练好的神经网络实现，该神经网络接收到输入的人脸图像时，便可以通过对该人脸图像进行人脸检测和关键点检测，输出人脸检测框、根据该人脸检测框确定的人脸特征关键点坐标和该人脸特征关键点坐标的置信度，关键点坐标的置信度可以根据预设方式，由该神经网络基于该神经网络的性能和人脸检测框的大小等情况确定，该神经网络的性能越好，人脸检测框的大小较大(即：人脸图像较大、人脸较清晰)时，确定的人脸的关键点坐标的准确率越高。

特征修正单元2，用于基于第一置信度对第一人脸特征关键点坐标进行修正，基于第二置信度对第二人脸特征关键点坐标进行修正。在人脸图像特征关键点坐标不准确时，由该人脸图像特征关键点坐标获取到的人脸的角度信息也会不准确。为解决上述问题根据该人脸的关键点坐标的置信度的大小对计算获得的人脸角度的分数进行相应修正，从而消除了由于人脸特征关键点坐标不准确造成人脸的角度不准确、以及由此对最终确定人脸图像特征的影响，提升了确定人脸图像质量的结果的准确性和可靠性。

图13示出了本发明的视频图像处理装置另一实施例的结构示意图，如图13所示，本实施例的特征提取单元30包括图像选取模块31，用于基于第一人脸图像特征的角度和/或第一人脸图像特征的大小信息和/或第一置信度，从多个第一图像帧中选取至少一个用于特征提取；基于第二人脸图像特征的角度和/或第二人脸图像特征的大小信息和/或第二置信度，从多个第二图像帧中选取至少一个用于特征提取。本实施例通过图像选取模块31在多个第一图像帧、多个第二图像帧中选取用于人脸图像特征提取的第一人脸图像、第二人脸图像，提高了第一人脸图像特征、第二人脸图像特征提取的准确性、可靠性。

图14示出了本发明的视频图像处理装置另一实施例的结构示意图，如图14所示，本实施例的视频图像处理装置还包括：颜色值计算单元11，用于计算第一图像帧的人脸检测框内的颜色值，得到第一颜色值；颜色值修正单元12，用于基于第一颜色值，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。

在一些实施例中，第一图像帧的人脸检测框内的颜色值可以是第一人脸图像特征关键点的颜色值以及第一人脸图像特征关键点相邻像素的颜色值。根据第一图像帧的人脸检测框的梯度信息以及第二人脸图像特征的边界信息，利用插值的方法重新构建出合成后的第一图像帧区域内的图像像素。在计算获得第一颜色值之后，对第二人脸图像特征的颜色值进行修正，得到第二颜色值。第一颜色值与第二颜色值的理想状态是二者之间不存在差值，基于现阶段的科学技术还不能实现，可以允许二者之间存在预设阈值范围内的差值，该预设阈值根据计算机性能确定。

在一些实施例中，特征替换单元50，具体用于基于特征替换第一人脸图像与第二颜色值，用第二人脸图像特征对第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

本实施例通过特征替换单元50用第二人脸图像特征对第一图像帧进行特征替换，对第二人脸图像特征的颜色值基于第一图像帧的人脸检测框内的颜色值进行修正，仅从局部特征替换达到了全局特征融合，实现无缝融合。使替换后的第一图像帧的清晰度大于或者等于第一图像帧的清晰度。

图15示出了本发明的电子设备的一个实施例的结构示意图。下面参考图15，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图15所示，该电子设备该电子设备包括处理器和存储器。电子设备也可以包括输入输出装置。存储器、输入输出装置均通过总线与处理器连接。其中，存储器，用于存储处理器执行的指令；处理器，用于调用存储器存储的指令，并执行上述实施例涉及的出行信息处理方法。

本发明实施例中处理器可调用存储器存储的指令，进行基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，第一视频文件用于编辑处理，第二视频文件用于素材取样；对第一视频文件进行人脸检测，得到第一人脸图像，对第二视频文件进行人脸检测，得到第二人脸图像；对第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对第二人脸图像进行人脸特征提取，得到第二人脸图像特征；对第一人脸特征、第二人脸特征进行特征映射；基于第二人脸特征对第一人脸特征进行替换，得到特征替换第一人脸图像。其中，电子设备执行视频图像处理的过程，可参阅上述实施例描述的视频图像处理的实施过程，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在计算机上运行时，执行上述实施例涉及的视频图像处理方法。

本发明实施例还提供一种包含指令的计算机程序产品，当包含指令的计算机程序产品在计算机上运行时，使得计算机执行上述实施例涉及的视频图像处理方法。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机可读存储介质，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的出行信息处理的方法。在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (20)

1.一种视频图像处理方法，其中，包括：

视频文件审核步骤，基于视频清晰度对第一视频文件以及第二视频文件进行审核，获得审核结果，所述第一视频文件用于编辑处理，所述第二视频文件用于素材取样；

人脸检测步骤，对所述第一视频文件进行人脸检测，得到第一人脸图像，对所述第二视频文件进行人脸检测，得到第二人脸图像；

特征提取步骤，对所述第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对所述第二人脸图像进行人脸特征提取，得到第二人脸图像特征；

特征映射步骤，对所述第一人脸特征、所述第二人脸特征进行特征映射；

特征替换步骤，基于所述第二人脸特征对所述第一人脸特征进行替换，得到特征替换第一人脸图像。

2.根据权利要求1所述的方法，其中，在所述视频文件审核步骤中，

所述第一视频文件的清晰度小于或者等于所述第二视频文件的清晰度，所述审核结果为通过；

所述第一视频文件的清晰度大于所述第二视频文件的清晰度，所述审核结果为未通过。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

视频拆解步骤，对所述第一视频文件、所述第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；

所述人脸检测步骤中，对所述第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对所述第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；

所述特征提取步骤中，基于所述第一人脸特征关键点坐标对所述第一图像帧进行特征提取，得到所述第一人脸图像特征，基于所述第二人脸特征关键点坐标对所述第二图像帧进行特征提取，得到所述第二人脸图像特征。

4.根据权利要求3所述的方法，其中，所述人脸检测步骤，包括：

图像检测步骤，对所述第一图像帧、所述第二图像帧进行人脸定位，获得人脸检测框；

关键点定位步骤，基于所述人脸检测框，对所述第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对所述第二图像帧进行关键点定位，得到多个第二人脸特征关键点。

5.根据权利要求4所述的方法，其中，所述方法还包括：

特征角度计算步骤，基于所述第一人脸特征关键点坐标计算所述第一人脸图像特征的角度，基于所述第二人脸特征关键点坐标计算所述第二人脸图像特征的角度；

图像大小信息获取步骤，基于所述人脸检测框的尺寸获取所述第一人脸图像特征的大小信息、所述第二图像特征的大小信息，其中，所述人脸检测框的尺寸包括所述人脸检测框的长度和/或宽度。

6.根据权利要求5所述的方法，其中，所述方法还包括：

置信度获取步骤，基于所述第一图像帧、所述第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，所述第一置信度为第一特人脸征关键点坐标的置信度、所述第二置信度为第二人脸特征关键点坐标的置信度；

特征修正步骤，基于所述第一置信度对所述第一人脸特征关键点坐标进行修正，基于所述第二置信度对所述第二人脸特征关键点坐标进行修正。

7.根据权利要求6所述的方法，其中，所述特征提取步骤包括：

图像选取步骤，基于所述第一人脸图像特征的角度和/或所述第一人脸图像特征的大小信息和/或所述第一置信度，从多个所述第一图像帧中选取至少一个用于特征提取；基于所述第二人脸图像特征的角度和/或所述第二人脸图像特征的大小信息和/或所述第二置信度，从多个所述第二图像帧中选取至少一个用于特征提取。

8.根据权利要求4-7中任一项所述的方法，其中，所述方法还包括：

颜色值计算步骤，计算所述第一图像帧的人脸检测框内的颜色值，得到第一颜色值；

颜色值修正步骤，基于所述第一颜色值，对所述第二人脸图像特征的颜色值进行修正，得到第二颜色值。

9.根据权利要求8所述的方法，其中，所述特征替换步骤，基于所述特征替换第一人脸图像与所述第二颜色值，用所述第二人脸图像特征对所述第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

10.一种视频图像处理装置，其中，包括：

视频文件接收单元，用于接收第一视频文件、第二视频文件，所述第一视频文件用于编辑处理，所述第二视频文件用于素材取样；

视频文件审核单元，用于基于视频清晰度对所述第一视频文件以及所述第二视频文件进行审核，获得审核结果；

人脸检测单元，用于对所述第一视频文件进行人脸检测，得到第一人脸图像，对所述第二视频文件进行人脸检测，得到第二人脸图像；

特征提取单元，用于对所述第一人脸图像进行人脸特征提取，得到第一人脸图像特征，对所述第二人脸图像进行人脸特征提取，得到第二人脸图像特征；

特征映射单元，用于对所述第一人脸特征、所述第二人脸特征进行特征映射；

特征替换单元，用于基于所述第二人脸特征对所述第一人脸特征进行替换，得到特征替换第一人脸图像。

11.根据权利要求10所述的装置，其中，所述第一视频文件的清晰度小于或者等于所述第二视频文件的清晰度，所述审核结果为通过；

所述第一视频文件的清晰度大于所述第二视频文件的清晰度，所述审核结果为未通过。

12.根据权利要求10或11所述的装置，其中，所述装置还包括：

视频拆解单元，用于对所述第一视频文件、所述第二视频文件进行拆解，分别得到第一图像帧、第二图像帧；

所述人脸检测单元，具体用于对所述第一图像帧进行人脸关键点标注，得到多个第一人脸特征关键点坐标，对所述第二图像帧进行人脸关键点标注，得到多个第二人脸特征关键点坐标；

所述特征提取单元，具体用于基于所述第一人脸特征关键点坐标对所述第一图像帧进行特征提取，得到所述第一人脸图像特征，基于所述第二人脸特征关键点坐标对所述第二图像帧进行特征提取，得到所述第二人脸图像特征。

13.根据权利要求12所述的装置，其中，所述人脸检测单元，包括：

图像检测模块，用于对所述第一图像帧、所述第二图像帧进行人脸定位，获得人脸检测框；

关键点定位模块，用于基于所述人脸检测框，对所述第一图像帧进行关键点定位，得到多个第一人脸特征关键点，对所述第二图像帧进行关键点定位，得到多个第二人脸特征关键点。

14.根据权利要求13所述的装置，其中，所述装置还包括：

特征角度计算单元，用于基于所述第一人脸特征关键点坐标计算所述第一人脸图像特征的角度，基于所述第二人脸特征关键点坐标计算所述第二人脸图像特征的角度；

图像大小信息获取单元，用于基于所述人脸检测框的尺寸获取所述第一人脸图像特征的大小信息、所述第二图像特征的大小信息，其中，所述人脸检测框的尺寸包括所述人脸检测框的长度和/或宽度。

15.根据权利要求14所述的装置，其中，所述装置还包括：

置信度获取单元，用于基于所述第一图像帧、所述第二图像帧进行关键点坐标计算，获得第一置信度与第二置信度，所述第一置信度为第一特人脸征关键点坐标的置信度、所述第二置信度为第二人脸特征关键点坐标的置信度；

特征修正单元，用于基于所述第一置信度对所述第一人脸特征关键点坐标进行修正，基于所述第二置信度对所述第二人脸特征关键点坐标进行修正。

16.根据权利要求15所述的装置，其中，所述特征提取单元，包括：

图像选取模块，用于基于所述第一人脸图像特征的角度和/或所述第一人脸图像特征的大小信息和/或所述第一置信度，从多个所述第一图像帧中选取至少一个用于特征提取；基于所述第二人脸图像特征的角度和/或所述第二人脸图像特征的大小信息和/或所述第二置信度，从多个所述第二图像帧中选取至少一个用于特征提取。

17.根据权利要求13-16中任一项所述的装置，其中，所述装置还包括：

颜色值计算单元，用于计算所述第一图像帧的人脸检测框内的颜色值，得到第一颜色值；

颜色值修正单元，用于基于所述第一颜色值，对所述第二人脸图像特征的颜色值进行修正，得到第二颜色值。

18.根据权利要求17所述的装置，其中，所述特征替换单元，具体用于基于所述特征替换第一人脸图像与所述第二颜色值，用所述第二人脸图像特征对所述第一图像帧进行特征替换，得到包含第二人脸图像特征的第一人脸图像。

19.一种电子设备，其中，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现权利要求1-9任一所述的视频图像处理方法。

20.一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序被处理器执行时，实现权利要求1-9任一所述的视频图像处理方法。