CN109151340B - 视频处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种视频处理方法、装置及电子设备，所述方法包括：响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。通过上述方法、装置及电子设备，无需采集多角度多张图片，仅需单张图片即可对视频中的人脸进行替换，从而得到目标人脸；同时考虑到脸部表情因素的影响，提高了目标人脸与视频的关联性。

Description

视频处理方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频处理方法、装置及电子设备。

背景技术

近年来，虚拟对象的生成技术被越来越多的应用在视频制作中，其中，三维人脸的重构对虚拟对象的生成尤为重要。发明人在实现本发明的过程中发现，现有技术一般采用人脸替换视频中的目标人脸来实现虚拟对象的生成，但并没有考虑到脸部的表情因素从而使得虚拟对象与视频的关联性较差，从而导致生成的虚拟对象与视频环境不匹配，用户感觉虚假。

此外，在视频制作中生成虚拟对象越来越多的用于手机视频编辑。二维人脸图像主要通过手机的摄像头获得，而重构的三维人脸图像的效果部分取决于前期摄像装置获取的图像质量，而获取图像质量又部分的取决于手机拍摄时对抖动的处理效果，目前的手机主要通过软件进行防抖处理，硬件改进的措施不多。

发明内容

本发明实施例提供的视频处理方法、装置及电子设备，用以至少解决相关技术中的上述问题。

本发明实施例一方面提供了一种视频处理方法，包括：

响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。

进一步地，所述获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，包括：获取所述第二人脸图像在预设特征点的第一表情参数；获取所述第一三维人脸图像在所述预设特征点的第二表情参数；将所述第二表情参数替换成所述第一表情参数。

进一步地，所述将所述第二人脸图像替换成所述目标人脸图像，包括：根据所述第二人脸图像对应人物的属性信息对所述目标人脸图像的尺寸进行调整，将所述第二人脸图像替换成调整后的所述目标人脸图像。

进一步地，所述方法还包括：获取所述视频中的光照信息，根据所述光照信息对所述目标人脸图像进行处理。

进一步地，所述根据所述光照信息对所述目标人脸图像进行处理，包括：根据所述目标人脸图像在所述视频画面中的位置确定入射光的方向；根据所述光照信息和所述入射光的方向，生成所述目标人脸图像的光照效果。

进一步地，通过图像获取设备获取所述目标图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿。

进一步地，所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理模块，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。

进一步地，所述固定板的四周开设有四个贯穿的安装孔，所述安装孔上安装有所述单向轴承和所述转动齿圈。

进一步地，所述驱动件为微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴相连接；或，所述驱动件包括记忆合金丝和曲柄连杆，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴相连接，以带动所述转轴转动。

进一步地，所述图像获取设备设置于手机上，手机包括支架，所述支架包括手机安装座和可伸缩的支撑杆；所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组，所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接；所述折叠板组包括第一板体、第二板体及第三板体，其中，所述第一板体的相对两端中的一端与所述连接板相铰接，所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接；所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接；所述第二板体设有供手机边角插入的开口；所述手机安装座用于安装手机时，所述第一板体、第二板体和第三板体折叠呈直角三角形状态，所述第二板体为直角三角形的斜边，所述第一板体和所述第三板体为直角三角形的直角边，其中，所述第三板体的一个侧面与所述连接板的一个侧面并排贴合，所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。

进一步地，所述第三板体的一个侧面设有第一连接部，所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架手机安装座用于安装手机时，所述第一连接部和所述第一配合部卡合连接。

进一步地，所述第一板体相对两端中的一端设有第二连接部，所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架手机安装座用于安装手机时，所述第二连接部和所述第二配合部卡合连接。

进一步地，所述支撑杆的另一端可拆卸连接有底座。

本发明实施例的另一方面提供了一种视频处理装置，包括：

获取模块，用于响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；输出模块，用于利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；调整模块，用于获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；替换模块，用于将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。

进一步地，所述调整模块具体用于，获取所述第二人脸图像在预设特征点的第一表情参数；获取所述第一三维人脸图像在所述预设特征点的第二表情参数；将所述第二表情参数替换成所述第一表情参数。

进一步地，所述替换模块具体用于，根据所述第二人脸图像对应人物的属性信息对所述目标人脸图像的尺寸进行调整，将所述第二人脸图像替换成调整后的所述目标人脸图像。

进一步地，所述装置还包括处理模块，用于获取所述视频中的光照信息，根据所述光照信息对所述目标人脸图像进行处理。

进一步地，所述处理模块具体用于，根据所述目标人脸图像在所述视频画面中的位置确定入射光的方向；根据所述光照信息和所述入射光的方向，生成所述目标人脸图像的光照效果。

本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项视频处理方法。

由以上技术方案可见，本发明实施例提供的视频处理方法、装置及电子设备，无需采集多角度多张图片，仅需单张图片即可对视频中的人脸进行替换，从而得到目标人脸；同时考虑到脸部表情因素的影响，提高了目标人脸与视频的关联性。另一方面，通过改进图像获取设备的防抖结构，改善了图像获取质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的视频处理方法流程图；

图2为本发明一个实施例提供的视频处理方法流程图；

图3为本发明一个实施例提供的视频处理装置结构图；

图4为本发明一个实施例提供的视频处理装置结构图；

图5为执行本发明方法实施例提供的执行视频处理方法的电子设备的硬件结构示意图；

图6为本发明一个实施例提供的图像获取设备的结构图；

图7为本发明一个实施例提供的光学防抖器的结构图；

图8为图7的A部放大图；

图9为本发明一个实施例提供的微型记忆合金光学防抖器的活动板的底面示意图；

图10为本发明一个实施例提供的支架的结构图；

图11为本发明一个实施例提供的支架的一个状态示意图；

图12为本发明一个实施例提供的支架的另一个状态示意图；

图13为本发明一个实施例提供的安装座与手机相连接时的结构状态图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

本发明实施例的执行主体为电子设备，所述电子设备包括但不限于手机、平板电脑、笔记本电脑、带摄像头的台式电脑等。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

图1为本发明实施例提供的视频处理方法流程图。如图1所示，本发明实施例提供的视频处理方法，包括：

S101，响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像。

在播放视频的过程中，用户希望与视频进行交互，将视频中的第二人脸图像替换成目标图片中的第一人脸图像。具体地，该目标图片可以是存储在用户电子设备中的图片，也可以是用户当前拍摄的图片。该指令可以是用户对交互标识的操作，也可以预先设定的用户操作轨迹，本发明在此不做限定。

在本步骤中，当接收到用户的操作指令后，获取该指令对应的视频中待替换的第二人脸图像以及目标图片的第一人脸图像。

S102，利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像。

具体地，卷积神经网络CNN是一种深度前馈人工神经网络。CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。卷积神经网络通常包括一维卷积神经网络、二维卷积神经网络和三维卷积神经网络，现有技术已有这些卷积神经网络数学模型的大量介绍，此处不再赘述，也不对卷积神经网络的类型进行限定。

在进行本步骤之前，需要预先对卷积神经网络模型进行训练。首先构建一个卷积神经网络，并获取一定数量的训练样本集，输入样本集中的二维人脸图像作为模型的输入端，与该二维人脸图像对应的三维人脸图像作为模型的输出端。其次利用人脸特征点识别算法得到人像68个特征点,包括眉毛,眼睛,鼻子,嘴巴,脸庞的关键点坐标位置；对每个特征点通过高斯算法形成一个代表周围6个像素的通道(68个通道)作为卷积神经网络的输入。再次，将三维人脸图像根据人脸方向调整到正脸方向，进行体素化重构。最后，使用回归算法计算交叉熵损失函数(归一化均方误差)，通过训练使损失函数收敛到最小值，该卷积神经网络模型训练完成。

将第一人脸图像输入到训练好的卷积神经网络模型中，从而得到该第一人脸图像对应的第一三维人脸图像。

S103，获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像。

视频中第二人脸图像中人的表情是与视频中播放的内容相关的，因此需要根据该第二人脸图像中表情参数对得到的第一三维人脸图像中的表情进行调整。具体地，可以预先设定能够标识人脸表情的关键点作为特征点，获取第二人脸图像在预设特征点的第一表情参数，并获取所述预设特征点在第一三维人脸图像中的第二表情参数，将所述第二表情参数替换成所述第一表情参数，实现了表情的嫁接，从而使得替换后的人脸表情与视频播放的内容相关。

S104，将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。

在本步骤中，属性信息包括但不限于第二人脸图像对应的人物脸型、脸部特征、身材等。根据人物脸型、脸部特征、身材对目标人脸图像的脸部进行调整，使两张脸尽可能的重合尺寸，同时使目标人脸图像中人脸的尺寸与视频中第二人脸图像对应的人物身材进相匹配，将该第二人脸图像替换成调整后的所述目标人脸图像。

本发明实施例提供的视频处理方法，无需采集多角度多张图片，仅需单张图片即可对视频中的人脸进行替换，从而得到目标人脸；同时考虑到脸部表情因素的影响，提高了目标人脸与视频的关联性。

图2为本发明实施例提供的视频处理方法流程图。如图2所示，本实施例为图1所示实施例的具体实现方案，因此不再赘述图1所示实施例中各步骤的具体实现方法和有益效果，本发明实施例提供的视频处理方法，包括：

S201，响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像。

S202，利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像。

S203，获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像。

S204，将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。

由于目标人脸图像取自于目标图片，可能会出现其光照效果和视频场景的光照效果不同、无法与视频场景相融合的情况，使得用户从视觉上感受到两者间的不协调。因此，还需要对目标图像进行光影效果的处理。具体地，可以通过如下步骤进行。

S205，获取所述视频中的光照信息，根据所述光照信息对所述目标人脸图像进行处理。

在本步骤中，首先根据所述目标人脸图像在所述视频画面中的位置确定入射光的方向，即可以将目标人脸图像在所述视频画面中的位置方向作为反射光的方向，获取目标人脸表面任意一点的法线方向，通过光的反射定律计算出视频中光源的入射方向；也可以分别获取目标人脸表面若干点的法线方向，将通过光的反射定律得到的若干光源入射方向求取平均值，得到光源的平均入射方向，本发明在此不做限定。

其次，根据所述光照信息和所述入射光的方向，生成所述目标人脸图像的光照效果。具体地，根据所述入射光方向和所述光照信息，计算出所述目标人脸的目标光照信息；依据所述目标光照信息生成所述目标人脸图像的光照效果。

人脸的反射一般可看作是镜面反射，由于镜面反射会造成目标人脸反光的现象，使得目标人脸呈现在用户眼中不清晰，因此，在已知光照信息的情况下，可以根据目标人脸表面的粗糙程度计算出入射方向周围一定范围内的入射光在目标人脸表面反射的目标光照信息。通过扩大入射方向的范围来获取目标人脸清晰的光照效果，因为目标人脸的表面越光滑，则镜面反射效果越强烈，如果此时只根据步骤S101确定的入射方向得到目标光照信息，其出射光方向是唯一的，会因为镜面发射使得目标人脸光照效果较为模糊，此时通过选择入射方向周围一定范围内的入射光，出射光的方向不是单一的，可增加目标人脸光照效果的清晰度。目标光照信息包括出射光的光照强度和方向，根据出射光的光照强度和方向生成目标人脸的光照效果。

本发明实施例提供的视频处理方法，无需采集多角度多张图片，仅需单张图片即可对视频中的人脸进行替换，从而得到目标人脸；同时考虑到脸部表情因素的影响，提高了目标人脸与视频的关联性。此外，通过对目标人脸进行光影效果的处理，提高了目标人脸与视频场景的融合度，提高了用户的交互体验。

图3为本发明实施例提供的视频处理装置结构图。如图3所示，该装置具体包括：获取模块100，输出模块200、调整模块300和替换模块400。其中，

获取模块100，用于响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；输出模块200，用于利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；调整模块300，用于获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；替换模块400，用于将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像。

可选地，调整模块300具体用于，获取所述第二人脸图像在预设特征点的第一表情参数；获取所述第一三维人脸图像在所述预设特征点的第二表情参数；将所述第二表情参数替换成所述第一表情参数。

可选地，替换模块400具体用于，根据所述第二人脸图像对应人物的属性信息对所述目标人脸图像的尺寸进行调整，将所述第二人脸图像替换成调整后的所述目标人脸图像。

本发明实施例提供的视频处理装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似，在此不再赘述。

图4为本发明实施例提供的视频处理装置结构图。如图5所示，该装置具体包括：获取模块100，输出模块200、调整模块300、替换模块400和处理模块500。其中，

获取模块100，用于响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；输出模块200，用于利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；调整模块300，用于获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；替换模块400，用于将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像；处理模块500，用于获取所述视频中的光照信息，根据所述光照信息对所述目标人脸图像进行处理。

可选地，处理模块500具体用于，根据所述目标人脸图像在所述视频画面中的位置确定入射光的方向；根据所述光照信息和所述入射光的方向，生成所述目标人脸图像的光照效果。

可选地，调整模块300具体用于，获取所述第二人脸图像在预设特征点的第一表情参数；获取所述第一三维人脸图像在所述预设特征点的第二表情参数；将所述第二表情参数替换成所述第一表情参数。

可选地，替换模块400具体用于，根据所述第二人脸图像对应人物的属性信息对所述目标人脸图像的尺寸进行调整，将所述第二人脸图像替换成调整后的所述目标人脸图像。

本发明实施例提供的视频处理装置具体用于执行图2所示实施例提供的所述方法，其实现原理、方法和功能用途和图2所示实施例类似，在此不再赘述。

上述这些本发明实施例的视频处理装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的视频处理方法。

图5为执行本发明方法实施例提供的视频处理方法的电子设备的硬件结构示意图。根据图5所示，该电子设备包括：

一个或多个处理器510以及存储器520，图5中以一个处理器510为例。执行所述的视频处理方法的设备还可以包括：输入装置530和输出装置530。

处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述视频处理方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述视频处理方法。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的视频处理装置的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器520，还可以包括非易失性存储器520，例如至少一个磁盘存储器520件、闪存器件、或其他非易失性固态存储器520件。在一些实施例中，存储器520可选包括相对于处理器55远程设置的存储器520，这些远程存储器520可以通过网络连接至所述视频处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可接收输入的数字或字符信息，以及产生与视频处理装置的用户设置以及功能控制有关的键信号输入。输入装置530可包括按压模组等设备。

所述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理器510执行时，执行所述视频处理方法。

本发明实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子装置。

优选的，所述电子设备上设置有用于获取图像的图像获取设备，图像获取设备上为保证获取图像的质量往往设置有软件或硬件防抖器。现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动，而要实现光学防抖，需要在至少两个方向上驱动镜头，这意味着需要布置多个线圈，会给整体结构的微型化带来一定挑战，而且容易受外界磁场干扰，进而影响防抖效果，因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组，其通过温度变化实现记忆合金丝的拉伸和缩短，以此拉动自动聚焦音圈马达移动，实现镜头的抖动补偿，微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度，以此控制记忆合金丝的伸长和缩短，并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差。

但是申请人发现，由于抖动的随机性和不确定性，仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿，这是由于形状记忆合金的升温和降温均需要一定的时间，当抖动向第一方向发生时，上述技术方案可以实现镜头对第一方向抖动的补偿，但是当随之而来的第二方向的抖动发生时，由于记忆合金丝来不及在瞬间变形，因此容易造成补偿不及时，无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿，因此需要对其结构上进行改进，以期获得更好的图像质量，从而便于后续三维图像的生成。

结合附图7-9所示，本实施例对学防抖器进行改进，将其设计为机械防抖器3000，其具体结构如下：

本实施例的所述机械防抖器3000包括活动板3100、基板3200以及补偿机构3300，所述活动板3100和所述基板3200的中部均设有所述镜头1000穿过的通孔，所述自动聚焦音圈马达2000安装在所述活动板3100上，所述活动板3100安装在所述基板3200上，且所述基板3200的尺寸大于所述活动板3100，所述活动板3100通过其上方的自动聚焦音圈马达限位其上下的移动，所述补偿机构3300在所述处理模块的驱动下带动所述活动板3100和活动板3100上的镜头1000动作，以实现镜头1000的抖动补偿。

具体的，本实施例的所述补偿机构3300包括安装在所述基板3200四周的第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340，其中所述第一补偿组件3310和所述第三补偿组件3330相对设置，所述第二补偿组件3320与所述第四补偿组件3340相对设置，所述第一补偿组件3310与第三补偿组件3330之间的连线与所述第一补偿组件3310与第三补偿组件3330之间的连线相互垂直，即一补偿组件、第二补偿组件3320、第三补偿组件3330分别布设在活动板3100的前后左右四个方位，第一补偿组件3310可使得活动板3100向前运动，第三补偿组件3330可使得活动板3100向后运动，第二补偿组件3320可使得活动板3100向左运动，第四补偿组件3340可使得活动板3100向左运动，而且第一补偿组件3310可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，第三补偿组件3330也可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，实现可以对镜头1000在各个抖动方向上的补偿。

具体的，本实施例的所述第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340均包括驱动件3301、转轴3302、单向轴承3303以及转动齿圈3304。所述驱动件3301受控于所述处理模块，所述驱动件3301与所述转轴3302传动连接，以带动所述转轴3302转动。所述转轴3302与所述单向轴承3303的内圈相连接，以带动所述单向轴承3303的内圈转动；所述转动齿圈3304套设在所述单向轴承3303上并与所述单向轴承3303的外圈固定连接，所述转动齿圈3304的外表面沿其周向设有一圈外齿，所述活动板3100的底面设有多排均匀间隔布设的条形槽3110，所述条形槽3110与所述外齿相啮合，且所述外齿可沿所述条形槽3110的长度方向滑动；其中，所述第一补偿组件3310的单向轴承3303的可转动方向与所述第三补偿组件3330的单向轴承3303的可转动方向相反，所述第二补偿组件3320的单向轴承3303的可转动方向与所述第四补偿组件3340的单向轴承3303的可转动方向相反。

单向轴承3303是在一个方向上可以自由转动，而在另一个方向上锁死的一种轴承，当需要使得活动板3100向前移动时，第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此单向轴承3303的内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过与条形槽3110的啮合带动活动板3100向可以补偿抖动的方向运动；当抖动补偿后需要活动板3100复位时，可以通过第三补偿组件3330带动活动板3100转动，第三补偿组件3330的运行过程过程与第一补偿组件3310同理，此时，第一补偿组件3310的单向轴承3303处于可转动状态，因此第一补偿组件3310上的齿圈为与活动板3100随动状态，不会影响活动板3100的复位。

优选的，为了降低整个机械防抖器3000的整体厚度，本实施例在所述固定板的四周开设有四个贯穿的安装孔(图中未示出)，所述安装孔上安装有所述单向轴承3303和所述转动齿圈3304，通过将单向轴承3303和转动齿圈3304的部分隐藏在安装孔内，以降低整个机械防抖器3000的整体厚度。或者直接将整个补偿组件的部分置于所述安装孔内。

具体，本实施例的所述驱动件3301可以是微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴3302相连接，所述微型电机受控于所述处理模块。或者，所述驱动件3301由记忆合金丝和曲柄连杆组成，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴3302相连接，以带动所述转轴3302转动，具体为处理模块根据陀螺仪的反馈计算出记忆合金丝的伸长量，并驱动相应的电路对该形状记忆合金丝进行升温，该形状记忆合金丝伸长带动曲柄连杆机构运动，曲柄连杆机构的曲柄带动转轴3302转动，使得单向轴承3303的内圈转动，单向轴承3303处于锁死状态时，内圈带动外圈转动，转动齿圈3304通过条形槽3110带动活动板3100运动。

下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述，以镜头1000两次抖动为例，两次抖动方向相反，且需要使得活动板3100向前运动补偿一次，并随后向左运动补偿一次。需要活动板3100向前运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，随后第三补偿组件3330带动活动板3100复位。需要活动板3100向左运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第二补偿组件3320的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，而且由于转动齿圈3304的外齿可沿所述条形槽3110的长度方向滑动，在活动板3100向左运动时，活动板3100与第一补偿组件3310和第三补偿组件3330之间为滑动配合，不会影响活动板3100向左运动，在补偿结束后，再通过第四补偿组件3340带动活动板3100复位。

当然上述仅仅为简单的两次抖动，当发生多次抖动时，或者抖动的方向并非往复运动时，可以通过驱动多个补偿组件以补偿抖动，其基础工作过程与上述描述原理相同，这里不过多赘述，另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术，这里也不过多描述。

结合上述说明可知，本实施例提供的机械补偿器不仅不会受到外界磁场干扰，防抖效果好，而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿，补偿及时准确，大大改善改了获取图像的质量，简化了后续三维图像的处理难度。

进一步地，本实施例的电子设备具体为带有所述图像获取设备的手机，该手机包括支架。手机包含支架的目的是由于图像获取环境的不确定性，因此需要使用支架对手机进行支撑和固定，以期获得更稳定的图像质量。

另外，申请人发现，现有的手机支架仅仅具有支撑手机的功能，而不具有自拍杆的功能，因此申请人对支架做出第一步改进，将手机支架6000和支撑杆6200相结合，结合附图10所示，本实施例的所述支架6000包括手机安装座6100和可伸缩的支撑杆6200，支撑杆6200与手机安装座6100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接，使得支撑杆6200在转动至图11的状态时，支架6000可形成自拍杆结构，而支撑杆6200在转动至图12的状态时，支架6000可形成手机支架6000结构。

而结合上述支架结构申请人又发现，手机安装座6100与支撑杆6200结合后占用空间较大，即使支撑杆6200可伸缩，但是手机安装座6100无法进行结构的变化，体积不会进一步缩小，无法将其放入衣兜或者小型的包内，造成支架6000携带不便的问题，因此本实施例对支架6000做出第二步改进，使得支架6000的整体收容性得到进一步的提高。

结合图11-13所示，本实施例的所述手机安装座6100包括可伸缩的连接板6110和安装于连接板6110相对两端的折叠板组6120，所述支撑杆6200与所述连接板6110中部通过阻尼铰链相连接；所述折叠板组6120包括第一板体6121、第二板体6122及第三板体6123，其中，所述第一板体6121的相对两端中的一端与所述连接板6110相铰接，所述第一板体6121的相对两端中的另一端与所述第二板体6122的相对两端中的一端相铰接；所述第二板体6122相对两端的另一端与所述第三板体6123相对两端中的一端相铰接；所述第二板体6122设有供手机边角插入的开口6130。

结合附图13所示，所述手机安装座6100用于安装手机时，所述第一板体6121、第二板体6122和第三板体6123折叠呈直角三角形状态，所述第二板体6122为直角三角形的斜边，所述第一板体6121和所述第三板体6123为直角三角形的直角边，其中，所述第三板体6123的一个侧面与所述连接板6110的一个侧面并排贴合，所述第三板体6123相对两端中的另一端与所述第一板体6121相对两端中的一端相抵，该结构可以使得三个折叠板处于自锁状态，并且将手机下部的两个边角插入到两侧的两个开口6130时，手机5000的下部两侧位于两个直角三角形内，通过手机、连接板6110和折叠板组6120件的共同作可以完成手机5000的固定，三角形状态在外力情况下无法打开，只有从开口6130抽出手机后才能解除折叠板组6120件的三角形状态。

而在手机安装座6100不处于工作状态时，将连接板6110缩小至最小长度，并且将折叠板组6120件与连接板6110相互折叠，用户可以将手机安装座6100折叠呈最小体积，而由于支撑杆6200的可伸缩性，因此可以将整个支架6000收容呈体积最小的状态，提高了支架6000的收荣幸，用户甚至可以直接将支架6000放入衣兜或小的手包内，十分方便。

优选的，本实施例还在所述第三板体6123的一个侧面设有第一连接部，所述连接板6110与所述第三板体6123相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架6000手机安装座6100用于安装手机时，所述第一连接部和所述第一配合部卡合连接。具体的，本实施例的第一连接部为一个凸条或凸起(图中未示出)，第一配合部为开设在连接板6110上的卡槽(图中未示出)。该结构不仅提高了折叠板组6120件处于三角形状态时的稳定性，而且在需要将手机安装座6100折叠至最小状态时也便于折叠板组6120件与连接板6110的连接。

优选的，本实施例还在所述第一板体6121相对两端中的一端设有第二连接部，所述第三板体6123相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架6000手机安装座6100用于安装手机时，所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出)，第二配合部为与凸起相配合的开口6130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性

另外，本实施例还可以在所述支撑杆6200的另一端可拆卸连接有底座(图中未示出)，在需要固定手机并且使手机5000具有一定高度时，可以将支撑杆6200拉伸呈一定长度，并通过底座将支架6000置于一个平面上，再将手机放置到手机安装座6100内，完成手机的固定；而支撑杆6200和底座的可拆卸连接可以使得两者可以单独携带，进一步提高了支架6000的收容性和携带的方便性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的视频处理方法。

本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的视频处理方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种手机，其特征在于，包括：

至少一个处理器，

与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下视频处理方法：

响应于用户的指令，获取目标图片中的第一人脸图像和视频中待替换的第二人脸图像；

利用卷积神经网络模型输出所述第一人脸图像对应的第一三维人脸图像；

获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，得到第二三维人脸图像；

将所述第二三维人脸图像映射到二维空间得到目标人脸图像，并将所述第二人脸图像替换成所述目标人脸图像；

获取所述视频中的光照信息，根据所述目标人脸图像在所述视频画面中的位置确定入射光的方向，根据所述光照信息和目标人脸表面的粗糙程度计算出所述入射光的方向一定范围内的入射光在目标人脸表面反射的目标光照信息，其中，所述目标光照信息包括出射光的光照强度和方向，依据所述出射光的光照强度和方向生成所述目标人脸图像的光照效果；

用于获取所述目标图片的图像获取设备，该图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像，所述图像传感器将所述镜头获取的图像传输至识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理器根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿；所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理器的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理器，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反；

以及手机支架，所述支架包括手机安装座和可伸缩的支撑杆；所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组，所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接；所述折叠板组包括第一板体、第二板体及第三板体，其中，所述第一板体的相对两端中的一端与所述连接板相铰接，所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接；所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接；所述第二板体设有供手机边角插入的开口；所述手机安装座用于安装手机时，所述第一板体、第二板体和第三板体折叠呈直角三角形状态，所述第二板体为直角三角形的斜边，所述第一板体和所述第三板体为直角三角形的直角边，其中，所述第三板体的一个侧面与所述连接板的一个侧面并排贴合，所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。

2.根据权利要求1所述的手机，其特征在于，所述获取所述第二人脸图像的表情参数，根据所述表情参数对所述第一三维人脸图像进行调整，包括：

获取所述第二人脸图像在预设特征点的第一表情参数；

获取所述第一三维人脸图像在所述预设特征点的第二表情参数；

将所述第二表情参数替换成所述第一表情参数。

3.根据权利要求1所述的手机，其特征在于，所述将所述第二人脸图像替换成所述目标人脸图像，包括：

根据所述第二人脸图像对应人物的属性信息对所述目标人脸图像的尺寸进行调整，将所述第二人脸图像替换成调整后的所述目标人脸图像。

Images