CN109285216B - 基于遮挡图像生成三维人脸图像方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种基于遮挡图像生成三维人脸图像方法、装置及电子设备，所述方法包括：识别图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。通过上述方法、装置及电子设备，不仅解决了由于自遮挡造成特征点不可见导致的特征点识别定位、三维人脸图像生成困难的问题，而且进一步提升了三维人脸图像生成的效果，提高了匹配程度。

Description

基于遮挡图像生成三维人脸图像方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于遮挡图像生成三维人脸图像方法、装置及电子设备。

背景技术

三维人脸重建在医疗、教育、娱乐等领域目前已经得到了非常广泛的应用。现有的三维人脸图像生成方法大部分是基于二维人脸特征点的检测以及三维人脸形状建模得到的。然而，发明人在实现本发明的过程中发现，对于旋转姿态较大的二维人脸图像，尤其是偏转方向超过60度以后，人脸区域存在近一半自遮挡，遮挡区域的纹理特征信息完全缺失，导致特征点检测失败，以及三维人脸图像与二维人脸不匹配。

此外，便携电子设备出于娱乐的目的越来越多使用三维人脸重建技术，获取二维人脸图像主要通过电子设备的摄像头，而后期三维人脸图像的重建效果部分取决于前期摄像装置获取图像的质量，而获取图像质量又部分的取决于拍摄时对抖动的处理效果，目前的便携式电子设备主要通过软件进行防抖处理，硬件并未有针对性的改进。

发明内容

本发明实施例提供的基于遮挡图像生成三维人脸图像方法、装置及电子设备，用以至少解决相关技术中的上述问题。

本发明实施例一方面提供了一种基于遮挡图像生成三维人脸图像方法，包括：识别获取的图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

进一步地，所述回归模型通过如下步骤进行预先训练：获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛。

进一步地，所述卷积神经网络模型通过如下步骤进行预先训练：获取原始人脸特征信息和所述原始人脸信息对应的三维人脸模型；将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集；对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

进一步地，所述第一特征点信息包括第一特征点的坐标位置和第一特征点的纹理参数。

进一步地，所述第一不可见特征点信息为所述目标人脸图像不可见区域对应的信息。

进一步地，通过图像获取设备获取所述图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像(图片)，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿。

进一步地，所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理模块，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。

进一步地，所述固定板的四周开设有四个贯穿的安装孔，所述安装孔上安装有所述单向轴承和所述转动齿圈。

进一步地，所述驱动件为微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴相连接；或，所述驱动件包括记忆合金丝和曲柄连杆，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴相连接，以带动所述转轴转动。

进一步地，所述图像获取设备设置在手机上，手机包括支架。所述支架包括手机安装座和可伸缩的支撑杆；所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组，所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接；所述折叠板组包括第一板体、第二板体及第三板体，其中，所述第一板体的相对两端中的一端与所述连接板相铰接，所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接；所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接；所述第二板体设有供手机边角插入的开口；所述手机安装座用于安装手机时，所述第一板体、第二板体和第三板体折叠呈直角三角形状态，所述第二板体为直角三角形的斜边，所述第一板体和所述第三板体为直角三角形的直角边，其中，所述第三板体的一个侧面与所述连接板的一个侧面并排贴合，所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。

进一步地，所述第三板体的一个侧面设有第一连接部，所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架手机安装座用于安装手机时，所述第一连接部和所述第一配合部卡合连接。

进一步地，所述第一板体相对两端中的一端设有第二连接部，所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架手机安装座用于安装手机时，所述第二连接部和所述第二配合部卡合连接。

进一步地，所述支撑杆的另一端可拆卸连接有底座。

本发明实施例的另一方面提供了一种基于遮挡图像生成三维人脸图像装置，包括：判断模块，用于识别获取的图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；识别模块，用于当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；输入模块，用于将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

进一步地，所述装置还包括第一训练模块，用于获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛。

进一步地，所述装置还包括第二训练模块，用于获取原始人脸特征信息和所述原始人脸信息对应的三维人脸模型；将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集；对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项基于遮挡图像生成三维人脸图像方法。

由以上技术方案可见，本发明实施例提供的基于遮挡图像生成三维人脸图像方法、装置及电子设备，不仅解决了由于自遮挡造成特征点不可见导致的特征点识别定位、三维人脸图像生成困难的问题，而且进一步提升了三维人脸图像生成的效果，提高了匹配程度。同时，通过改进图像获取设备的防抖结构，改善了图像获取质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的基于遮挡图像生成三维人脸图像方法流程图；

图2为本发明一个实施例提供的训练回归模型的具体流程图；

图3为本发明一个实施例提供的训练卷积神经网络模型的具体流程图；

图4为本发明一个实施例提供的基于遮挡图像生成三维人脸图像装置结构图；

图5为本发明一个实施例提供的基于遮挡图像生成三维人脸图像装置结构图；

图6为执行本发明方法实施例提供的基于遮挡图像生成三维人脸图像方法的电子设备的硬件结构示意图；

图7为本发明一个实施例提供的图像获取设备的结构图；

图8为本发明一个实施例提供的光学防抖器的结构图；

图9为图8的A部放大图；

图10为本发明一个实施例提供的微型记忆合金光学防抖器的活动板的底面示意图；

图11为本发明一个实施例提供的支架的结构图；

图12为本发明一个实施例提供的支架的一个状态示意图；

图13为本发明一个实施例提供的支架的另一个状态示意图；

图14为本发明一个实施例提供的安装座与手机相连接时的结构状态图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

本发明实施例的执行主体为电子设备，所述电子设备包括但不限于手机、平板电脑、笔记本电脑、带摄像头的台式电脑等。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的基于遮挡图像生成三维人脸图像方法流程图。如图1所示，本发明实施例提供的基于遮挡图像生成三维人脸图像方法，包括：

S101，识别图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值。

通常情况下，图片中会包含非人脸部分的图像，例如背景环境图像等，因此需要对图片中的人脸图像进行识别。在进行本步骤时，可以识别通过实时拍摄的方式获取的图片中的图像，也可以识别保存于终端本地的图片中的图像。

具体地，可以使用算法对图片进行人脸检测，得到目标人脸在图片中的位置，用矩形框标识目标人脸的范围，并获取该目标人脸的旋转角度。在对于人脸的特征点提取上，目前可以很好的对旋转角度小于45度的人脸进行有效的特征点提取，但是对于因为旋转角度较大而产生的大姿态人脸，由于自遮挡的原因，特征点大部分并不可见。因此预设阈值可以设置为45度，当然，本领域技术人员也可以根据实际情况进行设定。

当所述旋转角度大第一于预设阈值时，则执行步骤S102。

S102，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息。

具体的，第一特征点信息包括但不限于第一特征在图片中的坐标位置和第一特征点的纹理参数(即RGB特征的纹理参数)。在进行本步骤之前，可以预先获取一些旋转角度较大的二维人脸图像，这些二维人脸图像预先进行了可见特征点和不可见特征点的标注，同时该图像中还携带有每个可见特征点、不可见特征点对应的坐标位置、纹理值(即所在位置像素的RGB值)。利用上述二维人脸图像对回归模型进行训练，从而矫正了自遮挡下不可见的人脸特征点。

具体地，可以在三维模型数据库中获取二维人脸图像对应的不同角度的三维人像模型，举例来说，该三维人像模型可以包括9个不同姿势和表情的三维人脸，姿势可以包括1个正面和8个头部沿着坐标轴y轴旋转不同角度的模型，其中有±15，±30，±50，±70度，通过这些三维人像模型来对在二维人脸图像中的不可见特征点进行标注和信息的采集。也就是说，二维人脸图像中的可见特征点与不可见的特征点已经被标识，对于不可见特征点的标识位置是其在对应的三维空间中的正确的位置，所述第一不可见特征点信息为所述目标人脸图像不可见区域对应的信息。

具体地，回归模型是一种预测性的建模技术，其研究的是因变量(目标)和自变量(预测器)之间的关系。研究回归模型重要的方法就是回归分析，常见的回归分析数学模型有线性回归数学模型、逻辑回归数学模型、多项式回归数学模型、逐步回归数学模型、套索回归数学模型等，这些属于本领域的常用回归模型，本实施例并不限制使用的具体回归模型，上述回归模型都可用于本发明，此处不再赘述。

如图2所示，回归模型通过如下步骤进行预先训练：

S201，获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息。

如上所述，第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值，本实施例在此不再赘述。所述第二特征点包由目标人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴等若干个关键点组成，通过所述关键点的信息能够确定所述目标人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴的位置及纹理。

S202，将所述二维人脸图像输入至所述回归模型得到第三特征点信息。

具体地，所述回归模型采用的人脸特征点提取方法包括但不限于3D密集人脸特征点提取算法(3DDFA)、梯度下降法(SDM)、以及3DDFA与SAM相结合的方法。利用该输初始的回归模型迭代输出第一次的第三特征点信息R1。

S203，根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛。

具体地，获取第三特征点信息R₁与第二特征特征点信息的损失函数，根据该损失函数值对回归模型的参数进行调整优化，再将二维人脸图像输入值调整优化后的回规模中，得到第二次的第三特征点信息R₂。以此类推，直至当第n次第三特征点信息R_n与所述第二特征点信息的损失函数收敛，即完成了对回归模型的训练。

S103，将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

具体地，卷积神经网络CNN是一种深度前馈人工神经网络。CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。卷积神经网络通常包括一维卷积神经网络、二维卷积神经网络和三维卷积神经网络，现有技术已有这些卷积神经网络数学模型的大量介绍，此处不再赘述，也不对卷积神经网络的类型进行限定。

如图3所示，通过如下步骤对所述卷积神经网络模型进行预先训练：

S301，获取原始人脸特征信息和所述原始人脸信息对应的三维人脸模型。

具体地，可以从数据库中获取原始人脸特征信息和该信息对应的三维人脸模型，其中，原始人脸特征信息包括人脸特征点的坐标位置和纹理值。

原始人脸特征信息可以通过如下公式表示：

J_i＝(X₁,Y₁,...Y_n)^T，T_i＝(R₁,G₁,B₁,...R_n)^T

其中i表示特征点的序号，J表示坐标位置，T表示纹理值，X表示特征点的X坐标，Y表示特征点的Y坐标，R、G和B分别表示红色、绿色和蓝色的颜色空间，n表示图片中特征点的总数。通过特征点的坐标位置能够得到二维人脸的形状参数S。

S302，将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集。

S303，对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

具体地，卷积神经网络模型的组合系数包括α_i和β_i，α_i表示三维人脸模型中脸型向量的组合系数，β_i表示三维人脸模型中纹理向量的组合系数。

调整过程可以通过如下公式表达调整过程：

其中/>

输出数据集采用如下公式表示：

其中，S_model表示形状输出数据集，T_model表示纹理输出数据集，S₀表示形状对应的平均形状向量，T₀表示纹理值对应的平均纹理向量；W_S和W_T分别表示形状和纹理参数组成的矩阵；

和/>

分别表示三维人脸模型中脸型和纹理对应的基向量的组合参数所组成的向量。当利用第N次得到的调整系数α_N和β_N，得到的输出数据集与所述标准输出数据集收敛，说明卷积神经网络模型完成。

本发明实施例提供的基于遮挡图像生成三维人脸图像方法，通过上述方法、装置及电子设备，不仅解决了由于自遮挡造成特征点不可见导致的特征点识别定位、三维人脸图像生成困难的问题，而且进一步提升了三维人脸图像生成的效果，提高了匹配程度。

图4为本发明实施例提供的基于遮挡图像生成三维人脸图像装置结构图。如图4所示，该装置具体包括：判断模块100，识别模块200和输入模块300。其中，

判断模块100，用于识别图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；识别模块200，用于当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；输入模块300，用于将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

本发明实施例提供的基于遮挡图像生成三维人脸图像装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似，在此不再赘述。

图5为本发明实施例提供的基于遮挡图像生成三维人脸图像装置结构图。如图5所示，该装置具体包括：第一训练模块400、第二训练模块500、判断模块300，识别模块400和输入模块500。其中，

第一训练模块400，用于获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛。

第二训练模块500，用于获取原始人脸特征信息和所述原始人脸信息对应的三维人脸模型；将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集；对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

判断模块300，用于识别图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；识别模块400，用于当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；输入模块500，用于将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

本发明实施例提供的基于遮挡图像生成三维人脸图像装置具体用于执行图1-图3所示实施例提供的所述方法，其实现原理、方法和功能用途和图1-图3所示实施例类似，在此不再赘述。

上述这些本发明实施例的基于遮挡图像生成三维人脸图像装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的基于遮挡图像生成三维人脸图像方法。

图6为执行本发明方法实施例提供的基于遮挡图像生成三维人脸图像方法的电子设备的硬件结构示意图。根据图6所示，该电子设备包括：

一个或多个处理器610以及存储器620，图6中以一个处理器610为例。

执行所述的基于遮挡图像生成三维人脸图像方法的设备还可以包括：输入装置630和输出装置630。

处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述基于遮挡图像生成三维人脸图像方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述基于遮挡图像生成三维人脸图像方法。

存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的基于遮挡图像生成三维人脸图像装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器620，还可以包括非易失性存储器620，例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中，存储器620可选包括相对于处理器66远程设置的存储器620，这些远程存储器620可以通过网络连接至所述基于遮挡图像生成三维人脸图像装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可接收输入的数字或字符信息，以及产生与基于遮挡图像生成三维人脸图像装置的用户设置以及功能控制有关的键信号输入。输入装置630可包括按压模组等设备。

所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行所述基于遮挡图像生成三维人脸图像方法。

本发明实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子装置。

优选的，所述电子设备上设置有用于获取图像的图像获取设备，图像获取设备上为保证获取图像的质量往往设置有软件或硬件防抖器。现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动，而要实现光学防抖，需要在至少两个方向上驱动镜头，这意味着需要布置多个线圈，会给整体结构的微型化带来一定挑战，而且容易受外界磁场干扰，进而影响防抖效果，因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组，其通过温度变化实现记忆合金丝的拉伸和缩短，以此拉动自动聚焦音圈马达移动，实现镜头的抖动补偿，微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度，以此控制记忆合金丝的伸长和缩短，并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差。

但是申请人发现，由于抖动的随机性和不确定性，仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿，这是由于形状记忆合金的升温和降温均需要一定的时间，当抖动向第一方向发生时，上述技术方案可以实现镜头对第一方向抖动的补偿，但是当随之而来的第二方向的抖动发生时，由于记忆合金丝来不及在瞬间变形，因此容易造成补偿不及时，无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿，因此需要对其结构上进行改进，以期获得更好的图像质量，从而便于后续三维图像的生成。

结合附图8-10所示，本实施例对学防抖器进行改进，将其设计为机械防抖器3000，其具体结构如下：

本实施例的所述机械防抖器3000包括活动板3100、基板3200以及补偿机构3300，所述活动板3100和所述基板3200的中部均设有所述镜头1000穿过的通孔，所述自动聚焦音圈马达2000安装在所述活动板3100上，所述活动板3100安装在所述基板3200上，且所述基板3200的尺寸大于所述活动板3100，所述活动板3100通过其上方的自动聚焦音圈马达限位其上下的移动，所述补偿机构3300在所述处理模块的驱动下带动所述活动板3100和活动板3100上的镜头1000动作，以实现镜头1000的抖动补偿。

具体的，本实施例的所述补偿机构3300包括安装在所述基板3200四周的第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340，其中所述第一补偿组件3310和所述第三补偿组件3330相对设置，所述第二补偿组件3320与所述第四补偿组件3340相对设置，所述第一补偿组件3310与第三补偿组件3330之间的连线与所述第一补偿组件3310与第三补偿组件3330之间的连线相互垂直，即一补偿组件、第二补偿组件3320、第三补偿组件3330分别布设在活动板3100的前后左右四个方位，第一补偿组件3310可使得活动板3100向前运动，第三补偿组件3330可使得活动板3100向后运动，第二补偿组件3320可使得活动板3100向左运动，第四补偿组件3340可使得活动板3100向左运动，而且第一补偿组件3310可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，第三补偿组件3330也可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，实现可以对镜头1000在各个抖动方向上的补偿。

具体的，本实施例的所述第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340均包括驱动件3301、转轴3302、单向轴承3303以及转动齿圈3304。所述驱动件3301受控于所述处理模块，所述驱动件3301与所述转轴3302传动连接，以带动所述转轴3302转动。所述转轴3302与所述单向轴承3303的内圈相连接，以带动所述单向轴承3303的内圈转动；所述转动齿圈3304套设在所述单向轴承3303上并与所述单向轴承3303的外圈固定连接，所述转动齿圈3304的外表面沿其周向设有一圈外齿，所述活动板3100的底面设有多排均匀间隔布设的条形槽3110，所述条形槽3110与所述外齿相啮合，且所述外齿可沿所述条形槽3110的长度方向滑动；其中，所述第一补偿组件3310的单向轴承3303的可转动方向与所述第三补偿组件3330的单向轴承3303的可转动方向相反，所述第二补偿组件3320的单向轴承3303的可转动方向与所述第四补偿组件3340的单向轴承3303的可转动方向相反。

单向轴承3303是在一个方向上可以自由转动，而在另一个方向上锁死的一种轴承，当需要使得活动板3100向前移动时，第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此单向轴承3303的内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过与条形槽3110的啮合带动活动板3100向可以补偿抖动的方向运动；当抖动补偿后需要活动板3100复位时，可以通过第三补偿组件3330带动活动板3100转动，第三补偿组件3330的运行过程过程与第一补偿组件3310同理，此时，第一补偿组件3310的单向轴承3303处于可转动状态，因此第一补偿组件3310上的齿圈为与活动板3100随动状态，不会影响活动板3100的复位。

优选的，为了降低整个机械防抖器3000的整体厚度，本实施例在所述固定板的四周开设有四个贯穿的安装孔(图中未示出)，所述安装孔上安装有所述单向轴承3303和所述转动齿圈3304，通过将单向轴承3303和转动齿圈3304的部分隐藏在安装孔内，以降低整个机械防抖器3000的整体厚度。或者直接将整个补偿组件的部分置于所述安装孔内。

具体，本实施例的所述驱动件3301可以是微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴3302相连接，所述微型电机受控于所述处理模块。或者，所述驱动件3301由记忆合金丝和曲柄连杆组成，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴3302相连接，以带动所述转轴3302转动，具体为处理模块根据陀螺仪的反馈计算出记忆合金丝的伸长量，并驱动相应的电路对该形状记忆合金丝进行升温，该形状记忆合金丝伸长带动曲柄连杆机构运动，曲柄连杆机构的曲柄带动转轴3302转动，使得单向轴承3303的内圈转动，单向轴承3303处于锁死状态时，内圈带动外圈转动，转动齿圈3304通过条形槽3110带动活动板3100运动。

下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述，以镜头1000两次抖动为例，两次抖动方向相反，且需要使得活动板3100向前运动补偿一次，并随后向左运动补偿一次。需要活动板3100向前运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，随后第三补偿组件3330带动活动板3100复位。需要活动板3100向左运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第二补偿组件3320的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，而且由于转动齿圈3304的外齿可沿所述条形槽3110的长度方向滑动，在活动板3100向左运动时，活动板3100与第一补偿组件3310和第三补偿组件3330之间为滑动配合，不会影响活动板3100向左运动，在补偿结束后，再通过第四补偿组件3340带动活动板3100复位。

当然上述仅仅为简单的两次抖动，当发生多次抖动时，或者抖动的方向并非往复运动时，可以通过驱动多个补偿组件以补偿抖动，其基础工作过程与上述描述原理相同，这里不过多赘述，另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术，这里也不过多描述。

结合上述说明可知，本实施例提供的机械补偿器不仅不会受到外界磁场干扰，防抖效果好，而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿，补偿及时准确，大大改善改了获取图像的质量，简化了后续三维图像的处理难度。

进一步地，电子设备包括带有所述图像获取设备的手机。该手机包括支架，手机支架的目的是由于图像获取环境的不确定性，因此需要使用支架对手机进行支撑和固定，以期获得更稳定的图像质量。

另外，申请人发现，现有的手机支架仅仅具有支撑手机的功能，而不具有自拍杆的功能，因此申请人对支架做出第一步改进，将手机支架6000和支撑杆6200相结合，结合附图11所示，本实施例的所述支架6000包括手机安装座6100和可伸缩的支撑杆6200，支撑杆6200与手机安装座6100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接，使得支撑杆6200在转动至图12的状态时，支架6000可形成自拍杆结构，而支撑杆6200在转动至图13的状态时，支架6000可形成手机支架6000结构。

而结合上述支架结构申请人又发现，手机安装座6100与支撑杆6200结合后占用空间较大，即使支撑杆6200可伸缩，但是手机安装座6100无法进行结构的变化，体积不会进一步缩小，无法将其放入衣兜或者小型的包内，造成支架6000携带不便的问题，因此本实施例对支架6000做出第二步改进，使得支架6000的整体收容性得到进一步的提高。

结合图12-14所示，本实施例的所述手机安装座6100包括可伸缩的连接板6110和安装于连接板6110相对两端的折叠板组6120，所述支撑杆6200与所述连接板6110中部通过阻尼铰链相连接；所述折叠板组6120包括第一板体6121、第二板体6122及第三板体6123，其中，所述第一板体6121的相对两端中的一端与所述连接板6110相铰接，所述第一板体6121的相对两端中的另一端与所述第二板体6122的相对两端中的一端相铰接；所述第二板体6122相对两端的另一端与所述第三板体6123相对两端中的一端相铰接；所述第二板体6122设有供手机边角插入的开口6130。

结合附图14所示，所述手机安装座6100用于安装手机时，所述第一板体6121、第二板体6122和第三板体6123折叠呈直角三角形状态，所述第二板体6122为直角三角形的斜边，所述第一板体6121和所述第三板体6123为直角三角形的直角边，其中，所述第三板体6123的一个侧面与所述连接板6110的一个侧面并排贴合，所述第三板体6123相对两端中的另一端与所述第一板体6121相对两端中的一端相抵，该结构可以使得三个折叠板处于自锁状态，并且将手机下部的两个边角插入到两侧的两个开口6130时，手机5000的下部两侧位于两个直角三角形内，通过手机、连接板6110和折叠板组6120件的共同作可以完成手机5000的固定，三角形状态在外力情况下无法打开，只有从开口6130抽出手机后才能解除折叠板组6120件的三角形状态。

而在手机安装座6100不处于工作状态时，将连接板6110缩小至最小长度，并且将折叠板组6120件与连接板6110相互折叠，用户可以将手机安装座6100折叠呈最小体积，而由于支撑杆6200的可伸缩性，因此可以将整个支架6000收容呈体积最小的状态，提高了支架6000的收荣幸，用户甚至可以直接将支架6000放入衣兜或小的手包内，十分方便。

优选的，本实施例还在所述第三板体6123的一个侧面设有第一连接部，所述连接板6110与所述第三板体6123相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架6000手机安装座6100用于安装手机时，所述第一连接部和所述第一配合部卡合连接。具体的，本实施例的第一连接部为一个凸条或凸起(图中未示出)，第一配合部为开设在连接板6110上的卡槽(图中未示出)。该结构不仅提高了折叠板组6120件处于三角形状态时的稳定性，而且在需要将手机安装座6100折叠至最小状态时也便于折叠板组6120件与连接板6110的连接。

优选的，本实施例还在所述第一板体6121相对两端中的一端设有第二连接部，所述第三板体6123相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架6000手机安装座6100用于安装手机时，所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出)，第二配合部为与凸起相配合的开口6130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性

另外，本实施例还可以在所述支撑杆6200的另一端可拆卸连接有底座(图中未示出)，在需要固定手机并且使手机5000具有一定高度时，可以将支撑杆6200拉伸呈一定长度，并通过底座将支架6000置于一个平面上，再将手机放置到手机安装座6100内，完成手机的固定；而支撑杆6200和底座的可拆卸连接可以使得两者可以单独携带，进一步提高了支架6000的收容性和携带的方便性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的基于遮挡图像生成三维人脸图像方法。

本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的基于遮挡图像生成三维人脸图像方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于遮挡图像生成三维人脸图像的方法，其特征在于，包括：

识别获取的图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；

当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；所述回归模型通过如下步骤进行预先训练：获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛；所述第二特征点信息包括二维人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴关键点，通过所述关键点的信息能够确定二维人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴的位置及纹理；

将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像；

所述图片通过图像获取设备获取，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取所述图片，所述图像传感器将所述镜头获取的图片传输至识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，处理器根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿；

所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有供所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理器的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线和所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理器，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型通过如下步骤进行预先训练：

获取原始人脸特征信息和所述原始人脸特征信息对应的三维人脸模型；

将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集；

对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

3.根据权利要求1所述方法，其特征在于，所述第一特征点信息包括第一特征点的坐标位置和第一特征点的纹理参数。

4.根据权利要求1所述的方法，其特征在于，所述第一不可见特征点信息为所述目标人脸图像不可见区域对应的信息。

5.一种电子设备，其特征在于，包括：

图像获取设备；

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下步骤：

识别获取的图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；

当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；所述回归模型通过如下步骤进行预先训练：获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛；所述第二特征点信息包括二维人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴关键点，通过所述关键点的信息能够确定二维人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴的位置及纹理；

将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像；

所述图像获取设备用于获取所述图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取所述图片，所述图像传感器将所述镜头获取的图片传输至识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，处理器根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿；

所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有供所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理器的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线和所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理器，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。

Images