CN109271911B - 基于光线的三维人脸优化方法、装置及电子设备 - Google Patents
基于光线的三维人脸优化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109271911B CN109271911B CN201811031365.5A CN201811031365A CN109271911B CN 109271911 B CN109271911 B CN 109271911B CN 201811031365 A CN201811031365 A CN 201811031365A CN 109271911 B CN109271911 B CN 109271911B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- dimensional
- model
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 45
- 238000005457 optimization Methods 0.000 title abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 12
- 239000000758 substrate Substances 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000013016 damping Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本发明实施例提供一种基于光线的三维人脸优化方法、装置及电子设备，所包括：获取目标图片，判断所述目标图片中的人脸图像是否处于非均匀光线条件；若所述人脸图像处于非均匀光线条件，将所述人脸图像输入至预先训练的图像生成模型，得到对所述人脸图像进行光线调整后的优化人脸图像；基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。对在光照环境较差的情况下所拍摄的人脸图像进行优化，从而得到清晰的人脸；同时仅需单张图片即可生成三维人脸，降低成本。
Description
技术领域
本发明涉及图象处理技术领域，尤其涉及一种基于光线的三维人脸优化方法、装置及电子设备。
背景技术
三维人脸重建在医疗、教育、娱乐等领域目前已经得到了非常广泛的应用。发明人在实现本发明的过程中发现，在三维人脸重建的过程中，利用多张图片多个角度来拼合成三维模型，但由于需要大量的图片，所以重建过程繁琐复杂，需要花费较长的时间；此外，在重建过程需要对人脸图像中的人脸关键点进行定位，以生成人脸关键点的位置信息，而在光照环境较差的情况下(例如逆光、侧光等情况)，人脸的图像信息不清晰，导致最后生成的三维人脸误差较大。此外，手机等移动装置越来越多的开始使用三维人脸重建技术，而三维人脸重建所需的大量二位图片往往通过手机摄像头获取，手机在拍摄中易产生抖动，会影响到图像的获取质量，从而间接影响到后续的三维人脸重建效果。
发明内容
本发明实施例提供的基于光线的三维人脸优化方法、装置及电子设备，用以至少解决相关技术中的上述问题。
本发明实施例一方面提供了一种基于光线的三维人脸优化方法，包括：
判断获取的目标图片中的人脸图像是否光照不均匀；
若所述人脸图像存在光照不均匀现象，则对所述人脸图像进行光线调整，以获得优化人脸图像；
基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；
根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
进一步地，所述判断获取的目标图片中的人脸图像是否光照不均匀的步骤包括：
获得所述目标图片的灰度直方图；
根据所述灰度直方图计算所述目标图片的灰度级分布方差；
将所述灰度级分布方差与灰度级分布临界方差进行比较，当所述灰度级分布方差大于或等于所述灰度级分布临界方差时，确定所述目标图片中的人脸图像存在光照不均匀。
进一步地，所述对所述人脸图像进行光线调整，以获得优化人脸图像的步骤包括：
获取训练样本和初始图像生成模型，所述训练样本包括多个在非正面均匀光源条件下生成的第一图像、以及在正面均匀光源条件下生成的与所述第一图像对应的第二图像；
利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到图像生成模型；
利用所述图像生成模型对所述人脸图像进行光线调整，以获得优化人脸图像。
进一步地，所述利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到所述图像生成模型，包括：
将所述第一图像输入至所述初始图像生成模型中，得到输出的优化第一图像；
将所述优化第一图像、所述第二图像作为判别网络的输入，对所述判别网络进行训练，确定训练后的所述判别网络的参数；
将所述第一图像作为所述初始图像生成模型的输入，对所述初始图像生成模型进行训练；
将训练后的所述初始图像生成模型输出的优化第一图像和所述第二图像输入至所述训练后的所述判别网络，确定所述训练后的所述判别网络的损失函数值；
当所述损失函数值收敛，将所述初始图像生成模型确定为所述图像生成模型。
进一步地，所述卷积神经网络模型通过如下步骤进行训练：
搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型；
获取用于训练所述卷积神经网络模型的数据集，所述数据集中包括若干二维人脸图片和所述二维人脸图片对应的三维人像扫描数据；
对所述二维人脸图片进行预处理得到人脸特征点信息；
将所述人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息；
利用交叉熵损失函数对所述卷积神经网络的参数进行优化，直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。
进一步地，通过图像获取设备获取所述目标图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像(图片)，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿。
进一步地，所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理模块，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。
进一步地，所述固定板的四周开设有四个贯穿的安装孔，所述安装孔上安装有所述单向轴承和所述转动齿圈。
进一步地，所述驱动件为微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴相连接；或，所述驱动件包括记忆合金丝和曲柄连杆，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴相连接，以带动所述转轴转动。
进一步地，所述图像获取设备设置在手机上，手机包括支架。所述支架包括手机安装座和可伸缩的支撑杆；所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组，所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接；所述折叠板组包括第一板体、第二板体及第三板体，其中，所述第一板体的相对两端中的一端与所述连接板相铰接，所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接；所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接；所述第二板体设有供手机边角插入的开口；所述手机安装座用于安装手机时，所述第一板体、第二板体和第三板体折叠呈直角三角形状态，所述第二板体为直角三角形的斜边，所述第一板体和所述第三板体为直角三角形的直角边，其中，所述第三板体的一个侧面与所述连接板的一个侧面并排贴合，所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。
进一步地，所述第三板体的一个侧面设有第一连接部，所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架手机安装座用于安装手机时，所述第一连接部和所述第一配合部卡合连接。
进一步地，所述第一板体相对两端中的一端设有第二连接部，所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架手机安装座用于安装手机时，所述第二连接部和所述第二配合部卡合连接。
进一步地，所述支撑杆的另一端可拆卸连接有底座。
本发明实施例的另一方面提供了一种基于光线的三维人脸优化装置，包括：
判断模块，用于判断获取的目标图片中的人脸图像是否光照不均匀；
优化模块，若所述人脸图像存在光照不均匀现象，则对所述人脸图像进行光线调整，以获得优化人脸图像；
获取模块，用于基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；
处理模块，用于根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
进一步地，所述判断模块具体用于：
获得所述目标图片的灰度直方图；
根据所述灰度直方图计算所述目标图片的灰度级分布方差；
将所述灰度级分布方差与灰度级分布临界方差进行比较，当所述灰度级分布方差大于或等于所述灰度级分布临界方差时，确定所述目标图片中的人脸图像存在光照不均匀。
进一步地，所述优化模块还包括第一训练模块，所述第一训练模块用于：
获取训练样本和初始图像生成模型，所述训练样本包括多个在非正面均匀光源条件下生成的第一图像、以及在正面均匀光源条件下生成的与所述第一图像对应的第二图像；
利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到图像生成模型；
利用所述图像生成模型对所述人脸图像进行光线调整，以获得优化人脸图像。
进一步地，所述第一训练模块还用于：
将所述第一图像输入至所述初始图像生成模型中，得到输出的优化第一图像；
将所述优化第一图像、所述第二图像作为判别网络的输入，对所述判别网络进行训练，确定训练后的所述判别网络的参数；
将所述第一图像作为所述初始图像生成模型的输入，对所述初始图像生成模型进行训练；
将训练后的所述初始图像生成模型输出的优化第一图像和所述第二图像输入至所述训练后的所述判别网络，确定所述训练后的所述判别网络的损失函数值；
当所述损失函数值收敛，将所述初始图像生成模型确定为所述图像生成模型。
进一步地，所述装置还包括第二训练模块，所述第二训练模块用于，搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型；获取用于训练所述卷积神经网络模型的数据集，所述数据集中包括若干二维人脸图片和所述二维人脸图片对应的三维人像扫描数据；对所述二维人脸图片进行预处理得到人脸特征点信息；将所述人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息；利用交叉熵损失函数对所述卷积神经网络的参数进行优化，直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。
本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项基于光线的三维人脸优化方法。
由以上技术方案可见，本发明实施例提供的基于光线的三维人脸优化方法、装置及电子设备，对在光照环境较差的情况下(例如逆光、侧光等情况)所拍摄的人脸图像进行优化，从而得到清晰的人脸；同时仅需单张图片即可生成三维人脸图像，通过卷积神经网络模型可自动生成更准确和更逼真的人脸表情和姿态，且无需硬件的支持，多方面降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的基于光线的三维人脸优化方法流程图；
图2为本发明一个实施例提供的基于光线的三维人脸优化方法流程图；
图3为本发明一个实施例提供的基于光线的三维人脸优化方法流程图；
图4为本发明一个实施例提供的基于光线的三维人脸优化装置结构图；
图5为本发明一个实施例提供的基于光线的三维人脸优化装置结构图；
图6为执行本发明方法实施例提供的执行光线的三维人脸优化方法的电子设备的硬件结构示意图；
图7为本发明一个实施例提供的图像获取设备的结构图；
图8为本发明一个实施例提供的光学防抖器的结构图；
图9为图8的A部放大图；
图10为本发明一个实施例提供的微型记忆合金光学防抖器的活动板的底面示意图；
图11为本发明一个实施例提供的支架的结构图；
图12为本发明一个实施例提供的支架的一个状态示意图；
图13为本发明一个实施例提供的支架的另一个状态示意图；
图14为本发明一个实施例提供的安装座与手机相连接时的结构状态图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的基于光线的三维人脸优化方法流程图。如图1所示，本发明实施例提供的基于光线的三维人脸优化方法，包括：
S101，获取目标图片，判断所述目标图片中的人脸图像是否处于非均匀光线条件。
在本步骤中，目标图片可以是实时拍摄的图片，也可以是保存于终端的本地的图片中的图像。当目标图片是在逆光或者侧光条件下拍摄的，目标图片中的人脸就处在非均匀的光线条线中，从而使得人像的五官不清晰，导致生成的三维人脸图像有误差。因此，在本步骤中，获取目标图片后，首先需要判断目标图片中的人脸图像是否处于非均匀光线条件。
作为本发明实施例的可选实施方式，在判断人脸图像是否处于非均匀光线条件时，首先对目标图片进行处理，得到该目标图片的灰度直方图；
根据该灰度直方图计算该目标图片的灰度级分布方差；将该灰度级分布方差与灰度级分布临界方差进行比较，当灰度级分布方差大于或等于灰度级分布临界方差时，确定目标图片中的人脸图像处于非均匀光线条件。
具体地，图片的灰度直方图可以明确地表示图像的明暗分布，并且其分布与图像的内容无关。一般来说，逆光或侧光场景和非逆光、侧光场景的灰度直方图的分布是完全不同的。逆光或侧光场景的灰度直方图分布是极亮和极暗灰度级上的像素分布高，而非逆光、侧光场景的像素主要集中在中间的灰度级上。因此，对于逆光或侧光的灰度直方图，其灰度级分布方差很大；而对于非逆光、侧光场景的灰度直方图，其灰度级分布方差很小。
在进行本步骤之前，可以通过多张图片(包括逆光、侧光、非逆光、非侧光)得到灰度级分布的临界方差，大于该临界方差则确定为逆光或侧光图片，即目标图片处于非均匀光线条件；小于该临界方差则确定为非逆光、侧光图片，即目标图片处于均匀光线条件。
当确定人脸图像处于非均匀光线条件，则执行步骤S102。
S102，将所述人脸图像输入至预先训练的图像生成模型，得到对所述人脸图像进行光线调整后的优化人脸图像。
具体地，优化人脸图像可以是在均匀光源条件下所呈现的人脸图像，在此条件下能够得到清晰的人脸五官。需要说明的是，图像生成模型可以用于对在非正面均匀光源条件下所拍摄的人脸图像进行光线调整以生成正面均匀光源条件下的人脸图像。
作为示例，图像生成模型可以是预先利用机器学习方法，基于训练样本对用于进行图像处理的模型(例如，现有的卷积神经网络模型等)进行训练后所得到的模型。上述卷积神经网络可以包括卷积层、池化层、反池化层和反卷积层，卷积神经网络的最后一个反卷积层可以输出优化人脸图像，所输出的优化人脸图像可以用RGB三通道的矩阵进行表达，且所输出的优化人脸图像的尺寸可以与目标图片中的人脸图像相同。
如图2所示，图像生成模型可以通过如下步骤进行训练：
S1021，获取训练样本和初始图像生成模型(现有技术，此处不做赘述)，所述训练样本包括多个在非正面均匀光源条件下生成的第一图像、以及在正面均匀光源条件下生成的与所述第一图像对应的第二图像。
S1022，利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到所述图像生成模型。
作为本发明实施例的可选实施方式，可以确定一个初始图像生成模型以及该模型中的初始参数，并通过设置判别网络来对初始图像生成模型的输出结果进行评价修正。具体地，首先，将训练样本中的第一图像输入至初始图像生成模型中，得到该初始图像生成模型输出的优化第一图像；其次，将该优化第一图像、该优化第一图像对应的第二图像作为判别网络的输入，对该判别网络进行训练，确定并固定训练后的该判别网络的参数，将利用该参数评价修正修正后续的输出结果；再次，将上述第一图像作为初始图像生成模型的输入，对初始图像生成模型进行训练，不断对该模型的初始参数进行调整修正；最后，将训练后的初始图像生成模型输出的优化第一图像和该优化第一图像对应的第二图像输入至上述训练后的判别网络，确定该训练后的所述判别网络的损失函数值，当所述损失函数值收敛，将所述初始图像生成模型确定为所述图像生成模型。
上述损失函数的值可以用于表征上述图像生成模型输出的优化第一图像与上述第二图像的差异程度。损失函数越小，上述优化第一图像与上述第二图像的差异程度越小。示例性地，上述损失函数可以使用欧氏距离函数、hingle函数等。
S103，基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息。
具体地，第一三维人脸参数信息包括人脸形状信息和人脸表情信息，将步骤S102中得到的人脸图像输入至预先训练的卷积神经网络模型，输出该第一三维人脸模型参数信息。
在进行本步骤之前，需要训练卷积神经网络模型。如图3所示，对卷积神经网络模型的训练可以包括如下步骤：
S1031，搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型。
S1032，获取用于训练所述卷积神经网络模型的数据集，所述数据集中包括若干二维人脸图片和所述二维人脸图片对应的三维人像扫描数据。
需要说明是，步骤S1031和步骤S1032没有先后顺序的限制，可以先获取数据集、再进行卷积神经网络模型的搭建，也可以先进行卷及神经网络模型的搭建、在获取数据集，本发明在此不做限制。
具体来说，本步骤中获取输入样本数据集的方式包括从互联网上直接下载图片作为输入样本数据集，以及人为拍摄图片作为输入样本数据集，其中人为拍摄的图片可以包括不同种族的人的图片、不同光影效果的人的图片。三维人像扫描数据主要包括人脸的姿态信息(比如人脸的倾斜角度、偏转角度、转动角度等、人脸特征点的形状参数以及人脸特征点的表情参数。
S1033，对所述二维人脸图片进行预处理得到人脸特征点信息。
具体地，人脸特征点信息包括但不限于人脸特征点在图片中的坐标参数值以及纹理参数(即RGB特征的纹理参数)。相关技术中包括许多识别人脸图像的识别方法，例如可以根据图像的边缘信息和/或颜色信息等识别出人脸图像的范围，在本实施例中，通过识别预先定义的关键点，基于检测到的关键点确定人脸特征点信息。例如，人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴等分别有若干个所述关键点组成，即通过所述关键点的坐标位置能够确定所述人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴的位置及纹理。
作为本步骤的一种可选实施方式，可以利用人像特征点识别算法来获取人脸特征点信息。对于人脸特征点识别算法的训练可以包括如下步骤：首先，获取一定数量的训练集，该训练集中为携带有人脸特征点信息的图片；其次，利用该训练集训练形成初始回归函数r0和初始训练集；再次，利用该初始训练集和初始回归函数r0迭代形成下一次训练集和回归函数rn；每次迭代回归函数均使用梯度提升算法进行学习，从而当第n次训练集与训练集中的人脸特征点信息满足收敛条件时，则其对应的回归函数rn即为训练完成的人脸特征点识别算法。
在本步骤中，使用算法对图片进行人脸检测，得到人脸在图片中的位置,用范围矩形框标识人脸的范围，例如(左，上，右，下)。通过训练好的特征点识别算法中的回归函数对输入人像照片识别得到第一预设数量的特征点、以及每个人脸特征点坐标(xi，yi)，其中，i代表识别得到的第i个特征点，第一预设数量可以是68个,包括眉毛,眼睛,鼻子,嘴巴,脸庞的关键点。对每个人脸特征点，根据其坐标(xi，yi)以及高斯算法形成一个代表该特征点周围第二预设数量像素的纹理参数(Ri，Gi，Bi)。可选地，该第二预设数量可以是6个、8个等，本发明在此不做限定。
S1034，将所述人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息。
在本步骤中，卷积神经该算法每次输入的是人脸特征点信息，该人脸特征点信息可以反映当前人脸形状的信息，算法的输出为第二三维人脸模型参数p。该算法使用卷积神经网络拟合从输入到输出的映射函数，网络结构包含了4个卷积层，3个池化层和2个全连接层。通过级联多个卷积神经网络直至在训练集上收敛，根据当前预测的人脸形状更新，并作为下一级卷积神经网络的输入。
该网络的前两个卷积层通过权值共享的方法抽取面部特征，后两个卷积层通过局部感知抽取面部特征，进一步回归一个256维空间的特征向量，输出的一个234维空间的特征向量，第二三维人脸模型参数p。其中包括人脸姿态参数[f,pitch,yaw,roll,t2dx,t2dy]，形状参数αid，表情参数αexp。其中，f是比例因子、pitch为倾斜角度、yaw为偏转角度、roll为转动角度，t2dx、t2dy是偏置项。
S1035，利用交叉熵损失函数对所述卷积神经网络的参数进行优化，直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。
在深度学习中，损失函数是模型数据拟合程度的反映，当拟合的结果越差，损失函数的值就会越大。总体上来看，在经过k(k＝0,1,...K)次迭后，经过一个初始化的参数的变化后会得到参数pk，根据上述三维人像扫描数据训练一个神经网络NetK来预测参数p，不断的更新pk。该网络用数学公式表示如下：
△pk＝NetK(I，PNCC(pk))
经过网络模型的每一次迭代都会得到一个更好的参数pk+1＝pk+△pk作为下一层网络的输入，其中的结构和NetK一样，直至pk+1与所述三维人像扫描数据的损失函数收敛到预设阈值，说明卷及神经网络模型训练完成。
S104，根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
人脸共性较多，正常人脸都是有一个鼻子、两只眼睛、一个嘴巴、两只耳朵，从上到下，从左到右顺序都不变，所以可以首先建三维平均人脸模型，因为人脸的相似性较大，总是可以从一张正常人脸变化到另外一张正常人脸，通过计算变化量来改变平均人脸模型，所以这也就是三维人脸重建的基础。
具体地，首先，根据所述人脸形状信息和所述人脸表情信息对所述三维平均人脸模型进行处理，得到初始三维人脸模型。
具体地，可以根据如下公式进行处理：
S＝S0+Aid*αid+Aexp*αexp
上式中S是初始三维人脸模型，S0是平均人脸模型，Aid是形状的基向量，αid是形状参数，Aexp是表情的基向量，αexp是表情参数。Aexp和Aexp均是分别利用现有算法预先求得的。
其次，根据所述人脸姿态信息对所述初始三维人脸图像进行调整，得到所述人脸对应的三维人脸图像。
具体地，初始三维人脸模型通过弱透视投影将人脸模型投影到图像平面上，得到所述人脸对应的三维人脸图像，公式表示如下：
V(p)＝F*Pr*R(S0+Aidαid+Aexpαexp)+t2d
上式中V(p)就是重建的所述人脸对应的三维人脸图像，f是比例因子，Pr是直角投影矩阵，R是旋转矩阵，由倾斜角度(pitch)、偏转角度(yaw)、转动角度(roll)组成，是根据特征点识别到的二维图像中人脸的姿态信息得到的。
本发明实施例提供的基于光线的三维人脸优化方法，对在光照环境较差的情况下(例如逆光、侧光等情况)所拍摄的人脸图像进行优化，从而得到清晰的人脸；同时仅需单张图片即可生成三维人脸图像，通过卷积神经网络模型可自动生成更准确和更逼真的人脸表情和姿态，且无需硬件的支持，多方面降低成本。
图4为本发明实施例提供的基于光线的三维人脸优化装置结构图。如图4所示，该装置具体包括：判断模块100，优化模块200，获取模块300和处理模块400。其中，
判断模块100，用于获取目标图片，判断所述目标图片中的人脸图像是否处于非均匀光线条件；优化模块200，用于若所述人脸图像处于非均匀光线条件，将所述人脸图像输入至预先训练的图像生成模型，得到对所述人脸图像进行光线调整后的优化人脸图像；获取模块300，用于基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；处理模块400，用于根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
本发明实施例提供的基于光线的三维人脸优化装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似，在此不再赘述。
图5为本发明实施例提供的基于光线的三维人脸优化装置结构图。如图5所示，该装置具体包括：第一训练模块500，第二训练模块600，判断模块100，优化模块200，获取模块300和处理模块400。其中，
判断模块100，用于获取目标图片，判断所述目标图片中的人脸图像是否处于非均匀光线条件；优化模块200，用于若所述人脸图像处于非均匀光线条件，将所述人脸图像输入至预先训练的图像生成模型，得到对所述人脸图像进行光线调整后的优化人脸图像；获取模块300，用于基于预先训练的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；处理模块400，用于根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
第一训练模块500用于，获取训练样本和初始图像生成模型，所述训练样本包括多个在非正面均匀光源条件下生成的第一图像、以及在正面均匀光源条件下生成的与所述第一图像对应的第二图像；利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到所述图像生成模型。
第二训练模块600用于，搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型；获取用于训练所述卷积神经网络模型的数据集，所述数据集中包括若干二维人脸图片和所述二维人脸图片对应的三维人像扫描数据；对所述二维人脸图片进行预处理得到人脸特征点信息；将所述人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息；利用交叉熵损失函数对所述卷积神经网络的参数进行优化，直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。
可选地，判断模块100用于，对所述目标图片进行处理，得到所述目标图片的灰度直方图；根据所述灰度直方图计算所述目标图片的灰度级分布方差；将所述灰度级分布方差与灰度级分布临界方差进行比较，当所述灰度级分布方差大于或等于所述灰度级分布临界方差时，确定所述目标图片中的人脸图像处于非均匀光线条件。
可选地，第一训练模块500还用于，将所述第一图像输入至所述初始图像生成模型中，得到输出的优化第一图像；将所述优化第一图像、所述第二图像作为判别网络的输入，对所述判别网络进行训练，确定训练后的所述判别网络的参数；将所述第一图像作为所述初始图像生成模型的输入，对所述初始图像生成模型进行训练；将训练后的所述初始图像生成模型输出的优化第一图像和所述第二图像输入至所述训练后的所述判别网络，确定所述训练后的所述判别网络的损失函数值；当所述损失函数值收敛，将所述初始图像生成模型确定为所述图像生成模型。
本发明实施例提供的基于光线的三维人脸优化装置具体用于执行图1-图3所示实施例提供的所述方法，其实现原理、方法和功能用途和图1-图3所示实施例类似，在此不再赘述。
上述这些本发明实施例的基于光线的三维人脸优化装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的基于光线的三维人脸优化方法。
图6为执行本发明方法实施例提供的基于光线的三维人脸优化方法的电子设备的硬件结构示意图。根据图6所示，该电子设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
执行所述的基于光线的三维人脸优化方法的设备还可以包括：输入装置630和输出装置630。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述基于光线的三维人脸优化方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述基于光线的三维人脸优化方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的基于光线的三维人脸优化装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器620，还可以包括非易失性存储器620，例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中，存储器620可选包括相对于处理器66远程设置的存储器620，这些远程存储器620可以通过网络连接至所述基于光线的三维人脸优化装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与基于光线的三维人脸优化装置的用户设置以及功能控制有关的键信号输入。输入装置630可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行所述基于光线的三维人脸优化方法。
本发明实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
优选的，所述电子设备上设置有用于获取图像的图像获取设备，图像获取设备上为保证获取图像的质量往往设置有软件或硬件防抖器。现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动，而要实现光学防抖，需要在至少两个方向上驱动镜头，这意味着需要布置多个线圈，会给整体结构的微型化带来一定挑战，而且容易受外界磁场干扰，进而影响防抖效果，因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组，其通过温度变化实现记忆合金丝的拉伸和缩短，以此拉动自动聚焦音圈马达移动，实现镜头的抖动补偿，微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度，以此控制记忆合金丝的伸长和缩短，并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻，通过比较这个电阻值与目标值的偏差，可以校正微型记忆合金光学防抖致动器上的移动偏差。
但是申请人发现，由于抖动的随机性和不确定性，仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿，这是由于形状记忆合金的升温和降温均需要一定的时间，当抖动向第一方向发生时，上述技术方案可以实现镜头对第一方向抖动的补偿，但是当随之而来的第二方向的抖动发生时，由于记忆合金丝来不及在瞬间变形，因此容易造成补偿不及时，无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿，因此需要对其结构上进行改进，以期获得更好的图像质量，从而便于后续三维图像的生成。
结合附图8-10所示，本实施例对学防抖器进行改进，将其设计为机械防抖器3000，其具体结构如下：
本实施例的所述机械防抖器3000包括活动板3100、基板3200以及补偿机构3300，所述活动板3100和所述基板3200的中部均设有所述镜头1000穿过的通孔，所述自动聚焦音圈马达2000安装在所述活动板3100上，所述活动板3100安装在所述基板3200上，且所述基板3200的尺寸大于所述活动板3100，所述活动板3100通过其上方的自动聚焦音圈马达限位其上下的移动，所述补偿机构3300在所述处理模块的驱动下带动所述活动板3100和活动板3100上的镜头1000动作，以实现镜头1000的抖动补偿。
具体的，本实施例的所述补偿机构3300包括安装在所述基板3200四周的第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340，其中所述第一补偿组件3310和所述第三补偿组件3330相对设置，所述第二补偿组件3320与所述第四补偿组件3340相对设置，所述第一补偿组件3310与第三补偿组件3330之间的连线与所述第一补偿组件3310与第三补偿组件3330之间的连线相互垂直，即一补偿组件、第二补偿组件3320、第三补偿组件3330分别布设在活动板3100的前后左右四个方位，第一补偿组件3310可使得活动板3100向前运动，第三补偿组件3330可使得活动板3100向后运动，第二补偿组件3320可使得活动板3100向左运动，第四补偿组件3340可使得活动板3100向左运动，而且第一补偿组件3310可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，第三补偿组件3330也可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动，实现可以对镜头1000在各个抖动方向上的补偿。
具体的，本实施例的所述第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340均包括驱动件3301、转轴3302、单向轴承3303以及转动齿圈3304。所述驱动件3301受控于所述处理模块，所述驱动件3301与所述转轴3302传动连接，以带动所述转轴3302转动。所述转轴3302与所述单向轴承3303的内圈相连接，以带动所述单向轴承3303的内圈转动；所述转动齿圈3304套设在所述单向轴承3303上并与所述单向轴承3303的外圈固定连接，所述转动齿圈3304的外表面沿其周向设有一圈外齿，所述活动板3100的底面设有多排均匀间隔布设的条形槽3110，所述条形槽3110与所述外齿相啮合，且所述外齿可沿所述条形槽3110的长度方向滑动；其中，所述第一补偿组件3310的单向轴承3303的可转动方向与所述第三补偿组件3330的单向轴承3303的可转动方向相反，所述第二补偿组件3320的单向轴承3303的可转动方向与所述第四补偿组件3340的单向轴承3303的可转动方向相反。
单向轴承3303是在一个方向上可以自由转动，而在另一个方向上锁死的一种轴承，当需要使得活动板3100向前移动时，第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此单向轴承3303的内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过与条形槽3110的啮合带动活动板3100向可以补偿抖动的方向运动；当抖动补偿后需要活动板3100复位时，可以通过第三补偿组件3330带动活动板3100转动，第三补偿组件3330的运行过程过程与第一补偿组件3310同理，此时，第一补偿组件3310的单向轴承3303处于可转动状态，因此第一补偿组件3310上的齿圈为与活动板3100随动状态，不会影响活动板3100的复位。
优选的，为了降低整个机械防抖器3000的整体厚度，本实施例在所述固定板的四周开设有四个贯穿的安装孔(图中未示出)，所述安装孔上安装有所述单向轴承3303和所述转动齿圈3304，通过将单向轴承3303和转动齿圈3304的部分隐藏在安装孔内，以降低整个机械防抖器3000的整体厚度。或者直接将整个补偿组件的部分置于所述安装孔内。
具体，本实施例的所述驱动件3301可以是微型电机，所述微型电机与所述处理模块电连接，所述微型电机的转动输出端与所述转轴3302相连接，所述微型电机受控于所述处理模块。或者，所述驱动件3301由记忆合金丝和曲柄连杆组成，所述记忆合金丝一端固定于所述固定板上，并与所述处理模块通过电路相连接，所述记忆合金丝另一端通过所述曲柄连杆与所述转轴3302相连接，以带动所述转轴3302转动，具体为处理模块根据陀螺仪的反馈计算出记忆合金丝的伸长量，并驱动相应的电路对该形状记忆合金丝进行升温，该形状记忆合金丝伸长带动曲柄连杆机构运动，曲柄连杆机构的曲柄带动转轴3302转动，使得单向轴承3303的内圈转动，单向轴承3303处于锁死状态时，内圈带动外圈转动，转动齿圈3304通过条形槽3110带动活动板3100运动。
下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述，以镜头1000两次抖动为例，两次抖动方向相反，且需要使得活动板3100向前运动补偿一次，并随后向左运动补偿一次。需要活动板3100向前运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，随后第三补偿组件3330带动活动板3100复位。需要活动板3100向左运动补偿时，陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块，处理模块计算出需要活动板3100的运动距离，进而驱动第二补偿组件3320的驱动件3301使得转轴3302带动单向轴承3303的内圈转动，此时，单向轴承3303处于锁死状态，因此内圈可以带动外圈转动，进而带动转动齿圈3304转动，转动齿圈3304通过条形槽3110带动活动板3100向前运动，而且由于转动齿圈3304的外齿可沿所述条形槽3110的长度方向滑动，在活动板3100向左运动时，活动板3100与第一补偿组件3310和第三补偿组件3330之间为滑动配合，不会影响活动板3100向左运动，在补偿结束后，再通过第四补偿组件3340带动活动板3100复位。
当然上述仅仅为简单的两次抖动，当发生多次抖动时，或者抖动的方向并非往复运动时，可以通过驱动多个补偿组件以补偿抖动，其基础工作过程与上述描述原理相同，这里不过多赘述，另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术，这里也不过多描述。
结合上述说明可知，本实施例提供的机械补偿器不仅不会受到外界磁场干扰，防抖效果好，而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿，补偿及时准确，大大改善改了获取图像的质量，简化了后续三维图像的处理难度。
进一步地，电子设备包括带有所述图像获取设备的手机。该手机包括支架，手机支架的目的是由于图像获取环境的不确定性，因此需要使用支架对手机进行支撑和固定，以期获得更稳定的图像质量。
另外，申请人发现，现有的手机支架仅仅具有支撑手机的功能，而不具有自拍杆的功能，因此申请人对支架做出第一步改进，将手机支架6000和支撑杆6200相结合，结合附图11所示，本实施例的所述支架6000包括手机安装座6100和可伸缩的支撑杆6200，支撑杆6200与手机安装座6100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接，使得支撑杆6200在转动至图12的状态时，支架6000可形成自拍杆结构，而支撑杆6200在转动至图13的状态时，支架6000可形成手机支架6000结构。
而结合上述支架结构申请人又发现，手机安装座6100与支撑杆6200结合后占用空间较大，即使支撑杆6200可伸缩，但是手机安装座6100无法进行结构的变化，体积不会进一步缩小，无法将其放入衣兜或者小型的包内，造成支架6000携带不便的问题，因此本实施例对支架6000做出第二步改进，使得支架6000的整体收容性得到进一步的提高。
结合图12-14所示，本实施例的所述手机安装座6100包括可伸缩的连接板6110和安装于连接板6110相对两端的折叠板组6120，所述支撑杆6200与所述连接板6110中部通过阻尼铰链相连接；所述折叠板组6120包括第一板体6121、第二板体6122及第三板体6123，其中，所述第一板体6121的相对两端中的一端与所述连接板6110相铰接，所述第一板体6121的相对两端中的另一端与所述第二板体6122的相对两端中的一端相铰接；所述第二板体6122相对两端的另一端与所述第三板体6123相对两端中的一端相铰接；所述第二板体6122设有供手机边角插入的开口6130。
结合附图14所示，所述手机安装座6100用于安装手机时，所述第一板体6121、第二板体6122和第三板体6123折叠呈直角三角形状态，所述第二板体6122为直角三角形的斜边，所述第一板体6121和所述第三板体6123为直角三角形的直角边，其中，所述第三板体6123的一个侧面与所述连接板6110的一个侧面并排贴合，所述第三板体6123相对两端中的另一端与所述第一板体6121相对两端中的一端相抵，该结构可以使得三个折叠板处于自锁状态，并且将手机下部的两个边角插入到两侧的两个开口6130时，手机5000的下部两侧位于两个直角三角形内，通过手机、连接板6110和折叠板组6120件的共同作可以完成手机5000的固定，三角形状态在外力情况下无法打开，只有从开口6130抽出手机后才能解除折叠板组6120件的三角形状态。
而在手机安装座6100不处于工作状态时，将连接板6110缩小至最小长度，并且将折叠板组6120件与连接板6110相互折叠，用户可以将手机安装座6100折叠呈最小体积，而由于支撑杆6200的可伸缩性，因此可以将整个支架6000收容呈体积最小的状态，提高了支架6000的收荣幸，用户甚至可以直接将支架6000放入衣兜或小的手包内，十分方便。
优选的，本实施例还在所述第三板体6123的一个侧面设有第一连接部，所述连接板6110与所述第三板体6123相贴合的侧面设有与所述第一连接部相配合的第一配合部，所述支架6000手机安装座6100用于安装手机时，所述第一连接部和所述第一配合部卡合连接。具体的，本实施例的第一连接部为一个凸条或凸起(图中未示出)，第一配合部为开设在连接板6110上的卡槽(图中未示出)。该结构不仅提高了折叠板组6120件处于三角形状态时的稳定性，而且在需要将手机安装座6100折叠至最小状态时也便于折叠板组6120件与连接板6110的连接。
优选的，本实施例还在所述第一板体6121相对两端中的一端设有第二连接部，所述第三板体6123相对两端中的另一端设有与所述第二连接部相配合的第二配合部，所述支架6000手机安装座6100用于安装手机时，所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出)，第二配合部为与凸起相配合的开口6130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性
另外，本实施例还可以在所述支撑杆6200的另一端可拆卸连接有底座(图中未示出)，在需要固定手机并且使手机5000具有一定高度时，可以将支撑杆6200拉伸呈一定长度，并通过底座将支架6000置于一个平面上，再将手机放置到手机安装座6100内，完成手机的固定；而支撑杆6200和底座的可拆卸连接可以使得两者可以单独携带，进一步提高了支架6000的收容性和携带的方便性。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的基于光线的三维人脸优化方法。
本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的基于光线的三维人脸优化方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种电子设备，其特征在于，包括：图像获取设备、至少一个处理器、以及与所述至少一个处理器通信连接的存储器；
所述图像获取设备用于获取目标图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器、图像传感器、识别模块以及处理模块，所述镜头固装在所述自动聚焦音圈马达上，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿；所述机械防抖器包括活动板、基板以及补偿机构，所述活动板和所述基板的中部均设有所述镜头穿过的通孔，所述自动聚焦音圈马达安装在所述活动板上，所述活动板安装在所述基板上，且所述基板的尺寸大于所述活动板，所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作，以实现镜头的抖动补偿；所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件，其中所述第一补偿组件和所述第三补偿组件相对设置，所述第二补偿组件与所述第四补偿组件相对设置，所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直；所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈；所述驱动件受控于所述处理模块，所述驱动件与所述转轴传动连接，以带动所述转轴转动；所述转轴与所述单向轴承的内圈相连接，以带动所述单向轴承的内圈转动；所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接，所述转动齿圈的外表面沿其周向设有一圈外齿，所述活动板的底面设有多排均匀间隔布设的条形槽，所述条形槽与所述外齿相啮合，且所述外齿可沿所述条形槽的长度方向滑动；其中，所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反，所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如下步骤：
获得单张目标图片的灰度直方图；根据所述灰度直方图计算所述单张目标图片的灰度级分布方差；将所述灰度级分布方差与灰度级分布临界方差进行比较，若所述灰度级分布方差大于或等于所述灰度级分布临界方差，则确定所述单张目标图片中的人脸图像存在光照不均匀；
若所述人脸图像存在光照不均匀现象，则对所述人脸图像进行光线调整，以获得优化人脸图像；
搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型；获取用于训练所述卷积神经网络模型的数据集，所述数据集中包括若干二维人脸图片和所述二维人脸图片对应的三维人像扫描数据；对所述二维人脸图片进行预处理得到人脸特征点信息；将所述人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息；利用交叉熵损失函数对所述卷积神经网络的参数进行优化，直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值，得到训练好的所述卷积神经网络模型；
基于训练好的卷积神经网络模型对所述优化人脸图像进行处理，得到第一三维人脸模型参数信息；
根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理，得到所述人脸图像对应的三维人脸图像。
2.根据权利要求1所述的电子设备，其特征在于：所述对所述人脸图像进行光线调整，以获得优化人脸图像的步骤包括：
获取训练样本和初始图像生成模型，所述训练样本包括多个在非正面均匀光源条件下生成的第一图像、以及在正面均匀光源条件下生成的与所述第一图像对应的第二图像；
利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到图像生成模型；
利用所述图像生成模型对所述人脸图像进行光线调整，以获得优化人脸图像。
3.根据权利要求2所述的电子设备，其特征在于，所述利用机器学习方法，基于所述训练样本对所述初始图像生成模型进行训练，得到所述图像生成模型，包括：
将所述第一图像输入至所述初始图像生成模型中，得到输出的优化第一图像；
将所述优化第一图像、所述第二图像作为判别网络的输入，对所述判别网络进行训练，确定训练后的所述判别网络的参数；
将所述第一图像作为所述初始图像生成模型的输入，对所述初始图像生成模型进行训练；
将训练后的所述初始图像生成模型输出的优化第一图像和所述第二图像输入至所述训练后的所述判别网络，确定所述训练后的所述判别网络的损失函数值；
当所述损失函数值收敛，将所述初始图像生成模型确定为所述图像生成模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2018/102333 | 2018-08-24 | ||
| PCT/CN2018/102333 WO2020037680A1 (zh) | 2018-08-24 | 2018-08-24 | 基于光线的三维人脸优化方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271911A CN109271911A (zh) | 2019-01-25 |
| CN109271911B true CN109271911B (zh) | 2021-04-16 |
Family
ID=65187883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811031365.5A Active CN109271911B (zh) | 2018-08-24 | 2018-09-05 | 基于光线的三维人脸优化方法、装置及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109271911B (zh) |
| WO (1) | WO2020037680A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473248A (zh) * | 2019-08-16 | 2019-11-19 | 上海索倍信息科技有限公司 | 一种利用图像构建人体三维模型的测量方法 |
| CN110706169A (zh) * | 2019-09-26 | 2020-01-17 | 深圳市半冬科技有限公司 | 一种明星人像优化方法、装置以及存储装置 |
| CN110691195B (zh) * | 2019-10-15 | 2021-03-30 | 重庆灵翎互娱科技有限公司 | 一种基于三维人脸拍摄的光线检测方法和设备 |
| CN111951372B (zh) * | 2020-06-30 | 2024-01-05 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN112052805B (zh) * | 2020-09-10 | 2023-12-12 | 深圳数联天下智能科技有限公司 | 人脸检测框显示方法、图像处理装置、设备和存储介质 |
| CN112488178B (zh) * | 2020-11-26 | 2022-07-26 | 推想医疗科技股份有限公司 | 网络模型的训练方法及装置、图像处理方法及装置、设备 |
| CN112766105A (zh) * | 2021-01-07 | 2021-05-07 | 北京码牛科技有限公司 | 一种应用于图码联采系统的图像转换方法及装置 |
| CN113255511A (zh) * | 2021-05-21 | 2021-08-13 | 北京百度网讯科技有限公司 | 用于活体识别的方法、装置、设备以及存储介质 |
| CN113378715B (zh) * | 2021-06-10 | 2024-01-05 | 北京华捷艾米科技有限公司 | 一种基于彩色人脸图像的活体检测方法及相关设备 |
| CN117456144B (zh) * | 2023-11-10 | 2024-05-07 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4857021B2 (ja) * | 2006-05-08 | 2012-01-18 | 株式会社タムロン | アクチュエータ及びそれを備えたレンズユニット及びカメラ |
| CN101159015B (zh) * | 2007-11-08 | 2010-12-08 | 清华大学 | 一种二维人脸图像的识别方法 |
| CN101251706A (zh) * | 2008-03-24 | 2008-08-27 | 香港应用科技研究院有限公司 | 一种光学模组、照相机及移动终端设备 |
| TW200951493A (en) * | 2008-06-05 | 2009-12-16 | Asia Optical Co Inc | Camera and image detecting module thereof |
| CN105629626A (zh) * | 2014-11-05 | 2016-06-01 | 惠州友华微电子科技有限公司 | 一种相机、光学系统及光学防抖摄像头装置 |
| KR101825731B1 (ko) * | 2014-12-04 | 2018-03-23 | 에이에이씨 어쿠스틱 테크놀로지스(심천)컴퍼니 리미티드 | 광학 손떨림 보정 가능한 카메라 렌즈 모듈 |
| KR101589149B1 (ko) * | 2015-05-27 | 2016-02-03 | 수원대학교산학협력단 | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 |
| CN106067190B (zh) * | 2016-05-27 | 2019-04-30 | 俞怡斐 | 一种基于单幅图像的快速人脸三维模型生成和变换方法 |
| CN106169067B (zh) * | 2016-07-01 | 2019-05-28 | 恒东信息科技无锡有限公司 | 一种高通量警用动态人脸采集比对方法及系统 |
| CN106131435B (zh) * | 2016-08-25 | 2021-12-07 | 东莞市亚登电子有限公司 | 微型光学防抖摄像头模组 |
| CN106910247B (zh) * | 2017-03-20 | 2020-10-02 | 厦门黑镜科技有限公司 | 用于生成三维头像模型的方法和装置 |
| CN108229276B (zh) * | 2017-03-31 | 2020-08-11 | 北京市商汤科技开发有限公司 | 神经网络训练及图像处理方法、装置和电子设备 |
| CN107358648B (zh) * | 2017-07-17 | 2019-08-27 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN108171206B (zh) * | 2018-01-17 | 2019-10-25 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN108133201B (zh) * | 2018-01-17 | 2019-10-25 | 百度在线网络技术（北京）有限公司 | 人脸属性识别方法和装置 |
-
2018
- 2018-08-24 WO PCT/CN2018/102333 patent/WO2020037680A1/zh active Application Filing
- 2018-09-05 CN CN201811031365.5A patent/CN109271911B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020037680A1 (zh) | 2020-02-27 |
| CN109271911A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271911B (zh) | 基于光线的三维人脸优化方法、装置及电子设备 | |
| CN109151340B (zh) | 视频处理方法、装置及电子设备 | |
| WO2020037676A1 (zh) | 三维人脸图像生成方法、装置及电子设备 | |
| CN109285216B (zh) | 基于遮挡图像生成三维人脸图像方法、装置及电子设备 | |
| US11386699B2 (en) | Image processing method, apparatus, storage medium, and electronic device | |
| CN108596827B (zh) | 三维人脸模型生成方法、装置及电子设备 | |
| CN108537870B (zh) | 图像处理方法、装置及电子设备 | |
| CN108966017B (zh) | 视频生成方法、装置及电子设备 | |
| CN108573480B (zh) | 基于图像处理的环境光补偿方法、装置及电子设备 | |
| CN106250839B (zh) | 一种虹膜图像透视校正方法、装置和移动终端 | |
| CN110677591B (zh) | 样本集构建方法、图像成像方法、装置、介质及电子设备 | |
| CN108377398B (zh) | 基于红外的ar成像方法、系统、及电子设备 | |
| CN108200337B (zh) | 拍照处理的方法、装置、终端及存储介质 | |
| CN109521869B (zh) | 一种信息交互方法、装置及电子设备 | |
| WO2020056689A1 (zh) | 一种ar成像方法、装置及电子设备 | |
| CN109474801B (zh) | 一种交互对象的生成方法、装置及电子设备 | |
| US20220210318A1 (en) | Composition method and system of photographing device, and storage medium | |
| US11734888B2 (en) | Real-time 3D facial animation from binocular video | |
| CN109447924B (zh) | 一种图片合成方法、装置及电子设备 | |
| CN115623313A (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 | |
| CN108965535B (zh) | 光照信息的优化方法、装置及电子设备 | |
| CN114339101A (zh) | 一种录像方法及设备 | |
| CN114049250B (zh) | 一种证件照人脸姿态矫正方法、装置及介质 | |
| CN113658304A (zh) | 目标对象的动画方法以及相关装置、设备 | |
| KR20220067454A (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |