CN113807327B - 一种基于光线补偿的深度学习侧脸图像处理方法及系统 - Google Patents

一种基于光线补偿的深度学习侧脸图像处理方法及系统 Download PDF

Info

Publication number
CN113807327B
CN113807327B CN202111364360.6A CN202111364360A CN113807327B CN 113807327 B CN113807327 B CN 113807327B CN 202111364360 A CN202111364360 A CN 202111364360A CN 113807327 B CN113807327 B CN 113807327B
Authority
CN
China
Prior art keywords
side face
image
data set
module
light compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111364360.6A
Other languages
English (en)
Other versions
CN113807327A (zh
Inventor
戴亦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Bote Intelligent Technology Co ltd
Original Assignee
Wuhan Bote Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Bote Intelligent Technology Co ltd filed Critical Wuhan Bote Intelligent Technology Co ltd
Priority to CN202111364360.6A priority Critical patent/CN113807327B/zh
Publication of CN113807327A publication Critical patent/CN113807327A/zh
Application granted granted Critical
Publication of CN113807327B publication Critical patent/CN113807327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光线补偿的深度学习侧脸图像处理方法及系统，属于图像处理技术领域，包括：S1、构建数据集；S101、对原始图像进行抠图，得到侧脸区域和背景图像区域；S102、将侧脸区域标记为1；S103、根据所述侧脸区域的大小，在背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；S104、重复N次S103，得到N张对比图像；S105、更换原始图像，重复S101～S104，得到侧脸识别数据集；S2、通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿，得到补偿图像；S3、侧脸识别；S301、将补偿图像分割成M个区域子图；S302、对每个区域子图进行侧脸识别，获得侧脸图像。

Description

一种基于光线补偿的深度学习侧脸图像处理方法及系统
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于光线补偿的深度学习侧脸图像处理方法及系统。
背景技术
众所周知，人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
目前，人脸识别系统主要包括图像摄取、人脸定位、图像预处理、以及人脸识别（身份确认或者身份查找）。其中：图像摄取质量的优劣将直接影响后期的：图像处理难易度、处理后结果的准确性；质量较好的图像（主要体现在完整性和清晰度两方面）能够极大降低图像处理的难度，并且提高识别的准确性。
在实际图像采集过程中，有时很难获取到完整的清晰图像，比如，一些违法分子在作案时，经常避开摄像头，此时的摄像头很难抓取到完整清晰的人物面部图像，经常抓取到的只是人物的侧面信息；并经常处于阴暗角落，针对这些低质量的图像，为了识别阴暗角落受遮挡的侧脸，传统技术采用的是在整个图像中识别出侧脸区域，并将侧脸纠偏为正脸，基于图像插值通常使用正脸、侧脸不同角度的完整对照图像做为数据集，这些方法没有考虑背景和应用场景，对于目标人物在阴暗角落仅露出部分侧脸的场景极难正确识别。实验发现：这种传统的人脸识别技术很难快速准确地获得识别结果；
为此，设计开发一种能够快速准确地识别侧脸图像的基于光线补偿的深度学习侧脸图像处理方法及系统显得是尤为重要。
发明内容
技术目的
本发明提供一种基于光线补偿的深度学习侧脸图像处理方法及系统；基于光线补偿的深度学习模型，用于对侧脸图像进行准确识别和纠偏。
技术方案
本发明的第一目的是提供一种基于光线补偿的深度学习侧脸图像处理方法，包括如下步骤：
S1、构建数据集；具体为：
S101、对原始图像进行抠图，得到侧脸区域和背景图像区域；
S102、将所述侧脸区域标记为1；
S103、根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；
S104、重复N次S103，得到N张对比图像，N为大于1的自然数；
S105、更换原始图像，重复S101～S104，得到侧脸识别数据集；
S2、通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿，得到补偿图像；
S3、侧脸识别；具体为：
S301、将补偿图像分割成M个区域子图；M为大于1的自然数；
S302、对每个区域子图进行侧脸识别，获得侧脸图像。
优选地，所述S2具体为：
S201、通过卷积神经网络A对侧脸识别数据集中的抠图进行卷积处理，得到卷积数据集；
S202、通过全连接A对卷积数据集进行处理；得到连接数据集；
S203、对所述连接数据集和侧脸识别数据集进行光线补偿。
优选地，在所述S203中，光线补偿公式为：
Figure 71814DEST_PATH_IMAGE001
；
其中，S(x,y)为抠图，D(x,y)为光线补偿后的图像，F(x,y)为人工神经网络。
优选地，S3完成后，计算损失，损失函数Loss1为：
Figure 799599DEST_PATH_IMAGE002
；
其中，L为像素点个数的3倍，即三个通道像素点之和；i,j分别为像素点横纵坐标，1<=k<=3，k代表RGB三个通道；yijk为像素的标记，若像素属于所抠侧脸区域，则yijk为1，否则yijk为0；y’ijk为当前模型预测该像素属于侧脸区域的概率，一般为0-1之间的一个小数；
计算出损失后，通过梯度下降法调整由卷积神经网络A和全连接A所构成的网络的各个神经元参数的权值（卷积神经网络A和全连接A所需要的人工神经网络层次和各层神经元的个数由用户自行确定）。
优选地，所述S3之前还包括：S4、对侧脸图像进行纠偏；具体为：
S401、选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
S402、将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；
S403、导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像。
优选地，所述S402具体为：
S4021、将侧脸图像导入卷积神经网络B进行处理，得到第一侧脸卷积图像；
S4022、将第一侧脸卷积图像导入第一全连接，得到第一侧脸连接图像；
S4023、对所述第一侧脸连接图像进行编码，形成隐含特征；
S4024、将S4023得到的侧脸图像导入第二全连接，得到第二侧脸连接图像；
S4025、将第二侧脸连接图像导入反卷积神经网络进行处理，得到第二侧脸卷积图像。
优选地，所述S403之后还包括：
S404、根据正脸图像，计算两者交叉熵损失，进而调整卷积神经网络B、第一全连接、第二全连接和反卷积神经网络的权值；具体为：
首先逐通道逐像素计算交叉熵损失Loss2；
Figure 288349DEST_PATH_IMAGE003
；
其中：L为像素点个数的3倍，即三个通道像素点之和；i,j分别为像素点横纵坐标，1<=k<=3，k代表RGB三个通道；qijk即为采集正脸图像第i行第j列第k通道的颜色值分布概率，pijk为预测正脸的采集正脸图像第i行第j列第k通道的颜色值分布概率；
然后根据梯度下降方法，调整卷积神经网络B、第一全连接、第二全连接和反卷积神经网络的权值。
本发明的第二目的是提供一种基于光线补偿的深度学习侧脸图像处理系统，包括：
数据集构建模块，用于构建数据集；数据集构建模块包括：
抠图模块，对原始图像进行抠图，得到侧脸区域和背景图像区域；
第一标记模块，将所述侧脸区域标记为1；
第二标记模块，根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；
循环模块，重复N次第二标记模块，得到N张对比图像，N为大于1的自然数；
数据集成型模块，更换原始图像，重复执行抠图模块、第一标记模块、第二标记模块和循环模块，得到侧脸识别数据集；
光线补偿模块，接收数据集构建模块中的侧脸识别数据集，通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿；得到补偿图像；
侧脸识别模块，接收所述补偿图像，并进行侧脸识别，侧脸识别模块包括：
划分模块，将补偿图像分割成M个区域子图；M为大于1的自然数；
获取模块，对每个区域子图进行侧脸识别，获得侧脸图像；
侧脸纠偏模块，接收侧脸图像，并进行纠偏，侧脸纠偏模块包括：
纠偏数据集形成模块，选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
训练模块，将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；
纠偏执行模块，导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像。
本专利的第三发明目的是提供一种实现上述基于光线补偿的深度学习侧脸图像处理方法的信息数据处理终端。
本专利的第四发明目的是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于光线补偿的深度学习侧脸图像处理方法。
本发明的优点及积极效果为：
1、本发明采用上述数据集构建方法，在对侧脸区域标记的同时，对对比图像也进行标记，提供一种在标记侧脸区域的同时，在训练时随机动态标记背景中与侧脸相同大小的非侧脸区域的动态数据集构建方法。与传统方法只标记侧脸的方法相比较，通过在同一幅图像中随机动态标记不是侧脸的部分，后续的人工神经网络能通过正反例两个方面学习到“是侧脸”和“非侧脸”两种示例的区别。
2、本发明通过卷积神经网络和全连接网络，结合是否为侧脸的二分类器，动态为每个区域子图生成光线补偿系数，同时要求这些光线补偿系数能更大可能地为鉴别区域子图是否为侧脸提供帮助，而不是像传统光线补偿方案那样，每张图统一生成一个光线补偿系数。
3、本发明通过卷积神经网络和反卷积神经网络及全连接网络进行编码和解码来实现侧脸纠偏，可以适用于任意角度的侧脸，以及任意遮挡的侧脸。其主要依赖于侧脸图像数据集及与之对应的标准正脸图像来解决纠偏问题，而不像传统侧脸纠偏那样，依赖于正脸图像产生的各种角度的侧脸变换的数据增强来解决纠偏问题。
4、本发明通过建立侧脸与背景对比的动态数据集，动态为每个区域子图生成光线补偿系数，构建深度神经网络，结合了人工经验和上下文相关信息，实现了受遮挡的阴暗人脸的侧脸识别与纠偏，更贴近于应用实践。
附图说明
图1是本发明第一优选实施例中的流程图；
图2是本发明优选实施例中构建数据集的流程图；
图3是本发明优选实施例中光线补偿的流程图；
图4是本发明优选实施例中侧脸识别的流程图；
图5是本发明第二优选实施例中的流程图；
图6是本发明优选实施例中纠偏的流程图；
图7是本发明优选实施例中的系统框图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并结合附图详细说明如下。
请参阅图1，一种基于光线补偿的深度学习侧脸图像处理方法，包括：
S1、构建数据集；请参阅图2，具体构建过程为：
S101、对原始图像进行抠图（可以是手工抠图，也可以是AI智能抠图），得到侧脸区域和背景图像区域；
S102、对于上述原始图像，将所述侧脸区域标记为1；
S103、根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；即：对于背景图像区域，则根据抠得侧脸区域的大小，确定对比图像大小，随后在背景图像区域中，随机抠取此大小的图像，将扣取得到的对比图像标记为0；
S104、重复N次S103，得到N张对比图像，N为大于1的自然数；N由用户根据场景自行确定，每重复一次，即得到一条对比数据，每条对比数据中包含侧脸图像一张，标记为1，对比图像一张，标记为0；
S105、更换原始图像，重复S101～S104，得到完整的侧脸识别数据集；
S2、通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿，得到补偿图像；请参阅图3，具体补偿过程为：
S201、通过卷积神经网络A对侧脸识别数据集中的抠图进行卷积处理，得到卷积数据集；与其他类型的神经网络相比，用卷积神经网络能提取图像纹理的细微特征，在后续的优化中，能提供更多的参数以使得优化工作能顺利进行。
S202、通过全连接对卷积数据集进行处理；得到连接数据集；通过全连接，可使得卷积神经网络提供的较多参数能归集到指定数目的输出，使得连接数据集能与侧脸识别数据集进行格式对齐，从而可以进行光线补偿操作。
S203、对所述连接数据集和侧脸识别数据集进行光线补偿。
S3、侧脸识别；请参阅图4，具体的识别过程为：
S301、将补偿图像分割成M个区域子图；M为大于1的自然数；
先由用户确定一种图像划分区域的方式，可以以卷积的形式划分，也可以为固定长度，或者一固定步长进行划分，还可以使用MTCNN算法中介绍的方法，按P-NET,R-NET,O-NET的方式进行划分，用户确定图像划分区域的方式之后，图像即可分割成M个区域子图，将每个区域子图送入侧脸识别模型，即会得到是否为侧脸的判别，并同时可以得到最利于分辨为侧脸的，经过光线补偿后的侧脸区域。
S302、对每个区域子图进行侧脸识别，获得侧脸图像；
在上述优选实施例中，光线补偿公式为：
Figure 494202DEST_PATH_IMAGE004
；
其中，S(x,y)为抠图，D(x,y)为光线补偿后的图像，F(x,y)为包含全连接和卷积神经网络的人工神经网络。
为了使补偿后的图像更容易被识别出侧脸，故引入损失函数：
首先逐通道逐像素计算交叉熵损失Loss1；
Figure 17588DEST_PATH_IMAGE005
；
其中，L为像素点个数的3倍，即三个通道像素点之和；i,j分别为像素点横纵坐标，1<=k<=3，k代表RGB三个通道；yijk为像素的标记，若像素属于所抠侧脸区域，则yijk为1，否则yijk为0；y’ijk为当前模型预测该像素属于侧脸区域的概率，一般为0-1之间的一个小数；
计算出损失后，通过梯度下降法调整由卷积神经网络A和全连接A所构成的网络的各个神经元参数的权值（卷积神经网络A和全连接A所需要的人工神经网络层次和各层神经元的个数由用户自行确定）。
此处的全连接、卷积神经网络、二分类器网络可根据具体场景和数据集，由用户自行确定相关参数。
请参阅图5，一种基于光线补偿的深度学习侧脸图像处理方法，包括：
S1、构建数据集；请参阅图2，具体构建过程为：
S101、对原始图像进行抠图（可以是手工抠图，也可以是AI智能抠图），得到侧脸区域和背景图像区域；
S102、对于上述原始图像，将所述侧脸区域标记为1；
S103、根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；即：对于背景图像区域，则根据抠得侧脸区域的大小，确定对比图像大小，随后在背景图像区域中，随机抠取此大小的图像，将扣取得到的对比图像标记为0；
S104、重复N次S103，得到N张对比图像，N为大于1的自然数；N由用户根据场景自行确定，每重复一次，即得到一条对比数据，每条对比数据中包含侧脸图像一张，标记为1，对比图像一张，标记为0；
S105、更换原始图像，重复S101～S104，得到完整的侧脸识别数据集；
S2、通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿，得到补偿图像；请参阅图3，具体补偿过程为：
S201、通过卷积神经网络A对侧脸识别数据集中的抠图进行卷积处理，得到卷积数据集；
S202、通过全连接对卷积数据集进行处理；得到连接数据集；
S203、对所述连接数据集和侧脸识别数据集进行光线补偿。
S3、侧脸识别；请参阅图4，具体的识别过程为：
S301、将补偿图像分割成M个区域子图；M为大于1的自然数；
先由用户确定一种图像划分区域的方式，可以以卷积的形式划分，也可以为固定长度，或者一固定步长进行划分，还可以使用MTCNN算法中介绍的方法，按P-NET,R-NET,O-NET的方式进行划分，用户确定图像划分区域的方式之后，图像即可分割成M个区域子图，将每个区域子图送入侧脸识别模型，即会得到是否为侧脸的判别，并同时可以得到最利于分辨为侧脸的，经过光线补偿后的侧脸区域。
S302、对每个区域子图进行侧脸识别，获得侧脸图像；
S4、对侧脸图像进行纠偏；请参阅图6，具体纠偏过程为：
S401、选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
S402、将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；具体为：
S4021、将侧脸图像导入卷积神经网络B进行处理，得到第一侧脸卷积图像；
S4022、将第一侧脸卷积图像导入第一全连接，得到第一侧脸连接图像；
S4023、对所述第一侧脸连接图像进行编码，形成隐含特征；
S4024、将S4023得到的侧脸图像导入第二全连接，得到第二侧脸连接图像；
S4025、将第二侧脸连接图像导入反卷积神经网络进行处理，得到第二侧脸卷积图像；
S403、导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像；
S404、根据正脸图像，计算两者交叉熵损失，进而调整卷积神经网络B、第一全连接、第二全连接和反卷积神经网络的权值；具体为：
首先逐通道逐像素计算交叉熵损失Loss2；
Figure 181853DEST_PATH_IMAGE006
；
其中：L为像素点个数的3倍，即三个通道像素点之和；i,j分别为像素点横坐标和纵坐标，1<=k<=3，k代表RGB三个通道；qijk为采集正脸图像第i行第j列第k通道的颜色值分布概率，pijk为预测正脸采集正脸图像第i行第j列第k通道的颜色值分布概率；
然后根据梯度下降方法，调整卷积神经网络A、第一全连接、第二全连接和反卷积神经网络的权值。
在上述优选实施例中，光线补偿公式为：
Figure 157899DEST_PATH_IMAGE007
；
其中，S(x,y)为抠图，D(x,y)为光线补偿后的图像，F(x,y)为包含全连接和卷积神经网络的人工神经网络。
为了使补偿后的图像更容易被识别出侧脸，故引入损失函数Loss1：
Figure 918176DEST_PATH_IMAGE008
；
其中，L为像素点个数的3倍，即三个通道像素点之和；i,j分别为像素点横坐标和纵坐标，1<=k<=3，k代表RGB三个通道；yijk为像素的标记，若像素属于抠侧脸区域，则yijk为1，否则yijk为0；y’ijk为当前模型预测该像素属于侧脸区域的概率，y’ijk为0-1之间的小数；
计算出损失后，通过梯度下降法调整由卷积神经网络A和全连接A所构成的网络的各个神经元参数的权值（卷积神经网络A和全连接A所需要的人工神经网络层次和各层神经元的个数由用户自行确定）。
此处的全连接、卷积神经网络A、二分类器网络可根据具体场景和数据集，由用户自行确定相关参数。
请参阅图7，一种基于光线补偿的深度学习侧脸图像处理系统，包括：
数据集构建模块，用于构建数据集；数据集构建模块包括：
抠图模块，对原始图像进行抠图，得到侧脸区域和背景图像区域；
第一标记模块，将所述侧脸区域标记为1；
第二标记模块，根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；
循环模块，重复N次第二标记模块，得到N张对比图像，N为大于1的自然数；
数据集成型模块，更换原始图像，重复执行抠图模块、第一标记模块、第二标记模块和循环模块，得到侧脸识别数据集；
光线补偿模块，接收数据集构建模块中的侧脸识别数据集，通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿；得到补偿图像；
侧脸识别模块（二分类器），接收所述补偿图像，并进行侧脸识别，侧脸识别模块包括：
划分模块，将补偿图像分割成M个区域子图；M为大于1的自然数；
获取模块，对每个区域子图进行侧脸识别，获得侧脸图像；
侧脸纠偏模块，接收侧脸图像，并进行纠偏，侧脸纠偏模块包括：
纠偏数据集形成模块，选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
训练模块，将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；
纠偏执行模块，导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像。
一种实现上述基于光线补偿的深度学习侧脸图像处理方法的信息数据处理终端。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于光线补偿的深度学习侧脸图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (9)

1.一种基于光线补偿的深度学习侧脸图像处理方法，其特征在于，包括如下步骤：
S1、构建数据集；具体为：
S101、对原始图像进行抠图，得到侧脸区域和背景图像区域；
S102、将所述侧脸区域标记为1；
S103、根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；
S104、重复N次S103，得到N张对比图像，N为大于1的自然数；
S105、更换原始图像，重复S101～S104，得到侧脸识别数据集；
S2、通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿，得到补偿图像；具体为：
S201、通过第一卷积神经网络对侧脸识别数据集中的抠图进行卷积处理，得到卷积数据集；
S202、通过第一全连接对卷积数据集进行处理；得到连接数据集；
S203、对所述连接数据集和侧脸识别数据集进行光线补偿；
S3、侧脸识别；具体为：
S301、将补偿图像分割成M个区域子图；M为大于1的自然数；
S302、对每个区域子图进行侧脸识别，获得侧脸图像。
2.根据权利要求1所述的基于光线补偿的深度学习侧脸图像处理方法，其特征在于，在所述S203中，光线补偿公式为：
Figure 961483DEST_PATH_IMAGE001
；
其中，S(x,y)为抠图，D(x,y)为光线补偿后的图像，F(x,y)为人工神经网络。
3.根据权利要求1所述的基于光线补偿的深度学习侧脸图像处理方法，其特征在于，
S3完成后，计算损失，损失函数Loss1为：
Figure 409782DEST_PATH_IMAGE002
；
其中，L为像素点个数的3倍；i,j分别为像素点横坐标和纵坐标，1<=k<=3，k代表RGB三个通道；yijk为像素的标记，若像素属于侧脸区域，则yijk为1，否则yijk为0；y’ijk为当前模型预测该像素属于侧脸区域的概率，y’ijk为0-1之间的小数；
计算出损失后，通过梯度下降法调整由第一卷积神经网络和第一全连接所构成的网络的各个神经元参数的权值。
4.根据权利要求1所述的基于光线补偿的深度学习侧脸图像处理方法，其特征在于，所述S3之前还包括：S4、对侧脸图像进行纠偏；具体为：
S401、选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
S402、将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；
S403、导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像。
5.根据权利要求4所述的基于光线补偿的深度学习侧脸图像处理方法，其特征在于，所述S402具体为：
S4021、将侧脸图像导入第二卷积神经网络进行处理，得到第一侧脸卷积图像；
S4022、将第一侧脸卷积图像导入第一全连接，得到第一侧脸连接图像；
S4023、对所述第一侧脸连接图像进行编码，形成隐含特征；
S4024、将S4023得到的隐含特征导入第二全连接，得到第二侧脸连接图像；
S4025、将第二侧脸连接图像导入反卷积神经网络进行处理，得到第二侧脸卷积图像。
6.根据权利要求5所述的基于光线补偿的深度学习侧脸图像处理方法，其特征在于，所述S403之后还包括：
S404、根据正脸图像，计算交叉熵损失，进而调整第二卷积神经网络、第一全连接、第二全连接和反卷积神经网络的权值；具体为：
首先逐通道逐像素计算交叉熵损失Loss2；
Figure 337987DEST_PATH_IMAGE003
；
其中：L为像素点个数的3倍；i,j分别为像素点横坐标和纵坐标，1<=k<=3，k代表RGB三个通道；qijk为采集正脸图像第i行第j列第k通道的颜色值分布概率，pijk为预测正脸采集正脸图像第i行第j列第k通道的颜色值分布概率；
然后根据梯度下降方法，调整第二卷积神经网络、第一全连接、第二全连接和反卷积神经网络的权值。
7.一种基于光线补偿的深度学习侧脸图像处理系统，其特征在于，包括：
数据集构建模块，用于构建数据集；数据集构建模块包括：
抠图模块，对原始图像进行抠图，得到侧脸区域和背景图像区域；
第一标记模块，将所述侧脸区域标记为1；
第二标记模块，根据所述侧脸区域的大小，在所述背景图像区域中，随机抠取同等大小的对比图像，将对比图像标记为0；
循环模块，重复N次第二标记模块，得到N张对比图像，N为大于1的自然数；
数据集成型模块，更换原始图像，重复执行抠图模块、第一标记模块、第二标记模块和循环模块，得到侧脸识别数据集；
光线补偿模块，接收数据集构建模块中的侧脸识别数据集，通过人工神经网络对侧脸识别数据集中的抠图进行光线补偿；得到补偿图像；光线补偿的具体过程为：
首先通过第一卷积神经网络对侧脸识别数据集中的抠图进行卷积处理，得到卷积数据集；
然后通过第一全连接对卷积数据集进行处理；得到连接数据集；
最后对所述连接数据集和侧脸识别数据集进行光线补偿；
侧脸识别模块，接收所述补偿图像，并进行侧脸识别，侧脸识别模块包括：
划分模块，将补偿图像分割成M个区域子图；M为大于1的自然数；
获取模块，对每个区域子图进行侧脸识别，获得侧脸图像；
侧脸纠偏模块，接收侧脸图像，并进行纠偏，侧脸纠偏模块包括：
纠偏数据集形成模块，选取同一人物的若干侧脸图像、正脸图像配对；形成纠偏数据集；
训练模块，将所述纠偏数据集进行侧脸纠偏训练；形成侧脸纠偏模型；
纠偏执行模块，导入侧脸图像，利用侧脸纠偏模型将侧脸图像转为正脸图像。
8.一种信息数据处理终端，其特征在于，用于实现权利要求1至6任一项所述基于光线补偿的深度学习侧脸图像处理方法。
9.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至6任一项所述基于光线补偿的深度学习侧脸图像处理方法。
CN202111364360.6A 2021-11-18 2021-11-18 一种基于光线补偿的深度学习侧脸图像处理方法及系统 Active CN113807327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111364360.6A CN113807327B (zh) 2021-11-18 2021-11-18 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111364360.6A CN113807327B (zh) 2021-11-18 2021-11-18 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN113807327A CN113807327A (zh) 2021-12-17
CN113807327B true CN113807327B (zh) 2022-02-08

Family

ID=78938293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111364360.6A Active CN113807327B (zh) 2021-11-18 2021-11-18 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN113807327B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966316B (zh) * 2015-05-22 2019-03-15 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN107194356A (zh) * 2017-05-25 2017-09-22 湖南警察学院 基于人工神经网络的人脸检测识别方法
CN111914601A (zh) * 2019-05-10 2020-11-10 南京视能智能科技有限公司 一种基于深度学习的高效批量人脸识别和抠图系统
CN110363091B (zh) * 2019-06-18 2021-08-10 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113807327A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN107945185B (zh) 基于宽残差金字塔池化网络的图像分割方法及系统
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN109993040B (zh) 文本识别方法及装置
CN110378324B (zh) 一种基于质量维度的人脸识别算法评估方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN115439857B (zh) 一种基于复杂背景图像的倾斜字符识别方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN108491856B (zh) 一种基于多尺度特征卷积神经网络的图像场景分类方法
CN111414858B (zh) 人脸识别方法、目标图像的确定方法、装置和电子系统
CN110751226A (zh) 人群计数模型的训练方法、装置和存储介质
CN113807327B (zh) 一种基于光线补偿的深度学习侧脸图像处理方法及系统
CN112365578A (zh) 基于双摄像机的三维人体模型重构系统及方法
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN111160107A (zh) 一种基于特征匹配的动态区域检测方法
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN111738964A (zh) 一种基于建模的图像数据增强的方法
CN110120009B (zh) 基于显著物体检测和深度估计算法的背景虚化实现方法
CN112016487A (zh) 一种智能识别方法及设备
CN111160262A (zh) 一种融合人体关键点检测的人像分割方法
CN110992301A (zh) 一种气体轮廓识别方法
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN112990076A (zh) 一种基于人工智能的数据整理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant