CN112749679B - 模型的训练方法、人脸识别方法、装置、设备和介质 - Google Patents
模型的训练方法、人脸识别方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112749679B CN112749679B CN202110091133.4A CN202110091133A CN112749679B CN 112749679 B CN112749679 B CN 112749679B CN 202110091133 A CN202110091133 A CN 202110091133A CN 112749679 B CN112749679 B CN 112749679B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- adjusted
- calculating
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000005286 illumination Methods 0.000 claims abstract description 462
- 230000006870 function Effects 0.000 claims abstract description 145
- 239000011159 matrix material Substances 0.000 claims description 126
- 230000009466 transformation Effects 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 37
- 238000004590 computer program Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种模型的训练方法、人脸识别方法、装置、设备和介质，涉及计算机视觉和深度学习技术领域。模型训练方法包括：将样本图像输入人脸识别模型中的光照自适应模块，得到样本图像对应的光照调节参数；利用光照调节参数和样本图像，生成光照调节后的图像；利用样本图像和光照调节后的图像，计算第一光照损失函数的值，根据第一光照损失函数的值调整光照自适应模块的参数。采用本公开技术方案训练出的模型，可以避免直接对人脸图进行识别时，人脸图像的光照引起的误识别，尤其可以避免强光人脸图像和暗光人脸图像引起的误识别，提高了人脸识别的准确率，减少了误识别。
Description
技术领域
本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域。
背景技术
人脸识别技术在识别不同光照人脸图像时会出现很多误识别，尤其对于强光或暗光下的人脸图像，误识别率更高。
发明内容
本公开提供了一种模型的训练方法、人脸识别方法、装置、设备和介质。
根据本公开的第一方面，提供了一种人脸识别模型的训练方法，包括：
将样本图像输入人脸识别模型中的光照自适应模块，得到样本图像对应的光照调节参数；
利用光照调节参数和样本图像，生成光照调节后的图像；
利用样本图像和光照调节后的图像，计算第一光照损失函数的值，根据第一光照损失函数的值调整光照自适应模块的参数。
根据本公开的第二方面，提供了一种人脸识别方法，包括：
将待识别的人脸图像输入预先训练的光照自适应模块，得到待识别的人脸图像对应的光照调节参数；
利用光照调节参数和待识别的人脸图像，生成光照调节后的图像；光照调节后的图像用于人脸识别。
根据本公开的第三方面，提供了一种人脸识别模型的训练装置，包括：
参数生成模块，用于将样本图像输入人脸识别模型中的光照自适应模块，得到样本图像对应的光照调节参数；
图像生成模块，用于利用光照调节参数和样本图像，生成光照调节后的图像；
第一调整模块，用于利用样本图像和光照调节后的图像，计算第一光照损失函数的值，根据第一光照损失函数的值调整光照自适应模块的参数。
根据本公开的第四方面，提供了一种人脸识别装置，包括：
参数生成模块，用于将待识别的人脸图像输入预先训练的光照自适应模块，得到待识别的人脸图像对应的光照调节参数；
图像生成模块，用于利用光照调节参数和待识别的人脸图像，生成光照调节后的图像；光照调节后的图像用于人脸识别。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
本公开实施例的技术方案，对人脸识别模型中的光照自适应模块进行训练后，可以生成光照调节后的图像，从而可以对光照调节后的图像进行人脸识别。生成的光照调节后的图像相较于调节前的图像，更容易识别，避免了直接对待调节前的图像进行识别时，光照引起的误识别，提高了人脸识别的准确率，减少了误识别。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开一实施例中人脸识别模型的训练方法的示意图；
图2为本公开一实施例中人脸识别方法的示意图；
图3为本公开一实施例中人脸识别模型的训练装置的结构框图；
图4为本公开一实施例中图像生成模块的结构框图；
图5为本公开一实施例中图像生成模块的结构框图；
图6为本公开一实施例中第一调整模块的结构框图；
图7为本公开一实施例中第三计算子模块的结构框图；
图8为本公开一实施例中人脸识别模型的训练装置的结构框图；
图9为本公开一实施例中第三调整子模块的结构框图；
图10为本公开一实施例中第五计算子模块的结构框图；
图11为本公开一实施例中第三调整模块的结构框图；
图12为本公开一实施例中人脸识别模型训练装置的结构框图；
图13为本公开一实施例中第四调整模块的结构框图；
图14为本公开一实施例中人脸识别装置的结构框图；
图15为本公开一实施例中图像生成模块的结构框图；
图16为本公开一实施例中图像生成模块的结构框图；
图17为本公开一实施例中人脸识别模型的训练方法的框图示意图；
图18示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，人脸识别技术采用数据扩增的方式，增加光照预处理模块训练时的样本数据，来提高人脸识别模型的鲁棒性。但是这样的人脸识别技术在识别不同光照人脸图像时会出现很多误识别，尤其对于强光或暗光下的人脸图像，误识别率更高。
本公开实施例提出了一种人脸识别方法，包括：将待识别的人脸图像输入预先训练的光照自适应模块，得到待识别的人脸图像对应的光照调节参数；利用光照调节参数和待识别的人脸图像，生成光照调节后的图像；光照调节后的图像用于人脸识别。
本公开实施例的人脸识别方法，将待识别的人脸图像输入后，并不是直接对待识别的人脸图像进行识别，而是利用预先训练的光照自适应模块得到待识别人脸对应的光照调节参数，并利用光照调节参数和待识别的人脸图像，生成光照调节后的图像，光照调节后的图像用于人脸识别。生成的光照调节后的图像相较于接收到的待识别的人脸图像，更容易识别，避免了直接对待识别的人脸图进行识别时，人脸图像的光照引起的误识别，尤其避免了强光人脸图像和暗光人脸图像引起的误识别，提高了人脸识别的准确率，减少了误识别。
以下将详细介绍本公开实施例中人脸识别模型的训练方法。
图17为本公开一实施例中人脸识别模型的训练方法的框图示意图。如图17所示，人脸识别模型中，可以包括光照自适应模块和人脸识别模块，光照自适应模块和人脸识别模块要预先训练。
图1为本公开一实施例中人脸识别模型的训练方法的示意图。如图1所示，人脸识别模型的训练方法可以包括：
步骤S101、将样本图像输入人脸识别模型中的光照自适应模块，得到样本图像对应的光照调节参数；
步骤S102、利用光照调节参数和样本图像，生成光照调节后的图像；
步骤S103、利用样本图像和光照调节后的图像，计算第一光照损失函数的值，根据第一光照损失函数的值调整光照自适应模块的参数。
采用本申请实施例的训练方法得到的人脸识别模型，将待识别的人脸图像输入人脸识别模型后，并不是直接对待识别的人脸图像进行识别，而是利用训练得到的光照自适应模块获得与待识别的人脸图像对应的光照调节参数，并利用光照调节参数和待识别的人脸图像，生成光照调节后的图像，对光照调节后的图像进行人脸识别。生成的光照调节后的图像相较于接收到的待识别的人脸图像，更容易识别，避免了直接对待识别的人脸图像进行识别时，人脸图像的光照引起的误识别，提高了人脸识别的识别准确率，减少了误识别。
在一种实施方式中，样本图像可以包括人脸图像。样本图像可以包括第一样本图像、第二样本图像和第三样本图像。第一样本图像可以为在光照小于第一阈值的情况下拍摄的人脸图像，第二样本图像可以为在光照位于第一阈值和第二阈值之间情况下拍摄的人脸图像，第三样本图像可以为在光照大于第二阈值的情况下拍摄的人脸图像，第一阈值小于第二阈值，第一阈值和第二阈值的具体数值可以根据需要设定。
对于光照小于第一阈值的情况下拍摄的人脸图像，图像中人脸处于暗光下，采用现有技术中的人脸识别技术进行人脸识别时，容易产生误识别；对于光照大于第二阈值的情况下拍摄的人脸图像，图像中人脸处于强光下，采用现有技术中的人脸识别技术进行人脸识别时，容易产生误识别。
本公开的技术方案，采用样本图像例如第一样本图像、第二样本图像和第三样本图像对光照自适应模块进行训练，训练过程中，光照自适应模块可以输出光照调节参数，利用光照调节参数和样本图像可以生成光照调节后的图像。在光照自适应模块训练完成后，生成的光照调节后的图像中的光照可以被调节至第一阈值和第二阈值之间，第一阈值和第二阈值之间的光照情况下的人脸图像，更加容易识别，有利于提高人脸识别模型的识别率，减小误识别。
在一个示例中，获得的光照调节参数可以是与样本图像的样本特征数据相对应的数据。例如，样本特征数据为矩阵，光照调节参数也为矩阵，光照调节参数的行数和列数与样本特征数据的行数和列数分别对应相同。
光照自适应模块可以包括卷积神经网络和全连接层。示例性地，光照自适应模块可以包括三层卷积神经网络和两层全连接层。将样本图像输入光照自适应模块后，可以输出光照调节参数。
需要说明的是，以上优选实施例的技术方案仅为本公开所提出的一种具体实现方式，为了输出光照调节参数，还可以选用其他类型的神经网络模型。
在一种实施方式中，光照调节参数可以包括第一阶光照调节参数。
在一种实施方式中，光照调节参数可以包括至少两阶光照调节参数，例如，光照调节参数可以包括第一阶光照调节参数、第二阶光照调节参数、第三阶光照调节参数和第四阶光照调节参数。可以理解的是，光照自适应模块输出的光照调节参数的阶数可以根据需要设定，例如，可以只输出第一阶光照调节参数，或者，可以输出至少两阶光照调节参数。
在一种实施方式中，光照调节参数可以包括第一阶光照调节参数，利用光照调节参数和样本图像，生成光照调节后的图像，可以包括：确定样本图像的样本特征数据；针对样本特征数据，采用预先设定的调节方式及第一阶光照调节参数，确定调节后的特征数据；利用调节后的特征数据生成光照调节后的图像。
采用预先设定的调节方式及第一阶光照调节参数确定调节后的特征数据，利用调节后的特征数据生成光照调节后的图像，使得生成的光照调节后的图像更容易被识别，进而提高识别率。
在一种实施方式中，预先设定的调节方式可以包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为第一矩阵，预设常量表示为预设矩阵；计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，光照调节参数表示为第二矩阵，矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算矩阵的乘积与第一矩阵的数据和，将数据和作为调节后的特征数据。
预设常量可以表示为M，光照调节参数可以表示为a，被调节的特征数据可以表示为I(x)。
计算预设矩阵与第一矩阵的差，得到第一差矩阵，第一差矩阵可以表示为：M-I(x)。
计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，矩阵的乘积可以表示为：a*I(x)*[M-I(x)]。计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，也可以叫做计算第一差矩阵、被调节的特征数据和光照调节参数的哈达马积(Hadamard product)。如果两个维数相同的矩阵相乘，哈达马积就是两个个矩阵中对应元素依次相乘后得到的矩阵。
计算矩阵的乘积与第一矩阵的数据和，数据和可以表示为：
O(x)＝I(x)+a*I(x)*[M-I(x)]，
其中，O(x)表示数据和，O(x)即为调节后的特征数据。
样本特征数据可以为与样本图像对应的矩阵。示例性地，可以将样本图像的图像矩阵进行归一化处理，例如，样本图像的图像矩阵中的各元素可以为0至255之间的数值，可以计算出各元素的数值与255的比值，将各比值作为样本特征数据中的各元素数值，从而到的样本图像的样本特征数据。
可以理解的是，归一化处理并不限于以上示出的方式，可以采用本领域其它归一化方法对样本图像的图像矩阵进行归一化处理，从而，得到的样本特征数据中的各元素的数值均位于0至1之间(包括0和1)。这样的样本特征数据，可以提高模型的处理速度，提高人像识别的效率。
在一种实施方式中，预设常量M可以预设矩阵，预设矩阵中的各元素均相同，各元素均为1，那么，哈达马积与被调节的特征数据的数据和可以表示为：
O(x)＝I(x)+a*I(x)*[1-I(x)]。
可以理解的是，预设矩阵中的各元素并不限于为1，预设常量可以根据实际情况具体设置。
在光照调节参数包括第一阶光照调节参数的情况下，I(x)可以为样本图像的样本特征数据，光照调节参数为第一阶光照调节参数a1，调节后的特征数据可以为第一调节后的特征数据O1(x)，那么，
O1(x)＝I(x)+a1*I(x)*[M-I(x)]。
利用O1(x)生成光照调节后的图像。
在一种实施方式中，光照调节参数可以包括至少两阶光照调节参数，利用光照调节参数和样本图像，生成光照调节后的图像，可以包括：确定样本图像的样本特征数据；针对样本特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对第一调节后的特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据，利用最终调节后的特征数据生成光照调节后的图像。
采用至少两阶光照调节参数，可以进一步提高生成的光照调节后的图像的可识别性，进一步提高人脸识别模型的识别率。
在光照调节参数包括至少两阶光照调节参数例如n阶光照调节参数(n≥2)的情况下，针对样本特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据O1(x)，
O1(x)＝I(x)+a1*I(x)*[M-I(x)]。
针对第一调节后的特征数据O1(x)，采用预先设定的调节方式及至少两阶光照调节参数中的第二阶光照调节参数a2，确定第二调节后的特征数据O2(x)，O2(x)＝O1(x)+a2*O1(x)*[M-O1(x)]。
依次采用预先设定的调节方式及至少两阶光照调节参数中的对应阶光照调节参数，确定对应调节后的特征数据，直至采用预先设定的调节方式及至少两阶光照调节参数中的最后一阶光照调节参数an计算出最终调节后的特征数据On(x)，
On(x)＝On-1(x)+an*On-1(x)*[M-On-1(x)]。
利用最终调节后的特征数据On(x)生成光照调节后的图像。
可以理解的是，在确定第二调节后的特征数据及之后，上一阶得到的调节后的特征数据可以作为当前的被调节的特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的当前阶光照调节参数，确定当前调节后的特征数据，直至确定最终调节后的特征数据，利用最终调节后的特征数据生成光照调节后的图像。
可以理解的是，预先设定的调节方式并不限于以上示出的调节方式，可以根据具体情况设定调节方式，只要可以根据光照调节参数实现对被调整的特征数据进行调节，并且利用调节后的特征数据生成的图像更容易被识别即可。
在一种实施方式中，利用样本图像和光照调节后的图像，计算第一光照损失函数的值，可以包括：计算光照调节后的图像中相邻两个像素的像素值的第一差异；计算样本图像中相邻两个像素的像素值的第二差异；利用第一差异和第二差异计算第一光照损失函数的值；其中，光照调节后的图像中相邻两个像素的位置与样本图像中相邻两个像素的位置依次对应。
示例性地，光照调节后的图像中，像素的像素值可以表示为O，样本图像中像素的像素值可以表示为I。可以理解的是，图像对应的数据为矩阵，图像中像素的像素值可以为图像对应的矩阵中与该像素对应的值。
计算光照调节后的图像中相邻两个像素的像素值的第一差异，可以表示为|Oi-Oj|，即第一差异为光照调节后的图像中相邻两个像素的像素值之差的绝对值。其中，Oi，Oj分别为光照调节后的图像中第i像素的像素值、第j像素的像素值，第i像素和第j像素为邻域像素(也可以叫做相邻两个像素)。
计算样本图像中相邻两个像素的像素值的第二差异，可以表示为|Ii-Ij|，即第二差异为样本图像中相邻两个像素的像素值之差的绝对值。其中，Ii，Ij分别为样本图像中第i像素的像素值、第j像素的像素值，第i像素和第j像素为邻域像素(也可以叫做相邻两个像素)。
可以理解的是，光照调节后的图像的特征数据与样本图像的特征数据的行数和列数均相同，在计算对应的第一差异和第二差异时，光照调节后的图像中相邻两个像素的位置与样本图像中相邻两个像素的位置需要依次对应，例如，光照调节后的图像中相邻两个像素的位置分别为第f行第g列、第f行第g+1列，那么，样本图像中相邻两个像素的位置也分别为第f行第g列、第f行第g+1列。
在一种实施方式中，利用第一差异和第二差异计算第一光照损失函数的值，可以包括：计算光照调节后的图像中所有相邻两个像素的第一差异和样本图像中所有相邻两个像素的第二差异；计算所有相对应的第一差异和第二差异的第一差值；计算各第一差值的和，将各第一差值的和作为第一光照损失函数的值；其中，第一光照损失函数的训练目标为趋近于0，第一差值为第一差异和第二差异之差的绝对值。
计算光照调节后的图像中所有相邻两个像素的第一差异，也就是说，遍历光照调节后的图像中所有相邻两个像素，得出所有的第一差异。
计算样本图像中所有相邻两个像素的第二差异，也就是说，遍历样本图像中所有相邻两个像素，得出所有的第二差异。
计算所有相对应的第一差异和第二差异的第一差值，并计算各第一差值的和，将各第一差值的和作为第一光照损失函数的值。
示例性地，第一光照损失函数可以表示为Loss spatial，第一光照损失函数的值可以表示为：
Loss_spatial＝∑||Oi-Oj|-|Ii-Ij||。
以上示例中示出了采用各第一差值的和作为第一光照损失函数的值。可以理解的是，利用第一差异和第二差异计算第一光照损失函数的值，并不限于以上示出的方式。在其它实施例中，可以计算第一差异和第二差异的比值，将第一差异和第二差异的比值作为第一光照损失函数的值，第一光照损失函数的训练目标可以为趋近于1。
采用第一损失函数对光照自适应模块进行训练后，训练得到的光照自适应模块可以对输入的图像进行整体调节，而不会影响图像的整体显示效果，有利于提升人脸识别模型的识别率。
在一种实施方式中，人脸识别模型的训练方法还可以包括：利用光照调节后的图像，计算第二光照损失函数的值；根据第二光照损失函数的值调整光照自适应模块的参数。
在一个示例中，利用光照调节后的图像，计算第二光照损失函数的值，可以包括：计算光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；利用各第一平均值和预设常数计算第二光照损失函数的值。
这样的第二光照损失函数，在计算第二光照损失函数的值时，采用了预设常数，从而，可以通过设置预设常数来调整所有像素的各颜色通道的像素值，通过设置合适的预设常数，可以避免光照调节后的图像太亮或太暗，使得光照调节后的图像亮度适当，可以提高识别人脸识别模型的识别准确率。
在一种实施方式中，利用各第一平均值和预设常数计算第二光照损失函数的值，可以包括：计算各第一平均值与预设常数的第二差值；计算各第二差值的和，将各第二差值的和作为第二光照损失函数的值；其中，第二光照损失函数的训练目标为趋近于0，第二差值为第一平均值与预设常数之差的绝对值。
示例性地，第二光照损失函数可以表示为Loss exp，那么，
其中，k为像素的颜色通道数，Yk为所有像素中第k颜色通道的像素值的平均值，E为预设常数，p为像素的总通道数。
示例性地，像素的总通道数可以为3，亦即像素可以包括三个颜色通道，即p＝3，例如，第一颜色通道可以为R通道、第二颜色通道可以为G通道、第三颜色通道可以为B通道。可以计算出所有像素的R通道的像素值的平均值与预设常数的第二差值，称为R通道差值，计算出所有像素的G通道像素值的平均值与预设常数的第二差值，称为G通道差值，计算出所有像素的B通道像素值的平均值与预设常数的第二差值，称为B通道差值，R通道差值、G通道差值和B通道差值之和即为第二损失函数的值。
预设常数E的具体数值可以根据实际需要确定，示例性地，0.5≤E≤0.7，预设常数可以为0.5至0.7之间的任一数值(包括端点值)，例如，预设常数E可以等于0.6。
以上示例中示出了采用第一平均值和预设常数计算第二光照损失函数的值。可以理解的是，利用第一平均值和预设常数计算第二光照损失函数的值，并不限于以上示出的方式。在其它实施例中，可以计算第一平均值和预设常数的比值，将第一平均值和预设常数的比值作为第二光照损失函数的值，第二光照损失函数的训练目标可以为趋近于1。
采用第二光照损失函数对光照自适应模块进行训练后，使得获得的光照调节后的图像中，每个通道的亮度更均衡，从而使得每个像素的亮度更均衡，避免出现太亮或太暗的像素。
在一种实施方式中，利用光照调节后的图像，计算第二光照损失函数的值，可以包括：计算光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；计算任意两个第一平均值的第三差值；计算各第三差值的和，将各第三差值的和作为第二光照损失函数的值；其中，第二光照损失函数的训练目标为趋近于0。
示例性地，第二光照损失函数可以表示为Loss color，那么，
Loss_exp＝∑|Yk-Ym|，
其中，k、m均为像素的颜色通道数，Yk为所有像素中第k颜色通道的像素值的平均值，Ym为所有像素中第m颜色通道的像素值的平均值。
示例性地，像素的总颜色通道数可以为3，即p＝3，亦即像素可以包括三个颜色通道，例如，第一颜色通道可以为R通道、第二颜色通道可以为G通道、第三颜色通道可以为B通道。那么，Y1为所有像素中R通道的像素值的平均值，Y2为所有像素中G通道的像素值的平均值，Y3为所有像素中B通道的像素值的平均值，可以计算出第二光照损失函数的值为|Y1-Y2|+|Y1-Y3|+|Y2-Y3|。
采用本实施例的第二光照损失函数对光照自适应模块进行训练后，可以使得获得的光照调节后的图像中，任意两个通道的像素值的平均值趋于相同，避免出现通道颜色太深或太浅，使得光照调节后的图像的颜色更均衡，进而提高人脸识别准确性。
在一种实施方式中，人脸识别模型的训练方法还可以包括：利用光照调节参数，计算第三光照损失函数的值；根据第三光照损失函数的值调整光照自适应模块的参数。
在一个实例中，利用光照调节参数，计算第三光照损失函数的值，可以包括：计算各光照调节参数在行方向上的第一变换梯度；计算各光照调节参数在列方向上的第二变换梯度；计算各光照调节参数对应的第一变换梯度和第二变换梯度的总变换梯度；计算各总变换梯度的和，将各总变换梯度的和作为第三光照损失函数的值；其中，第三光照损失函数的训练目标为趋近于0，总变换梯度为第一变换梯度和第二变换梯度之和。
示例性地，第三光照损失函数可以表示为Loss grad，那么，
其中，au为第u阶光照损失函数，w为光照损失函数的总阶数，为au在行方向上的变换梯度，/>为au在列方向上的变换梯度。
示例性地，光照损失函数的总阶数可以为4，即光照损失函数可以包括第一阶光照损失函数a1、第二阶光照损失函数a2、第三阶光照损失函数a3、第四阶光照损失函数a4，那么，
采用第三光照损失函数对光照自适应模块进行训练后，可以使得各个光照损失函数在行方向上变换更平缓、在列方向上变换更平缓，避免光照调节后的图像出现颜色抖动，进而可以提高人脸识别的准确性。
在一种实施方式中，人脸识别模型的训练方法还可以包括：将光照调节后的图像输入人脸识别模块，得到光照调节后的图像的人脸识别结果；根据人脸识别结果，计算识别损失函数的值；根据识别损失函数的值调整人脸识别模块的参数和/或光照自适应模块的参数。
根据识别损失函数的值同时调整人脸识别模块的参数和光照自适应模块的参数，在优化人脸识别模块的同时，优化光照自适应模块，可以提高得到的光照调节后的图像的可识别性，从而进一步提高人脸识别模块的识别率。
在利用识别损失函数对人脸识别模块进行监督训练时，根据识别损失函数的值调整人脸识别模块的参数和/或光照自适应模块的参数。
示例性地，人脸识别模块可以采用本领域通用的神经网络模型，识别损失函数可以采用本领域已知的人脸识别损失函数，例如Softmax、Triplet Loss、Center Loss、L-Softmax等中的至少一种。
在一种实施方式中，在对人脸识别模型进行训练时，可以同时采用光照损失函数和识别损失函数对人脸识别模型进行训练。示例性地，可以同时训练光照自适应模块和人脸识别模块，同时优化光照损失函数和识别损失函数，通过光照损失函数的值调整光照自适应模块的参数，通过识别损失函数的值调整人脸识别模块的参数以及光照自适应模块的参数。
在一种实施方式中，在对人脸识别模型进行训练时，可以对光照自适应模块和识别模型单独训练。示例性地，首先，可以采用光照损失函数对光照自适应模块进行训练，得到训练好的光照自适应模块，并将光照自适应模块中的参数固定；样本图像输入训练好的光照自适应模块后，得到光照调节后的图像，将光照调节后的图像作为人脸识别模块的训练样本，采用识别损失函数对人脸识别模块进行训练。
图2为本公开一实施例中人脸识别方法的示意图。如图2所示，人脸识别方法可以包括：
步骤S201、将待识别的人脸图像输入预先训练的光照自适应模块，得到待识别的人脸图像对应的光照调节参数；
步骤S202、利用光照调节参数和待识别的人脸图像，生成光照调节后的图像；光照调节后的图像用于人脸识别。
在一种实施方式中，人脸识别方法还可以包括：将光照调节后的图像输入预先训练的人脸识别模块，得到光照调节后的图像的人脸识别结果。
在一种实施方式中，光照调节参数包括第一阶光照调节参数，利用光照调节参数和待识别的人脸图像，生成光照调节后的图像，可以包括：确定待识别的人脸图像的样本特征数据；针对样本特征数据，采用预先设定的调节方式及第一阶光照调节参数，确定调节后的特征数据；利用调节后的特征数据生成光照调节后的图像。
在一种实施方式中，光照调节参数包括至少两阶光照调节参数，利用光照调节参数和待识别的人脸图像，生成光照调节后的图像，包括：确定待识别的人脸图像的样本特征数据；针对样本特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对第一调节后的特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；利用最终调节后的特征数据生成光照调节后的图像。
在一种实施方式中，预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为第一矩阵，预设常量表示为预设矩阵；计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，光照调节参数表示为第二矩阵，矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算矩阵的乘积与第一矩阵的数据和，将数据和作为调节后的特征数据。
图3为本公开一实施例中人脸识别模型的训练装置的结构框图。如图3所示，人脸识别模型的训练装置可以包括：
参数生成模块301，用于将样本图像输入人脸识别模型中的光照自适应模块，得到样本图像对应的光照调节参数；
图像生成模块302，用于利用光照调节参数和样本图像，生成光照调节后的图像；
第一调整模块303，用于利用样本图像和光照调节后的图像，计算第一光照损失函数的值，根据第一光照损失函数的值调整光照自适应模块的参数。
在一种实施方式中，如图3所示，人脸识别模型的训练装置还包括：结果识别模块304，用于将光照调节后的图像输入人脸识别模块，得到光照调节后的图像的人脸识别结果；第二调整模块305，用于根据人脸识别结果计算识别损失函数的值；根据识别损失函数的值调整人脸识别模块的参数和/或光照自适应模块的参数。
图4为本公开一实施例中图像生成模块的结构框图，如图4所示，在一种实施方式中，光照调节参数包括第一阶光照调节参数，图像生成模块可以包括：第一被调节数据确定子模块401，用于确定样本图像的样本特征数据；第一调节后数据确定子模块402，用于针对样本特征数据，采用预先设定的调节方式及第一阶光照调节参数，确定调节后的特征数据；第一图像生成子模块403，用于利用调节后的特征数据生成光照调节后的图像。
图5为本公开一实施例中图像生成模块的结构框图，如图5所示，在一种实施方式中，光照调节参数包括至少两阶光照调节参数，图像生成模块可以包括：第二被调节数据确定子模块501，用于确定样本图像的样本特征数据；第二调节后数据确定子模块502，用于针对样本特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对第一调节后的特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；第二图像生成子模块503，用于利用最终调节后的特征数据生成光照调节后的图像。
在一种实施方式中，预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为第一矩阵，预设常量表示为预设矩阵；计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，光照调节参数表示为第二矩阵，矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算矩阵的乘积与第一矩阵的数据和，将数据和作为调节后的特征数据。
图6为本公开一实施例中第一调整模块的结构框图，如图6所示，在一种实施方式中，第一调整模块包括：第一计算子模块601，用于计算光照调节后的图像中相邻两个像素的像素值的第一差异；第二计算子模块602，用于计算样本图像中相邻两个像素的像素值的第二差异；第三计算子模块603，用于利用第一差异和第二差异计算第一光照损失函数的值；其中，光照调节后的图像中相邻两个像素的位置与样本图像中相邻两个像素的位置依次对应。
图7为本公开一实施例中第三计算子模块的结构框图，如图7所示，在一种实施方式中，第三计算子模块包括：第一差异计算子模块701，用于计算光照调节后的图像中所有相邻两个像素的第一差异和样本图像中所有相邻两个像素的第二差异；第一差值计算子模块702，用于计算所有相对应的第一差异和第二差异的第一差值；第一光照损失函数计算子模块703，用于计算各第一差值的和，将各第一差值的和作为第一光照损失函数的值；其中，第一光照损失函数的训练目标为趋近于0，第一差值为第一差异和第二差异之差的绝对值。
图8为本公开一实施例中人脸识别模型的训练装置的结构框图。在一种实施方式中，如图8所示，人脸识别模型训练装置还可以包括第三调整模块806，用于利用光照调节后的图像，计算第二光照损失函数的值；根据第二光照损失函数的值调整光照自适应模块的参数。
在一种实施方式中，图8中的参数生成模块801可以与图3中的参数生成模块301相同或相类似；图8中的图像生成模块802可以与图3中的图像生成模块302相同或相类似；图8中的第一调整模块803可以与图3中的第一调整模块303相同或相类似；图8中的结果识别模块804可以与图3中的结果识别模块304相同或相类似；图8中的第二调整模块805可以与图3中的第二调整模块305相同或相类似。
图9为本公开一实施例中第三调整子模块的结构框图。在一种实施方式中，如图9所示，第三调整子模块包括：第四计算子模块901，用于计算光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；第五计算子模块902，用于利用各第一平均值和预设常数计算第二光照损失函数的值。
图10为本公开一实施例中第五计算子模块的结构框图。在一种实施方式中，如图10所示，第五计算子模块包括：第二差值计算子模块1001，用于计算各第一平均值与预设常数的第二差值；第二光照损失函数计算子模块1002，用于计算各第二差值的和，将各第二差值的和作为第二光照损失函数的值；其中，第二光照损失函数的训练目标为趋近于0，第二差值为第一平均值与预设常数之差的绝对值。
图11为本公开一实施例中第三调整模块的结构框图。在一种实施方式中，如图11所示，第三调整模块包括：平均值计算子模块1101，计算光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；第三差值计算子模块1102，计算任意两个第一平均值的第三差值；第四光照损失函数计算子模块1103，用于计算各第三差值的和，将各第三差值的和作为第二光照损失函数的值；其中，第二光照损失函数的训练目标为趋近于0。
图12为本公开一实施例中人脸识别模型训练装置的结构框图。在一种实施方式中，如图12所示，装置还包括：第四调整模块1206，用于利用光照调节参数，计算第三光照损失函数的值；根据第三光照损失函数的值调整光照自适应模块的参数。
在一种实施方式中，图12中的参数生成模块1201可以与图3中的参数生成模块301相同或相类似；图12中的图像生成模块1202可以与图3中的图像生成模块302相同或相类似；图12中的第一调整模块1203可以与图3中的第一调整模块303相同或相类似；图12中的结果识别模块1204可以与图3中的结果识别模块304相同或相类似；图12中的第二调整模块1205可以与图3中的第二调整模块305相同或相类似。
图13为本公开一实施例中第四调整模块的结构框图。在一种实施方式中，如图13所示，第四调整模块包括：第一变换梯度计算子模块1301，用于计算各光照调节参数在行方向上的第一变换梯度；第二变换梯度计算子模块1302，用于计算各光照调节参数在列方向上的第二变换梯度；总变换梯度计算子模块1303，用于计算各光照调节参数对应的第一变换梯度和第二变换梯度的总变换梯度；第三光照损失函数计算子模块1304，用于计算各总变换梯度的和，将各总变换梯度的和作为第三光照损失函数的值；其中，第三光照损失函数的训练目标为趋近于0，总变换梯度为第一变换梯度和第二变换梯度之和。
图14为本公开一实施例中人脸识别装置的结构框图。在一种实施方式中，如图14所示，人脸识别装置包括：
参数生成模块1401，用于将待识别的人脸图像输入预先训练的光照自适应模块，得到待识别的人脸图像对应的光照调节参数；
图像生成模块1402，用于利用光照调节参数和待识别的人脸图像，生成光照调节后的图像；光照调节后的图像用于人脸识别。
在一种实施方式中，装置还可以包括结果识别模块1403，用于将光照调节后的图像输入预先训练的人脸识别模块，得到光照调节后的图像的人脸识别结果。
图15为本公开一实施例中图像生成模块的结构框图。在一种实施方式中，如图15所示，光照调节参数包括第一阶光照调节参数，图像生成模块包括：第一被调节数据确定子模块1501，用于确定待识别的人脸图像的样本特征数据；第一调节后数据确定子模块1502，用于针对样本特征数据，采用预先设定的调节方式及第一阶光照调节参数，确定调节后的特征数据；第一图像生成子模块1503，用于利用调节后的特征数据生成光照调节后的图像。
图16为本公开一实施例中图像生成模块的结构框图。在一种实施方式中，如图16所示，光照调节参数包括至少两阶光照调节参数，图像生成模块包括：第二被调节数据确定子模块1601，用于确定待识别的人脸图像的样本特征数据；第二调节后数据确定子模块1602，用于针对样本特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对第一调节后的特征数据，采用预先设定的调节方式及至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；第二图像生成子模块1603，用于利用最终调节后的特征数据生成光照调节后的图像。
在一种实施方式中，预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为第一矩阵，预设常量表示为预设矩阵；计算第一差矩阵、第一矩阵和第二矩阵的矩阵的乘积，光照调节参数表示为第二矩阵，矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算矩阵的乘积与第一矩阵的数据和，将数据和作为调节后的特征数据。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图18示出了可以用来实施本公开的实施例的示例电子设备1800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图18所示，设备1800包括计算单元1801，其可以根据存储在只读存储器(ROM)1802中的计算机程序或者从存储单元1808加载到随机访问存储器(RAM)1803中的计算机程序来执行各种适当的动作和处理。在RAM 1803中，还可存储设备1800操作所需的各种程序和数据。计算单元1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入输出(I/O)接口1805也连接至总线1804。
设备1800中的多个部件连接至I/O接口1805，包括：输入单元1806，例如键盘、鼠标等；输出单元1807，例如各种类型的显示器、扬声器等；存储单元1808，例如磁盘、光盘等；以及通信单元1809，例如网卡、调制解调器、无线通信收发机等。通信单元1809允许设备1800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1801执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开实施例中的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1802和/或通信单元1809而被载入和/或安装到设备1800上。当计算机程序加载到RAM1803并由计算单元1801执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (30)
1.一种人脸识别模型的训练方法，包括：
将样本图像输入人脸识别模型中的光照自适应模块，得到所述样本图像对应的光照调节参数；
利用所述光照调节参数和所述样本图像，生成光照调节后的图像；
利用所述样本图像和所述光照调节后的图像，计算第一光照损失函数的值，根据所述第一光照损失函数的值调整所述光照自适应模块的参数；
其中，所述光照调节参数包括至少两阶光照调节参数，所述利用所述光照调节参数和所述样本图像，生成光照调节后的图像，包括：确定所述样本图像的样本特征数据；针对所述样本特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对所述第一调节后的特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和所述至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；利用所述最终调节后的特征数据生成所述光照调节后的图像；
所述预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为所述第一矩阵，预设常量表示为所述预设矩阵；计算所述第一差矩阵、所述第一矩阵和第二矩阵的矩阵的乘积，所述光照调节参数表示为所述第二矩阵，所述矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算所述矩阵的乘积与所述第一矩阵的数据和，将所述数据和作为所述调节后的特征数据。
2.根据权利要求1所述的方法，还包括：
将所述光照调节后的图像输入所述人脸识别模型中的人脸识别模块，得到所述光照调节后的图像的人脸识别结果；
根据所述人脸识别结果计算识别损失函数的值；
根据所述识别损失函数的值调整所述人脸识别模块的参数和/或所述光照自适应模块的参数。
3.根据权利要求1所述的方法，其中，所述光照调节参数包括第一阶光照调节参数，所述利用所述光照调节参数和所述样本图像，生成光照调节后的图像，包括：
确定所述样本图像的样本特征数据；
针对所述样本特征数据，采用预先设定的调节方式及所述第一阶光照调节参数，确定调节后的特征数据；
利用所述调节后的特征数据生成所述光照调节后的图像。
4.根据权利要求1所述的方法，其中，所述利用所述样本图像和所述光照调节后的图像，计算第一光照损失函数的值，包括：
计算所述光照调节后的图像中相邻两个像素的像素值的第一差异；
计算所述样本图像中相邻两个像素的像素值的第二差异；
利用所述第一差异和所述第二差异计算所述第一光照损失函数的值；
其中，所述光照调节后的图像中相邻两个像素的位置与所述样本图像中相邻两个像素的位置依次对应。
5.根据权利要求4所述的方法，其中，所述利用所述第一差异和所述第二差异计算所述第一光照损失函数的值，包括：
计算所述光照调节后的图像中所有相邻两个像素的第一差异和所述样本图像中所有相邻两个像素的第二差异；
计算所有相对应的所述第一差异和所述第二差异的第一差值；
计算各第一差值的和，将所述各第一差值的和作为所述第一光照损失函数的值；
其中，所述第一光照损失函数的训练目标为趋近于0，所述第一差值为所述第一差异和所述第二差异之差的绝对值。
6.根据权利要求1所述的方法，还包括：
利用所述光照调节后的图像，计算第二光照损失函数的值；
根据所述第二光照损失函数的值调整所述光照自适应模块的参数。
7.根据权利要求6所述的方法，其中，所述利用所述光照调节后的图像，计算第二光照损失函数的值，包括：
计算所述光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；
利用各所述第一平均值和预设常数计算所述第二光照损失函数的值。
8.根据权利要求7所述的方法，其中，所述利用各所述第一平均值和预设常数计算所述第二光照损失函数的值，包括：
计算各所述第一平均值与所述预设常数的第二差值；
计算各所述第二差值的和，将各所述第二差值的和作为所述第二光照损失函数的值；
其中，所述第二光照损失函数的训练目标为趋近于0，所述第二差值为所述第一平均值与所述预设常数之差的绝对值。
9.根据权利要求6所述的方法，其中，所述利用所述光照调节后的图像，计算第二光照损失函数的值，包括：
计算所述光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；
计算任意两个第一平均值的第三差值；
计算各第三差值的和，将所述各第三差值的和作为所述第二光照损失函数的值；其中，所述第二光照损失函数的训练目标为趋近于0。
10.根据权利要求1所述的方法，还包括：
利用所述光照调节参数，计算第三光照损失函数的值；
根据所述第三光照损失函数的值调整所述光照自适应模块的参数。
11.根据权利要求10所述的方法，其中，所述利用所述光照调节参数，计算所述第三光照损失函数的值，包括：
计算各所述光照调节参数在行方向上的第一变换梯度；
计算各所述光照调节参数在列方向上的第二变换梯度；
计算各所述光照调节参数对应的所述第一变换梯度和所述第二变换梯度的总变换梯度；
计算各所述总变换梯度的和，将所述各所述总变换梯度的和作为所述第三光照损失函数的值；
其中，所述第三光照损失函数的训练目标为趋近于0，所述总变换梯度为所述第一变换梯度和所述第二变换梯度之和。
12.一种人脸识别方法，包括：
将待识别的人脸图像输入预先训练的光照自适应模块，得到所述待识别的人脸图像对应的光照调节参数；
利用所述光照调节参数和所述待识别的人脸图像，生成光照调节后的图像；所述光照调节后的图像用于人脸识别；
其中，所述光照调节参数包括至少两阶光照调节参数，所述利用所述光照调节参数和所述待识别的人脸图像，生成光照调节后的图像，包括：确定所述待识别的人脸图像的样本特征数据；针对所述样本特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对所述第一调节后的特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和所述至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；利用所述最终调节后的特征数据生成所述光照调节后的图像；
所述预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为所述第一矩阵，预设常量表示为预设矩阵；计算所述第一差矩阵、所述第一矩阵和第二矩阵的矩阵的乘积，所述光照调节参数表示为所述第二矩阵，所述矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算所述矩阵的乘积与所述第一矩阵的数据和，将所述数据和作为所述调节后的特征数据。
13.根据权利要求12所述的方法，还包括：
将所述光照调节后的图像输入预先训练的人脸识别模块，得到所述光照调节后的图像的人脸识别结果。
14.根据权利要求12所述的方法，其中，所述光照调节参数包括第一阶光照调节参数，所述利用所述光照调节参数和所述待识别的人脸图像，生成光照调节后的图像，包括：
确定所述待识别的人脸图像的样本特征数据；
针对所述样本特征数据，采用预先设定的调节方式及所述第一阶光照调节参数，确定调节后的特征数据；
利用所述调节后的特征数据生成所述光照调节后的图像。
15.一种人脸识别模型的训练装置，包括：
参数生成模块，用于将样本图像输入人脸识别模型中的光照自适应模块，得到所述样本图像对应的光照调节参数；
图像生成模块，用于利用所述光照调节参数和所述样本图像，生成光照调节后的图像；
第一调整模块，用于利用所述样本图像和所述光照调节后的图像，计算第一光照损失函数的值，根据所述第一光照损失函数的值调整所述光照自适应模块的参数；
其中，所述光照调节参数包括至少两阶光照调节参数，所述图像生成模块包括：第二被调节数据确定子模块，用于确定所述样本图像的样本特征数据；第二调节后数据确定子模块，用于针对所述样本特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；针对所述第一调节后的特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和所述至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；第二图像生成子模块，用于利用所述最终调节后的特征数据生成所述光照调节后的图像；
所述预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为所述第一矩阵，预设常量表示为所述预设矩阵；计算所述第一差矩阵、所述第一矩阵和第二矩阵的矩阵的乘积，所述光照调节参数表示为所述第二矩阵，所述矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算所述矩阵的乘积与所述第一矩阵的数据和，将所述数据和作为所述调节后的特征数据。
16.根据权利要求15所述的装置，还包括：
结果识别模块，用于将所述光照调节后的图像输入所述人脸识别模型中的人脸识别模块，得到所述光照调节后的图像的人脸识别结果；
第二调整模块，用于根据所述人脸识别结果计算识别损失函数的值；根据所述识别损失函数的值调整所述人脸识别模块的参数和/或所述光照自适应模块的参数。
17.根据权利要求15所述的装置，其中，所述光照调节参数包括第一阶光照调节参数，所述图像生成模块包括：
第一被调节数据确定子模块，用于确定所述样本图像的样本特征数据；
第一调节后数据确定子模块，用于针对所述样本特征数据，采用预先设定的调节方式及所述第一阶光照调节参数，确定调节后的特征数据；
第一图像生成子模块，用于利用所述调节后的特征数据生成所述光照调节后的图像。
18.根据权利要求15所述的装置，其中，所述第一调整模块包括：
第一计算子模块，用于计算所述光照调节后的图像中相邻两个像素的像素值的第一差异；
第二计算子模块，用于计算所述样本图像中相邻两个像素的像素值的第二差异；
第三计算子模块，用于利用所述第一差异和所述第二差异计算所述第一光照损失函数的值；
其中，所述光照调节后的图像中相邻两个像素的位置与所述样本图像中相邻两个像素的位置依次对应。
19.根据权利要求18所述的装置，其中，所述第三计算子模块包括：
第一差异计算子模块，用于计算所述光照调节后的图像中所有相邻两个像素的第一差异和所述样本图像中所有相邻两个像素的第二差异；
第一差值计算子模块，用于计算所有相对应的所述第一差异和所述第二差异的第一差值；
第一光照损失函数计算子模块，用于计算各第一差值的和，将所述各第一差值的和作为所述第一光照损失函数的值；
其中，所述第一光照损失函数的训练目标为趋近于0，所述第一差值为所述第一差异和所述第二差异之差的绝对值。
20.根据权利要求15所述的装置，还包括：
第三调整模块，用于利用所述光照调节后的图像，计算第二光照损失函数的值；根据所述第二光照损失函数的值调整所述光照自适应模块的参数。
21.根据权利要求20所述的装置，其中，所述第三调整子模块包括：
第四计算子模块，用于计算所述光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；
第五计算子模块，用于利用各所述第一平均值和预设常数计算所述第二光照损失函数的值。
22.根据权利要求21所述的装置，其中，所述第五计算子模块包括：
第二差值计算子模块，用于计算各所述第一平均值与所述预设常数的第二差值；
第二光照损失函数计算子模块，用于计算各所述第二差值的和，将各所述第二差值的和作为所述第二光照损失函数的值；
其中，所述第二光照损失函数的训练目标为趋近于0，所述第二差值为所述第一平均值与所述预设常数之差的绝对值。
23.根据权利要求20所述的装置，其中，所述第三调整模块包括：
平均值计算子模块，计算所述光照调节后的图像中所有像素的各颜色通道的像素值的第一平均值；
第三差值计算子模块，计算任意两个第一平均值的第三差值；
第四光照损失函数计算子模块，用于计算各第三差值的和，将所述各第三差值的和作为所述第二光照损失函数的值；其中，所述第二光照损失函数的训练目标为趋近于0。
24.根据权利要求15所述的装置，还包括：
第四调整模块，用于利用所述光照调节参数，计算第三光照损失函数的值；根据所述第三光照损失函数的值调整所述光照自适应模块的参数。
25.根据权利要求24所述的装置，其中，所述第四调整模块包括：
第一变换梯度计算子模块，用于计算各所述光照调节参数在行方向上的第一变换梯度；
第二变换梯度计算子模块，用于计算各所述光照调节参数在列方向上的第二变换梯度；
总变换梯度计算子模块，用于计算各所述光照调节参数对应的所述第一变换梯度和所述第二变换梯度的总变换梯度；
第三光照损失函数计算子模块，用于计算各所述总变换梯度的和，将所述各所述总变换梯度的和作为所述第三光照损失函数的值；
其中，所述第三光照损失函数的训练目标为趋近于0，所述总变换梯度为所述第一变换梯度和所述第二变换梯度之和。
26.一种人脸识别装置，包括：
参数生成模块，用于将待识别的人脸图像输入预先训练的光照自适应模块，得到所述待识别的人脸图像对应的光照调节参数；
图像生成模块，用于利用所述光照调节参数和所述待识别的人脸图像，生成光照调节后的图像；所述光照调节后的图像用于人脸识别；
其中，所述光照调节参数包括至少两阶光照调节参数，所述图像生成模块包括：第二被调节数据确定子模块，用于确定所述待识别的人脸图像的样本特征数据；第二调节后数据确定子模块，用于针对所述样本特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第一阶光照调节参数，确定第一调节后的特征数据；还用于针对所述第一调节后的特征数据，采用预先设定的调节方式及所述至少两阶光照调节参数中的第二阶光照调节参数，确定第二调节后的特征数据；直至采用预先设定的调节方式和所述至少两阶光照调节参数中的最后一阶光照调节参数，确定最终调节后的特征数据；第二图像生成子模块，用于利用最终调节后的特征数据生成所述光照调节后的图像；
所述预先设定的调节方式包括：计算预设矩阵与第一矩阵的差，得到第一差矩阵，被调节的特征数据表示为所述第一矩阵，预设常量表示为所述预设矩阵；计算所述第一差矩阵、所述第一矩阵和第二矩阵的矩阵的乘积，所述光照调节参数表示为所述第二矩阵，所述矩阵的乘积为矩阵中对应元素相乘得到的矩阵；计算所述矩阵的乘积与所述第一矩阵的数据和，将所述数据和作为所述调节后的特征数据。
27.根据权利要求26所述的装置，还包括：
结果识别模块，用于将所述光照调节后的图像输入预先训练的人脸识别模块，得到所述光照调节后的图像的人脸识别结果。
28.根据权利要求26所述的装置，其中，所述光照调节参数包括第一阶光照调节参数，所述图像生成模块包括：
第一被调节数据确定子模块，用于确定所述待识别的人脸图像的样本特征数据；
第一调节后数据确定子模块，用于针对所述样本特征数据，采用预先设定的调节方式及所述第一阶光照调节参数，确定调节后的特征数据；
第一图像生成子模块，用于利用所述调节后的特征数据生成所述光照调节后的图像。
29. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-14中任一项所述的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110091133.4A CN112749679B (zh) | 2021-01-22 | 2021-01-22 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110091133.4A CN112749679B (zh) | 2021-01-22 | 2021-01-22 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749679A CN112749679A (zh) | 2021-05-04 |
| CN112749679B true CN112749679B (zh) | 2023-09-05 |
Family
ID=75652975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110091133.4A Active CN112749679B (zh) | 2021-01-22 | 2021-01-22 | 模型的训练方法、人脸识别方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749679B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657397B (zh) * | 2021-08-17 | 2023-07-11 | 北京百度网讯科技有限公司 | 循环生成网络模型的训练方法、建立字库的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0151614A1 (en) * | 1983-08-11 | 1985-08-21 | Eastman Kodak Co | TRANSFORM PROCESSING METHOD FOR NOISE REDUCTION IN AN IMAGE. |
| CN106469301A (zh) * | 2016-08-31 | 2017-03-01 | 北京天诚盛业科技有限公司 | 自适应可调节的人脸识别方法和装置 |
| CN109063716A (zh) * | 2018-08-28 | 2018-12-21 | 广东工业大学 | 一种图像识别方法、装置、设备及计算机可读存储介质 |
| KR101939073B1 (ko) * | 2017-09-13 | 2019-01-16 | 한국단자공업 주식회사 | 조도센서를 활용한 차선 인식 개선 방법 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN112016524A (zh) * | 2020-09-25 | 2020-12-01 | 北京百度网讯科技有限公司 | 模型训练方法、人脸识别方法、装置、设备和介质 |
-
2021
- 2021-01-22 CN CN202110091133.4A patent/CN112749679B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0151614A1 (en) * | 1983-08-11 | 1985-08-21 | Eastman Kodak Co | TRANSFORM PROCESSING METHOD FOR NOISE REDUCTION IN AN IMAGE. |
| CN106469301A (zh) * | 2016-08-31 | 2017-03-01 | 北京天诚盛业科技有限公司 | 自适应可调节的人脸识别方法和装置 |
| KR101939073B1 (ko) * | 2017-09-13 | 2019-01-16 | 한국단자공업 주식회사 | 조도센서를 활용한 차선 인식 개선 방법 |
| CN109063716A (zh) * | 2018-08-28 | 2018-12-21 | 广东工业大学 | 一种图像识别方法、装置、设备及计算机可读存储介质 |
| CN110751098A (zh) * | 2019-10-22 | 2020-02-04 | 中山大学 | 一种基于光照、姿态生成对抗网络的人脸识别方法 |
| CN112016524A (zh) * | 2020-09-25 | 2020-12-01 | 北京百度网讯科技有限公司 | 模型训练方法、人脸识别方法、装置、设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡敏鹏.基于光照补偿方法的人脸识别系统设计与实现.万方.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749679A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| US9344690B2 (en) | Image demosaicing | |
| CN107103285B (zh) | 基于卷积神经网络的人脸深度预测方法 | |
| US11449734B2 (en) | Neural network reduction device, neural network reduction method, and storage medium | |
| CN113361710B (zh) | 学生模型训练方法、图片处理方法、装置及电子设备 | |
| CN113963176B (zh) | 一种模型蒸馏方法、装置、电子设备及存储介质 | |
| CN113436105B (zh) | 模型训练和图像优化方法、装置、电子设备及存储介质 | |
| CN113378911B (zh) | 图像分类模型训练、图像分类方法及相关装置 | |
| CN113095470A (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| US20240233358A9 (en) | Image classification method, model training method, device, storage medium, and computer program | |
| CN105787892A (zh) | 一种基于机器学习的蒙特卡洛噪声去除方法 | |
| CN112967315B (zh) | 一种目标跟踪方法、装置及电子设备 | |
| CN112749679B (zh) | 模型的训练方法、人脸识别方法、装置、设备和介质 | |
| KR102135632B1 (ko) | 뉴럴 프로세싱 장치 및 그것의 동작 방법 | |
| CN115457365B (zh) | 一种模型的解释方法、装置、电子设备及存储介质 | |
| JP2014063359A (ja) | 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム | |
| CN112561818B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN116957948A (zh) | 图像处理方法、电子产品和存储介质 | |
| KR102478256B1 (ko) | 랭크 오더 코딩 기반 스파이킹 cnn 연산 방법 및 그 처리기 | |
| TWI732467B (zh) | 訓練稀疏連接神經網路的方法 | |
| CN113657482A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| JP2021086284A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN115759209B (zh) | 神经网络模型的量化方法、装置、电子设备及介质 | |
| CN113239899B (zh) | 用于处理图像和生成卷积核的方法、路侧设备和云控平台 | |
| CN113361575B (zh) | 模型训练方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |