CN113077402B - 一种基于正交三角分解的人脸图像光照复原方法 - Google Patents

一种基于正交三角分解的人脸图像光照复原方法 Download PDF

Info

Publication number
CN113077402B
CN113077402B CN202110387868.1A CN202110387868A CN113077402B CN 113077402 B CN113077402 B CN 113077402B CN 202110387868 A CN202110387868 A CN 202110387868A CN 113077402 B CN113077402 B CN 113077402B
Authority
CN
China
Prior art keywords
image
face
illumination
matrix
orthogonal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110387868.1A
Other languages
English (en)
Other versions
CN113077402A (zh
Inventor
胡长晖
刘宇
虞建
李丰耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110387868.1A priority Critical patent/CN113077402B/zh
Publication of CN113077402A publication Critical patent/CN113077402A/zh
Application granted granted Critical
Publication of CN113077402B publication Critical patent/CN113077402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种基于正交三角分解的人脸图像光照复原方法，该方法包括如下步骤：步骤1：采集人脸彩色图像并转化为人脸灰度图像；步骤2：求取步骤1中得到人脸灰度图像的光照归一化图像；步骤3：求取人脸灰度图像的光照复原图像。本发明充分考虑了人脸灰度图像的光照特性，通过正交三角分解算法，对上三角矩阵行向量进行归一化处理，产生人脸灰度图像的光照归一化图像，然后利用梯度下降法，使人脸灰度图像逼近其光照归一化图像，产生人脸灰度图像的光照复原图像，在恢复光照的同时，最大限度的保持人脸图像的固有鉴别特征。

Description

一种基于正交三角分解的人脸图像光照复原方法
技术领域
本发明属于模式识别领域，具体的说是涉及一种基于正交三角分解的人脸图像光照复原方法，尤其是一种剧烈光照变化人脸图像识别问题中的人脸图像光照复原方法。
背景技术
人脸图像光照复原技术主要应用于存在剧烈光照变化的人脸图像识别问题中，其在视觉监控，信息安全，身份信息识别等领域有着广泛的应用需求，如在视觉监控方面，目前的户外视觉监控系统可实时采集大量含有剧烈光照变化人脸图像的视频和图片，通过将人脸图像的剧烈变化光照复原为正常光照，可以提高视觉监控系统识别剧烈光照变化人脸图像的准确率。
人脸图像光照复原方法源于这样一个事实，即在户外自然光环境下，采集的人脸图像存在剧烈的光照变化，剧烈光照变化会导致人脸识别系统的性能严重下降，为了提高人脸识别系统对剧烈光照变化的鲁棒性，需要将人脸图像的剧烈光照变化复原为正常光照。
近年来，人脸图像光照复原技术成为剧烈光照变化人脸识别领域的一个重要研究课题，在理论上说明了方法的可行性，更提出并发展了许多有显著意义和应用价值的方法。按其复原技术可以分为两类：基于数据驱动的复原方法和基于模型驱动的复原方法。基于数据驱动的复原方法使用大规模光照变化人脸图像训练深度神经网络，使得深度神经网络能够产生任意剧烈光照变化人脸图像的正常光照图像，基于数据驱动的复原方法容易造成人脸鉴别信息失真，对剧烈光照变化效果不佳，在实际应用中不能令人满意；基于模型驱动的复原方法，将剧烈光照变化作为线性干扰噪声消除掉，效果很好。
ZL2019110647985公开了一种基于奇异值分解的人脸图像光照复原方法，该方法是利用是利用奇异值分解方法对采集转化后的人脸灰度图像进行光照归一化处理，并求取人脸灰度图像的光照复原图像，此专利中的光照复原方法在进行奇异值分解时速度比较慢，计算效率低。
ZL2014101360466公开了一种极端光照人脸识别的光照归一化方法，此方法中光照归一化处理是将人脸图像分为低频和高频，并且根据低频和高频的不同进而采取不同的算法进行信息的处理，虽然系统的鲁棒性较好，但是由于在计算的过程中需要对低频和高频信息采用不同的方法进行处理，因此依然存在处理速度慢、效率低的缺陷。
ZL 201310303786X公开了一种针对人脸识别的光照归一化处理系统，使用FBEMD方法分解一张人脸图像，得到一组从高频到低频排列的BIMF分量，每个BIMF都是局部窄带、具有单一特征的子信号，计算每一个BIMF中所含信息的权重系数，只选用权重系数最高的三个分量做加和处理，重建人脸图像，完成光照的归一化处理，但是此归一化处理系统需要在识别之前去除光照变量的影响。
发明内容
为了克服现有技术中存在的不足，本发明提供了一种能够将人脸图像的剧烈光照变化复原为正常光照，适用于各种剧烈光照变化人脸识别算法的基于正交三角分解的人脸图像光照复原方法。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种基于正交三角分解的人脸图像光照复原方法，该方法包括如下步骤：
步骤1：采集人脸彩色图像并转化为人脸灰度图像，具体包括如下步骤：
步骤1.1：采集人脸彩色图像，人脸彩色图像的大小为m×n×3，其中， m表示人脸彩色图像矩阵的行数，n表示人脸彩色图像矩阵的列数；
步骤1.2：将步骤1.1中的人脸彩色图像转化为大小为m×n的人脸灰度图像I，并将人脸灰度图像I的灰度值等比例的转化到1到255之间。
步骤2：求取步骤1中得到人脸灰度图像的光照归一化图像；
光照归一化图像包括如下步骤：
步骤2.1：对所述步骤1中得到的人脸灰度图像I的图像矩阵的每个灰度值进行以自然常数为底的对数变换，得到人脸灰度图像I的对数图像X，对数图像X大小为m×n，其中m表示对数图像矩阵的行数，n表示对数图像矩阵的列数；
步骤2.2：用矩阵QR正交三角分解方法，对所述步骤2.1中得到的对数图像X进行正交三角分解，得到正交三角分解式如下：
X＝QR
其中，X为人脸灰度图像I的对数图像，Q为对数图像X分解得到的正交矩阵，其大小为m×m；R为对数图像X分解得到的上三角矩阵，大小为 m×n；
步骤2.3：将所述步骤2.2中得到的正交矩阵Q和上三角矩阵R分别写成向量表示形式：
Q＝[q1,q2,…,qi,…,qm]
其中，qi表示正交矩阵Q的第i列向量，且qi为m维列向量；
此步骤中对数图像X分解得到的上三角矩阵R向量表示形式：
Figure RE-GDA0003075395730000031
其中，ri表示正交矩阵Q的第i行向量，且ri为n维行向量。
步骤2.4：将步骤2.3中得到的正交矩阵Q的向量表示形式和上三角矩阵R 的向量表示形式代入步骤2.2中对数图像X的正交三角分解式，得到对数图像 X的正交三角分解的向量表示形式：
Figure RE-GDA0003075395730000041
步骤2.5：根据下式得到人脸对数图像X的光照归一化对数图像X：
Figure RE-GDA0003075395730000042
其中，||||2表示向量二范数，
Figure RE-GDA0003075395730000043
的大小为m×n，qi表示正交矩阵Q的第 i列向量，且qi为m维列向量，ri表示正交矩阵Q的第i行向量，且ri为n维行向量；
步骤2.6：对所述步骤2.5中得到的光照归一化对数图像
Figure RE-GDA0003075395730000044
的图像矩阵中每个数值进行以自然常数为底的指数变换，得到光照归一化对数图像
Figure RE-GDA0003075395730000045
的指数图像
Figure RE-GDA0003075395730000046
其大小为m×n；
步骤2.7：将所述步骤2.6中得到的指数图像
Figure RE-GDA0003075395730000047
的图像矩阵中所有的数值等比例的转化到1到255之间，得到光照归一化人脸灰度图像Ir，其大小为 m×n；
步骤3：求取人脸灰度图像的光照复原图像，具体方法为：根据所述步骤 2中得到的光照归一化人脸灰度图像Ir，通过梯度下降法得到人脸灰度图像I 的光照复原图像Ip：
Figure RE-GDA0003075395730000048
Ip＝f30
其中，fk迭代表达式，f1＝I，fk和Ip的大小均为m×n。
本发明的有益效果是：
1.本发明提出的基于正交三角分解的人脸图像光照复原方法，针对人脸图像的剧烈光照变化，采用正交三角分解算法产生剧烈光照变化人脸图像的光照归一化图像，以保证产生光照归一化图像的质量可靠；
2.本发明提出的基于正交三角分解的人脸图像光照复原方法，通过线性迭代算法，使剧烈光照变化人脸图像逼近其光照归一化图像，生成其光照复原图像，在复原正常光照的同时，可以最大限度的保持人脸图像的固有特征信息；
3.本发明从实际应用效果出发，提出基于正交三角分解的人脸图像光照复原方法，该方法处理效率高，计算方法简单；
4.本发明方法在光照复原图像质量和计算效率方面优于传统的方法，对于提高人脸识别系统在剧烈光照变化下的识别准确率具有重要价值。
附图说明
图1是本发明方法整体流程图。
图2是由剧烈光照变化人脸图像复原为正常光照人脸图像的流程图。
图3是本发明实施例一中步骤1.1采集到的原始的人脸彩色图像。
图4是本发明实施例一中步骤1.2转化的人脸灰度图像。
图5是本发明实施例中步骤2.1灰度图像取对数后的图像。
图6是经本发明处理后的人脸识别的图像。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
设定人脸彩色图像矩阵的行数m＝256，人脸彩色图像矩阵的列数n＝256，本发明的人脸图像光照复原方法包括如下步骤：
步骤1.1：采集人脸彩色图像，人脸彩色图像的大小为256×256×3，其中，人脸彩色图像矩阵的行数为256行，人脸彩色图像矩阵的列数为256 列，采集到的原始的彩色图像如图3所示。
步骤1.2：将步骤1.1中的人脸彩色图像转化为大小为256×256的人脸灰度图像I，如图4所示，并将人脸灰度图像I的灰度值等比例的转化到1 到255之间。
步骤2.1：对所述步骤步骤1.2中得到的人脸灰度图像I的图像矩阵的每个灰度值进行以自然常数为底的对数变换，得到人脸灰度图像I的对数图像X，如图5所示，对数图像X大小为256×256；
步骤2.2：用矩阵QR正交三角分解方法，对所述步骤2.1中得到的对数图像X进行正交三角分解，得到正交三角分解式如下：
X＝QR
其中，X为人脸灰度图像I的对数图像，Q为对数图像X分解得到的正交矩阵，其大小为256×256；R为对数图像X分解得到的上三角矩阵，大小为256×256；
步骤2.3：将所述步骤2.2中得到的正交矩阵Q和对数图像X分解得到的上三角矩阵R分别写成向量表示形式：
Q＝[q1,q2,…,qi,…,q256]
Figure RE-GDA0003075395730000061
其中，qi表示正交矩阵Q的第i列向量，且qi为256维列向量，ri表示正交矩阵Q的第i行向量，且ri为256维行向量。
步骤2.4：将步骤2.3中得到的正交矩阵Q的向量表示形式和和对数图像X 分解得到的上三角矩阵R的向量表示形式代入步骤2.2中对数图像X的正交三角分解式，得到对数图像X的正交三角分解的向量表示形式：
Figure RE-GDA0003075395730000071
步骤2.5：根据下式得到人脸对数图像X的光照归一化对数图像
Figure RE-GDA0003075395730000072
Figure RE-GDA0003075395730000073
其中，||||2表示向量二范数，
Figure RE-GDA0003075395730000074
的大小为256×256，qi表示正交矩阵Q 的第i列向量，且qi为256维列向量，ri表示正交矩阵Q的第i行向量，且ri为 256维行向量；
步骤2.6：对所述步骤2.5中得到的光照归一化对数图像
Figure RE-GDA0003075395730000075
的图像矩阵中每个数值进行以自然常数为底的指数变换，得到光照归一化对数图像
Figure RE-GDA0003075395730000076
的指数图像
Figure RE-GDA0003075395730000077
其大小为256×256；
步骤2.7：将所述步骤2.6中得到的指数图像
Figure RE-GDA0003075395730000078
的图像矩阵中所有的数值等比例的转化到1到255之间，得到光照归一化人脸灰度图像Ir，其大小为 256×256；
步骤3：求取人脸灰度图像的光照复原图像，具体方法为：根据所述步骤 2中得到的光照归一化人脸灰度图像Ir，通过梯度下降法得到人脸灰度图像I 的光照复原图像Ip：
Figure RE-GDA0003075395730000081
Ip＝f30
其中，fk迭代表达式，f1＝I，fk和Ip的大小均为256×256，如图6所示。
本发明充分考虑了人脸灰度图像的光照特性，通过正交三角分解算法，对上三角矩阵行向量进行归一化处理，产生人脸灰度图像的光照归一化图像，然后利用梯度下降法，使人脸灰度图像逼近其光照归一化图像，产生人脸灰度图像的光照复原图像，在恢复光照的同时，最大限度的保持人脸图像的固有鉴别特征。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (5)

1.一种基于正交三角分解的人脸图像光照复原方法，该方法包括如下步骤：步骤1：采集人脸彩色图像并转化为人脸灰度图像；步骤2：求取步骤1中得到人脸灰度图像的光照归一化图像；步骤3：求取人脸灰度图像的光照复原图像；其特征在于：所述步骤2的光照归一化图像包括如下步骤：
步骤2.1：对所述步骤1中得到的人脸灰度图像I的图像矩阵的每个灰度值进行以自然常数为底的对数变换，得到人脸灰度图像I的对数图像X，对数图像X大小为m×n，其中m表示对数图像矩阵的行数，n表示对数图像矩阵的列数；
步骤2.2：用矩阵QR正交三角分解方法，对所述步骤2.1中得到的对数图像X进行正交三角分解，得到正交三角分解式如下：
X＝QR
其中，X为人脸灰度图像I的对数图像，Q为对数图像X分解得到的正交矩阵，其大小为m×m；R为对数图像X分解得到的上三角矩阵，大小为m×n；
步骤2.3：将所述步骤2.2中得到的正交矩阵Q和上三角矩阵R分别写成向量表示形式；
步骤2.4：将步骤2.3中得到的正交矩阵Q的向量表示形式和上三角矩阵R的向量表示形式代入步骤2.2中对数图像X的正交三角分解式，得到对数图像X的正交三角分解的向量表示形式；
步骤2.5：根据下式得到人脸对数图像X的光照归一化对数图像
Figure FDA0003762526820000013
Figure FDA0003762526820000011
其中，|| ||2表示向量二范数，
Figure FDA0003762526820000012
的大小为m×n，qi表示正交矩阵Q的第i列向量，且qi为m维列向量，ri表示正交矩阵Q的第i行向量，且ri为n维行向量；
步骤2.6：对所述步骤2.5中得到的光照归一化对数图像
Figure FDA0003762526820000021
的图像矩阵中每个数值进行以自然常数为底的指数变换，得到光照归一化对数图像
Figure FDA0003762526820000022
的指数图像
Figure FDA0003762526820000023
其大小为m×n；
步骤2.7：将所述步骤2.6中得到的指数图像
Figure FDA0003762526820000024
的图像矩阵中所有的数值等比例的转化到1到255之间，得到光照归一化人脸灰度图像Ir，其大小为m×n；
所述步骤3中求取人脸灰度图像的光照复原图像的具体方法为：根据所述步骤2中得到的光照归一化人脸灰度图像Ir，通过梯度下降法得到人脸灰度图像I的光照复原图像Ip：
Figure FDA0003762526820000025
Ip＝f30
其中，fk迭代表达式，f1＝I，fk和Ip的大小均为m×n。
2.根据权利要求1所述一种基于正交三角分解的人脸图像光照复原方法，其特征在于：所述步骤2.3中对数图像X分解得到的正交矩阵Q向量表示形式：
Q＝[q1,q2,…,qi,…,qm]
其中，qi表示正交矩阵Q的第i列向量，且qi为m维列向量。
3.根据权利要求1所述一种基于正交三角分解的人脸图像光照复原方法，其特征在于：所述步骤2.3中对数图像X分解得到的上三角矩阵R向量表示形式：
Figure FDA0003762526820000031
其中，ri表示正交矩阵Q的第i行向量，且ri为n维行向量。
4.根据权利要求1所述一种基于正交三角分解的人脸图像光照复原方法，其特征在于：所述步骤2.4中的对数图像X的正交三角分解的向量表示形式：
Figure FDA0003762526820000032
5.根据权利要求1所述一种基于正交三角分解的人脸图像光照复原方法，其特征在于：所述步骤1中采集人脸彩色图像并转化为人脸灰度图像的方法包括如下步骤：
步骤1.1：采集人脸彩色图像，人脸彩色图像的大小为m×n×3，其中，m表示人脸彩色图像矩阵的行数，n表示人脸彩色图像矩阵的列数；
步骤1.2：将步骤1.1中的人脸彩色图像转化为大小为m×n的人脸灰度图像I，并将人脸灰度图像I的灰度值等比例的转化到1到255之间。
CN202110387868.1A 2021-04-12 2021-04-12 一种基于正交三角分解的人脸图像光照复原方法 Active CN113077402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110387868.1A CN113077402B (zh) 2021-04-12 2021-04-12 一种基于正交三角分解的人脸图像光照复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110387868.1A CN113077402B (zh) 2021-04-12 2021-04-12 一种基于正交三角分解的人脸图像光照复原方法

Publications (2)

Publication Number Publication Date
CN113077402A CN113077402A (zh) 2021-07-06
CN113077402B true CN113077402B (zh) 2022-09-06

Family

ID=76617301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110387868.1A Active CN113077402B (zh) 2021-04-12 2021-04-12 一种基于正交三角分解的人脸图像光照复原方法

Country Status (1)

Country Link
CN (1) CN113077402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361492B (zh) * 2021-07-19 2023-10-24 南京邮电大学 一种基于正交三角分解的光照不变特征提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778416A (zh) * 2014-01-24 2014-05-07 东南大学 一种自适应逼近人脸图像产生方法
CN110910320A (zh) * 2019-11-04 2020-03-24 南京邮电大学 一种基于奇异值分解的人脸图像光照复原方法
CN110956090A (zh) * 2019-11-04 2020-04-03 南京邮电大学 一种基于正负光照不变单元融合的人脸特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778416A (zh) * 2014-01-24 2014-05-07 东南大学 一种自适应逼近人脸图像产生方法
CN110910320A (zh) * 2019-11-04 2020-03-24 南京邮电大学 一种基于奇异值分解的人脸图像光照复原方法
CN110956090A (zh) * 2019-11-04 2020-04-03 南京邮电大学 一种基于正负光照不变单元融合的人脸特征提取方法

Also Published As

Publication number Publication date
CN113077402A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN113128552B (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN108875645B (zh) 一种煤矿井下复杂光照条件下的人脸识别方法
CN113077402B (zh) 一种基于正交三角分解的人脸图像光照复原方法
CN112465069B (zh) 一种基于多尺度卷积核cnn的脑电情绪分类方法
CN111127316A (zh) 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN110910320B (zh) 一种基于奇异值分解的人脸图像光照复原方法
WO2018120088A1 (zh) 情感识别模型生成方法及装置
Qi et al. Research on the image segmentation of icing line based on NSCT and 2-D OSTU
CN115238796A (zh) 基于并行damscn-lstm的运动想象脑电信号分类方法
CN106845362B (zh) 一种基于多尺度变换的稀疏表示的人脸识别方法
CN111860488A (zh) 一种杆塔鸟巢检测与识别方法、装置、设备及其介质
CN113505856A (zh) 一种高光谱影像无监督自适应分类方法
CN109165576A (zh) 一种运动状态识别方法及装置
CN111160121A (zh) 一种基于深度学习的人像识别系统、方法及装置
CN116919422A (zh) 基于图卷积的多特征情感脑电识别模型建立方法及装置
CN110613445A (zh) 一种基于dwnn框架的心电信号的识别方法
CN109710062B (zh) 一种基于脑电和手势信号融合的跨个体控制方法
CN113876339A (zh) 一种睡眠状态脑电特征信号特征集的构建方法
CN113934972A (zh) 基于改进小波阈值法与mpa优化pnn的电能质量扰动识别方法
CN107341485B (zh) 人脸识别方法和装置
CN112784840A (zh) 一种车牌识别方法、装置、设备和介质
CN112438741A (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN115956925B (zh) 一种基于多级平滑包络的qrs波检测方法及系统
CN111833885B (zh) 一种基于卷积模糊神经网络的音源识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant