CN112800872A - 一种基于深度学习的人脸识别方法及系统 - Google Patents

一种基于深度学习的人脸识别方法及系统 Download PDF

Info

Publication number
CN112800872A
CN112800872A CN202110047254.9A CN202110047254A CN112800872A CN 112800872 A CN112800872 A CN 112800872A CN 202110047254 A CN202110047254 A CN 202110047254A CN 112800872 A CN112800872 A CN 112800872A
Authority
CN
China
Prior art keywords
image
face
local
face image
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110047254.9A
Other languages
English (en)
Inventor
肖玉连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110047254.9A priority Critical patent/CN112800872A/zh
Publication of CN112800872A publication Critical patent/CN112800872A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种人脸识别的技术领域，揭露了一种基于深度学习的人脸识别方法，包括：获取待识别的人脸图像，将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像；利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。本发明还提供了一种基于深度学习的人脸识别系统。本发明实现了人脸识别。

Description

一种基于深度学习的人脸识别方法及系统
技术领域
本发明涉及人脸识别的技术领域，尤其涉及一种基于深度学习的人脸识别方法及系统。
背景技术
随着科技的迅速进步，社会的信息化和智能化程度越来越高，传统的身份认证方式由于其局限性逐渐失去了人们的认同，在此基础上，生物识别技术逐渐出现在人们的视野之中并成为当前研究的热门话题。
在实际人脸识别场景中，各种外界因素的干扰极大地降低了人脸识别准确率，在各种外界因素中，光照变化给人脸识别系统带来巨大的影响，由光照变化造成的差异甚至比个体之间的差异还要显著。由于在现实环境中很难对光照条件进行约束，如何有效减弱光照对人脸识别算法的影响仍然是一个难题。
同时目前的人脸局部特征过于关注人脸图像局部信息，仅利用局部信息学习到的特征有限，若不融合其他特征，很难实现对人脸特征的充分表达。
鉴于此，如何有效减弱光照对人脸图像的影响，并改进现有局部特征的提取方式，实现更为准确的人脸识别，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于深度学习的人脸识别方法，通过利用基于改进RetinexNet算法的光照补偿算法对人脸图像进行光照补偿处理，并利用基于空间局部信息的局部特征提取方法进行人脸图像局部特征的提取，从而利用多任务卷积神经网络实现人脸识别。
为实现上述目的，本发明提供的一种基于深度学习的人脸识别方法，包括：
获取待识别的人脸图像，将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像；
利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；
对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；
利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；
将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
可选地，所述将人脸图像的RGB颜色空间转换为HSV颜色空间，包括：
所述人脸图像为在不同光照环境下的人脸图像，例如在夜晚微弱灯光下的人脸图像以及太阳光直射下的人脸图像等；
将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像，其中H表示图像的色调，S表示图像的饱和度，V表示图像的明度；所述颜色空间转换公式为：
V＝Mmax
Figure BDA0002897788360000021
Figure BDA0002897788360000022
Figure BDA0002897788360000023
其中：
R，G，B为人脸图像像素在RGB颜色空间中的颜色值；
Mmax为人脸图像像素在RGB颜色空间中的最大颜色值；
Nmin为人脸图像像素在RGB颜色空间中的最小颜色值；
H，S，V为人脸图像像素在HSV颜色空间中的颜色值。
可选地，所述利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，包括：
1)对基于HSV颜色空间的人脸图像f(x，y)进行图像边缘增强处理：
Figure BDA0002897788360000024
其中：
c为常数，0<c<1，本发明将其设置为0.1；
f(x，y)为基于HSV颜色空间的二维人脸图像；
Figure BDA0002897788360000031
为拉普拉斯算子；
g(x，y)为图像边缘增强后的图像；
2)采用自适应算子对边缘增强后的图像进行自适应光照补偿：
Figure BDA0002897788360000032
Figure BDA0002897788360000033
其中：
gv为边缘增强图像g(x，y)在V颜色通道中的颜色值，根据z值进行自适应的亮度调整；
C为亮度图像的累计直方图(CDF)达到0.1时的强度级别；
z为自适应算子，若超过90％的像素值都超过150，则Z＝1；如果10％或者更多的所有像素的强度都在55以内，则Z取值为0。对于其他情况Z则根据C的表达式进行插值，即C是用来指示找出图像数据中10％的像素有多暗，此过程能够将图像中暗部像素亮度显著提高，与此同时，图像中原先比较亮的区域会获得较小幅度的亮度增强，甚至不增强；
在本发明一个具体实施例中，若图像中存在大量的偏暗像素，譬如C<55，则必须进一步提高这部分像素亮度；若图像中像素不是那么暗，譬如C＝100，则这部分像素的亮度增强强度将小一些，没有那么大；若图像中大多数像素具备足够高的亮度，譬如C>150，则这部分像素将将不需要进行亮度增强。
3)根据自适应光照补偿结果，利用相对系数对图像的饱和度S进行自适应调整，使得饱和度分量随着亮度分量的增强而增强，进而保持图像的对比度：
g′s＝gs+t(g′v-gv)×β
Figure BDA0002897788360000034
其中：
g′v，gv分别为光照补偿后的亮度值以及原图像亮度值；
g′s，gs分别为自适应增强后的饱和度值以及原图像饱和度值；
t为比例常数，本发明将其设置为0.5；
W为n×n像素大小的邻域窗口；
Figure BDA0002897788360000035
分别代表邻域窗口中亮度和饱和度的均值；
δV，δS分别代表邻域窗口中亮度和饱和度的方差。
可选地，所述对光照补偿后的人脸图像进行局部采样处理，包括：
1)所述采样区域是以g为中心的5×5邻域，其中a0，a1，…，a7代表的是与中心点g相差1或
Figure BDA0002897788360000041
像素距离的像素点，b0，b1，…，b15代表的是与中心点g相差2或
Figure BDA0002897788360000042
像素距离的像素点：
b<sub>6</sub> b<sub>5</sub> b<sub>4</sub> b<sub>3</sub> b<sub>2</sub>
b<sub>7</sub> a<sub>3</sub> a<sub>2</sub> a<sub>1</sub> b<sub>1</sub>
b<sub>8</sub> a<sub>4</sub> g a<sub>0</sub> b<sub>0</sub>
b<sub>9</sub> a<sub>5</sub> a<sub>6</sub> a<sub>7</sub> b<sub>15</sub>
b<sub>10</sub> b<sub>11</sub> b<sub>12</sub> b<sub>13</sub> b<sub>14</sub>
2)各方向采样与对应方向关联的6个点，设置主方向上的点权重为其他点的2倍以加大采样方向上像素点的作用，然后取采样点的加权平均值作为各方向的拟合像素值；在本发明一个具体实施例中，采样方向包括东、东北、北、西北、西、西南以及南，对应的拟合像素值为g0，g1，…，g7，例如：
Figure BDA0002897788360000043
3)遍历人脸图像的每一个像素点g，根据其邻域信息以及拟合像素值确定每个像素点的采样结果矩阵G：
Figure BDA0002897788360000044
其中：
g0，g1，…，g7分别代表在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4方向上加权后的拟合像素值。
可选地，所述利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，包括：
1)获取局部图像的空间纹理特征：
Figure BDA0002897788360000045
Figure BDA0002897788360000046
其中：
Figure BDA0002897788360000047
为像素点(x，y)经过局部采样后的采样结果G与Sobel算子S卷积后得到的在第i个方向上的边缘响应值；
m(x，y)表示最大边缘响应值
Figure BDA0002897788360000048
的绝对值方向，其反映了局部图像的主要纹理方向；
2)基于图像中心像素值g计算像素点的方向数：
Figure BDA0002897788360000049
n(x，y)＝argmax{di(x，y)|0≤i≤3}
其中：
di(x，y)表示像素点(x，y)在第i个中心对称方向上计算得到的绝对值偏差值；
f(gi，g)表示度量函数，用来度量不同偏差值对结果的影响，
Figure BDA0002897788360000051
Figure BDA0002897788360000052
c为常数，本发明将其设置为65525；
gi为中心像素值g在不同方向上的拟合像素值；
n(x，y)为像素点(x，y)最大绝对偏差值相对应的方向数；
3)计算各方向灰度值之和：
s(x，y)＝max{h(gi，g)+h(gi+4，g)，0≤i≤3}
h(gi，g)＝gi+g
其中：
s(x，y)是像素点(x，y)最大灰度和值对应的方向数；
gi为中心像素值g在不同方向上的拟合像素值；
4)通过融合空间纹理特征以及空间灰度特征，对人脸图像的局部特征进行表征：
f(x，y)＝12×m(x，y)+4×n(x，y)+s(x，y)
其中：
f(x，y)为中心像素点(x，y)的局部特征表征，通过将该像素以及3×3像素邻域内的像素进行局部特征表征，将该邻域内的局部特征表征结果作为人脸图像的局部特征；通过遍历人脸图像的所有中心像素，得到人脸图像的所有局部特征。
可选地，所述利用多任务卷积神经网络实现人脸识别，包括：
所述多任务卷积神经网络采用了三个级联网络，候选框加分类器的思想，这三个级联的网络包括以下三层网络结构：快速产生目标区域候选窗口的网络结构、对目标区域候选窗口高精度地过滤的网络结构、边界框与人脸关键点最终生成的网络结构；
所述利用多任务卷积神经网络进行人脸识别的流程为：
1)运用一个全卷积网络作为快速产生目标区域候选窗口的网络结构，对人脸图像的局部特征进行再次特征提取以及边界框的初步标定；该网络将特征提取的结果经过三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该部分最终将输出很多张可能存在人脸的人脸区域；
2)相较于快速产生目标区域候选窗口的网络结构，对目标区域候选窗口高精度地过滤的网络结构在最后一个卷积层之后使用了一个128像素大小的全连接层，保留了更多的图像特征，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，滤除大量效果比较差的候选框，最后将输出较为可信的人脸区域；
3)所述边界框与人脸关键点最终生成的网络结构新增了一个全新的卷积层，更大规模的全连接层，并新增更多的监督，用来识别人脸的面部区域，从而导致进一步保留的人脸特征更多，并且会对人脸面部的关键特征点进行回归，最后输出的结果是图像中人脸区域的5个特征点，这一层的输出作为最终的网络模型输出，即为人脸识别结果。
此外，为实现上述目的，本发明还提供一种基于深度学习的人脸识别系统，所述系统包括：
人脸图像获取装置，用于获取人脸图像；
图像处理器，用于将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像，并利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；
人脸识别装置，用于利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序指令，所述人脸识别程序指令可被一个或者多个处理器执行，以实现如上所述的基于深度学习的人脸识别的实现方法的步骤。
相对于现有技术，本发明提出一种基于深度学习的人脸识别方法，该技术具有以下优势：
首先，本发明提出一种基于图像饱和度的自适应增强算法对人脸图像进行光照补偿处理，详细地，本发明采用自适应算子对边缘增强后的人脸图像进行自适应光照补偿，自适应光照补偿的算法公式为：
Figure BDA0002897788360000061
Figure BDA0002897788360000062
其中：gv为边缘增强图像g(x，y)在V颜色通道中的颜色值，根据z值进行自适应的亮度调整；C为亮度图像的累计直方图(CDF)达到0.1时的强度级别；z为自适应算子，若超过90％的像素值都超过150，则Z＝1；如果10％或者更多的所有像素的强度都在55以内，则Z取值为0。对于其他情况Z则根据C的表达式进行插值，即C是用来指示找出图像数据中10％的像素有多暗，此过程能够将图像中暗部像素亮度显著提高，与此同时，图像中原先比较亮的区域会获得较小幅度的亮度增强，甚至不增强。例如，若图像中存在大量的偏暗像素，譬如C<55，则必须进一步提高这部分像素亮度，若图像中像素不是那么暗，譬如C＝100，则这部分像素的亮度增强强度将小一些，没有那么大，若图像中大多数像素具备足够高的亮度，譬如C>150，则这部分像素将不需要进行亮度增强。利用相对系数对图像的饱和度S进行自适应调整，使得饱和度分量随着亮度分量的增强而增强，进而保持图像的对比度：
g′s＝gs+t(g′v-gv)×β
Figure BDA0002897788360000071
其中：g′v，gv分别为光照补偿后的亮度值以及原图像亮度值；g′s，gs分别为自适应增强后的饱和度值以及原图像饱和度值；t为比例常数，本发明将其设置为0.5；W为n×n像素大小的邻域窗口；
Figure BDA0002897788360000072
分别代表邻域窗口中亮度和饱和度的均值；δV，δS分别代表邻域窗口中亮度和饱和度的方差。
同时，由于传统的局部图像特征提取方法大多基于边缘响应算子获得梯度信息，缺少对灰度信息的有效利用，因此本发明提出一种基于空间局部信息的局部特征提取方法，获取人脸图像的局部特征。首先对图像进行局部采样，各方向采样与对应方向关联的6个点，设置主方向上的点权重为其他点的2倍以加大采样方向上像素点的作用，然后取采样点的加权平均值作为各方向的拟合像素值，扩大关联邻域信息，以表征更丰富的图像信息；然后考虑到梯度特征与边缘纹理的强关联性，通过Sobel算子计算八个方向的边缘响应值，以表征某一方向对其余7个方向的相对偏差，从而反应出该点的邻域纹理方向：
Figure BDA0002897788360000073
Figure BDA0002897788360000074
其中：
Figure BDA0002897788360000075
为像素点(x，y)经过局部采样后的采样结果G与Sobel算子S卷积后得到的在第i个方向上的边缘响应值；m(x，y)表示最大边缘响应值
Figure BDA0002897788360000076
的绝对值方向，其反映了局部图像的主要纹理方向；并基于图像中心像素值g计算像素点的方向数，通过在原像素空间中引入中间值g，即局部图像的中心像素值，并利用局部采样后的像素值独立计算绝对偏差，充分挖掘局部梯度空间信息，丰富梯度信息：
Figure BDA0002897788360000077
n(x，y)＝argmax{di(x，y)|0≤i≤3}
其中：di(x，y)表示像素点(x，y)在第i个中心对称方向上计算得到的绝对值偏差值；f(gi，g)表示度量函数，用来度量不同偏差值对结果的影响，
Figure BDA0002897788360000081
Figure BDA0002897788360000082
c为常数，本发明将其设置为65525；gi为中心像素值g在不同方向上的拟合像素值；n(x，y)为像素点(x，y)最大绝对偏差值相对应的方向数；m(x,y)通过最大相对偏差对应方向，n(x,y)通过前后向差分和度量函数记录了最大绝对偏差对应方向，双偏差信息互相补充，使得局部梯度空间信息被进一步挖掘，图像梯度信息所表征的人脸纹理信息更为具体，同时本发明所述方法进一步提取与梯度空间独立的灰度空间特征，通过计算各方向灰度值之和，利用图像灰度提取图像结构信息，提供更多的细节信息，并且灰度和值与偏差值相对，灰度与梯度互相独立，不会造成冗余信息的记录，可以补充更多有效的特征信息，使得人脸图像的局部特征也能对人脸特征进行充分表达，提高了人脸识别的准确率。
附图说明
图1为本发明一实施例提供的一种基于深度学习的人脸识别方法的流程示意图；
图2为本发明一实施例提供的一种基于深度学习的人脸识别系统的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用基于改进RetinexNet算法的光照补偿算法对人脸图像进行光照补偿处理，并利用基于空间局部信息的局部特征提取方法进行人脸图像局部特征的提取，从而利用多任务卷积神经网络实现人脸识别。参照图1所示，为本发明一实施例提供的基于深度学习的人脸识别方法示意图。
在本实施例中，基于深度学习的人脸识别方法包括：
S1、获取待识别的人脸图像，将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像。
首先，本发明获取待识别的人脸图像，所述人脸图像为在不同光照环境下的人脸图像，例如在夜晚微弱灯光下的人脸图像以及太阳光直射下的人脸图像等；
进一步地，本发明将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像，其中H表示图像的色调，S表示图像的饱和度，V表示图像的明度；
所述颜色空间转换公式为：
V＝Mmax
Figure BDA0002897788360000091
Figure BDA0002897788360000092
Figure BDA0002897788360000093
其中：
R，G，B为人脸图像像素在RGB颜色空间中的颜色值；
Mmax为人脸图像像素在RGB颜色空间中的最大颜色值；
Nmin为人脸图像像素在RGB颜色空间中的最小颜色值；
H，S，V为人脸图像像素在HSV颜色空间中的颜色值。
S2、利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像。
进一步地，本发明利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，所述基于图像饱和度的自适应增强算法的算法流程为：
1)对基于HSV颜色空间的人脸图像f(x，y)进行图像边缘增强处理：
Figure BDA0002897788360000094
其中：
c为常数，0<c<1，本发明将其设置为0.1；
f(x，y)为基于HSV颜色空间的二维人脸图像；
Figure BDA0002897788360000095
为拉普拉斯算子；
g(x，y)为图像边缘增强后的图像；
2)采用自适应算子对边缘增强后的图像进行自适应光照补偿：
Figure BDA0002897788360000096
Figure BDA0002897788360000097
其中：
gv为边缘增强图像g(x，y)在V颜色通道中的颜色值，根据z值进行自适应的亮度调整；
C为亮度图像的累计直方图(CDF)达到0.1时的强度级别；
z为自适应算子，若超过90％的像素值都超过150，则Z＝1；如果10％或者更多的所有像素的强度都在55以内，则Z取值为0。对于其他情况Z则根据C的表达式进行插值，即C是用来指示找出图像数据中10％的像素有多暗，此过程能够将图像中暗部像素亮度显著提高，与此同时，图像中原先比较亮的区域会获得较小幅度的亮度增强，甚至不增强；
在本发明一个具体实施例中，若图像中存在大量的偏暗像素，譬如C<55，则必须进一步提高这部分像素亮度；若图像中像素不是那么暗，譬如C＝100，则这部分像素的亮度增强强度将小一些，没有那么大；若图像中大多数像素具备足够高的亮度，譬如C>150，则这部分像素将将不需要进行亮度增强。
3)根据自适应光照补偿结果，利用相对系数对图像的饱和度S进行自适应调整，使得饱和度分量随着亮度分量的增强而增强，进而保持图像的对比度：
g′s＝gs+t(g′v-gv)×β
Figure BDA0002897788360000101
其中：
g′v，gv分别为光照补偿后的亮度值以及原图像亮度值；
g′s，gs分别为自适应增强后的饱和度值以及原图像饱和度值；
t为比例常数，本发明将其设置为0.5；
W为n×n像素大小的邻域窗口；
Figure BDA0002897788360000102
分别代表邻域窗口中亮度和饱和度的均值；
δV，δS分别代表邻域窗口中亮度和饱和度的方差。
S3、对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵。
进一步地，本发明对光照补偿后的人脸图像进行局部采样处理，所述局部采样流程为：
1)所述采样区域是以g为中心的5×5邻域，其中a0，a1，…，a7代表的是与中心点g相差1或
Figure BDA0002897788360000103
像素距离的像素点，b0，b1，…，b15代表的是与中心点g相差2或
Figure BDA0002897788360000104
像素距离的像素点：
b<sub>6</sub> b<sub>5</sub> b<sub>4</sub> b<sub>3</sub> b<sub>2</sub>
b<sub>7</sub> a<sub>3</sub> a<sub>2</sub> a<sub>1</sub> b<sub>1</sub>
b<sub>8</sub> a<sub>4</sub> g a<sub>0</sub> b<sub>0</sub>
b<sub>9</sub> a<sub>5</sub> a<sub>6</sub> a<sub>7</sub> b<sub>15</sub>
b<sub>10</sub> b<sub>11</sub> b<sub>12</sub> b<sub>13</sub> b<sub>14</sub>
2)各方向采样与对应方向关联的6个点，设置主方向上的点权重为其他点的2倍以加大采样方向上像素点的作用，然后取采样点的加权平均值作为各方向的拟合像素值；在本发明一个具体实施例中，采样方向包括东、东北、北、西北、西、西南以及南，对应的拟合像素值为g0，g1，…，g7，例如：
Figure BDA0002897788360000111
3)遍历人脸图像的每一个像素点g，根据其邻域信息以及拟合像素值确定每个像素点的采样结果矩阵G：
Figure BDA0002897788360000112
其中：
g0，g1，…，g7分别代表在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4方向上加权后的拟合像素值。
S4、利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征。
进一步地，本发明利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，所述局部特征提取流程为：
1)获取局部图像的空间纹理特征：
Figure BDA0002897788360000113
Figure BDA0002897788360000114
其中：
Figure BDA0002897788360000115
为像素点(x，y)经过局部采样后的采样结果G与Sobel算子S卷积后得到的在第i个方向上的边缘响应值；
m(x，y)表示最大边缘响应值
Figure BDA0002897788360000116
的绝对值方向，其反映了局部图像的主要纹理方向；
2)基于图像中心像素值g计算像素点的方向数：
Figure BDA0002897788360000117
n(x，y)＝argmax{di(x，y)|0≤i≤3}
其中：
di(x，y)表示像素点(x，y)在第i个中心对称方向上计算得到的绝对值偏差值；
f(gi，g)表示度量函数，用来度量不同偏差值对结果的影响，
Figure BDA0002897788360000118
Figure BDA0002897788360000119
c为常数，本发明将其设置为65525；
gi为中心像素值g在不同方向上的拟合像素值；
n(x，y)为像素点(x，y)最大绝对偏差值相对应的方向数；
3)计算各方向灰度值之和：
s(x，y)＝max{h(gi，g)+h(gi+4，g)，0≤i≤3}
h(gi，g)＝gi+g
其中：
s(x，y)是像素点(x，y)最大灰度和值对应的方向数；
gi为中心像素值g在不同方向上的拟合像素值；
4)通过融合空间纹理特征以及空间灰度特征，对人脸图像的局部特征进行表征：
f(x，y)＝12×m(x，y)+4×n(x，y)+s(x，y)
其中：
f(x，y)为中心像素点(x，y)的局部特征表征，通过将该像素以及3×3像素邻域内的像素进行局部特征表征，将该邻域内的局部特征表征结果作为人脸图像的局部特征；通过遍历人脸图像的所有中心像素，得到人脸图像的所有局部特征。
S5、将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
进一步地，本发明将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别；所述多任务卷积神经网络采用了三个级联网络，候选框加分类器的思想，这三个级联的网络包括以下三层网络结构：快速产生目标区域候选窗口的网络结构、对目标区域候选窗口高精度地过滤的网络结构、边界框与人脸关键点最终生成的网络结构；
所述利用多任务卷积神经网络进行人脸识别的流程为：
1)运用一个全卷积网络作为快速产生目标区域候选窗口的网络结构，对人脸图像的局部特征进行再次特征提取以及边界框的初步标定；该网络将特征提取的结果经过三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该部分最终将输出很多张可能存在人脸的人脸区域；
2)相较于快速产生目标区域候选窗口的网络结构，对目标区域候选窗口高精度地过滤的网络结构在最后一个卷积层之后使用了一个128像素大小的全连接层，保留了更多的图像特征，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，滤除大量效果比较差的候选框，最后将输出较为可信的人脸区域；
3)所述边界框与人脸关键点最终生成的网络结构新增了一个全新的卷积层，更大规模的全连接层，并新增更多的监督，用来识别人脸的面部区域，从而导致进一步保留的人脸特征更多，并且会对人脸面部的关键特征点进行回归，最后输出的结果是图像中人脸区域的5个特征点，这一层的输出作为最终的网络模型输出，即为人脸识别结果。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为python3.5，测试环境为PyTorch1.0；对比方法为基于YOLOv3的人脸识别方法、基于Faster-rcnn的人脸识别方法以及基于DeepFace模型的人脸识别方法。
在本发明所述算法实验中，数据集为网络爬虫所采集的5000张人脸图像，其中3/4的图像存在人脸，1/4的图像不存在人脸。本实验通过将图像数据输入到算法模型中，将人脸识别的准确率作为方法可行性的评价指标。
根据实验结果，基于YOLOv3的人脸识别方法的人脸识别准确率为87.63％，基于Faster-rcnn的人脸识别方法的人脸识别准确率为87.88％，基于DeepFace模型的人脸识别方法的人脸识别准确率为89.99％，本发明所述方法的人脸识别准确率为91.35％，相较于对比算法，本发明所提出的基于深度学习的人脸识别方法具有更高的人脸识别准确率。
发明还提供一种基于深度学习的人脸识别系统。参照图2所示，为本发明一实施例提供的基于深度学习的人脸识别系统的内部结构示意图。
在本实施例中，所述基于深度学习的人脸识别系统1至少包括人脸图像获取装置11、图像处理器12、人脸识别装置13，通信总线14，以及网络接口15。
其中，人脸图像获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是基于深度学习的人脸识别系统1的内部存储单元，例如该基于深度学习的人脸识别系统1的硬盘。图像处理器12在另一些实施例中也可以是基于深度学习的人脸识别系统1的外部存储设备，例如基于深度学习的人脸识别系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，图像处理器12还可以既包括基于深度学习的人脸识别系统1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于智能道路交通追踪管理系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
人脸识别装置13在一些实施例中可以是一中央处理器(CentralProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行图像处理器12中存储的程序代码或处理数据，例如人脸识别程序指令等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
可选地，该系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于深度学习的人脸识别系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于深度学习的人脸识别系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于深度学习的人脸识别系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，图像处理器12中存储有人脸识别程序指令；人脸识别装置13执行图像处理器12中存储的人脸识别程序指令的步骤，与基于深度学习的人脸识别方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序指令，所述人脸识别程序指令可被一个或多个处理器执行，以实现如下操作：
获取待识别的人脸图像，将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像；
利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；
对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；
利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；
将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的人脸识别方法，其特征在于，所述方法包括：
获取待识别的人脸图像，将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像；
利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；
对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；
利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；
将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
2.如权利要求1所述的一种基于深度学习的人脸识别方法，其特征在于，所述将人脸图像的RGB颜色空间转换为HSV颜色空间，包括：
所述颜色空间转换公式为：
V＝Mmax
Figure FDA0002897788350000011
Figure FDA0002897788350000012
Figure FDA0002897788350000013
其中：
R，G，B为人脸图像像素在RGB颜色空间中的颜色值；
Mmax为人脸图像像素在RGB颜色空间中的最大颜色值；
Nmin为人脸图像像素在RGB颜色空间中的最小颜色值；
H，S，V为人脸图像像素在HSV颜色空间中的颜色值。
3.如权利要求2所述的一种基于深度学习的人脸识别方法，其特征在于，所述利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，包括：
1)对基于HSV颜色空间的人脸图像f(x，y)进行图像边缘增强处理：
Figure FDA0002897788350000021
其中：
c为常数，0＜c＜1，本发明将其设置为0.1；
f(x，y)为基于HSV颜色空间的二维人脸图像；
Figure FDA0002897788350000022
为拉普拉斯算子；
g(x，y)为图像边缘增强后的图像；
2)采用自适应算子对边缘增强后的图像进行自适应光照补偿：
Figure FDA0002897788350000023
Figure FDA0002897788350000024
其中：
gv为边缘增强图像g(x，y)在V颜色通道中的颜色值，根据z值进行自适应的亮度调整；
C为亮度图像的累计直方图(CDF)达到0.1时的强度级别；
z为自适应算子；
3)根据自适应光照补偿结果，利用相对系数对图像的饱和度S进行自适应调整：
g′s＝gs+t(g′v-gv)×β
Figure FDA0002897788350000025
其中：
g′v，gv分别为光照补偿后的亮度值以及原图像亮度值；
g′s，gs分别为自适应增强后的饱和度值以及原图像饱和度值；
t为比例常数，本发明将其设置为0.5；
W为n×n像素大小的邻域窗口；
Figure FDA0002897788350000026
分别代表邻域窗口中亮度和饱和度的均值；
δV，δS分别代表邻域窗口中亮度和饱和度的方差。
4.如权利要求3所述的一种基于深度学习的人脸识别方法，其特征在于，所述对光照补偿后的人脸图像进行局部采样处理，包括：
1)所述采样区域是以g为中心的5×5邻域，其中a0，a1，...，a7代表的是与中心点g相差1或
Figure FDA0002897788350000027
像素距离的像素点，b0，b1，...，b15代表的是与中心点g相差2或
Figure FDA0002897788350000031
像素距离的像素点：
b<sub>6</sub> b<sub>5</sub> b<sub>4</sub> b<sub>3</sub> b<sub>2</sub> b<sub>7</sub> a<sub>3</sub> a<sub>2</sub> a<sub>1</sub> b<sub>1</sub> b<sub>8</sub> a<sub>4</sub> g a<sub>0</sub> b<sub>0</sub> b<sub>9</sub> a<sub>5</sub> a<sub>6</sub> a<sub>7</sub> b<sub>15</sub> b<sub>10</sub> b<sub>11</sub> b<sub>12</sub> b<sub>13</sub> b<sub>14</sub>
2)各方向采样与对应方向关联的6个点，设置主方向上的点权重为其他点的2倍以加大采样方向上像素点的作用，然后取采样点的加权平均值作为各方向的拟合像素值；
3)遍历人脸图像的每一个像素点g，根据其邻域信息以及拟合像素值确定每个像素点的采样结果矩阵G：
Figure FDA0002897788350000032
其中：
g0，g1，...，g7分别代表在0，π/4，π/2，3π/4，π，5π/4，3π/2，7π/4方向上加权后的拟合像素值。
5.如权利要求4所述的一种基于深度学习的人脸识别方法，其特征在于，所述利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，包括：
1)获取局部图像的空间纹理特征：
Figure FDA0002897788350000033
Figure FDA0002897788350000034
其中：
Figure FDA0002897788350000035
为像素点(x，y)经过局部采样后的采样结果G与Sobel算子S卷积后得到的在第i个方向上的边缘响应值；
m(x，y)表示最大边缘响应值
Figure FDA0002897788350000036
的绝对值方向，其反映了局部图像的主要纹理方向；
2)基于图像中心像素值g计算像素点的方向数：
Figure FDA0002897788350000037
n(x，y)＝argmax{di(x，y)|0≤i≤3}
其中：
di(x，y)表示像素点(x，y)在第i个中心对称方向上计算得到的绝对值偏差值；
f(gi，g)表示度量函数，用来度量不同偏差值对结果的影响，
Figure FDA0002897788350000038
Figure FDA0002897788350000039
c为常数，设置为65525；
gi为中心像素值g在不同方向上的拟合像素值；
n(x，y)为像素点(x，y)最大绝对偏差值相对应的方向数；
3)计算各方向灰度值之和：
s(x，y)＝max{h(gi，g)+h(gi+4，g)，0≤i≤3}
h(gi，g)＝gi+g
其中：
s(x，y)是像素点(x，y)最大灰度和值对应的方向数；
gi为中心像素值g在不同方向上的拟合像素值；
4)通过融合空间纹理特征以及空间灰度特征，对人脸图像的局部特征进行表征：
f(x，y)＝12×m(x，y)+4×n(x，y)+s(x，y)
其中：
f(x，y)为中心像素点(x，y)的局部特征表征，通过将该像素以及3×3像素邻域内的像素进行局部特征表征，将该邻域内的局部特征表征结果作为人脸图像的局部特征；通过遍历人脸图像的所有中心像素，得到人脸图像的所有局部特征。
6.如权利要求5所述的一种基于深度学习的人脸识别方法，其特征在于，所述利用多任务卷积神经网络实现人脸识别，包括：
所述多任务卷积神经网络采用了三个级联网络的结构，这三个级联的网络包括以下三层网络结构：快速产生目标区域候选窗口的网络结构、对目标区域候选窗口高精度地过滤的网络结构、边界框与人脸关键点最终生成的网络结构；
1)运用一个全卷积网络作为快速产生目标区域候选窗口的网络结构，对人脸图像的局部特征进行再次特征提取以及边界框的初步标定；该网络将特征提取的结果经过三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该部分最终将输出很多张可能存在人脸的人脸区域；
2)对目标区域候选窗口高精度地过滤的网络结构在最后一个卷积层之后使用了一个128像素大小的全连接层，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，滤除效果比较差的候选框，最后将输出较为可信的人脸区域；
3)所述边界框与人脸关键点最终生成的网络结构对人脸面部的关键特征点进行回归，最后输出的结果是图像中人脸区域的5个特征点，这一层的输出作为最终的网络模型输出，即为人脸识别结果。
7.一种基于深度学习的人脸识别系统，其特征在于，所述系统包括：
人脸图像获取装置，用于获取人脸图像；
图像处理器，用于将人脸图像的RGB颜色空间转换为HSV颜色空间，得到基于HSV颜色空间的人脸图像，并利用基于图像饱和度的自适应增强算法对基于HSV颜色空间的人脸图像进行光照补偿处理，得到光照补偿后的人脸图像；对光照补偿后的人脸图像进行局部采样处理，得到人脸图像的局部图像采样结果矩阵；
人脸识别装置，用于利用基于空间局部信息的局部特征提取方法对局部图像采样结果矩阵进行特征提取，得到人脸图像的局部特征；将人脸图像的局部特征作为神经网络模型的输入，利用多任务卷积神经网络实现人脸识别。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别程序指令，所述人脸识别程序指令可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的一种基于深度学习的人脸识别的实现方法的步骤。
CN202110047254.9A 2021-01-14 2021-01-14 一种基于深度学习的人脸识别方法及系统 Withdrawn CN112800872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110047254.9A CN112800872A (zh) 2021-01-14 2021-01-14 一种基于深度学习的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047254.9A CN112800872A (zh) 2021-01-14 2021-01-14 一种基于深度学习的人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN112800872A true CN112800872A (zh) 2021-05-14

Family

ID=75810736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047254.9A Withdrawn CN112800872A (zh) 2021-01-14 2021-01-14 一种基于深度学习的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN112800872A (zh)

Similar Documents

Publication Publication Date Title
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN108388878A (zh) 用于识别人脸的方法和装置
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN110751037A (zh) 车身颜色识别的方法及终端设备
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
Xiao et al. Single image dehazing based on learning of haze layers
CN112101195B (zh) 人群密度预估方法、装置、计算机设备和存储介质
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN112651342A (zh) 人脸识别方法、装置、电子设备及存储介质
CN113222921A (zh) 一种图像处理方法及系统
CN112016519A (zh) 一种基于Hard Triple的车辆重识别方法及系统
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN106446844B (zh) 姿势估计方法和装置、计算机系统
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN112396060B (zh) 基于身份证分割模型的身份证识别方法及其相关设备
CN112991217A (zh) 一种医学图像采集方法、装置及设备
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
WO2023185646A1 (en) Systems and methods for image processing
CN116798041A (zh) 图像识别方法、装置和电子设备
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113792672B (zh) 公共场所健康码获取方法、装置、设备及介质
CN112800872A (zh) 一种基于深度学习的人脸识别方法及系统
CN112822393B (zh) 图像处理方法、装置及电子设备
CN115222621A (zh) 图像校正方法、电子设备、存储介质及计算机程序产品
CN113192198A (zh) 一种基于智能网联汽车的高精度动态地图生成与应用方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210514

WW01 Invention patent application withdrawn after publication