CN112507818B - 一种基于近红外图像的光照估计方法及系统 - Google Patents

一种基于近红外图像的光照估计方法及系统 Download PDF

Info

Publication number
CN112507818B
CN112507818B CN202011344445.3A CN202011344445A CN112507818B CN 112507818 B CN112507818 B CN 112507818B CN 202011344445 A CN202011344445 A CN 202011344445A CN 112507818 B CN112507818 B CN 112507818B
Authority
CN
China
Prior art keywords
image
face
near infrared
infrared image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011344445.3A
Other languages
English (en)
Other versions
CN112507818A (zh
Inventor
辛冠希
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202011344445.3A priority Critical patent/CN112507818B/zh
Publication of CN112507818A publication Critical patent/CN112507818A/zh
Application granted granted Critical
Publication of CN112507818B publication Critical patent/CN112507818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于近红外图像的光照估计方法及系统，包括步骤：S1、获取目标区域的近红外图像；S2、对近红外图像进行人脸检测，得到初始人脸框；S3、缩小初始人脸框，得到第一人脸区域图像，并对第一人脸区域图像进行归一化处理，得到第二人脸区域图像；S4、计算第二人脸图像的灰度直方图，设置灰度截断值，并统计所述截断值范围之内的像素，过滤高于灰度截断值的像素，得到第三人脸区域图像；S5、计算第三人脸区域图像的像素平均值，根据像素平均值求解得到第三人脸区域图像的光照强度值。本发明过滤了曝光区域，减少了误差，从而使得对该人脸区域图像的像素统计更加准确，进而提高了光照估计的精确度。

Description

一种基于近红外图像的光照估计方法及系统
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于近红外图像的光照估计方法及系统。
背景技术
人脸识别已经逐渐进入人们的日常生活，比如在安检、交通、刷脸支付等多个领域均有所应用。人脸识别是基于人脸的面部特征信息进行身份识别的一种生物识别技术，通过利用摄像机或摄像头采集包含有人脸的图像或者视频流数据，根据相应的算法程序进行处理，从而对检测到的人脸进行识别的一系列的活动。
在近红外图像的人脸识别过程中，需要度量人脸图像的光照强度是否合适，是否存在曝光过度或者曝光不足的情况。对于近红外图像，相同的物体，越近会越亮，越远就越暗。
现有技术中，近红外人脸图像的光照强度估计一般是采用平均像素统计的方法或者采用基于神经网络模型的方法，但是这两种方法均不能准确地度量出近红外人脸图像的光照强度，其中，平均像素统计方法无法解决局部区域曝光过度的问题，比如眼镜、拉链的反光等，会导致估计出的人脸图像的光照强度不准；而基于神经网络模型的方法其过程过于复杂麻烦，需要人工标注数据，训练模型，且人工标注的数据是基于该人工对近红外图像光照强度的直观感觉的判断，存在人的直观判断误差，导致标注数据极其不准确，因此利用神经网络训练光照强度估计出的结果也不准确。
上述背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种基于近红外图像的光照估计方法及系统，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种基于近红外图像的光照估计方法，包括如下步骤：
S1、获取目标区域的近红外图像；
S2、对所述近红外图像进行人脸检测，得到初始人脸框；
S3、缩小所述初始人脸框，得到第一人脸区域图像，并对所述第一人脸区域图像进行归一化处理，得到第二人脸区域图像；
S4、计算所述第二人脸区域图像的灰度直方图，设置灰度截断值，并统计所述灰度截断值范围之内的像素，过滤高于所述灰度截断值的像素，得到第三人脸区域图像；
S5、计算所述第三人脸区域图像的像素平均值，根据所述像素平均值求解得到所述第三人脸区域图像的光照强度值。
进一步地，步骤S1中，通过控制深度相机获取所述目标区域的所述近红外图像；所述深度相机包括发射模块和接收模块，其中，所述发射模块用于向所述目标区域发射近红外波段的光信号，所述接收模块接收经所述目标区域反射回的光信号以得到所述目标区域的所述近红外图像。
进一步地，步骤S2中，将所述近红外图像传输至人脸检测模型进行人脸检测，获取人脸区域，得到所述初始人脸框。
进一步地，步骤S2包括：
S20、将所述近红外图像传输至主干特征提取网络，输出第一有效特征层；
S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；
S22、对所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。
进一步地，步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。
进一步地，步骤S3中，根据下式缩小所述初始人脸框：
其中，(x1，y1)为所述初始人脸框的左上角坐标，(x2，y2)为所述初始人脸框的右下角坐标，x′1和y′1为所述第一人脸区域图像的左上角坐标，P∈(0，1)。
进一步地，步骤S3中还包括：将所述第一人脸区域图像归一化处理后，利用插值法对图像进行插值，以恢复图像归一化处理丢失的数据。
进一步地，步骤S5中，根据下式计算所述第三人脸区域的光照强度值：
其中，a、b为系数，t为曝光时间，gv为增益项，G为所述第三人脸区域图像的像素平均值。
本发明实施例另一技术方案为：
一种基于近红外图像的光照估计系统，包括图像获取模块、人脸检测模块、图像处理模块以及光照计算模块；其中，
所述图像获取模块，用于获取近红外图像并将所述近红外图像传输至所述人脸检测模块；
所述人脸检测模块，用于对所述近红外图像进行人脸检测，得到初始人脸框；
所述图像处理模块，用于对所述初始人脸框进行缩小，并进行归一化处理，根据归一化处理后的图像进行灰度直方图的计算，并统计每个像素值对应的像素数量，过滤曝光像素点，得到人脸区域图像；
所述光照计算模块，用于计算所述人脸区域图像的像素平均值，并根据所述平均值求解所述人脸区域图像的光照强度值。
进一步的，所述图像获取模块为深度相机，所述深度相机包括发射模块和接收模块，其中，所述发射模块用于向目标区域发射近红外波段的光信号，所述接收模块接收经所述目标区域反射回的光信号以得到所述目标区域的所述近红外图像。
本发明技术方案的有益效果是：
相较于现有技术，本发明通过对初始人脸框进行缩小、归一化、过滤像素点、计算像素点均值等处理获得人脸区域图像，过滤了曝光区域，减少了误差，从而使得对该人脸区域图像的像素统计更加准确，进而提高了光照估计的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例基于近红外图像的光照估计方法的流程图示。
图2是根据本发明另一个实施例基于近红外图像的光照估计系统的原理框图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，术语“第一”、“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”“第三”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1所示为本发明一个实施例提供的一种基于近红外图像的光照估计方法的流程示意图，方法包括以下步骤：
S1、获取目标区域的近红外图像；
控制深度相机获取目标区域的近红外图像，在一些实施例中，深度相机包括发射模块、接收模块以及与发射模块和接收模块连接的控制模块；其中，发射模块用于向目标区域发射近红外波段的光信号(例如脉冲激光束)，优选波段为850～940nm，此波段可最低程度降低太阳光的干扰；接收模块用于采集经目标区域反射回的光信号；控制模块用于控制发射模块和接收模块，以及根据接收模块接收的光信号获取目标区域的近红外图像。应当理解的是，深度相机还可以包括电路模块、电源模块、外壳及其他部件，本发明实施例中并未一一列出。需要说明的是，深度相机可以是独立的装置，也可以被集成于手机、平板电脑、计算机等电子设备中，在本发明实施例中不作特别限制。
S2、对近红外图像进行人脸检测，得到初始人脸框和人脸关键点
将近红外图像传输至人脸检测模型进行人脸检测，获取人脸区域，得到初始人脸框和人脸关键点；在本发明实施例中，人脸检测模型是基于RetinaFace人脸检测算法搭建；具体的，步骤S2包括：
S20、将近红外图像传输至主干特征提取网络，输出最后三个第一有效特征层；
在一个实施例中，主干特征提取网络包括深度可分离卷积(Mobilenet)模型或深度残差网络(Resnet)模型其中，优选Mobilenet模型，采用Mobilenet模型可减少模型的参数。
S21、利用三个第一有效特征层进行特征图金字塔网络(FPN)结构的构建，获取有效特征融合层；
在一个实施例中，利用卷积核为1×1卷积层对三个有效特征层进行通道数的调整，并利用调整后的有效特征层进行上采样和图像融合以实现三个有效特征层的特征融合，得到三个不同尺寸的有效特征融合层，进而完成FPN结构的构建。应当理解的是，卷积层的卷积核大小可根据实际情况进行设计，此处不作限制。
S22、对获取的有效特征融合层进行加强特征提取，输出第二有效特征层；
在一个实施例中，利用SSH(Single Stage Headless Face Detector，单点无头人脸检测器)结构对三个不同尺寸的有效特征融合层进行加强特征提取，其中，SSH结构包括三个并行卷积层结构，三个卷积层结构可分别为1个3×3卷积层、2个3×3卷积层及3个3×3卷积层进行并联(即第一个卷积层为1个3×3卷积层、第二个卷积层为2个3×3卷积层、第三个卷积层为3个3×3卷积层)，如此设计，增大了卷积层的感受野((receptive field))，并减少了参数的计算。有效特征融合层经过三个并行卷积层结构后通过concat函数合并，得到新的有效特征层，即三个不同尺寸的有效特征融合层经过三个并行卷积层结构可得到三个新的具有SSH结构的不同尺寸的第二有效特征层。
S23、利用第二有效特征层进行人脸预测，得到初始人脸框；
在一个实施例中，具有SSH结构的三个不同尺寸的第二有效特征层等效于把整幅近红外图像划分成不同大小的网格，每个网格上包含两个先验框，每个先验框代表近红外图像上的一定区域，对每个先验框进行人脸检测，通过设置置信度的阈值为0.5，对先验框是否包含人脸的概率进行预测，并与阈值进行比对，若先验框的概率大于阈值，则该先验框包含人脸，即为初始人脸框。应当理解的是，置信度的阈值可根据实际情况进行具体设置，此处不作限制。
进一步地，对初始人脸框进行调整获取人脸关键点；其中，人脸关键点包括五个关键点，分别为左眼、右眼、鼻子、左嘴角及右嘴角，每个人脸关键点需要两个调整参数，对每个初始人脸框中心的x、y轴进行调整以获取人脸关键点坐标。
S3、缩小初始人脸框，得到第一人脸区域图像，并将第一人脸区域图像归一化为预设尺寸，得到第二人脸区域图像；
在一个实施例中，假设初始人脸框的左上角坐标为(x1，y1)，右下角坐标为(x2，y2)，根据下式，缩小初始人脸框：
其中，x′1和y′1为第一人脸区域图像的左上角坐标，P∈(0，1)。应当理解的是，还可以根据其他公式缩小初始人脸初始框，本发明实施例中不作特别限制。
在一个实施例中，不同人的脸部轮廓大小不一致，经过上述步骤后的脸部图像很难保持一致，因此，对人脸图像进行归一化处理，对人脸图像进行尺度归一化，将不同的人脸图像数据转换为相同的尺寸，可防止有些图像过大增加计算量。尺寸归一化一般分为放大和缩小两种情况。放大尺寸，可能会导致图像不清晰，这种情况会随着放大比例的增加而变得更加严重，优选地，图像归一化处理后，利用插值法对图像进行插值，恢复图像归一化时丢失的数据；缩小尺寸的情况相对简单，对图像数据影响较小，不会产生额外噪声。应当理解的是，本发明实施例中将图像归一化为(112，112)，但不限于此，此处不作特别限制。
S4、根据第二人脸区域图像，计算该图像的灰度直方图，设置灰度截断值，统计截断值范围之内的像素，并过滤高于灰度截断值的像素，得到第三人脸区域图像；
在一些实施例中，根据第二人脸区域图像，计算该图像的灰度直方图，并将像素的灰度值从高到低进行排序，统计第二人脸区域图像的像素对应的灰度值的像素数量，设像素值的灰度截断值为T，如果第二人脸区域图像上的像素值大于设定的像素值的截断值T，则将所有大于该截断值T的像素值过滤掉，并赋予截断值；若像素值小于或等于截断值T，则保持不变，过滤曝光像素点，最终得到去除曝光后的第三人脸区域图像。应当理解的是，截断值T可根据实际情况进行设计，若像素的灰度值范围为0～255，则截断值可取灰度值范围为95％处的值，即242，此处不作限制。
S5、计算第三人脸区域图像的像素平均值，根据该像素平均值求解第三人脸区域图像的光照强度值；
在一个实施例中，统计基于步骤S4处理后得到的像素灰度值的总和，并将其与像素数量进行相除以求取像素平均值，像素平均值G与光照强度Ea的标定关系可以下式表示：
其中，a、b为系数，在标定过程中，根据光源与深度相机的距离进行选择，当距离变化时，a、b也进行变化，但光源与深度相机一般都集成于整体设备中，所以a、b是固定的；t为曝光时间，gv为增益项，G为第三人脸区域图像的像素平均值。
需要说明的是，gv可通过以下公式计算，假设深度相机的可调增益gd范围为0～1023，则：
应当理解的是，像素平均值G与光照强度Ea的标定关系还可以通过其他公式进行表示，此处不作限制。
图2为根据本发明另一实施例提供的一种基于近红外图像的光强度估计系统的示意图，系统包括：图像获取模块201、人脸检测模块202、图像处理模块203以及光照计算模块204；其中，图像获取模块201用于获取近红外图像并传输至人脸检测模块202；人脸检测模块201用于对近红外图像进行人脸检测，获取人脸区域，得到初始人脸框及人脸关键点，并将得到的初始人脸框传输至图像处理模块203；图像处理模块203对初始人脸框进行缩小，并将其进行归一化处理，根据归一化处理后的图像进行灰度直方图的计算，统计每个像素值对应的像素数量，设置阈值，过滤曝光像素点，得到人脸区域图像；光照计算模块204用于计算人脸区域图像的像素平均值，并根据该平均值求解人脸区域图像的光照强度值。
在一些实施例中，图像获取模块201为深度相机(未图示)，其包括发射模块、接收模块以及与发射模块和接收模块连接的控制模块其中，发射模块用于向目标区域发射近红外波段的光信号(例如脉冲激光束)，优选波段为850～940nm，此波段可最低程度降低太阳光的干扰；接收模块用于采集经目标区域反射回的光信号；控制模块用于控制发射模块和接收模块，以及根据接收模块接收的光信号获取目标区域的近红外图像。
需要说明的是，基于近红外图像的光强度估计系统具体实施前述实施例基于近红外图像的光强度估计方法，各模块的功能详细描述参见前述基于近红外图像的光强度估计方法，在此不再赘述。
本发明还提出了一种计算机可读存储介质，计算机刻度存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述实施例方案基于近红外图像的光照估计方法。所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机，如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本发明的实施例可以包括至少两种截然不同的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。
本申请实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时至少实现前述实施例方案中所述的基于近红外图像的光照估计方法。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (9)

1.一种基于近红外图像的光照估计方法，其特征在于，包括如下步骤：
S1、获取目标区域的近红外图像；
S2、对所述近红外图像进行人脸检测，得到初始人脸框；
S3、缩小所述初始人脸框，得到第一人脸区域图像，并对所述第一人脸区域图像进行归一化处理，得到第二人脸区域图像；
S4、计算所述第二人脸区域图像的灰度直方图，设置灰度截断值，并统计所述灰度截断值范围之内的像素，过滤高于所述灰度截断值的像素，得到第三人脸区域图像；
S5、计算所述第三人脸区域图像的像素平均值，根据所述像素平均值求解得到所述第三人脸区域图像的光照强度值；
根据下式计算所述第三人脸区域的光照强度值：
其中，a、b为系数，t为曝光时间，gv为增益项，G为所述第三人脸区域图像的像素平均值。
2.如权利要求1所述基于近红外图像的光照估计方法，其特征在于：步骤S1中，通过控制深度相机获取所述目标区域的所述近红外图像；所述深度相机包括发射模块和接收模块，其中，所述发射模块用于向所述目标区域发射近红外波段的光信号，所述接收模块接收经所述目标区域反射回的光信号以得到所述目标区域的所述近红外图像。
3.如权利要求1所述基于近红外图像的光照估计方法，其特征在于：步骤S2中，将所述近红外图像传输至人脸检测模型进行人脸检测，获取人脸区域，得到所述初始人脸框。
4.如权利要求1所述基于近红外图像的光照估计方法，其特征在于：步骤S2包括：
S20、将所述近红外图像传输至主干特征提取网络，输出第一有效特征层；
S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；
S22、对所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。
5.如权利要求4所述基于近红外图像的光照估计方法，其特征在于：步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。
6.如权利要求1所述基于近红外图像的光照估计方法，其特征在于：步骤S3中，根据下式缩小所述初始人脸框：
其中，(x1，y1)为所述初始人脸框的左上角坐标，(x2，y2)为所述初始人脸框的右下角坐标，x′ 1和y′ 1为所述第一人脸区域图像的左上角坐标，P∈(0,1)。
7.如权利要求6所述基于近红外图像的光照估计方法，其特征在于，步骤S3中还包括：将所述第一人脸区域图像归一化处理后，利用插值法对图像进行插值，以恢复图像归一化处理丢失的数据。
8.一种基于近红外图像的光照估计系统，其特征在于：包括图像获取模块、人脸检测模块、图像处理模块以及光照计算模块；其中，
所述图像获取模块，用于获取近红外图像并将所述近红外图像传输至所述人脸检测模块；
所述人脸检测模块，用于对所述近红外图像进行人脸检测，得到初始人脸框；
所述图像处理模块，用于对所述初始人脸框进行缩小，并进行归一化处理，根据归一化处理后的图像进行灰度直方图的计算，并统计每个像素值对应的像素数量，过滤曝光像素点，得到人脸区域图像；
所述光照计算模块，用于计算所述人脸区域图像的像素平均值，并根据所述平均值求解所述人脸区域图像的光照强度值；
根据下式计算所述人脸区域图像的光照强度值：
其中，a、b为系数，t为曝光时间，gv为增益项，G为所述人脸区域图像的像素平均值。
9.如权利要求8所述的基于近红外图像的光照估计系统，其特征在于：所述图像获取模块为深度相机，所述深度相机包括发射模块和接收模块，其中，所述发射模块用于向目标区域发射近红外波段的光信号，所述接收模块接收经所述目标区域反射回的光信号以得到所述目标区域的所述近红外图像。
CN202011344445.3A 2020-11-25 2020-11-25 一种基于近红外图像的光照估计方法及系统 Active CN112507818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344445.3A CN112507818B (zh) 2020-11-25 2020-11-25 一种基于近红外图像的光照估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344445.3A CN112507818B (zh) 2020-11-25 2020-11-25 一种基于近红外图像的光照估计方法及系统

Publications (2)

Publication Number Publication Date
CN112507818A CN112507818A (zh) 2021-03-16
CN112507818B true CN112507818B (zh) 2024-03-15

Family

ID=74967437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344445.3A Active CN112507818B (zh) 2020-11-25 2020-11-25 一种基于近红外图像的光照估计方法及系统

Country Status (1)

Country Link
CN (1) CN112507818B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505699A (zh) * 2021-07-09 2021-10-15 兰州大学 一种基于RetinaNet算法的船舶检测方法
CN113808135B (zh) * 2021-11-19 2022-03-25 北京的卢深视科技有限公司 图像亮度异常检测方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260731A (zh) * 2015-11-25 2016-01-20 商汤集团有限公司 一种基于光脉冲的人脸活体检测系统及方法
CN109886195A (zh) * 2019-02-21 2019-06-14 江苏苏宁银行股份有限公司 基于深度相机近红外单色灰度图的皮肤识别方法
CN110211302A (zh) * 2019-04-18 2019-09-06 江苏图云智能科技发展有限公司 自助寄存柜的控制方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532427B2 (en) * 2011-09-28 2013-09-10 The United States Of America As Represented By The Secretary Of The Army System and method for image enhancement
US20140212046A1 (en) * 2013-01-31 2014-07-31 Sony Corporation Bit depth reduction techniques for low complexity image patch matching
EP3440991A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Device, system and method for determining a physiological parameter of a subject
EP3690393B1 (en) * 2017-09-27 2021-09-15 Sony Group Corporation Information processing device, information processing method, control device, and image processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260731A (zh) * 2015-11-25 2016-01-20 商汤集团有限公司 一种基于光脉冲的人脸活体检测系统及方法
CN109886195A (zh) * 2019-02-21 2019-06-14 江苏苏宁银行股份有限公司 基于深度相机近红外单色灰度图的皮肤识别方法
CN110211302A (zh) * 2019-04-18 2019-09-06 江苏图云智能科技发展有限公司 自助寄存柜的控制方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Revisiting Gray Pixel for Statistical Illumination Estimation;Yanlin Qian;《arXiv》;第1-11页 *
基于深度神经网络的复杂光照下的蓝藻图片语义分割;罗艾娜;《计算机应用与软件》;第35卷(第4期);第254-259页 *

Also Published As

Publication number Publication date
CN112507818A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112487921B (zh) 一种用于活体检测的人脸图像预处理方法及系统
CN109815919B (zh) 一种人群计数方法、网络、系统和电子设备
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
CN110909690B (zh) 一种基于区域生成的遮挡人脸图像检测方法
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US20200410212A1 (en) Fast side-face interference resistant face detection method
US11093737B2 (en) Gesture recognition method and apparatus, electronic device, and computer-readable storage medium
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN103902958A (zh) 人脸识别的方法
CN112507818B (zh) 一种基于近红外图像的光照估计方法及系统
CN104637064A (zh) 一种基于边缘强度权重的离焦模糊图像清晰度检测方法
CN110634116B (zh) 一种面部图像评分方法及摄像机
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN110059634A (zh) 一种大场景人脸抓拍方法
CN110047059B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN107545251A (zh) 人脸质量判别及图片增强的方法及装置
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN101976436A (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN107800965A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107726990A (zh) 一种金属板料成形应变测量中点阵网格图像采集与识别方法
CN111539247A (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant