CN117373099B - 一种人脸锁摄像头遮挡检测方法、装置、设备及介质 - Google Patents

一种人脸锁摄像头遮挡检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN117373099B
CN117373099B CN202311643173.0A CN202311643173A CN117373099B CN 117373099 B CN117373099 B CN 117373099B CN 202311643173 A CN202311643173 A CN 202311643173A CN 117373099 B CN117373099 B CN 117373099B
Authority
CN
China
Prior art keywords
image
shielding
detection feature
area
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311643173.0A
Other languages
English (en)
Other versions
CN117373099A (zh
Inventor
张永清
张清枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Transport Technology Co ltd
Original Assignee
China Transport Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Transport Technology Co ltd filed Critical China Transport Technology Co ltd
Priority to CN202311643173.0A priority Critical patent/CN117373099B/zh
Publication of CN117373099A publication Critical patent/CN117373099A/zh
Application granted granted Critical
Publication of CN117373099B publication Critical patent/CN117373099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸锁摄像头遮挡检测方法、装置、设备及介质，该方法包括：通过对人脸锁设备摄像头采集到的图像数据进行灰度预处理，通过计算帧缓存区中的差分图像，对符合条件的像素区域求前后帧相关性，前后帧面积变化率，获取预处理图像横向和纵向的灰度突变信息。再通过算子求取灰度图的二阶梯度信息，统计得到孤立点检测信息。最后将帧间区域相关性，面积变化率，灰度突变信息和孤立点检测信息作为判断特征，进行权重分配，通过线性拟合得到判断条件公式，作为遮挡判断的依据。本发明通过对人脸锁摄像头采集的图像进行处理，能准确的通过图像判断摄像头是否被遮挡，从而便于人脸锁及时给出报警信息，有效提升人脸锁的安全等级。

Description

一种人脸锁摄像头遮挡检测方法、装置、设备及介质
技术领域
本发明涉及图像边缘处理技术领域，具体为一种人脸锁摄像头遮挡检测方法、装置、设备及介质。
背景技术
人脸锁人脸识别技术应用在锁上门的一种新型智能设备，解决了传统锁忘记佩戴钥匙及门禁卡的问题，只需要注册使用者的人脸便可以无需佩戴钥匙或者门禁卡便可以轻易的开门。目前市面人脸锁上采用的是摄像头+人脸识别的技术组合，这就需要人脸锁具备摄像头遮挡报警的功能，以防止不法分子对人脸锁的摄像头以及其他硬件做出损坏的行为。
目前，针对人脸锁中摄像头判断是否被遮挡的问题，通常的解决方法是：根据摄像头的采集对应的遮挡图像，采用深度学习的方法进行训练遮挡的判断，该方法在一定的程度上达到不错的效果，但是移植性差，性能上大打折扣，在人脸锁上往往会占用过多资源。因此，使用性能好的图像数据分析以及使用简单的判断方法来判断当前摄像头是否被遮挡已经成为迫切的需求。
所以，人们需要一种人脸锁摄像头遮挡检测方法来解决上述问题。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种人脸锁摄像头遮挡检测方法、装置、设备及介质，以解决上述技术问题。
本发明提供的一种人脸锁摄像头遮挡检测方法，包括：
S1：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
S2：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
S3：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
S4：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
S5：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
S6：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
S7：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
S8：通过输出的图像遮挡信号，给出报警信息。
于本发明中，对所述近红外三通道图像进行灰度化预处理，计算公式为：
；
其中，表示输出图像对应像素点灰度值，表示像素在图像中的位 置，，，表示输入图中坐标为对应的RGB三通道对应的像素值。
于本发明中，所述图像帧缓存区对所述预处理图像进行缓存，且缓存数量至少为 3，当达到所述缓存数量后进行原始帧的替代更换；对满足缓存帧数的图像帧缓存区进行相 邻连续帧的差分，计算公式为：；其中，为前后 帧的差分图像，为缓存帧图像，为对应的像素坐标，n为对应的帧数下标；对差 分后的图像进行像素级为8级，每级像素值范围大小为32的划分，划分条件为：；其中，式中将像素值分为8层，为划分结 果，为对应的像素坐标，为该坐标对应的像素值，当像素值大于0的时候使用的方式进行层数计算,为差分图像对应的像素值，为设定的层数阈值，选 择符合预定的像素级的像素，形成遮挡待检测区域，对所述遮挡待检测区域进行帧间相关 性计算，计算公式为：
；
其中，R表示相邻两帧遮挡待检测区域的相关性，和表示当前区域对应的亮度 均值，和表示图像的m行n列处的像素值。
于本发明中，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，计算公式为：
；
其中，为从到时间段区域的面积变化率，为区域在时间点的面 积值，为区域在时间点的面积值。
于本发明中，对灰度突变的值进行阈值选择，过滤不满足阈值的信息，选取所有满足阈值的对应坐标点组成灰度突变二值图，通过设定多种不同的窗口大小，遍历灰度突变二值图，根据所述灰度突变二值图对符合阈值要求的像素点进行横向和纵向上的数量统计，得到第三遮挡检测特征；根据二维信息获取所述预处理图像横向和纵向上的灰度突变，计算公式为：
；
其中，表示像素在图像中的位置，表示x方向上坐标为的一阶 导数值，表示y方向上坐标为的一阶导数值。
于本发明中，通过设定的LOG算子，计算所述预处理图像的二阶梯度图，设定两个档位阈值对分别对二阶梯度图进行阈值过滤，对满足阈值的像素个数进行统计，得到第四遮挡检测特征。
于本发明中，对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，权重分配表达式为：
；
其中，为第一遮挡检测特征，为第二遮挡检测特征，为第三遮挡检测特征，为第四遮挡检测特征，为最终遮挡特征量，获取一组第一遮挡检测特征，第二遮挡检 测特征，第三遮挡检测特征，第四遮挡检测特征数据，通过线性拟合获取图像遮挡 特征表达式，计算公式为：
；
其中，为最终条件输出值对应的第一遮挡检测特征，第二遮挡检测特征，第 三遮挡检测特征，第四遮挡检测特征，为获取的一组第一遮挡检测特征，第二遮挡 检测特征，第三遮挡检测特征，第四遮挡检测特征数据，为多项式的系数。
本发明还提供一种人脸锁摄像头遮挡检测装置，包括：
人脸锁图像采集模块：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
图像预处理模块：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
第一遮挡检测特征模块：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
第二遮挡检测特征模块：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
第三遮挡检测特征模块：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
第四遮挡检测特征模块：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
特征权重分配模块：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
报警输出模块：通过输出的图像遮挡信号，给出报警信息。
本发明还提供一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述任一项所述的一种人脸锁摄像头遮挡检测方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上述任一项所述的一种人脸锁摄像头遮挡检测方法。
本发明通过对人脸锁设备摄像头采集到的图像数据进行单通道灰度预处理，通过计算帧缓存区中的差分图像，对符合分层条件的像素区域分别求取前后帧相关性，前后帧面积变化率，通过对预处理后的灰度图分别横向和纵向上的灰度突变信息，并根据设定的阈值求出两个方向上大于阈值的梯度图二值图，组成灰度突变信息。再通过设计好的特定算子求取灰度图的二阶梯度，设定两个档位阈值，分别统计两个档位的二阶梯度像素个数。通过设定的窗口遍历一阶梯度二值图，累加横向以及纵向梯度个数，统计累加值大于设定阈值的个数，组成孤立点检测信息。最后将帧间区域相关性，区域面积计算变化率，图像灰度突变信息以及图像孤立点检测信息作为判断特征，对每个条件的重要性进行不同的权重分配，通过线性拟合得到最终的判断条件公式，作为遮挡判断的依据。与现有技术相比，产生的有益效果包括：
1、本发明提供的方案，通过对人脸锁摄像头采集的图像进行处理，能准确的通过图像判断判断摄像头是否被遮挡，从而便于人脸锁及时给出报警信息，有效提升人脸锁的安全等级。
2、本发明判断摄像头遮挡的过程中只是采用了传统的图像处理方法进行判断，在算法复杂度较低的情况下，通过正常的经验值便可以达到很好的效果，有效的提高了方法在平台的运行效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明的一示例性实施例示出的一种人脸锁摄像头遮挡检测方法的步骤流程图；
图2为本发明的一示例性实施例示出的一种人脸锁摄像头遮挡检测方法的流程框图；
图3为本发明的一示例性实施例示出的一种人脸锁摄像头遮挡检测装置结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
图1为本发明的一示例性实施例示出的一种人脸锁摄像头遮挡检测方法的流程图；
如图1所示，本发明提供的一种人脸锁摄像头遮挡检测方法，包括：
S1：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
S2：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
S3：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
S4：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
S5：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
S6：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
S7：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
S8：通过输出的图像遮挡信号，给出报警信息。
请参阅图2，在步骤S1中，采集人脸锁摄像头抓取的图像数据，图像数据为近红外三通道图像；如步骤S10所示，将人脸锁摄像头抓取的图像数据作为输入，在步骤S2中，将输入的图像数据进行灰度化预处理，得到预处理图像；如步骤S11所示，由于图像数据为近红外三通道图像，故按照不同的通道分别对图像数据进行单通道预处理，具体的，对所述近红外三通道图像进行灰度化预处理，计算公式为：
；
其中，表示输出图像对应像素点灰度值，表示像素在图像中的位 置，，，表示输入图中坐标为对应的RGB三通道对应的像素值。
通过步骤S3、S4计算得到第一遮挡检测特征和第二遮挡检测特征，具体通过如下步骤实现：
S20：建立图像缓存区，针对缓存区求取图像的待检测区域帧间相关性以及面积变化率；
S21：判断缓存区是否满足设定帧数，如满足设定帧数，则执行S22，S23；
S22：待缓存区满足设定帧数后，讲缓存区最开始的帧进行替换；
S23：计算缓存区内，前后帧的差分图像；具体的，计算前后帧差分图像的公式为：
；
其中，为前后帧的差分图像，为缓存帧图像，为对应的像素坐 标，n为对应的帧数下标；
S24：对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域；具体的，分层的条件为：
；
其中，式中将像素值分为8层，为对应的像素坐标，为该坐标对应的像 素值，当像素值大于0的时候使用的方式进行层数计算，为差分图像对应的 像素值，为设定的层数阈值。
S25 计算遮挡待检测区域的帧前后相关性；具体的，计算遮挡待检测区域的帧前后相关性，计算公式为：
；
其中，R表示相邻两帧遮挡待检测区域的相关性。和表示当前区域对应的亮度 均值，和表示图像的m行n列处的像素值。
S26 计算遮挡待检测区域的帧前后面积变化率。具体的，计算帧间面积变化率计算公式为：
；
其中，为区域在时间点的面积值，为区域在时间点的面积值，为从到时间段区域的面积变化率。
通过步骤S5计算得到第三遮挡检测特征，具体通过如下步骤实现：
S30：根据S11灰度化预处理后的图像，计算图像横向和纵向上的灰度突变信息；具体的，遍历灰度图像，根据下列公式求取每个像素点对应的x，y方向的一阶导数（灰度突变信息）。
；
其中，表示像素在图像中的位置，表示x方向上坐标为的一阶 导数值，表示y方向上坐标为的一阶导数值。
S31：对灰度突变信息（一阶导数的值）的值进行阈值选择，过滤不满足阈值的信息，满足阈值执行S32；
S32：将满足阈值选取的所有对应坐标点组成灰度突变信息二值图；具体的，在步 骤S31-S32中，遍历输入的一阶导数图，定义阈值thresh，由于需要突出图像数据的边缘，阈 值设定大小为根据下列公式计算满足阈值的梯度二值图：
；
其中，表示像素在图像中的位置，指的是输出的二值图。
S33：设定窗口大小，遍历灰度突变信息二值图，根据灰度突变信息二值图中符合 阈值要求的像素点进行横向纵向上数量的个数统计；具体的，定义一个大小的窗口， 在本发明中，遍历二值图像，根据下列公式计算定义进行满足梯度二值图阈 值的横向纵向个数累加：
；
；
其中，表示以像素坐标(x，y)为中心的一个窗口，表示对应当前像素 在中的坐标，为横向窗口累加的梯度个数图，为纵向累加的梯度个 数图。
S34：对统计后的个数进行阈值的筛选，满足阈值个数的执行S35；
S35：S34阈值筛选后得到的将得到的横向纵向上数量的个数统计Accumulation_ Value，作为线性拟合的其中一个判定条件；具体的，在步骤S34-S35中，定义阈值thresh1，，，利用累加的进行阈值选取，利用下列公式 求出横纵向累加特征Accumulation_Value：
；
其中，为纵向累加的梯度个数。
在步骤S6中，通过设定的LOG算子，计算所述预处理图像的二阶梯度图，设定两个档位阈值对分别对二阶梯度图进行阈值过滤，对满足阈值的像素个数进行统计，得到第四遮挡检测特征。具体通过如下步骤实现：
S40：根据灰度化预处理后的图像，采用LOG算子，求图像的二阶梯度图；具体的，LOG算子的模板大小为5×5，通过LOG算子求图像的二阶梯度图像g(x，y)。由于LOG为成熟的算子，本发明是利用该算子作为二阶梯度计算的方法。算子如下：
；
S41：设定两个档位阈值对分别对二阶梯度图进行阈值过滤，满足阈值的执行S32；
S42：对S41步骤满足阈值的像素个数进行统计，分别用Sum_Gradient_Low，Sum_Gradient_High来表示。具体的，在步骤S41-S42中设定两个档位的阈值对二阶梯度图像进行满足条件的个数统计；
；
；
其中，Sum_Gradient_Low，Sum_Gradient_High分别为双层阈值梯度统计特征，，分别为设定的档位阈值。
通过步骤S7，对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，输出图像遮挡信号；具体包括：
S50：对步骤S25、S26、S35、S42进行权重分配，将所得数据进行线性拟合；具体的，将步骤S3-6中得到的第一遮挡检测特征（帧间区域相关性），第二遮挡检测特征（区域面积计算变化率），第三遮挡检测特征（图像灰度突变信息）以及第四遮挡检测特征（图像孤立点检测信息）作为判断图像被遮挡的主要条件，对每个条件的重要性进行不同的权重分配，下表为分配的权重，通过线性拟合得到最终的判断条件公式，根据步骤S60设定的阈值，输出图像被遮挡的信号。
根据表中权重，得到最后的特征表达：
；
其中，为帧间区域相关性，为面积变化率，为灰度信息，为孤立点信息。为最终的遮挡特征量。进而，搜集帧间区域相关性，面积变化率，灰度信息，孤立 点信息各一组数据，采用线性拟合的方式到一元二次多项式的计算公式：
；
其中，为最终的条件输出值对应上述的帧间区域相关性，面积变化率，灰度 信息，孤立点信息，为多项式的系数。
于本发明一示例性的实施例中，用于线性拟合的部分数据为下表所示，分别对应 帧间区域相关性，面积变化率，灰度信息，孤立点信息，其中表格中遮挡分数为当 帧间区域相关性，面积变化率，灰度信息，孤立点信息的值对应的遮挡程度，遮挡 的分数越高说明遮挡的可能性越大：
进一步的，采用最小二乘法原理进行拟合，分别得到多项式的系数，最终的一元二次多项式的计算公式为：
帧间区域相关性；
面积变化率；
灰度信息；
孤立点信息。
S60：对步骤S50计算得到的结果进行阈值选择，符合阈值则执行S70；对S50中得到的最后遮挡特征进行阈值筛选，公式如下：
；
其中，为遮挡的最终结果，结果1为图像被遮挡，0为图像不被遮挡。为步 骤S5中得到的遮挡特征表达式。在本发明实例中，的取值为0.6。
S70：根据S60的结果往人脸锁发送报警指令进行摄像头遮挡报警。进一步的，在步骤S70的时候输出判断当前帧是否被遮挡的报警信号。
图3为本发明的一示例性实施例示出的一种人脸锁摄像头遮挡检测装置结构示意图；
如图3所示，该示例性的一种人脸锁摄像头遮挡检测装置包括：
人脸锁图像采集模块：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
图像预处理模块：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
第一遮挡检测特征模块：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
第二遮挡检测特征模块：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
第三遮挡检测特征模块：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
第四遮挡检测特征模块：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
特征权重分配模块：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
报警输出模块：通过输出的图像遮挡信号，给出报警信息。
需要说明的是，上述实施例所提供的一种人脸锁摄像头遮挡检测装置与上述实施例所提供的一种人脸锁摄像头遮挡检测方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的一种人脸锁摄像头遮挡检测装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的一种人脸锁摄像头遮挡检测方法。
本申请的实施例还提供了一种电子设备的计算机系统。需要说明的是，电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
具体的，计算机系统包括中央处理单元（Central Processing Unit，CPU），其可以根据存储在只读存储器（Read-Only Memory，ROM）中的程序或者从储存部分加载到随机访问存储器（Random Access Memory，RAM）中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 中，还存储有系统操作所需的各种程序和数据。CPU 、ROM以及RAM 通过总线彼此相连。输入/输出（Input /Output，I/O）接口也连接至总线。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分；包括硬盘等的储存部分；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入储存部分。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元（CPU）执行时，执行本申请的装置中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的一种人脸锁摄像头遮挡检测方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的一种人脸锁摄像头遮挡检测方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸锁摄像头遮挡检测方法，其特征在于，包括：
S1：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
S2：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
S3：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
S4：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
S5：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
S6：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
S7：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
S8：通过输出的图像遮挡信号，给出报警信息。
2.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，对所述近红外三通道图像进行灰度化预处理，计算公式为：
；
其中，表示输出图像对应像素点灰度值，/>表示像素在图像中的位置，，/>，/>表示输入图中坐标为/>对应的RGB三通道对应的像素值。
3.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，所述图像帧缓存区对所述预处理图像进行缓存，且缓存数量至少为3，当达到所述缓存数量后进行原始帧的替代更换；对满足缓存帧数的图像帧缓存区进行相邻连续帧的差分，计算公式为：；其中，/>为前后帧的差分图像，/>为缓存帧图像，/>为对应的像素坐标，n为对应的帧数下标；对差分后的图像进行像素级为8级，每级像素值范围大小为32的划分，划分条件为：/>；其中，式中将像素值分为8层，/>为划分结果，/>为对应的像素坐标，/>为该坐标对应的像素值，当像素值大于0的时候使用/>的方式进行层数计算,/>为差分图像对应的像素值，/>为设定的层数阈值，选择符合预定的像素级的像素，形成遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，计算公式为：
；
其中，R表示相邻两帧遮挡待检测区域的相关性，和/>表示当前区域对应的亮度均值，和/>表示图像的m行n列处的像素值。
4.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，计算公式为：
；
其中，为从/>到/>时间段/>区域的面积变化率，/>为区域/>在时间点/>的面积值，为区域/>在时间点/>的面积值。
5.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，对灰度突变的值进行阈值选择，过滤不满足阈值的信息，选取所有满足阈值的对应坐标点组成灰度突变二值图，通过设定多种不同的窗口大小，遍历灰度突变二值图，根据所述灰度突变二值图对符合阈值要求的像素点进行横向和纵向上的数量统计，得到第三遮挡检测特征；根据二维信息获取所述预处理图像横向和纵向上的灰度突变，计算公式为：
；
其中，表示像素在图像中的位置，/>表示x方向上坐标为/>的一阶导数值，/>表示y方向上坐标为/>的一阶导数值。
6.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，通过设定的LOG算子，计算所述预处理图像的二阶梯度图，设定两个档位阈值对分别对二阶梯度图进行阈值过滤，对满足阈值的像素个数进行统计，得到第四遮挡检测特征。
7.根据权利要求1所述的一种人脸锁摄像头遮挡检测方法，其特征在于，对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，权重分配表达式为：
；
其中，为第一遮挡检测特征，/>为第二遮挡检测特征，/>为第三遮挡检测特征，/>为第四遮挡检测特征，/>为最终遮挡特征量，获取一组第一遮挡检测特征/>，第二遮挡检测特征/>，第三遮挡检测特征/>，第四遮挡检测特征/>数据，通过线性拟合获取图像遮挡特征表达式，计算公式为：
；
其中，为最终条件输出值对应的第一遮挡检测特征/>，第二遮挡检测特征/>，第三遮挡检测特征/>，第四遮挡检测特征/>，/>为获取的一组第一遮挡检测特征/>，第二遮挡检测特征/>，第三遮挡检测特征/>，第四遮挡检测特征/>数据，/>为多项式的系数。
8.一种人脸锁摄像头遮挡检测装置，其特征在于，包括：
人脸锁图像采集模块：采集人脸锁摄像头抓取的图像数据，所述图像数据为近红外三通道图像；
图像预处理模块：对所述近红外三通道图像进行灰度化预处理，得到预处理图像；
第一遮挡检测特征模块：根据所述预处理图像建立图像帧缓存区，对所述图像帧缓冲区的预处理图像进行前后差分，得到帧差分图像；对所述帧差分图像进行像素级分层，对符合预设像素级分层条件的像素进行区域融合，确定遮挡待检测区域，对所述遮挡待检测区域进行帧间相关性计算，将相关性计算结果设置为第一遮挡检测特征；
第二遮挡检测特征模块：对所述遮挡待检测区域进行区域面积计算，通过所述区域面积计算所述遮挡待检测区域的帧间面积变化率，将所述面积变化率设置为第二遮挡检测特征；
第三遮挡检测特征模块：根据二维信息获取所述预处理图像横向和纵向上的灰度突变，通过设定的阈值条件以及窗口大小，统计横向和纵向两个方向符合设定阈值的灰度突变信息，将所述灰度突变信息设置为第三遮挡检测特征；
第四遮挡检测特征模块：通过设定的LOG算子，计算所述预处理图像的二阶梯度信息，通过设定的双层阈值条件，选择符合条件的梯度信息进行统计，形成图像孤立点检测信息，将所述图像孤立点检测信息设置为第四遮挡检测特征；
特征权重分配模块：对所述第一遮挡检测特征、所述第二遮挡检测特征、所述第三遮挡检测特征、所述第四遮挡检测特征进行权重分配，通过线性拟合获取图像遮挡特征表达式，通过设定阈值，输出图像遮挡信号；
报警输出模块：通过输出的图像遮挡信号，给出报警信息。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的一种人脸锁摄像头遮挡检测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的一种人脸锁摄像头遮挡检测方法。
CN202311643173.0A 2023-12-04 2023-12-04 一种人脸锁摄像头遮挡检测方法、装置、设备及介质 Active CN117373099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311643173.0A CN117373099B (zh) 2023-12-04 2023-12-04 一种人脸锁摄像头遮挡检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311643173.0A CN117373099B (zh) 2023-12-04 2023-12-04 一种人脸锁摄像头遮挡检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117373099A CN117373099A (zh) 2024-01-09
CN117373099B true CN117373099B (zh) 2024-02-13

Family

ID=89393214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311643173.0A Active CN117373099B (zh) 2023-12-04 2023-12-04 一种人脸锁摄像头遮挡检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117373099B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580051A (zh) * 2020-04-08 2020-08-25 惠州市德赛西威智能交通技术研究院有限公司 一种基于幅度变化率分析的车载毫米波雷达遮挡检测方法
CN111723644A (zh) * 2020-04-20 2020-09-29 北京邮电大学 一种监控视频遮挡检测方法及系统
CN114758300A (zh) * 2022-04-26 2022-07-15 北京佳服信息科技有限公司 场景恶意遮挡的判断方法、装置、设备及可读存储介质
CN115641357A (zh) * 2021-07-05 2023-01-24 国网江苏省电力有限公司电力科学研究院 基于机器学习的智慧仓储人员跟踪算法与视频监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580051A (zh) * 2020-04-08 2020-08-25 惠州市德赛西威智能交通技术研究院有限公司 一种基于幅度变化率分析的车载毫米波雷达遮挡检测方法
CN111723644A (zh) * 2020-04-20 2020-09-29 北京邮电大学 一种监控视频遮挡检测方法及系统
CN115641357A (zh) * 2021-07-05 2023-01-24 国网江苏省电力有限公司电力科学研究院 基于机器学习的智慧仓储人员跟踪算法与视频监控系统
CN114758300A (zh) * 2022-04-26 2022-07-15 北京佳服信息科技有限公司 场景恶意遮挡的判断方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN117373099A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN110287791B (zh) 一种用于人脸图片的筛选方法和系统
CN109584204A (zh) 一种图像噪声强度估计方法、存储介质、处理及识别装置
CN103281559A (zh) 视频质量检测的方法及系统
CN107645621A (zh) 一种视频处理的方法和设备
CN101431664A (zh) 基于视频图像的密集客流密度自动检测方法及系统
CN103279957A (zh) 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN102222323A (zh) 基于直方图统计拉伸和梯度滤波的红外图像细节增强方法
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN104700405B (zh) 一种前景检测方法和系统
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN107908998B (zh) 二维码解码方法、装置、终端设备及计算机可读存储介质
CN107333027A (zh) 一种视频图像增强的方法和装置
CN107610675A (zh) 一种基于动态电平的图像处理方法及装置
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
WO2008040945A1 (en) A method of identifying a measure of feature saliency in a sequence of images
CN111798356A (zh) 一种基于大数据的轨道交通客流异常模式识别方法
CN105791635B (zh) 基于gpu的视频增强去噪方法及装置
CN117373099B (zh) 一种人脸锁摄像头遮挡检测方法、装置、设备及介质
CN114511898A (zh) 疼痛识别方法、装置、存储介质及电子设备
CN109242797A (zh) 基于均质和异质区域融合的图像去噪方法、系统及介质
CN111369494A (zh) 冬小麦穗密度检测方法及装置
CN111402177A (zh) 一种清晰度检测方法、系统、设备和介质
CN103258318B (zh) 一种图像降噪处理方法及系统
CN112672072B (zh) 一种基于改进欧拉放大的分段平稳视频放大方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant