CN116071807B - 基于视频监控的校园一卡通智能预警方法及系统 - Google Patents

基于视频监控的校园一卡通智能预警方法及系统 Download PDF

Info

Publication number
CN116071807B
CN116071807B CN202310204746.3A CN202310204746A CN116071807B CN 116071807 B CN116071807 B CN 116071807B CN 202310204746 A CN202310204746 A CN 202310204746A CN 116071807 B CN116071807 B CN 116071807B
Authority
CN
China
Prior art keywords
illumination
vector
reference direction
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310204746.3A
Other languages
English (en)
Other versions
CN116071807A (zh
Inventor
吕忠岗
戴凌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Magicwifi Technology Co ltd
Original Assignee
Shenzhen Magicwifi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Magicwifi Technology Co ltd filed Critical Shenzhen Magicwifi Technology Co ltd
Priority to CN202310204746.3A priority Critical patent/CN116071807B/zh
Publication of CN116071807A publication Critical patent/CN116071807A/zh
Application granted granted Critical
Publication of CN116071807B publication Critical patent/CN116071807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种基于视频监控的校园一卡通智能预警方法及系统,根据连续帧图像的信息变化选出刷卡人员的人脸识别图像。其次,获得混合单通道图像并将其均匀分割;对任意一个分割图像,根据分割区域及其邻域区域内像素点在每个参考方向上的灰度分布和相似程度分别获得拟合向量和置信度;进而获得每个参考方向的光照向量参数,筛选出光照方向,结合人脸识别图像获得去光照人脸图像,并对其进行人脸识别;根据构建得预警条件函数进行智能预警。本发明通过利用混合单通道图像特征获取人脸识别图像的光照方向,并进行基于光照方向的去光照影响处理,增强去光照的准确性,提高去光照的效率,提高预警精确度。

Description

基于视频监控的校园一卡通智能预警方法及系统
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种基于视频监控的校园一卡通智能预警方法及系统。
背景技术
在人们生活成长的过程中,校园生活是每个人必不可少的一个环节。而学生作为一个弱势群体在校园中进行集体生活,校园的安全就显得极为重要。为了防止外界非相关人员的入校,所以大多数学校在考虑成本的基础上采取了基于一卡通的刷卡入校制度。但是,单纯的利用一卡通进行刷卡进校园存在较大的安全隐患,例如非校内人员非法持有校内人员的一卡通即可完成刷卡入校,例如在人员进出入校园较为密集时刻,因为闸机具有一定的机械延迟从而导致非刷卡人员的混入等相关的安全因素。校园监控视频辅助一卡通进行预警的目的是防止入校人员非法持卡利用一卡通通过校园门禁进入,故利用监控视频对其持卡人员进行身份识别,根据实际情况判断预警条件从而使得非法持卡人员在进入校园时进行预警。
现有的人脸识别技术多数是针对于高清相机所拍摄的约束条件下的人脸图像进行识别,但是因为约束条件下的高清相机的局限性,即成本太高、不符合大规模人口密集场所等因素,导致校园闸机高清相机人脸识别技术不够普及。因此,需要利用校园门口的监控设备所采集的监控视频进行辅助一卡通刷卡入校。监控设备所采集的监控视频不同于约束条件下的高清相机,其采集的监控视频在受到复杂的环境光时人脸识别的正确性影响更为严重,而人脸识别正确率低下对于校园的预警有着较为严重的影响。现有技术中,组织一个人脸样本集,提取图片的特征,随后通过Adaboost算法挑选出合适的特征来组成检测器,对输入的含人脸图像进行人脸检测,得到人脸图像;没有分析采集环境对人脸图像的细节影响容易造成误差,减少识别的准确性。在进行人脸定位后对人脸进行光照复杂度计算,仅通过设定复杂度阈值选择不同的光照处理方法对人脸进行光照处理,对人脸图像光照处理的误差较大且效率较低,无法根据具体环境的光照效果对人脸图像进行分析,减少识别的准确性。
发明内容
为了解决现有技术中没有分析具体环境的光照效果对人脸图像的细节影响,导致降低识别的准确性的技术问题,本发明的目的在于提供一种基于视频监控的校园一卡通智能预警方法及系统,所采用的技术方案具体如下:
本发明提出了一种基于视频监控的校园一卡通智能预警方法,该方法包括:
获得每个刷卡人员的至少两个连续帧图像;根据每个所述刷卡人员的所有所述连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像;
根据每个所述人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像;将所述混合单通道图像进行均匀分割,分别获得至少两个分割区域;
预设至少两个参考方向,对任意一个参考方向,根据每个所述分割区域的邻域区域内像素点在所述参考方向上的灰度分布获得所述分割区域在所述参考方向的拟合向量;根据每个所述分割区域与其邻域区域内像素点在所述参考方向上的相似程度获得所述分割区域在所述参考方向的置信度;对任意一个参考方向,根据所有所述分割区域在所述参考方向的所述拟合向量和所述置信度获得每个所述参考方向的光照向量参数;
将最大所述光照向量参数对应的所述参考方向作为光照方向;根据所述光照方向和所述人脸识别图像获得去光照人脸图像;对所述去光照人脸图像进行人脸识别,构建预警条件函数;根据所述预警条件函数进行智能预警。
进一步地,所述人脸识别图像的获取方法包括:
对任意一个刷卡人员,将对应刷卡人员的每个所述连续帧图像的信息熵作为对应所述连续帧图像的信息变化程度;将最小所述信息变化程度对应的连续帧图像作为对应刷卡人员的人脸识别图像。
进一步地,所述混合单通道图像的获取方法包括:
对所述人脸识别图像中任意一个像素点,分别获得每个像素点在R通道、G通道和B通道的灰度值;将每个像素点在R通道、G通道和B通道的灰度值中的最大值作为对应像素点的通道灰度值;根据所述人脸识别图像中所有像素点的像素值替换为所述通道灰度值,获得所述混合单通道图像。
进一步地,所述分割区域在所述参考方向的拟合向量的获取方法包括:
对任意一个参考方向,将每个所述分割区域和所述分割区域在所述参考方向上的邻域区域作为所述分割区域在所述参考方向的向量区域;
按照所述参考方向,依次将所述向量区域内关于所述参考方向对称的像素点和所述参考方向上的像素点组成所述向量区域的对称组;将所述向量区域的每个对称组内像素点的灰度均值作为对应对称组的向量值;按照所述参考方向将所述向量区域的所有对称组的向量值组成对应所述分割区域在所述参考方向的拟合向量。
进一步地,所述分割区域在所述参考方向的置信度的获取方法包括:
对任意一个所述参考方向,将每个所述分割区域内所有像素点的灰度均值作为第一均值;将对所述分割区域的每个所述向量区域内所有像素点的灰度均值作为对应向量区域的区域均值;
获得所述分割区域除自身以外的每个所述向量区域的区域均值与对应所述分割区域的第一均值的余弦相似度,将所述余弦相似度作为所述分割区域在所述参考方向的子相似度;将每个所述分割区域在所述参考方向的所有子相似度的均值作为所述分割区域在所述参考方向的置信度。
进一步地,所述每个所述参考方向的光照向量参数的获取公式包括:
Figure SMS_1
式中,
Figure SMS_13
表示所述参考方向的光照向量参数,
Figure SMS_3
表示任意一个所述参考方向,
Figure SMS_9
表 示所述分割区域的数量,
Figure SMS_4
表示第
Figure SMS_7
个所述分割区域在所述参考方向
Figure SMS_11
的置信度,
Figure SMS_15
表示 第
Figure SMS_12
个所述分割区域在所述参考方向
Figure SMS_16
的拟合向量中进行后差分的次数,
Figure SMS_5
表示第
Figure SMS_8
个所述分割区域在所述参考方向
Figure SMS_17
的拟合向量中第
Figure SMS_21
个的向量值,
Figure SMS_19
表示第
Figure SMS_23
个所述 分割区域在所述参考方向
Figure SMS_18
的拟合向量中第
Figure SMS_22
个的向量值,
Figure SMS_20
表示第
Figure SMS_24
个所述分 割区域在所述参考方向
Figure SMS_2
的拟合向量中第
Figure SMS_6
的向量值,
Figure SMS_10
表示求取绝对值函数,
Figure SMS_14
表示自 然常数。
进一步地,所述去光照人脸图像的获取方法包括:
利用自适应伽马校正算法对所述人脸识别图像沿所述光照方向进行人脸识别图像的自适应矫正,获得去光照人脸图像。
进一步地,所述预警条件函数的构建方法包括:
Figure SMS_25
式中,
Figure SMS_26
表示预警条件函数,
Figure SMS_27
表示去光照人脸图像,
Figure SMS_28
表示识别结果为非法闯 入人员,
Figure SMS_29
表示识别结果为同时存在非法闯入人员和合法人员,
Figure SMS_30
表示识别结果为合法人 员。
本发明还提出了一种基于视频监控的校园一卡通智能预警系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现如上述的一种基于视频监控的校园一卡通智能预警方法。
本发明具有如下有益效果:
本发明实施例首先根据每个刷卡人员的所有连续帧图像的信息变化程度获取对应刷卡人员的人脸识别图像,人脸识别图像的信息变化程度越低,在后续过程中对人脸识别图像进行分析,获得的识别结果更加准确。其次,获得混合单通道图像并将其均匀分割,混合单通道图像能够表示人脸识别图像受到的光照影响情况,后续对混合单通道图像中的每个分割区域进行光照影响的分析,结果会更加准确。对任意一个参考方向,通过构建拟合向量用于表示参考方向下的灰度变化特征,方便后续对光照方向的选取。置信度表示在边缘或背景的角度每个分割区域与其邻域区域内像素点在参考方向上的相似程度,通过置信度消除背景或者边缘影响因素,来提升后续获取光照方向的准确性。根据拟合向量和置信度获得每个参考方向的光照向量参数,筛选出光照方向。根据光照方向和人脸识别图像获得去光照人脸图像并对其进行人脸识别,构建预警条件函数,进而进行智能预警。本发明通过利用混合单通道图像特征获取人脸识别图像的光照方向,并进行基于光照方向的去光照影响处理,增强去光照的准确性,提高去光照的效率,而后进行人脸识别,对非法闯入人员进行预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于视频监控的校园一卡通智能预警方法流程图;
图2为本发明一个实施例所提供的分割区域m在参考方向315°的向量区域示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于视频监控的校园一卡通智能预警方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视频监控的校园一卡通智能预警方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于视频监控的校园一卡通智能预警方法流程图,该方法包括:
步骤S1:获得每个刷卡人员的至少两个连续帧图像,根据每个刷卡人员的所有连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像。
本发明实施例所针对的具体场景为:在利用视频监控辅助一卡通进行校园预警时需要对人脸进行识别,而校园监控视频中的人脸图像因为监控设备的原因受到光照影响较大,使得人脸识别的准确率下降。因此,本发明通过对视频监控中的人脸图像进行基于光照方向的去光照处理,来提升视频监控中的人脸图像识别的准确性,利用视频监控辅助一卡通实现校园预警。
校园门禁系统在进行人员出入的时候,需要利用一卡通进行刷卡进入,但是这种机制实质上为非实名制,即非一卡通的所有人员进行非法持卡时也能够通过一卡通进行刷卡进入,无法保障校园的安全。由于每个学校的校园门口都具有监控设备,本发明通过利用校园门口的监控设备所采集的监控视频进行辅助一卡通进行入校人员的识别,对于非法持有一卡通的入校人员在非法入校时进行预警。
为了达到预警的目的,需要对持卡人员在利用一卡通进行刷卡的时候进行基于监控设备的监控视频中的人脸识别,在采集过程中采集的监控视频中人脸信息的质量可能不足以支撑信息的识别。因此需要利用监控设备在持卡人员进行刷卡时进行相应的视频信息的采集,设置一个信息采集区域,能够在提高工作效率的同时提高采集的监控视频的清晰度,在本发明实施例中信息采集区域具体包括:
将闸机阻拦体至闸机边缘的距离作为第一距离;将闸机外侧距离位于校外闸机边缘的第一距离的位置作为起始线,由于本发明实施例中是对进入校园的人员进行信息采集,因此起始线位于校外的一侧;将起始线与闸机阻拦体之间的区域作为信息采集区域;信息采集区域的长度为第一距离的二倍值。设置信息采集区域长度为第一距离的二倍值,是为了使起始线距离闸机阻拦体的距离较短,能够减少对经过闸机的非刷卡人员的误判,对持卡人员在进行刷卡的整个过程进行持续拍摄。
进一步地,获得每个刷卡人员的至少两个连续帧图像,在本发明实施例中具体包括:当监控设备所采集到的监控视频中有人经过信息采集区域的起始线时,开始采集刷卡人员进行人脸信息,直至接收对应刷卡人员对闸机刷卡的高电平信号,停止采集对应刷卡人员的人脸信息。在整个信息采集区域内对每个刷卡人员继续监控视频采集,获得每个刷卡人员的所有连续帧图像。
在每个刷卡人员的所有连续帧图像中,包含待验证的刷卡人员的帧图像,而由于存在位置空间的变化,每个连续帧图像其受到的光照影响大小是不相同,需要对每个刷卡人员的所有连续帧图像进行筛选,选择受到光照影响最小的连续帧图像,才能使提高后续操作的精确度,进而使每个刷卡人员的人脸识别更加精确。由于在相应同一个背景下的同一个目标,若某个连续帧图像收到光照的影响越大,对应连续帧图像的信息变化更为丰富,对应连续帧图像的信息熵越大;若某个连续帧图像收到光照的影响越小,对应连续帧图像的信息变化更为简单,对应连续帧图像的信息熵越小。因此,根据每个刷卡人员的所有连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像,在本发明实施例中具体包括:对任意一个刷卡人员,将对应刷卡人员的每个连续帧图像的信息熵作为对应连续帧图像的信息变化程度。需要说明的是,图像信息熵的获取方法为本领域技术人员熟知的技术手段,在此不多赘述,在此仅简述本发明一个实施例提供的信息熵计算公式:
Figure SMS_31
式中,
Figure SMS_32
表示连续帧图像
Figure SMS_36
的信息熵,即信息变化程度;
Figure SMS_39
表示连续帧图像
Figure SMS_33
中灰度值
Figure SMS_38
的出现概率,
Figure SMS_41
,其中
Figure SMS_43
表示连续帧图像
Figure SMS_35
中灰度值为
Figure SMS_37
的像素点个 数,
Figure SMS_40
表示连续帧图像
Figure SMS_42
中的像素点总数;
Figure SMS_34
表示以常数2为底的对数函数。
信息变化程度反映了连续帧图像上的像素信息变化,若连续帧图像上的像素信息变化越大,则对应连续帧图像收到光照的影响越大,即对应连续帧图像的信息变化程度越高;若连续帧图像上的像素信息变化越小,则对应连续帧图像收到光照的影响越小,对应连续帧图像的信息变化程度越低。
将最小信息变化程度对应的连续帧图像作为对应刷卡人员的人脸识别图像,人脸识别图像收到光照的影响越小,人脸识别图像的信息变化程度越低,因此后续过程中对人脸识别图像进行分析,获得的识别结果更加准确。
步骤S2:根据每个人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像;将混合单通道图像进行均匀分割,分别获得至少两个分割区域。
经过步骤S1的分析,对任意一个刷卡人员均获得一个对应的人脸识别图像。由于在具体的环境中,光的方向不同对人脸识别图像的影响形式也就不同,需要对人脸识别图像进行混合单通道的提取,对混合单通道进行光照影响分析获得光照方向,而后根据光照方向对图像进行去光照影响。
由于常规算法中对环境光影响下的图像进行光线特征的获取时,一般是根据RGB图像转换为灰度图进行获取的。灰度图是一个加权平均的过程,在灰度图的生成过程中会丢失一部分的光照影响特征,使得后续的光照特征的量化不够精确,尤其是对于极易受光照影响的监控视频图像而言,后续的去光照影响较大。以不同颜色通道对光照的敏感性和反射的不同提取混合单通道,进行才能在后续过程中提取更准确的光照特征。因此,根据每个人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像,在本发明实施例中具体包括:
对人脸识别图像中任意一个像素点,分别获得每个像素点在R通道、G通道和B通道的灰度值。在人脸识别图像中,不同的颜色通道对于光照的敏感性和反射是不一样,每个通道中的像素点对于光照的敏感性以及反射越大,在人眼中对应像素点的亮度更明显。因此,将每个像素点在R通道、G通道和B通道的灰度值中的最大值作为对应像素点的通道灰度值。根据人脸识别图像中所有像素点的像素值替换为通道灰度值,获得混合单通道图像。混合单通道图像能够表示人脸识别图像受到的光照影响情况。
进一步地,将混合单通道图像进行均匀分割,分别获得至少两个分割区域。在本发明实施例中,根据预设区域尺寸对混合单通道图像进行均匀分割,预设区域尺寸为3*3,即将混合单通道图像均匀分为多个3*3的区域,具体预设区域尺寸可根据具体实施方式具体设置,后续步骤中需要对每个分割区域进行分析。
步骤S3:预设至少两个参考方向,对任意一个参考方向,根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得分割区域在参考方向的拟合向量;根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得分割区域在参考方向的置信度;对任意一个参考方向,根据所有分割区域在参考方向的拟合向量和置信度获得每个参考方向的光照向量参数。
为了获得准确的光照方向,需要从多个方向对混合单通道图像的分析,需要预设参考方向,基于每个参考方向获得混合单通道图像内每个分割区域在对应参考方向上的数据特征。在本发明实施例中,设置参考方向包括:0°、45°、90°、135°、180°、225°、270°和315°。根据八个参考方向依次对混合单通道图像内每个分割区域进行分析,进而获得准确的光照方向,提高去光照的准确性。
首先,对混合单通道图像内任意一个分割区域,获得对应分割区域在预设邻域范围内的其他分割区域。在本发明实施例中,预设邻域区域为八邻域,具体数值可根据具体实施方式具体设置。因此,对任意一个参考方向,根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得分割区域在参考方向的拟合向量,在本发明实施例中具体包括:
对任意一个参考方向,将每个分割区域和对应分割区域在参考方向上的邻域区域作为分割区域在参考方向的向量区域。对每个分割区域在参考方向的向量区域进行分析,能够获得每个分割区域在参考方向的光照影响程度。由于在本发明实施例中设置有八个参考方向,因此,任意一个分割区域均对应八个向量区域,且每个向量区域对应一个参考方向。
由于混合单通道图像通过均匀分割后,每个分割区域中不是一个像素点,而是存 在多个像素点。而沿着光照的方向进行变化时,在与光照的正交方向的像素点受到的光照 影响应该是相同的。因此,本发明通过对每个分割区域的像素点在以某个参考方向作为基 础,对其进行正交方向上的拟合,在对应分割区域的邻域区域内在某个参考方向的拟合方 向向量。由于沿着光照的方向进行变化时,在光照方向上像素点与光照的正交方向的像素 点受到的光照影响应该是相同的。因此,按照参考方向,依次将向量区域内关于参考方向对 称的像素点和参考方向上的像素点组成向量区域的对称组。请参阅图2,其示出了本发明一 个实施例所提供的分割区域m在参考方向315°的向量区域的示意图,在图2中一共有九组对 称组,分别是
Figure SMS_45
Figure SMS_51
Figure SMS_53
Figure SMS_46
Figure SMS_49
Figure SMS_54
Figure SMS_56
Figure SMS_44
Figure SMS_48
。其中,分 割区域m的像素点为
Figure SMS_52
,分割区域m在参考方向315°的向 量区域有三个,向量区域对应的像素点集合分别为
Figure SMS_55
Figure SMS_47
Figure SMS_50
进一步地,将向量区域的每个对称组内像素点的灰度均值作为对应对称组的向量 值;按照参考方向将向量区域的所有对称组的向量值组成对应分割区域在参考方向的拟合 向量。同样以分割区域m在参考方向315°的向量区域为例,分割区域m在参考方向315°的拟 合向量为:
Figure SMS_57
。其中,以拟合向量 中的
Figure SMS_58
Figure SMS_59
Figure SMS_60
为例,元素拟合的计算方式如下所示:
Figure SMS_61
Figure SMS_62
Figure SMS_63
式中,
Figure SMS_64
表示分割区域m在参考方向315°的向量区域内对称组
Figure SMS_65
的向 量值,
Figure SMS_66
表示分割区域m在参考方向315°的向量区域内对称组
Figure SMS_67
的向量值,
Figure SMS_68
表示分割区域m在参考方向315°的向量区域内对称组
Figure SMS_69
的向量值。在图2中,只有 一个向量方向,其他箭头方向均为拟合方向。利用均值计算向量值的理论支撑为:若参考方 向与拟合方向相同,那么对其正交方向进行像素点均值计算时,在不考虑图像的边缘变化 的影响情况下,获得的拟合向量中相邻元素的变化幅度应该是趋于一致的;若参考方向与 拟合方向不同,那么对其正交方向的像素点均值计算时,获得的拟合向量中相邻元素的变 化幅度应该是较大。因此,对任意一个参考方向,每个分割区域在对应参考方向均有对应的 拟合向量。在本发明实施例中参考方向有八个,因此每个分割区域均有对应的八个拟合向 量。
为了消除每个分割区域在某个参考方向上由于边缘或者背景对获取的拟合向量造成的误差,根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得分割区域在参考方向的置信度,在本发明实施例中具体包括:
对任意一个参考方向,将每个分割区域内所有像素点的灰度均值作为第一均值;将对分割区域的每个向量区域内所有像素点的灰度均值作为对应向量区域的区域均值。获得分割区域除自身以外的每个向量区域的区域均值与对应分割区域的第一均值的余弦相似度,将余弦相似度作为分割区域在参考方向的子相似度。将每个分割区域在参考方向的所有子相似度的均值作为分割区域在参考方向的置信度。仍然以图2出示的分割区域m在参考方向315°的向量区域为例,分割区域m在参考方向315°的置信度公式具体包括:
Figure SMS_70
式中,
Figure SMS_72
表示分割区域m在参考方向315°的置信度,
Figure SMS_74
表示分割区域m除自身 以外的向量区域数量,
Figure SMS_76
表示分割区域m的第一均值,
Figure SMS_73
表示分割区域m除自身以外的第
Figure SMS_75
个向量区域的区域均值,
Figure SMS_77
表示分割区域m的第
Figure SMS_78
个子相似度,
Figure SMS_71
表示求取余弦 相似度函数。
置信度表示在边缘或背景的角度每个分割区域与其邻域区域内像素点在参考方向上的相似程度。若置信度越小,则对应分割区域与其邻域区域内像素点在参考方向上的相似程度越低,即对应分割区域在参考方向上获得的光照方向越不准确;若置信度越大,则对应分割区域与其邻域区域内像素点在参考方向上的相似程度越高,即对应分割区域在参考方向上获得的光照方向越准确。对任意一个参考方向,每个分割区域均有每个参考方向上的置信度。
进一步地,对任意一个参考方向,每个分割区域在对应参考方向的置信度越大,说明对应分割区域在参考方向上获得的光照方向越准确,对应参考方向为光照方向的可能性越大。且每个分割区域在对应参考方向的拟合向量内向量数值越均匀,说明对应参考方向为光照方向的可能性越大。因此,对任意一个参考方向,根据所有分割区域在参考方向的拟合向量和置信度获得每个参考方向的光照向量参数,在本发明实施例中具体包括:
Figure SMS_79
式中,
Figure SMS_97
表示参考方向的光照向量参数,
Figure SMS_100
表示任意一个参考方向,
Figure SMS_102
表示分割区 域的数量,
Figure SMS_80
表示第
Figure SMS_87
个分割区域在参考方向
Figure SMS_91
的置信度;
Figure SMS_95
表示第
Figure SMS_82
个分割区域在参考 方向
Figure SMS_84
的拟合向量中进行后差分的次数,在本发明实施例中
Figure SMS_88
Figure SMS_92
表示第
Figure SMS_96
个分割 区域在参考方向
Figure SMS_99
的拟合向量中第
Figure SMS_101
个的向量值,
Figure SMS_103
表示第
Figure SMS_86
个分割区域在参考方向
Figure SMS_90
的拟合向量中第
Figure SMS_94
个的向量值,
Figure SMS_98
表示第
Figure SMS_83
个分割区域在参考方向
Figure SMS_85
的拟合向 量中第
Figure SMS_89
的向量值,
Figure SMS_93
表示求取绝对值函数,
Figure SMS_81
表示自然常数。
在参考方向
Figure SMS_105
的光照向量参数中,对每一个分割区域,以参考方向
Figure SMS_107
作为基础,对 对应分割区域在对应参考方向的拟合向量内的向量值进行后向差分,即
Figure SMS_110
Figure SMS_106
越接近常数一,说明拟合向量内的向量值数值分布越均匀,因此
Figure SMS_109
表示拟合向量内第
Figure SMS_112
次的向量值数值分布的均匀程度,将拟合向量内 所有次数的向量值数值分布的均匀程度进行累加,获得
Figure SMS_114
,该均匀 程度累加值与置信度呈反比关系,因此通过
Figure SMS_104
将均匀程度累加值进 行负相关映射并归一化处理,
Figure SMS_108
越大,说明拟合向量的向量值整体数 值分布越均匀,即对应参考方向上的数据变化越规律。
Figure SMS_111
表 示使用置信度对
Figure SMS_113
进行限定,消除背景或者边缘影响因素,来提升对 应参考方向上的光照方向参数的准确性。
每个参考方向均有对应的一个光照向量参数,光照向量参数表示对应参考方向为光照方向的可能性。若光照向量参数越大,则混合单通道图像在对应参考方向上获取光照方向的可能性越大,即对应参考方向为光照方向的可能性越大;若光照向量参数越小,则混合单通道图像在对应参考方向上获取光照方向的可能性越小,即对应参考方向为光照方向的可能性越小。
步骤S4:将最大光照向量参数对应的参考方向作为光照方向;根据光照方向和人脸识别图像获得去光照人脸图像;对去光照人脸图像进行人脸识别,构建预警条件函数;根据预警条件函数进行智能预警。
经过步骤S1、S2和S3的分析,每个参考方向均有对应的一个光照向量参数,在本发明实施例中参考方向有八个,因此根据光照向量参数可以从所有参考方向中筛选出光照方向,由于光照向量参数越大说明对应参考方向为光照方向的可能性越大。因此,将最大光照向量参数对应的参考方向作为光照方向。
进一步地,根据光照方向和人脸识别图像获得去光照人脸图像,在本发明实施例中具体包括:利用自适应伽马校正算法对人脸识别图像沿光照方向进行人脸识别图像的自适应矫正,获得去光照人脸图像。需要说明的是,自适应伽马校正算法为本领域技术人员熟知的技术手段,在此不多赘述,在此仅简述本发明一个实施例提供的去光照过程:首先以光照方向作为基础方向,利用光照方向的正交方向对人脸识别图像的所有像素点进行分类;接着以每一类像素点作为一个独立的个体进行自适应伽马矫正去光照处理;最后获得去光照人脸图像。
进一步对去光照人脸图像进行人脸识别,需要说明的是,人脸识别为本领域技术人员熟知的技术手段,在此不再赘述。进而获得每个刷卡人员的人脸识别结果。
需要构建预警条件函数对人脸识别结果进行分析,优选地,在本发明实施例中的预警条件函数公式具体为:
Figure SMS_115
式中,
Figure SMS_116
表示预警条件函数,
Figure SMS_117
表示去光照人脸图像,
Figure SMS_118
表示识别结果为非法闯 入人员,
Figure SMS_119
表示识别结果为同时存在非法闯入人员和合法人员,
Figure SMS_120
表示识别结果为合法人 员。
进而,根据预警条件函数和获取的人脸识别结果进行智能预警,本发明一个实施例中具体的预警过程为:
对任意一个刷卡人员的人脸识别结果,将人脸识别结果输入预警条件函数并输出 对应预警函数值,当
Figure SMS_121
时,则利用发出语音信号提示“非持卡本人,非法闯入”,并且 不打开闸机的阻拦体;当
Figure SMS_122
时,则利用发出语音信号“存在非持卡人员,请进行分别 验证”,并且不打开闸机的阻拦体;当
Figure SMS_123
,则发出语音提醒“验证通过”,并且打开闸机 的阻拦体,催促合法持卡人员快速通过。
综上所述,本发明实施例首先根据每个刷卡人员的所有连续帧图像的信息变化程度获取对应刷卡人员的人脸识别图像。其次,获得混合单通道图像并将其均匀分割。对任意一个参考方向,根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得拟合向量,进而根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得置信度。根据拟合向量和置信度获得每个参考方向的光照向量参数,筛选出光照方向。根据光照方向和人脸识别图像获得去光照人脸图像并对其进行人脸识别,根据构建的预警条件函数进行智能预警。本发明通过利用混合单通道图像特征获取人脸识别图像的光照方向,并进行基于光照方向的去光照影响处理,增强去光照的准确性,提高去光照的效率,而后进行人脸识别,对非法闯入人员进行预警。
本发明还提出了一种基于视频监控的校园一卡通智能预警系统,包括存储器和处理器,处理器执行存储器存储的计算机程序,以实现如上述的一种基于视频监控的校园一卡通智能预警方法。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

Claims (7)

1.一种基于视频监控的校园一卡通智能预警方法,其特征在于,该方法包括以下步骤:
获得每个刷卡人员的至少两个连续帧图像;根据每个所述刷卡人员的所有所述连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像;
根据每个所述人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像;将所述混合单通道图像进行均匀分割,分别获得至少两个分割区域;
预设至少两个参考方向,对任意一个参考方向,根据每个所述分割区域的邻域区域内像素点在所述参考方向上的灰度分布获得所述分割区域在所述参考方向的拟合向量;根据每个所述分割区域与其邻域区域内像素点在所述参考方向上的相似程度获得所述分割区域在所述参考方向的置信度;对任意一个参考方向,根据所有所述分割区域在所述参考方向的所述拟合向量和所述置信度获得每个所述参考方向的光照向量参数;
将最大所述光照向量参数对应的所述参考方向作为光照方向;根据所述光照方向和所述人脸识别图像获得去光照人脸图像;对所述去光照人脸图像进行人脸识别,构建预警条件函数;根据所述预警条件函数进行智能预警;
所述分割区域在所述参考方向的拟合向量的获取方法包括:
对任意一个参考方向,将每个所述分割区域和所述分割区域在所述参考方向上的邻域区域作为所述分割区域在所述参考方向的向量区域;
按照所述参考方向,依次将所述向量区域内关于所述参考方向对称的像素点和所述参考方向上的像素点组成所述向量区域的对称组;将所述向量区域的每个对称组内像素点的灰度均值作为对应对称组的向量值;按照所述参考方向将所述向量区域的所有对称组的向量值组成对应所述分割区域在所述参考方向的拟合向量;
所述分割区域在所述参考方向的置信度的获取方法包括:
对任意一个所述参考方向,将每个所述分割区域内所有像素点的灰度均值作为第一均值;将对所述分割区域的每个所述向量区域内所有像素点的灰度均值作为对应向量区域的区域均值;
获得所述分割区域除自身以外的每个所述向量区域的区域均值与对应所述分割区域的第一均值的余弦相似度,将所述余弦相似度作为所述分割区域在所述参考方向的子相似度;将每个所述分割区域在所述参考方向的所有子相似度的均值作为所述分割区域在所述参考方向的置信度。
2.根据权利要求1所述的一种基于视频监控的校园一卡通智能预警方法,其特征在于,所述人脸识别图像的获取方法包括:
对任意一个刷卡人员,将对应刷卡人员的每个所述连续帧图像的信息熵作为对应所述连续帧图像的信息变化程度;将最小所述信息变化程度对应的连续帧图像作为对应刷卡人员的人脸识别图像。
3.根据权利要求1所述的一种基于视频监控的校园一卡通智能预警方法,其特征在于,所述混合单通道图像的获取方法包括:
对所述人脸识别图像中任意一个像素点,分别获得每个像素点在R通道、G通道和B通道的灰度值;将每个像素点在R通道、G通道和B通道的灰度值中的最大值作为对应像素点的通道灰度值;根据所述人脸识别图像中所有像素点的像素值替换为所述通道灰度值,获得所述混合单通道图像。
4.根据权利要求1所述的一种基于视频监控的校园一卡通智能预警方法,其特征在于,所述每个所述参考方向的光照向量参数的获取公式包括:
Figure QLYQS_1
式中,
Figure QLYQS_12
表示所述参考方向的光照向量参数,/>
Figure QLYQS_3
表示任意一个所述参考方向,/>
Figure QLYQS_8
表示所述分割区域的数量,/>
Figure QLYQS_16
表示第/>
Figure QLYQS_20
个所述分割区域在所述参考方向/>
Figure QLYQS_18
的置信度,/>
Figure QLYQS_22
表示第/>
Figure QLYQS_10
个所述分割区域在所述参考方向/>
Figure QLYQS_14
的拟合向量中进行后差分的次数,/>
Figure QLYQS_2
表示第/>
Figure QLYQS_6
个所述分割区域在所述参考方向/>
Figure QLYQS_5
的拟合向量中第/>
Figure QLYQS_9
个的向量值,/>
Figure QLYQS_13
表示第/>
Figure QLYQS_17
个所述分割区域在所述参考方向/>
Figure QLYQS_19
的拟合向量中第/>
Figure QLYQS_23
个的向量值,/>
Figure QLYQS_21
表示第/>
Figure QLYQS_24
个所述分割区域在所述参考方向/>
Figure QLYQS_4
的拟合向量中第/>
Figure QLYQS_7
的向量值,/>
Figure QLYQS_11
表示求取绝对值函数,/>
Figure QLYQS_15
表示自然常数。
5.根据权利要求1所述的一种基于视频监控的校园一卡通智能预警方法,其特征在于,所述去光照人脸图像的获取方法包括:
利用自适应伽马校正算法对所述人脸识别图像沿所述光照方向进行人脸识别图像的自适应矫正,获得去光照人脸图像。
6.根据权利要求1所述的一种基于视频监控的校园一卡通智能预警方法,其特征在于,所述预警条件函数的构建方法包括:
Figure QLYQS_25
式中,
Figure QLYQS_26
表示预警条件函数,/>
Figure QLYQS_27
表示去光照人脸图像,/>
Figure QLYQS_28
表示识别结果为非法闯入人员,/>
Figure QLYQS_29
表示识别结果为同时存在非法闯入人员和合法人员,/>
Figure QLYQS_30
表示识别结果为合法人员。
7.一种基于视频监控的校园一卡通智能预警系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-6任一项所述的一种基于视频监控的校园一卡通智能预警方法。
CN202310204746.3A 2023-03-06 2023-03-06 基于视频监控的校园一卡通智能预警方法及系统 Active CN116071807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310204746.3A CN116071807B (zh) 2023-03-06 2023-03-06 基于视频监控的校园一卡通智能预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310204746.3A CN116071807B (zh) 2023-03-06 2023-03-06 基于视频监控的校园一卡通智能预警方法及系统

Publications (2)

Publication Number Publication Date
CN116071807A CN116071807A (zh) 2023-05-05
CN116071807B true CN116071807B (zh) 2023-06-16

Family

ID=86169900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310204746.3A Active CN116071807B (zh) 2023-03-06 2023-03-06 基于视频监控的校园一卡通智能预警方法及系统

Country Status (1)

Country Link
CN (1) CN116071807B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079197B (zh) * 2023-10-18 2024-03-05 山东诚祥建设集团股份有限公司 一种智慧工地管理方法及系统
CN118430046A (zh) * 2024-05-15 2024-08-02 广东银讯信息服务有限公司 一种支付前人脸识别数据处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN109670389A (zh) * 2017-10-16 2019-04-23 富士通株式会社 评价人脸图像中的光照条件的方法和设备
CN115100719A (zh) * 2022-07-04 2022-09-23 施明成 基于Gabor二值模式与三维梯度直方图特征融合的人脸识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2519363A (en) * 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
US9979894B1 (en) * 2014-06-27 2018-05-22 Google Llc Modifying images with simulated light sources
CN106557729B (zh) * 2015-09-30 2021-12-21 日本电气株式会社 用于处理人脸图像的设备和方法
CN107025445B (zh) * 2017-04-10 2020-03-31 中国科学院合肥物质科学研究院 基于类信息熵的多源遥感图像组合选择方法
CN108197546B (zh) * 2017-12-26 2020-12-11 深圳市友信长丰科技有限公司 人脸识别中光照处理方法、装置、计算机设备及存储介质
CN110033488B (zh) * 2019-04-09 2023-09-15 深圳市梦网视讯有限公司 一种基于压缩信息的自适应光源方向分析方法及系统
CN112530116A (zh) * 2020-11-26 2021-03-19 上海天健体育科技发展有限公司 一种基于人脸识别的校园越界自动预警方法
CN112541422B (zh) * 2020-12-08 2024-03-12 北京科技大学 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN114764949A (zh) * 2022-03-28 2022-07-19 联想(北京)有限公司 一种活体检测方法及装置
CN114779838B (zh) * 2022-06-20 2022-09-02 鲁冉光电(微山)有限公司 一种车载摄像头角度智能调节控制系统
CN115049560A (zh) * 2022-06-28 2022-09-13 北京奇艺世纪科技有限公司 一种模型训练方法及系统、人脸图像去光方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194881A (zh) * 2017-03-23 2017-09-22 南京汇川图像视觉技术有限公司 一种基于光度立体的去除图像反光装置及方法
CN109670389A (zh) * 2017-10-16 2019-04-23 富士通株式会社 评价人脸图像中的光照条件的方法和设备
CN115100719A (zh) * 2022-07-04 2022-09-23 施明成 基于Gabor二值模式与三维梯度直方图特征融合的人脸识别方法

Also Published As

Publication number Publication date
CN116071807A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN116071807B (zh) 基于视频监控的校园一卡通智能预警方法及系统
US10726244B2 (en) Method and apparatus detecting a target
CN107423690B (zh) 一种人脸识别方法及装置
US10565433B2 (en) Age invariant face recognition using convolutional neural networks and set distances
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
KR101033098B1 (ko) 실시간 얼굴 검출 장치
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
US20140314271A1 (en) Systems and Methods for Pedestrian Detection in Images
CN110033040B (zh) 一种火焰识别方法、系统、介质和设备
CN104504365A (zh) 视频序列中的笑脸识别系统及方法
CN110059607B (zh) 活体多重检测方法、装置、计算机设备及存储介质
CN103530648A (zh) 一种基于多帧图像的人脸识别方法
WO2022257314A1 (zh) 图像检测方法和相关训练方法及相关装置、设备及介质
CN112183504B (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
CN112907810A (zh) 一种基于嵌入式gpu的人脸识别测温校园门禁系统
CN101950448A (zh) Atm的伪装与偷窥行为检测的方法和系统
CN106886771B (zh) 基于模块化pca的图像主信息提取方法及人脸识别方法
CN106815562A (zh) 一种基于压缩特征的行人检测跟踪方法
CN103745242A (zh) 一种跨设备生物特征识别方法
CN106023250A (zh) 一种图像识别与跟踪中目标遮蔽强度的评价方法
CN113743378B (zh) 一种基于视频的火情监测方法和装置
CN117152670A (zh) 一种基于人工智能的行为识别方法及系统
CN114627534B (zh) 活体判别方法及电子设备、存储介质
JP7337541B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant