CN113422928B - 一种安全监控抓拍方法及系统 - Google Patents

一种安全监控抓拍方法及系统 Download PDF

Info

Publication number
CN113422928B
CN113422928B CN202110594956.9A CN202110594956A CN113422928B CN 113422928 B CN113422928 B CN 113422928B CN 202110594956 A CN202110594956 A CN 202110594956A CN 113422928 B CN113422928 B CN 113422928B
Authority
CN
China
Prior art keywords
matrix
data
frame
illumination
night
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110594956.9A
Other languages
English (en)
Other versions
CN113422928A (zh
Inventor
陆洪超
杜达康
范锦才
覃义邱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Chengzhixin Information Technology Co ltd
Original Assignee
Foshan Chengzhixin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Chengzhixin Information Technology Co ltd filed Critical Foshan Chengzhixin Information Technology Co ltd
Priority to CN202110594956.9A priority Critical patent/CN113422928B/zh
Publication of CN113422928A publication Critical patent/CN113422928A/zh
Application granted granted Critical
Publication of CN113422928B publication Critical patent/CN113422928B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种安全监控抓拍方法及系统，以在有光照的情况下抓拍的图像与没有光照的情况下抓拍的图像计算得出日间数据与夜间数据的照明差值矩阵，以照明差值矩阵对夜间抓拍的图像的数据进行处理以去除光照对夜间图像的干扰，以提高夜间监控的图像识别的准确率。

Description

一种安全监控抓拍方法及系统
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种安全监控抓拍方法及系统。
背景技术
随着视频安全监控技术的不断发展，视频监控安防系统已经广泛应用于各住宅、小区、大厦等建筑物中。在监控场景中，楼梯间内的安全监控抓拍通常要求摄像头能精准捕捉并识别出抓拍的行人图像。但是，由于楼梯间内的光照比较不足，摄像头的抓拍识别能力由此减弱；同时，白天较强的光照夜与夜间光照不足的情况有巨大差异，白天拍摄的图像和夜间的图像难以统一识别，不利于安防工作。夜间的人像抓拍工作需要对日间与夜间的图像差距进行整合。由此可见，一种能去除日间与夜间图像感染差距的技术十分迫切。因此，现有的安全抓拍技术不足以对夜间的图像进行处理，业界急需一种可以去除夜间抓拍的图片中由于缺乏光照而产生的与日间拍摄的图片的干扰的技术。
发明内容
本公开提供一种安全监控抓拍方法及系统，以在有光照的情况下抓拍的图像与没有光照的情况下抓拍的图像计算得出日间数据与夜间数据的照明差值矩阵，以照明差值矩阵对夜间抓拍的图像的数据进行处理以去除光照对夜间图像的干扰，以提高夜间监控的图像识别的准确率。
为了实现上述目的，根据本公开的一方面，提供一种安全监控抓拍方法及系统，所述方法包括以下步骤：
步骤1，在建筑物的楼梯间内设置多个不同位置的红外线摄像头；
步骤2，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据；
步骤3，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据；
步骤4，将采集到的日间数据和夜间数据上传到后端服务器进行存储；
步骤5，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵；
步骤6，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像；
步骤7，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧。
进一步地，在步骤1中，在建筑物的楼梯间内设置多个不同位置的红外线摄像头的方法为：在建筑物的楼梯间内的每两层楼的楼梯的交接的台阶处，于台阶墙壁的左边墙角或右边墙角上安装红外线摄像头，红外摄像头对地面的夹角应成非直角，所述红外摄像头与楼梯间内的照明设备的电源开关连接。
进一步地，在步骤2中，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据的方法为：当楼梯间内的照明设备的电源开关为打开时(所述照明设备指楼梯间的白炽灯或灯管)，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像进行灰度化和归一化处理得到的所有帧作为帧集合，该帧集合为日间数据。
进一步地，在步骤3中，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据的方法为：当楼梯间内的照明设备的电源开关为关闭时，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像使用前景提取算法PBAS(论文参见：Hofmann M,Tiefenbacher P,Rigoll G.Background segmentation withfeedback:The Pixel-Based Adaptive Segmenter[C]//Computer Vision&PatternRecognition Workshops.IEEE,2012.)并通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化处理得到的所有帧作为帧集合，该帧集合为夜间数据。
进一步地，在步骤4中，将采集到的日间数据和夜间数据上传到后端服务器进行存储，方法为：将所述日间数据和夜间数据通过无线网络传输到后端的服务器的数据仓库中进行存储。
进一步地，在步骤5中，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵，具体方法为：令日间数据的帧集合、夜间数据的帧集合中的各帧表示为矩阵，提取各矩阵中各个像素与该矩阵中的其他像素的像素特征关联性，所述像素特征关联性是由该矩阵中像素点所在行元素与其他各行元素的行对比值、和该矩阵中像素点所在列元素与其他各列元素的列对比值计算而得，分别通过日间数据中的帧和夜间数据中的帧以及数据中的帧的像素特征关联性和夜间数据中的帧的像素特征关联性结合进行计算，得到日间数据和夜间数据的照明差值矩阵，其中：
步骤5.1，令日间数据和夜间数据中的各帧的矩阵M表示为函数M(i,j)，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数,所述所有矩阵的大小统一进行归一化处理后为512×512、300×300、或218×218；
步骤5.2，计算M中各个像素与其他像素的像素特征关联性：令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的行对比值，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有c(j)＝{[M(1,j)×M(1,1)+M(2,j)×M(2,1)+…+M(n-1,j)×M(n-1,1)+M(n,j)×M(n,1)]+[M(1,j)×M(1,2)+M(2,j)×M(2,2)+…+M(n-1,j)×M(n-1,2)+M(n,j)×M(n,2)]+[M(1,j)×M(1,3)+M(2,j)×M(2,3)+…+M(n-1,j)×M(n-1,3)+M(n,j)×M(n,3)]+…+[M(1,j)×M(1,m-1)+M(2,j)×M(2,m-1)+…+M(n-1,j)×M(n-1,m-1)+M(n,j)×M(n,m-1)]+[M(1,j)×M(1,m)+M(2,j)×M(2,m)+…+M(n-1,j)×M(n-1,m)+M(n,j)×M(n,m)]-[M(1,j)2+M(2,j)2+…+M(n-1,j)2+M(n,j)2]}/{[n×(m-1)]×[M(1,j)2+M(2,j)2+…+M(n-1,j)2+M(n,j)2]},
并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的列对比值，有r(i)＝{[M(i,1)×M(2,1)+M(i,2)×M(2,2)+…+M(i,m-1)×M(2,m-1)+M(i,m)×M(2,m)]+[M(i,1)×M(3,1)+M(i,2)×M(3,2)+…+M(i,m-1)×M(3,m-1)+M(i,m)×M(3,m)]+…+[M(i,1)×M(n-1,1)+M(i,2)×M(n-1,2)+…+M(i,m-1)×M(n-1,m-1)+M(i,m)×M(n-1,m)]+[M(i,1)×M(n,1)+M(i,2)×M(n,2)+…+M(i,m-1)×M(n,m-1)+M(i,m)×M(n,m)]-[M(i,1)×M(i,1)+M(i,2)×M(i,2)+…+M(i,m-1)×M(i,m-1)+M(i,m)×M(i,m)]}/[m×(n-1)],以r(i)、c(j)分别衡量各行、列与其他行、列的特征对比关系，以此为图像的帧上特征的表示信息；
步骤5.3，提取M中各个像素与其他像素的像素特征关联性a，a(i,j)表示M的第i行第j列元素与整个矩阵的像素特征关联性，像素特征关联性a由行对比值r和列对比值c计算所得，其中，a(i,j)由第i行的行对比值r(i)和第j列的列对比值c(j)计算所得，
Figure BDA0003090781280000031
以此获得该帧的矩阵上M(i,j)与其他行元素与列元素的特征关系；
步骤5.4，设选取日间数据的任意一帧的矩阵为M2、选取的夜间数据任意一帧的矩阵为M3，根据步骤5.3所述，令a对矩阵M的转化函数为A()，则有
A(M2)＝{M2(i,j)*a(i,j)},μ＝A(M2),
A(M3)＝{M3(i,j)*a(i,j)},λ＝A(M3),分别以日间数据的帧M2进行转化函数A()的计算得到日间照明矩阵μ、以夜间数据的帧M3计算出夜间照明矩阵λ；
步骤5.5，令日间数据和夜间数据的照明差值矩阵为W，有
Figure BDA0003090781280000041
即W＝W(μ，λ)，W()记作根据日间照明矩阵、夜间照明矩阵计算照明差值矩阵为W的函数，由此得到日间数据与夜间数据在照明上的差值，表示为照明差值矩阵W。
进一步地，在步骤6中，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像，其方法为：在楼梯间内，在每天的下午6点至翌日上午6点时段即夜晚时段，当照明设备的电源开关不打开，红外线摄像头通过使用Cascade CNN行人检测算法对摄像头的监控的视频帧数据进行行人检测以在楼梯间内进行抓拍，将抓拍所得的图像通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化进行处理得到行人图像，记该行人图像的帧为矩阵Mt。
进一步地，在步骤7中，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧，方法为：对步骤6所得行人图像，利用当天采集的白天数据计算取得的照明差值矩阵，将行人图像去除当天的照明差值矩阵的平均值，由此在行人图像上去除光照因素的干扰，以提高夜间抓拍的图像的可辨识性，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧，其具体步骤为：
步骤7.1，在日间数据中按序号抽取任意帧记作集合Mμ＝{Mμ1,Mμ2,…,Mμ(l-1),Mμl}，记日间数据中元素的总量的为l，并在夜间数据中按序号抽取任意帧记作Mλ＝{Mλ1,Mλ2,…,Mλ(k-1),Mλk},记夜间数据中元素的总量的为k；
步骤7.2，按照步骤5所述方法，从日间数据中的Mμ计算得日间数据的所有的日间照明矩阵为集合A(Mμ)＝{A(Mμ1),A(Mμ2),…,A(Mμ(l-1)),A(Mμl)}，以表示日间的照明特征，
并从夜间数据的Mλ计算得到夜间数据的所有的夜间照明矩阵为集合A(Mλ)＝{A(Mλ1),A(Mλ2),…,A(Mλ(k-1)),A(Mλk)}，以表示夜间的照明特征；
步骤7.3，根据A(Mμ)和A(Mλ)计算照明差值矩阵，共有l×k组的照明差值矩阵W，W()为计算照明差值矩阵W的函数，W()为递归函数且可用于以下的矩阵运算，即
Figure BDA0003090781280000051
根据W(A(Mμ),A(Mλ))中l×k组的照明差值矩阵，求得到一天内各个照明差值矩阵的日常水平记为矩阵Mw，有
Figure BDA0003090781280000052
步骤7.4，在行人图像的帧的矩阵Mt中去除一天内各个照明差值矩阵的日常水平Mw，以此去除红外线摄像头抓拍的行人图像中当天的光照程度不同带来的偏差值，记Mt(i,j)为表示矩阵Mt中第i行第j列位置的像素点的数值、Mw(i,j)为表示矩阵Mw中第i行第j列位置的像素点的数值，计算
Figure BDA0003090781280000053
得到去除光照因素的干扰的行人图像的帧，作为去干扰帧P，所得干扰帧P用于输入人脸识别系统、安全监测视频系统或监控视频安全预警系统中以进行夜间的人脸识别，去除夜间的拍摄情况下的光照因素的干扰，提高识别出身份可疑人员的准确度。
本公开的有益效果为：本公开提供一种安全监控抓拍方法及系统，以在有光照的情况下抓拍的图像与没有光照的情况下抓拍的图像计算得出日间数据与夜间数据的照明差值矩阵，以照明差值矩阵对夜间抓拍的图像的数据进行处理以去除光照对夜间图像的干扰，以提高夜间监控的图像识别的准确率。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术目标来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种安全监控抓拍方法及系统的流程图；
图2所示为去干扰帧计算流程图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种安全监控抓拍方法及系统的流程图，下面结合图1来阐述根据本公开的实施方式的一种安全监控抓拍方法及系统。
本公开提出一种安全监控抓拍方法及系统，具体包括以下步骤：
步骤1，在建筑物的楼梯间内设置多个不同位置的红外线摄像头；
步骤2，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据；
步骤3，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据；
步骤4，将采集到的日间数据和夜间数据上传到后端服务器进行存储；
步骤5，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵；
步骤6，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像；
步骤7，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧。
进一步地，在步骤1中，在步骤1中，在建筑物的楼梯间内设置多个不同位置的红外线摄像头的方法为：在建筑物的楼梯间内的每两层楼的楼梯的交接的台阶处，于台阶墙壁的左边墙角或右边墙角上安装红外线摄像头，红外摄像头对地面的夹角应成非直角，所述红外摄像头与楼梯间内的照明设备的电源开关连接。
进一步地，在步骤2中，在步骤2中，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据的方法为：当楼梯间内的照明设备的电源开关为打开时(所述照明设备指楼梯间的白炽灯或灯管)，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像进行灰度化和归一化处理得到的所有帧作为帧集合，该帧集合为日间数据。
进一步地，在步骤3中，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据的方法为：当楼梯间内的照明设备的电源开关为关闭时，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像使用前景提取算法PBAS(论文参见：Hofmann M,Tiefenbacher P,Rigoll G.Background segmentation withfeedback:The Pixel-Based Adaptive Segmenter[C]//Computer Vision&PatternRecognition Workshops.IEEE,2012.)并通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化处理得到的所有帧作为帧集合，该帧集合为夜间数据。
进一步地，在步骤4中，将采集到的日间数据和夜间数据上传到后端服务器进行存储，方法为：将所述日间数据和夜间数据通过无线网络传输到后端的服务器的数据仓库中进行存储。
进一步地，在步骤5中，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵，具体方法为：令日间数据的帧集合、夜间数据的帧集合中的各帧表示为矩阵，提取各矩阵中各个像素与该矩阵中的其他像素的像素特征关联性，所述像素特征关联性是由该矩阵中像素点所在行元素与其他各行元素的行对比值、和该矩阵中像素点所在列元素与其他各列元素的列对比值计算而得，分别通过日间数据中的帧和夜间数据中的帧以及数据中的帧的像素特征关联性和夜间数据中的帧的像素特征关联性结合进行计算，得到日间数据和夜间数据的照明差值矩阵，其中：
步骤5.1，令日间数据和夜间数据中的各帧的矩阵M表示为函数M(i,j)，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数,所述所有矩阵的大小统一进行归一化处理后为512×512、300×300、或218×218；
步骤5.2，计算M中各个像素与其他像素的像素特征关联性，令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的行对比值，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有c(j)＝{[M(1,j)×M(1,1)+M(2,j)×M(2,1)+…+M(n-1,j)×M(n-1,1)+M(n,j)×M(n,1)]+[M(1,j)×M(1,2)+M(2,j)×M(2,2)+…+M(n-1,j)×M(n-1,2)+M(n,j)×M(n,2)]+[M(1,j)×M(1,3)+M(2,j)×M(2,3)+…+M(n-1,j)×M(n-1,3)+M(n,j)×M(n,3)]+…+[M(1,j)×M(1,m-1)+M(2,j)×M(2,m-1)+…+M(n-1,j)×M(n-1,m-1)+M(n,j)×M(n,m-1)]+[M(1,j)×M(1,m)+M(2,j)×M(2,m)+…+M(n-1,j)×M(n-1,m)+M(n,j)×M(n,m)]-[M(1,j)2+M(2,j)2+…+M(n-1,j)2+M(n,j)2]}/{[n×(m-1)]×[M(1,j)2+M(2,j)2+…+M(n-1,j)2+M(n,j)2]},
并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的列对比值，有r(i)＝{[M(i,1)×M(2,1)+M(i,2)×M(2,2)+…+M(i,m-1)×M(2,m-1)+M(i,m)×M(2,m)]+[M(i,1)×M(3,1)+M(i,2)×M(3,2)+…+M(i,m-1)×M(3,m-1)+M(i,m)×M(3,m)]+…+[M(i,1)×M(n-1,1)+M(i,2)×M(n-1,2)+…+M(i,m-1)×M(n-1,m-1)+M(i,m)×M(n-1,m)]+[M(i,1)×M(n,1)+M(i,2)×M(n,2)+…+M(i,m-1)×M(n,m-1)+M(i,m)×M(n,m)]-[M(i,1)×M(i,1)+M(i,2)×M(i,2)+…+M(i,m-1)×M(i,m-1)+M(i,m)×M(i,m)]}/[m×(n-1)],以r(i)、c(j)分别衡量各行、列与其他行、列的特征对比关系，以此为图像的帧上特征的表示信息；
步骤5.3，提取M中各个像素与其他像素的像素特征关联性a，a(i,j)表示M的第i行第j列元素与整个矩阵的像素特征关联性，像素特征关联性a由行对比值r和列对比值c计算所得，其中，a(i,j)由第i行的行对比值r(i)和第j列的列对比值c(j)计算所得，
Figure BDA0003090781280000082
以此获得该帧的矩阵上M(i,j)与其他行元素与列元素的特征关系；
步骤5.4，设选取日间数据的任意一帧的矩阵为M2、选取的夜间数据任意一帧的矩阵为M3，根据步骤5.3所述，令a对矩阵M的转化函数为A()，则有
A(M2)＝{M2(i,j)*a(i,j)},μ＝A(M2),
A(M3)＝{M3(i,j)*a(i,j)},λ＝A(M3),
分别以日间数据的帧M2进行转化函数A()的计算得到日间照明矩阵μ、以夜间数据的帧M3计算出夜间照明矩阵λ；
步骤5.5，令日间数据和夜间数据的照明差值矩阵为W，有
Figure BDA0003090781280000081
即W＝W(μ，λ)，W()记作根据日间照明矩阵、夜间照明矩阵计算照明差值矩阵为W的函数，由此得到日间数据与夜间数据在照明上的差值，表示为照明差值矩阵W。
进一步地，在步骤6中，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像，其方法为：在楼梯间内，在每天的下午6点至翌日上午6点时段即夜晚时段，当照明设备的电源开关不打开，红外线摄像头通过使用Cascade CNN行人检测算法对摄像头的监控的视频帧数据进行行人检测以在楼梯间内进行抓拍，将抓拍所得的图像通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化进行处理得到行人图像，记该行人图像的帧为矩阵Mt。
进一步地，在步骤7中，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧，方法为：对步骤6所得行人图像，利用当天采集的白天数据计算取得的照明差值矩阵，将行人图像去除当天的照明差值矩阵的平均值，由此在行人图像上去除光照因素的干扰，以提高夜间抓拍的图像的可辨识性，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧，其具体步骤为：
步骤7.1，在日间数据中按序号抽取任意帧记作集合Mμ＝{Mμ1,Mμ2,…,Mμ(l-1),Mμl}，记日间数据中元素的总量的为l，并在夜间数据中抽取任意帧记作Mλ＝{Mλ1,Mλ2,…,Mλ(k-1),Mλk},记夜间数据中元素的总量的为k；
步骤7.2，按照步骤5所述方法，从日间数据中的Mμ计算得日间数据的所有的日间照明矩阵为集合A(Mμ)＝{A(Mμ1),A(Mμ2),…,A(Mμ(l-1)),A(Mμl)}，以表示日间的照明特征，
并从夜间数据的Mλ计算得到夜间数据的所有的夜间照明矩阵为集合A(Mλ)＝{A(Mλ1),A(Mλ2),…,A(Mλ(k-1)),A(Mλk)}，以表示夜间的照明特征；
步骤7.3，根据A(Mμ)和A(Mλ)计算照明差值矩阵，共有l×k组的照明差值矩阵W，即
Figure BDA0003090781280000091
根据W(A(Mμ),A(Mλ))中l×k组的照明差值矩阵，求得到一天内各个照明差值矩阵的日常水平记为矩阵Mw，有
Figure BDA0003090781280000092
步骤7.4，在行人图像的帧的矩阵Mt中去除一天内各个照明差值矩阵的日常水平Mw，以此去除红外线摄像头抓拍的行人图像中当天的光照程度不同带来的偏差值，分别记Mt(i,j)为表示矩阵Mt中第i行第j列位置的像素点的数值、Mw(i,j)为表示矩阵Mw中第i行第j列位置的像素点的数值，进而计算
Figure BDA0003090781280000093
得到去除光照因素的干扰的行人图像的帧，作为去干扰帧P，输出该干扰帧P用于楼梯间内的安全监控系统，所得干扰帧P用于输入人脸识别系统、安全监测视频系统或监控视频安全预警系统中以进行夜间的人脸识别，去除夜间的拍摄情况下的光照因素的干扰，提高识别出身份可疑人员的准确度。
本公开提供一种安全监控抓拍方法及系统，以在有光照的情况下抓拍的图像与没有光照的情况下抓拍的图像计算得出日间数据与夜间数据的照明差值矩阵，以照明差值矩阵对夜间抓拍的图像的数据进行处理以去除光照对夜间图像的干扰，以提高夜间监控的图像识别的准确率。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (7)

1.一种安全监控抓拍方法，其特征在于，所述方法包括以下步骤：
步骤1，在建筑物的楼梯间内设置多个不同位置的红外线摄像头；
步骤2，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据；
步骤3，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据；
步骤4，将采集到的日间数据和夜间数据上传到后端服务器进行存储；
步骤5，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵；
步骤6，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像；
步骤7，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧；
其中，在步骤5中，将存储的日间数据和夜间数据进行计算，求出日间数据和夜间数据的照明差值矩阵，具体方法为：令日间数据的帧集合、夜间数据的帧集合中的各帧表示为矩阵，提取各矩阵中各个像素与该矩阵中的其他像素的像素特征关联性，所述像素特征关联性是由该矩阵中像素点所在行元素与其他各行元素的行对比值、和该矩阵中像素点所在列元素与其他各列元素的列对比值计算而得，分别通过日间数据中的帧和夜间数据中的帧以及数据中的帧的像素特征关联性和夜间数据中的帧的像素特征关联性结合进行计算，得到日间数据和夜间数据的照明差值矩阵，其中：
步骤5.1，令日间数据和夜间数据中的各帧的矩阵M表示为函数M(i,j)，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数,所有矩阵的大小统一进行归一化处理后为512×512、300×300、或218×218；
步骤5.2，计算M中各个像素与其他像素的像素特征关联性：令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的行对比值，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有：
Figure DEST_PATH_IMAGE001
并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的列对比值，有：
Figure DEST_PATH_IMAGE002
以r(i)、c(j)分别衡量各行、列与其他行、列的特征对比关系，以此为图像的帧上特征的表示信息；
步骤5.3，提取M中各个像素与其他像素的像素特征关联性a，a(i,j)表示M的第i行第j列元素与整个矩阵的像素特征关联性，像素特征关联性a由行对比值r和列对比值c计算所得，其中，a(i,j)由第i行的行对比值r(i)和第j列的列对比值c(j)计算所得，
Figure DEST_PATH_IMAGE003
，以此获得该帧的矩阵上M(i,j)与其他行元素与列元素的特征关系；
步骤5.4，设选取日间数据的任意一帧的矩阵为
Figure DEST_PATH_IMAGE004
、选取的夜间数据任意一帧的矩阵为
Figure DEST_PATH_IMAGE005
，根据步骤5.3所述，令a对矩阵M的转化函数为
Figure DEST_PATH_IMAGE006
，则有：
Figure DEST_PATH_IMAGE007
,
Figure DEST_PATH_IMAGE008
,
分别以日间数据的帧
Figure 220822DEST_PATH_IMAGE004
进行转化函数
Figure 606804DEST_PATH_IMAGE006
的计算得到日间照明矩阵μ、以夜间数据的帧
Figure 324224DEST_PATH_IMAGE005
计算出夜间照明矩阵λ；
步骤5.5，令日间数据和夜间数据的照明差值矩阵为W，
有
Figure DEST_PATH_IMAGE009
,即
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
记作根据日间照明矩阵、夜间照明矩阵计算照明差值矩阵为W的函数，由此得到日间数据与夜间数据在照明上的差值，表示为照明差值矩阵W。
2.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤1中，在建筑物的楼梯间内设置多个不同位置的红外线摄像头的方法为：在建筑物的楼梯间内的每两层楼的楼梯的交接的台阶处，于台阶墙壁的左边墙角或右边墙角上安装红外线摄像头，红外摄像头对地面的夹角应成非直角，所述红外摄像头与楼梯间内的照明设备的电源开关连接。
3.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤2中，红外线摄像头在照明设备打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为日间数据的方法为：当楼梯间内的照明设备的电源开关为打开时，所述照明设备，指楼梯间的白炽灯或灯管，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像通过灰度化和归一化的处理后得到的所有帧作为帧集合，该帧集合为日间数据。
4.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤3中，红外线摄像头在照明设备不打开的时段对其监控的楼梯间进行抓拍图像，采集抓拍图像为夜间数据的方法为：当楼梯间内的照明设备的电源开关为关闭时，令红外摄像头对楼梯间内的空间进行抓拍，抓拍所得的图像使用前景提取算法PBAS并通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化处理得到的所有帧作为帧集合，该帧集合为夜间数据。
5.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤4中，将采集到的日间数据和夜间数据上传到后端服务器进行存储，方法为：将所述日间数据和夜间数据通过无线网络传输到后端的服务器的数据仓库中进行存储。
6.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤6中，在照明设备不打开的夜晚，对楼梯间内的行人进行抓拍得到行人图像，其方法为：在楼梯间内，在每天的下午6点至翌日上午6点时段即夜晚时段，当照明设备的电源开关不打开，红外线摄像头通过使用Cascade CNN行人检测算法对摄像头的监控的视频帧数据进行行人检测以在楼梯间内进行抓拍，将抓拍所得的图像通过傅立叶算法、或小波变换算法转化成二维信号，进而使用高通滤波器将二维信号进行过滤后，再经过灰度化和归一化进行处理得到行人图像。
7.根据权利要求1所述的一种安全监控抓拍方法，其特征在于，在步骤7中，对行人图像进行去除照明差值矩阵的计算，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧，具体方法为：对步骤6所得行人图像，利用当天采集的白天数据计算取得的照明差值矩阵，将行人图像去除当天的照明差值矩阵的平均值，由此在行人图像上去除光照因素的干扰，以提高夜间抓拍的图像的可辨识性，得到去除光照因素的干扰的行人图像的帧，作为去干扰帧。
CN202110594956.9A 2021-05-28 2021-05-28 一种安全监控抓拍方法及系统 Active CN113422928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594956.9A CN113422928B (zh) 2021-05-28 2021-05-28 一种安全监控抓拍方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594956.9A CN113422928B (zh) 2021-05-28 2021-05-28 一种安全监控抓拍方法及系统

Publications (2)

Publication Number Publication Date
CN113422928A CN113422928A (zh) 2021-09-21
CN113422928B true CN113422928B (zh) 2022-02-18

Family

ID=77713250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594956.9A Active CN113422928B (zh) 2021-05-28 2021-05-28 一种安全监控抓拍方法及系统

Country Status (1)

Country Link
CN (1) CN113422928B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222265A (zh) * 2010-04-13 2011-10-19 上海申腾三盛信息技术工程有限公司 基于双目视觉和侧安装摄像机的客流计数方法
JP2012009983A (ja) * 2010-06-23 2012-01-12 Konica Minolta Opto Inc 画像入力装置
CN103068119A (zh) * 2012-12-12 2013-04-24 青岛联盟电子仪器有限公司 一种照明系统
CN106022319A (zh) * 2016-06-30 2016-10-12 联想(北京)有限公司 一种手势识别方法及手势识别系统
CN208849868U (zh) * 2018-10-19 2019-05-10 佛山市诚智鑫信息科技有限公司 一种基于人脸识别的摄像机
CN109792508A (zh) * 2016-09-29 2019-05-21 菲力尔系统公司 使用热成像分析法的故障安全检测
CN111680640A (zh) * 2020-06-11 2020-09-18 合肥工业大学 一种基于领域迁移的车型识别方法及系统
CN112292686A (zh) * 2018-07-10 2021-01-29 杭州他若定位科技有限公司 检测双波段红外光源以进行对象跟踪
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3969894B2 (ja) * 1999-05-24 2007-09-05 三菱電機株式会社 顔画像処理装置
JP4611069B2 (ja) * 2004-03-24 2011-01-12 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
WO2007139070A1 (ja) * 2006-05-29 2007-12-06 Panasonic Corporation 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
ES2625880T3 (es) * 2010-10-27 2017-07-20 Vaelsys Formación Y Desarrollo, S.L. Método y dispositivo de detección de cambio de iluminación para sistemas de visión

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222265A (zh) * 2010-04-13 2011-10-19 上海申腾三盛信息技术工程有限公司 基于双目视觉和侧安装摄像机的客流计数方法
JP2012009983A (ja) * 2010-06-23 2012-01-12 Konica Minolta Opto Inc 画像入力装置
CN103068119A (zh) * 2012-12-12 2013-04-24 青岛联盟电子仪器有限公司 一种照明系统
CN106022319A (zh) * 2016-06-30 2016-10-12 联想(北京)有限公司 一种手势识别方法及手势识别系统
CN109792508A (zh) * 2016-09-29 2019-05-21 菲力尔系统公司 使用热成像分析法的故障安全检测
CN112292686A (zh) * 2018-07-10 2021-01-29 杭州他若定位科技有限公司 检测双波段红外光源以进行对象跟踪
CN208849868U (zh) * 2018-10-19 2019-05-10 佛山市诚智鑫信息科技有限公司 一种基于人脸识别的摄像机
CN111680640A (zh) * 2020-06-11 2020-09-18 合肥工业大学 一种基于领域迁移的车型识别方法及系统
CN112669242A (zh) * 2021-03-16 2021-04-16 四川大学 基于改进图像增强算法与生成对抗网络的夜景复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《苹果采摘机器人夜间图像边缘保持的Retinex增强算法》;姬伟 等;《农业工程学报》;20160331;第189-194页 *

Also Published As

Publication number Publication date
CN113422928A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US8559670B2 (en) Moving object detection detection within a video stream using object texture
CN111163259A (zh) 一种图像抓拍方法、监控相机及监控系统
CN111860318A (zh) 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN101918989A (zh) 带有对象跟踪和检索的视频监控系统
CN111127508B (zh) 一种基于视频的目标跟踪方法及装置
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
JP5047382B2 (ja) ビデオ監視時に移動物体を分類するシステムおよび方法
US11756303B2 (en) Training of an object recognition neural network
CN115797346A (zh) 极耳状态检测方法、装置、计算机设备和存储介质
CN112270253A (zh) 一种高空抛物的检测方法及装置
CN105141923A (zh) 一种视频浓缩方法及装置
CN113422928B (zh) 一种安全监控抓拍方法及系统
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR20110104195A (ko) 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법
KR101459103B1 (ko) 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
Deepika et al. Motion detection in real-time video surveillance with movement frame capture and auto record
EP1245004B1 (en) Method, device and computer program for monitoring an area
CN113297949B (zh) 高空抛物检测方法、装置、计算机设备和存储介质
CN111102966A (zh) 自动采集设备状态的方法
US20230259549A1 (en) Extraction of feature point of object from image and image search system and method using same
CN115578664A (zh) 一种基于视频监控的应急事件判定方法及装置
CN110177256B (zh) 一种追踪视频数据获取方法和装置
Ahmed et al. Automated intruder detection from image sequences using minimum volume sets
CN109859200B (zh) 一种基于背景分析的低空慢速无人机快速检测方法
CN112767431A (zh) 一种用于电力系统的电网目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant