CN109544535A - 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 - Google Patents
一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 Download PDFInfo
- Publication number
- CN109544535A CN109544535A CN201811418680.3A CN201811418680A CN109544535A CN 109544535 A CN109544535 A CN 109544535A CN 201811418680 A CN201811418680 A CN 201811418680A CN 109544535 A CN109544535 A CN 109544535A
- Authority
- CN
- China
- Prior art keywords
- image
- connected region
- infrared
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统,其包括图像采集单元,用于利用带红外夜视功能的摄像机采集图像;图像处理单元,用于通过形态学预处理方式获取提高信噪比后的图像;图像标记单元,用于通过Two‑Pass算法对图像进行连通区域的标记;分析计算单元,用于获取连通区域对应的真实目标及虚警;图像判定单元,用于判定连通区域对应的目标是否为真实目标。本发明通过带红外夜视功能的摄像机作为数据采集装置,利用图像处理获取待检测图像,再通过Two‑Pass算法对图像进行连通区域的标记,从而获取真实目标及虚警,最后对真实目标进行判定自动确定场景中存在的窥视摄像头,从而实现自动化检测目标。
Description
技术领域
本发明涉及一种机器视觉检测技术领域,尤其是涉及一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统。
背景技术
红外光抑制是图像传感器必需的功能之一,这是因为CCD、CMOS对光的感应和人眼不同,人眼只能看到380-780nm的可见光,而CCD、CMOS则可以感应红外光和紫外光,尤其对红外光十分敏感,所以必须要将红外光加以抑制,并保持可见光的高透过,使CCD/COMS对光的感应接近于人的眼睛,从而使拍摄的图像也符合眼睛的感应。目前,解决该问题的方法是,通过在成像系统中加入红外截止滤光片,阻挡该部分干扰成像质量的红外光,可以使所成影像更加符合人眼的最佳感觉。
由于光电窥视设备体积小、隐藏深、不主动发光等特点,使得通过肉眼无法直接找出场景内的光电窥视目标,必须借助仪器来进行目标检测,然而,目前市场内已有的安防设备也均无法实现自动化检测场景内存在的窥视摄像头。此时红外截止滤镜对红外光的光学滤波特性为检测目标提供了一个很好的思路。当有红外光源对镜头照射时,因为红外截止滤光片(IRCF)的存在,会产生较强的反射现象,当可见光源对镜头照射时,摄像头反射现象减弱,而对其余反光目标则没有影响。于是,可以观察可见光、红外光照下,同一场景的亮度变化,大致确定场景内可疑目标的位置并滤除虚警,其中虚警为被误认的可疑目标。
发明内容
基于此,有必要针对现有技术的不足,提供一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统,利用摄像机作为数据采集装置采集图像,利用图像处理技术来自动确定场景中存在的窥视摄像头,从而实现自动化检测目标。
为解决上述技术问题,本发明所采用的技术方案是:一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其包括如下步骤:
(1)、利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3;
(2)、通过数学形态学预处理对第一红外图像及第二红外图像进行背景抑制,获得第一红外图像及第二红外图像背景抑制后的图像img2;
(3)、构造腐蚀膨胀模板,对图像img2进行先膨胀后腐蚀的二值形态学预处理操作,获取提高信噪比的图像img3;
(4)、通过最大熵阈值分割算法处理图像img3,获取二值图像img4,其中,最大熵阈值分割算法设定有阈值t,t为argmax所取得的值,其中,pi为灰度值为i的像素点在图像img3中出现的统计概率,根据公式img4=Threshold(img3,t),获取二值图像img4,Threshold(img3,t)表示将图像img3中的每个像素点灰度值与阈值t作比较,大于阈值t的图像img3中的像素点灰度值设为255,小于阈值t的图像img3中的像素点灰度值设为0,从而获得二值图像img4;
(5)、通过Two-Pass算法对图像img4进行连通区域的标记;
(6)、对连通区域的圆形度度量指标θ2、面积度量指标θ1、内外对比度度量指标θ3进行分析和计算,确定真实目标与虚警;
(7)、对于每个度量指标θ1、θ2及θ3,预设一个度量权重值ω1、ω2及ω3分别与θ1、θ2及θ3进行对应,根据公式判定连通区域对应的目标是否为虚警,其中,T1、T2、T3为各个度量指标的判定阈值;若存在度量指标不满足上述公式要求,则该连通区域对应的目标被判定为虚警;否则,进入到步骤(8);
(8)、综合每个度量指标θ1、θ2及θ3以及相对应的度量权重值ω1、ω2及ω3,根据公式T≥∑iωiθi进行综合判定,其中,T为综合判定阈值,若存在度量指标不满足T≥∑iωiθi要求,则该连通区域对应的目标被判定为虚警;否则,该连通区域对应的目标确定为真实目标。
在其中一个实施例中,还包括步骤(9):
a2、构造数据集,训练SVM分类器,其中,构造数据集为对图像I1中CCD摄像头真实目标对应的连通区域进行特征构造,数据集中第k个样本的特征为Xk=[HUki,θkj,avg1k,avg3k,Ck](i=1~7,j=1~3),其中HUki(i=1~7)为HU矩导出的7个不变矩、θkj(j=1,2,3)分别为第k个样本的3类度量指标、avg1k为图像I1中真实目标连通区域灰度均值、avg3k为图像img3中真实目标连通区域灰度均值、Ck为图像img3与图像img2中真实目标连通区域灰度均值比值;
b2、通过SVM分类器确定图像img4中的真实目标。
在其中一个实施例中,还包括步骤(10):采用NMS非极大值抑制方法对真实目标重叠的检测现象进行二次处理,确保同一区域的真实目标只被检测出一次,具体为,
a3、通过∑iωiθi计算所有连通区域对应的目标得分,并将所有目标的得分进行排序,选中最高分的目标及其对应的框;
b3、遍历其余目标对应的框,如果其余目标中存在第一目标对应的框和当前最高分的目标对应的框的重叠面积(IOU)大于一定阈值,就删除第一目标及其对应的框;
c3、从未处理的连通区域对应的目标中继续选一个得分最高的目标,重复步骤a3及b3,完成对连通区域对应的真实目标的检测。
在其中一个实施例中,所述步骤(5)中通过Two-Pass算法对图像img4进行连通区域的标记的方法具体包括如下步骤:
(5.1)、第一次扫描:访问当前像素P(x,y),若P(x,y)>0,则判断P(x,y)的四邻域中像素值;具体地,
a、P(x,y)的四邻域中所有像素值均为0,则赋予P(x,y)一个新的标号Lable,Label+= 1;
b、P(x,y)的四邻域中有像素值大于1的像素点Neighbors:
1)先将Neighbors中的像素值排序,令P(x,y)=min{Neighbors};
2)记录Neighbors中各个标号Label之间的相等关系,拥有相同的标号像素点属于同一个连通区域。
(5.2)、第二次扫描:访问当前像素P(x,y),若P(x,y)>1,找到与Label=P(x,y)同属相等关系的一个最小的Label值,然后将最小的Label值赋给P(x,y)。
(5.3)、扫描完成后,图像img4中具有相同Label值的像素点组成了同一连通区域。
在其中一个实施例中,所述步骤(6)中对连通区域的圆形度度量指标进行分析和计算的方法,具体步骤如下:
提取连通区域的边缘点然后对边缘像素点采用最小二乘法椭圆拟合方法,具体地,ax2+bxy+cy2+dx+ey=1,a=[a,b,c,d,e]T,x=[x2,xy,y2,x,y]T,x、y分别为连通区域的边缘像素点的横坐标及纵坐标,那么最小二乘法的最优化问题为min||Da||2,s.t.b2-4ac=-1,D是连通区域的所有边缘像素点的矩阵表示形式,D=[x0,x1,x2...,xn]T,其中xi(i=0...n)通过由公式x=[x2,xy,y2,x,y]T进行计算,i为虚警边缘点的下标;
获得最小二乘法椭圆拟合的方程解a=[a,b,c,d,e]T后,计算拟合残差MSE=||Xβ-Y||2作为连通区域的圆形度度量指标θ2,其中,X为连通区域的边缘点横坐标组成的向量[x0,x1,x2...,xn]T,Y为连通区域的边缘点纵坐标组成的向量[y0,y1,y2...,yn]T,β为公式MSE=||Xβ-Y||2的解析解参数。
在其中一个实施例中,所述步骤(6)中对连通区域的面积度量指标进行分析和计算的方法,具体步骤如下:
统计二值图像img4中连通区域像素点个数的方式计算连通区域的面积Size=∑(x,y)I(img4(x,y)==255),其中,img4(x,y)表示在图像img4中坐标为(x,y)的像素点的灰度值,令img4(x,y)==255定义为EQ,I(EQ)表示当EQ成立时,I(EQ)值为1,否则为0,故Size表示连通区域灰度值为255的像素点个数,Size为面积度量指标θ1。
在其中一个实施例中,所述步骤(6)中对连通区域内外对比度度量指标进行分析和计算的方法,具体步骤如下:
A2、获取连通区域的最小外接矩形,将最小外接矩形的宽边长度作为CCD镜头的直径估计值,以确定CCD镜头对应的圆形区域;
B2、将A2中获取CCD镜头的直径向外侧扩大一半,得到CCD镜头的外围玻璃的直径估计值,获得CCD镜头的外围玻璃对应圆形区域后,去掉与步骤A2中CCD镜头对应的圆形区域重叠的区域,得到CCD镜头的外围玻璃的实际覆盖区域;
C2、对连通区域进行一次遍历,统计CCD镜头对应的圆形区域的能量Eout及CCD镜头的外围玻璃的实际覆盖区域的能量Ein,以两者之间的比值作为内外对比度度量指标θ3,其中Eout=∑i∈out∑j∈outimg(i,j)2,Ein=∑i∈in∑j∈inimg(i,j)2,img(i,j)为坐标为(i,j)的像素点灰度值;
D2、反复执行步骤A2~C2,直至所有连通区域全部计算完毕。
一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,其包括
图像采集单元,用于利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3;
图像处理单元,用于通过形态学预处理方式获取图像img2、图像img3及图像img4;
图像标记单元,用于通过Two-Pass算法对图像img4进行连通区域的标记;
分析计算单元,用于获取连通区域对应的真实目标及虚警;
图像判定单元,用于判定连通区域对应的目标是否为真实目标。
在其中一个实施例中,还包括SVM分类器单元,用于进一步确定图像img4中的真实目标。
在其中一个实施例中,还包括NMS非极大值抑制单元,用于进一步对连通区域对应的真实目标进行检测。
综上所述,本发明基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统通过带红外夜视功能的摄像机作为数据采集装置,利用图像处理获取待检测图像,再通过Two-Pass算法对图像进行连通区域的标记,从而获取真实目标及虚警,最后对真实目标进行判定自动确定场景中存在的窥视摄像头,从而实现自动化检测目标。
附图说明
图1为本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法的流程示意图;
图2为本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统的结构示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能,下面结合附图与具体实施方式对本发明作进一步详细描述。
如图1所示,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,包括以下步骤:
(1)、利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3,其中,自然图像I1为摄像机关闭红外夜视功能后在自然光照射下采集的的场景图,第一红外图像I2为摄像机开启红外夜视功能后在红外光照度为val1下采集的的红外图像,第二红外图像I3为摄像机开启红外夜视功能后在红外光照度为val2下采集的的红外图像,其中,红外光照度val1、val2为预设值,val2>val1。
(2)、通过数学形态学预处理对第一红外图像及第二红外图像进行背景抑制,获得第一红外图像及第二红外图像背景抑制后的图像img2;其中,img2(x,y)=I3(x,y)-I2(x,y),其中I2、I3分别为红外光照度val1和红外光照度val2下的红外图像,I2(x,y)为图像I2在(x,y)处的灰度值,I3(x,y)为图像I3在(x,y)处的灰度值,img2(x,y)为图像img2在(x,y)处的灰度值。
(3)、构造腐蚀膨胀模板,对图像img2进行先膨胀后腐蚀的二值形态学预处理操作,获取提高信噪比的图像img3,其中,img3(x1,y1)=Morph(img2(x1,y1)),Morph表示为相应的形态学预处理操作,将腐蚀的结构元素及膨胀的结构元素对图像img2进行处理,腐蚀的结构元素设定为实心圆形状,将膨胀的结构元素设定为圆环状,其中实心圆的半径设定为15个像素长度,圆环的内径设定为15个像素长度,圆环的外径设定为20个像素长度。
(4)、通过最大熵阈值分割算法处理图像img3,获取二值图像img4,其中,最大熵阈值分割算法设定有阈值t,t为argmax所取得的值,其中,pi为灰度值为i的像素点在图像img3中出现的统计概率,根据公式img4=Threshold(img3,t),获取二值图像img4,Threshold(img3,t)表示将图像img3中的每个像素点灰度值与阈值t作比较,大于阈值t的图像img3中的像素点灰度值设为255,小于阈值t的图像img3中的像素点灰度值设为0,从而获得二值图像img4。
由于熵表示信号所携带的信息量,故当熵最大时熵图像中所表现的信息量是最大的,因此由最大熵阈值分割算法对于小目标阈值分割得到的结果总是较为准确的。
(5)、通过Two-Pass算法对图像img4进行连通区域的标记,其中,通过Two-Pass算法对图像img4进行连通区域的标记的方法具体包括如下步骤,
(5.1)、第一次扫描:访问当前像素P(x,y),若P(x,y)>0,则判断P(x,y)的四邻域中像素值;具体地,
a、P(x,y)的四邻域中所有像素值均为0,则赋予P(x,y)一个新的标号Lable,Label+=1;
b、P(x,y)的四邻域中有像素值大于1的像素点Neighbors:
1)先将Neighbors中的像素值排序,令P(x,y)=min{Neighbors};
2)记录Neighbors中各个标号Label之间的相等关系,拥有相同的标号像素点属于同一个连通区域。
(5.2)、第二次扫描:访问当前像素P(x,y),若P(x,y)>1,找到与Label=P(x,y)同属相等关系的一个最小的Label值,然后将最小的Label值赋给P(x,y)。
(5.3)、扫描完成后,图像img4中具有相同Label值的像素点组成了同一连通区域。
(6)、对连通区域的圆形度度量指标θ2、面积度量指标θ1、内外对比度度量指标θ3进行分析和计算,确定真实目标与虚警;其中,通过观察发现,由于CCD镜头需要透光成像,一般呈蓝色,然而,CCD镜头周围的一圈玻璃是不需要透光的,一般呈黑色,两者在图像I1当中的对比度明显,故需要对内外对比度度量指标进行分析和计算。
在本实施例中,对连通区域的圆形度度量指标进行分析和计算的方法,具体步骤如下:
提取连通区域的边缘点然后对边缘像素点采用最小二乘法椭圆拟合方法,具体地,ax2+bxy+cy2+dx+ey=1,a=[a,b,c,d,e]T,x=[x2,xy,y2,x,y]T,x、y分别为连通区域的边缘像素点的横坐标及纵坐标,那么最小二乘法的最优化问题为min||Da||2,s.t.b2-4ac=-1,D是连通区域的所有边缘像素点的矩阵表示形式,D=[x0,x1,x2...,xn]T,其中xi(i=0...n)通过由公式x=[x2,xy,y2,x,y]T进行计算,i为虚警边缘点的下标;
获得最小二乘法椭圆拟合的方程解a=[a,b,c,d,e]T后,计算拟合残差MSE=||Xβ-Y||2作为连通区域的圆形度度量指标θ2,其中,X为连通区域的边缘点横坐标组成的向量[x0,x1,x2,...,xn]T,Y为连通区域的边缘点纵坐标组成的向量[y0,y1,y2…,yn]T,β为公式MSE=||Xβ-Y||2的解析解参数。
在本实施例中,对连通区域的面积度量指标进行分析和计算的方法,具体步骤如下:
统计二值图像img4中连通区域像素点个数的方式计算连通区域的面积Size=∑(x,y)I(img4(x,y)==255),其中,img4(x,y)表示在图像img4中坐标为(x,j)的像素点的灰度值,令img4(x,y)==255定义为EQ,I(EQ)表示当EQ成立时,I(EQ)值为1,否则为0,故Size表示连通区域灰度值为255的像素点个数,Size为面积度量指标θ1,具体地,
A1、建立一个哈希表,哈希表的键值为每个连通区域对应的标识号;
B1、对连通区域进行一次遍历,当像素值为255时,统计值加1,遍历结束后,将统计值存入哈希表;
C1、反复执行步骤B1,直至所有连通区域全部计算完毕;
D1、将统计值结果作为面积度量指标θ1。
在本实施例中,对连通区域内外对比度度量指标进行分析和计算的方法,具体步骤如下:
A2、获取连通区域的最小外接矩形,将最小外接矩形的宽边长度作为CCD镜头的直径估计值,以确定CCD镜头对应的圆形区域;
B2、将A2中获取CCD镜头的直径向外侧扩大一半,得到CCD镜头的外围玻璃的直径估计值,获得CCD镜头的外围玻璃对应圆形区域后,去掉与步骤A2中CCD镜头对应的圆形区域重叠的区域,得到CCD镜头的外围玻璃的实际覆盖区域;
C2、对连通区域进行一次遍历,统计CCD镜头对应的圆形区域的能量Eout及CCD镜头的外围玻璃的实际覆盖区域的能量Ein,以两者之间的比值作为内外对比度度量指标θ3,其中Eout=∑i∈out∑j∈outimg(i,j)2,Ein=∑i∈in∑j∈inimg(i,j)2,img(i,j)为坐标为(i,j)的像素点灰度值。
D2、反复执行步骤A2~C2,直至所有连通区域全部计算完毕。
(7)、对于每个度量指标θ1、θ2及θ3,预设一个度量权重值ω1、ω2及ω3分别与θ1、θ2及θ3进行对应,根据公式判定连通区域对应的目标是否为虚警,其中,T1、T2、T3为各个度量指标的判定阈值;若存在度量指标不满足上述公式要求,则该连通区域对应的目标被判定为虚警;否则,进入到步骤(8)。
(8)、综合每个度量指标θ1、θ2及θ3以及相对应的度量权重值ω1、ω2及ω3,根据公式T≥∑iωiθi进行综合判定,其中,T为综合判定阈值,若存在度量指标不满足T≥∑iωiθi要求,则该连通区域对应的目标被判定为虚警;否则,该连通区域对应的目标确定为真实目标。
在其中一个实施例中,为保证场景图I1中存在与真实目标特征极为相似的虚警能准确剔除,获得特定条件下的虚警,其中特定条件包括边缘光线聚集、角点光线聚集、金属反射等,当特定条件为边缘光线聚集时,获得特定条件下的虚警的判定方法,具体步骤如下:
a1、获取以连通区域对应的目标为中心的50*50像素的图像块i1;
b1、通过Canny算子提取图像块i1中的强边缘图像i2;
c1、使用Hough变换提取图像i2中的直线边缘,对直线边缘作最小二乘法拟合,计算直线边缘对应的直线方程Linei(i=1,2,3...),设定拟合多项式为,y=a0+a1x+K+akxk,其中,y表示位于直线上像素点的纵坐标,x表示位于直线上像素点的横坐标,K表示最高次数,在本实施例中,由于最小二乘法拟合的是直线,故次数K取值为1;
获得最小二乘法拟合的直线的偏差平方和为对等式右边的ai{i=0,1,...,k}求偏导,得到经过化简并写成矩阵形式,可以得到,采用LU分解(LU Decomposition),即可得到相应的系数解,根据公式计算目标距离直线Linei(i=1,2,3...)的垂直距离Disi(i=1,2,3...),其中,目标点坐标为(x0,y0),直线方程为y=Ax+By+C,如则判定目标属于该特定条件下的虚警。
当特定条件为角点光线聚集时,获得特定条件下的虚警的判定方法,具体步骤如下:
以连通区域对应的目标位置为中心,将目标所在的图像小块分为四个区域部分Pi(i=1,2,3,4),计算每个区域部分的灰度均值P_avgi(i=1,2,3,4),根据公式J=|(var(P1)+var(P2))-(var(P3)+var(P4))|判定计算4个区域部份的相似程度,并设定判定阈值T0,其中,var(.)表示方差,如连通区域为真实目标,4个区域部份的相似程度应较小,即J值较大。
当特定条件为金属反射时,获得特定条件下的虚警的判定方法,具体步骤如下:由于金属材质的物体对于光线存在反射现象,故可能产生虚警,对于该类虚警,直接计算图像I1中目标区域的灰度均值,由于金属材质的灰度值不会太低,故通过简单设定灰度阈值来滤除该类虚警。
在其中一个实施例中,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法还包括步骤(9),具体为:
a2、构造数据集,训练SVM分类器,其中,构造数据集为对图像I1中CCD摄像头真实目标对应的连通区域进行特征构造,数据集中第k个样本的特征为Xk=[HUki,θkj,avg1k,avg3k,Ck](i=1~7,j=1~3),其中HUki(i=1~7)为HU矩导出的7个不变矩、θkj(j=1,2,3)分别为第k个样本的3类度量指标、avg1k为图像I1中真实目标连通区域灰度均值、avg3k为图像img3中真实目标连通区域灰度均值、Ck为图像img3与图像img2中真实目标连通区域灰度均值比值。
b2、通过SVM分类器确定图像img4中的真实目标;对于SVM的参数选择,在本实施例中选择高斯核函数为SVM的核函数,通过对比度调节、图像镜像等方式构造和扩充样本数据集训练SVM分类器,在随机划分的训练集和测试集上,SVM在训练集上的准确率达82.2%,在测试集上的准确率达84.8%。
在其中一个实施例中,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法还包括步骤(10):采用NMS非极大值抑制方法对真实目标重叠的检测现象进行二次处理,确保同一区域的真实目标只被检测出一次,具体为,
a3、通过∑iωiθi计算所有连通区域对应的目标得分,并将所有目标的得分进行排序,选中最高分的目标及其对应的框;
b3、遍历其余目标对应的框,如果其余目标中存在第一目标对应的框和当前最高分的目标对应的框的重叠面积(IOU)大于一定阈值,就删除第一目标及其对应的框;
c3、从未处理的连通区域对应的目标中继续选一个得分最高的目标,重复步骤a3及b3,完成对连通区域对应的真实目标的检测。
如图2所示,根据上述本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,本发明提供了一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,应用本发明基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,采用带红外夜视功能的摄像机作为数据采集装置,利用图像处理、模式识别的手段自动检测场景内存在的光电窥视真实目标,可以用于隐私保护、反侦察等应用领域;与市场中存在的检测设备相比,本系统实现了窥视摄像头的自动化检测,在安防领域具有较高的应用价值。
本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,包括:
图像采集单元,用于利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3;
图像处理单元,用于通过形态学预处理方式获取图像img2、图像img3及图像img4;
图像标记单元,用于通过Two-Pass算法对图像img4进行连通区域的标记;
分析计算单元,用于获取连通区域对应的真实目标及虚警;
图像判定单元,用于判定连通区域对应的目标是否为真实目标。
在其中一个实施例中,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,还包括SVM分类器单元,用于进一步确定图像img4中的真实目标。
在其中一个实施例中,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,还包括NMS非极大值抑制单元,用于进一步对连通区域对应的真实目标进行检测。
综上所述,本发明一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统通过带红外夜视功能的摄像机作为数据采集装置,利用图像处理获取待检测图像,再通过Two-Pass算法对图像进行连通区域的标记,从而获取真实目标及虚警,最后对真实目标进行判定自动确定场景中存在的窥视摄像头,从而实现自动化检测目标。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,包括如下步骤:
(1)、利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3;
(2)、通过数学形态学预处理对第一红外图像及第二红外图像进行背景抑制,获得第一红外图像及第二红外图像背景抑制后的图像img2;
(3)、构造腐蚀膨胀模板,对图像img2进行先膨胀后腐蚀的二值形态学预处理操作,获取提高信噪比的图像img3;
(4)、通过最大熵阈值分割算法处理图像img3,获取二值图像img4,其中,最大熵阈值分割算法设定有阈值t,t为argmax所取得的值,其中,pi为灰度值为i的像素点在图像img3中出现的统计概率,根据公式img4=Threshold(img3,t),获取二值图像img4,Threshold(img3,t)表示将图像img3中的每个像素点灰度值与阈值t作比较,大于阈值t的图像img3中的像素点灰度值设为255,小于阈值t的图像img3中的像素点灰度值设为0,从而获得二值图像img4;
(5)、通过Two-Pass算法对图像img4进行连通区域的标记;
(6)、对连通区域的圆形度度量指标θ2、面积度量指标θ1、内外对比度度量指标θ3进行分析和计算,确定真实目标与虚警;
(7)、对于每个度量指标θ1、θ2及θ3,预设一个度量权重值ω1、ω2及ω3分别与θ1、θ2及θ3进行对应,根据公式判定连通区域对应的目标是否为虚警,其中,T1、T2、T3为各个度量指标的判定阈值;若存在度量指标不满足上述公式要求,则该连通区域对应的目标被判定为虚警;否则,进入到步骤(8);
(8)、综合每个度量指标θ1、θ2及θ3以及相对应的度量权重值ω1、ω2及ω3,根据公式T≥∑iωiθi进行综合判定,其中,T为综合判定阈值,若存在度量指标不满足T≥∑iωiθi要求,则该连通区域对应的目标被判定为虚警;否则,该连通区域对应的目标确定为真实目标。
2.根据权利要求1所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,还包括步骤(9):
a2、构造数据集,训练SVM分类器,其中,构造数据集为对图像I1中CCD摄像头真实目标对应的连通区域进行特征构造,数据集中第k个样本的特征为Xk=[HUki,θkj,avg1k,avg3k,Ck](i=1~7,j=1~3),其中HUki(i=1~7)为HU矩导出的7个不变矩、θkj(j=1,2,3)分别为第k个样本的3类度量指标、avg1k为图像I1中真实目标连通区域灰度均值、avg3k为图像img3中真实目标连通区域灰度均值、Ck为图像img3与图像img2中真实目标连通区域灰度均值比值;
b2、通过SVM分类器确定图像img4中的真实目标。
3.根据权利要求1或2所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,还包括步骤(10):采用NMS非极大值抑制方法对真实目标重叠的检测现象进行二次处理,确保同一区域的真实目标只被检测出一次,具体为,
a3、通过∑iωiθi计算所有连通区域对应的目标得分,并将所有目标的得分进行排序,选中最高分的目标及其对应的框;
b3、遍历其余目标对应的框,如果其余目标中存在第一目标对应的框和当前最高分的目标对应的框的重叠面积(IOU)大于一定阈值,就删除第一目标及其对应的框;
c3、从未处理的连通区域对应的目标中继续选一个得分最高的目标,重复步骤a3及b3,完成对连通区域对应的真实目标的检测。
4.根据权利要求1或2所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,所述步骤(5)中通过Two-Pass算法对图像img4进行连通区域的标记的方法具体包括如下步骤:
(5.1)、第一次扫描:访问当前像素P(x,y),若P(x,y)>0,则判断P(x,y)的四邻域中像素值;具体地,
a、P(x,y)的四邻域中所有像素值均为0,则赋予P(x,y)一个新的标号Lable,Label+=1;
b、P(x,y)的四邻域中有像素值大于1的像素点Neighbors:
1)先将Neighbors中的像素值排序,令P(x,y)=min{Neighbors};
2)记录Neighbors中各个标号Label之间的相等关系,拥有相同的标号像素点属于同一个连通区域。
(5.2)、第二次扫描:访问当前像素P(x,y),若P(x,y)>1,找到与Label=P(x,y)同属相等关系的一个最小的Label值,然后将最小的Label值赋给P(x,y)。
(5.3)、扫描完成后,图像img4中具有相同Label值的像素点组成了同一连通区域。
5.根据权利要求1或2所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,所述步骤(6)中对连通区域的圆形度度量指标进行分析和计算的方法,具体步骤如下:
提取连通区域的边缘点然后对边缘像素点采用最小二乘法椭圆拟合方法,具体地,ax2+bxy+cy2+dx+ey=1,a=[a,b,c,d,e]T,x=[x2,xy,y2,x,y]T,x、y分别为连通区域的边缘像素点的横坐标及纵坐标,那么最小二乘法的最优化问题为min||Da||2,s.t.b2-4ac=-1,D是连通区域的所有边缘像素点的矩阵表示形式,D=[x0,x1,x2...,xn]T,其中xi(i=0...n)通过由公式x=[x2,xy,y2,x,y]T进行计算,i为虚警边缘点的下标;
获得最小二乘法椭圆拟合的方程解a=[a,b,c,d,e]T后,计算拟合残差MSE=||Xβ-Y||2作为连通区域的圆形度度量指标θ2,其中,X为连通区域的边缘点横坐标组成的向量[x0,x1,x2...,xn]T,Y为连通区域的边缘点纵坐标组成的向量[y0,y1,y2...,yn]T,β为公式MSE=||Xβ-Y||2的解析解参数。
6.根据权利要求1或2所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,所述步骤(6)中对连通区域的面积度量指标进行分析和计算的方法,具体步骤如下:
统计二值图像img4中连通区域像素点个数的方式计算连通区域的面积Size=∑(x,y)I(img4(x,y)==255),其中,img4(x,y)表示在图像img4中坐标为(x,y)的像素点的灰度值,令img4(x,y)==255定义为EQ,I(EQ)表示当EQ成立时,I(EQ)值为1,否则为0,故Size表示连通区域灰度值为255的像素点个数,Size为面积度量指标θ1。
7.根据权利要求1或2所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法,其特征在于,所述步骤(6)中对连通区域内外对比度度量指标进行分析和计算的方法,具体步骤如下:
A2、获取连通区域的最小外接矩形,将最小外接矩形的宽边长度作为CCD镜头的直径估计值,以确定CCD镜头对应的圆形区域;
B2、将A2中获取CCD镜头的直径向外侧扩大一半,得到CCD镜头的外围玻璃的直径估计值,获得CCD镜头的外围玻璃对应圆形区域后,去掉与步骤A2中CCD镜头对应的圆形区域重叠的区域,得到CCD镜头的外围玻璃的实际覆盖区域;
C2、对连通区域进行一次遍历,统计CCD镜头对应的圆形区域的能量Eout及CCD镜头的外围玻璃的实际覆盖区域的能量Ein,以两者之间的比值作为内外对比度度量指标θ3,其中Eout=∑i∈out∑j∈outimg(i,j)2,Ein=∑i∈in∑j∈inimg(i,j)2,img(i,j)为坐标为(i,j)的像素点灰度值;
D2、反复执行步骤A2~C2,直至所有连通区域全部计算完毕。
8.一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,其特征在于:包括
图像采集单元,用于利用带红外夜视功能的摄像机采集图像,获取摄像机在日间工作模式下采集的自然图像I1以及在夜间工作模式下采集的第一红外图像I2及第二红外图像I3;
图像处理单元,用于通过形态学预处理方式获取图像img2、图像img3及图像img4;
图像标记单元,用于通过Two-Pass算法对图像img4进行连通区域的标记;
分析计算单元,用于获取连通区域对应的真实目标及虚警;
图像判定单元,用于判定连通区域对应的目标是否为真实目标。
9.根据权利要求8所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,其特征在于:还包括SVM分类器单元,用于进一步确定图像img4中的真实目标。
10.根据权利要求8所述的一种基于红外截止滤镜光学滤波特性的窥视摄像头检测系统,其特征在于:还包括NMS非极大值抑制单元,用于进一步对连通区域对应的真实目标进行检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811418680.3A CN109544535B (zh) | 2018-11-26 | 2018-11-26 | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811418680.3A CN109544535B (zh) | 2018-11-26 | 2018-11-26 | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544535A true CN109544535A (zh) | 2019-03-29 |
CN109544535B CN109544535B (zh) | 2022-06-24 |
Family
ID=65850233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811418680.3A Active CN109544535B (zh) | 2018-11-26 | 2018-11-26 | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109544535B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915605A (zh) * | 2020-08-20 | 2020-11-10 | 杭州东方通信软件技术有限公司 | 一种分光器的端口占用信息获取方法 |
CN114820801A (zh) * | 2022-07-01 | 2022-07-29 | 陕西仙电同圆信息科技有限公司 | 一种空间目标检测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5973315A (en) * | 1998-02-18 | 1999-10-26 | Litton Systems, Inc. | Multi-functional day/night observation, ranging, and sighting device with active optical target acquisition and method of its operation |
CN102201058A (zh) * | 2011-05-13 | 2011-09-28 | 北京航空航天大学 | 共孔径主被动成像系统的“猫眼”效应目标识别算法 |
CN104899866A (zh) * | 2015-05-05 | 2015-09-09 | 河南三联网络技术有限公司 | 一种智能化的红外小目标检测方法 |
CN105574855A (zh) * | 2015-12-10 | 2016-05-11 | 南京理工大学 | 云背景下基于模板滤波和虚警抑制的红外小目标检测方法 |
CN106127253A (zh) * | 2016-06-27 | 2016-11-16 | 北京航空航天大学 | 一种利用样本特征学习分类的红外弱小目标检测方法 |
CN106998422A (zh) * | 2016-01-26 | 2017-08-01 | 陈征 | 一种自动识别偷拍镜头的装置和方法 |
CN107392885A (zh) * | 2017-06-08 | 2017-11-24 | 江苏科技大学 | 一种基于视觉对比机制的红外弱小目标检测方法 |
CN108401563B (zh) * | 2015-05-28 | 2018-02-02 | 西北工业大学 | 基于多尺度均值滤波和显著性检测的红外小目标检测方法 |
KR20180051240A (ko) * | 2016-11-08 | 2018-05-16 | (주)오토정보통신 | 도촬카메라 탐지장치 및 탐지방법 |
CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
KR101918855B1 (ko) * | 2017-06-30 | 2018-11-14 | 선문대학교 산학협력단 | 몰래 카메라 감지 장치 |
-
2018
- 2018-11-26 CN CN201811418680.3A patent/CN109544535B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5973315A (en) * | 1998-02-18 | 1999-10-26 | Litton Systems, Inc. | Multi-functional day/night observation, ranging, and sighting device with active optical target acquisition and method of its operation |
CN102201058A (zh) * | 2011-05-13 | 2011-09-28 | 北京航空航天大学 | 共孔径主被动成像系统的“猫眼”效应目标识别算法 |
CN104899866A (zh) * | 2015-05-05 | 2015-09-09 | 河南三联网络技术有限公司 | 一种智能化的红外小目标检测方法 |
CN108401563B (zh) * | 2015-05-28 | 2018-02-02 | 西北工业大学 | 基于多尺度均值滤波和显著性检测的红外小目标检测方法 |
CN105574855A (zh) * | 2015-12-10 | 2016-05-11 | 南京理工大学 | 云背景下基于模板滤波和虚警抑制的红外小目标检测方法 |
CN106998422A (zh) * | 2016-01-26 | 2017-08-01 | 陈征 | 一种自动识别偷拍镜头的装置和方法 |
CN106127253A (zh) * | 2016-06-27 | 2016-11-16 | 北京航空航天大学 | 一种利用样本特征学习分类的红外弱小目标检测方法 |
KR20180051240A (ko) * | 2016-11-08 | 2018-05-16 | (주)오토정보통신 | 도촬카메라 탐지장치 및 탐지방법 |
CN107392885A (zh) * | 2017-06-08 | 2017-11-24 | 江苏科技大学 | 一种基于视觉对比机制的红外弱小目标检测方法 |
KR101918855B1 (ko) * | 2017-06-30 | 2018-11-14 | 선문대학교 산학협력단 | 몰래 카메라 감지 장치 |
CN108198198A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于小波变换和导向滤波的单帧红外小目标检测方法 |
Non-Patent Citations (7)
Title |
---|
SHENGXIANG QI ET AL: "A Robust Directional Saliency-Based Method for Infrared Small-Target Detection Under Various Complex Backgrounds", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
YANGUANG BI ET AL: "Multiple Feature Analysis for Infrared Small Target Detection", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
丁春云等: "基于视觉注意机制的红外小目标检测算法", 《华中科技大学学报(自然科学版)》 * |
夏良正等: "《数字图像处理》", 30 September 1999, 东南大学出版社 * |
薛笑荣: "一种快速的SAR图像目标识别方法", 《地球资源环境定量化理论与应用——2009年全国数学地球科学与地学信息学术会议论文集》 * |
钱锋: "隐蔽光电目标的激光主动探测识别技术研究", 《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》 * |
陈慧岩等: "《智能车辆理论与应用》", 31 July 2018 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915605A (zh) * | 2020-08-20 | 2020-11-10 | 杭州东方通信软件技术有限公司 | 一种分光器的端口占用信息获取方法 |
CN114820801A (zh) * | 2022-07-01 | 2022-07-29 | 陕西仙电同圆信息科技有限公司 | 一种空间目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109544535B (zh) | 2022-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11221107B2 (en) | Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing | |
EP1229493B1 (en) | Multi-mode digital image processing method for detecting eyes | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN110298297B (zh) | 火焰识别方法和装置 | |
EP1229734A1 (en) | Automatic colour defect correction | |
CN100373397C (zh) | 一种虹膜图像预处理方法 | |
CN105590109B (zh) | 一种虹膜识别预处理方法和装置 | |
JPH0944685A (ja) | 顔画像処理装置 | |
CN103077386A (zh) | 一种级联的视频流虹膜图像质量检测方法 | |
CN107273812B (zh) | 一种用于身份认证的活体虹膜防伪方法 | |
WO2018142388A1 (en) | A method for pupil detection for cognitive monitoring, analysis, and biofeedback-based treatment and training | |
CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN107895157B (zh) | 一种低分辨率图像虹膜中心精确定位的方法 | |
CN105426843A (zh) | 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法 | |
CN108765406A (zh) | 一种基于红外遥感图像的雪山检测方法 | |
CN108133488A (zh) | 一种红外图像前景检测方法及设备 | |
CN111079688A (zh) | 一种人脸识别中的基于红外图像的活体检测的方法 | |
CN109190455A (zh) | 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 | |
CN109544535A (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
CN109166111A (zh) | 一种电子墨水屏缺陷检测方法及系统 | |
CN116823694B (zh) | 基于多聚焦信息整合的红外与可见光图像融合方法及系统 | |
CN109815784A (zh) | 一种基于红外热像仪的智能分类方法、系统及存储介质 | |
CN110516538B (zh) | 基于深度学习目标检测的监狱双人离岗违规评估方法 | |
Maheen et al. | Machine learning algorithm for fire detection using color correlogram | |
CN115984230A (zh) | 铝箔封口质量检测方法、计算机装置、产品及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |