CN102496016A - 一种基于时空协同框架的红外目标检测方法 - Google Patents
一种基于时空协同框架的红外目标检测方法 Download PDFInfo
- Publication number
- CN102496016A CN102496016A CN2011103722222A CN201110372222A CN102496016A CN 102496016 A CN102496016 A CN 102496016A CN 2011103722222 A CN2011103722222 A CN 2011103722222A CN 201110372222 A CN201110372222 A CN 201110372222A CN 102496016 A CN102496016 A CN 102496016A
- Authority
- CN
- China
- Prior art keywords
- background
- space
- target
- expression
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于时空协同框架的红外目标检测方法，包括以下步骤：1，获取视频的背景帧Bg和当前帧F t ，并结合背景帧Bg和当前帧F t 进行背景杂波抑制，得到背景杂波抑制后的背景抑制图G t ；2，针对1中得到的背景抑制图G t 首先进行建立时空背景模型，然后针对建模后时空背景模型信息进行目标定位；3，依据红外目标的成像机制，分析红外目标与周围环绕背景的空间差异性，采用模糊自适应共振神经网络针对2已经定位的目标进行局部分类后提取红外目标。具有如下优点：不依赖于任何的目标形状和运动信息先验知识；适用于复杂的户外场景；提高信噪比；提高目标检测率降低计算量；能有效去除虚假目标，降低虚警率；有利于后续的目标识别。
Description
技术领域
本发明涉及一种红外目标检测方法，尤其是涉及一种基于时空协同框架的红外目标检测方法。
背景技术
智能视频监控是当前计算机视觉领域的研究热点，而目标检测作为智能视频监控中最基本的组成部分，其检测性能直接影响到随后的目标跟踪与识别。近年来，随着红外探测技术的不断发展及红外产品成本的降低，采用或结合红外成像机制的智能视频监控系统逐渐成为智能视频监控领域的发展趋势。
基于红外探测技术的监控系统能解决传统视频监控系统存在的一些固有问题：阴影干扰、光照依赖性强和不适应夜间环境等；红外成像技术与可见光和雷达方式相比具有显著的优点，它能提供二维图像信息，具有高灵敏度、高空间分辨率、强隐蔽性、环境适应性好、抗干扰能力强、大动态范围和全天候工作能力强等优势；尤其适合于小目标信号的探测与多目标的鉴别，具有在复杂背景条件下捕获、识别、锁定和跟踪目标的自动决策能力。
从二十世纪五十年代开始，美国率先开始了红外探测与跟踪技术的研究，随后法国、德国、俄罗斯和加拿大等国也相继开展了有关红外探测的军事应用研究。目前，国外对“红外被动预警探测系统”技术研究加大了投资力度，尤其是美国把它作为“国家安全防御体系”的一个重要课题。已有众多学者在该领域中展开了深入而细致的研究工作，并相继提出了显著轮廓差分法、局部梯度建模分类法和光流法等典型算法。IEEE Trans. Aeros. Electron. Sys.、IEEE Trans. Signal Proc.、IEEE Trans. Image Proc.、Opt. Eng.和IEE Proc.等国际刊物，经常会发表一些关于红外目标检测与跟踪算法的最新研究成果；IEEE CVPR自2004年开始，每年都会举办一次专门针对红外及其它可见光之外的目标跟踪和分类的国际会议OTCBVS (Object Tracking and Classification in and Beyond the Visible Spectrum)，并相继提出了一些有效的研究思路和处理方法。
目前的红外目标检测算法大致可分为两大类：基于运动特征的方法和基于形状特征的方法。基于形状特征的方法通常提取目标模板特征（如边缘段、梯度直方图和SURF特征等），结合优良的分类器（如SVM和Adaboost）进行目标检测。该类算法通常针对特定目标，且需要大量的训练样本数据，其检测性能很大程度上依赖于所收集的样本库；而基于运动特征的方法通常采用背景差分法提取候选目标，再依据目标特性去除虚假目标保留真实目标，其检测性能很大程度上依赖于背景模型的可靠性。
目前复杂场景下的红外目标检测的难点主要体现在以下几个方面：(1) 红外成像为热源成像，图像中目标和边界可能模糊不清；(2) 图像中存在着大量的自然干扰（背景杂波）和人为干扰容易造成虚警；(3) 红外成像机制特有的光环效应严重干扰了目标的检测与识别；(4) 红外目标的信噪比低，以至于传统的目标检测方法难以奏效。
发明内容
本发明主要是解决现有技术所存在的红外成像为热源成像，图像中目标和边界可能模糊不清等的技术问题；提供了一种采用逐级分类策略能有效地融合空间与时间信息，不依赖于任何的目标形状和运动信息先验知识的一种基于时空协同框架的红外目标检测方法。
本发明还有一目的是解决现有技术所存在的图像中存在着大量的自然干扰（背景杂波）和人为干扰容易造成虚警等的技术问题；提供了一种采用多层次时空中值滤波器能有效去除前景目标干扰，提取合理的实际背景帧信息，适用于复杂的户外场景，并采用模糊自适应共振神经网络进行局部目标检测，能有效去除虚假目标，降低虚警率的一种基于时空协同框架的红外目标检测方法。
本发明再有一目的是解决现有技术所存在的红外成像机制特有的光环效应严重干扰了目标的检测与识别等的技术问题；提供了一种采用基于纹理的二值限制型主动活动轮廓模型能有效提取准确、平滑的目标轮廓，有利于后续的目标识别的一种基于时空协同框架的红外目标检测方法。
本发明最后有一目的是解决现有技术所存在的红外目标的信噪比低，以至于传统的目标检测方法难以奏效等的技术问题；提供了一种采用主成份分析技术能有效抑制背景杂波，突出目标提高信噪比，引进局部加权投票策略，采用空间关联模糊自适应共振神经网络能准确定位感兴趣目标区域，提高目标检测率降低计算量的一种基于时空协同框架的红外目标检测方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种基于时空协同框架的红外目标检测方法，其特征在于，包括以下步骤：
步骤1，获取视频的背景帧Bg和当前帧F t ，并结合背景帧Bg和当前帧F t 进行背景杂波抑制，得到背景杂波抑制后的背景抑制图G t ；
步骤2，针对步骤1中得到的背景抑制图G t 首先进行建立时空背景模型，然后针对建模后时空背景模型信息进行目标定位；
步骤3，依据红外目标的成像机制，分析红外目标与周围环绕背景的空间差异性，采用模糊自适应共振神经网络针对步骤2已经定位的目标进行局部分类后提取红外目标。
在上述的一种基于时空协同框架的红外目标检测方法，所述的步骤1中，获取视频的背景帧Bg是基于多层次时空中值滤波器进行获取，具体方法如下：
分配T帧图像数据(F t, t=1…T)来提取背景帧，针对每个像素点，定义其相应的五个时空邻域子窗口，并获取每个子窗口的中值特征：w i , i=0…4，则提取出的背景帧如下：
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤1中，进行背景杂波抑制是基于统计信息归纳分类思想，借助K-L变换技术，采用主成份分析技术来抑制背景杂波突显目标，具体步骤如下：
步骤1.1，针对获取的背景帧Bg和当前帧F t ，将其各自转换为行向量组成联合矩阵Y，即分别从第一行开始按行扫描各自图像，将得到的两个行向量按列方向排列组成联合矩阵Y；
步骤1.2，针对步骤1.1得到的联合矩阵Y，借助K-L变换，获得Y的协方差矩阵CM的两个特征值（e i , i=1, 2）及对应的特征向量（v i , i=1, 2），其中最小特征值对应的子图即背景杂波抑制结果图G t ，
其中，
式二
其中，Bg为背景帧；F t 为当前帧；Y=[Bg; F t ]为联合矩阵；表示联合矩阵Y的均值矩阵；CM表示协方差矩阵；e i 表示协方差矩阵CM的特征值；v i 表示协方差矩阵CM的特征向量；G t 表示背景抑制图；M, N表示图片的长宽尺寸大小。
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤2中，进行时空背景模型建立的具体方法是：
首先，获取步骤1中针对T帧图像数据(F t, t=1…T)背景抑制后的背景抑制帧（G t , t=1…T）作为时空背景建模数据，G t 表示第t帧经过主成份背景抑制后的背景抑制图；
然后，针对视频场景的每个像素点位置，分配一个空间关联模糊自适应共振神经网络，采用基于区域的标准差纹理特征来训练该神经网络，即采用｛S 1 (m,n), S 2 (m,n),…, S T (m,n)｝作为训练样本来训练当前位置的神经网络，建立真实的时空背景模型：
其中，
式四
S t (m,n)表示第t帧当前像素点位置(m,n)的区域标准差纹理特征；G t 表示第t帧经过主成份背景抑制后的背景抑制图；μ表示当前像素点位置(m,n)的局部邻域均值；R 3 为人工设置的标准差纹理特征的邻域窗口尺寸；i+m, j+n, m, n均表示像素坐标。
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤2中，进行目标定位的具体方法是：
步骤2.1，依据时空背景模型信息，获得当前帧每个像素点位置的最大背景模型匹配度MV (m,n)和当前点的局部加权背景模型匹配度Q(m,n)，其中当前点邻域像素的权值与其到当前点的距离成反比；
其中，MV(i+m, j+n)表示最大背景模型匹配度；
针对式七，定义红外图像的局部权值分布服从高斯分布， w(i,j)表示邻域像素给当前中心点的局部加权背景模型匹配度贡献的权值；σ为权值分布标准差，设σ=2~5；d为邻域像素点与当前像素点间的距离；R 2 为人工设置的权值分布局部邻域尺寸；ρ为人工设置的警戒值；
步骤2.2，然后根据实际场景的复杂度设置警戒值，依据局部加权背景
模型匹配度准确定位目标得到定位结果图D：
其中，D表示目标定位结果图，每个目标区域为感兴趣区ROI。
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤2中，所述的σ取3，并且采用5*5的形态学闭运算来处理定位结果D，并去除面积小于10的区域。
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤3中，针对步骤2已经定位的目标进行局部分类后提取红外目标的具体方法如下：
步骤3.1，基于背景杂波抑制结果，针对目标定位后的所有ROI信息，提取包含各自ROI的区域，其中该区域尺寸为各自ROI的两倍；
步骤3.2，在每个区域内，采用中值纹理特征和标准差纹理特征，初始化一个新的模糊自适应共振神经网络；
步骤3.3，采用ROI区域外的样本点训练步骤3.2中的模糊自适应共振神经网络，建立局部背景模型lbg；
步骤3.4，针对ROI内的每个像素点 p i ，执行判断步骤：若p i 符合局部背景模型lbg，则该像素点归属背景，并令Z(p i )=0；若p i 不符合局部背景模型lbg，则该像素点归属目标，并令Z(p i )=1；
步骤3.5，输出检测结果 Z。
在上述的一种基于时空协同框架的红外目标检测方法，还包括一个针对步骤3已经提取的红外目标进行目标轮廓精准化的步骤，是采用基于纹理的二值限制型主动活动轮廓模型来提取准确连续的目标轮廓；具体步骤如下：
步骤4.1，类似局部目标检测算法分割提取环绕ROI的区域；
步骤4.2，类似局部目标检测算法初始化两个新的模糊自适应共振神经网络，其中一个神经网络采用中值纹理特征和标准差纹理特征进行初始化，并定义为A，另一个神经网络只采用中值纹理特征进行初始化，并定义为B；
步骤4.3，依照局部目标检测算法的3.3-3.5步骤，分别采用这两个模
糊自适应共振神经网络进行分类检测得到检测结果Z A , Z B ，其中Z A 表示神经网络A的检测结果；Z B 表示神经网络B的检测结果；
步骤4.4，提取Z B的轮廓作为内警戒边界， Z A的轮廓作为外警戒边界，来限制主动活动轮廓的收敛行为；
步骤4.5，采用Z A为主动活动轮廓模型的掩膜图像，其相应的背景杂波抑制结果帧为主动活动轮廓模型的原始图像来优化轮廓，即求F(C)的最小值：
其中，C表示轮廓；u(m, n)表示标准差纹理特征；C 1 , C 2 表示轮廓C内部和外部相应的标准差纹理特征平均值；
步骤4.6，输出轮廓 C。
因此，本发明具有如下优点：1.在时空协同框架下采用逐级分类策略能有效地融合空间与时间信息，不依赖于任何的目标形状和运动信息先验知识；2.采用多层次时空中值滤波器能有效去除前景目标干扰，提取合理的实际背景帧信息，适用于复杂的户外场景（存在较多的前景干扰）；3.采用主成份分析技术能有效抑制背景杂波，突出目标提高信噪比；4.引进局部加权投票策略，采用空间关联模糊自适应共振神经网络能准确定位感兴趣目标区域，提高目标检测率降低计算量；5.采用模糊自适应共振神经网络进行局部目标检测，能有效去除虚假目标，降低虚警率；6.采用基于纹理的二值限制型主动活动轮廓模型能有效提取准确、平滑的目标轮廓，有利于后续的目标识别。
附图说明
图1为本发明方法的检测系统流程图。
图2a为表示5个时空邻域子窗口的多层次时空中值滤波器子窗口示意图。
图2b为表示表示45°子窗口的多层次时空中值滤波器子窗口示意图。
图3为空间关联模糊自适应共振神经网络模型示意图。
图4为五种检测方法基于帧机制的F1指标比较图。
图5为五种检测方法基于像素机制的F1指标比较图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
步骤1，背景杂波抑制：本方法在该阶段依据实时采集到的视频帧信息，分析红外图像的时空特性，采用多层次时空中值滤波器求取五个主方向上的信息关联度，建立稳健的背景帧；接着依据获取的背景帧信息，基于统计信息归纳分类思想，采用主成份分析技术来抑制背景杂波突显目标：首先获取视频的背景帧Bg和当前帧F t ，并结合背景帧Bg和当前帧F t 进行背景杂波抑制，最后得到背景杂波抑制后的背景抑制图G t ；
（1）获取视频的背景帧Bg是基于多层次时空中值滤波器进行获取，具体方法如下：
分配T帧图像数据(F t, t=1…T)来提取背景帧，针对每个像素点，定义其相应的五个时空邻域子窗口，并获取每个子窗口的中值特征：w i , i=0…4，则提取出的背景帧如下：
（2）进行背景杂波抑制是基于统计信息归纳分类思想，借助K-L变换技术，采用主成份分析技术来抑制背景杂波突显目标，具体步骤如下：
步骤1.1，针对获取的背景帧Bg和当前帧F t ，将其各自转换为行向量组成联合矩阵Y，即分别从第一行开始按行扫描各自图像，将得到的两个行向量按列方向排列组成联合矩阵Y；
步骤1.2，针对步骤1.1得到的联合矩阵Y，借助K-L变换，获得Y的协方差矩阵CM的两个特征值（e i , i=1, 2）及对应的特征向量（v i , i=1, 2），其中最小特征值对应的子图即背景杂波抑制结果图G t ，
其中，
式二
其中，Bg为背景帧；F t 为当前帧；Y=[Bg; F t ]为联合矩阵；
表示联合矩阵Y的均值矩阵；CM表示协方差矩阵；e i 表示协方差矩阵CM的特征值；v i 表示协方差矩阵CM的特征向量；G t 表示背景抑制图；M, N表示图片的长宽尺寸大小。
步骤2，针对步骤1中得到的背景抑制图G t 首先进行建立时空背景模型，然后针对建模后时空背景模型信息进行目标定位；
（1）进行时空背景模型建立的具体方法是：
首先，获取步骤1中针对T帧图像数据(F t, t=1…T)背景抑制后的背景抑制帧（G t , t=1…T）作为时空背景建模数据，G t 表示第t帧经过主成份背景抑制后的背景抑制图；
然后，针对视频场景的每个像素点位置，分配一个空间关联模糊自适应共振神经网络，采用基于区域的标准差纹理特征来训练该神经网络，即采用｛S 1 (m,n), S 2 (m,n),…, S T (m,n)｝作为训练样本来训练当前位置的神经网络，建立真实的时空背景模型：
其中，
式四
S t (m,n)表示第t帧当前像素点位置(m,n)的区域标准差纹理特征；G t 表示第t帧经过主成份背景抑制后的背景抑制图；μ表示当前像素点位置(m,n)的局部邻域均值；R 3 为人工设置的标准差纹理特征的邻域窗口尺寸；i+m, j+n, m, n均表示像素坐标。
（2）进行目标定位的具体方法是：
步骤2.1，依据时空背景模型信息，获得当前帧每个像素点位置的最大背景模型匹配度MV (m,n)和当前点的局部加权背景模型匹配度Q(m,n)，其中当前点邻域像素的权值与其到当前点的距离成反比；
其中，MV(i+m, j+n)表示最大背景模型匹配度；
针对式七，定义红外图像的局部权值分布服从高斯分布， w(i,j)表示邻域像素给当前中心点的局部加权背景模型匹配度贡献的权值；σ为权值分布标准差，设σ=2~5；d为邻域像素点与当前像素点间的距离；R 2 为人工设置的权值分布局部邻域尺寸；ρ为人工设置的警戒值；
步骤2.2，然后根据实际场景的复杂度设置警戒值，依据局部加权背景
模型匹配度准确定位目标得到定位结果图D：
其中，D表示目标定位结果图，每个目标区域为感兴趣区ROI。
在上述的一种基于时空协同框架的红外目标检测方法，所述步骤2中，所述的σ取3，并且采用5*5的形态学闭运算来处理定位结果D，并去除面积小于10的区域。
步骤3，依据红外目标的成像机制，分析红外目标与周围环绕背景的空间差异性，采用模糊自适应共振神经网络针对步骤2已经定位的目标进行局部分类后提取红外目标，具体方法如下：
步骤3.1，基于背景杂波抑制结果，针对目标定位后的所有ROI信息，提取包含各自ROI的区域，其中该区域尺寸为各自ROI的两倍；
步骤3.2，在每个区域内，采用中值纹理特征和标准差纹理特征，初始化一个新的模糊自适应共振神经网络；
步骤3.3，采用ROI区域外的样本点训练步骤3.2中的模糊自适应共振神经网络，建立局部背景模型lbg；
步骤3.4，针对ROI内的每个像素点 p i ，执行判断步骤：若p i 符合局部背景模型lbg，则该像素点归属背景，并令Z(p i )=0；若p i 不符合局部背景模型lbg，则该像素点归属目标，并令Z(p i )=1；
步骤3.5，输出检测结果 Z。
步骤4，针对步骤3已经提取的红外目标进行目标轮廓精准化，是采用基于纹理的二值限制型主动活动轮廓模型来提取准确连续的目标轮廓；具体步骤如下：
步骤4.1，类似局部目标检测算法分割提取环绕ROI的区域；
步骤4.2，类似局部目标检测算法初始化两个新的模糊自适应共振神经网络，其中一个神经网络采用中值纹理特征和标准差纹理特征进行初始化，并定义为A，另一个神经网络只采用中值纹理特征进行初始化，并定义为B；
步骤4.3，依照局部目标检测算法的3.3-3.5步骤，分别采用这两个模
糊自适应共振神经网络进行分类检测得到检测结果Z A , Z B ，其中Z A 表示神经网络A的检测结果；Z B 表示神经网络B的检测结果；
步骤4.4，提取Z B的轮廓作为内警戒边界， Z A的轮廓作为外警戒边界，来限制主动活动轮廓的收敛行为；
步骤4.5，采用Z A为主动活动轮廓模型的掩膜图像，其相应的背景杂波抑制结果帧为主动活动轮廓模型的原始图像来优化轮廓，即求F(C)的最小值：
其中，C表示轮廓；u(m, n)表示标准差纹理特征；C 1 , C 2 表示轮廓C内部和外部相应的标准差纹理特征平均值；
步骤4.6，输出轮廓 C。
为了验证本方法的有效性，我们采用实际采集到的十段复杂户外红外场景视频进行验证实验，并与其它算法进行比较验证，验证得出：本方法能有效地检测出不同复杂红外场景下的目标；即使在目标难于用肉眼分辨的情况下，本方法也能有效地检测出目标并提取出连续的目标轮廓；当目标的温度低于环境温度且目标被红外特性相似的阴影环绕，本方法也能有效提取出完整的目标轮廓；即使目标与环境的温差较小，本方法也能有效检测出目标。
为了验证本方法的有效性，我们采用一些其它方法进行对比验证。我们对比了四种算法：码本方法、加权单高斯方法、独立分量方法和自适应共振神经网络方法。
另外，码本方法和加权单高斯方法的检测结果存在较多的噪声，且光环效应严重影响了其检测性能；独立分量方法的检测性能较不稳定，时常无法检测出目标；自适应共振神经网络方法检测出的目标轮廓不完整，缺损部分片段；而本方法能有效去除光环效应检测出目标。
为了更客观地评价本方法的检测性能，我们采用目标检测领域标准通用的precision、recall和 F1指标来评价本方法检测结果；其中，recall表示检测率，为检测到的真实目标数与真实目标总数之比；precision表示准确率，为检测到的真实目标数与检测到的目标总数之比。一个好的目标检测方法应具有较高的recall值，同时也能保持较高的precision值；较高的F1值也意味着好的检测性能。我们采用两种经典的检测评价机制即帧机制和像素机制来评价各个方法。帧评价机制用于评价各个检测方法针对目标整体结构的检测性能，而像素评价机制用于评价各个检测方法针对目标细节的检测性能。
五种检测方法基于帧机制的三种指标评价结果如附图4和表1所示。从图表中我们可以比较各种检测算法的总体检测性能：码本算法和加权单高斯算法具有较高的检测率，但准确率较低，其总体检测性能一般；独立分量算法具有较一致的检测率和准确率，但检测稳定性较差；自适应共振神经网络算法具有较高的检测率和相对较低的准确率，其检测性能相对稳定；而本方法同时具有较高的检测率和准确率，且具有较好的检测稳定性。本方法的红外目标检测率高达97.7%，F1指标高达96.3%。
表1 五种检测方法基于帧机制的平均检测指标比较
| Approach | Recall | Precision | F1 |
| 码本 | 0.8644 | 0.4541 | 0.5776 |
| 加权单高斯 | 0.9733 | 0.5382 | 0.6789 |
| 独立分量 | 0.6771 | 0.5136 | 0.5804 |
| 自适应共振神经网络 | 0.9556 | 0.7041 | 0.8078 |
| 本方法 | 0.9772 | 0.9533 | 0.9632 |
五种检测方法基于像素机制的三种指标评价结果如附图5和表2所示。从图表中我们可以比较各种检测算法的细节检测性能：码本算法具有较一致的检测率和准确率，其细节检测性能一般；加权单高斯算法具有较高的检测率，但准确率较低，其检测性能相对稳定；独立分量算法具有较一致的检测率和准确率，但其检测稳定性较差；自适应共振神经网络算法具有适中的检测率和准确率，其检测性能相对稳定；而本方法同时具有较高的检测率和准确率，且具有较好的细节检测性能和较强的检测稳定性。
表2 五种检测方法基于像素机制的平均检测指标比较
| Approach | Recall | Precision | F1 |
| 码本 | 0.5535 | 0.5392 | 0.5158 |
| 加权单高斯 | 0.8662 | 0.4380 | 0.5370 |
| 独立分量 | 0.5806 | 0.6280 | 0.5670 |
| 自适应共振神经网络 | 0.7808 | 0.7010 | 0.7083 |
| 本方法 | 0.8336 | 0.8103 | 0.8104 |
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于时空协同框架的红外目标检测方法，其特征在于，包括以下步骤：
步骤1，获取视频的背景帧Bg和当前帧F t ，并结合背景帧Bg和当前帧F t 进行背景杂波抑制，得到背景杂波抑制后的背景抑制图G t ；
步骤2，针对步骤1中得到的背景抑制图G t 首先进行建立时空背景模型，然后针对建模后时空背景模型信息进行目标定位；
步骤3，依据红外目标的成像机制，分析红外目标与周围环绕背景的空间差异性，采用模糊自适应共振神经网络针对步骤2已经定位的目标进行局部分类后提取红外目标。
2. 根据权利要求1所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述的步骤1中，获取视频的背景帧Bg是基于多层次时空中值滤波器进行获取，具体方法如下：
分配T帧图像数据(F t, t=1…T)来提取背景帧，针对每个像素点，定义其相应的五个时空邻域子窗口，并获取每个子窗口的中值特征：w i , i=0…4，则提取出的背景帧如下：
3.根据权利要求1所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述步骤1中，进行背景杂波抑制是基于统计信息归纳分类思想，借助K-L变换技术，采用主成份分析技术来抑制背景杂波突显目标，具体步骤如下：
步骤1.1，针对获取的背景帧Bg和当前帧F t ，将其各自转换为行向量组成联合矩阵Y，即分别从第一行开始按行扫描各自图像，将得到的两个行向量按列方向排列组成联合矩阵Y；
步骤1.2，针对步骤1.1得到的联合矩阵Y，借助K-L变换，获得Y的协方差矩阵CM的两个特征值（e i , i=1, 2）及对应的特征向量（v i , i=1, 2），其中最小特征值对应的子图即背景杂波抑制结果图G t ，
其中，
式二
式三
其中，Bg为背景帧；F t 为当前帧；Y=[Bg; F t ]为联合矩阵；
表示联合矩阵Y的均值矩阵；CM表示协方差矩阵；e i 表示协方差矩阵CM的特征值；v i 表示协方差矩阵CM的特征向量；G t 表示背景抑制图；M, N表示图片的长宽尺寸大小。
4. 根据权利要求1所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述步骤2中，进行时空背景模型建立的具体方法是：
首先，获取步骤1中针对T帧图像数据(F t, t=1…T)背景抑制后的背景抑制帧（G t , t=1…T）作为时空背景建模数据，G t 表示第t帧经过主成份背景抑制后的背景抑制图；
然后，针对视频场景的每个像素点位置，分配一个空间关联模糊自适应共振神经网络，采用基于区域的标准差纹理特征来训练该神经网络，即采用｛S 1 (m,n), S 2 (m,n),…, S T (m,n)｝作为训练样本来训练当前位置的神经网络，建立真实的时空背景模型：
其中， 式四
S t (m,n)表示第t帧当前像素点位置(m,n)的区域标准差纹理特征；G t 表示第t帧经过主成份背景抑制后的背景抑制图；μ表示当前像素点位置(m,n)的局部邻域均值；R 3 为人工设置的标准差纹理特征的邻域窗口尺寸；i+m, j+n, m, n均表示像素坐标。
5. 根据权利要求1所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述步骤2中，进行目标定位的具体方法是：
步骤2.1，依据时空背景模型信息，获得当前帧每个像素点位置的最大背景模型匹配度MV (m,n)和当前点的局部加权背景模型匹配度Q(m,n)，其中当前点邻域像素的权值与其到当前点的距离成反比；
其中，MV(i+m, j+n)表示最大背景模型匹配度；
针对式七，定义红外图像的局部权值分布服从高斯分布， w(i,j)表示邻域像素给当前中心点的局部加权背景模型匹配度贡献的权值；σ为权值分布标准差，设σ=2~5；d为邻域像素点与当前像素点间的距离；R 2 为人工设置的权值分布局部邻域尺寸；ρ为人工设置的警戒值；
步骤2.2，然后根据实际场景的复杂度设置警戒值，依据局部加权背景
模型匹配度准确定位目标得到定位结果图D：
其中，D表示目标定位结果图，每个目标区域为感兴趣区ROI。
6. 根据权利要求5所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述步骤2中，所述的σ取3，并且采用5*5的形态学闭运算来处理定位结果D，并去除面积小于10的区域。
7. 根据权利要求1所述的一种基于时空协同框架的红外目标检测方法，其特征在于，所述步骤3中，针对步骤2已经定位的目标进行局部分类后提取红外目标的具体方法如下：
步骤3.1，基于背景杂波抑制结果，针对目标定位后的所有ROI信息，提取包含各自ROI的区域，其中该区域尺寸为各自ROI的两倍；
步骤3.2，在每个区域内，采用中值纹理特征和标准差纹理特征，初始化一个新的模糊自适应共振神经网络；
步骤3.3，采用ROI区域外的样本点训练步骤3.2中的模糊自适应共振神经网络，建立局部背景模型lbg；
步骤3.4，针对ROI内的每个像素点 p i ，执行判断步骤：若p i 符合局部背景模型lbg，则该像素点归属背景，并令Z(p i )=0；若p i 不符合局部背景模型lbg，则该像素点归属目标，并令Z(p i )=1；
步骤3.5，输出检测结果 Z。
8. 根据权利要求7所述的一种基于时空协同框架的红外目标检测方法，其特征在于，还包括一个针对步骤3已经提取的红外目标进行目标轮廓精准化的步骤，是采用基于纹理的二值限制型主动活动轮廓模型来提取准确连续的目标轮廓；具体步骤如下：
步骤4.1，类似局部目标检测算法分割提取环绕ROI的区域；
步骤4.2，类似局部目标检测算法初始化两个新的模糊自适应共振神经网络，其中一个神经网络采用中值纹理特征和标准差纹理特征进行初始化，并定义为A，另一个神经网络只采用中值纹理特征进行初始化，并定义为B；
步骤4.3，依照局部目标检测算法的3.3-3.5步骤，分别采用这两个模
糊自适应共振神经网络进行分类检测得到检测结果Z A , Z B ，其中Z A 表示神经网络A的检测结果；Z B 表示神经网络B的检测结果；
步骤4.4，提取Z B的轮廓作为内警戒边界， Z A的轮廓作为外警戒边界，来限制主动活动轮廓的收敛行为；
步骤4.5，采用Z A为主动活动轮廓模型的掩膜图像，其相应的背景杂波抑制结果帧为主动活动轮廓模型的原始图像来优化轮廓，即求F(C)的最小值：
其中，C表示轮廓；u(m, n)表示标准差纹理特征；C 1 , C 2 表示轮廓C内部和外部相应的标准差纹理特征平均值；
步骤4.6，输出轮廓 C。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110372222 CN102496016B (zh) | 2011-11-22 | 2011-11-22 | 一种基于时空协同框架的红外目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110372222 CN102496016B (zh) | 2011-11-22 | 2011-11-22 | 一种基于时空协同框架的红外目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102496016A true CN102496016A (zh) | 2012-06-13 |
| CN102496016B CN102496016B (zh) | 2013-07-24 |
Family
ID=46187841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110372222 Expired - Fee Related CN102496016B (zh) | 2011-11-22 | 2011-11-22 | 一种基于时空协同框架的红外目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102496016B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103901397A (zh) * | 2014-03-13 | 2014-07-02 | 中国民用航空总局第二研究所 | 复杂环境下场面多点定位位置解的取舍方法 |
| CN104766079A (zh) * | 2015-05-05 | 2015-07-08 | 四川九洲电器集团有限责任公司 | 一种远距离红外弱小目标检测方法 |
| CN104899866A (zh) * | 2015-05-05 | 2015-09-09 | 河南三联网络技术有限公司 | 一种智能化的红外小目标检测方法 |
| CN104966121A (zh) * | 2015-07-27 | 2015-10-07 | 徐伟芳 | 一种红外线计数方法以及红外计数器 |
| CN105631898A (zh) * | 2015-12-28 | 2016-06-01 | 西北工业大学 | 基于空时显著性融合的红外运动目标检测方法 |
| CN106446799A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种热成像目标识别的方法和装置 |
| CN107918341A (zh) * | 2017-12-08 | 2018-04-17 | 何旭连 | 一种无人值守的变电站监控系统 |
| CN107945212A (zh) * | 2017-11-29 | 2018-04-20 | 中国人民解放军火箭军工程大学 | 基于惯导信息辅助和背景差分法的红外弱小移动目标检测方法 |
| CN107959796A (zh) * | 2017-12-08 | 2018-04-24 | 朱明君 | 一种具有目标检测功能的摄像装置 |
| CN108009469A (zh) * | 2017-10-24 | 2018-05-08 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN108011712A (zh) * | 2017-11-13 | 2018-05-08 | 佛山科学技术学院 | 一种移动医疗系统隐私数据通信方法 |
| CN109389609A (zh) * | 2018-10-24 | 2019-02-26 | 西安电子科技大学 | 基于fart神经网络的交互自反馈红外目标检测方法 |
| CN112036299A (zh) * | 2020-08-31 | 2020-12-04 | 山东科技大学 | 标准考场环境下的考试作弊行为检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050030393A1 (en) * | 2003-05-07 | 2005-02-10 | Tull Damon L. | Method and device for sensor level image distortion abatement |
| CN1581231A (zh) * | 2004-05-20 | 2005-02-16 | 上海交通大学 | 基于运动目标检测的红外和可见光动态图像融合方法 |
| CN102201146A (zh) * | 2011-05-18 | 2011-09-28 | 中国科学技术大学 | 基于主动红外视频的零照度环境火灾烟雾识别方法 |
-
2011
- 2011-11-22 CN CN 201110372222 patent/CN102496016B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050030393A1 (en) * | 2003-05-07 | 2005-02-10 | Tull Damon L. | Method and device for sensor level image distortion abatement |
| CN1581231A (zh) * | 2004-05-20 | 2005-02-16 | 上海交通大学 | 基于运动目标检测的红外和可见光动态图像融合方法 |
| CN102201146A (zh) * | 2011-05-18 | 2011-09-28 | 中国科学技术大学 | 基于主动红外视频的零照度环境火灾烟雾识别方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103901397A (zh) * | 2014-03-13 | 2014-07-02 | 中国民用航空总局第二研究所 | 复杂环境下场面多点定位位置解的取舍方法 |
| CN104766079B (zh) * | 2015-05-05 | 2018-12-07 | 四川九洲电器集团有限责任公司 | 一种远距离红外弱小目标检测方法 |
| CN104766079A (zh) * | 2015-05-05 | 2015-07-08 | 四川九洲电器集团有限责任公司 | 一种远距离红外弱小目标检测方法 |
| CN104899866A (zh) * | 2015-05-05 | 2015-09-09 | 河南三联网络技术有限公司 | 一种智能化的红外小目标检测方法 |
| CN104899866B (zh) * | 2015-05-05 | 2018-03-30 | 河南三联网络技术有限公司 | 一种智能化的红外小目标检测方法 |
| CN104966121A (zh) * | 2015-07-27 | 2015-10-07 | 徐伟芳 | 一种红外线计数方法以及红外计数器 |
| CN104966121B (zh) * | 2015-07-27 | 2017-08-29 | 徐伟芳 | 一种红外线计数方法以及红外计数器 |
| CN105631898A (zh) * | 2015-12-28 | 2016-06-01 | 西北工业大学 | 基于空时显著性融合的红外运动目标检测方法 |
| CN105631898B (zh) * | 2015-12-28 | 2019-04-19 | 西北工业大学 | 基于空时显著性融合的红外运动目标检测方法 |
| CN106446799A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种热成像目标识别的方法和装置 |
| CN108009469A (zh) * | 2017-10-24 | 2018-05-08 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN108009469B (zh) * | 2017-10-24 | 2020-11-24 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN108011712A (zh) * | 2017-11-13 | 2018-05-08 | 佛山科学技术学院 | 一种移动医疗系统隐私数据通信方法 |
| CN107945212A (zh) * | 2017-11-29 | 2018-04-20 | 中国人民解放军火箭军工程大学 | 基于惯导信息辅助和背景差分法的红外弱小移动目标检测方法 |
| CN107959796A (zh) * | 2017-12-08 | 2018-04-24 | 朱明君 | 一种具有目标检测功能的摄像装置 |
| CN107918341A (zh) * | 2017-12-08 | 2018-04-17 | 何旭连 | 一种无人值守的变电站监控系统 |
| CN109389609A (zh) * | 2018-10-24 | 2019-02-26 | 西安电子科技大学 | 基于fart神经网络的交互自反馈红外目标检测方法 |
| CN109389609B (zh) * | 2018-10-24 | 2021-11-23 | 西安电子科技大学 | 基于fart神经网络的交互自反馈红外目标检测方法 |
| CN112036299A (zh) * | 2020-08-31 | 2020-12-04 | 山东科技大学 | 标准考场环境下的考试作弊行为检测方法及系统 |
| CN112036299B (zh) * | 2020-08-31 | 2022-12-13 | 山东科技大学 | 标准考场环境下的考试作弊行为检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102496016B (zh) | 2013-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102496016B (zh) | 一种基于时空协同框架的红外目标检测方法 | |
| CN106707296B (zh) | 一种基于双孔径光电成像系统的无人机检测与识别方法 | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN102521565B (zh) | 低分辨率视频的服装识别方法及系统 | |
| CN107330857B (zh) | 一种红外图像中暗弱点目标检测方法 | |
| CN107067413B (zh) | 一种时空域统计匹配局部特征的运动目标检测方法 | |
| CN107392885A (zh) | 一种基于视觉对比机制的红外弱小目标检测方法 | |
| Merad et al. | Fast people counting using head detection from skeleton graph | |
| CN103729854B (zh) | 一种基于张量模型的红外弱小目标检测方法 | |
| CN103049751A (zh) | 一种改进的加权区域匹配高空视频行人识别方法 | |
| Albiol Colomer et al. | Who is who at different cameras: people re-identification using depth cameras | |
| CN106327526A (zh) | 图像目标跟踪方法与系统 | |
| CN103164858A (zh) | 基于超像素和图模型的粘连人群分割与跟踪方法 | |
| Deilamani et al. | Moving object tracking based on mean shift algorithm and features fusion | |
| CN103745216B (zh) | 一种基于空域特性的雷达图像杂波抑制方法 | |
| CN105893957B (zh) | 基于视觉湖面船只检测识别与跟踪方法 | |
| CN109271932A (zh) | 基于颜色匹配的行人再识别方法 | |
| CN101957993A (zh) | 自适应红外小目标检测方法 | |
| CN110400294A (zh) | 一种红外目标探测系统及探测方法 | |
| CN103577832A (zh) | 一种基于时空上下文的人流量统计方法 | |
| CN106023250A (zh) | 一种图像识别与跟踪中目标遮蔽强度的评价方法 | |
| Yoshinaga et al. | Background model based on statistical local difference pattern | |
| CN102148919A (zh) | 一种球类检测的方法及系统 | |
| CN109784229A (zh) | 一种地面建筑物数据融合的复合识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130724 Termination date: 20151122 |
|
| EXPY | Termination of patent right or utility model |