CN102087744B - 海洋动态背景下视频小目标快速检测的结构张量方法 - Google Patents
海洋动态背景下视频小目标快速检测的结构张量方法 Download PDFInfo
- Publication number
- CN102087744B CN102087744B CN2010101138256A CN201010113825A CN102087744B CN 102087744 B CN102087744 B CN 102087744B CN 2010101138256 A CN2010101138256 A CN 2010101138256A CN 201010113825 A CN201010113825 A CN 201010113825A CN 102087744 B CN102087744 B CN 102087744B
- Authority
- CN
- China
- Prior art keywords
- pixel
- characteristic quantity
- target
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种海洋动态背景下视频小目标快速检测的结构张量方法,在实施时,主要在目标图像I中提取处可能的特征量H的基础上,再对目标图像I进行基于特征量H的目标检测方法的处理,并分三步优化目标检测的过程,将这个检测结果与目标图像I相邻图像的检测结果相结合,从而提取出最终的目标检测结果。本发明的使用,可以很好的实现在海洋动态的背景条件下进行小目标的快速检测方法,且本发明不单单提高了图像处理时的运行速度,还可以进一步保证目标检测的实时性、有效性和视频图像的流畅性的特点。
Description
技术领域
本发明涉及机器视觉领域,特别是涉及一种用于在动态背景视频处理的条件下,实现目标图像中小目标快速检测的结构张量方法。
背景技术
在视频处理领域中所涉及的快速目标检测方法,主要是一种根据目标与其所处背景的特征差异,从而依靠设各种快速检测算法寻找出可能的目标。尤其是现在,在视频处理中使用的快速目标检测方法常被用于对目标进行实时的跟踪。目前,在使用传统的快速检测方法来搜索目标时,通常都基于下列前提条件:背景相对于目标而言是相对静止的;或者目标与背景的灰度或颜色有较大差异。但在现实生活中便会出现这样的问题,当目标与背景的状态呈相对运动时,或者不能完全有效的保持相对的静止状态时,使用传统的快速检测方法对可能的目标进行检测便会出现效果不太理想的问题;而当目标与背景的灰度或颜色差异不明显时,也会出现使用传统的快速检测方法无法进行有效检测的问题。为此,目标特征的有效选择对据此设计出的检测算法之性能具有重大影响。
且目前在视频处理领域中还会使用结构张量方法,作为一种高效的目标特征量的提取方法来补充传统快速检测方法的不足,其基本思想是:根据不同的物体其局部的纹理结构特征的不同,实现通过高效提取目标局部的方向性结构信息的方法,进行目标的有效区分。这是由于现实中的物体,有些局部的纹理明显、有些局部的纹理隐约、有些局部的纹理细密、有些局部的纹理粗疏;且纹理分布时的方向性也会有所差异,这些差异虽然也受成像环境的影响,但相对来说这些特征在区别不同物体时更加有效。这种结构张量方法,从实际效果看,其在局部方向性结构信息提取方面表现甚佳。该方法具体过程是:假设图像(或视频帧)有n个通道,先对每个通道图像中的每个像素逐点提取梯度,其x与y方向的两分量值分别为Ix,Iy。然后求出每个像素n个通道的n个结构张量矩阵(即张量积),并将这n个矩阵相加得到每个像素的张量矩阵S。而后对S(每个元素)进行Gause滤波(降低噪声的影响),得到每个像素的结构张量矩阵S记为。最后求出每个像素相应的矩阵S的两个特征值λ1,λ2(λ1≥λ2)及特征向量α1,α2,进而根据特征值λ1,λ2及特征向量α1,α2对该点局部的纹理结构进行进一步的判断。从理论上说由S的特征值λ1,λ2可得如下结论:
1)λ1=λ2=0,此时该点局部无纹理结构特征。
2)λ1>0,λ2=0,此时该点局部有单一方向的纹理结构特征。
3)λ1>0,λ2>0,此时该点局部有多方向的纹理结构特征,即该点是角点。
从上可知,结构张量方法只是一种提取每个像素局部结构特征的方法,并不是一种整体目标检测的方法;其次,求解特征值与特征向量要遍历图像的每个像素,所需的计算量很大,会消耗大量处理时间。对视频图像来说,所需处理的数据量很大,对处理的实时性要求比较高。因此,需要构造新的特征量以避免直接求解特征值与特征向量,从而避免目标特征提取时较大的时间消耗。进而据此发明一种快速的目标检测方法。本发明的应用背景是根据落水人员的视频进行目标检测,即采用机器视觉技术寻找落水的人员。此时对算法的实时性要求较高,需要达到8fps以上。另外,此时检测的目标都是些小目标,背景及目标都是动态的。传统的目标检测的方法或因时效性差,或因目标与背景呈相对的动态,或因目标太小,以致无法实现快速有效的目标检测。
发明内容
本发明所要解决的技术问题在于提供一种海洋动态背景下视频小目标快速检测的结构张量方法,以解决现有图像目标在使用传统快速检测方法进行检测时所遇到使用性方面的问题。
为了实现上述目的,本发明是通过如下的技术方案来实现:
海洋动态背景下视频小目标快速检测的结构张量方法,所述结构张量方法是通过以下步骤实现的:
1)在目标图像I及其所在区域ROI中,通过区域ROI中各通道像素的结构张量的算法,提取出每个像素的特征量H来,且所述特征量H是在目标图像I区域ROI内各通道中的像素结构张量矩阵S的主对角线元素之和;
2)优化目标图像I中基于特征量H的目标检测的结果,实现目标图像I中小目标的快速检测,主要包括如下的三个优化步骤:
(201)选择目标图像I中所有的特征量H中的第p-百分位上的特征量Hp充当阈值Hp,从而提取特征量H大于阈值Hp的像素作为目标像素并构成集合O1;
(202)假设在集合O1中的特征量H相对应的区间[H-δ,H+δ]内,出现集合O1的像素频次为频率F,选取集合O1中所有像素的频率F中的第q-百分位上的频率Fq为阈值Fq,从而提取满足条件频率F小于阈值Fq的集合O1构成集合O2;
(203)删除得到的集合O2中孤立的像素,并对满足8-邻域内有相邻点的像素区域进行合并构成集合O3;
3)取与目标图像I中相邻的若干个相邻帧的图像,使用步骤1)与步骤2)计算得到这些相邻图像的集合O3,并在这些集合O3中提取出那些共有的交集O,所述交集O便是小目标快速检测的最终结果。
所述目标图像I中特征量H的提取是通过以下步骤来实现的:
1)、首先先整理好所要处理的目标图像,并在每一单帧目标图像中,确定一幅需要提取特征量H的图像I,以及该图像I所在的区域ROI;
2)、在特征量H的区域ROI内,对各通道内每个像素求出其梯度x与y方向的两个像素分量值Ix、Iy,进而计算出像素Ix2、Iy2的值;
3)、对特征量H的区域ROI内各通道的像素Ix2、Iy2值分别求和,得到像素Ixx、Iyy;
4)、对特征量H的区域ROI内每个像素的Ixx、Iyy进行滤波,从而求得像素Ixx、Iyy,并根据像素Ixx与Iyy的值来提取出区域ROI内每个像素可能的特征量H。
所述p值为介于0~100之间的整数。
所述q值为介于0~100之间的整数。
所述δ的值为(特征量Hmax-特征量Hmin)/n得到的值。
所述特征量Hmax与特征量Hmin分别为集合O1中像素的特征量H的最大值与最小值。
所述n为一个大于10的正整数。
本发明的使用可以大大加快视频图像中特征量H的有效提取,从而加快对视频图像目标的检测工作;且在对于视频图像目标的检测工作的优化时,采用三步优化步骤进行优化,这样不仅可以大大减少整个过程的计算量,而且每一步检测结果所含的像素与之前相比都有很大的减少,从而能够实现快速有效地检测;更可以完全满足海上搜救的实时检测和性能的要求,具有很强的实用价值。
附图说明
下面结合附图和具体实施方式来详细说明本发明;
图1为本发明中图像目标总的检测流程图。
图2为本发明中特征量H提取算法的流程图。
图3为本发明中单帧图像小目标的快速检测算法的流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
本发明为一种海洋动态背景下视频小目标快速检测的结构张量方法,主要针对传统目标检测方法在提取特征量时计算量大,耗时较长,或提取的特征量无法满足海洋动态背景下检测小目标的需要等缺点,而进行的改良设计。
本发明在实施时,会遇到两个问题,其中之一便是如何高效的对目标图像特征量H进行提取,另一个便是如何实现对小目标图像进行有效的快速检测。
为此在特征量H提取的选择上,可以以传统目标检测方法为框架进行操作,尤其根据目标图像各个特征量的性质不同,来进行简单的区分。比如在背景技术中所述的λ1,λ2,为经Gause滤波后结构张量矩阵S的特征值。可以设特征量H=λ1+λ2,记且可以通过Jordan分解的方法,有效的分解成这样可以看出:
从而,得到一个H=Ixx+Iyy就是每像素的结构张量对角线元素的之和(并进行Gause滤波处理)的结论。我们将选择特征量H作为所提取的特征量。这样只需计算Ixx,Iyy;避免了计算Ixy,同时也节省了因计算S的全部特征值,所需要消耗的大量时间。由于H=λ1+λ2,由上述背景技术可知,H值较小时(接近于零),该点局部无明显的纹理结构特征。而H值较大时,该点局部具有较丰富的纹理结构特征。以H作为所提取的特征量可以达到目标特征提取快速,并保持其使用的有效性。
至于小目标图像的快速检测方法在运用时,由于考虑到本发明的应用背景是根据落水人员的视频进行目标检测,即采用机器视觉技术寻找落水的人员。此时对算法的实时性要求较高,需要达到8fps以上,且检测的目标都是一些小目标,背景与目标间的运动状态呈相对动态的。为此,在实际运用时,首先可以从提取的单个视频帧中每个像素的特征量H开始,由于所要检测的目标为小目标(如海面上远处落水的人员),在图像中目标自身与背景之间梯度向量模较大,从而目标像素附近具有较丰富的纹理结构,因此目标像素附近的特征量H较大。事实上,人眼之所以能够将观察到的目标与背景分别开也与此相关。设图像中所有像素的特征量H的第p-百分位值记为Hp。选取适当的p,一般可取p≥90,所有满足H>Hp的像素作为目标像素的第一步检测结果O1,O1中还含有许多背景像素(如海浪等),这些背景像素的特征量H出现频率会很高,与小目标处像素有根本的不同。把O1中背景像素排除即可得到更好的检测结果。即把O1中特征量H出现频率较高的像素剔除后,所得像素作为第二步的检测结果O2,删除O2中的孤立像素并对满足一定条件的像素区域进行合并,作为第三步的检测结果O3。最后,对几个相邻视频帧重复上述过程,取它们检测结果的公共部分作为最终检测结果O。
如图1所示,为本发明图像目标总的检测流程图。从这些流程步骤中可以看到,本发明在使用时,为了实现其高效准确与快速提取的特点,在把所要处理的图像需提取出特征量H的基础上,还需对图像那基于特征量H的目标检测方法,通过三步优化的方法依次进行优化,来加快目标检测的速度。
为此,如图2所示,可以实现特征量H的快速的初步提取。根据该流程图,只需在特征量H提取前,先确定好所要提取特征量H的图像I以及其区域ROI,然后对区域ROI每个通道中的像素求Ix与Iy的数值,进而通过各通道像素Ix2与Iy2之和的值来求得像素Ixx与Iyy的值,然后只需对像素Ixx与Iyy经行简单的Gause滤波后分别相加求得特征量H。
如图3所示,可以实现单帧图像小目标的快速检测。根据该流程图,可以将快速提取出来的初步特征量H分三个步骤进行简单的优化,首先先确定p、q、与δ的值,然后对所需处理图像的所有像素特征量H进行第一步优化,即取特征量H中第p-百分位值Hp为阈值,并将那些特征量H大于阈值Hp的像素作为目标像素构成集合O1,这样便形成了第一步优化目标的检测结果;接着进行第二步优化工作,在计算得到的集合O1中,尤其是与每个像素的特征量H相对应的区间[H-δ,H+δ]内,出现O1中像素的频率为F,为此可以设Fq为集合O1中所有像素的出现频率F中第q-百分位值,并将集合O1中所有满足F<Fq的像素集作为目标像素机构成集合O2,这样便产生了第二步优化目标的检测结果;最后进行第三步优化工作,只需删除集合O2中的孤立像素并对满足8-邻域内有相邻点的像素区域进行合并,从而构成集合O3,于是集合O3便可以作为第三步优化目标的检测结果。
本发明作为一种海洋动态背景下视频小目标快速检测的结构张量方法,是通过以下步骤来实现的:
1)、首先先整理好所要处理的目标图像,并在每一单帧目标图像中,确定一幅需要提取特征量H的目标图像I,以及该目标图像I所在的区域ROI;
2)、在区域ROI内,对各通道中的每个像素求出其梯度x与y方向的两个像素分量值Ix、Iy,进而通过简单的平方运算,计算求出像素Ix2、Iy2的值;
3)、对区域ROI内求出的其各通道的像素Ix2、Iy2值分别求和,得到像素Ixx、Iyy;
4)、对区域ROI内求出的像素Ixx、Iyy进行Gause滤波,从而求得像素Ixx、Iyy,并根据像素Ixx与Iyy的值来确定区域ROI内每个像素的可能的特征量H;
5)、在根据计算所得到的各像素的特征量H的基础上,给出适当的p、q、δ值,(其中p、q介于0~100,一般可以取90<p<1000<q<15δ=(Hmax-Hmm)/n,n为大于10的正整数),并对目标图像I中给予特征量H的目标检测分三步进行优化;
6)、对目标图像的检测结果进行第一次优化,在区域ROI内选择出所有像素的特征量H中第p-百分位值上的特征量Hp来充当阈值Hp,并将特征量H与阈值Hp进行比较,当特征量H大于阈值Hp时,该特征量H所在的像素可以充当目标像素,并将所有符合条件的目标像素提取出来并构成一组集合O1,且为了便于计算δ的值,还需计算出在集合O1中像素的特征量H最大值Hmax及最小值Hmin;
7)、对目标图像的检测结果进行第二次优化,设集合O1中每个像素的特征量H相对应的区间[H-δ,H+δ]内出现集合O1的像素频次为频率F,并选择出所有频率F值中第q-百分位值上的频率Fq,来充当阈值FQ,在满足频率F小于阈值Fq的条件下,将满足该条件的全部集合O1提取出来并构成一组集合O2;
8)、对目标图像的检测结果进行第三次优化,删除集合O2中的孤立像素并对满足8-邻域内有相邻点的像素区域进行合并,将处理后的集合O2构成一组集合O3;
9)、选择出与目标图像I相邻的若干个相邻帧图像,通过上述步骤进行计算,得到各相邻帧图像的目标像素集合O3,并在这些集合O3中提取出共有的交集O,来充当最终的目标检测结果。
本发明的使用,可以有效快速的进行检测图像中特征量H的提取工作,另外由于对视频图像的检测使用了分步检测的方法,不仅大大减少了图像检测时的计算量,且由于每一步目标检测工作结束后,其检测结果所含的像素与之前的步骤相比都有了很大程度上的优化减少,从而与传统的图像快速检测方法相比,可以很大程度上提高整个检测过程中的效率,为此完全可以满足在海上搜救实时检测和性能方面的要求,具有很强的实用性。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述结构张量方法是通过以下步骤实现的:
2)优化目标图像I中基于特征量H的目标检测的结果,实现目标图像I中小目标的快速检测,主要包括如下的三个优化步骤:
(201)选择目标图像I中所有的特征量H中的第p百分位上的特征量Hp充当阈值Hp,从而提取特征量H大于阈值Hp的像素作为目标像素并构成集合O1;
(202)假设在集合O1中的特征量H相对应的区间[H-δ,H+δ]内,出现集合O1的像素频次为频率F,选取集合O1中所有像素的频率F中的第q百分位上的频率Fq为阈值Fq,从而提取满足条件频率F小于阈值Fq的集合O1构成集合O2;
(203)删除得到的集合O2中孤立的像素,并对满足8-邻域内有相邻点的像素区域进行合并构成集合O3;
3)取与目标图像I中相邻的若干个相邻帧的图像,使用步骤1)与步骤2)计算得到这些相邻图像的集合O3,并在这些集合O3中提取出那些共有的交集O,所述交集O便是小目标快速检测的最终结果。
2.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述目标图像I中特征量H的提取是通过以下步骤来实现的:
1)、首先先整理好所要处理的目标图像,并在每一单帧目标图像中,确定一幅需要提取特征量H的图像I,以及该图像I所在的区域ROI;
3.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述p值为介于0~100之间的整数。
4.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述q值为介于0~100之间的整数。
5.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述δ的值为(特征量Hmax—特征量Hmin)/n得到的值。
6.根据权利要求5所述的海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述特征量Hmax与特征量Hmin分别为集合O1中像素的特征量H的最大值与最小值。
7.根据权利要求5海洋动态背景下视频小目标快速检测的结构张量方法,其特征在于,所述n为一个大于10的正整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101138256A CN102087744B (zh) | 2010-02-25 | 2010-02-25 | 海洋动态背景下视频小目标快速检测的结构张量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101138256A CN102087744B (zh) | 2010-02-25 | 2010-02-25 | 海洋动态背景下视频小目标快速检测的结构张量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102087744A CN102087744A (zh) | 2011-06-08 |
CN102087744B true CN102087744B (zh) | 2012-07-25 |
Family
ID=44099533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101138256A Expired - Fee Related CN102087744B (zh) | 2010-02-25 | 2010-02-25 | 海洋动态背景下视频小目标快速检测的结构张量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102087744B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800086B (zh) * | 2012-06-21 | 2015-02-04 | 上海海事大学 | 一种海上场景显著性检测方法 |
CN103413320B (zh) * | 2013-08-30 | 2016-12-28 | 上海海事大学 | 一种港口污染物显著性检测方法 |
CN103729854B (zh) * | 2014-01-16 | 2016-08-17 | 重庆邮电大学 | 一种基于张量模型的红外弱小目标检测方法 |
CN105374026B (zh) * | 2015-10-09 | 2017-12-22 | 上海海事大学 | 一种适用于海防监控的海上红外小目标的检测方法 |
CN111882543B (zh) * | 2020-07-29 | 2023-12-26 | 南通大学 | 一种基于AA R2Unet和HMM的香烟滤棒计数方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430763A (zh) * | 2008-11-10 | 2009-05-13 | 西安电子科技大学 | 遥感图像中水上桥梁目标检测方法 |
CN101452075A (zh) * | 2008-12-30 | 2009-06-10 | 北京航空航天大学 | 基于平均周期的海上小目标检测方法 |
CN101604383A (zh) * | 2009-07-24 | 2009-12-16 | 哈尔滨工业大学 | 一种基于红外图像的海上目标检测方法 |
CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
-
2010
- 2010-02-25 CN CN2010101138256A patent/CN102087744B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430763A (zh) * | 2008-11-10 | 2009-05-13 | 西安电子科技大学 | 遥感图像中水上桥梁目标检测方法 |
CN101452075A (zh) * | 2008-12-30 | 2009-06-10 | 北京航空航天大学 | 基于平均周期的海上小目标检测方法 |
CN101604383A (zh) * | 2009-07-24 | 2009-12-16 | 哈尔滨工业大学 | 一种基于红外图像的海上目标检测方法 |
CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102087744A (zh) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hou et al. | A novel dark channel prior guided variational framework for underwater image restoration | |
CN102087744B (zh) | 海洋动态背景下视频小目标快速检测的结构张量方法 | |
Chen et al. | A novel color edge detection algorithm in RGB color space | |
CN104103082A (zh) | 一种基于区域描述和先验知识的图像显著性检测方法 | |
CN103839065A (zh) | 人群动态聚集特征提取方法 | |
JP2012104111A (ja) | 多角度の人間顔検知方法及びシステム | |
Sarangi et al. | Gray-level image enhancement using differential evolution optimization algorithm | |
CN106529543B (zh) | 一种动态计算多色级二值化自适应阈值的方法及其系统 | |
CN102201120A (zh) | 一种基于多特征的目标物体轮廓检测方法 | |
CN104966285A (zh) | 一种显著性区域的检测方法 | |
CN103955934A (zh) | 一种结合图像显著性区域分割的图像模糊检测算法 | |
Zhang et al. | Hand gesture detection and segmentation based on difference background image with complex background | |
CN106780545A (zh) | 一种结合时空域的弱小目标能量累积增强方法 | |
CN110599422A (zh) | 一种基于边缘保护的加权平均椒盐噪声降噪算法 | |
CN106022310B (zh) | 基于htg-hog和stg特征的人体行为识别方法 | |
Zhang et al. | Background suppression algorithm for infrared images based on Robinson guard filter | |
Abhayadev et al. | Multi-operator content aware image retargeting on natural images | |
Bai et al. | An improved ratio edge detector for target detection in SAR images | |
Li et al. | A modified histogram equalization approach for image contrast enhancement | |
Lai et al. | Novel mean-shift based histogram equalization using textured regions | |
Ni et al. | Online low-light sand-dust video enhancement using adaptive dynamic brightness correction and a rolling guidance filter | |
Wu et al. | Face detection based on YCbCr Gaussian model and KL transform | |
Zhang et al. | Image super-resolution reconstruction algorithm based on FSRCNN and residual network | |
Gao et al. | An X-ray image enhancement algorithm for dangerous goods in airport security inspection | |
Song et al. | Underwater image enhancement method based on dark channel prior and guided filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
DD01 | Delivery of document by public notice |
Addressee: Shanghai Maritime Univeristy Finance Document name: Notification of Approving Refund |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20150225 |
|
EXPY | Termination of patent right or utility model |