CN102087744A - 海洋动态背景下视频小目标快速检测的结构张量方法 - Google Patents

Abstract

本发明公开了一种海洋动态背景下视频小目标快速检测的结构张量方法，在实施时，主要在目标图像I中提取处可能的特征量H的基础上，再对目标图像I进行基于特征量H的目标检测方法的处理，并分三步优化目标检测的过程，将这个检测结果与目标图像I相邻图像的检测结果相结合，从而提取出最终的目标检测结果。本发明的使用，可以很好的实现在海洋动态的背景条件下进行小目标的快速检测方法，且本发明不单单提高了图像处理时的运行速度，还可以进一步保证目标检测的实时性、有效性和视频图像的流畅性的特点。

Description

海洋动态背景下视频小目标快速检测的结构张量方法

技术领域

本发明涉及机器视觉领域，特别是涉及一种用于在动态背景视频处理的条件下，实现目标图像中小目标快速检测的结构张量方法。

背景技术

在视频处理领域中所涉及的快速目标检测方法，主要是一种根据目标与其所处背景的特征差异，从而依靠设各种快速检测算法寻找出可能的目标。尤其是现在，在视频处理中使用的快速目标检测方法常被用于对目标进行实时的跟踪。目前，在使用传统的快速检测方法来搜索目标时，通常都基于下列前提条件：背景相对于目标而言是相对静止的；或者目标与背景的灰度或颜色有较大差异。但在现实生活中便会出现这样的问题，当目标与背景的状态呈相对运动时，或者不能完全有效的保持相对的静止状态时，使用传统的快速检测方法对可能的目标进行检测便会出现效果不太理想的问题；而当目标与背景的灰度或颜色差异不明显时，也会出现使用传统的快速检测方法无法进行有效检测的问题。为此，目标特征的有效选择对据此设计出的检测算法之性能具有重大影响。

且目前在视频处理领域中还会使用结构张量方法，作为一种高效的目标特征量的提取方法来补充传统快速检测方法的不足，其基本思想是：根据不同的物体其局部的纹理结构特征的不同，实现通过高效提取目标局部的方向性结构信息的方法，进行目标的有效区分。这是由于现实中的物体，有些局部的纹理明显、有些局部的纹理隐约、有些局部的纹理细密、有些局部的纹理粗疏；且纹理分布时的方向性也会有所差异，这些差异虽然也受成像环境的影响，但相对来说这些特征在区别不同物体时更加有效。这种结构张量方法，从实际效果看，其在局部方向性结构信息提取方面表现甚佳。该方法具体过程是：假设图像(或视频帧)有n个通道，先对每个通道图像中的每个像素逐点提取梯度，其x与y方向的两分量值分别为I_x，I_y。然后求出每个像素n个通道的n个结构张量矩阵

(即张量积)，并将这n个矩阵相加得到每个像素的张量矩阵S。而后对S(每个元素)进行Gause滤波(降低噪声的影响)，得到每个像素的结构张量矩阵S记为。最后求出每个像素相应的矩阵S的两个特征值λ₁，λ₂(λ₁≥λ₂)及特征向量α₁，α₂，进而根据特征值λ₁，λ₂及特征向量α₁，α₂对该点局部的纹理结构进行进一步的判断。从理论上说由S的特征值λ₁，λ₂可得如下结论：

1)λ₁＝λ₂＝0，此时该点局部无纹理结构特征。

2)λ₁＞0，λ₂＝0，此时该点局部有单一方向的纹理结构特征。

3)λ₁＞0，λ₂＞0，此时该点局部有多方向的纹理结构特征，即该点是角点。

从上可知，结构张量方法只是一种提取每个像素局部结构特征的方法，并不是一种整体目标检测的方法；其次，求解特征值与特征向量要遍历图像的每个像素，所需的计算量很大，会消耗大量处理时间。对视频图像来说，所需处理的数据量很大，对处理的实时性要求比较高。因此，需要构造新的特征量以避免直接求解特征值与特征向量，从而避免目标特征提取时较大的时间消耗。进而据此发明一种快速的目标检测方法。本发明的应用背景是根据落水人员的视频进行目标检测，即采用机器视觉技术寻找落水的人员。此时对算法的实时性要求较高，需要达到8fps以上。另外，此时检测的目标都是些小目标，背景及目标都是动态的。传统的目标检测的方法或因时效性差，或因目标与背景呈相对的动态，或因目标太小，以致无法实现快速有效的目标检测。

发明内容

本发明所要解决的技术问题在于提供一种海洋动态背景下视频小目标快速检测的结构张量方法，以解决现有图像目标在使用传统快速检测方法进行检测时所遇到使用性方面的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：

海洋动态背景下视频小目标快速检测的结构张量方法，所述结构张量方法是通过以下步骤实现的：

1)在目标图像I及其所在区域ROI中，通过区域ROI中各通道像素的结构张量的算法，提取出每个像素的特征量H来，且所述特征量H是在目标图像I区域ROI内各通道中的像素结构张量矩阵S的主对角线元素之和；

2)优化目标图像I中基于特征量H的目标检测的结果，实现目标图像I中小目标的快速检测，主要包括如下的三个优化步骤：

(201)选择目标图像I中所有的特征量H中的第p-百分位上的特征量H_p充当阈值H_p，从而提取特征量H大于阈值H_p的像素作为目标像素并构成集合O₁；

(202)假设在集合O₁中的特征量H相对应的区间[H-δ，H+δ]内，出现集合O₁的像素频次为频率F，选取集合O₁中所有像素的频率F中的第q-百分位上的频率F_q为阈值F_q，从而提取满足条件频率F小于阈值F_q的集合O₁构成集合O₂；

(203)删除得到的集合O₂中孤立的像素，并对满足8-邻域内有相邻点的像素区域进行合并构成集合O₃；

3)取与目标图像I中相邻的若干个相邻帧的图像，使用步骤1)与步骤2)计算得到这些相邻图像的集合O₃，并在这些集合O₃中提取出那些共有的交集O，所述交集O便是小目标快速检测的最终结果。

所述目标图像I中特征量H的提取是通过以下步骤来实现的：

1)、首先先整理好所要处理的目标图像，并在每一单帧目标图像中，确定一幅需要提取特征量H的图像I，以及该图像I所在的区域ROI；

2)、在特征量H的区域ROI内，对各通道内每个像素求出其梯度x与y方向的两个像素分量值Ix、Iy，进而计算出像素Ix²、Iy²的值；

3)、对特征量H的区域ROI内各通道的像素Ix²、Iy²值分别求和，得到像素I_xx、I_yy；

4)、对特征量H的区域ROI内每个像素的I_xx、I_yy进行滤波，从而求得像素I_xx、I_yy，并根据像素I_xx与I_yy的值来提取出区域ROI内每个像素可能的特征量H。

所述p值为介于0～100之间的整数。

所述q值为介于0～100之间的整数。

所述δ的值为(特征量H_max-特征量H_min)/n得到的值。

所述特征量H_max与特征量H_min分别为集合O₁中像素的特征量H的最大值与最小值。

所述n为一个大于10的正整数。

本发明的使用可以大大加快视频图像中特征量H的有效提取，从而加快对视频图像目标的检测工作；且在对于视频图像目标的检测工作的优化时，采用三步优化步骤进行优化，这样不仅可以大大减少整个过程的计算量，而且每一步检测结果所含的像素与之前相比都有很大的减少，从而能够实现快速有效地检测；更可以完全满足海上搜救的实时检测和性能的要求，具有很强的实用价值。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明中图像目标总的检测流程图。

图2为本发明中特征量H提取算法的流程图。

图3为本发明中单帧图像小目标的快速检测算法的流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明为一种海洋动态背景下视频小目标快速检测的结构张量方法，主要针对传统目标检测方法在提取特征量时计算量大，耗时较长，或提取的特征量无法满足海洋动态背景下检测小目标的需要等缺点，而进行的改良设计。

本发明在实施时，会遇到两个问题，其中之一便是如何高效的对目标图像特征量H进行提取，另一个便是如何实现对小目标图像进行有效的快速检测。

为此在特征量H提取的选择上，可以以传统目标检测方法为框架进行操作，尤其根据目标图像各个特征量的性质不同，来进行简单的区分。比如在背景技术中所述的λ₁，λ₂，为经Gause滤波后结构张量矩阵S的特征值。可以设特征量H＝λ₁+λ₂，记

且

可以通过Jordan分解的方法，有效的分解成

这样可以看出：

$H={\mathrm{\λ}}_1+{\mathrm{\λ}}_2=\mathrm{trace}\begin{array}{c}\end{array}\left(\begin{array}{c}P\left[\begin{array}{cc}{\mathrm{\λ}}_1& \\ & {\mathrm{\λ}}_2\end{array}\right]\end{array}{P}^{-1}\right)=\mathrm{trace}\left(\begin{array}{c}\left[\begin{array}{cc}{\stackrel{\‾}{I}}_{\mathrm{xx}}& {\stackrel{\‾}{I}}_{\mathrm{xy}}\\ {\stackrel{\‾}{I}}_{\mathrm{xy}}& {\stackrel{\‾}{I}}_{\mathrm{yy}}\end{array}\right]\end{array}\right)={\stackrel{\‾}{I}}_{\mathrm{xx}}+{\stackrel{\‾}{I}}_{\mathrm{yy}}.$

从而，得到一个H＝I_xx+I_yy就是每像素的结构张量对角线元素的之和(并进行Gause滤波处理)的结论。我们将选择特征量H作为所提取的特征量。这样只需计算I_xx，I_yy；避免了计算I_xy，同时也节省了因计算S的全部特征值，所需要消耗的大量时间。由于H＝λ₁+λ₂，由上述背景技术可知，H值较小时(接近于零)，该点局部无明显的纹理结构特征。而H值较大时，该点局部具有较丰富的纹理结构特征。以H作为所提取的特征量可以达到目标特征提取快速，并保持其使用的有效性。

至于小目标图像的快速检测方法在运用时，由于考虑到本发明的应用背景是根据落水人员的视频进行目标检测，即采用机器视觉技术寻找落水的人员。此时对算法的实时性要求较高，需要达到8fps以上，且检测的目标都是一些小目标，背景与目标间的运动状态呈相对动态的。为此，在实际运用时，首先可以从提取的单个视频帧中每个像素的特征量H开始，由于所要检测的目标为小目标(如海面上远处落水的人员)，在图像中目标自身与背景之间梯度向量模较大，从而目标像素附近具有较丰富的纹理结构，因此目标像素附近的特征量H较大。事实上，人眼之所以能够将观察到的目标与背景分别开也与此相关。设图像中所有像素的特征量H的第p-百分位值记为H_p。选取适当的p，一般可取p≥90，所有满足H＞H_p的像素作为目标像素的第一步检测结果O₁，O₁中还含有许多背景像素(如海浪等)，这些背景像素的特征量H出现频率会很高，与小目标处像素有根本的不同。把O₁中背景像素排除即可得到更好的检测结果。即把O₁中特征量H出现频率较高的像素剔除后，所得像素作为第二步的检测结果O₂，删除O₂中的孤立像素并对满足一定条件的像素区域进行合并，作为第三步的检测结果O₃。最后，对几个相邻视频帧重复上述过程，取它们检测结果的公共部分作为最终检测结果O。

如图1所示，为本发明图像目标总的检测流程图。从这些流程步骤中可以看到，本发明在使用时，为了实现其高效准确与快速提取的特点，在把所要处理的图像需提取出特征量H的基础上，还需对图像那基于特征量H的目标检测方法，通过三步优化的方法依次进行优化，来加快目标检测的速度。

为此，如图2所示，可以实现特征量H的快速的初步提取。根据该流程图，只需在特征量H提取前，先确定好所要提取特征量H的图像I以及其区域ROI，然后对区域ROI每个通道中的像素求Ix与Iy的数值，进而通过各通道像素Ix2与Iy2之和的值来求得像素Ixx与Iyy的值，然后只需对像素Ixx与Iyy经行简单的Gause滤波后分别相加求得特征量H。

如图3所示，可以实现单帧图像小目标的快速检测。根据该流程图，可以将快速提取出来的初步特征量H分三个步骤进行简单的优化，首先先确定p、q、与δ的值，然后对所需处理图像的所有像素特征量H进行第一步优化，即取特征量H中第p-百分位值H_p为阈值，并将那些特征量H大于阈值H_p的像素作为目标像素构成集合O₁，这样便形成了第一步优化目标的检测结果；接着进行第二步优化工作，在计算得到的集合O₁中，尤其是与每个像素的特征量H相对应的区间[H-δ，H+δ]内，出现O₁中像素的频率为F，为此可以设Fq为集合O₁中所有像素的出现频率F中第q-百分位值，并将集合O₁中所有满足F＜F_q的像素集作为目标像素机构成集合O₂，这样便产生了第二步优化目标的检测结果；最后进行第三步优化工作，只需删除集合O₂中的孤立像素并对满足8-邻域内有相邻点的像素区域进行合并，从而构成集合O₃，于是集合O₃便可以作为第三步优化目标的检测结果。

本发明作为一种海洋动态背景下视频小目标快速检测的结构张量方法，是通过以下步骤来实现的：

1)、首先先整理好所要处理的目标图像，并在每一单帧目标图像中，确定一幅需要提取特征量H的目标图像I，以及该目标图像I所在的区域ROI；

2)、在区域ROI内，对各通道中的每个像素求出其梯度x与y方向的两个像素分量值I_x、I_y，进而通过简单的平方运算，计算求出像素Ix²、Iy²的值；

3)、对区域ROI内求出的其各通道的像素Ix²、Iy²值分别求和，得到像素I_xx、I_yy；

4)、对区域ROI内求出的像素I_xx、I_yy进行Gause滤波，从而求得像素I_xx、I_yy，并根据像素I_xx与I_yy的值来确定区域ROI内每个像素的可能的特征量H；

5)、在根据计算所得到的各像素的特征量H的基础上，给出适当的p、q、δ值，(其中p、q介于0～100，一般可以取90＜p＜1000＜q＜15δ＝(H_max-H_mm)/n，n为大于10的正整数)，并对目标图像I中给予特征量H的目标检测分三步进行优化；

6)、对目标图像的检测结果进行第一次优化，在区域ROI内选择出所有像素的特征量H中第p-百分位值上的特征量H_p来充当阈值H_p，并将特征量H与阈值H_p进行比较，当特征量H大于阈值H_p时，该特征量H所在的像素可以充当目标像素，并将所有符合条件的目标像素提取出来并构成一组集合O₁，且为了便于计算δ的值，还需计算出在集合O₁中像素的特征量H最大值H_max及最小值H_min；

7)、对目标图像的检测结果进行第二次优化，设集合O1中每个像素的特征量H相对应的区间[H-δ，H+δ]内出现集合O1的像素频次为频率F，并选择出所有频率F值中第q-百分位值上的频率F_q，来充当阈值F_Q，在满足频率F小于阈值F_q的条件下，将满足该条件的全部集合O₁提取出来并构成一组集合O₂；

8)、对目标图像的检测结果进行第三次优化，删除集合O₂中的孤立像素并对满足8-邻域内有相邻点的像素区域进行合并，将处理后的集合O₂构成一组集合O₃；

9)、选择出与目标图像I相邻的若干个相邻帧图像，通过上述步骤进行计算，得到各相邻帧图像的目标像素集合O₃，并在这些集合O₃中提取出共有的交集O，来充当最终的目标检测结果。

本发明的使用，可以有效快速的进行检测图像中特征量H的提取工作，另外由于对视频图像的检测使用了分步检测的方法，不仅大大减少了图像检测时的计算量，且由于每一步目标检测工作结束后，其检测结果所含的像素与之前的步骤相比都有了很大程度上的优化减少，从而与传统的图像快速检测方法相比，可以很大程度上提高整个检测过程中的效率，为此完全可以满足在海上搜救实时检测和性能方面的要求，具有很强的实用性。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.海洋动态背景下视频小目标快速检测的结构张量方法，其特征在于，所述结构张量方法是通过以下步骤实现的：

1)在目标图像I及其所在区域ROI中，通过区域ROI中各通道像素的结构张量的算法，提取出每个像素的特征量H来，且所述特征量H是在目标图像I区域ROI内各通道中的像素结构张量矩阵S的主对角线元素之和；

2)优化目标图像I中基于特征量H的目标检测的结果，实现目标图像I中小目标的快速检测，主要包括如下的三个优化步骤：

(201)选择目标图像I中所有的特征量H中的第p-百分位上的特征量H_p充当阈值H_p，从而提取特征量H大于阈值H_p的像素作为目标像素并构成集合O₁；

(202)假设在集合O₁中的特征量H相对应的区间[H-δ，H+δ]内，出现集合O₁的像素频次为频率F，选取集合O₁中所有像素的频率F中的第q-百分位上的频率F_q为阈值F_q，从而提取满足条件频率F小于阈值F_q的集合O₁构成集合O₂；

(203)删除得到的集合O₂中孤立的像素，并对满足8-邻域内有相邻点的像素区域进行合并构成集合O₃；

3)取与目标图像I中相邻的若干个相邻帧的图像，使用步骤1)与步骤2)计算得到这些相邻图像的集合O₃，并在这些集合O₃中提取出那些共有的交集O，所述交集O便是小目标快速检测的最终结果。

2.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法，其特征在于，所述目标图像I中特征量H的提取是通过以下步骤来实现的：

1)、首先先整理好所要处理的目标图像，并在每一单帧目标图像中，确定一幅需要提取特征量H的图像I，以及该图像I所在的区域ROI；

2)、在特征量H的区域ROI内，对各通道内每个像素求出其梯度x与y方向的两个像素分量值I_x、I_y，进而计算出像素I_x ²、I_y ²的值；

3)、对特征量H的区域ROI内各通道的像素I_x ²、I_y ²值分别求和，得到像素I_xx、I_yy；

4)、对特征量H的区域ROI内每个像素的I_xx、I_yy进行滤波，从而求得像素I_xx、I_yy，并根据像素I_xx与I_yy的值来提取出区域ROI内每个像素可能的特征量H。

3.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法，其特征在于，所述p值为介于0～100之间的整数。

4.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法，其特征在于，所述q值为介于0～100之间的整数。

5.根据权利要求1所述的海洋动态背景下视频小目标快速检测的结构张量方法，其特征在于，所述δ的值为(特征量H_max-特征量H_min)/n得到的值。

6.根据权利要求5所述的所述δ的值，其特征在于，所述特征量H_max与特征量H_min分别为集合O₁中像素的特征量H的最大值与最小值。

7.根据权利要求5所述的δ的值，其特征在于，所述n为一个大于10的正整数。

Images