CN106780505B - 基于区域能量的超像素显著目标检测方法 - Google Patents

Abstract

一种基于区域能量的超像素显著目标检测方法，其内容是：将输入的待观测视频信息解码为RGB格式的独立图像帧序列；设定显著算法参数，通过显著算法提取显著区域；设定区域能量算法参数，确定水平方向预估计能量阈值和垂直方向预估计能量阈值，对显著区域进行目标区域阈值划分，提取显著检测目标大致区域；计算能量显著区域的能量集中程度；设定超像素分割输入参数，对图像帧进行超像素分割，得到超像素分割图；根据能量聚集度，从超像素分割图中提取满足能量聚集度的超像素区域构成最终显著目标结果，实现显著目标检测过程。本发明能够有效地去除背景信息，提取观测目标，不但能够为目标跟踪及识别提供更有效的特征信息判据。

Description

基于区域能量的超像素显著目标检测方法

技术领域

本发明属于显著目标检测技术领域，具体的说是一种基于区域能量的超像素显著目标检测方法。

技术背景

显著目标检测技术作为视频处理领域中的基础技术，在计算机视觉的多个领域有着广泛的应用。目前，显著目标检测技术主要是通过构建视觉显著模型进行显著性分析，从而确定显著目标。Schauerte等人提出利用显著性构建自底向下模型，模拟人眼视觉机制，使用一个变焦旋转摄像机有指向性地检测显著目标，同时引入对尺度不变性特征的学习模式不断校准显著目标检测结果。 Jun-Yan，Zhu等人提出一种无人监督目标检测方法，通过显著性检测将无人监督学习转变为多实例学习，强调辨识力来解决无人监督问题，运用Disc-EM与 MIL-Boost模型间的联系，训练目标检测器，通过多类别目标检测有效地改善现有目标检测方法。国防科技大学研究生院信息与工程学院的杨俊提出基于内容相关度的视觉显著性表述，将图像显著事件分为弱、强相关事件，结合人造目标检测模型与区域分割算法进行显著目标检测。

现有显著目标检测技术虽然能够获取目标位置，但是由于检测结果中包含非主体背景冗余信息而扩大轮廓、纹理特征的识别范围，或者仅检测出目标局部而丢失大量重要特征缩小识别区域的情形，这些不准确的目标特征无法为后续处理提供精确目标参数信息，致使目标识别、目标跟踪、行人检测、行为分析等计算过程失效。对于现有显著目标检测技术，其主要问题在于无法精确地提取轮廓及纹理特征，只能获取显著目标的大致区域，包含大量背景冗余信息，对于显著目标检测技术的优化主要采用更加复杂的优化学习算法来提高准确度，但这样大大降低算法的处理能力，无法实时检测目标。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种基于区域能量的超像素显著目标检测方法。本发明用超像素分割技术来解决显著目标检测时出现的非主体特征或局部特征干扰问题，在计算量较低的条件下，利用超像素分割法处理有效获取显著目标主体，从而突出被观测目标的主体内容，为其他特征提取算法提供有益的特征信息区域。

超像素分割算法，就是按照一定的相似性准则将图像划分成超像素块，能够很好地保持图像边界，有效提取结构纹理特征，大幅度降低后续处理的计算机复杂度，可将超像素分割作为显著目标检测结果的辅助优化手段。目前，超像素分割算法主要分为两类，基于图论的算法和基于梯度上升的算法。前者的基本思想是将分割问题转化为能量函数最小化问题，将图像中的像素点看作图节点，并赋予节点间的边以权值，而后采用各种分割准则对图像进行划分，从而形成超像素；后者的基本思想是从最初的像素聚类开始，采用梯度法迭代修正聚类结果直至满足收敛条件，从而形成超像素。

本发明的基于区域能量的超像素显著目标检测方法，利用区域能量算法指导超像素分割区域优化显著目标检测结果，是一种自适应、非学习的优化算法。该算法通过区域能量算法对显著算法提取出的显著区域进行处理，计算能量集中区域，根据能量集中区域的能量聚集度提取出显著目标的超像素分割结果，从而获得较精确的显著目标轮廓区域，该算法计算复杂度低、不用离线学习算法，也无需先验信息，可方便应用到视频图像处理，无需考虑运动目标前后帧间的运动关系，提取出的目标轮廓信息稳定可靠，具有一定的工程实用价值，作为计算机视觉、机器人视觉领域特征提取预处理手段，为后续跟踪识别技术处理提供重要技术支撑。

为解决上述存在的技术问题，本发明是通过以下技术方案实现的。

一种基于区域能量的超像素显著目标检测方法，该方法内容具体包括如下步骤：

第1步，将输入的待观测视频信息解码为RGB格式的独立图像帧序列，该图像帧序列的分辨率尺寸保持与原有输入视频分辨率相同；

第2步，设定显著算法参数，通过显著算法提取显著区域；

第3步，设定区域能量算法参数，确定水平方向预估计能量阈值P_THX和垂直方向预估计能量阈值P_THY，其中{P_THX∈Z|P_THX≥0}，{P_THY∈Z|P_THY≥0}，水平方向预估计能量阈值P_THX和垂直方向预估计能量阈值P_THY根据移动摄像头镜头与被测物间的距离来决定，该距离可由红外传感器或者激光传感器获得；对显著区域进行目标区域阈值划分，提取显著检测目标大致区域，记为能量显著区域R_E；

第4步，计算能量显著区域的能量集中程度，记为能量聚集度e(R_E)，当能量显著区域数量为1时，获取该区域能量聚集度；当能量显著区域数量多于1 个时，取面积最大的两个能量显著区域，获取这两个区域的并集区域作为最终能量显著区域来计算能量聚集度；

第5步，设定超像素分割输入参数，对图像帧进行超像素分割，得到超像素分割图；

第6步，根据第4步得到能量聚集度，从第5步超像素分割图中提取满足能量聚集度的超像素区域构成最终显著目标结果，实现显著目标检测过程。

本发明解决了现有显著目标检测技术中，所检测目标区域含有大量外延信息，无法提取明确轮廓和纹理的问题。本发明提供的一种基于区域能量的超像素显著目标检测算法。通过采用复杂度低、传统的显著区域提取算法和超像素分割算法，在无需离线学习的条件下，通过区域能量算法指导超像素分割区域优化显著目标检测结果，大大增强显著目标检测技术的有效性与实时性，能够提供更加精确的目标轮廓纹理信息，为后续目标中心点计算、色彩与局部特征提取等算法提供必要预处理保障。

通过采用上述技术方案，本发明提供的一种基于区域能量的超像素显著目标检测方法，与现有技术相比具有这样的有益效果：

现行显著目标检测技术只能够获取目标位置，检测结果中包含非主体背景冗余信息，不能提取准确目标特征，无法为后续处理提供精确目标参数信息，致使目标识别、目标跟踪、行人检测、行为分析等计算过程失效。同时，现有优化算法通常采用更加复杂的优化学习算法来提高准确度，但这样大大降低算法的处理能力，无法实时检测目标。

本发明采用超像素分割算法，有效分割显著目标主体，解决了显著目标检测出现非主体特征或局部特征干扰问题。通过区域能量算法指导超像素分割来优化显著目标检测结果，减小计算复杂度，能够获得精确的目标位置，提取显著目标主体，突出被观测目标主体内容，为其他特征提取算法提供有益的特征信息，

本发明在实际运算中，主要以图像时频域变换以及区域能量统计等计算为主，无需进行学习训练等复杂运算过程，计算复杂度低，是一种自适应、非学习的优化算法，便于快速及时检测显著目标，可应用于视频处理场景中，对目标持续跟踪。对摄像机本身的运动状态要求不高，能够适用于摄像机静止或匀速平移的情况，同时，对目标的运动状态无太多要求，目标在匀速、变速以及不连续运动的情况下，都能够准确地检测到单个显著目标。

本发明能够有效地去除非主体背景冗余信息，保留重要特征，突出被观测目标的主体内容，为后续处理提供精确目标参数信息，不用离线学习算法，也无需先验信息，可方便应用到视频图像处理，无需考虑运动目标的前后帧间的运动关系，提取出的目标轮廓信息稳定可靠，具有一定的工程实用价值，作为计算机视觉、机器人视觉领域特征提取预处理手段，为后续跟踪识别技术处理提供重要技术支撑。

附图说明

图1是基于区域能量超像素显著目标检测方法原理逻辑图；

图2是摄像机静止拍摄办公室内单目标运动的显著目标检测实施结果示意图；

图3是摄像机手持拍摄办公室内单目标运动的显著目标检测实施结果示意图；

图4是USB摄像头静止拍摄办公室内单目标运动的显著目标检测实施结果示意图；

图5是摄像机静止拍摄中厅室内单目标运动的显著目标进程实施结果示意图；

图6 是摄像机静止拍摄走廊单目标运动的显著目标进程实施结果示意图；

图7 是摄像机平移拍摄走廊单目标慢速运动的显著目标进程实施结果示意图；

具体实施方式

下面结合附图与具体实施方式对本发明进行进一步详细描述：

一种基于区域能量的超像素显著目标检测方法，其方法原理逻辑图如图1 所示，该方法具体实施步骤如下：

第1步：将输入的待观测视频信息解码为RGB格式的独立图像序列，分辨率与输入视频保持一致；

第2步：设定跳帧数，读入当前图像帧F；第3步：输入显著算法参数，通过显著算法对图像帧F进行显著特征检测，得到显著区域二值图像结果F_SR；

第4步，对显著图像F_SR，根据水平方向预估计能量阈值P_THX和垂直方向预估计能量阈值P_THY，进行水平方向和垂直方向能量阈值划分计算，得到能量显著区域R_E；

第5步：判定能量显著区域个数，能量显著区域R_E数量为1时，计算该区域能量聚集度e(R_E)；能量显著区域R_E数量多于1个时，取面积最大的两个R_E的并集作为最终R_E来计算能量聚集度e(R_E)；

第6步：输入超像素算法参数，对图像帧F进行超像素分割处理，得到超像素分割结果F_SP；

第7步：找出超像素分割结果F_SP中满足能量聚集度e(R_E)的超像素区域块，确定最终显著目标，获得最终显著目标检测结果R；

第8步：根据跳帧数，读取下一帧图像帧作为输入，循环执行第2～6步，直到读取完视频的最后一帧，终止循环，实现结束。

实施例1：

摄像机静止拍摄，办公室内单个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，办公室内单个运动显著目标检测。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野内，一个人物目标按照0.6m/s的速度，由远及近走入摄像机视野。此视频主要针对室内场景或者拍摄背景不运动的情况，但是，背景中包含桌子、椅子、电脑等室内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸1920×1080。预估计阈值P_THX＝40，P_THY＝20。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图2所示。图2-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图2-(2)所示；经过超像素分割，得到超像素区域，如图2-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图2-(4)所示。

实施例2：

摄像机手持平移拍摄，办公室内单个目标运动情况

本实施例将本发明应用于摄像机手持拍摄状态下，办公室内单个运动显著目标检测。在此条件下，摄像机采取手持式，以0.5m/s的速度匀速平移，在镜头的视野外，一个人物目标按照0.6m/s的速度，摄像机视野内由右至左运动。此视频主要针对手持摄像机平移、室内场景相对于镜头发生移动的情况，同时，由于手持摄像机，拍摄视频存在抖动，背景中包含桌子、椅子、电脑等室内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸1920×1080。预估计阈值P_THX＝70，P_THY＝10。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图3所示。图3-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图3-(2)所示；经过超像素分割，得到超像素区域，如图3-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图3-(4)所示。

实施例3：

USB摄像机静止拍摄，办公室内单个目标运动情况

本实施例将本发明应用于USB摄像机静止拍摄状态下，办公室内单个运动显著目标检测。在此条件下，USB摄像机固定于支架上，水平拍摄，在镜头的视野内，一个人物目标按照0.6m/s的速度，在摄像机视野内由左至右运动。此视频主要针对室内场景或者拍摄背景不运动的情况，但是，背景中包含桌子、椅子、电脑等室内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸640×480。预估计阈值P_THX＝90，P_THY＝10。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图4所示。图4-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图4-(2)所示；经过超像素分割，得到超像素区域，如图4-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图4-(4)所示。

实施例4：

摄像机静止拍摄，中厅室内单个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，中厅室内单个运动显著目标检测。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野内，一个人物目标按照0.6m/s的速度，由远及近走入摄像机视野。此视频主要针对室内场景或者拍摄背景不运动的情况，但是，背景中包含挂画、门窗等中厅室内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸1920×1080。预估计阈值P_THX＝90，P_THY＝20。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图5所示。图5-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图5-(2)所示；经过超像素分割，得到超像素区域，如图5-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图5-(4)所示。

实施例5：

摄像机静止拍摄，走廊单个目标运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，中厅室内单个运动显著目标检测。在此条件下，摄像机采取手持式，以0.5m/s的速度匀速水平平移，在镜头的视野外，一个人物目标按照0.6m/s的速度，在摄像机视野内由右至左运动。此视频主要针对室内场景或者拍摄背景不运动的情况，但是，背景中包含挂画、门、地脚线等走廊内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸1920×1080。预估计阈值P_THX＝90，P_THY＝20。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图6所示。图6-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图6-(2)所示；经过超像素分割，得到超像素区域，如图6-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图6-(4)所示。

实施例6：

摄像机手持平移拍摄，走廊内单个目标慢速运动情况

本实施例将本发明应用于摄像机静止拍摄状态下，中厅室内单个运动显著目标检测。在此条件下，摄像机安装并固定于某机器人或者三脚架顶部，水平拍摄，在镜头的视野外，一个人物目标按照0.2m/s的速度，由远及近走入摄像机视野。此视频主要针对室内场景或者拍摄背景不运动的情况，但是，背景中包含挂画、门、地脚线等走廊内常见家具物品，与人物服饰、衣着无关，在拍摄期间，光照度不发生剧烈变化，本实施例不涉及夜视等微光特殊环境。

实施例参数说明：视频格式MP4，视频帧数60帧，视频图像尺寸1920×1080。预估计阈值P_THX＝90，P_THY＝20。

本实施例以第1帧、第10帧、第20帧、第30帧、第40帧和第50帧为例，结果如图7所示。图7-(1)为解码后的输入视频帧；经过显著算法提取显著区域而得到的二值化显著图，如图7-(2)所示；经过超像素分割，得到超像素区域，如图7-(3)所示；通过区域能量算法，划分能量显著区域，计算能量聚集度，结合超像素区域，最终获得显著目标，如图7-(4)所示。

Claims (1)

1.一种基于区域能量的超像素显著目标检测方法，其特征在于：该方法具体实施步骤如下：

第1步：将输入的待观测视频信息解码为RGB格式的独立图像序列，分辨率与输入视频保持一致；

第2步：设定跳帧数，读入当前图像帧F；

第3步：输入显著算法参数，通过显著算法对图像帧F进行显著特征检测，得到显著区域二值图像结果F_SR；

第4步，对显著图像F_SR，根据水平方向预估计能量阈值P_THX和垂直方向预估计能量阈值P_THY，进行水平方向和垂直方向能量阈值划分计算，得到能量显著区域R_E；

第5步：判定能量显著区域个数，能量显著区域R_E数量为1时，计算该区域能量聚集度e(R_E)；能量显著区域R_E数量多于1个时，取面积最大的两个R_E的并集作为最终R_E来计算能量聚集度e(R_E)；

第6步：输入超像素算法参数，对图像帧F进行超像素分割处理，得到超像素分割结果F_SP；

第7步：找出超像素分割结果F_SP中满足能量聚集度e(R_E)的超像素区域块，确定最终显著目标，获得最终显著目标检测结果R；

第8步：根据跳帧数，读取下一帧图像帧作为输入，循环执行第2～6步，直到读取完视频的最后一帧，终止循环，实现结束。