CN107392917B - 一种基于时空约束的视频显著性检测方法及系统 - Google Patents

一种基于时空约束的视频显著性检测方法及系统 Download PDF

Info

Publication number
CN107392917B
CN107392917B CN201710437947.2A CN201710437947A CN107392917B CN 107392917 B CN107392917 B CN 107392917B CN 201710437947 A CN201710437947 A CN 201710437947A CN 107392917 B CN107392917 B CN 107392917B
Authority
CN
China
Prior art keywords
energy
motion
representing
saliency
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710437947.2A
Other languages
English (en)
Other versions
CN107392917A (zh
Inventor
邹文斌
陈宇环
王振楠
李霞
徐晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710437947.2A priority Critical patent/CN107392917B/zh
Publication of CN107392917A publication Critical patent/CN107392917A/zh
Application granted granted Critical
Publication of CN107392917B publication Critical patent/CN107392917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于视频检测领域，提供了视频显著性检测方法，包括：对待检测当前帧进行超像素分割得到超像素分割后的当前帧，根据当前帧和上一帧，计算光流场运动估计并计算得到运动分布能量和运动边缘能量，根据当前帧和上一帧计算运动历史能量，并由上述特征和上一帧的显著图生成混合运动能量图；获得混合运动能量图的初始目标分割区域并提取可靠目标区域和可靠背景区域，根据可靠目标区域、可靠背景区域和混合运动能量图构建显著性全局优化模型并求解，当前帧的显著图。本发明实施例采用区域层的运动分布能量、边缘层的运动边缘能量、像素层的运动历史能量和上一帧显著图等多种运动特征和空间特征，增强了显著性检测的鲁棒性和稳定性。

Description

一种基于时空约束的视频显著性检测方法及系统
技术领域
本发明属于视频技术领域，尤其涉及一种基于时空约束的视频显著性检测方法及系统。
背景技术
显著性检测旨在预测视觉上相对引人注意的区域，其在视频分类、视频检索、视频摘要、场景理解、目标跟踪等领域有广泛的应用，是计算机视觉的基础和关键问题。由于运动信息是视频显著性检测的重要线索，因此不同于静态图像显著性检测只考虑空间信息，视频的显著性检测要同时考虑运动信息和空间信息。
如何提取显著目标的运动信息是视频显著性检测的关键问题。目前，大多数方法采用光流场估计显著目标的运动，然而光流场对于光照变化和局部扰动非常敏感，导致不稳定的运动估计结果；另外一些方法采用边缘检测和运动连续性来估计目标的运动，但在复杂背景下的鲁棒性不足。
此外，如何根据运动信息和空间信息建立整体的显著性检测框架是视频显著性检测的另一个重要议题。目前，大多数方法首先提取视频空间信息和运动信息，然后分别建立空域显著图和时域显著图，进而将两者进行线性融合或动态融合作为视频显著性检测结果。这种框架没有将运动信息和空间信息实质性的进行融合，而只是将运动信息生成的显著图作为空域显著图的先验信息或补充信息，在面对复杂场景时不能完整地凸显显著目标和有效抑制复杂背景。
发明内容
本发明所要解决的技术问题在于提供一种基于时空约束的视频显著性检测方法及系统，旨在解决现有视频显著性检测方法在复杂场景下鲁棒性不足的问题。
本发明是这样实现的，一种基于时空约束的视频显著性检测方法，包括：
对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合；
根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计；
根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量；
获取所述上一帧的显著图；
根据所述当前帧和所述上一帧，计算运动历史能量；
根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；
获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域；
根据所述可靠目标区域、所述可靠背景区域和所述混合运动能量图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
进一步地，所述获取所述上一帧的显著图之前，还包括：
判断所述上一帧是否为所述待检测视频的第一帧；
若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图；
若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图的步骤。
进一步地，所述对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧包括：
通过简单线性迭代聚类算法对所述待检测当前帧进行超像素分割，得到超像素分割后的当前帧；
则所述根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计包括：
根据超像素分割后得到所述当前帧和所述当前帧的上一帧，采用金字塔LK光流法计算所述当前帧的光流场运动估计。
进一步地，以ri表示所述超像素集合中索引为i的超像素，以N表示超像素集合的元素个数，以Pt(rj)表示超像素rj的平均空间位置，以mA(ri)表示ri与其它超像素之间的平均相似性度量，以μi表示超像素ri使用mA(ri)加权后的平均空间位置，以Md(ri)表示所述运动分布能量，则：
Figure BDA0001317641200000031
进一步地，根据所述光流场运动估计计算所述当前帧的运动边缘能量具体包括：
使用Sobel边缘检测器从所述光流场运动估计计算所述运动边缘能量。
进一步地，以γ表示平衡参数，其取值范围为[0,1]，以ri表示所述超像素集合中索引为i的超像素，以St-1表示所述上一帧的显著图，以Mh(ri)表示超像素ri的运动历史能量，以Me(ri)表示超像素ri的运动边缘能量，以Md(ri)表示超像素ri的运动分布能量，以M(ri)表示所述混合运动能量图，则：
Figure BDA0001317641200000032
进一步地，所述根据所述混合运动能量图计算初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域包括：
利用大津法，对所述混合运动能量图进行二值化处理，得到二值图像；
对所述二值图像进行数字图像形态学的开操作处理，得到所述初始目标分割区域；
计算所述初始目标分割区域中超像素的特征，所述特征包括二维空间位置、颜色特征和混合运动能量值，并以所述特征表示所述超像素集合中的超像素；
采用聚类的方法，从所述超像素集合中提取所述可靠目标区域和所述可靠背景区域。
进一步地，所述显著性全局优化模型表示为：
Figure BDA0001317641200000041
其中，E(S)表示目标能量函数，S＝{s1,s2,...,sN}表示待求解的超像素的显著性值序列，si的取值范围为[0,1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure BDA0001317641200000042
表示空间上相邻的超像素对的集合，Θ(S)＝k表示时空约束条件；
所述目标能量函数通过以下步骤获得：
分别对所述前景项、所述背景项和所述平滑项设计能量最小目标函数，将得到的三个能量最小目标函数组合形成所述目标能量函数，其中，以φ(si)表示所述前景项的能量最小目标函数，以Γ(si)表示所述背景项的能量最小目标函数，以ψ(si,sj)表示所述平滑项的能量最小目标函数，则：
Figure BDA0001317641200000043
其中，F(ri)为所述前景项中的前景先验，表示超像素ri属于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri,rj)为平滑假设，表示两个相邻超像素的表观相似度；
所述前景项中的前景先验F(ri)通过下述公式求得，即：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri和所述可靠目标区域中超像素的平均表观相似度；
所述背景项中的背景先验采用超像素ri和所述可靠背景区域中超像素的平均表观相似度表示。
进一步地，所述求解所述显著性全局优化模型得到所述当前帧的显著图包括：
通过受限最小二乘法求解所述显著性全局优化模型，得到所述当前帧的显著图。
本发明实施例还提供了一种基于时空约束的视频显著性检测系统，包括：
能量计算单元，用于对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合，根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计，根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量，获取所述上一帧的显著图，根据所述当前帧和所述上一帧，计算运动历史能量，根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；
显著图计算单元，用于获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域，根据所述可靠目标区域、所述可靠背景区域和所述混合能量运动图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
进一步地，所述能量计算单元具体用于：
提取所述当前帧的上一帧，并判断所述上一帧是否为所述待检测视频的第一帧，若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图，若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图的步骤；
还用于通过简单线性迭代聚类算法对所述待检测当前帧进行超像素分割，得到超像素分割后的当前帧，根据超像素分割后得到的所述当前帧和所述上一帧，采用金字塔LK光流法计算所述当前帧的光流场运动估计。
进一步地，以ri表示所述超像素集合中索引为i的超像素，以N表示超像素集合的元素个数，以Pt(rj)表示超像素rj的平均空间位置，以mA(ri)表示ri与其它超像素之间的平均相似性度量，以μi表示超像素ri使用mA(ri)加权后的平均空间位置，以Md(ri)表示所述运动分布能量，则：
Figure BDA0001317641200000061
进一步地，以γ表示平衡参数，其取值范围为[0,1]，以ri表示所述超像素集合中索引为i的超像素，以St-1表示所述上一帧的显著图，以Mh(ri)表示超像素ri的运动历史能量，以Me(ri)表示超像素ri的运动边缘能量，以Md(ri)表示超像素ri的运动分布能量，以M(ri)表示所述混合运动能量图，则：
Figure BDA0001317641200000062
进一步地，所述显著图计算单元具体用于：
利用大津法，对所述混合运动能量图进行二值化处理，得到二值图像，对所述二值图像进行数字图像形态学的开操作处理，得到所述初始目标分割区域，计算所述初始目标分割区域中超像素的特征，所述特征包括二维空间位置、颜色特征和混合运动能量值，并以所述特征表示所述超像素集合中的超像素，采用聚类的方法，从所述超像素集合中提取所述可靠目标区域和所述可靠背景区域。
进一步地，所述显著性全局优化模型表示为：
Figure BDA0001317641200000063
其中，E(S)表示目标能量函数，S＝{s1,s2,...,sN}表示待求解的超像素的显著性值序列，si的取值范围为[0,1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure BDA0001317641200000064
表示空间上相邻的超像素对的集合，Θ(S)＝k表示时空约束条件；
所述显著图计算单元通过以下步骤获取所述目标能量函数：
分别对所述前景项、所述背景项和所述平滑项设计能量最小目标函数，将得到的三个能量最小目标函数组合形成所述目标能量函数，其中，以φ(si)表示所述前景项的能量最小目标函数，以Γ(si)表示所述背景项的能量最小目标函数，以表示ψ(si,sj)所述平滑项的能量最小目标函数，则：
Figure BDA0001317641200000071
其中，F(ri)为所述前景项中的前景先验，表示超像素ri属于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri,rj)为平滑假设，表示两个相邻超像素的表观相似度；
所述前景项中的前景先验F(ri)通过下述公式求得，即：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri和所述可靠目标区域中超像素的平均表观相似度；
所述背景项中的背景先验采用超像素ri和所述可靠背景区域中超像素的平均相似度表示；
所述显著图计算单元还用于通过受限最小二乘法求解所述显著性全局优化模型，得到所述当前帧的显著图。
本发明与现有技术相比，有益效果在于：本发明实施例使用运动信息和空间信息建立混合运动能量，在此基础上提出基于多维特征聚类的可靠区域检测算法提取可靠显著目标与可靠背景区域，进而建立时空约束的显著性全局优化模型。在特征方面，本发明实施例采用区域层的运动分布能量、边缘层的运动边缘能量、像素层的运动历史能量和上一帧显著图等多种运动特征和空间特征，这些特征优劣互补增强了显著性检测的鲁棒性和稳定性。
附图说明
图1是本发明实施例提供的一种基于时空约束的视频显著性检测方法的流程图；
图2是本发明另一实施例提供的一种基于时空约束的视频显著性检测方法的流程图；
图3是本发明另一实施例提供的一种基于时空约束的视频显著性检测方法的使用效果图。
图4是本发明另一实施例提供的一种基于时空约束的视频显著性检测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种基于时空约束的视频显著性检测方法，包括：
S101，对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合。
在本步骤中，对待检测当前帧进行超像素分割可以采用简单线性迭代聚类算法(SLIC，Simple Linear Iterative Clustering)，但不限于此方法。超像素分割对待检测当前帧的一个预处理操作，进行超像素分割后得到超像素集合，后续步骤中的各种运动能量都是超像素级别的表示，因此在本步骤中需要先将待检测当前帧进行超像素分割，得到超像素分割后的当前帧。
S102，根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计。
在本步骤中，计算当前帧的光流场运动估计可以采用金字塔LK(Lucas-Kanade)光流法，但不限于此方法。
S103，根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量。
运动分布能量是区域层的运动特征，本实施例中提出并计算针对图像中每一个超像素ri的运动分布能量值，其定义如下式：
Figure BDA0001317641200000081
其中，ri表示所述超像素集合中索引为i的超像素，N表示超像素集合的元素个数，Pt(rj)表示超像素rj的平均空间位置，mA(ri)则是ri与其它超像素之间的平均相似性度量，μi表示超像素ri使用mA(ri)加权后的平均空间位置，Md(ri)表示所述运动分布能量。
运动边缘能量是边缘层的运动特征，其目的是提取运动目标的轮廓特征。可以使用Sobel边缘检测器从获取的光流场计算运动边缘能量，但不限于此方法。
S104，获取所述上一帧的显著图。
S105，根据所述当前帧和所述上一帧，计算运动历史能量。
具体地，运动历史能量是在像素层次上进行的图像变化检测，像素发生改变的时间越近其能量值越大，像素发生改变的时间越远则其对应的能量值越小。
S106，根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图。
在本步骤中，由上述各步骤提取的各种特征通过融合得到混合运动能量图。混合运动能量图的计算方法可以采用但不限于以下方法，以Mri表示所述混合运动能量图，则：
Figure BDA0001317641200000091
其中，γ表示平衡参数，其取值范围为[0,1]，ri表示所述超像素集合中索引为i的超像素，St-1表示所述上一帧的显著图，Mh为运动历史能量，表征图像最近的运动情况，其像素最近运动的时刻越接近当前帧，其值越高。Me和Md主要检测运动物体的边缘和运动的分布。而上述公式中Mh(ri)中的ri表示索引为i的超像素，Me(ri)表示超像素ri的运动边缘能量，Md(ri)表示超像素ri的运动分布能量。。
S107，获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域。
在本步骤中，可以采用但不限于以下方法计算初始目标分割区域：
第一步，利用大津法，对获得的混合运动能量图进行二值化操作，获得二值图像；
第二步，对二值图像进行数字图像形态学的开操作处理，获得初始目标分割区域。
在上述获得的初始目标分割区域的基础上，进行基于聚类的可靠目标区域和可靠背景区域提取，其步骤如下：
第一步，计算初始目标分割区域中超像素的多种特征，多种特征包括但不限于二维空间位置、颜色特征和混合运动能量值等，并以这些特征表示超像素；
第二步，采用聚类的方法，提取出所述超像素集合中可靠目标区域和可靠背景区域。
S108，根据所述可靠目标区域、所述可靠背景区域和所述混合运动能量图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
在本步骤中，利用上述步骤获得的可靠目标区域、可靠背景区域和混合运动能量，本实施例基于二次规划理论构建一个时空约束的最小化目标能量函数的显著性全局优化模型来计算视频帧的显著性值。本实施例提出的显著性全局优化模型定义如下：
Figure BDA0001317641200000101
其中，E(S)表示目标能量函数，S＝{s1,s2,...,sN}表示待求解的超像素的显著性值序列，si的取值范围为[0,1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure BDA0001317641200000102
表示空间上相邻的超像素对的集合，Θ(S)＝k表示时空约束条件。
目标能量函数的定义：
本实施例中针对前景项、背景项和平滑项分别设计相应的能量最小目标函数，将得到的三个能量最小目标函数组合于一个目标能量函数E(S)中。该目标能量函数的分项设计如下：
Figure BDA0001317641200000111
其中，F(ri)为所述前景项中的前景先验，表示超像素ri属于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri,rj)为平滑假设，表示两个相邻超像素的表观相似度。
前景项中的前景先验F(ri)的计算方法可以采用但不限于以下方法：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri所述可靠目标区域中超像素的平均表观相似度；
背景项中的背景先验wb(ri)可以采用超像素ri和所得的可靠背景区域中超像素的平均表观相似度表示，但不限于此方法。
时空约束条件的定义：
本实施例以超像素为数据节点建立无向连接图，将可靠目标区域和可靠背景区域作为正负样本标签，基于半监督学习理论把约束条件构建成时空置信度传播模型，为显著值的传播提供支撑。
需要注意的是，在本实施例中，模型中前景项、背景项、平滑项和约束条件都可依据不同的前景或背景先验对它们进行加权设计，具备通用性和灵活性。
在本步骤中，显著性全局优化模型的求解是一个凸二次优化问题，可通过受限最小二乘法进行求解。
在本实施例中的具体使用中，需要两个视频帧进行迭代计算，体现在：①当前帧的显著图计算需要上一帧的显著图；②当前帧光流场的生成也需要上一视频帧，即两个视频帧生成一个光流场。
待检测视频中首帧(第一帧)的显著图不能计算，因为没有上一帧的信息，因此没办法计算上一帧的显著图，并且不能生成光流场；
待检测视频中的第二帧是可以计算显著图，但因为第一帧没有计算出显著图，因此其计算的输入少了“上一帧的显著图”，具体计算流程如图2所示。
待检测视频从第三帧开始，按照上述图1所示的流程进行计算。
图3示出了通过本发明提供的上述实施例进行运算后得到的一个实例，其中图3a表示当前帧，图3b表示上一帧，图3c表示上一帧的显著图，图3d表示运动分布能量，图3e表示运动边缘能量，图3f表示运动历史能量，图3g表示混合运动能量，图3h表示可靠区域，图3i表示当前帧的显著图。在本实施例中，“能量”，其实质上是数值的集合，每一个数值对应一个像素或超像素的能量值；所说的“能量图”，只是对这种能量值的可视化，能量值越强颜色越白，能量值越小颜色越黑。
图4示出了本发明实施例提供的一种基于时空约束的视频显著性检测系统，包括：
能量计算单元401，用于对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合，根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计，根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量，获取所述上一帧的显著图，根据所述当前帧和所述上一帧，计算运动历史能量，根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；
显著图计算单元402，用于获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域，根据所述可靠目标区域、所述可靠背景区域和所述混合能量运动图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
进一步地，能量计算单元401具体用于：
提取所述当前帧的上一帧，并判断所述上一帧是否为所述待检测视频的第一帧，若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图，若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图的步骤；
还用于通过简单线性迭代聚类算法对所述待检测当前帧进行超像素分割，得到超像素分割后的当前帧，根据超像素分割后得到的所述当前帧和所述上一帧，采用金字塔LK光流法计算所述当前帧的光流场运动估计。
进一步地，以ri表示所述超像素集合中索引为i的超像素，以N表示超像素集合的元素个数，以Pt(rj)表示超像素rj的平均空间位置，以mA(ri)表示ri与其它超像素之间的平均相似性度量，以μi表示超像素ri使用mA(ri)加权后的平均空间位置，以Md(ri)表示所述运动分布能量，则：
Figure BDA0001317641200000131
进一步地，以γ表示平衡参数，其取值范围为[0,1]，以ri表示所述超像素集合中索引为i的超像素，以St-1表示所述上一帧的显著图，Mh(ri)中的ri表示索引为i的超像素，以Me(ri)表示超像素ri的运动边缘能量，以Md(ri)表示超像素ri的运动分布能量，以M(ri)表示所述混合运动能量图，则：
Figure BDA0001317641200000132
进一步地，显著图计算单元402具体用于：
利用大津法，对所述混合运动能量图进行二值化处理，得到二值图像，对所述二值图像进行数字图像形态学的开操作处理，得到所述初始目标分割区域，计算所述初始目标分割区域中超像素的特征，所述特征包括二维空间位置、颜色特征和混合运动能量值，并以所述特征表示所述超像素集合中的超像素，采用聚类的方法，从所述超像素集合中提取所述可靠目标区域和所述可靠背景区域。
进一步地，所述显著性全局优化模型表示为：
Figure BDA0001317641200000133
其中，E(S)表示目标能量函数，S＝{s1,s2,...,sN}表示待求解的超像素的显著性值序列，si的取值范围为[0,1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure BDA0001317641200000141
表示空间上相邻的超像素对的集合，Θ(S)＝k表示时空约束条件；
显著图计算单元402通过以下步骤获取所述目标能量函数：
分别对所述前景项、所述背景项和所述平滑项设计能量最小目标函数，将得到的三个能量最小目标函数组合形成所述目标能量函数，其中，以φ(si)表示所述前景项的能量最小目标函数，以Γ(si)表示所述背景项的能量最小目标函数，以表示ψ(si,sj)所述平滑项的能量最小目标函数，则：
Figure BDA0001317641200000142
其中，F(ri)为所述前景项中的前景先验，表示超像素ri属于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri,rj)为平滑假设，表示两个相邻超像素的表观相似度；
所述前景项中的前景先验F(ri)通过下述公式求得，即：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri和所述可靠目标区域中超像素的平均表观相似度；
所述背景项中的背景先验采用超像素ri和所述可靠背景区域中超像素的平均相似度表示；
显著图计算单元402还用于通过受限最小二乘法求解所述显著性全局优化模型，得到所述当前帧的显著图。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于时空约束的视频显著性检测方法，其特征在于，包括：
对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合；
根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计；
根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量；
获取所述上一帧的显著图；
根据所述当前帧和所述上一帧，计算运动历史能量；
根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；
获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域；
根据所述可靠目标区域、所述可靠背景区域和所述混合运动能量图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
2.如权利要求1所述的视频显著性检测方法，其特征在于，所述获取所述上一帧的显著图之前，还包括：
判断所述上一帧是否为所述待检测视频的第一帧；
若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图；
若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合能量运动图的步骤。
3.如权利要求1所述的视频显著性检测方法，其特征在于，所述对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧包括：
通过简单线性迭代聚类算法对所述待检测当前帧进行超像素分割，得到超像素分割后的当前帧；
则所述根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计包括：
根据超像素分割后得到所述当前帧和所述当前帧的上一帧，采用金字塔LK光流法计算所述当前帧的光流场运动估计。
4.如权利要求1所述的视频显著性检测方法，其特征在于，以ri表示所述超像素集合中索引为i的超像素，以N表示超像素集合的元素个数，以Pt(rj)表示超像素rj的平均空间位置，以mA(ri)表示ri与其它超像素之间的平均相似性度量，以μi表示超像素ri使用mA(ri)加权后的平均空间位置，以Md(ri)表示所述运动分布能量，则：
Figure FDA0003091944760000021
5.如权利要求1所述的视频显著性检测方法，其特征在于，根据所述光流场运动估计计算所述当前帧的运动边缘能量具体包括：
使用Sobel边缘检测器从所述光流场运动估计计算所述运动边缘能量。
6.如权利要求1所述的视频显著性检测方法，其特征在于，以γ表示平衡参数，其取值范围为[0，1]，以ri表示所述超像素集合中索引为i的超像素，以St-1表示所述上一帧的显著图，以Mh(ri)表示超像素ri的运动历史能量，以Me(ri)表示超像素ri的运动边缘能量，以Md(ri)表示超像素ri的运动分布能量，以M(ri)表示所述混合运动能量图，则：
Figure FDA0003091944760000022
7.如权利要求6所述的视频显著性检测方法，其特征在于，所述根据所述混合运动能量图计算初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域包括：
利用大津法，对所述混合运动能量图进行二值化处理，得到二值图像；
对所述二值图像进行数字图像形态学的开操作处理，得到所述初始目标分割区域；
计算所述初始目标分割区域中超像素的特征，所述特征包括二维空间位置、颜色特征和混合运动能量值，并以所述特征表示所述超像素集合中的超像素；
采用聚类的方法，从所述超像素集合中提取所述可靠目标区域和所述可靠背景区域。
8.如权利要求7所述的视频显著性检测方法，其特征在于，所述显著性全局优化模型表示为：
Figure FDA0003091944760000031
Figure FDA0003091944760000032
其中，E(S)表示目标能量函数，S＝{s1，s2，...，sN}表示待求解的超像素的显著性值序列，si的取值范围为[0，1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure FDA0003091944760000035
表示空间上相邻的超像素对的集合，Θ(S)＝K表示时空约束条件；
所述目标能量函数通过以下步骤获得：
分别对所述前景项、所述背景项和所述平滑项设计能量最小目标函数，将得到的三个能量最小目标函数组合形成所述目标能量函数，其中，以φ(si)表示所述前景项的能量最小目标函数，以Γ(si)表示所述背景项的能量最小目标函数，以ψ(si，sj)表示所述平滑项的能量最小目标函数，则：
Figure FDA0003091944760000033
Figure FDA0003091944760000034
Ψ(si，sj)＝wij(ri，rj)(si-sj)2
其中，F(ri)为所述前景项中的前景先验，表示超像素ri于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri，rj)为平滑假设，表示两个相邻超像素的表观相似度；
所述前景项中的前景先验F(ri)通过下述公式求得，即：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri和所述可靠目标区域中超像素的平均表观相似度；
所述背景项中的背景先验采用超像素ri和所述可靠背景区域中超像素的平均表观相似度表示。
9.如权利要求1所述的视频显著性检测方法，其特征在于，所述求解所述显著性全局优化模型得到所述当前帧的显著图包括：
通过受限最小二乘法求解所述显著性全局优化模型，得到所述当前帧的显著图。
10.一种基于时空约束的视频显著性检测系统，其特征在于，包括：
能量计算单元，用于对待检测视频的待检测当前帧进行超像素分割，得到超像素分割后的当前帧和超像素集合，根据所述当前帧和所述当前帧的上一帧，计算光流场运动估计，根据所述光流场运动估计计算所述当前帧的运动分布能量和运动边缘能量，获取所述上一帧的显著图，根据所述当前帧和所述上一帧，计算运动历史能量，根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图；
显著图计算单元，用于获得所述混合运动能量图的初始目标分割区域，从所述初始目标分割区域中提取可靠目标区域和可靠背景区域，根据所述可靠目标区域、所述可靠背景区域和所述混合运动能量图构建时空约束的显著性全局优化模型，求解所述显著性全局优化模型得到所述当前帧的显著图。
11.如权利要求10所述的视频显著性检测系统，其特征在于，所述能量计算单元具体用于：
提取所述当前帧的上一帧，并判断所述上一帧是否为所述待检测视频的第一帧，若是，则根据所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图，若否，则执行所述根据所述上一帧的显著图、所述运动分布能量、所述运动边缘能量和所述运动历史能量生成混合运动能量图的步骤；
还用于通过简单线性迭代聚类算法对所述待检测当前帧进行超像素分割，得到超像素分割后的当前帧，根据超像素分割后得到的所述当前帧和所述上一帧，采用金字塔LK光流法计算所述当前帧的光流场运动估计。
12.如权利要求10所述的视频显著性检测系统，其特征在于，以ri表示所述超像素集合中索引为i的超像素，以N表示超像素集合的元素个数，以Pt(rj)表示超像素rj的平均空间位置，以mA(ri)表示ri与其它超像素之间的平均相似性度量，以μi表示超像素ri使用mA(ri)加权后的平均空间位置，以Md(ri)表示所述运动分布能量，则：
Figure FDA0003091944760000051
13.如权利要求10所述的视频显著性检测系统，其特征在于，以γ表示平衡参数，其取值范围为[0，1]，以ri表示所述超像素集合中索引为i的超像素，以St-1表示所述上一帧的显著图，以Mh(ri)表示超像素ri的运动历史能量，以Me(ri)表示超像素ri的运动边缘能量，以Md(ri)表示超像素ri的运动分布能量，以M(ri)表示所述混合运动能量图，则：
Figure FDA0003091944760000052
14.如权利要求13所述的视频显著性检测系统，其特征在于，所述显著图计算单元具体用于：
利用大津法，对所述混合运动能量图进行二值化处理，得到二值图像，对所述二值图像进行数字图像形态学的开操作处理，得到所述初始目标分割区域，计算所述初始目标分割区域中超像素的特征，所述特征包括二维空间位置、颜色特征和混合运动能量值，并以所述特征表示所述超像素集合中的超像素，采用聚类的方法，从所述超像素集合中提取所述可靠目标区域和所述可靠背景区域。
15.如权利要求14所述的视频显著性检测系统，其特征在于，所述显著性全局优化模型表示为：
Figure FDA0003091944760000061
Figure FDA0003091944760000062
其中，E(S)表示目标能量函数，S＝{s1，s2，...，sN}表示待求解的超像素的显著性值序列，si的取值范围为[0，1]，N表示所述超像素集合的元素个数，Φ表示前景项，Γ表示背景项，Ψ表示平滑项，
Figure FDA0003091944760000066
表示空间上相邻的超像素对的集合，Θ(S)＝K表示时空约束条件；
所述显著图计算单元通过以下步骤获取所述目标能量函数：
分别对所述前景项、所述背景项和所述平滑项设计能量最小目标函数，将得到的三个能量最小目标函数组合形成所述目标能量函数，其中，以φ(si)表示所述前景项的能量最小目标函数，以Γ(si)表示所述背景项的能量最小目标函数，以表示ψ(si，sj)所述平滑项的能量最小目标函数，则：
Figure FDA0003091944760000063
Figure FDA0003091944760000064
Ψ(si，sj)＝wij(ri,rj)(si-sj)2
其中，
Figure FDA0003091944760000065
为所述前景项中的前景先验，表示超像素ri属于前景的概率大小，wb(ri)为所述背景项中的背景先验，表示超像素ri属于背景的概率大小，wij(ri，rj)为平滑假设，表示两个相邻超像素的表观相似度；
所述前景项中的前景先验F(ri)通过下述公式求得，即：
F(ri)＝A(ri)M(ri)；
其中，M(ri)表示超像素ri的混合运动能量，A(ri)表示超像素ri和所述可靠目标区域中超像素的平均表观相似度；
所述背景项中的背景先验采用超像素ri和所述可靠背景区域中超像素的平均相似度表示；
所述显著图计算单元还用于通过受限最小二乘法求解所述显著性全局优化模型，得到所述当前帧的显著图。
CN201710437947.2A 2017-06-09 2017-06-09 一种基于时空约束的视频显著性检测方法及系统 Active CN107392917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710437947.2A CN107392917B (zh) 2017-06-09 2017-06-09 一种基于时空约束的视频显著性检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710437947.2A CN107392917B (zh) 2017-06-09 2017-06-09 一种基于时空约束的视频显著性检测方法及系统

Publications (2)

Publication Number Publication Date
CN107392917A CN107392917A (zh) 2017-11-24
CN107392917B true CN107392917B (zh) 2021-09-28

Family

ID=60333340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710437947.2A Active CN107392917B (zh) 2017-06-09 2017-06-09 一种基于时空约束的视频显著性检测方法及系统

Country Status (1)

Country Link
CN (1) CN107392917B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223370A1 (zh) * 2017-06-09 2018-12-13 深圳大学 一种基于时空约束的视频显著性检测方法及系统
CN108229336B (zh) * 2017-12-13 2021-06-04 北京市商汤科技开发有限公司 视频识别及训练方法和装置、电子设备、程序和介质
CN110210277B (zh) * 2018-05-22 2022-12-09 安徽大学 一种运动目标空洞填充算法
CN109242885B (zh) * 2018-09-03 2022-04-26 南京信息工程大学 一种基于时空非局部正则的相关滤波视频跟踪方法
CN111311603B (zh) * 2018-12-12 2024-08-16 北京京东乾石科技有限公司 用于输出目标物体数目信息的方法和装置
CN109905778B (zh) * 2019-01-03 2021-12-03 上海大学 基于组稀疏编码的单个非结构化视频的可扩展缩略的方法
CN109902565B (zh) * 2019-01-21 2020-05-05 深圳市烨嘉为技术有限公司 多特征融合的人体行为识别方法
CN110111357B (zh) * 2019-04-03 2023-02-07 天津大学 一种视频显著性检测方法
CN110348369B (zh) * 2019-07-08 2021-07-06 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质
CN110765863B (zh) * 2019-09-17 2022-05-17 清华大学 一种基于时空约束的目标聚类方法及系统
CN111881915B (zh) * 2020-07-15 2022-07-15 武汉大学 一种基于多种先验信息约束的卫星视频目标智能检测方法
CN115630191B (zh) * 2022-12-22 2023-03-28 成都纵横自动化技术股份有限公司 基于全动态视频的时空数据集检索方法、装置及存储介质
CN115953419A (zh) * 2023-03-09 2023-04-11 天津艾思科尔科技有限公司 一种基于超像素分析的动态视频检测预处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095996A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于时空显著性检测的多传感器视频融合方法
CN104869421A (zh) * 2015-06-04 2015-08-26 北京牡丹电子集团有限责任公司数字电视技术中心 基于全局运动估计的视频显著性检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法
CN106778776A (zh) * 2016-11-30 2017-05-31 武汉大学深圳研究院 一种基于位置先验信息的时空域显著度检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286237B (zh) * 2008-05-22 2010-04-14 重庆大学 基于视觉仿生的运动目标检测方法
US20120328161A1 (en) * 2011-06-22 2012-12-27 Palenychka Roman Method and multi-scale attention system for spatiotemporal change determination and object detection
CN102281385B (zh) * 2011-08-16 2013-03-27 上海交通大学 基于运动视频的周期运动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095996A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于时空显著性检测的多传感器视频融合方法
CN104869421A (zh) * 2015-06-04 2015-08-26 北京牡丹电子集团有限责任公司数字电视技术中心 基于全局运动估计的视频显著性检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法
CN106778776A (zh) * 2016-11-30 2017-05-31 武汉大学深圳研究院 一种基于位置先验信息的时空域显著度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于改进四元傅里叶变换的显著性";李富生等;《计算机应用研究》;20150531;第32卷(第5期);第1540-1544页 *

Also Published As

Publication number Publication date
CN107392917A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107392917B (zh) 一种基于时空约束的视频显著性检测方法及系统
Xu et al. Depth information guided crowd counting for complex crowd scenes
Yun et al. Scene conditional background update for moving object detection in a moving camera
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
Anthwal et al. An overview of optical flow-based approaches for motion segmentation
CN106462975A (zh) 用于对象跟踪和经由背景跟踪进行分割的方法和装置
Ait Abdelali et al. An adaptive object tracking using Kalman filter and probability product kernel
Zhu et al. Shadow removal with background difference method based on shadow position and edges attributes
Chan et al. On the hardware/software design and implementation of a high definition multiview video surveillance system
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Shao et al. Cast shadow detection based on the YCbCr color space and topological cuts
Xie et al. 3D surface segmentation from point clouds via quadric fits based on DBSCAN clustering
Zhou et al. Dynamic background subtraction using spatial-color binary patterns
Jiang et al. An optimized higher order CRF for automated labeling and segmentation of video objects
WO2018223370A1 (zh) 一种基于时空约束的视频显著性检测方法及系统
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
Luo et al. Crowd counting for static images: a survey of methodology
Li et al. Multitarget tracking of pedestrians in video sequences based on particle filters
Zhou et al. Real-time detection and spatial segmentation of difference image motion changes
Marfil et al. Real-time object tracking using bounded irregular pyramids
Lindstrom et al. Background and foreground modeling using an online EM algorithm
Alexey et al. 3d semantic representation of actions from effcient stereo-image-sequence segmentation on gpus
Wu et al. Segmenting moving objects from a freely moving camera with an effective segmentation cue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant