CN106875396A - 基于运动特性的视频显著区的提取方法和装置 - Google Patents

基于运动特性的视频显著区的提取方法和装置 Download PDF

Info

Publication number
CN106875396A
CN106875396A CN201611233165.9A CN201611233165A CN106875396A CN 106875396 A CN106875396 A CN 106875396A CN 201611233165 A CN201611233165 A CN 201611233165A CN 106875396 A CN106875396 A CN 106875396A
Authority
CN
China
Prior art keywords
image
notable
area
target
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611233165.9A
Other languages
English (en)
Other versions
CN106875396B (zh
Inventor
周莺
龙玥
梁永生
赵立霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Information Technology
Original Assignee
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Information Technology filed Critical Shenzhen Institute of Information Technology
Priority to CN201611233165.9A priority Critical patent/CN106875396B/zh
Publication of CN106875396A publication Critical patent/CN106875396A/zh
Application granted granted Critical
Publication of CN106875396B publication Critical patent/CN106875396B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于运动特性的视频显著区的提取方法和装置，从目标视频中获取待提取图像，从该待提取图像的空域显著图中提取多个目标图像显著区，并对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。在提取视频显著区时，加入了反映运动连贯性的运动特性因子，使提取的视频显著区更加准确。同时，减少了计算量，节省了计算时间和运算资源，提高了运算效率。

Description

基于运动特性的视频显著区的提取方法和装置
技术领域
本发明属于视频领域，尤其涉及一种基于运动特性的视频显著区的提取方法和装置。
背景技术
视频显著区为某段视频中，具有显著性的区域。通常，通过视频显著区可以准确的对视频中的各种信息进行分析，如视频语音分析、目标识别以及视频编码。
现有技术中，通常利用视觉注意模型(Visual Attention Model，VAM)提取视频中单帧图像的显著区，即提取视频中单帧图像的亮度、颜色或方向，并以提取的亮度、颜色或方向作为视频显著区。然而，现有的视频显著区的提取方法仅仅将视频中单帧图像的亮度、颜色或方向作为该视频的图像显著区，忽略了视频中各帧图像之间的运动的连贯性，从而导致提取到的视频显著区不准确。
发明内容
本发明提供一种基于运动特性的视频显著区的提取方法和装置，旨在解决提取的视频显著区不准确的问题。
本发明提供一种基于运动特性的视频显著区的提取方法，从目标视频中获取待提取图像，从该待提取图像的空域显著图中提取多个目标图像显著区，并对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
本发明提供一种基于运动特性的视频显著区的提取装置，该装置包括获取模块、提取模块、运算模块和叠加模块；
获取模块用于从目标视频中获取待提取图像，提取模块用于从该待提取图像的空域显著图中提取多个目标图像显著区，运算模块用于对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，叠加模块用于将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
本发明提供了一种基于运动特性的视频显著区的提取方法和装置，从目标视频中获取待提取图像，从该待提取图像的空域显著图中提取多个目标图像显著区，并对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。本发明与现有技术相比，有益效果在于：在提取视频显著区时，加入了能反映运动连贯性的运动特性因子，可以使提取的视频显著区更加准确。同时，只需计算目标图像显著区的运动特性因子，大大减少了计算量，节省了计算时间和运算资源，提高了运算效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1是本发明第一实施例提供的一种基于运动特性的视频显著区的提取方法的实现流程示意图；
图2是本发明第二实施例提供的一种基于运动特性的视频显著区的提取方法的实现流程示意图；
图3是本发明第二实施例提供的一种待提取图像的空域显著图；
图4是本发明第二实施例提供的空域显著图中的图像显著区经二值化处理后的图像；
图5是本发明第三实施例提供的一种基于运动特性的视频显著区的提取装置的结构示意图；
图6是本发明第四实施例提供的一种基于运动特性的视频显著区的提取装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于运动特性的视频显著区的提取方法可以应用于各种终端设备，如电脑、手机、平板电脑等终端以及其它终端。
请参阅图1，图1为本发明第一实施例提供的一种基于运动特性的视频显著区的提取方法的实现流程示意图，图1所示的基于运动特性的视频显著区的提取方法主要包括以下步骤：
S101、从目标视频中获取待提取图像。
该目标视频为视频中包含同一场景的多帧图像组成的视频。该目标视频可以为视频的一部分，也可以为视频的全部。
S102、从该待提取图像的空域显著图中提取多个目标图像显著区，并对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子。
该目标图像显著区为该待提取图像具有显著性的区域。该运动特性因子用于表示该目标图像显著区的运动连贯性。
S103、根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区。
该相似度用于表示两个图像显著区的运动特性因子的相似性。
S104、将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
本发明实施例中，从目标视频中获取待提取图像，从该待提取图像的空域显著图中提取多个目标图像显著区，并对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。这样，在提取视频显著区时，加入了能反映运动连贯性的运动特性因子，可以使提取的视频显著区更加准确。同时，只需计算目标显著区的运动特性因子，大大减少了计算量，节省了计算时间和运算资源，提高了运算效率。
请参阅图2，图2为本发明第二实施例提供的一种基于运动特性的视频显著区的提取方法的实现流程示意图，可应用于所有具有显示功能的显示图像装置中，图1所示的基于运动特性的视频显著区的提取方法主要包括以下步骤：
S201、从目标视频中获取待提取图像。
该目标视频为视频中包含同一场景的多帧图像组成的视频。该目标视频可以为视频的一部分或全部。该待提取图像为该目标视频中的图像。
S202、对该待提取图像进行冗余运算，得到该待提取图像的空域显著图。
进一步地，对该待提取图像进行冗余运算，得到该待提取图像的空域显著图，具体包括：
对该待提取图像进行频谱冗余运算，得到该待提取图像的频谱冗余。
设该待提取图像为第i帧，该待提取图像的频谱冗余为R(i)，则，
R(i)＝A(i)-I(i)；
其中，I(i)＝A(i)×hn(i),A(i)为对数振幅谱，hn(i)为n×n的均值滤波器，为频域对数谱，g(i)为高斯滤波函数。
对该待提取图像的频谱冗余和该待提取图像的相位谱进行谱冗余运算，得到该待提取图像的空域显著图。
设SS(i)为该待提取图像的空域显著图，则，
其中，为傅立叶反变换，P(i)为该待提取图像的相位谱。
如图3所示，图3示出了本发明实施例中该待提取图像的空域显著图，其中，灰度值越大的区域，显著性越高。
S203、将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该目标图像显著区。
设r(f)为空域显著图中的目标图像显著区，则，
其中，threshold为预置灰度值，threshold＝E(SS(f))*3，f为空域显著图中的灰度值，E(SS(f))为该空域显著图SS(i)的平均灰度密度值，r(f)＝1表示该区域为目标图像显著区，r(f)＝0表示该区域为非目标图像显著区。
为了便于说明，将图3所示的空域显著图中的目标图像显著区按照预置灰度临界值进行二值化处理，得到图4，图4为对该空域显著图中的目标图像显著区经二值化处理后的图像，其中，图4所示的白色区域为该目标图像显著区所在的位置。
S204、在该目标图像显著区中提取运动目标，并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到该目标图像显著区的相对运动矢量强度和背景运动矢量强度。
进一步地，在该目标图像显著区中提取运动目标，具体包括：
将该目标图像显著区中的块与参考目标图像显著区中的块进行比对；
选取在该目标图像显著区和该参考目标图像显著区中出现频率最多的块；
将该目标图像显著区中的块减去该出现频率最多的块，并将该目标图像显著区中剩下的块作为运动目标。
该参考目标图像显著区为该待提取图像的前一帧图像中与该目标图像显著区位置相同的区域。设(x0，y0)为该目标图像显著区中的运动目标的坐标，则，
(xo,yo)＝(x',y')-mod e(x',y')
其中，(x′，y′)为该目标图像显著区中块的坐标。mod e(x',y')表示出现频率最大的块。
其中，(x，y)为该参考目标图像显著区中的块。a1为缩小参数，a2为放大参数，a3为逆时针旋转参数，a4为顺时针旋转参数，a5为水平移动参数，a6为垂直移动参数。根据最小误差函数以及迭代最小二乘法，可求出a1、a2、a3、a4、a5和a6的值。
最小误差函数的公式为：
迭代最小二乘法的公式为：
和
其中，xi’和yi’为目标图像显著区中的运动目标的坐标、xi和yi分别表示参考目标图像显著区中运动目标的坐标。
分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算，分别得到该目标图像显著区的相对运动矢量强度和背景运动矢量强度。
设表示该运动目标(x0，y0)的运动矢量，则，
其中，为绝对运动矢量，为背景运动矢量，为相对运动矢量，则，该目标图像显著区的相对运动矢量强度vr和背景运动矢量强度vb分别为：
在实际应用中，该目标图像显著区中的绝对运动矢量背景运动矢量和相对运动矢量的值均可以通过全局运动估计法获得。
S205、对该相对运动矢量强度和该背景运动矢量强度进行加权运算，得到该目标图像显著区的运动因子。
设Mv为该目标图像显著区的运动因子，则，
Mv＝(1-ωb)vr+ωbvb
其中，ωb为该目标图像显著区中背景运动矢量强度的权重，
ωb＝ω1b×ωZb×ω3b
其中，Nb为该目标图像显著区中背景运动矢量不为0的宏块个数，N(s)为该目标图像显著区的宏块总数，vbx和vby分别为背景运动矢量的横坐标和纵坐标，NkB为背景运动矢量非零的宏块个数，sib为背景运动矢量方向中各非空的维度，N(si)为各个维度内运动矢量不为零的宏块个数，i≤36。
S206、将该目标图像显著区的运动因子与该目标视频中的目标图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到该目标图像显著区的运动特性因子。
设ωM为该目标图像显著区的运动特性因子，则，
其中，Mmax为该目标视频中的目标图像显著区的运动因子的最大值，α为调节常数且α>1，通过非线性拟合和数值分析，设α＝2。
S207、根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区。
进一步地，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，具体包括：
在该多个目标图像显著区中，选取相邻的两个目标图像显著区。
将该相邻的两个目标图像显著区的运动特性因子的最大值与该相邻的两个目标图像显著区的运动特性因子的差值的绝对值进行减法运算，得到目标值。
将该目标值与该相邻的两个目标图像显著区的运动特性因子的最大值进行除法运算，并将得到的商作为该相邻的两个目标图像显著区的相似度。
设Smotion(ri，rj)为相邻的两个目标图像显著区的相似度，则
其中，ri，rj表示相邻的两个目标图像显著区，和表示该相邻的两个目标图像显著区的运动特性因子，为和的最大值。
在实际应用中，目标图像显著区ri会存在多个相近的目标图像显著区，则在该多个相近的目标图像显著区中选取与该目标图像显著区ri相隔的像素点最少的目标图像显著区作为与该目标图像显著区ri相邻的目标图像显著区。如，与ri相近的目标图像显著区有r1、r2和r3，其中，ri与r1、r2和r3分别相隔0、1和2个像素点，则ri和r1为相邻的目标图像显著区。其中，该相隔的像素点为两个目标图像显著区之间最近的区域相隔的像素点。
将该相似度大于预置相似度的两个相邻的目标图像显著区进行合并，得到该待提取图像的图像显著区。
该预置相似度为预置的相似度，该预置相似度可以按照实际情况进行设置，可以将该相似度的最大值作为预置相似度，也可以将具体的相似度值作为该预置相似度。需要说明的是，将相似度大于预置相似度的两个相邻图像显著区合并后的区域为该待提取图像的图像显著区，设r(i)为该待提取图像的图像显著区，则，
r(i)＝{rx，rx∈ri∪rj}
其中，{rx，rx∈ri∪rj}表示对相似度大于该预置相似度的目标图像显著区进行合并。
S208、将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
需要说明的是，该目标视频的视频显著区由具有相同场景的该待提取图像叠加而成。这样，在实际应用中，通过提取该视频显著区可以准确的对该目标视频中的语音进行分析，或对该目标视频中的目标进行识别。
本发明实施例中，从目标视频中获取待提取图像，对该待提取图像进行谱冗余运算，得到该待提取图像的空域显著图。将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该目标图像显著区，在该目标图像显著区中提取运动目标，并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到该目标图像显著区的相对运动矢量强度和背景运动矢量强度，对该相对运动矢量强度和该背景运动矢量强度进行加权运算，得到该目标图像显著区的运动因子，将该目标图像显著区的运动因子与该目标视频中的图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到该目标图像显著区的运动特性因子，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。这样，在提取视频显著区时，加入了能反映运动连贯性的运动特性因子，可以使提取的视频显著区更加准确。同时，只需计算目标显著区的运动特性因子，大大减少了计算量，节省了计算时间和运算资源，提高了运算效率。
请参阅图5，图5是本发明第三实施例提供的一种基于运动特性的视频显著区的提取装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图5示例的视频显著区提取装置可以是前述图1和图2所示实施例提供的视频显著区提取方法的执行主体，可以是视频显著区提取装置中的一个控制模块。图5示例的视频质量评价装置，主要包括：获取模块501、提取模块502、运算模块503和叠加模块504。以上各功能模块详细说明如下：
获取模块501，用于从目标视频中获取待提取图像。
该目标视频为视频中包含同一场景的多帧图像组成的视频。该目标视频可以为视频的一部分或全部。该待提取图像为该目标视频中的图像。
提取模块502，用于从该待提取图像的空域显著图中提取多个目标图像显著区；
该目标图像显著区为该待提取图像具有显著性的区域。该运动特性因子用于表示该目标图像显著区的运动连贯性。
运算模块503，用于对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区。
该相似度用于表示两个图像显著区的运动特性因子的相似性。
叠加模块504，用于将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
本发明实施例的未尽细节请参照图1和图2所示的第一和第二实施例，在此不再赘述。
本发明实施例中，获取模块501用于从目标视频中获取待提取图像，提取模块502用于从该待提取图像的空域显著图中提取多个目标图像显著区，运算模块503用于对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，叠加模块504用于将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。这样，在提取视频显著区时，加入了能反映运动连贯性的运动特性因子，可以使提取的视频显著区更加准确。同时，只需计算目标显著区的运动特性因子，大大减少了计算量，节省了计算时间和运算资源，提高了运算效率。
请参阅图6，图6是本发明第四实施例提供的一种基于运动特性的视频显著区的提取装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图6示例的视频显著区提取装置可以是前述图1和图2所示实施例提供的视频显著区提取方法的执行主体，可以是视频显著区提取装置中的一个控制模块。图6示例的视频质量评价装置，主要包括：获取模块601、提取模块602、运算模块603和叠加模块604；其中，运算模块603包括：冗余运算模块613、确定模块623、矢量运算模块633、运动特性运算模块643、选取模块653和相似性运算模块663。以上各功能模块详细说明如下：
获取模块601，用于从目标视频中获取待提取图像。
该目标视频为视频中包含同一场景的多帧图像组成的视频。该目标视频可以为视频的一部分，也可以为视频的全部。
提取模块602，用于从该待提取图像的空域显著图中提取多个目标图像显著区。
该目标图像显著区为该待提取图像具有显著性的区域。该运动特性因子用于表示该目标图像显著区的运动连贯性。
运算模块603，用于对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区。
该相似度用于表示两个图像显著区的运动特性因子的相似性。
叠加模块604，用于将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区。
进一步地，运算模块603包括：
冗余运算模块613，用于对该待提取图像进行冗余运算，得到该待提取图像的空域显著图。
确定模块623，用于将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该目标图像显著区。
进一步地，
冗余运算模块613，还用于对该待提取图像进行频谱冗余运算，得到该待提取图像的频谱冗余。
冗余运算模块613，还用于对该待提取图像的频谱冗余和该待提取图像的相位谱进行谱冗余运算，得到该待提取图像的空域显著图。
进一步地，运算模块603还包括:
矢量运算模块633，用于在该目标图像显著区中提取运动目标，并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到该目标图像显著区的相对运动矢量强度和背景运动矢量强度。
运动特性运算模块643，用于对该相对运动矢量强度和该背景运动矢量强度进行加权运算，得到该目标图像显著区的运动因子。
运动特性运算模块643，还用于将该目标图像显著区的运动因子与该目标视频中的目标图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到该目标图像显著区的运动特性因子。
进一步地，运算模块603还包括：
选取模块653，用于在该多个目标图像显著区中，选取相邻的两个目标图像显著区。
相似性运算模块663，用于将该两个目标图像显著区的运动特性因子的最大值与该两个目标图像显著区的运动特性因子的差值的绝对值进行减法运算，得到目标值。
相似性运算模块663，还用于将该目标值与该两个目标图像显著区的运动特性因子的最大值进行除法运算，并将算出的商作为该相邻两个目标图像显著区的相似度。
本发明实施例的未尽细节请参照图1和图2所示的第一和第二实施例，在此不再赘述。
本发明实施例中，获取模块601用于从目标视频中获取待提取图像，提取模块602用于从该待提取图像的空域显著图中提取多个目标图像显著区，运算模块603用于对该目标图像显著区进行运动特性运算，以算出该目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算该相邻的两个目标图像显著区的相似度，并将该相似度大于预置相似度的两个相邻的图像显著区进行合并，得到该待提取图像的图像显著区，叠加模块604用于将该待提取图像的图像显著区进行叠加，得到该目标视频的视频显著区，冗余运算模块613用于对该待提取图像进行冗余运算，得到该待提取图像的空域显著图，确定模块623用于将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该目标图像显著区，冗余运算模块613还用于对该待提取图像进行频谱冗余运算，得到该待提取图像的频谱冗余，冗余运算模块613还用于对该待提取图像的频谱冗余和该待提取图像的相位谱进行谱冗余运算，得到该待提取图像的空域显著图，矢量运算模块633用于在该目标图像显著区中提取运动目标，并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到该目标图像显著区的相对运动矢量强度和背景运动矢量强度。运动特性运算模块643用于对该相对运动矢量强度和该背景运动矢量强度进行加权运算，得到该目标图像显著区的运动因子，运动特性运算模块643还用于将该目标图像显著区的运动因子与该目标视频中的目标图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到该目标图像显著区的运动特性因子，选取模块653用于在该多个目标图像显著区中，选取相邻的两个目标图像显著区，相似性运算模块663用于将该两个目标图像显著区的运动特性因子的最大值与该两个目标图像显著区的运动特性因子的差值的绝对值进行减法运算，得到目标值，相似性运算模块663还用于将该目标值与该两个目标图像显著区的运动特性因子的最大值进行除法运算，并将算出的商作为该相邻两个目标图像显著区的相似度。这样，在提取视频显著区时，加入了能反映运动连贯性的运动特性因子，可以使提取的视频显著区更加准确。同时，只需计算目标显著区的运动特性因子，大大减少了计算量，节省了计算时间和运算资源，提高了运算效率。
在本申请所提供的多个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，装置或模块的间接耦合或通信链接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的基于运动特性的视频显著区的提取方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于运动特性的视频显著区的提取方法，其特征在于，所述方法包括：
从目标视频中获取待提取图像；
从所述待提取图像的空域显著图中提取多个目标图像显著区，并对所述目标图像显著区进行运动特性运算，以算出所述目标图像显著区的运动特性因子；
根据相邻的两个目标图像显著区的运动特性因子，计算所述相邻的两个目标图像显著区的相似度，并将所述相似度大于预置相似度的两个相邻的图像显著区进行合并，得到所述待提取图像的图像显著区；
将所述待提取图像的图像显著区进行叠加，得到所述目标视频的视频显著区。
2.根据权利要求1所述的方法，其特征在于，所述从所述待提取图像的空域显著图中提取多个目标图像显著区，具体包括：
对所述待提取图像进行冗余运算，得到所述待提取图像的空域显著图；
将所述空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为所述目标图像显著区。
3.根据权利要求2所述的方法，其特征在于，所述对所述待提取图像进行冗余运算，得到所述待提取图像的空域显著图，具体包括：
对所述待提取图像进行频谱冗余运算，得到所述待提取图像的频谱冗余；
对所述待提取图像的频谱冗余和所述待提取图像的相位谱进行谱冗余运算，得到所述待提取图像的空域显著图。
4.如权利要求1所述的方法，其特征在于，所述对所述目标图像显著区进行运动特性运算，以算出所述目标图像显著区的运动特性因子，具体包括:
在所述目标图像显著区中提取运动目标，并分别对所述运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到所述目标图像显著区的相对运动矢量强度和背景运动矢量强度；
对所述相对运动矢量强度和所述背景运动矢量强度进行加权运算，得到所述目标图像显著区的运动因子；
将所述目标图像显著区的运动因子与所述目标视频中的目标图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到所述目标图像显著区的运动特性因子。
5.如权利要求1所述的方法，其特征在于，所述根据相邻的两个目标图像显著区的运动特性因子，计算所述相邻的两个目标图像显著区的相似度，具体包括：
在所述多个目标图像显著区中，选取相邻的两个目标图像显著区；
将所述两个目标图像显著区的运动特性因子的最大值与所述两个目标图像显著区的运动特性因子的差值的绝对值进行减法运算，得到目标值；
将所述目标值与所述两个目标图像显著区的运动特性因子的最大值进行除法运算，并将算出的商作为所述相邻两个目标图像显著区的相似度。
6.一种基于运动特性的视频显著区的提取装置，其特征在于，所述装置包括：
获取模块，用于从目标视频中获取待提取图像；
提取模块，用于从所述待提取图像的空域显著图中提取多个目标图像显著区；
运算模块，用于对所述目标图像显著区进行运动特性运算，以算出所述目标图像显著区的运动特性因子，以及，根据相邻的两个目标图像显著区的运动特性因子，计算所述相邻的两个目标图像显著区的相似度，并将所述相似度大于预置相似度的两个相邻的图像显著区进行合并，得到所述待提取图像的图像显著区；
叠加模块，用于将所述待提取图像的图像显著区进行叠加，得到所述目标视频的视频显著区。
7.根据权利要求6所述的装置，其特征在于，所述运算模块包括：
冗余运算模块，用于对所述待提取图像进行冗余运算，得到所述待提取图像的空域显著图；
确定模块，用于将所述空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为所述目标图像显著区。
8.根据权利要求6所述的装置，其特征在于，
冗余运算模块，还用于对所述待提取图像进行频谱冗余运算，得到所述待提取图像的频谱冗余；
冗余运算模块，还用于对所述待提取图像的频谱冗余和所述待提取图像的相位谱进行谱冗余运算，得到所述待提取图像的空域显著图。
9.如权利要求6所述的装置，其特征在于，所述运算模块还包括:
矢量运算模块，用于在所述目标图像显著区中提取运动目标，并分别对所述运动目标的相对运动矢量和背景运动矢量进行二范数运算，得到所述目标图像显著区的相对运动矢量强度和背景运动矢量强度；
运动特性运算模块，用于对所述相对运动矢量强度和所述背景运动矢量强度进行加权运算，得到所述目标图像显著区的运动因子；
所述运动特性运算模块，还用于将所述目标图像显著区的运动因子与所述目标视频中的目标图像显著区的运动因子的最大值进行除法运算，并对算出的参数进行对数运算，以得到所述目标图像显著区的运动特性因子。
10.如权利要求6所述的装置，其特征在于，所述运算模块还包括：
选取模块，用于在所述多个目标图像显著区中，选取相邻的两个目标图像显著区；
相似性运算模块，用于将所述两个目标图像显著区的运动特性因子的最大值与所述两个目标图像显著区的运动特性因子的差值的绝对值进行减法运算，得到目标值；
所述相似性运算模块，还用于将所述目标值与所述两个目标图像显著区的运动特性因子的最大值进行除法运算，并将算出的商作为所述相邻两个目标图像显著区的相似度。
CN201611233165.9A 2016-12-28 2016-12-28 基于运动特性的视频显著区的提取方法和装置 Expired - Fee Related CN106875396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611233165.9A CN106875396B (zh) 2016-12-28 2016-12-28 基于运动特性的视频显著区的提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611233165.9A CN106875396B (zh) 2016-12-28 2016-12-28 基于运动特性的视频显著区的提取方法和装置

Publications (2)

Publication Number Publication Date
CN106875396A true CN106875396A (zh) 2017-06-20
CN106875396B CN106875396B (zh) 2020-12-01

Family

ID=59164202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611233165.9A Expired - Fee Related CN106875396B (zh) 2016-12-28 2016-12-28 基于运动特性的视频显著区的提取方法和装置

Country Status (1)

Country Link
CN (1) CN106875396B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312124A (zh) * 2019-07-31 2019-10-08 中国矿业大学 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN111415357A (zh) * 2020-03-19 2020-07-14 长光卫星技术有限公司 一种基于彩色影像的便携式阴影提取方法
CN112288708A (zh) * 2020-10-27 2021-01-29 推想医疗科技股份有限公司 Ct图像中淋巴结的检测方法、装置、介质及电子设备
CN114418927A (zh) * 2021-11-09 2022-04-29 四川大学 一种基于空间关系特征匹配的闭环检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945628A (zh) * 2006-10-20 2007-04-11 北京交通大学 一种基于时空显著单元的视频内容表示方法
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
CN103116896B (zh) * 2013-03-07 2015-07-15 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
US20160240224A1 (en) * 2013-05-28 2016-08-18 Apple Inc. Reference and non-reference video quality evaluation
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945628A (zh) * 2006-10-20 2007-04-11 北京交通大学 一种基于时空显著单元的视频内容表示方法
CN101329767A (zh) * 2008-07-11 2008-12-24 西安交通大学 基于学习的视频中显著物体序列自动检测方法
CN103116896B (zh) * 2013-03-07 2015-07-15 中国科学院光电技术研究所 一种基于视觉显著性模型的自动检测跟踪方法
US20160240224A1 (en) * 2013-05-28 2016-08-18 Apple Inc. Reference and non-reference video quality evaluation
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN105930868A (zh) * 2016-04-20 2016-09-07 北京航空航天大学 一种基于层次化增强学习的低分辨率机场目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周莺: "结合动态特性的视频播出质量服务关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312124A (zh) * 2019-07-31 2019-10-08 中国矿业大学 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN110312124B (zh) * 2019-07-31 2020-09-08 中国矿业大学 一种基于显著性多特征融合的移动巡检视频质量修正方法
CN111415357A (zh) * 2020-03-19 2020-07-14 长光卫星技术有限公司 一种基于彩色影像的便携式阴影提取方法
CN111415357B (zh) * 2020-03-19 2023-04-07 长光卫星技术股份有限公司 一种基于彩色影像的便携式阴影提取方法
CN112288708A (zh) * 2020-10-27 2021-01-29 推想医疗科技股份有限公司 Ct图像中淋巴结的检测方法、装置、介质及电子设备
CN114418927A (zh) * 2021-11-09 2022-04-29 四川大学 一种基于空间关系特征匹配的闭环检测方法及系统

Also Published As

Publication number Publication date
CN106875396B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN111192292B (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
Fu et al. Lightweight pyramid networks for image deraining
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
JP2022534337A (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
Fu et al. Successive graph convolutional network for image de-raining
CN106875396A (zh) 基于运动特性的视频显著区的提取方法和装置
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
Shimada et al. Background modeling based on bidirectional analysis
CN109902588B (zh) 一种手势识别方法、装置及计算机可读存储介质
US20220156987A1 (en) Adaptive convolutions in neural networks
Sandoub et al. A low‐light image enhancement method based on bright channel prior and maximum colour channel
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
CN111260655B (zh) 基于深度神经网络模型的图像生成方法与装置
CN106650816A (zh) 一种视频质量评价方法和装置
Zhang et al. A GPU-accelerated real-time single image de-hazing method using pixel-level optimal de-hazing criterion
Li et al. AEMS: an attention enhancement network of modules stacking for lowlight image enhancement
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN116630354B (zh) 一种视频抠图方法、电子设备、存储介质及程序产品
Pu et al. Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images
Zhao et al. Saliency map-aided generative adversarial network for raw to rgb mapping
Polasek et al. Vision UFormer: Long-range monocular absolute depth estimation
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
Zhang et al. A new image filtering method: Nonlocal image guided averaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201201

Termination date: 20211228

CF01 Termination of patent right due to non-payment of annual fee