CN106101490A - 基于时空显著性的视频跨尺度自适应增强方法及装置 - Google Patents

Abstract

本发明实施例提供一种基于时空显著性的视频跨尺度自适应增强方法及装置，涉及数字图像处理技术领域。所述基于时空显著性的视频跨尺度自适应增强装置包括：目标区域确定模块、变换域系数获取模块、自适应阈值获取模块以及视频帧增强模块。充分考虑人眼的视觉注意机制，实现基于视觉感知的细节增强处理。本发明通过视频的时空显著性计算实现对人眼所重点关注的时空显著性运动目标区域的检测和提取，利用非下采样轮廓波变换对时空显著性运动目标区域实现精细增强，再通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧，在实现时空显著性运动目标细节特征增强的同时，有效地抑制噪声。

Description

基于时空显著性的视频跨尺度自适应增强方法及装置

技术领域

本发明涉及数字图像处理技术领域，具体而言，涉及一种基于时空显著性的视频跨尺度自适应增强方法及装置。

背景技术

已有的自适应细节增强方法在增强图像的微小细节的同时，有效避免强边缘信息的过度放大。变换域边缘感知图像和视频增强方法构建了快速的多尺度分解及增强框架。基于加权最小二乘机制的图像细节增强方法需要求解大型的稀疏线性方程系统。基于曲波域的SAR图像特征增强方法提取图像边缘细节特征，并通过增强特征对应的Curvelet变换系数实现特征增强。双变量统计方法实现了对尺度间相关性的计算，但是没有充分考虑变换域系数在尺度内的空间相关性，实际上变换域系数在空间上的局部区域内是存在相关性的。现有的视频增强方法往往假设变换域系数之间是相互独立的，而没有充分考虑其尺度内和尺度间的统计特性，这样就会产生一个问题，即分布在高频区域的噪声和边缘细节信号无法更有效地区分。

已有的上述这些增强方法通常不具有较好的自适应性，不同的视频往往需要设置不同的参数才能获取较好的增强效果。这些方法在处理含噪视频时，由于无法有效地区分噪声和微小细节，因而无法有效地平衡抑制噪声和边缘细节增强这一对矛盾，增强的同时噪声也随之放大或者引入新的噪声干扰。此外，以上这些方法均是对视频帧进行全局处理，没有将人眼的视觉注意机制考虑进来，因而增强后视频帧的视觉感知特性不强。基于双边色调调整和显著性加权的对比度增强方法只针对具有较高显著度的区域实现局部对比度增强，在显著性计算中只利用了单帧视频的视觉特征。

人眼所关注的往往是运动目标区域，而单纯基于单帧视觉显著性计算出的区域不一定是运动目标区域，因而需要针对视频的时空特性，综合空间域的视觉特征和时间域的运动信息进行时空显著性计算，实现基于时空显著性的细节增强。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于时空显著性的视频跨尺度自适应增强方法及装置，在实现时空显著性运动目标细节特征增强的同时，有效地抑制噪声。

本发明实施例提供的一种基于时空显著性的视频跨尺度自适应增强方法，所述方法包括：

依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域；

将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数；

依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\σ}}}_{y_1}^2\left(k\right)=0.025\×\frac{1}{Num}\underset{y_1\left(j\right)\∈N\left(k\right)}{\Σ}{y_1}^2\left(j\right)+\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{{\widehat{\mathrm{\σ}}}_n}^2}{\widehat{{\mathrm{\σ}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\σ}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\∈N\left(k\right)}{\Σ}{y_1}^2\right(j)+\sqrt{\frac{1}{M\×N}\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}-{\widehat{\mathrm{\σ}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰；

建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，依据所述自适应增强函数，通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧。

优选的，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域包括：将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

优选的，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域还包括：计算所述超像素闭环图的权重，为W＝[ω_ij]_n×n，其中，ω_ij表示所述超像素闭环图中的一个结点，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值。

优选的，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域还包括：通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，表达式为D_st＝D_v∪D_t。

优选的，P的范围为p∈(0,1]，尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]。

本发明还提供一种基于时空显著性的视频跨尺度自适应增强装置，包括：

目标区域确定模块，用于依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域；

变换域系数获取模块，用于将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数；

自适应阈值获取模块，用于依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\&sigma;}}}_{y_1}^2\left(k\right)=0.025\&times;\frac{1}{Num}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\left(j\right)+\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{{\widehat{\mathrm{\&sigma;}}}_n}^2}{\widehat{{\mathrm{\&sigma;}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\&sigma;}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\right(j)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}{\widehat{\mathrm{\&sigma;}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰；

视频帧增强模块，用于建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，依据所述自适应增强函数，通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧。

优选的，所述目标区域确定模块还用于将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

优选的，所述目标区域确定模块还用于计算所述超像素闭环图的权重，为W＝[ω_ij]_n×n，其中，ω_ij表示所述超像素闭环图中的一个结点，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值。

优选的，所述目标区域确定模块还用于通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，表达式为D_st＝D_v∪D_t。

优选的，P的范围为p∈(0,1]，尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]。

与现有技术相比，本发明的基于时空显著性的视频跨尺度自适应增强方法及装置，充分考虑人眼的视觉注意机制，实现基于视觉感知的细节增强处理。本发明通过视频的时空显著性计算实现对人眼所重点关注的时空显著性运动目标区域的检测和提取，利用非下采样轮廓波变换对时空显著性运动目标区域实现精细增强，再通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧，在实现时空显著性运动目标细节特征增强的同时，有效地抑制噪声。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的客户端的方框示意图。

图2为本发明较佳实施例提供的基于时空显著性的视频跨尺度自适应增强装置的功能模块示意图。

图3为本发明较佳实施例提供的非下采样轮廓波变换的框架图。

图4为本发明较佳实施例提供的非下采样轮廓波变换频带分解图。

图5本发明较佳实施例提供的基于时空显著性的视频跨尺度自适应增强方法的流程图。

主要元件符号说明

客户端100；存储器101；存储控制器102；处理器103；外设接口104；显示单元105；输入输出单元106；

基于时空显著性的视频跨尺度自适应增强装置200；目标区域确定模块201；变换域系数获取模块202；自适应阈值获取模块203；视频帧增强模块204。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，本发明较佳实施例提供的客户端的方框示意图。所述客户端100可以是平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。所述客户端100包括基于时空显著性的视频跨尺度自适应增强装置200、存储器101、存储控制器102、处理器103、外设接口104、显示单元105、输入输出单元106。

所述存储器101、存储控制器102、处理器103、外设接口104、显示单元105、输入输出单元106各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于时空显著性的视频跨尺度自适应增强装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述客户端100的操作系统(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述基于时空显著性的视频跨尺度自适应增强装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器103等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

显示单元105在所述客户端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元105可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器103进行计算和处理。

输入输出单元106用于提供给用户输入数据实现用户与所述客户端100的交互。所述输入输出单元106可以是，但不限于，鼠标和键盘等，所述键盘可以是虚拟键盘。

请参考图2，是本发明较佳实施例提供的基于时空显著性的视频跨尺度自适应增强装置200的功能模块示意图。所述基于时空显著性的视频跨尺度自适应增强装置200包括：目标区域确定模块201、变换域系数获取模块202、自适应阈值获取模块203以及视频帧增强模块204。

所述目标区域确定模块201，用于依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域。

具体的，将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

计算超像素闭环图的权重，

W＝[ω_ij]_n×n，

其中，ω_ij表示超像素闭环图中的一个结点，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值，其中，CIE LAB颜色空间是在CIE制定的标准上建立的设备无关的一种颜色空间，计算超像素闭环图的权重的目的在于，为了实现超像素结点相似性的判断，从而可以用于显著性区域的采样和提取。

分别选择视频帧四个边界区域中的结点作为非目标区域的种子结点，并将所有其他的结点与其进行相似性排序，分别构建四个显著图S_t，S_b，S_l，S_r并对其进行合并来获取最终的显著图S_bq。以计算S_t为例，选择上边界结点为种子结点后，可获取到一个N维二值指示向量y＝[y₁，y₂，…，y_n]^T，如果结点i为种子，则y_i＝1，否则y_i＝0，其中，y为列向量，T表示矩阵转置。

基于流行排序的显著性检测的过程等同于通过求解排序函数f：V→Rⁿ，f可以为[f₁，…，f_n]^T，对其它所有非种子结点根据其与种子结点之间的相似性进行排序。f_i表示排序得分，即为结点i的显著值，计算方法如下：

f_i＝(D-αW)^-1y

其中矩阵D＝diag{d₁₁,...,d_nn},d_ii＝Σ_jω_ij，α＝1/(1+λ)，W为权重矩阵。

求解向量f后，对其在[0，1]范围内进行归一化，获取其归一化向量f'，计算显著图S_t，为S_t(i)＝1-f'(i)i＝1,2,...,N。

同理的，分别求取显著图S_b,S_l,S_r，获取最终的非目标区域种子结点的视觉显著图S_bq，为S_bq(i)＝S_t(i)×S_b(i)×S_l(i)×S_r(i)。

选取目标区域的种子结点，将所有其他结点进行相似性排序，进一步提升显著性检测的精度。采用一个自适应阈值来对第一阶段获取的显著图进行二值化分割。为使得所选取的种子覆盖更多的目标区域，阈值确定为整个显著图的平均显著性。显著性种子结点选取后，指示向量y便可确定，可根据f_i＝(D-αW)^-1y来求解排序向量f，目标区域种子点获取的显著图S_fq(i)通过对f在[0，1]范围内进行归一化来获取，即：

S_fq(i)＝f'(i)i＝1,2,...,N

在获取的视觉显著图S_fq的基础上，采用阈值T_f∈[0,255]对其进行二值分割，获取空间域分析后的视觉显著性区域D_v。

利用稀疏测量矩阵对前景目标和背景的特征进行压缩降维，并以此作为正样本和负样本，基于朴素贝叶斯分类器预测下一帧目标图像，从而确定目标区域位置。

在第t帧，采样获取多个前景目标和背景的图像块。对每个样本z∈R，将其与的多尺度矩形滤波器{h_1,1,…,h_w,h}进行卷积，实现多尺度变换，从而获取各个图像块的多尺度Haar-like特征向量x＝(x₁,…,x_m)^T。其中，Haar-like特征是计算机视觉领域一种常用的特征描述算子，i和j分别是矩形滤波器的宽和高。

采用稀疏测量矩阵R∈R^n×m对高维特征空间x∈R^m进行降维，采用特征映射Rx→v将其投影至低维特征空间x∈Rⁿ(n<<m)，矩阵R满足高斯分布，即矩阵元素r_ij～N(0,1)，其中

$r_{ij}=\sqrt{s}\&times;\left\{\begin{array}{cc}1,& P=\frac{1}{2s}\\ 0,& P=1-\frac{1}{s}\\ -1,& P=\frac{1}{2s}\end{array}\right.$

设s＝m/4，构建矩阵R，实现Rx→v。

采用降维后的特征去训练分类器。对于每个样本的低维特征向量v，假设v中各特征之间是相互独立的，朴素贝叶斯分类器如下：

$H\left(v\right)=\log \left(\frac{{\&Pi;}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\&Pi;}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\&Sigma;}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)$

其中，y∈{0,1}表示样本标签，y＝0表示负样本，y＝1表示正样本，假设两个类的先验概率相等，即p(y＝1)＝p(y＝0)＝0.5。假定在分类器H(v)中的条件概率p(v_i|y＝1)和p(v_i|y＝0)属于高斯分布，用四个参数来描述，其中：

$p\left(v_i\right|y=1)~N({\mathrm{\&mu;}}_i^1,{\mathrm{\&sigma;}}_i^1),p\left(v_i\right|y=0)~N({\mathrm{\&mu;}}_i^0,{\mathrm{\&sigma;}}_i^0)$

在由上一帧t-1训练得到分类器H(v)之后，在第t帧由上一帧提取到的目标区域位置L_t-1的周围，采样n个局部窗口，对其进行滤波获取Haar-like特征向量，通过稀疏测量矩阵R进行降维，提取其低维特征向量。用第t-1帧学习好的朴素贝叶斯分类器进行预测，确定第t帧的目标区域D_t所在的位置状态L_t。

通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，即D_st＝D_v∪D_t。

优选的，在视频序列内各帧图像的显著性运动目标区域D_st确定后，根据最新的目标位置状态信息，采用增量学习方法不断地更新分类器的参数，进一步提升显著性目标区域检测和跟踪的精度。为了提升时间效率，可以选取每十帧更新一次分类器的参数。通过

式以及式对中的四个参数进行增量更新，

其中，学习因子λ>0，且

所述变换域系数获取模块202，用于将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数。

具体的，通过非下采样轮廓波变换(Non-subsampled Contourlet Transform，NSCT)多尺度几何分析方法建立视频的跨尺度特征描述，利用非下采样多级塔形分解和非下采样多级方向滤波器组，实现视频帧的不同尺度分解和各尺度上的方向子带分解。通过非下采样拉普拉斯塔形分解实现非下采样多级塔形分解，通过非下采样方向滤波器组实现非下采样多级方向滤波器。

请参考图3和图4，图3为非下采样轮廓波变换的框架图，图4为非下采样轮廓波变换频带分解图。利用非下采样拉普拉斯塔形分解实现多尺度分解，获取不同的频率尺度，在每个分解得到的高频尺度上，经过通过非下采样方向滤波器组进行方向滤波，将高频尺度分解到不同的方向子带，方向子带数可为2的任意次幂。非下采样轮廓波变换的核心结构为二维双通道非下采样滤波器组，且满足式H₀(z)G₀(z)+H₁(z)G₁(z)＝1

其中，H₀(z)和H₁(z)分别表示低通和高通分析滤波器，G₀(z)和G₁(z)分别表示低通和高通合成滤波器，需要提到的是，变换域系数获取模块202可以获取不同方向、不同尺度的变换域系数，且不同方向、不同尺度的变换域系数一般不同。

所述自适应阈值获取模块203，用于依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\&sigma;}}}_{y_1}^2\left(k\right)=0.025\&times;\frac{1}{Num}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\left(j\right)+\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{{\widehat{\mathrm{\&sigma;}}}_n}^2}{\widehat{{\mathrm{\&sigma;}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\&sigma;}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\right(j)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}-{\widehat{\mathrm{\&sigma;}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰。

所述视频帧增强模块204，用于建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，依据所述自适应增强函数，通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧。

所述参数值P的范围为p∈(0,1]，尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]，在C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]范围内，非线性映射函数曲线的斜率绝对值将随着系数的增长而降低，较小幅值对应的微小边缘和细节特征的增强幅度要大于强边缘，以防止发生过增强现象，小于阈值T_(s,d)的系数对应的噪声成分则被有效地进行抑制。

需要提到的是，在确定增强后的非下采样轮廓波变换系数后，可以通过非下采样轮廓波逆变换进行重构，得到图像域的增强后的视频帧。

请参考图5，是本发明较佳实施例提供的基于时空显著性的视频跨尺度自适应增强方法的流程图。所述基于时空显著性的视频跨尺度自适应增强方法包括以下步骤：

步骤S101，确定时空显著性运动目标区域。

依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域。

具体的，将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

计算每一个结点ω_ij的权重，为W＝[ω_ij]_n×n，其中，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值。

通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，表达式为D_st＝D_v∪D_t。

在本发明实施例中，步骤S101可以由目标区域确定模块201执行。

步骤S102，获取所述原始视频帧的变换域系数。

将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数。

在本发明实施例中，步骤S102可以由变换域系数获取模块202执行。

步骤S103，计算自适应阈值。

依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\&sigma;}}}_{y_1}^2\left(k\right)=0.025\&times;\frac{1}{Num}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\left(j\right)+\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{{\widehat{\mathrm{\&sigma;}}}_n}^2}{\widehat{{\mathrm{\&sigma;}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\&sigma;}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\right(j)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}{\widehat{\mathrm{\&sigma;}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰。

在本发明实施例中，步骤S103可以由自适应阈值获取模块203执行。

步骤S104，得到自适应增强函数。

建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，P的范围为p∈(0,1]，依据所述自适应增强函数，得到增强后的视频帧。

在本发明实施例中，步骤S104可以由视频帧增强模块204执行。

综上所述，本发明的基于时空显著性的视频跨尺度自适应增强方法及装置，充分考虑人眼的视觉注意机制，实现基于视觉感知的细节增强处理。本发明通过视频的时空显著性计算实现对人眼所重点关注的时空显著性运动目标区域的检测和提取，利用非下采样轮廓波变换对时空显著性运动目标区域实现精细增强，再通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧，在实现时空显著性运动目标细节特征增强的同时，有效地抑制噪声。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于时空显著性的视频跨尺度自适应增强方法，其特征在于，所述方法包括：

依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域；

将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数；

依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\&sigma;}}}_{y_1}^2\left(k\right)=0.025\&times;\frac{1}{Num}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\left(j\right)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{\widehat{{\mathrm{\&sigma;}}_n}}^2}{\widehat{{\mathrm{\&sigma;}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\&sigma;}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\right(j)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}-{\widehat{\mathrm{\&sigma;}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰；

建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，依据所述自适应增强函数，通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧。

2.根据权利要求1所述的基于时空显著性的视频跨尺度自适应增强方法，其特征在于，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域包括：将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

3.根据权利要求2所述的基于时空显著性的视频跨尺度自适应增强方法，其特征在于，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域还包括：计算所述超像素闭环图的权重，为W＝[ω_ij]_n×n，其中，ω_ij表示所述超像素闭环图中的一个结点，i,j∈V，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值。

4.根据权利要求3所述的基于时空显著性的视频跨尺度自适应增强方法，其特征在于，所述依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域还包括：通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，表达式为D_st＝D_v∪D_t。

5.根据权利要求1所述的基于时空显著性的视频跨尺度自适应增强方法，其特征在于，P的范围为p∈(0,1]，尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]。

6.一种基于时空显著性的视频跨尺度自适应增强装置，其特征在于，包括：

目标区域确定模块，用于依据原始视频在空间域的视觉显著性和时间域的运动显著性，确定时空显著性运动目标区域；

变换域系数获取模块，用于将原始视频帧进行多尺度多方向分解，分解为高频尺度和低频尺度，获取所述原始视频帧的变换域系数；

自适应阈值获取模块，用于依据所述变换域系数，得到观测系数y₁(k)的方差，为

${\widehat{\mathrm{\&sigma;}}}_{y_1}^2\left(k\right)=0.025\&times;\frac{1}{Num}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\left(j\right)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}$

依据观测系数y₁(k)的方差，求解双变量统计相关性的边缘方差，相关性的边缘方差为

其中，得到自适应阈值

$T_{adp}=\frac{\sqrt{3}{\widehat{{\mathrm{\&sigma;}}_n}}^2}{\widehat{{\mathrm{\&sigma;}}_X}\left(k\right)}=\frac{\sqrt{3}{\widehat{\mathrm{\&sigma;}}}_n^2}{\sqrt{\max \left(0.025\frac{1}{M}\underset{y_1\left(j\right)\&Element;N\left(k\right)}{\&Sigma;}{y_1}^2\right(j)+\sqrt{\frac{1}{M\&times;N}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(c_k^l\right(m,n)-{\mathrm{mean}}_c)}^2}-{\widehat{\mathrm{\&sigma;}}}_n^2,0)}}$

其中，表示是位于尺度l和子带方向k上的变换系数，Num表示局部区域窗口中的非下采样轮廓波变换系数的数量，mean_c是子带k内的系数平均值，(M，N)表示视频帧子带k的大小，为噪声方差，为相关性的边缘方差，T_adp为自适应阈值，用于过滤噪声干扰；

视频帧增强模块，用于建立自适应增强函数，为

${\hat{C}}_{(s,d,m,n)}=\left\{\begin{array}{ccc}\frac{C_{(s,d,m,n)}\&times;M_{(s,d)}}{\left|C_{(s,d,m,n)}\right|}\&times;{\&lsqb;\sin (\frac{\mathrm{\&pi;}}{2}\&times;\frac{\left|C_{(s,d,m,n)}\right|-T_{adp}}{M_{(s,d)}-T_{adp}})\&rsqb;}^P,& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&Element;D_{st}\\ K\&times;C_{(s,d,m,n)},& if& R\&GreaterEqual;T_{adp},y_c\&Element;HF,y_c\&NotElement;D_{st}\\ 0,& if& R<T_{adp},y_c\&Element;HF\\ C_{(s,d,m,n)},& if& y_c\&Element;LF\end{array}\right.$

其中，y_c＝|C_(s,d,m,n)|，y_p为y_c的父系数，C_(s,d,m,n)表示尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数，R为y_p与y_c的关系变量，HF和LF分别表示非下采样轮廓波变换域的高频尺度和低频尺度，表示增强后的非下采样轮廓波变换系数，M_(s,d)表示尺度s和方向d对应的子带上的最大系数的幅值，K为增益因子，且K＝f(y_c)＝4×[sin(y_c/3×π/2)]，P表示控制增强程度的常量，依据所述自适应增强函数，通过非下采样轮廓波逆变换进行重构，获取增强后的视频帧。

7.根据权利要求6所述的基于时空显著性的视频跨尺度自适应增强装置，其特征在于，所述目标区域确定模块还用于将所述原始视频帧进行超像素分割，构建一个超像素闭环图G＝(V，E)，其中V＝{x₁,x₂,…,x_n}表示分割后的超像素结点的集合，每个所述超像素结点表示视频帧的一个局部块区域，E表示两个所述超像素结点之间的边缘。

8.根据权利要求7所述的基于时空显著性的视频跨尺度自适应增强装置，其特征在于，所述目标区域确定模块还用于计算所述超像素闭环图的权重，为W＝[ω_ij]_n×n，其中，ω_ij表示所述超像素闭环图中的一个结点，i,j∈V，c_i和c_j分别表示两个所述超像素结点在CIE LAB颜色空间中的均值。

9.根据权利要求8所述的基于时空显著性的视频跨尺度自适应增强装置，其特征在于，所述目标区域确定模块还用于通过对空间域分析所获取到的目标区域D_v和时间域分析所获取到的目标区域D_t进行合并，实现时空显著性运动目标区域D_st的检测和提取，表达式为D_st＝D_v∪D_t。

10.根据权利要求6所述的基于时空显著性的视频跨尺度自适应增强装置，其特征在于，P的范围为p∈(0,1]，尺度s和方向d对应的子带上位置(m，n)对应的非下采样轮廓波变换系数C_(s,d,m,n)的范围为C_(s,d,m,n)∈[T_(s,d),M_(s,d)]和C_(s,d,m,n)∈[-M_(s,d),-T_(s,d)]。