CN101489147A - 基于感兴趣区域的幅型比变换方法 - Google Patents

Abstract

本发明公开了一种基于感兴趣区域的幅型比变换方法，主要解决现有方法变换后运动目标失真的缺陷。其步骤为：利用光流场信息和模糊聚类技术进行运动区域检测，同时采用均值偏移算法实现图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；利用图像插值算法，对修复后的背景和运动目标分别采用不同的变换比例进行变换；将变换后的背景和目标物相叠加合成相应幅型比的视频图像。本发明既保证了变换后运动目标的无失真性，又很好地保持了画面的和谐和视频的连续，提高了变换后的视觉效果，适用于视频图像处理的格式转换。

Description

基于感兴趣区域的幅型比变换方法

技术领域

本发明属于视频图像处理领域，涉及一种在不同幅型比的视频图像之间进行格式转换的方法，可以应用于高清电视的格式转换，窄屏幕电视画面与宽屏幕电视画面之间的转换等。

背景技术

随着新的多媒体技术和视频显示设备的产生，在播放视频图像时，为了满足不同比例显示设备的播放要求，需要对视频图像的空间尺寸进行缩放。幅型比就是指电视画面宽度和高度的比值。幅型比变换技术就是试图对视频图像的空间尺寸进行缩放处理以适应不同显示设备的格式，从而获得较好的播放效果。由于在相当长的时间内会存在不同幅型比混合处理的问题，因此，该技术已成为视频图像处理领域中的一个研究热点，并已广泛应用于电视、电影及视频多媒体等需要对视频信号进行格式转换的多个领域。虽然幅型比变换技术已经取得了迅速的发展，但在目前的技术水平下仍需要在方法的设计中做出某些改进，改进后的方法将会提高变换后的图像与人类视觉感知的一致性，使转换后图像的视觉效果更好。

目前幅型比变换的方法主要有两大类：一类是无图像失真而损失图像的部分内容或浪费屏幕部分资源的方式，另一类是保证了图像内容的完整但引起图像失真的方式。

第一类方法主要有贴黑边，裁减和移位，贴黑边和裁减组合。贴黑边的处理方式是在图像的左右或上下两侧填加黑边，保证原有幅型比的图像在不同幅型比的显示设备上能够完整地显示出来，不损失原图像的内容，并且没有变形失真。但这种方式对于显示器的显示区域会造成一部分空耗，且观看效果不佳。裁减和移位的方式是将图像的左右或上下裁去两条，并根据画面的内容对图像进行上下或左右移位处理，尽量使原图像的主景或重要内容保持在变换后的画面中。这种方式没有引起图像的失真，但损失图像的内容，并且需耗费大量的人工。贴黑边和裁减组合的方式是结合贴黑边和裁剪两种处理方式，是为了平衡保留图像内容和提高新画面利用率这两种互相矛盾的需求，不会造成图像失真，但仍然损失图像内容和浪费屏幕资源。

第二类方法可分为线性变形的变换法和非线性变形的变换法。线性变形变换就是利用插值算法直接变换图像的宽高比，以达到所需幅型比的要求。线性变形变换由于实现起来较简单，所以目前被大部分的高清电视所采用。但是，由于图像的宽与高的变换比例不一致，此变换方法使得变换后的整体图像有明显的失真，影响视觉效果。非线性变形的变换方式是基于人的视觉感知特性进行变换的，且综合考虑幅型比变换前后的比例要求和变换后观看效果之间的平衡。

Zhang Guanglie等人提出了利用序列的运动重心来划分不同区域并进行非均匀比率扩展的非线性变形变换方法“Zhang Guanglie，Zheng Nanning，Chen Qian，et al.Motion adaptivevideo format conversion from 4:3 to 16：9 images[C]//Proceeding of International Conference onIntelligent Information Technology，Beijing，China，Sep.2002：181-184.”，该方法对于简单运动的视频序列效果较好，但是不适用具有多个运动目标的视频序列，且易造成变换后的视频序列在视觉上的抖动现象，视觉效果明显下降。Shih-Chang Hsia等人提出了基于中心区域的非线性变形的变换方法“Hsia S C，Liu B D，Yang J F，et al.A parallel video converter for displaying4：3 images on 16：9 HDTV receivers[J].IEEE Transactions on Circuits and Systems for VideoTechnology，1996，6(6)：695-699.”，该方法对于目标物集中在中心区域的序列，有较好的视觉效果，但是对于目标物并不全集中在中心区域的序列，该方法会使处于边缘区域的目标物产生更大的失真，影响画面的和谐。从保持原视频的完整性、屏幕资源的利用率以及画面的和谐度等几个因素来综合考虑，现有幅型比变换的方法均有一定的缺陷。

发明内容

本发明的目的在于：解决第一类方法中保持图像内容完整和提高新画面利用率之间的矛盾，提供一种基于感兴趣区域的幅型比变换方法及装置，利用人的视觉特性，避免线性变形引起的视频帧的整体失真，保持画面的和谐和视频的连续，改善变换后的视觉效果。

实现本发明目的的技术方案是：综合视频序列的时空信息，提取每一帧的运动目标，修补提取目标物后的背景，并对修复后的背景和运动目标分别进行幅型比变换及合成，完成相应幅型比的转换。具体实现步骤如下：

(1)综合时空信息进行运动目标提取。利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；

(2)利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；

(3)利用图像插值算法，分别对目标和修复后的背景进行幅型比变换；

(4)将幅型比变换后的背景和目标进行叠加，合成相应幅型比的图像。

步骤(3)所述的“分别对目标和修复后的背景进行幅型比变换”是利用图像插值算法分别对背景采用宽高变换比非一致的方式进行线性变形变换，对运动目标采用无失真度的比例进行变换。

步骤(4)所述的“将幅型比变换后的背景和目标进行叠加”是根据运动目标在原图像中的位置，确定其在变换后的背景图像中的位置，并结合变换后的背景和目标物，合成变换后的视频帧。

本发明的装置包括：

A.运动目标提取装置：用于利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；

B.背景修复装置：用于修补被运动目标遮掩的背景区域，获得完整的背景；

C.图像幅型比变换装置：用于分别对目标物和修复后的背景进行幅型比变换；

D.图像合成装置：用于将变换后的背景和目标进行叠加，合成相应幅型比的图像。

所述的运动目标提取装置包括：

运动区域检测子装置：用于检测视频序列前一帧与当前帧之间的相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个相对运动区域进行“与”操作，得到当前帧的运动区域；

均值偏移矢量计算子装置：用于计算当前帧各个像素的均值偏移矢量：

$\stackrel{\→}{V}\left(\stackrel{\→}{x}\right)=\frac{{\∫}_{\stackrel{\→}{y}\∈S_{\stackrel{\→}{x}}}p\left(\stackrel{\→}{y}\right)(\stackrel{\→}{y}-\stackrel{\→}{x})d\stackrel{\→}{y}}{{\∫}_{\stackrel{\→}{y}\∈S_{\stackrel{\→}{x}}}p\left(\stackrel{\→}{y}\right)d\stackrel{\→}{y}}$

式中，表示以矢量

为中心，以r为半径的颜色空间的超球体，

为超球体内其余矢量，为在矢量

处的颜色概率密度分布；

图像空域分割子装置：用于确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割；

投影计算子装置：用于将空域分隔后的图像与运动区域检测后的运动区域进行投影计算：

$B_o^i(x,y)=\left\{\begin{array}{cc}1,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\text{\&Sigma;}}B(x,y)\&GreaterEqual;T\\ 0,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)<T\end{array}\right.$

式中，B(x，y)为运动区域检测后的二值掩模图像，B(x，y)＝1表示像素点(x，y)属于运动区域，B(x，y)＝0表示像素点(x，y)属于静止区域，A_i(i＝0，1，...，N-1)为空域分割后的N个区域，N_i为A_i内像素的个数，T为给定的阈值，

是第i个区域的投影计算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域；

运动掩膜子装置：用于根据投影计算子装置得到的投影计算结果，计算当前帧的运动掩膜图像：

$B_o(x,y)=\underset{i=1}{\overset{N-1}{\&cup;}}{B}_o^i(x,y)$

式中，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^{\left(i\right)}(x,y)=0$ 表示该区域属于静止区域，B_o(x，y)为整幅图像的投影结果，B_o(x，y)＝1表示像素点(x，y)属于运动区域，B_o(x，y)＝0表示像素点(x，y)属于静止区域；

映射子装置：用于将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标。本发明具有如下优点

1)由于本发明在保留了图像全部内容的情况下实现了图像幅型比的变换，而没有对图像使用裁剪和贴黑边的技术，因此既保证了变换后视频图像内容的完整性，又不会造成显示器显示区域的部分空耗，解决了第一类方法中的保留图像内容和提高新画面利用率之间的矛盾。

2)由于本发明根据人的视觉对视频帧中运动目标和背景的不同感知度，对目标和背景选择了不同的幅型比变换方式，因此避免了线性变形的变换方法引起的视频帧的整体失真，使变换后的结果与人类视觉感知有较好的一致性。

3)由于本发明没有对运动区域进行假设，而是通过检测得到视频帧中全部的运动目标，然后对运动目标和背景采用不同的幅型比变换方式，因此适用于不同类型的视频序列，无论是运动目标单一的序列，还是运动情况复杂的和运动区域大的序列，变换后均能保持画面的和谐和视频的连续，提高变换后的视觉效果，弥补了基于中心区域和基于运动重心非均匀比率扩展的非线性变形方法的适用范围窄的缺陷，同时避免了变换后的视频序列在视觉上的抖动现象。

附图说明

图1为本发明中基于感兴趣区域的幅型比变换方法的流程图；

图2为本发明运动区域检测流程图；

图3为本发明中基于感兴趣区域的幅型比变换装置示意图；

图4为本发明中“Tennis”序列幅型变换结果对比示意图；

图5为本发明中“Silent”序列幅型变换结果对比示意图；

图6为本发明中“Football”序列幅型变换结果对比示意图。

具体实施方式

本发明的核心思想是基于人的视觉对运动目标最为敏感的感知特性，利用运动目标提取算法和背景修复技术获得运动目标和完整的背景，对修复后的背景和运动目标分别采用不同的变换比例进行变换，在保证运动目标无失真的同时实现相应幅型比的变换。

参照图1，本发明方法的具体步骤如下：

步骤一，综合时空信息进行运动目标提取。

1.运动区域检测

参照图2，运动区域检测的步骤是：

首先，采用光流计算的方法计算视频序列前一帧与当前帧之间，以及当前帧与后一帧之间的运动矢量场，并利用模糊聚类算法对运动矢量场进行聚类分析；再根据设定的阈值，把中心运动矢量大于阈值的类归为运动类，运动类所包含的所有像素即为两帧之间相对运动区域；之后，将前一帧与当前帧之间的相对运动区域，和当前帧与后一帧之间的相对运动区域进行“与”操作，得到当前帧的运动区域。

2.利用基于均值偏移的图像分割算法对当前帧图像进行图像空域分割。其具体步骤是：

首先，计算当前帧各个像素的均值偏移矢量：

$\stackrel{\&RightArrow;}{V}\left(\stackrel{\&RightArrow;}{x}\right)=\frac{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)(\stackrel{\&RightArrow;}{y}-\stackrel{\&RightArrow;}{x})d\stackrel{\&RightArrow;}{y}}{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)d\stackrel{\&RightArrow;}{y}}$

式中，

表示以矢量

为中心，以r为半径的颜色空间的超球体，

为超球体内其余矢量，

为在矢量

处的颜色概率密度分布；

然后，利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割，即对于每一个像素，只有当它的颜色与某一颜色类的中心色彩的距离小于设定的阈值且其邻域内至少有一个像素已属于这一类时，这个像素才被归为该颜色类，同一颜色类的所有像素组成一个分割区域，并且将分割后尺寸过小的区域融合到与它相邻且颜色最为相近的区域中去，完成图像的空域分割。

3.通过投影计算及映射得到当前帧中精确的运动目标，其步骤是：

首先，将空域分隔后的图像与运动区域检测后的运动区域进行投影计算：

$B_o^i(x,y)=\left\{\begin{array}{cc}1,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\text{\&Sigma;}}B(x,y)\&GreaterEqual;T\\ 0,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)<T\end{array}\right.$

式中，B(x，y)为运动区域检测后的二值掩模图像，B(x，y)＝1表示像素点(x，y)属于运动区域，B(x，y)＝0表示像素点(x，y)属于静止区域，A_i(i＝0，1，...，N-1)为空域分割后的N个区域，N_i为A_i内像素的个数，T为给定的阈值，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域；

然后，由投影计算结果计算当前帧的运动掩膜图像：

$B_o(x,y)=\underset{i=1}{\overset{N-1}{\&cup;}}{B}_o^i(x,y)$

式中，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域，B_o(x，y)为整幅图像的投影结果，B_o(x，y)＝1表示像素点(x，y)属于运动区域，B_o(x，y)＝0表示像素点(x，y)属于静止区域；

最后，将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标。

步骤二，图像修复。

为了避免在图像合成时变换后的背景与运动目标之间存在空洞，在变换背景之前，本发明引入基于样本块的图像修复技术来修补被运动目标遮掩的背景区域。对于要修补的一帧图像I＝ΦUΩ，Ω代表要填充的区域，即被运动目标所遮掩的区域，δ_Ω为它的边界。Φ代表已知的显露背景区域，称为源区域。步骤如下：

Step1：取n＝0，以运动目标提取后的目标物边界作为要填充区域的初始边界 ${\mathrm{\&delta;}}_{\mathrm{\&Omega;}}^n{|}_{n=0}={\mathrm{\&delta;}}_{\mathrm{\&Omega;}}^0;$

Step2：计算要填充区域所有边界点

的优先级P(p)，选择具有最大优先级的块作为将要修补的块

P(p)＝C(p)D(p)

式中，

其中，

是以p为中心的待填充的块，

表示

的面积，α是归一化系数，

是p点的等照度线，n_p是在p点与

切线正交的单位向量；

Step3：计算中已知的像素与源区域中每个块

中对应像素的距离测度

且与

具有相同的尺寸，在源区域寻找满足最小距离的块作为最匹配的块

并用

中的像素填充

中相应的未确定的像素；

Step4：从Ω中去除

更新要填充区域的边界为

令n＝n+1；

Step5：重复Step2～Step4，直到被运动目标遮掩的背景区域被修补完为止。

步骤三，幅型比变换。

首先，使用双线性插值算法对背景采用宽高变换比非一致的方式进行线性变形变换，使变换后背景的幅型比满足所需的幅型比要求；然后，使用双线性插值算法对运动目标采用宽高变换比例一致的尺度变换，保持运动目标不失真。

步骤四，图像合成。

首先，根据运动目标在原图像中的位置，确定其在幅型比变换后的背景图像中的位置。其中，当运动目标与原视频帧的边缘相接时，在插值变换后其位置仍与变换后背景图像的相应边缘相接；当运动目标与原视频帧的边缘无相接时，则按照所需幅型比的变换比例，计算其在新幅型比背景中的位置。然后，根据确定的位置信息，用变换后的运动目标替代相应位置的背景区域，即可得到符合相应幅型比的视频帧。

参照图3，本发明的装置包括：运动目标提取装置，背景修复装置，图像幅型比变换装置和图像合成装置。其中，运动目标提取装置包括：运动区域检测子装置，均值偏移矢量计算子装置、图像空域分割子装置、投影计算子装置、运动掩膜子装置和映射子装置。各个装置的功能如下：

运动目标提取装置：利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标，并将运动目标输出到幅型比变换装置中，将去除运动目标的背景输出到背景修复装置中。

运动区域检测子装置，利用相邻帧之间的光流场信息，检测视频序列前一帧与当前帧之间的相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个相对运动区域进行“与”操作，得到当前帧的运动区域及其对应的二值掩模图像B(x，y)，B(x，y)＝1表示像素点(x，y)属于运动区域，B(x，y)＝0表示像素点(x，y)属于静止区域，将B(x，y)输出到投影计算子装置中。

然后，利用均值偏移矢量计算子装置，计算当前帧各个像素的均值偏移矢量：

$\stackrel{\&RightArrow;}{V}\left(\stackrel{\&RightArrow;}{x}\right)=\frac{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)(\stackrel{\&RightArrow;}{y}-\stackrel{\&RightArrow;}{x})d\stackrel{\&RightArrow;}{y}}{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)d\stackrel{\&RightArrow;}{y}}$

式中，

表示以矢量

为中心，以r为半径的颜色空间的超球体，为超球体内其余矢量，

为在矢量处的颜色概率密度分布，将均值偏移矢量输出到图像空域分割子装置中。

之后，利用图像空域分割子装置，根据均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割，将空域分割后的图像输出到投影计算子装置中。

投影计算子装置，将空域分隔后的图像与运动区域检测后的运动区域进行投影计算，并将投影计算结果输出到运动掩膜子装置。

运动掩膜子装置，根据投影计算子装置得到的投影计算结果，计算当前帧的运动掩膜图像B_o(x，y)，并将运动掩膜图像B_o(x，y)输出到映射子装置中。

映射子装置，将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标，并将当前帧的背景输出到背景修复装置中，将运动目标输出到图像幅型比变换装置中。

背景修复装置：利用基于样本块的图像修复技术来修补被运动目标遮掩的背景区域。以提取的运动目标的边界作为要填充区域的初始边界，计算所有边界点的优先级；选择具有最高优先级的块作为最先填充的块，并在已知的背景中找到与其最匹配的块；用最匹配块中相应的像素填充具有最高优先级的块；重复此过程，直到修补完被遮掩的全部区域，获得完整的背景；然后，将修复后的背景图像输出到图像幅型比变换装置中。

图像幅型比变换装置：采用双线性插值算法对接收到的目标和修复后的背景图像分别进行幅型比变换。其中，对背景采用宽高变换比非一致的方式进行线性变形变换，使变换后背景的幅型比满足所需的幅型比要求；对运动目标采用宽高变换比例一致的尺度变换，保持运动目标不失真；然后，将变换后的背景和目标输出到图像合成装置中。

图像合成装置：根据运动目标在原图像中的位置，确定其在幅型比变换后的背景图像中的位置，并根据确定的位置信息，用变换后的运动目标替代相应位置的背景区域，合成符合相应幅型比的视频帧，并输出相应幅型比的视频帧。

本发明的优点可通过以下对比实验进一步说明。

1.试验条件：本实验选用的是4:2:0的YUV视频序列Tennis，Silent和Football作为实验数据。其中“Tennis”序列的运动重心靠近图像的中部且局部运动幅度较大，“Silent”序列中的人物几乎居于图像的中部且整体运动幅度较小，“Football”序列的运动情况较复杂且有多个运动剧烈的目标物。实验测试是对选用的视频序列进行从4:3到16:9的幅型比的变换。并采用了主观和客观两种测度，将本方法与两种已有方法进行对比实验：线性变形的变换方法和基于中心区域的非线性变形的变换方法。对于基于中心区域的非线性变形的方法，本文在实验中选取居于图像中部50％的区域作为中心区域，且只对非中心区域进行线性变形变换。

2.试验内容

A.主观评测，如图4、图5、图6所示。

图4为“Tennis”序列中的第1帧和第28帧的实验对比结果。其中，图4(a)为原始视频的第1帧；图4(b)为原始视频的第28帧；图4(c)为利用线性变形变换法对第1帧原始视频图4(a)进行变换的结果；图4(d)为利用基于中心非线性变形变换法对图4(a)进行变换的结果；图4(e)为利用本文的变换方法对图4(a)进行变换的结果；图4(f)为利用线性变形变换法对第28帧原始视频图4(b)进行变换的结果；图4(g)为利用基于中心非线性变形变换法对图4(b)进行变换的结果；图4(h)为利用本文的变换方法对图4(b)进行变换的结果。

图5为“Silent”序列中的第46帧和第63帧的实验对比结果。其中，图5(a)为原始视频的第46帧；图5(b)为原始视频的第63帧；图5(c)为利用线性变形变换法对第46帧原始视频图5(a)进行变换的结果；图5(d)为利用基于中心非线性变形变换法对图5(a)进行变换的结果；图5(e)为利用本文的变换方法对图5(a)进行变换的结果；图5(f)为利用线性变形变换法对第63帧原始视频图5(b)进行变换的结果；图5(g)为利用基于中心非线性变形变换法对图5(b)进行变换的结果；图5(h)为利用本文的变换方法对图5(b)进行变换的结果。

图6为“Football”序列中的第1帧和第51帧的实验对比结果。其中，图6(a)为原始视频的第1帧；图6(b)为原始视频的第51帧；图6(c)为利用线性变形变换法对第1帧原始视频图6(a)进行变换的结果；图6(d)为利用基于中心非线性变形变换法对图6(a)进行变换的结果；图6(e)为利用本文的变换方法对图6(a)进行变换的结果，图6(f)为利用线性变形变换法对第51帧原始视频图6(b)进行变换的结果；图6(g)为利用基于中心非线性变形变换法对图6(b)进行变换的结果；图6(h)为利用本文的变换方法对图6(b)进行变换的结果。

通过图4、图5和图6对比可看出，本发明的方法避免了线性变形方法引起的目标物横向拉伸的失真效果。同时，本发明的方法在变换后不会造成靠近图像边缘的目标物的任何失真，比基于中心的非线性变形的方法更能很好的保持目标物的整体协调性和画面的总体和谐性。并且，在观察变换后的一段视频发现，本发明的方法很好地保持视频序列的整体性和连续性，不会产生视频序列在视觉上的抖动现象，大大改善了变换后视觉效果。

B.客观评测，如表1所示。

选用视觉信息保真度对变换后图像进行客观质量评价，视觉信息保真度的值在0到1的范围内，值越大，表示图像保真度越高。表1为对三组序列的30帧图像分别进行不同幅型比变换方法后的视觉信息保真度平均值的对比结果。

表1 三种方法的视觉信息保真度性能比较

由表1可以看出，不管是对运动目标单一的序列Tennis和Silent，还是对于具有复杂运动而且运动区域较大的序列，如“Football”序列，由本方法得到的视觉信息保真度值远远高于其他两种方法。

因此，在保持原视频的完整性、屏幕资源的利用率以及画面的和谐度几个方面，本发明提出的幅型比变换方法均优于传统方法，提高了变换后的视觉效果。

Claims (6)

1、一种基于感兴趣区域的幅型比变换方法，包括如下步骤：

(1)利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；

(2)利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；

(3)利用图像插值算法，分别对目标和修复后的背景进行幅型比变换；

(4)将幅型比变换后的背景和目标进行叠加，合成相应幅型比的图像。

2、如权利要求1所述的方法，其中步骤(1)所述的“将空间分隔后的图像与运动区域检测后的运动区域进行投影计算”按如下步骤进行：

(2a)采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个相对运动区域进行“与”操作，得到当前帧的运动区域；

(2b)计算当前帧各个像素的均值偏移矢量：

$\stackrel{\&RightArrow;}{V}\left(\stackrel{\&RightArrow;}{x}\right)=\frac{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)(\stackrel{\&RightArrow;}{y}-\stackrel{\&RightArrow;}{x})\stackrel{\&RightArrow;}{\mathrm{dy}}}{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)\stackrel{\&RightArrow;}{\mathrm{dy}}}$

式中，

表示以矢量

为中心，以r为半径的颜色空间的超球体，

为超球体内其余矢量，

为在矢量

处的颜色概率密度分布；

(2c)利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割；

(2d)将空域分隔后的图像与运动区域检测后的运动区域进行投影计算：

$B_o^i(x,y)=\left\{\begin{array}{cc}1,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)\&GreaterEqual;T\\ 0,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)<T\end{array}\right.$

式中，B(x，y)为运动区域检测后的二值掩模图像，B(x，y)＝1表示像素点(x，y)属于运动区域，B(x，y)＝0表示像素点(x，y)属于静止区域，A_i(i＝0，1，...，N-1)为空域分割后的N个区域，N_i为A_i内像素的个数，T为给定的阈值，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域；

(2e)由投影计算结果计算当前帧的运动掩膜图像：

$B_o(x,y)=\underset{i=1}{\overset{N-1}{\&cup;}}{B}_o^i(x,y)$

式中，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域，B_o(x，y)为整幅图像的投影结果，B_o(x，y)＝1表示像素点(x，y)属于运动区域，B_o(x，y)＝0表示像素点(x，y)属于静止区域；

(2f)将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标。

3、如权利要求1所述的方法，其中步骤(3)所述的“分别对目标和修复后的背景进行幅型比变换”是利用图像插值算法分别对背景采用宽高变换比非一致的方式进行线性变形变换，对运动目标采用无失真度的比例进行变换。

4、如权利要求1所述的方法，其中步骤(4)所述的“将幅型比变换后的背景和目标进行叠加”是根据运动目标在原图像中的位置，确定其在变换后的背景图像中的位置，并结合变换后的背景和目标物，合成变换后的视频帧。

5、一种基于感兴趣区域的幅型比变换装置，包括：

运动目标提取装置：用于利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；

背景修复装置：用于修补被运动目标遮掩的背景区域，获得完整的背景；

图像幅型比变换装置：用于分别对目标物和修复后的背景进行幅型比变换；

图像合成装置：用于将变换后的背景和目标进行叠加，合成相应幅型比的图像。

6、如权利要求5所述的幅型比变换装置，其中运动目标提取装置包括：

运动区域检测子装置：用于检测视频序列前一帧与当前帧之间的相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个检测结果进行“与”操作，得到当前帧的运动区域；

均值偏移矢量计算子装置：用于计算当前帧各个像素的均值偏移矢量：

$\stackrel{\&RightArrow;}{V}\left(\stackrel{\&RightArrow;}{x}\right)=\frac{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)(\stackrel{\&RightArrow;}{y}-\stackrel{\&RightArrow;}{x})\stackrel{\&RightArrow;}{\mathrm{dy}}}{{\&Integral;}_{\stackrel{\&RightArrow;}{y}\&Element;S_{\stackrel{\&RightArrow;}{x}}}p\left(\stackrel{\&RightArrow;}{y}\right)\stackrel{\&RightArrow;}{\mathrm{dy}}}$

式中，

表示以矢量

为中心，以r为半径的颜色空间的超球体，

为超球体内其余矢量，

为在矢量处的颜色概率密度分布；

图像空域分割子装置：用于确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割；

投影计算子装置：用于将空域分隔后的图像与运动区域检测后的运动区域进行投影计算：

$B_o^i(x,y)=\left\{\begin{array}{cc}1,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)\&GreaterEqual;T\\ 0,& \frac{1}{N_i}\underset{(x,y)\&Element;A_i}{\mathrm{\&Sigma;}}B(x,y)<T\end{array}\right.$

式中，B(x，y)为运动区域检测后的二值掩模图像，B(x，y)＝1表示像素点(x，y)属于运动区域，B(x，y)＝0表示像素点(x，y)属于静止区域，A_i(i＝0，1，...，N-1)为空域分割后的N个区域，N_i为A_i内像素的个数，T为给定的阈值，

是第i个区域的投影计算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域；

运动掩膜子装置：用于根据投影计算子装置得到的投影计算结果，计算当前帧的运动掩膜图像：

$B_o(x,y)=\underset{i=1}{\overset{N-1}{\&cup;}}{B}_o^i(x,y)$

式中，

是第i个区域的投影运算结果， $B_o^i(x,y)=1$ 表示该区域属于运动区域， $B_o^i(x,y)=0$ 表示该区域属于静止区域，B_o(x，y)为整幅图像的投影结果，B_o(x，y)＝1表示像素点(x，y)属于运动区域，B_o(x，y)＝0表示像素点(x，y)属于静止区域；

映射子装置：用于将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标。

Images