CN103139525B - 基于兴趣区域检测的视频图像非线性放大方法 - Google Patents

Abstract

一种基于兴趣区域检测的视频图像非线性放大方法，包括：将一定阈值范围内的图像块设定为是肤色块，将该肤色块初步确定兴趣区域，利用角点检测辅助判断兴趣区域，从而确定兴趣区域为线性放大区域，其余区域为非线性放大区域；根据图像的线性放大区域位置计算所有插值点的坐标值，计算出新插值点的坐标；根据插值点的坐标值，在水平方向采用双三次插值，在垂直方向采用双线性插值计算插值点的像素值。本发明可以更准确的识别出人物区域；可以有效避免在室内场景等细节较多场景中的误判；既保证了插值的效果，又降低了硬件设计的难度。

Description

基于兴趣区域检测的视频图像非线性放大方法

技术领域

本发明涉及一种视频图像处理的方法。特别是涉及一种基于兴趣区域检测的视频图像非线性放大方法。

背景技术

HDTV（High Definition Television，高清电视）是DTV（Digital Television，数字电视）标准中的一种，即高清晰度的数字电视。高清电视的水平分辨率和垂直分辨率都比普通电视提高一倍以上，可以提供较高的视频效果。我国广播电视业尚处在向数字电视过渡时期，视频缩放是视频处理芯片的一项重要功能。在视频图像缩放的过程中，仍存在如何把原有普屏规格（如4:3,5:4等）的视频图像转变为宽屏规格（如16:9等）的问题。由于画面长宽比的变化，导致图像在缩放过程中会出现景物的拉伸和变形，图像会出现被压扁的状况，导致画面成像效果降低。

传统的处理不同长宽比视频图像缩放的方法主要包括直接拉伸、剪裁模式和加黑边模式。直接拉伸是处理图像缩放最基本的方法，插值点都是等距离的。在普屏向宽屏转化的过程中由于横向插值点个数明显多于纵向，使得画面出现一定程度的拉伸变形。剪裁模式使用与水平方向相同的缩放比例对原始图像的垂直方向进行缩放，再将垂直方向超出显示器的部分剪裁。这种方式破坏了原有图像信息的完整性。加黑边模式使用与垂直方向相同的缩放比例对原始图像的水平方向进行缩放，在水平方向两侧填补黑色背景，该方法保证景物不变形的同时却造成了显示屏幕的浪费并影响视觉效果。

非线性的缩放方式比较适合用于普屏到宽屏的图像放大。目前的技术主要采用将图像分块，由于人眼对中间部分的图像关注度较大，所以将中央区域作线性放大，插值点呈均匀分布，保证图像的不变形，对两侧区域作非线性放大，插值点密度与距中央的距离有关，它随插值点和源图像中心距离的增大而增大，在线性区域和非线性区域的交界处，插值点的密度平滑过渡。

在非线性区域，插值点间距的变化方式主要有按等差递变和按正弦曲线递变的方式。按等差递变的方式插值点在边缘处距离最小，导致的景物变形严重。按正弦曲线递变的方式变化均匀平缓，但在硬件实现时较为复杂。

发明内容

本发明所要解决的技术问题是，提供一种在视频图像放大的过程中，更好地保持人眼关注度较高区域的图像不失真，使得画面在放大过程中充满屏幕又保证兴趣区域不变形的基于兴趣区域检测的视频图像非线性放大方法。

本发明所采用的技术方案是：一种基于兴趣区域检测的视频图像非线性放大方法，包括如下步骤：

1）确定图像的线性放大区域，首先将图像分块，再采用肤色检测，将一定阈值范围内的图像块设定为是肤色块，将该肤色块初步确定兴趣区域，当肤色检测无法判断兴趣区域时，通过计算图像块内各个像素的角点响应，利用角点检测辅助判断兴趣区域，从而确定兴趣区域为线性放大区域，其余区域为非线性放大区域；

2）根据图像的线性放大区域位置计算所有插值点的坐标值，利用线性放大区域和非线性放大区域的插值点间距平滑过渡以及非线性区域中插值点间距呈现等差数列变化的特性，计算出新插值点的坐标；

3）根据插值点的坐标值，在水平方向采用双三次插值，在垂直方向采用双线性插值计算插值点的像素值。

所述的肤色检测是，将水平方向平均分块后选取的图像块中的每个像素转换到YIQ色彩空间进行肤色检测，选择一定阈值的肤色范围，判断每个像素是否为肤色像素，统计肤色像素的数量，设定与图像块水平像素数相关的值为阈值，将肤色像素数量超出该阈值的图像块确定为肤色块。

所述的一定阈值的肤色范围是：15≤I≤90，-10≤Q≤20，Y为任意值。

所述的与图像块水平像素数相关的值为0.4～0.6倍的被检测块水平像素数的平方。

所述的利用角点检测辅助判断兴趣区域，是利用Harris角点检测的方法对兴趣区域进行辅助判断，计算图像块内每个像素的Harris角点响应值，选择阈值超过设定值的像素判断为角点像素，统计角点像素的数量，设定与图像块水平像素数相关的值为阈值，将角点像素数量超出该阈值的图像块确定为角点块。

所述的与图像块水平像素数相关的值为0.1～0.2倍的被检测块水平像素数的平方。

所述的计算出新插值点的坐标是，在水平方向选取图像的兴趣区域作为线性放大的区域，其余区域为非线性放大的区域，设定非线性区域插值点间距按照等差数列的方式变化，设定非线性区插值点间距最大值等于线性区插值点间距，从而计算得出插值间距变化公差及各个点坐标。

本发明的基于兴趣区域检测的视频图像非线性放大方法，具有以下有益效果：

（1）使用YIR肤色模型对图像进行肤色识别，该模型相比较RGB色彩空间，具有肤色信息受亮度影响小，集中于色度分量I和Q上的特点，可以更准确的识别出人物区域。

（2）利用Harris角点辅助肤色进行兴趣区域的检测，加强了兴趣区域检测的准确性，可以有效避免在室内场景等细节较多场景中的误判。

（3）采用对图像分块检测的方法，对图像分块进行非线性放大，能根据人眼的视觉特性，更好地保证主景区的变形和失真较小

（4）在插值方法的选取上，采用双三次插值和双线性插值相结合的方式，既保证了插值的效果，又降低了硬件设计的难度。

附图说明

图1是确定线性区域的流程图；

图2是水平方向插值方法示意图；

图3是图像分块和兴趣区域选取示意图。

具体实施方式

下面结合实施例和附图对本发明的基于兴趣区域检测的视频图像非线性放大方法做出详细说明。

本发明要解决的技术问题是提取视频图像中的兴趣区域，在视频图像由普屏规格向宽屏规格转换的过程中，实现视频图像的分块非线性放大。为解决上述问题，本发明提出了一种基于肤色的兴趣区域检测方法。本发明认为图像中的兴趣区域是人物较为集中以及细节丰富的区域，这些区域在放大的过程中要进行线性放大，水平方向和垂直方向的放大比例相同。其他的区域按照非线性的方法进行放大。

本发明的基于兴趣区域检测的视频图像非线性放大方法，包括如下步骤：

1）确定图像的线性放大区域，首先将图像在水平方向均匀分成M块，然后选取其中m块图像块进行兴趣区域统计，在这m块图像块中筛选出s块图像块进行线性放大。如图1所示，首先将图像分块，再采用肤色检测，将一定阈值范围内的图像块设定为是肤色块，将该肤色块初步确定兴趣区域，当肤色检测无法判断兴趣区域时，通过计算图像块内各个像素的角点响应，利用角点检测辅助判断兴趣区域，从而确定兴趣区域为线性放大区域，其余区域为非线性放大区域；

所述的肤色检测是，将水平方向平均分块后选取的图像块中的每个像素转换到YIQ色彩空间进行肤色检测，在YIR颜色空间选择一定阈值的肤色范围，判断每个像素是否为肤色像素，统计肤色像素的数量，设定与图像块水平像素数相关的值为阈值，将肤色像素数量超出该阈值的图像块确定为肤色块。所述的一定阈值的肤色范围是：15≤I≤90，-10≤Q≤20，Y为任意值，所述的与图像块水平像素数相关的值为0.4～0.6倍的被检测块水平像素数的平方。

由RGB颜色空间向YIR颜色空间转化的公式如下：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

当肤色像素数量超过一定的阈值时认为该图像块为肤色块。当肤色块数量较少时，认为图像存在人物较为单一，选取s块肤色像素最多的块作为线性区域备选块。当s块备选块的肤色像素数量远远大于其他图像块的时候，认为备选块为人物主要区域，选择这s块为线性放大区域；否则，认为需要s个以上的块才能完整表现一个人物，选择肤色像素最多的图像块与其邻近的肤色像素较多的图像块共s块作为线性区域。当肤色块数量较多或者没有肤色块时，利用肤色无法进行兴趣区域的检测，需要通过角点检测进行辅助。

所述的利用角点检测辅助判断兴趣区域，是利用Harris角点检测的方法对兴趣区域进行辅助判断，计算图像块内每个像素的Harris角点响应值R，选择阈值超过设定值（本发明中设定值为0）的像素判断为角点像素，统计角点像素的数量，设定与图像块水平像素数相关的值为阈值，将角点像素数量超出该阈值的图像块确定为角点块。所述的与图像块水平像素数相关的值为0.1～0.2倍的被检测块水平像素数的平方。

Harris响应值R计算公式如下：

$\left\{\begin{array}{c}A=w(x,y)*I_x^2\\ B=w(x,y)*I_y^2\\ C=D=w(x,y)*I_x{I}_y\\ M=\left[\begin{array}{cc}A& D\\ C& B\end{array}\right]\\ R=\det \left(M\right)-k\·\mathrm{Tr}{\left(M\right)}^2\end{array}\right.$

其中I_x，I_y分别为x，y方向的差分，w(x,y)为高斯函数。当肤色块数量较多或没有肤色块时，通过角点统计选择线性区域。与肤色判断类似，图像块进行角点像素的统计，当角点像素超过一定的阈值时认为该图像块为角点块。当角点块数量较少时，选择s块角点像素最多的区域作为线性区域备选块。当s块备选块的数量远远大于其他图像块的时候，选择这s块为线性放大区域；否则，选择角点像素最多的图像块与其邻近的角点像素较多的图像块共s块作为线性区域。

若角点块数量也较多时，标明肤色和角点检测都无法准确判断兴趣区域的位置，则选择图像中央的s块图像块作为线性区域。

2）根据图像的线性放大区域位置计算所有插值点的坐标值，利用线性放大区域和非线性放大区域的插值点间距平滑过渡以及非线性区域中插值点间距呈现等差数列变化的特性，计算出新插值点的坐标；

计算出新插值点的坐标，是在水平方向选取图像的兴趣区域作为线性放大的区域，其余区域为非线性放大的区域，设定非线性区域插值点间距按照等差数列的方式变化，设定非线性区插值点间距最大值等于线性区插值点间距，计算得出插值间距变化公差及各个点坐标。

为了更清楚地说明在线性与非线性区域插值的方法，下面举例说明。图2即为水平方向插值方法示意图。其中有s个线性区域和t个非线性区域，线性区域将整幅图像在水平方向分成了s+t个区域，当线性块有相邻时，整幅图像被分成的区域将少于s+t个，至此，线性区域和非线性区域的宽度都可以确定。经过线性区域的选定之后，进行图像插值点坐标的计算。在线性区域插值点间距一定并保持源图像的长宽比，在非线性区域插值点密度随插值点的位置不同而变化，两插值点之间的间距按照等差数列的方式进行递变，越靠近线性区域密度越小，插值点间距越大，并且线性区域和非线性区域的交界处是平滑过渡的，即非线性区域的插值点间距最大值等于线性区域的插值点间距。

设源图像与新图像的水平和垂直方向的像素点个数分别为H₀、V₀，H₁、V₁，单个线性区域水平宽度占源图像水平宽度的比例为r，设源像素点的间距为1，设L为s个线性区域的插值点个数，N₁、N₂、N₃…N_t分别为t个非线性区域的插值点个数，d表示非线性区域插值点间距变化的公差。W_N₁、W_N₂、W_N₃…W_N_t分别为非线性区域的水平宽度。由于线性区域的要保持源图像的长宽比，所以线性区域的插值点个数可由如下公式得出：

$L=H_0\×r\×\frac{V_1}{V_0}$

当兴趣区域选定，即线性区域选定后，非线性区域和线性区域的宽度都能确定，W_N₁、W_N₂、W_N₃…W_N_t都变成已知量，则根据以下公式

$\left\{\begin{array}{c}{N}_1+N_2+N_3...+N_t+s\×L=H_1\\ [\frac{V_0}{V_1}-\frac{(N_1-2)\×d}{2}](N_1-1)=W\_N_1\\ [\frac{V_0}{V_1}-\frac{(N_2-3)\×d}{4}](N_2-1)=W\_N_2\\ [\frac{V_0}{V_1}-\frac{(N_3-3)\×d}{4}](N_3-1)=W\_N_3\\ ......\\ [\frac{V_0}{V_1}-\frac{(N_t-2)\×d}{2}](N_t-1)=W\_N_t\end{array}\right.$

即可算出非线性区域插值点的间距变化的公差以及非线性区域的插值点坐标，进而得到新图像的所有插值点坐标。

3）根据插值点的坐标值，在水平方向采用双三次插值，在垂直方向采用双线性插值计算插值点的像素值。

当得到新图像的所有插值点坐标后即可对新图像的每个像素进行插值计算。为了保证插值效果，减少硬件开销，采用行列不同插值算法的图像放大引擎设计，在水平方向采用双三次插值，保证插值效果，在垂直方向采用双线性插值，减少硬件开销。

本发明适用于将普屏格式（如4：3）的视频图像放大为宽屏格式（如16：9）视频图像时使用。如图3所示是图像分块和兴趣区域选取示意图。为了能够正确选择兴趣区域作为线性放大的区域，首先将源图像水平方向等分（此处分成了10等分），只选取中间的几块（此处选择6块）区域进行肤色和角点像素的统计，每块图像块标号如图3所示。此例中选择两块像素块用于线性放大。

将这6块图像块中的像素值从RGB色彩空间转化到YIR色彩空间，采用的公式如下：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

本方法采用的肤色范围可用矩形模型近似表示，其范围是15≤I≤90；-10≤Q≤20。在该区域中的像素被认为是肤色像素。当每个统计块中的肤色像素数超过一定阈值，本方法中可选择0.5倍的被检测块水平像素数的平方，则认为该块为肤色块。

当对图像进行角点统计时，选择统计Harris响应值，统计公式如下

$\left\{\begin{array}{c}A=w(x,y)*I_x^2\\ B=w(x,y)*I_y^2\\ C=D=w(x,y)*I_x{I}_y\\ M=\left[\begin{array}{cc}A& D\\ C& B\end{array}\right]\\ R=\det \left(M\right)-k\·\mathrm{Tr}{\left(M\right)}^2\end{array}\right.$

当响应值大于一定阈值时该像素被认为是角点。本方法中选用0作为响应值的阈值。角点数量超过一定阈值，本方法中可选用0.15倍的被检测块水平像素数的平方，则认为该块为较为关注区域，定义为角点块。

这样，源图像中肤色块和角点块的数量都已统计完毕。下面作线性区域选择判断。当肤色块的数量为1-3块时，认为图像存在人物且较为单一，选取两块肤色像素最多的块作为线性区域的备选块。如果两块备选块的肤色像素远多于其它块的肤色像素，认为两块备选块为人物主要区域，选这两块图像块为线性区域；否则，认为需要两个以上的块才能完整表现一个人物，选择肤色像素最多的块与其相邻的肤色像素较多的块作为线性区域。肤色块的块数较多或者没有肤色块的时候都不适合使用肤色进行判断，通过角点统计选择线性区域。与肤色判断相似的办法，角点块数量较少（0-3），选取两块角点数量最多的块作为线性区域的备选块。如果两块备选块的角点数量远多于其他图像块，选这两块作为线性区域；否则，选择角点最多的块与其相邻的一块作为线性区域。最后，如果角点数量也较多时，表明肤色和角点检测都无法准确判断兴趣区域的位置，图像中央两块将被选为线性区域。

确定线性区域之后，整个图像区域被分成了5个部分，当中央区域为线性区域时，图像被分成3个部分。新图像像素的插值点位置就能确定了。假设源图像与新图像的水平和垂直方向的像素点个数分别为H₀、V₀，H₁、V₁，线性区域水平宽度占源图像水平宽度的比例为r，设源像素点的间距为1，d表示非线性区域插值点间距变化的公差。由于线性区域按照与垂直方向相同的比例进行放大，线性区域的插值点个数L就能确定，根据如下公式

$L=H_0\×r\×\frac{V_1}{V_0}$

线性区域和非线性区域的宽度也都能确定，非线性区域水平宽度W_N₁、W_N₂、W_N₃都成为已知量。在图像的非线性区域中，插值点之间的间距按照等差数列的方式进行递变，越靠近线性区域密度越小，插值点间距越大，并且线性区域和非线性区域平滑过渡，即非线性区域中插值点的最大间距为线性区域中插值点的间距。由此，根据公式

$\left\{\begin{array}{c}{N}_1+N_2+N_3+2\×L=H_1\\ [\frac{V_0}{V_1}-\frac{(N_1-2)\×d}{2}](N_1-1)=W\_N_1\\ [\frac{V_0}{V_1}-\frac{(N_2-3)\×d}{4}](N_2-1)=W\_N_2\\ [\frac{V_0}{V_1}-\frac{(N_3-2)\×d}{2}](N_3-1)=W\_N_3\end{array}\right.$

即可计算出每个区域的插值点个数以及非线性区域插值点间距变化的公差d，利用这些数据便可以进行新图像插值点坐标以及像素值的计算。以640×480放大到1440×900为例，若检测结果为1号和2号图像块为线性区，则L的值为120，N₁的值为257，N₂的值为0，N₃的值为943，计算式因为要保持L，N₁，N₂，N₃的值为整数，所以d的值是一种近似表示，实际运算时可扩大2的整数倍后再进行整数表示，此例中扩大2¹⁶后等于17。采用这种方法可以便于生成查找表方便硬件计算。

在计算新图像中的像素值时，采用垂直放大与水平放大分开进行，在图像水平方向，使用双三次插值方法，利用像素周围四个点计算插值点的像素值，在图像垂直方向，采用双线性插值方法，利用像素周围两个点计算插值点的像素值。

Claims (2)

1.一种基于兴趣区域检测的视频图像非线性放大方法，其特征在于，包括如下步骤：

1）确定图像的线性放大区域，首先将图像分块，再采用肤色检测，将一定阈值范围内的图像块设定为是肤色块，将该肤色块初步确定兴趣区域，当肤色检测无法判断兴趣区域时，通过计算图像块内各个像素的角点响应，利用角点检测辅助判断兴趣区域，从而确定兴趣区域为线性放大区域，其余区域为非线性放大区域；

2）根据图像的线性放大区域位置计算所有插值点的坐标值，利用线性放大区域和非线性放大区域的插值点间距平滑过渡以及非线性区域中插值点间距呈现等差数列变化的特性，计算出新插值点的坐标，

所述的计算出新插值点的坐标是，在水平方向选取图像的兴趣区域作为线性放大的区域，其余区域为非线性放大的区域，设定非线性区域插值点间距按照等差数列的方式变化，设定非线性区插值点间距最大值等于线性区插值点间距，从而计算得出插值间距变化公差及各个点坐标；

3）根据插值点的坐标值，在水平方向采用双三次插值，在垂直方向采用双线性插值计算插值点的像素值。

2.根据权利要求1所述的基于兴趣区域检测的视频图像非线性放大方法，其特征在于，所述的肤色检测是，将水平方向平均分块后选取的图像块中的每个像素转换到YIQ色彩空间进行肤色检测，选择一定阈值的肤色范围，判断每个像素是否为肤色像素，统计肤色像素的数量，设定与图像块水平像素数相关的值为阈值，将肤色像素数量超出该阈值的图像块确定为肤色块。

3．根据权利要求2所述的基于兴趣区域检测的视频图像非线性放大方法，其特征在于，所述的一定阈值的肤色范围是：15 ≤ I ≤ 90，-10 ≤ Q ≤ 20，Y为任意值。

4．根据权利要求2所述的基于兴趣区域检测的视频图像非线性放大方法，其特征在于，所述的与图像块水平像素数相关的值为0.4～0.6倍的被检测块水平像素数的平方。

5．根据权利要求1所述的基于兴趣区域检测的视频图像非线性放大方法，其特征在于，所述的利用角点检测辅助判断兴趣区域，是利用Harris角点检测的方法对兴趣区域进行辅助判断，计算图像块内每个像素的Harris角点响应值，选择阈值超过设定值的像素判断为角点像素，统计角点像素的数量，设定与图像块水平像素数相关的值为阈值，将角点像素数量超出该阈值的图像块确定为角点块。

6．根据权利要求5所述的基于兴趣区域检测的视频图像非线性放大方法，其特征在于，所述的与图像块水平像素数相关的值为0.1～0.2倍的被检测块水平像素数的平方。

Images