CN101923703A - 基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法 - Google Patents

Abstract

一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，该方法包括：结合体育视频中间层语义分析结果，针对图像帧提取用户对语义区域重要性主观评价的统计特征，并用来对基于底层特征的能量函数进行加权，得到语义加权的能量函数；利用前向能量的细缝裁减方法去除图像中的不重要信息，同时用重要语义边缘的变化度量重要信息变形，当变形超过设定指标时终止细缝裁减方法，采用非均匀映射方法得到目标大小的图像。方法框架如摘要附图所示。本发明将目前比较好的两种方法——细缝裁减方法和非均匀映射方法有机结合，充分发挥各自的优点，实现综合最优的图像视频自适应结果；并且引入了语义加权的能量函数计算，实现基于语义内容的图像大小自适应。

Description

基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应的方法的研究及实现。

背景技术

随着移动设备的普及，电视、笔记本电脑、PDA、手机等适用于不同网络的终端设备不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证持不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。

目前主要的图像大小自适应方法有线性变形(Scaling)方法，裁切(Cropping)方法，非均匀映射(Non-homogeneous Warping)方法，基于细缝裁切的方法、基于前景对象的方法等。

线性变形方法是最简单的图像大小自适应方法，该方法没有考虑图片内容，一旦由不同比例缩放，往往会造成图片的变形，或者关键对象由于挤压或拉长带来的比例失真等。

裁切方法是将图像的重要区域标定后再进行等比例缩放。这一方法通常和图像感兴趣区检测相结合，先确定出哪些区域属于重要区域，然后裁切并移除不重要的内容，使感兴趣区域的比例变大。其中重要内容区域的检测十分重要，脸部的检测等常作为检测的重点。另外，该方法只能保留局部内容，当重要区域位于图像两端时，其必然要保留一边而舍弃另一边，导致重要信息丢失。

二维的非均匀映射方法首先由用户设定一些需要保持形状的感兴趣区域，在进行图像缩放时，感兴趣区基本上采取相似变换，而其它区域则采取非线性变换，当然感兴趣区形状保持的代价是其它背景区域更大的变形。

基于细缝裁减方法是自动寻找图像中的水平或垂直方向单调、连通的最低能量线，通过去除/增加最低能量线来压缩/放大图像，这一方法的特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。在此基础上，2008年Rubinstein等人提出了改进方案，将能量计算由原来的后向能量改为前向能量，这一改进较好的保持了图像中的边缘和细节。

基于对象的(Object-Based)图像或视频的编辑方法，分离出图像中的前景和背景分别进行缩放后再合成新的图像。这类方法的瓶颈在于普适的对象分割技术和鲁棒性的前景背景分类技术还不成熟，这也导致该类方法推广应用存在局限性。

目前各种方法有各自的优缺点和局限性，我们发明一种图像大小自适应方法，它融合了细缝裁切方法和非均匀映射方法的优点，首先采取细缝裁减方法，同时监测重要信息变形的度量值，当变形超过设定指标时，终止细缝裁减方法，切换为非均匀映射方法，不仅能够实现图像大小的自适应，同时能够更多的保持图像的语义内容。

发明内容

本发明的目的在于，通过提供一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，适用于不同尺寸用户终端的图像自适应技术，使图像能够自适应地在不同终端上显示图像内容，尽可能多的保持原始图像中语义内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，以保证最佳主观观赏质量。

本发明是采用以下技术手段实现的：

本发明提供了一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法。该方法包括：

A、读入视频序列图像，接下来分别对每一帧M*N大小的图像做细缝裁切和非均匀映。

B、针对图像帧提取用户对语义区域重要性主观评价的统计特征，并用来对基于底层特征的能量函数进行加权，得到语义加权的能量函数。

进一步地，所述步骤B具体包括：

B1、对输入的当前图像帧划分语义区域并标定重要区和非重要区的语义边缘。语义区域包括场地区域、运动员区域、记分牌区域、关键对象区域、观众区域、广告牌区域等常用体育视频语义区域。然后根据语义重要性自动确定各个不同的语义区及边缘区内的权值，得到当前帧的语义权值函数。语义边缘用来检测重要信息变形以判定何时结束细缝裁切方法。

B2、计算当前图像帧中每一个像素点的灰度值，得到图像帧的灰度函数。计算源图像每一个像素点灰度值和加权值的乘积，得到帧图像的加权灰度函数。

B3、计算源图像每一个像素点的能量值，能量值采用梯度能量来计算，得到帧图像的能量函数。根据梯度能量值计算前向能量值。计算当前图像帧中每一个像素点前向能量值和语义权值的乘积，得到当前图像帧的加权能量函数。

进一步地，所述步骤B1具体包括：

31、请用户给各语义区域重要性打分(1-10)，统计共m处语义区域重要性的分布p_Si(Im)，i＝1，2，...m，并计算其均值{Ave_Im_S1，Ave_Im_S2，......Ave_Im_Sm}和方差{vm_S1，vm_S2，......vm_Sm}。确定语义区域Si的有效范围[Ave_Im_Si-3vm_Si，Ave_Im_Si+3vm_Si]。

32、根据语义重要性自动确定语义加权值。设底层能量函数计算公式Φ(p)，随机选取一些训练视频帧，统计语义区域Si的能量分布值p_Si(Eng)

语义区域Si的重要性权值通过如下公式计算：

${\mathrm{Weight}}_{\mathrm{Si}}=\underset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}-3{\mathrm{vm}}_{\mathrm{Si}}}{\overset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}+3{\mathrm{vm}}_{\mathrm{Si}}}{\∫}}\underset{0}{\overset{\∞}{\∫}}{p}_{\mathrm{Si}}\left(\mathrm{Im}\right)p_{\mathrm{Si}}\left(\mathrm{Eng}\right)(\mathrm{Im}/\mathrm{Eng})d_{\mathrm{Im}}{d}_{\mathrm{Eng}}$

至此，我们得到图像中的相应像素点的语义重要性权值

w(i，j)＝{Weight_Si，(i，j)∈Si}。

C、逐步去除或者增加当前图像帧中的细缝即低能量线来实现图像大小的自适应。根据重要区和非重要区的语义边缘随时监测重要信息变形，当这一度量达到某个阈值时即停止细缝算法。

进一步地，所述步骤C具体包括：

C1、设定输出目标图像的长宽大小。

C2、初始化图像宽度和高度，迭代次数k＝0。然后进行第k次迭代，计算图像的行代价函数和列代价函数。将所有行/列的代价函数进行对比，得到最小代价函数，设第l行为Cost_Rl。代价函数Cost_Rl对应的路径path(x_y，y)即为低能量线，去除图像I(x，y)和语义加权图w(i，j)中低能量线对应位置的像素点。

C3、进一步根据低能量线path(x_y，y)修正重要边缘描述子。对重要边缘Edge_im_t的第k个点(s_k，y_k)，如果y＝y_k且x_k＝x_y则删除该点，边缘长度减1；如果y＝y_k且x_k＞x_y，则x_k＝x_k-1。

C4、计算重要信息变形的度量值。如果重要信息变形的度量值超过设定阈值指标，则终止细缝裁减算法，否则迭代次数k＝k+1，修改图像宽度或高度，跳至C1中进行第k+1次迭代计算。

进一步地，所述步骤C4具体包括：

重要信息变形采取重要区域边缘即场地边缘变形来度量。设场地边缘描述子为

Edge_im_t＝{(x₁，y₁)，(x₂，y₂)，......，(x_n，y_n)}，t＝1，2...T

随着图像放大或缩小，边缘Edge_im_t的方向应该保持不变，而是平行移动。换句话讲，在边缘对应的直线方程L_t：A_tx+B_ty+C_t＝0中，A_t和B_t保持不变，C_t随着图像的缩放而变化。用当前图像中边缘Edge_im_t上的所有象素点采用最小均方误差方法计算C_t即可确定直线方程。进一步，计算边缘Edge_im_t所有点与拟合直线L_t的垂直距离(即点与拟合直线的偏移量)：

$d_m^t=\frac{|A_t{x}_m+B_t{y}_m+C_t|}{\sqrt{A_t^2+B_t^2}},$ m＝1，2，...n    (6)

寻找最大偏移量作为重要信息变形指标

$\mathrm{\χ}=\max \left\{d_m^t\right|t=1,..T,m=1,..n\}---\left(7\right)$

变形度量准则采用阈值法，通过综合各种类型的直线变形训练得到阈值。如果重要信息的度量值变形大于设定阈值，停止细缝裁减。

D、当重要信息变形的度量值大于设定阈值时细缝裁减停止，接下来采用非均匀映射方法完成图像大小的自适应，使图像大小自适应为C1中设定的目标。非均匀映射过程分为两个层次，先处理不包含记分牌的图像区域即自然图像，然后处理记分牌区域即记分牌图像。细缝裁减方法的随机变形对以文字为主的记分牌区域有很大影响，记分牌区域直接从原始图像的记分牌图像进行映射。自然图像则从细缝裁减后的图像进行映射。

进一步地，所述步骤D具体包括：

D1、根据A步骤中得到的语义重要性统计值将自然图像分为重要区域和不重要区域，设定阈值将各语义区域重要性值二值化为重要区域和不重要区域。

D2、通过边缘检测来得到记分牌图像的重要区域即文字区域，剩下的部分为记分牌图像的非重要区域。

D3、对包含重要区域和非重要区域的自然图像和记分牌图像分别进行非均匀映射。先处理自然图像，得到记分牌区域的目标大小。以此为目标，采用相同的方法对原始记分牌图像进行非均匀映射，实现记分牌图像自适应。最后将其叠加到自然图像的自适应结果中，得到最终的自适应图像。

进一步地，所述步骤D3具体包括：

D31、图像共包含d个重要区域F＝F₁∪F₂∪，...UF_d。将图像分为K个矩形栅格区域，自然图像对应的栅格较大，记分牌图像对应的栅格较小。

D32、设原始栅格顶点经过非均匀映射后为V′＝{v′₁，v′₂，...v′_N}，重要区域比例因子为SF_Im，不重要区域比例因子为SF_NIm。结合两个比例因子和重要区域F，得到相应顶点的重要性权值SI(v_i)。

D33、计算V′＝{v′₁，v′₂，...v′_N}，使其在重要性权值SI(v_i)的作用下尽可能接近原始图像中的栅格顶点V＝{v₁，v₂，...v_N}。

本发明与现有技术相比，具有以下明显的优势和有益效果。

本发明一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，将目前比较好的两种方法——细缝裁减方法和非均匀映射方法有机结合，充分发挥各自的优点，实现综合最优的图像视频自适应结果；并且引入了语义加权的能量函数计算，实现基于语义内容的图像大小自适应。使图像能够自适应地在不同终端上显示图像内容，尽可能多的保持了原始图像中语义内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，保证了最佳的主观观赏质量。

附图说明

图1为实施例中基于语义的细缝与非均匀映射方法结合方法的流程图；

图2为实施例中方法的详细流程图；

图3为实施例中前向能量三种可能的路径和相应能量值变化；

图4为实施例中细缝方法操作步骤；

图5为实施例中输入图像帧。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

技术方案的整体流程如说明书附图1所示，本实施例是针对体育视频中的篮球视频进行的，源篮球图像帧大小为288*352像素的BMP位图。结合体育视频中间层语义分析结果，针对图像帧提取用户对语义区域重要性主观评价的统计特征，并用来对基于底层特征的能量函数进行加权，得到语义加权的能量函数。接下来利用前向能量的细缝裁减方法去除图像中的不重要信息，同时用重要语义边缘的变化度量重要信息变形，当变形超过设定指标时终止细缝裁减方法，采用非均匀映射方法得到目标大小的图像。技术方案的详细流程图如说明书附图2所示。

A、读入篮球视频序列图像，其高为288像素，宽为352像素。

B、语义加权能量函数计算。

首先阐述一下语义的概念。人们提出了体育视频的三层语义结构：底层特征、中间层特征和高层语义。此底层特征就是直接由图像像素值提取的颜色、形状、纹理等特征及其组合。高层语义即人们理解的图像内容，目前还没有达到自动提取的程度。中间层特征可以归结为简单的语义特征，他们基于底层特征、结合领域知识而得到，一般可以自动提取。

本实施例中采用的是中间层语义。体育视频中比赛场地一般都包含较少细节信息，用传统的能量函数往往会产生与人们的理解不完全一致的结果。我们提出了一种语义加权能量函数计算方法，结合中间层语义特征对传统的能量函数进行修正，以得到的能量函数能够更好的表示图像语义。

所述步骤B具体包括：

B1、对输入的当前图像帧划分语义区域并标定重要区和非重要区的语义边缘。本实施例中语义区域包括场地区域、运动员区域、记分牌区域、观众区和广告牌区域，见说明书附图5(黑色三角和白色三角为两队球员，黑色圆点为篮球，白色菱形为裁判人员)。然后根据语义重要性自动确定各个不同的语义区及边缘区内的权值，场地区域权值为5、运动员区域权值为6、记分牌区域为7、观众区和广告牌区域为1，得到当前帧的语义权值函数。

B2、根据当前图像帧中每一个像素点的R、G、B分量值计算灰度值，根据灰度计算公式为gray＝0.299*R+0.587*G+0.114*B，可以得到图像帧的灰度函数。计算源图像每一个像素点灰度值和加权值的乘积，得到帧图像的加权灰度函数。

B3、计算源图像每一个像素点的能量值，我们希望能量值能够表征图像中像素点的重要程度，本实施方式采用梯度值这种简单有效的方式来计算能量值并再进一步用语义权值对其修正。图像中像素的灰度值为I(i，j)，该点的梯度能量即：

梯度值越大，能量值越大。

为了更好的表征像素点的重要程度，我们提出采用语义加权的能量函数改进算法，在图像大小缩放的过程中更加有助于保护图像当中的重要语义区域及边缘。计算当前图像帧中每一个像素点能量值和语义权值的乘积，得到当前图像帧的加权能量函数。语义加权能量值＝梯度能量值*语义权值

进一步地，所述步骤B1具体包括：

31、人们对于不同语义区域重要性理解有一定的共性，但也存在差别。忽略较小差别，提取共性，并将其与图像内容重要性关联起来以得到与人类理解相符合的结果。基于此我们发放调查问卷请用户给各语义区域重要性打分(1-10)，统计共m处语义区域重要性的分布p_Si(Im)，i＝1，2，...m，并计算其均值{Ave_Im_S1，Ave_Im_S2，......Ave_Im_Sm}和方差{vm_S1，vm_S2，......vm_Sm}。确定语义区域Si的有效范围[Ave_Im_Si-3vm_Si，Ave_Im_Si+3vm_Si]。

32、根据语义重要性自动确定语义加权值。设底层能量函数计算公式Φ(p)，随机选取一些训练视频帧，统计语义区域Si的能量分布值p_Si(Eng)

语义区域Si的重要性权值通过公式(1)计算：

${\mathrm{Weight}}_{\mathrm{Si}}=\underset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}-3{\mathrm{vm}}_{\mathrm{Si}}}{\overset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}+3{\mathrm{vm}}_{\mathrm{Si}}}{\∫}}\underset{0}{\overset{\∞}{\∫}}{p}_{\mathrm{Si}}\left(\mathrm{Im}\right)p_{\mathrm{Si}}\left(\mathrm{Eng}\right)(\mathrm{Im}/\mathrm{Eng})d_{\mathrm{Im}}{d}_{\mathrm{Eng}}---\left(1\right)$

至此，得到图像中的相应像素点的语义重要性权值

w(i，j)＝{Weight_Si，(i，j)∈Si}。

C、采用细缝增删方法逐步去除或者增加当前图像帧中的细缝即低能量线来实现图像大小的自适应。随时监测重要信息变形的度量值，当这一度量达到某个阈值时即停止细缝算法，方法如说明书附图4所示，具体说明见下面步骤。

进一步地，所述步骤C具体包括：

C1、设定输出目标图像的长宽大小。通过目标图像和源图像长宽的比对，我们可以得到我们将在水平方向和垂直方向改变多少尺寸。本实施例设定输出目标图像大小为176*144，即长度和宽度各减少一半。

C2、细缝方法的思想是从图像中寻找一条能量最小的垂直或水平缝隙，将找到的缝隙上所有的像素点删除或复制以实现图像尺寸减小或增大。

其中垂直或水平缝隙是指图像中一条自顶向下或自左向右的曲线，图像中的每一行或列有且仅有一个像素点在这条曲线上，且曲线上任何相邻两行的像素点是邻接的。缝隙的能量被定义为缝隙上所有像素点的能量之和。

如何寻找这条细缝是很重要的一个步骤。以寻找垂直方向细缝为例，基于内容的一般方法采用的是，寻找一条自顶向下的曲线即细缝，它的能量为所有它上面能量的和，删除或者复制它。我们计算图像中所有像素点的能量的平均值为当我们任意移出像素的时候，这个图像中的能量平均值

应该保持不变。当移出地能量线上的像素的时候，基于内容的一般方法会使能量平均值增加。基于内容的一般方法对大部分图像是可用的，但是忽略了能量的增加。我们注意到这样的变化，当细缝移出了，原来不相邻的像素变成了邻居，新的邻居产生了新的边缘。于是本实施例采用了如下方法，即前向能量方法。

寻找细缝，当它移出后图像增加的能量最小。这样的细缝的能量不一定是最小的，但是当它删除或者复制后引起最小的假象，更好的保护图像的语义内容。

新的边缘的能量为新邻居的能量差。考虑到细缝的连续性，以及算垂直细缝为例列出了所有的三种情况，如说明说附图3所示：

移出像素p_i，j有三种路径可以实现，从p_i-1，j-1p_i-1，j或者p_i-1，j+1到p_i，j即从左上方、正上方、右上方到p_i，j三种路径。当移出两个像素点后，产生新的边缘，边缘值分别为：

C_Left(i，j)＝|I(i，j+1)-I(i，j-1)|+|)I(i-1，j)-I(i，j-1)|

C_Up(i，j)＝|I(i，j+1)-I(i，j-1)|

C_Right(i，j)＝|I(i，j+1)-I(i，j-1)|+|I(i-1，j)-I(i，j+1)|

当然，会将上述的语义权值与其加权，来更好的保护图像的语义内容，即将像素的每一点的语义权值w(i，j)与该点的边缘值点积，如下：

C_Left(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j-1)I(i，j-1)|+|w(i-1，j)I(i-1，j)-w(i，j-1)I(i，j-1)|

C_Up(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j-1)I(i，j-1)|

C_Right(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j-1)I(i，j-1)|+|w(i-1，j)I(i-1，j)-w(i，j+1)I(i，j+1)|

需要说明的是，要特别考虑一些特殊的点，当计算水平的缝隙时，图像的起始点、第一行、第一列以及最后一行；当计算垂直的缝隙的时候，图像的起始点、第一行、第一列以及最后一列。例如在计算垂直缝隙的时候，图像的第一行，用相邻的点的权值和灰度值代替不存在的邻居点的权值和灰度值。即：

C_Left(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j)I(i，j)|+|w(i-1，j)I(i-1，j)-w(i，j)I(i，j)|

C_Up(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j)I(i，j)|

C_Right(i，j)＝|w(i，j+1)I(i，j+1)-w(i，j)I(i，j)|+|w(i-1，j)I(i-1，j)-w(i，j+1)I(i，j+1)|

三条路径中的C_Left(i，j)，C_Up(i，j)，C_Right(i，j)，接下来就要寻找一条水平或者垂直的细缝，这条细缝上的能量值为自顶向下或者自左向右的C_Left(i，j)，C_Up(i，j)，C_Right(i，j)的叠加的最小值记为M(i，j)。即采用动态规划的方法求解前向能量最小细缝，具体做法为：

初始化图像宽度和高度，迭代次数k＝0。然后进行第k次迭代，计算图像的行代价函数和列代价函数，以列为例，代价函数的计算通过以下公式循环迭代得到：

$M(i,j)=\min \left\{\begin{array}{c}M(i-1,j-1)+C_{\mathrm{Left}}(i,j)\\ M(i-1,j)+C_{\mathrm{Up}}(i,j)\\ M(i-1,j+1)+C_{\mathrm{Right}}(i,j)\end{array}\right.$

求解后我们得到最小的列代价函数，我们记住它的列号。同理计算水平方向的细缝的代价函数，记住它得行号。将所有行/列的代价函数进行对比，得到最小代价函数，设第l行为Cost_Rl，设第l行为Cost_Rl。代价函数Cost_Rl对应的路径path(x_y，y)即为低能量线，去除图像I(x，y)和语义加权图w(i，j)中低能量线对应位置的像素点。

C3、进一步根据低能量线path(x_y，y)修正重要边缘描述子。对重要边缘Edge_im_t的第k个点(x_k，y_k)，如果y＝y_k且x_k＝x_y则删除该点，边缘长度减1；如果y＝y_k且x_k＞x_y，则x_k＝x_k-1。

C4、计算重要信息变形的度量值。如果重要信息变形的度量值超过设定阈值指标，则终止细缝裁减算法，否则迭代次数k＝k+1，修改图像宽度或高度，跳至C1中进行第k+1次迭代计算。

进一步地，所述步骤C4具体包括：

重要信息变形采取重要区域边缘即场地边缘变形来度量。设场地边缘描述子为

Edge_im_t＝{(x₁，y₁)，(x₂，y₂)，......，(x_n，y_n)}，t＝1，2...T

根据本实施例中采用的图像的特点，我们采用两条场地边缘Edge_im₁和Edge_im₂，他们的坐标点分别为：A(119，102)，B(351，131)；C(0，169)，A(119，102)。

根据坐标点A，B，C我们计算得到直线AB即L₁：A₁x+B₁y+C₁＝0，直线AC即L₂：A₂x+B₂y+C₂＝0。

随着图像放大或缩小，两条边缘的方向保持不变，而是平行移动。换句话讲，在边缘对应的直线方程L₁：A₁x+B₁y+C₁＝0，L₂：A₂x+B₂y+C₂＝0中，A₁，A₂和B₁，B₂保持不变，C₁，，C₂随着图像的缩放而变化。

用当前图像中边缘Edge_im_t上的所有象素点采用最小均方误差方法计算C_t确定直线方程。

进一步，计算边缘Edge_im_t所有点与拟合直线L_t的垂直距离(即点与拟合直线的偏移量)：

$d_m^t=\frac{|A_t{x}_m+B_t{y}_m+C_t|}{\sqrt{A_t^2+B_t^2}},$ m＝1，2，...n

寻找最大偏移量作为重要信息变形指标

$\mathrm{\χ}=\max \left\{d_m^t\right|t=1,..T,m=1,..n\}$

变形度量准则采用阈值法，通过综合各种类型的直线变形训练得到阈值。本实施例中的阈值通过实验设定为1.5。如果重要信息变形的度量值大于设定阈值，停止细缝裁减。

D、当重要信息变形的度量值大于设定阈值时细缝裁减停止，接下来采用非均匀映射方法完成图像大小的自适应，使图像大小自适应为C1中设定的目标。将非均匀映射过程分为两个层次，首先处理不包含记分牌的图像区域即自然图像，然后处理记分牌区域即记分牌图像。细缝裁减方法的随机变形对以文字为主的记分牌区域有很大影响，记分牌区域直接从原始图像的记分牌图像进行映射。自然图像则从细缝裁减后的图像进行映射。

进一步地，所述步骤D具体包括：

D1、根据A步骤中得到的语义重要性统计值将自然图像分为重要区域和不重要区域，设定阈值将各语义区域重要性值二值化为重要区域和不重要区域。

D2、通过边缘检测来得到记分牌图像的重要区域即文字区域，剩下的部分为记分牌图像的非重要区域。

D3、对包含重要区域和非重要区域的自然图像和记分牌图像分别进行非均匀映射。先处理自然图像，得到记分牌区域的目标大小。以此为目标，采用相同的方法对原始记分牌图像进行非均匀映射，实现记分牌图像自适应。最后将其叠加到自然图像的自适应结果中，得到最终的自适应图像。

进一步地，所述步骤D3具体包括：

D31、图像共包含d个重要区域F＝F₁∪F₂∪，...∪F_d。将图像分为K个矩形栅格区域，自然图像对应的栅格较大，记分牌图像对应的栅格较小。

D32、设原始栅格顶点经过非均匀映射后为V′＝{v′₁，v′₂.v′_N}，重要区域比例因子为SF_Im，不重要区域比例因子为SF_NIm。重要区域的比例因子分为行重要比例因子和列重要比例因子；行重要比例因子为目标图像宽度除以每行的重要区域象素数，列重要比例因子为目标图像高度除以每列的重要区域象素数。综合行与列重要比例因子综合求最大得到重要区域比例因子为SF_Im，同理得到不重要区域比例因子。结合两个比例因子和重要区域F，得到相应顶点的重要性权值SI(v_i)。

D33、计算V′＝{v′₁，v′₂，...v′_N}，使其在重要性权值SI(v_i)的作用下尽可能接近原始图像中的栅格顶点V＝{v₁，v₂，...v_N}。

Claims (6)

1.一种基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，包括以下步骤：

A、读入视频序列图像，对当前图像帧提取用户对语义区域重要性主观评价的统计特征，并用来对基于底层特征的能量函数进行加权，得到语义加权的能量函数；

B、采用细缝裁剪方法逐步去除或者增加当前语义加权的图像帧中的细缝即低能量线来实现图像大小的自适应；随时监测重要信息变形，当这一度量达到某个阈值时即停止细缝算法；

C、当重要信息变形大于设定阈值时细缝裁减停止，采用非均匀映射方法完成图像大小的自适应，使图像大小自适应为设定的目标；非均匀映射过程分为两个层次，首先处理不包含记分牌的图像区域即自然图像，从细缝裁减后的图像进行映射；然后处理记分牌区域即记分牌图像，直接从原始图像的记分牌图像进行映射。

2.根据权利要求1所述的基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，其特征在于，所述步骤A具体包括：

A1、对输入的当前图像帧划分语义区域并标定重要区和非重要区的语义边缘；语义区域包括场地区域、运动员区域、记分牌区域、关键对象区域、观众区域、广告牌区域等常用体育视频语义区域；根据语义重要性自动确定各个不同的语义区及边缘区内的权值，得到当前帧的语义权值函数；

A2、计算当前图像帧中每一个像素点的灰度值，得到图像帧的灰度函数；计算源图像每一个像素点灰度值和加权值的乘积，得到帧图像的加权灰度函数；

A3、计算源图像每一个像素点的能量值，能量值采用梯度能量来计算，得到帧图像的能量函数；根据梯度能量值计算前向能量值；计算当前图像帧中每一个像素点前向能量值和语义权值的乘积，得到当前图像帧的加权能量函数。

3.根据权利要求2所述的基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，其特征在于，所述步骤A1具体包括：

31、请用户给各语义区域重要性打分，统计共m处语义区域重要性的分布，并计算其均值和方差，根据均值和方差确定语义区域Si的有效范围；

32、根据语义重要性自动确定语义加权值；设底层能量函数计算公式Φ(p)，随机选取一些训练视频帧，统计语义区域Si的能量分布值p_Si(Eng)，

语义区域Si的重要性权值通过公式计算，

${\mathrm{Weight}}_{\mathrm{Si}}=\underset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}-3{\mathrm{vm}}_{\mathrm{Si}}}{\overset{\mathrm{Ave}\_{\mathrm{Im}}_{\mathrm{Si}}+3{\mathrm{vm}}_{\mathrm{Si}}}{\∫}}\underset{0}{\overset{\∞}{\∫}}{p}_{\mathrm{Si}}\left(\mathrm{Im}\right)p_{\mathrm{Si}}\left(\mathrm{Eng}\right)(\mathrm{Im}/\mathrm{Eng})d_{\mathrm{Im}}{d}_{\mathrm{Eng}}$

求出图像中的相应像素点的语义重要性权值为w(i，j)。

4.根据权利要求1所述的基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，其特征在于，所述步骤B具体包括：

B1、设定输出目标图像的长宽大小；

B2、计算图像的行代价函数和列代价函数；将所有行/列的代价函数进行对比，得到最小代价函数，其对应的路径即为低能量线，去除图像和语义加权图w(i，j)中低能量线对应位置的像素点；

B3、根据低能量线path(x_y，y)修正重要边缘描述子；对重要边缘Edge_im_t的第k个点(x_k，y_k)，如果y＝y_k且x_k＝x_y则删除该点，边缘长度减1；如果y＝y_k且x_k＞x_y，则x_k＝x_k-1；

B4、计算重要信息变形的度量值；如果重要信息度量值超过设定阈值指标，则终止细缝裁减算法，否则迭代次数k＝k+1，修改图像宽度或高度，跳至B1中进行第k+1次迭代计算。

5.根据权利要求4所述的基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，其特征在于，所述步骤B4具体包括：

重要信息变形的度量值采取重要区域边缘即场地边缘变形来度量；设场地边缘描述子为

Edge_im_t＝{(x₁，y₁)，(x₂，y₂)，......，(x_n，y_n)}，t＝1，2...T

随着图像放大或缩小，边缘Edge_im_t的方向保持不变，而是平行移动；在边缘对应的直线方程I_t：A_tx+B_ty+C_t＝0中，A_t和B_t保持不变，C_t随着图像的缩放而变化；用当前图像中边缘Edge_im_t上的所有象素点采用最小均方误差方法计算C_t确定直线方程；进一步，计算边缘Edge_im_t所有点与拟合直线L_t的垂直距离(即点与拟合直线的偏移量)：

$d_m^t=\frac{|A_t{x}_m+B_t{y}_m+C_t|}{\sqrt{A_t^2+B_t^2}},m=\mathrm{1,2},...n$

寻找最大偏移量作为重要信息变形指标

$\mathrm{\χ}=\max \left\{d_m^t\right|t=1,..T,m=1,..n\}$

变形度量准则采用阈值法，通过综合各种类型的直线变形训练得到阈值；如果重要信息变形大于设定阈值，停止细缝裁减。

6.根据权利要求1所述的基于语义的细缝裁剪和非均匀映射相结合的图像自适应方法，其特征在于，所述步骤C具体包括：

C1、根据A步骤中得到的语义重要性统计值将自然图像分为重要区域和不重要区域，设定阈值将各语义区域重要性值二值化为重要区域和不重要区域；

C2、通过边缘检测来得到记分牌图像的重要区域即文字区域，剩下的部分为记分牌图像的非重要区域；

C3、对包含重要区域和非重要区域的自然图像和记分牌图像分别进行非均匀映射；先处理自然图像，得到记分牌区域的目标大小；以此为目标，采用相同的方法对原始记分牌图像进行非均匀映射，实现记分牌图像自适应；最后将其叠加到自然图像的自适应结果中，得到最终的自适应图像。

Images