CN101711398A - 多媒体移动用户的感兴趣区域的提取方法 - Google Patents

Abstract

公开了一种用于在多媒体移动终端中提取用户的感兴趣区域的方法。所述方法包括：在基于逐个屏幕画面输入到所述多媒体移动终端的输入画面中设置搜索区域，并且基于所设置的搜索区域和该所设置的搜索区域周围的环境之间的亮度差来提取感兴趣区域的边界组；在预定帧期间通过学习从所提取的边界组的坐标候选中确定感兴趣区域的边界坐标；和放大具有所确定的边界坐标的感兴趣区域，并且显示所放大的感兴趣区域。结果，自动地提取屏幕上用户最感兴趣的区域或者与屏幕上的其它区域相比投入更多注意力的区域。因此，对于用户来说，能够以在观看期间为用户提供甚至更佳体验和更易理解的这样有效的方式来观看画面。

Description

多媒体移动用户的感兴趣区域的提取方法

技术领域

本发明涉及一种用于为多媒体移动终端的用户提取感兴趣区域(region-of-interest)的方法，无论什么时候用户期望查看该感兴趣区域，该方法都能自动地提取屏幕上用户最感兴趣的区域或者与屏幕上的其它区域相比用户投入更多注意力的区域，放大所提取的感兴趣区域，且随后显示所放大的感兴趣区域。

背景技术

近来，随着多媒体信号处理和传输技术的快速发展以及新类型的移动电视服务(如便携式数字视频广播(DVB-H)、数字多媒体广播(DMB)等)的出现，在小型液晶显示(LCD)面板上观看视频的普及已增加。图1图示了在DMB电话机中接收并显示足球比赛广播的情况。主要由于费用原因，对于移动广播，大多数服务仅以缩减的尺寸提供现有屏幕画面。

根据由Knoche及其它人已进行的为了测量具有适于在移动终端中显示的缩减尺寸的画面的条件(如像素数目、位速率等)的实验，人们注意到，在小尺寸终端中直接减小用于显示的画面在视觉方面会带来对细节部分的损失，如在“H.Knoche、J.D.McCarthy and M.A.Sasse，Can Small BeBeautiful？：Assessing Image Resolution Requirements for Mobile TV，inMULTIMEDIA”05：Proceeding of the 13^th annual ACM international conferenceon Multimedia，pp.829-838，ACM Press，(New York，NY，USA)，2005”中所公开的。

如上所述，上述损失在画面的内容是户外运动(特别是足球视频)时十分严重，而在音乐视频、新闻和漫画视频的级别变得较不严重。因此，在包括特殊内容的视频的情况下，需要研发智能型显示技术，使得移动终端的每个观看者能够观看其中仅放大感兴趣区域(Reigion-Of-Interest，ROI)的屏幕画面。

这里，ROI是指屏幕上用户最感兴趣的区域或者与屏幕上的其它区域相比用户投入更多注意力的区域。ROI用于情况感知(perception)内容适应、代码转换、智能型信息管理等。而且，ROI的指定(appointment)可能是有意义地分析视频场景的第一步骤，且因此可以说，它的指定对于画面分析也是非常重要的技术。

图2A到图2D是图示运动视频中存在的各种计分(score)形式的视图。如从图2A到图2D中注意到，在通过移动终端再现期间，必须自动地提取计分区域并且随后放大且再现所提取的计分区域。

在足球比赛播放期间，该计分区域位于屏幕的左上部分，并且通常以具有边界线的矩形形状显示，该边界线主要具有预定亮度。而且，计分区域不是自然的画面而是图形，并且几乎总是位于屏幕画面内的相同位置处。更具体地描述，当屏幕画面是特写镜头(closeup shot)时，屏幕画面上计分区域周围的环境通常处于静止状态。在这种情况下，能够提取更精确的计分区域。

作为观察各种足球比赛的视频的结果，大多数的视频的计分区域位于一个从屏幕的起始点开始具有整个水平长度的一半和整个垂直长度的三分之一的尺度(dimension)的面积内。因此，通过将搜索的范围限制到这个面积，就能够有效地提取所述计分区域。

同时，尽管已经对广告板区域进行了一些探讨，但是仍未积极地进行对计分区域的提取的研究。如从“Okihisa Utsumi，K.Miura，I.Ide，S.Sakai andH.Tanaka，in Proc.Multimedia and Expo，vol.1，Aug.2002，pp.45-48，“An ObjectDetection Method for Describing Soccer Games from Video””中注意到，Okihisa等人公开了用于使用边缘信息将字幕(caption)区域与运动场区域区分开来的技术。然而，通过Okihisa等人的技术，不易将计分区域与字幕区域内的广告板区分开来。而且，如从“Ho-Sub Yoon，Young-Lae J.Bae，and Yound-Kyu Yang，“A Soccer Image Sequence Mosaicking and Analysis Method Using Line andAdvertisement Board Detection”，ETRI Journal，vol.24，Dec.2002，pp.443-454”中注意到，Yoon等人公开了用于使用广告板和体育场的水平方向的亮度变化之间存在差别的事实将广告板区域与运动场区域区分开来的技术。然而，由于存在具有各种设计的广告板和具有各种设计的计分区域，因此通过仅使用计分区域与广告板之间的亮度差不易在计分区域与广告板之间进行区分。因此，期望仅使用计分区域的特性从屏幕画面中提取计分区域。

发明内容

技术问题

因此，已经做出本发明以便解决现有技术中出现的上述问题，并且本发明的目的是提供一种自动地提取在多媒体移动终端的屏幕上用户最感兴趣的区域或者与该屏幕上的其它区域相比用户投入更多注意力的区域。

而且，本发明的目的是提供一种用于在多媒体移动终端中提取用户的感兴趣区域的方法，该方法放大所提取的感兴趣区域，且随后显示所放大的感兴趣区域，因此，无论什么时候用户期望观看该感兴趣区域，用户都能够容易地甚至在小屏幕上观看并识别所提取的感兴趣区域。

技术方案

根据用于实现上面目的的本发明的一方面，提供了一种用于在多媒体移动终端中提取用户的感兴趣区域的方法。所述方法包括以下步骤：在基于逐个屏幕画面输入到所述多媒体移动终端的输入画面中设置搜索区域，并且基于所设置的搜索区域和该所设置的搜索区域周围的环境之间的亮度差来提取感兴趣区域的边界组；在预定帧期间通过学习从所提取的边界组的坐标候选当中确定感兴趣区域的边界坐标；和放大具有所确定的边界坐标的感兴趣区域，并且显示所放大的感兴趣区域。

有益效果

根据如上配置的本发明，无论什么时候用户期望查看该感兴趣区域，该方法都能自动地提取屏幕上用户最感兴趣的区域或者与屏幕上的其它区域相比用户投入更多注意力的区域，放大所提取的感兴趣区域，且随后显示所放大的感兴趣区域。因此，对于用户来说，能够以在观看期间为用户提供甚至更佳体验和更易理解的这样有效的方式来观看画面。

附图说明

从结合附图的下列详细描述中，本发明的上面和其它特征、方面和优点将变得更加明显，其中：

图1是图示其中显示了所广播的体育运动的DMB电话机的视图；

图2是图示体育运动视频中存在的各种计分形式的视图；

图3是图示根据本发明实施例的体育运动视频中的足球比赛视频的视图；

图4是示出根据本发明实施例的、用于提取体育运动视频中的计分区域的方法的流程图；

图5是图示用于提取关于图2的左上端的x坐标和y坐标的、关于搜索区域的水平方向和垂直方向的每一边的像素差总和之差(DSPDv和DSPDh)的变化的曲线图；

图6是图示根据本发明实施例的、在提取体育运动视频中的计分区域之后被放大的计分区域的视图；和

图7是图示根据本发明实施例的、在每个体育运动视频中实际计分区域与所提取的计分区域之间的比较的视图。

具体实施方式

下文中，将参考附图来详细描述本发明的示例性实施例。在本发明的下列描述中，当此处并入的已知功能和配置可能使得本发明的主题反而不清楚时，则将省略对其的详细描述。同时，在下面的实施例中，将举例来描述用于显示体育运动视频中的足球比赛视频的处理。

首先，感兴趣区域包括具有预定亮度的边界线，并且其内包括表达计分或时间的字符，因此彼此间相互接近的像素之间的亮度差会明显地变化，这不同于与Markov源的一种形式对应的自然画面。因此，亮度差总和变得大于预定阈值所在的位置可被认为是感兴趣区域的边界线。

图3是图示根据本发明实施例的体育运动视频中的足球比赛视频的视图，以及图4是示出根据本发明实施例的、用于提取体育运动视频中的计分区域的方法的流程图。

在如图3中图示的输入画面(其是基于逐个屏幕画面而输入的)中，由粗线限定的方形(squre)的内部被设定为搜索区域(S400)，并且箭头方向表示计算关于搜索区域的每一边的像素差总和(SPD)所需的方向。

如图4中图示的，为了提取计分区域的左上末端的x坐标，首先，对于从搜索区域的左边界到右边界的每一列，计算每个像素与该每个像素邻近的像素之间的亮度差，计算所计算的亮度差的绝对值，并且随后将所计算的绝对值相加。而且，为了提取计分区域的左上末端的y坐标，对于从搜索区域的上边界向下的每一行，计算每个像素与该每个像素邻近的像素之间的亮度差，计算所计算的亮度差的绝对值，并且随后将所计算的绝对值相加(S410)。

从搜索区域的右边界到左边界开始执行如上所述的处理，以便提取计分区域的右下末端的x坐标，并且从搜索区域的下边界开始向上执行如上所述的处理，以便提取计分区域的右下末端的y坐标(S420)。即，通过下列等式(1)来限定水平边和垂直边的SPD。

$\mathrm{SPDv}\left(y\right)=\underset{x=0}{\overset{\mathrm{width}/2}{Q}}|f(x,y)-f(x+1,y)|(0\mathrm{Dy}<\frac{\mathrm{height}}{3})$

和

$\mathrm{SPDh}\left(x\right)=\underset{y=0}{\overset{\mathrm{height}/3}{Q}}|f(x,y)-f(x,y+1)|(0\mathrm{Dx}<\frac{\mathrm{width}}{2})\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

在等式(1)中，x和y表示搜索区域内的水平坐标和垂直坐标，并且f(x，y)表示(x，y)坐标中的亮度。通过使用SPD，SPD值变得大于关于亮度差的阈值所在的位置可被认为是计分区域的边界。然而，由于SPD值根据每一画面变化，因此该阈值不容易设定。因此，必须使用SPD值的变化量。

可以根据通过使用等式(1)按照每一行(或每一列)计算的SPD值的差来觉察SPD值的变化量，并且SPD值的差变得大于所设定的阈值所在的位置可被认为是计分区域的边界。即，关于水平边和垂直边的SPD的差(DSPD)通过下列等式(2)来限定。

$\mathrm{DSPDv}\left(y\right)=|\mathrm{SPDv}\left(y\right)-\mathrm{SPDv}(y+1)|(0\mathrm{Dy}<\frac{\mathrm{height}}{3})$

$\mathrm{DSPDh}\left(x\right)=|\mathrm{SPDh}\left(x\right)-\mathrm{SPDh}(x+1)|(0\mathrm{Dx}<\frac{\mathrm{width}}{2})\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

为了提取矩形形状的计分区域，获取计分区域中左上末端的坐标和右下末端的坐标。因此，将上面的方法应用于计分区域的四条边。DSPDv和DSPDh变得大于预定的阈值所在的位置的(x，y)坐标被提取作为计分区域的边界的坐标(S430)。

图5是图示关于图2的用于提取左上末端的x坐标和y坐标的DSPDv和DSPDh的变化的曲线图。

在本发明中，关于所有画面，“200”被用作阈值。然而，根据每一画面，可以在范围(200，300)中的值当中选择适当的值。

在图5中，能够觉察DSPDv值和DSPDh值变得大于设定的阈值所在的位置。从图5中注意到，对于200的阈值，水平方向和垂直方向的x坐标和y坐标被确定为(29，21)。

因而，用于提取计分区域的左上末端的坐标变成(29，21)。以上面相同的方式提取右下末端的坐标。

同时，因为足球比赛中的计分区域周围的环境通常动态地改变，因此仅使用一帧来确定精确的计分区域是非常困难的。这是因为由于广告板的存在或者计分区域周围的观众看台，包括广告板或观众看台的所提取的区域大于实际的计分区域。

通常，计分区域被包含在所提取的区域中。因此，为了确定最佳计分区域，在预定的学习时间段针对计分区域的左上末端的边界坐标所提取的候选坐标当中需要具有最大x和y值的坐标，并且在该预定的学习时间段针对计分区域的右下末端的边界坐标所提取的候选坐标当中需要具有最小x和y值的坐标。因此，通过预定的帧时间段的学习确定满足上述条件的边界坐标。

在预定的帧时间段期间设定用于比较的初始坐标值之后(S440)，重复将在当前帧内计算的边界坐标与直到前一帧的边界坐标进行比较的步骤(S450)。

由于对于计分区域的左上末端的坐标来说必须是最大x和y，因此存储具有更大x和y值的坐标。由于对于计分区域的右下末端的坐标来说必须是最小x和y，存储具有更小x和y值的坐标。至此，基本算法如下：

i:帧数目

learning_period:100帧

temp_{max_x}＝temp_{max_y}＝-1；

temp_{min_x}＝temp_{min_y}＝1000；

for(i＝0；i＜learning_period；i++)

       if(temp_{max_x}＜top_left_x(i))

             temp_{max_x}＝top_left_x(i)；

       if(temp_{max_y}＜top_left_y(i))

             temp_{max_y}＝top_left_y(i)；

       if(temp_{min_x}＞bottom_right_x(i))

             temp_{min_x}＝bottom_right_x(i)；

       if(temp_{min_y}＝bottom_right_y(i))

             temp_{min_y}＝bottom_right_y(i)；.

temp_max和temp_min的初始坐标值被分别设定为-1和1000。值“-1”表示在当前帧内提取的坐标。而且，“100”帧被用作学习时间段。对于“100”帧的时间段，在当前帧中提取的左上末端和右下末端的坐标值与temp_max和temp_min的坐标值相比较，从而确定最终边界坐标值。即，对于计分区域的左上末端的坐标，确定具有比先前帧的边界坐标值大的x和y值的坐标(S460)。对于计分区域的右下末端的坐标，确定具有比先前帧的边界坐标值小的x和y值的坐标(S470)。

当完成学习时，不再执行用于提取坐标的处理，并且通过使用temp_max和temp_min中存储的最佳边界坐标x和y，放大所提取的计分区域(S480)。

图6是图示根据本发明实施例的、在提取体育运动视频中的计分区域之后被放大的计分区域的视图。

如图6中图示，为了用户甚至在移动终端的小屏幕上容易地观看并识别如上确定的最佳计分区域，通过使用双线性内插将该最佳计分区域放大到它的原始尺寸两倍的大小。

为了甚至在不具有计分帧的每一帧内显示计分区域，存储之前显示若干帧的计分区域。在本发明中，存储具有在计分区域周围的静态环境的近景(closeup shot)[1]的计分区域。当所存储的积分区域与通过使用按照上述算法确定的最佳边界坐标提取的区域之间的亮度差大于设定的阈值，则确定在当前帧中没有计分区域，随后显示所存储的计分区域。

通过在Win32环境中使用Visual Stuidio 2003(C++)来开发如上所述的本发明，并且本发明针对MPEG解码使用FFMpeg库。在本发明的实验中，已经以352×240以及29.97fps的MPEG-1格式编码并使用了具有5分钟的播放时间的足球比赛画面。已经通过Pentium-43.00GHz的PC实时地执行了所有处理。

而且，在本发明的实验中，为了测量计分区域的提取的精度，使用通过如下等式(3)定义的Recall和Precision。

Recall＝(在所提取的计分区域中属于实际计分区域的像素的数目)/(属于实际区域的像素的数目)×100％，和

Precision＝(在所提取的计分区域中属于实际计分区域的像素的数目)/(属于所提取的区域的所有像素的数目)×100％。

                                    ................(3)

不管精度如何，如果所提取的计分区域大于实际计分区域，则Recall值变大，而且如果所提取的计分区域小于实际计分区域，则Precision值变大。因此，必须同时考虑Recall和Precision。

图7是图示根据本发明实施例的、在每个体育运动视频中实际计分区域与所提取的计分区域之间的比较的视图。

参考图7，通过使用四个足球比赛视频来计算Recall和Precision，并且实际计分区域(左图：从顶部到底部，画面1，2，3和4)和通过本发明的算法提取的计分区域(右图)被详细示出。而且，下表1示出了等价于每个区域的像素的数目，以及下表2示出了Recall和Precision的测量的结果。

[表1]

	实际计分区域	所提取的计分区域	所提取的区域中的实际计分区域
				画面1	1501	1509	1263
画面2	1788	1610	1610
				画面3	2232	2232	2232
画面4	1678	866	866

[表2]

	Recall[％]	Precision[％]
			画面1	84.14	83.69
画面2	90.04	100
			画面3	100	100
画面4	51.61	100

而且，本发明已被开发用于个人数字助理(PDA)以应用于实际的移动装置。已通过使用微软嵌入式Visual Studio 4.0来开发本发明，并且将HP iPAQhx4700用于本发明的实验。对于性能测量，已使用两个足球比赛视频(韩国对德国：2004年足球友谊赛，意大利对日本：2004年雅典奥运会足球赛)，每个足球比赛视频具有h.264格式，播放时间2分钟。在表3中总结了关于应用本发明中提出的算法的两个画面的、使用等式(1)的性能测量的结果。

[表3]

	韩国对德国	意大利对日本
			不提取计分框的平均播放速度	31.045帧/秒	30.166帧/秒
提取计分框的平均播放速度	29.251帧/秒	28.667帧/秒
			时间增加率[％]	5.78	4.97

为了甚至在移动终端的小屏幕上容易地观看计分区域，本发明提出了一种提取计分区域、放大所提取的计分区域并且随后显示该放大的计分区域的系统。在PDA中，在整个显示器上以大约29帧/秒的速度再现画面，并且能够根据用户的喜好执行提取功能的打开/关闭。

除了足球比赛之外，可期望的是上述系统能够应用于各种运动、新闻标题框等中的每一种的感兴趣区域的提取。

[工业实用性]

如上所述，可以实现根据本发明实施例的用于在多媒体移动终端中提取用户的感兴趣区域的方法。同时，尽管参考本发明的某些示例性实施例示出并描述本发明，但是本领域的普通技术人员将会理解，在不背离本发明的精神和范畴的情况下，可以在其中做出形式和细节上的各种变化。因此，本发明的精神和范畴不必由本发明所描述的实施例来限定，而是由所附权利要求及其等价物来限定。

Claims (6)

1.一种用于在多媒体移动终端中提取用户的感兴趣区域的方法，所述方法包括步骤：

在基于逐个屏幕画面输入到所述多媒体移动终端的输入画面中设置搜索区域，并且基于所设置的搜索区域和该所设置的搜索区域周围的环境之间的亮度差来提取感兴趣区域的边界组；

在预定帧期间通过学习从所提取的边界组的坐标候选中确定感兴趣区域的边界坐标；和

放大具有所确定的边界坐标的感兴趣区域，并且显示所放大的感兴趣区域。

2.根据权利要求1所述的方法，其中提取感兴趣区域的边界组的步骤包括子步骤：

按照每一列和每一行计算每个像素与该每个像素接近的像素之间的亮度差，以便提取所述搜索区域的左上末端的x坐标和y坐标，并且将所计算的亮度差的绝对值相加；

按照每一列和每一行计算每个像素与该每个像素接近的像素之间的亮度差，以便提取所述搜索区域的右下末端的x坐标和y坐标，并且将所计算的亮度差的绝对值相加；和

提取在所计算亮度差的相加的绝对值的差即像素差总和之差(DSPD)大于关于亮度差设定的阈值时的x坐标和y坐标作为所述感兴趣区域的边界。

3.根据权利要求2所述的方法，其中通过如下定义的等式：

$\mathrm{DSPDv}\left(y\right)=|\mathrm{SPDv}\left(y\right)-\mathrm{SPDv}(y+1)|(0\mathrm{Dy}<\frac{\mathrm{height}}{3})$

和

$\mathrm{DSPDh}\left(x\right)=|\mathrm{SPDh}\left(x\right)-\mathrm{SPDh}(x+1)|(0\mathrm{Dx}<\frac{\mathrm{width}}{2})$

计算所述搜索区域的水平边和垂直边的DSPD值。

4.根据权利要求2所述的方法，其中，在提取步骤中，通过如下定义的等式：

Recall＝(在所提取的计分区域中属于实际计分区域的像素的数目)/(属于实际区域的像素的数目)×100％，和

Precision＝(在所提取的计分区域中属于实际计分区域的像素的数目)/(属于所提取的区域的所有像素的数目)×100％，

测量所述感兴趣区域的提取的精度。

5.根据权利要求1所述的方法，其中确定所述感兴趣区域的边界坐标的步骤包括子步骤：

在预定的帧时段期间，重复地比较从当前帧提取的感兴趣区域的边界坐标与直到前一帧的边界坐标；

将感兴趣区域的左上末端的坐标值确定为具有比先前帧的边界坐标的x值和y值更大的x值和y值的坐标值；和

将感兴趣区域的右下末端的坐标值确定为具有比先前帧的边界坐标的x值和y值更小的x值和y值的坐标值。

6.根据权利要求1所述的方法，其中显示所放大的感兴趣区域的步骤包括步骤：如果先前显示且存储的感兴趣区域的边界坐标大于关于亮度差设定的阈值，则确定在当前帧中不存在感兴趣区域，并且随后显示所存储的感兴趣区域。

Images