CN102611872A - 基于感兴趣区域动态检测的场景影像转换系统和方法 - Google Patents

Abstract

本发明提供一种基于感兴趣区域动态检测的场景影像转换系统，包括：输入装置，输入摄像设备当前所拍摄的图像，作为当前帧图像；检测装置，在输入装置所输入的当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定兴趣元素的最大可能存在区域；状态转换装置，通过预先定义的有限状态自动机，按照所预先定义的不同场景状态及转换条件，在最大可能存在区域的场景状态之间转换；以及显示装置，根据状态转换装置所转换的当前场景状态，从最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。另外，本发明还提供一种相应的基于感兴趣区域动态检测的场景影像转换方法。

Description

基于感兴趣区域动态检测的场景影像转换系统和方法

技术领域

本发明涉及一种基于感兴趣区域动态检测的场景影像转换系统和基于感兴趣区域动态检测的场景影像转换方法。

背景技术

随着视频压缩和视频增强领域技术的发展，远程视频系统越来越广泛地使用。远程视频系统的典型代表例如远程视频会议系统、远程医疗系统等等，其特点是在至少两个终端分别设置视频采集和视频显示设备，通过有线或无线的通信手段将各个终端互联，以便各个终端的用户分别获得对方的实时或离线的视频。在远程视频系统的应用中，通过动态检测感兴趣区域，将可能的感兴趣区域的场景突出显示给对方，将显著提高远程视频系统的用户友好性。

关于通过动态检测感兴趣区域来改变显示的场景，已经提出了以下技术。

根据专利文件1(美国专利US 20100103245 A1)提出的技术，动态检测感兴趣区域，对感兴趣区域进行最优化显示，而忽略非感兴趣区域的显示。其中，基于不同的感兴趣区域的内容，显示区域的尺寸比例可以自动调整。但是，在专利文件1中，感兴趣区域仅仅限于人脸，也就意味着，图像的尺寸仅与人脸尺寸成正比，而没有对视频会议的场景状态进行分类。另一方面，如果感兴趣区域的尺寸比较小，则单纯依靠等比例放大，对视频质量有一定限制。

专利文件2(美国专利US 7580054 B2)提供了一种利用全角摄像头摄制会议并且能够为用户提供实时和离线的视频显示的技术。该技术包含自动的摄像头管理系统以控制摄像头、以及分析模块以定位在场人员。但是，在专利文件2中，需要全角摄像头或者多个普通摄像头组成的阵列来提供每个在场人员的影像，在硬件设备方面，这是很重的负担。并且，用户只能在单个人员的影像之间切换，从而可能丢失用户其它的感兴趣区域的重要信息。

专利文件3(美国专利US 20090015658 A1)利用视频检测技术在摄像头捕捉到的视频帧内进行在场人员的检测，然后基于检测到的在场人员的位置和尺寸信息，自动调整摄像头的方位和放缩比例，从而提供一个包含所有在场人员的最佳影像。但是，专利文件3仅提供了包含所有在场人员的影像，在单个在场人员的影像方面有局限性。并且，在专利文件3中，在场人员的离开可以有效地检测到，但是对于新人员的加入，该专利文件3通过在检测区域外进行音频信息定位，因而也具有一定的局限性。

专利文件4(US 6611281 B2)提供了一种在视频会议下跟踪多个在场人员的方法，该方法包括：对视频会议进行监视；生成视频定位输出；生成音频定位输出；基于视频和音频的定位输出，来调整摄像头的参数。在专利文件4中，显示仅能在发言人和全部在场人员的场景影像间切换，仅仅通过对发言人进行视频和音频的检测和定位，将影像切换至该发言人。此外，由于专利文件4未能进行感兴趣区域的动态检测及转换，并且未提供场景的扩展性，对于人员进入或者离开会议的情况，专利文件4未能提供影像上的自动调整。

上述相关技术的专利文件中提到的技术都无法始终为视频会议提供最优影像，因为用户的感兴趣区域在整个会议进程中是变化的。例如，专利文件4只能提供两种可选的场景影像，未能进行感兴趣区域的动态检测及相应的场景状态转换。专利文件2提供不同的场景影像，但是以硬件的急剧增加为代价，也未能进行感兴趣区域的动态检测及相应的场景状态转换。虽然专利文件1提到了基于感兴趣区域的视频显示，然而其定义的感兴趣区域是有限的，且未能对其进行动态检测并进行相应的场景转换，并且场景视频影像的视觉质量在某些情况下也并不理想。

发明内容

鉴于现有技术中存在的上述问题而做出本发明。本发明提出了一种基于感兴趣区域动态检测的场景影像转换系统和基于感兴趣区域动态检测的场景影像转换方法。

根据本发明的一个实施例，提供一种基于感兴趣区域动态检测的场景影像转换系统，包括：输入装置，输入摄像设备当前所拍摄的图像，作为当前帧图像；检测装置，在所述输入装置所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；状态转换装置，通过预先定义的有限状态自动机，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及显示装置，根据状态转换装置所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

根据本发明的另一个实施例，提供一种基于感兴趣区域动态检测的场景影像转换方法，包括：输入步骤，输入摄像设备当前所拍摄的图像，作为当前帧图像；检测步骤，在所述输入步骤中所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；状态转换步骤，通过预先定义的有限状态自动机，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及显示步骤，根据在状态转换步骤中所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

按照本发明的上述实施例，利用有限状态自动机动态地检测感兴趣区域，为向用户显示其感兴趣区域提供良好的推荐机制，同时保证用户可以兼顾整体场景的气氛。鉴于场地的配置，诸如大小、形状和在场人数等等的参数会不同，同时，在整个事件(诸如会议或医疗等等)过程中，会有不同的场景，按照本发明实施例的技术可以有效利用感兴趣区域的动态检测来灵活地提供最佳影像。

不仅考虑兴趣元素，而且考虑潜在元素，基于兴趣元素和潜在元素的检测来确定摄像设备的视频捕捉范围，获得兴趣元素的一个最大可能的存在区域，潜在元素的位置是新加入的兴趣元素最有可能出现的位置。通过进一步结合跟踪机制则可以容易地发现兴趣元素的离开和进入。

通过进一步地采用基于超分辨率和视觉质量预定义的显示增强技术，从而即使在原始视频影像质量比较差的情况下，也能有效地提升视频影像的视觉质量。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1是示出按照本发明实施例的基于感兴趣区域动态检测的场景影像转换系统的整体框图。

图2是以远程会议系统为例示出会议场地的示意图。

图3是示出在图2所示的会议场地中摄像设备所获取的影像的示意图。

图4是示出在图3所示的当前帧图像中确定的最大可能存在区域的示意图。

图5示意性地示出了经过摄像设备调整装置调整之后摄像设备的成像状况。

图6A是示出按照一种实施方式的场景状态转换的示意图；图6B示出了与图6A所示的场景状态的转换相对应的场景状态转换表。

图7A是示出按照另一种实施方式的场景状态转换的示意图；图7B示出了与图7A所示的场景状态的转换相对应的场景状态转换表。

图8A、图8B、图8C分别是示出针对图5所示的最大可能存在区域、在不同场景状态下所提取的不同的感兴趣区域并放大显示的示意图。

具体实施方式

图1是示出按照本发明实施例的基于感兴趣区域动态检测的场景影像转换系统100的整体框图。如图1所示，基于感兴趣区域动态检测的场景影像转换系统100包括：输入装置110，输入摄像设备10当前所拍摄的图像，作为当前帧图像；检测装置120，在所述输入装置110所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；状态转换装置130，通过预先定义的有限状态自动机160，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及显示装置140，根据状态转换装置130所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

在场景影像转换系统100用于远程会议系统的情况下，场地可以是会议室，在用于远程医疗系统的情况下，场地可以是诊室甚至手术室等等。以下，将以应用于远程会议系统为例来说明本申请实施例的场景影像转换系统100，然而，本领域技术人员可以认识到，按照本发明实施例的场景影像转换系统100的实现并不依赖于远程会议系统，而是可以应用于其它的远程视频系统。

摄像设备10用于拍摄场地的视频图像，摄像设备10可以是摄像头、摄像机、摄影机等等的视频成像设备，镜头可以是普通的、全角的或者广角的。

其中，所述兴趣元素可以为在场人员，所述潜在元素可以为预定的在场人员可能出现的场所，诸如场地中的空座椅、演示版、幻灯机等等。

图2是以远程会议系统为例示出会议场地的示意图。其中示出了摄像设备10、在场人员21、22、23、24、及空座椅31、32、33、34，显然，在本发明实施例的场景影像转换系统100所能够用于的远程会议系统中，在场人员不限于4个，在场人员可能出现的潜在场所也不限于空座椅，其数目也不限于4个。

图3是示出在图2所示的会议场地中摄像设备所获取的影像的示意图。

针对摄像设备10当前所拍摄的图像，即当前帧图像，所述检测装置120可以通过基于混合高斯的动态背景建模的前景对象检测来在所述当前帧图像中检测出前景图像，可以通过人脸和头部检测来在该前景图像中检测在场人员，可以通过预先定义特征的检测，或者通过事先进行数据集合训练，来在所述当前帧图像中检测所述预定的在场人员可能出现的场所。基于混合高斯的动态背景建模的前景对象检测、人脸和头部检测、及通过预先定义特征的对诸如空座椅、演示版、及幻灯机等等的检测均可以通过成熟的现有技术手段实现。之所以不仅仅检测在场人员，而且检测诸如空座椅的潜在场所，是因为考虑到会议过程中人员的新加入和离开，确保在场人员的最大可能存在区域尽可能少地出现遗漏。

图4是示出在图3所示的当前帧图像中确定的最大可能存在区域的示意图。其中，(α₀，

)为摄像设备10拍摄的当前帧图像的中心点，虚线框50为确定的在场人员的最大可能存在区域，(α_a，

)为最大可能存在区域50的中心点。

所述最大可能存在区域50为包含所有的兴趣元素和潜在元素的矩形，该矩形的左边缘为所检测到的最左侧的兴趣元素和潜在元素的左边缘，该矩形的上边缘为最上侧的兴趣元素和潜在元素的上边缘，该矩形的右边缘为最右侧的兴趣元素和潜在元素的右边缘，该矩形的下边缘为最下侧的兴趣元素和潜在元素的下边缘。矩形边缘及其中心点的确定可以通过计算机图形学的常规手段实现。

本发明实施例的场景影像转换系统100针对最大可能存在区域50进行诸如提取感兴趣区域及场景状态转换之类的操作和处理，因此，作为系统的改进，优选地，图1所示的场景影像转换系统100还可以包括摄像设备调整装置150，用于根据所述当前帧图像和所述最大可能存在区域之间的位置关系，计算所述摄像设备10在水平方向及垂直方向所需旋转的角度，以使所述摄像设备10的成像范围的中心移动至所述最大可能存在区域的中心。并且，所述摄像设备调整装置150在所述摄像设备10的成像范围内，调整所述最大可能存在区域的宽度和高度。

例如，摄像设备调整装置150可以根据摄像设备的成像范围、所确定的最大可能存在区域、以及摄像设备的固有参数，来计算为了使包含全部在场人员及其可能的出现位置的需要关注的区域尽可能充满摄像设备10的成像范围因而摄像设备10的镜头所需要进行的在水平方向上的旋转(Pan)的角度、在垂直即俯仰方向上的旋转(Tilt)的角度、及放缩的比例(Zoom)，这些旋转角度及放缩比例可称为PTZ参数，摄像设备调整装置150按照所计算的PTZ参数来调整摄像设备10。

可以通过计算机图形学及计算机图像处理领域中的现有技术来计算所需的PTZ参数，通过PTZ调整后，摄像设备10所拍摄的图像可能如图5所示。图5示意性地示出了经过摄像设备调整装置150调整摄像设备10之后，摄像设备10对图1所示场地拍摄所得的图像，其中，最大可能存在区域尽可能地充满整个成像范围，矩形框的中心点既是当前帧图像的中心点，也是最大可能存在区域的中心点。

下面描述按照本发明实施例的场景影像转换系统100针对最大可能存在区域，利用有限状态自动机(Finite State Mechanism，FSM)而进行的场景状态转换及相应的感兴趣区域(Region of Interest，ROI)的显示处理。

图1所示的有限状态自动机160预先定义为包括场景状态的集合、初始场景状态、终止场景状态的集合、和场景状态间的转换条件的集合，其中每个场景状态具有初始分值、分值随时间变化的速度、及固有值，每个转换条件关联相对应的转换操作。

状态转换装置130通过检测预先定义的事件的发生，计算并比较场景状态的实时分值，来判断是否符合场景状态间的转换条件，在符合场景状态间的转换条件的情况下，转换场景状态并改变场景状态的分值。

在例如视频会议的情况下，根据不同的场景状态，感兴趣区域是不同的。

图6A是示出按照一种实施方式的场景状态转换的示意图；图6B示出了与图6A所示的场景状态的转换相对应的场景状态转换表。

在图6A所示的例子中，视频会议的场景状态分为演讲场景(speakerscene)、重要人物场景(key role scene)、包含全部在场人员场景即整体场景(whole scene)，本领域技术人员将会认识到，场景状态是可扩展的。其中，重要人物场景下的重要人物可以由用户在上述最大可能存在区域中先行选定。

有限状态自动机160可以定义为：

A＝(Q，σ，q₀，F)

其中，A代表有限状态自动机160；

Q＝{whole scene，speaker scene，key role scene}，即场景状态的集合；

q₀＝{whole scene}，在此作为初始场景状态，本领域技术人员可以认识到，其它场景状态也可以用作初始场景状态；

F＝{whole scene，speaker scene，key role scene}，即终止场景状态的集合；

σ＝{a，b，c，d，e}，即场景状态间的转换条件a，b，c，d，e的集合，在符合某个转换条件的情况下，进行相对应的转换操作。

每个场景状态具有实时的分值，整体场景状态的实时分值表示为S_whole，演讲场景状态的实时分值表示为S_speaker，重要人物场景状态的实时分值表示为S_kev，各个场景状态在初始(时间t＝0)时的分值为初始分值，各场景状态的初始分值可以设置为相同，表示为S₀，然而，本领域技术人员可以认识到，取决于本发明实施例的场景影像转换系统100的具体设计要求，各个状态的初始分值可以不同。整体场景状态分值随时间变化的速度表示为v_w；演讲场景状态分值随时间变化的速度表示为v_s，；重要人物场景状态分值随时间变化的速度表示为v_k。整体场景状态的固有值表示为S₁，演讲场景状态的固有值表示为S₂，重要人物场景状态的固有值表示为S₃，各个固有值为预定的常数，可以看作场景状态转换条件的调整量，并且可以根据设计要求而改变。t为从时间为0的初始时刻开始经过的时间。其中，各场景状态的初始分值、t、分值随时间变化的速度、各场景的固有值设定为正值。

在此，假定当时间t＝0时，各个场景状态的分值相同，即，S_whole＝S_speaker＝S_key＝S₀。本领域技术人员可以认识到，各个状态的初始分值可以据设计要求而不同。并且，在此假定整体场景状态为初始场景状态，本领域技术人员可以认识到，可以据设计要求而将其它场景状态用作初始场景状态。

不同场景状态间的转换条件为检测到事件并且/或者计算并比较场景状态的实时分值，符合条件则触发相应的转换操作。

场景状态间的转换条件a，b，c，d，e设计如下，结合图6A，箭头示意性地表示出符合相应转换条件时场景状态的转换方向，在图6B的表格中，各个条件表示从最左列中与其位置相应的行中的状态向最上行中与其位置相应的列中的状态转换，“-”表示在从其行的状态向列的状态的方向上无转换。

a：检测到新的发言人，计算S_whole＝S_whole+v_w*t，判断是否符合S_whole＞S₁。符合条件a则触发的转换操作为：从整体场景转换到演讲场景状态并且S_speaker＝S_speaker+S₂。

b：检测到新的发言人。与条件b相应的转换操作为：从演讲场景转换到演讲场景并且S_speaker＝S₀+S₂。由于可能有不同的发言人，因此与转换条件b相应的场景转换从场景状态类别的角度看为自身到自身的转换，然而，对于演讲场景的场景状态类别，后文中将描述，感兴趣区域的确定可以由于检测到的发言人不同而改变，演讲场景的场景状态与取决于所检测的发言人而不同的感兴趣区域相对应。关于感兴趣区域的提取将在下文描述。

c：计算S_speaker＝S_speaker-v_s*t，判断是否符合S_speaker＜S_key。与转换条件c相应的转换操作为：从演讲场景转换到重要人物场景。

d：检测到新的发言人，计算S_key＝S_key+v_k*t，判断是否符合S_key＞S₃。与转换条件d相应的转换操作为：从重要人物场景转换到演讲场景并且S_speaker＝S_speaker+S₂。

e：S_key＝S_key+v_k*t并且S_key＞S₃。与转换条件e相应的转换操作为：转换到整体场景并且S_whole＝S_speaker＝S_key＝S₀。

图7A是示出按照另一种实施方式的场景状态转换的示意图；图7B示出了与图7A所示的场景状态的转换相对应的场景状态转换表。

在图7A所示的例子中，视频会议的场景状态分为演讲场景(speakerscene)、重要人物场景(key role scene)、单个人员场景(single scene)、包含全部在场人员场景即整体场景(whole scene)，本领域技术人员将会认识到，场景状态是可扩展的。其中，重要人物场景下的重要人物可以由用户在上述最大可能存在区域中先行选定。

有限状态自动机160可以定义为：

A＝(Q，σ，q₀，F)

其中，A代表有限状态自动机160；

Q＝{whole scene，speaker scene，key role scene，single scene}，即场景状态的集合；

q₀＝{whole scene}，在此作为初始场景状态，本领域技术人员可以认识到，其它场景状态也可以用作初始场景状态；

F＝{whole scene，speaker scene，key role scene，single scene}，即终止场景状态的集合；

σ＝{a，b，c，d，e，f1，f2，f3，g，h}，即场景状态间的转换条件a，b，c，d，e，f1，f2，f3，g，h的集合，在符合某个转换条件的情况下，进行相对应的转换操作。

每个场景状态具有实时的分值，整体场景状态的实时分值表示为S_whole，演讲场景状态的实时分值表示为S_speaker，重要人物场景状态的实时分值表示为S_key，单个人员场景状态的实时分值表示为S_single，各个场景状态在初始(时间t＝0)时的分值为初始分值，各场景状态的初始分值可以设置为相同，表示为S₀，然而，本领域技术人员可以认识到，取决于本发明实施例的场景影像转换系统100的具体设计要求，各个状态的初始分值可以不同。整体场景状态的分值随时间变化的速度表示为v_w；演讲场景状态分值随时间变化的速度表示为v_s；重要人物场景状态分值随时间变化的速度表示为v_k；单个人员场景状态分值随时间变化的速度表示为v_s。整体场景状态的固有值表示为S₁，演讲场景状态的固有值表示为S₂，重要人物场景状态的固有值表示为S₃，单个人员场景状态的固有值表示为S₄，各个固有值为预定的常数，可以看作场景状态转换条件的调整量，并且可以根据设计要求而改变。t为从时间为0的初始时刻开始经过的时间。其中，各场景状态的初始分值、t、分值随时间变化的速度、各场景的固有值设定为正值。

在此，假定当时间t＝0时，各个场景状态的分值相同，即，S_whole＝S_speaker＝S_key＝S_single＝S₀。本领域技术人员可以认识到，各个状态的初始分值可以据设计要求而不同。并且，在此假定整体场景状态为初始场景状态，本领域技术人员可以认识到，可以据设计要求而将其它场景状态用作初始场景状态。

不同场景状态间的转换条件为检测到事件并且/或者计算并比较场景状态的实时分值，符合条件则触发相应的转换操作。

场景状态间的转换条件a，b，c，d，e，f1，f2，f3，g，h设计如下，结合图7A，箭头示意性地表示出符合相应转换条件时场景状态的转换方向，在图7B的表格中，各个条件表示从最左列中与其位置相应的行中的状态向最上行中与其位置相应的列中的状态转换，“-”表示在从其行的状态向列的状态的方向上无转换。

a：检测到新的发言人，计算S_whole＝S_whole+v_w*t，判断是否符合S_whole＞S₁。符合条件a则触发的转换操作为：从整体场景转换到演讲场景状态并且S_speaker＝S_speaker+S₂。

b：检测到新的发言人。与条件b相应的转换操作为：从演讲场景转换到演讲场景并且S_speaker＝S₀+S₂。由于可能有不同的发言人，因此与转换条件b相应的场景转换从场景状态类别的角度看为自身到自身的转换，然而，对于演讲场景的场景状态类别，后文中将描述，感兴趣区域的确定可以由于检测到的发言人不同而改变，演讲场景的场景状态与取决于所检测的发言人而不同的感兴趣区域相对应。关于感兴趣区域的提取将在下文描述。

c：计算S_speaker＝S_speaker-v_s*t，判断是否符合S_speaker＜S_key。与转换条件c相应的转换操作为：从演讲场景转换到重要人物场景。

d：检测到新的发言人，计算S_key＝S_key+v_k*t，判断是否符合S_key＞S₃。与转换条件d相应的转换操作为：从重要人物场景转换到演讲场景并且S_speaker＝S_speaker+S₂。

e：S_key＝S_key+v_k*t并且S_key＞S₃。与转换条件e相应的转换操作为：转换到整体场景并且S_whole＝S_speaker＝S_key＝S_single＝S₀。

f1：检测到新人员的进入，计算S_whole＝S_whole+v_w*t，判断是否符合S_whole＞S₁。与转换条件f1相应的转换操作为：转换到单个人员场景并且S_single＝S_single+S₄。

f2：计算S_speaker＝S_speaker-v_s*t，判断是否符合S_speaker＜S_single。与转换条件f2相应的转换操作为转换到单个人员场景并且S_single＝S_single+S₄。

f3：检测到新人员的进入，计算S_key＝S_key+v_k*t，判断是否符合S_key＞S₃。与转换条件f3相应的转换操作为转换到单个人员场景并且S_single＝S_single+S₄。

g：计算S_single＝S_single-v_s*t，判断是否符合S_single＜S_key。与转换条件g相应的转换操作为转换到重要人物场景。

h：检测到新人员的进入。与转换条件h相应的转换操作为转换到单个人员场景并且S_single＝S₀+S₄。类似于演讲场景可能对应于不同的发言人的情况，关于单个人员场景，由于可能有不同的人员新进入，因此与转换条件h相应的场景转换从场景状态类别的角度看为自身到自身的转换，然而，对于单个人员场景的场景状态类别，后文中将描述，感兴趣区域的确定可以由于检测到的新人员的不同而改变，单个人员场景的场景状态与取决于所检测的新进入的人员而不同的感兴趣区域相对应，而且，由于有新的人员进入，因此与整体场景相对应的感兴趣区域也将相应地调整为包含新进入的人员。关于感兴趣区域的提取将在下文描述。

发言人、新加入人员、及中途离场人员的检测，可以通过现有的音频、视频检测手段来实现。

本领域技术人员可以认识到，按照本发明的有限状态自动机不限于上述设计，根据上面的描述，本领域技术人员可以想到其它的有限状态自动机来用于本发明，例如，上述的任何一种场景状态都可以去除，另一方面也可以进一步增加场景状态，例如各个在场人员轮流显示等等，还可以检测人员离场的事件等等，还可以设计出其它的转换条件和转换操作。

可以设计不同的场景状态针对不同的感兴趣区域，在某个场景状态下，可以按照类似于前述的确定最大可能存在区域的手段或其它的图像裁剪方法来提取相应的感兴趣区域，来作为要显示的场景影像。例如，在整体场景状态下，感兴趣区域为包含所有在场人员的矩形；在演讲场景状态下，感兴趣区域为包含发言人并以该发言人为中心的一定范围的矩形；在重要人物场景状态下，感兴趣区域为包含重要人物并以该重要人物为中心的一定范围的矩形。并且，可选地，可以通过常规的图像处理手段，来将所提取的感兴趣区域放大显示。

图8A、图8B、图8C分别是示出针对图5所示的最大可能存在区域、在不同场景状态下所提取的不同的感兴趣区域并放大显示的示意图。

在图5所示的最大可能存在区域的示例中，图8A示出在整体场景状态下提取并放大显示的感兴趣区域的场景影像；在检测到人员23在发言的情况下，场景状态转换到演讲场景状态，并提取以人员23为中心的感兴趣区域，并放大显示，如图8B所示；如果人员21、22为重要人物，在满足相应条件的情况下，可以提取以人员21、22为中心的感兴趣区域，如图8C所示来放大显示。本领域技术人员可以认识到，上述感兴趣区域的提取及场景影像的显示仅仅作为示意而通过附图示出，因此能够进行各种修改。

作为本发明实施例的进一步的改进，可选地，图1所示的场景影像转换系统100还可以包括显示增强装置170，用于按照所述状态转换装置130所转换的当前场景状态，基于相应的感兴趣区域中在场人员人脸的分辨率来确定整个场景影像的视觉质量，如果该视觉质量低于预定义的阈值，则提高该场景影像的视觉质量。

例如，在所显示的场景影像中，可能有某些在场人员距离摄像设备的距离较远的情况，表现为在场人员在最大可能存在区域中所占面积较小，剪裁并放大后可能会出现过度模糊等视觉质量较低的问题。可以预定义阈值，如果所显示的在场人员的影像的视觉质量小于该预定义阈值，则提高待传送并显示的视频帧的质量。

例如，可以通过以下公式(1)来判断视觉质量是否要进行提高，

$\underset{\mathrm{Pi}\&Element;\mathrm{HumanArea}}{\mathrm{\&Sigma;}}\mathrm{Resolution}\_P_i/\mathrm{Resultion}\_T\arg \mathrm{et}<\mathrm{Th}---\left(1\right)$

其中，Resultion_Target为当前场景图像即当前视频帧的分辨率，HumanArea代表当前场景图像，Resolution_P_i为其中第i(i为自然数)号在场人员Pi的人脸的分辨率，Th为预定义的阈值，针对不同场景状态，该阈值Th可以设置为不同。

在满足上述公式(1)的情况下，判断为当前视频帧的视觉质量较低，可以选择提高该场景影像的视觉质量。

视觉质量除了可以利用在场人员人脸在视频帧中的分辨率大小来计算之外，还可以计算每个在场人员人脸在视频帧中的PSNR值(峰值信噪比)，如果该PSNR值小于预定义的阈值，则认为视频质量不够理想，可以选择进行进一步提升视觉质量。

例如，对于与摄像设备相距较远的在场人员，可以利用时域上的帧间信息获得更高的视觉质量。例如可以利用若干相邻帧在时域上的关联信息来恢复每帧的内容细节，具体地，可以利用超分辨率方法，首先，采用某较高质量的插值操作待处理的视频帧的放大为原来的两倍，然后，利用像素运动补偿操作，在该当前视频帧的相邻帧中寻找相似区域，融合像素信息，还原为原视频帧的尺寸大小。此外，还可以采用线性插值、最近邻插值、双线性插值、立方插值等方法来提高视频帧的视觉质量。

按照本发明的另一个实施例，还提供一种可以由上述的场景影像转换系统100实施的基于感兴趣区域动态检测的场景影像转换方法，包括：输入步骤，可以由上述的输入装置110实施，以便输入摄像设备10当前所拍摄的图像，作为当前帧图像；检测步骤，可以由上述的检测装置120实施，以便在所述输入步骤所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；状态转换步骤，可以由上述的状态转换装置130实施，以便通过预先定义的有限状态自动机160，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及显示步骤，可以由上述的显示装置140实施，以便根据状态转换步骤所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

其中，所述兴趣元素可以为在场人员，所述潜在元素可以为预定的在场人员可能出现的场所。

其中，在所述检测步骤中，可以通过基于混合高斯的动态背景建模的前景对象检测来在所述当前帧图像中检测出前景图像，可以通过人脸和头部检测来在该前景图像中检测在场人员，可以通过预先定义特征的检测来在所述当前帧图像中检测所述预定的在场人员可能出现的场所。

其中，所述最大可能存在区域可以为包含所有的兴趣元素和潜在元素的矩形，该矩形的左边缘可以为所检测到的最左侧的兴趣元素和潜在元素的左边缘，该矩形的上边缘可以为最上侧的兴趣元素和潜在元素的上边缘，该矩形的右边缘可以为最右侧的兴趣元素和潜在元素的右边缘，该矩形的下边缘可以为最下侧的兴趣元素和潜在元素的下边缘。

上述场景影像转换方法还可以包括摄像设备调整步骤，可以由上述摄像设备调整装置150实施，以便根据所述当前帧图像和所述最大可能存在区域之间的位置关系，计算所述摄像设备10在水平方向及垂直方向所需旋转的角度，以使所述摄像设备10的成像范围的中心移动至所述最大可能存在区域的中心。

其中，在所述摄像设备调整步骤中，在所述摄像设备10的成像范围内，调整所述最大可能存在区域的宽度和高度。

其中，所述有限状态自动机160可以预先定义为包括场景状态的集合、初始场景状态、终止场景状态的集合、和场景状态间的转换条件的集合，其中每个场景状态具有初始分值、分值随时间变化的速度、及固有值，每个转换条件关联相对应的转换操作。

其中，在上述状态转换步骤中，可以通过检测预先定义的事件的发生，计算并比较场景状态的实时分值，来判断是否符合场景状态间的转换条件，在符合场景状态间的转换条件的情况下，转换场景状态并改变场景状态的分值。

上述场景影像转换方法还可以包括显示增强步骤，可以由上述显示增强装置170实施，以便按照所述状态转换装置所转换的当前场景状态，基于相应的感兴趣区域中在场人员人脸的分辨率来确定整个场景影像的视觉质量，如果该视觉质量低于预定义的阈值，则提高该场景影像的视觉质量。

本发明实施例可以应用于诸如视频会议系统、远程医疗系统等等各种视频系统。不仅考虑兴趣元素，而且考虑潜在元素，基于兴趣元素和潜在元素的检测来确定摄像设备的视频捕捉范围，获得兴趣元素的一个最大可能的存在区域。利用有限状态自动机的机制动态地检测感兴趣区域，提取并远程显示，向远程视频系统的用户灵活地提供最佳影像。可选地，通过进一步地采用基于超分辨率和视觉质量预定义的显示增强技术，从而即使在原始视频影像质量比较差的情况下，也能有效地提升视频影像的视觉质量。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (10)

1.一种基于感兴趣区域动态检测的场景影像转换系统，包括：

输入装置，输入摄像设备当前所拍摄的图像，作为当前帧图像；

检测装置，在所述输入装置所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；

状态转换装置，通过预先定义的有限状态自动机，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及

显示装置，根据状态转换装置所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

2.按照权利要求1所述的场景影像转换系统，其中，所述兴趣元素为在场人员，所述潜在元素为预定的在场人员可能出现的场所。

3.按照权利要求2所述的场景影像转换系统，其中，所述检测装置通过基于混合高斯的动态背景建模的前景对象检测来在所述当前帧图像中检测出前景图像，通过人脸和头部检测来在该前景图像中检测在场人员，通过预先定义特征的检测来在所述当前帧图像中检测所述预定的在场人员可能出现的场所。

4.按照权利要求1所述的场景影像转换系统，其中，所述最大可能存在区域为包含所有的兴趣元素和潜在元素的矩形，该矩形的左边缘为所检测到的最左侧的兴趣元素和潜在元素的左边缘，该矩形的上边缘为最上侧的兴趣元素和潜在元素的上边缘，该矩形的右边缘为最右侧的兴趣元素和潜在元素的右边缘，该矩形的下边缘为最下侧的兴趣元素和潜在元素的下边缘。

5.按照权利要求1所述的场景影像转换系统，还包括摄像设备调整装置，用于根据所述当前帧图像和所述最大可能存在区域之间的位置关系，计算所述摄像设备在水平方向及垂直方向所需旋转的角度，以使所述摄像设备的成像范围的中心移动至所述最大可能存在区域的中心。

6.按照权利要求5所述的场景影像转换系统，其中，所述摄像设备调整装置在所述摄像设备的成像范围内，调整所述最大可能存在区域的宽度和高度。

7.按照权利要求1所述的场景影像转换系统，其中，所述有限状态自动机预先定义为包括场景状态的集合、初始场景状态、终止场景状态的集合、和场景状态间的转换条件的集合，其中每个场景状态具有初始分值、分值随时间变化的速度、及固有值，每个转换条件关联相对应的转换操作。

8.按照权利要求7所述的场景影像转换系统，其中，所述状态转换装置通过检测预先定义的事件的发生，计算并比较场景状态的实时分值，来判断是否符合场景状态间的转换条件，在符合场景状态间的转换条件的情况下，转换场景状态并改变场景状态的分值。

9.按照权利要求2所述的场景影像转换系统，还包括显示增强装置，用于按照所述状态转换装置所转换的当前场景状态，基于相应的感兴趣区域中在场人员人脸的分辨率来确定整个场景影像的视觉质量，如果该视觉质量低于预定义的阈值，则提高该场景影像的视觉质量。

10.一种基于感兴趣区域动态检测的场景影像转换方法，包括：

输入步骤，输入摄像设备当前所拍摄的图像，作为当前帧图像；

检测步骤，在所述输入步骤中所输入的所述当前帧图像中，检测出全部的兴趣元素和潜在元素，以确定所述兴趣元素的最大可能存在区域；

状态转换步骤，通过预先定义的有限状态自动机，按照所预先定义的不同场景状态及转换条件，在所述最大可能存在区域的场景状态之间转换；以及

显示步骤，根据在状态转换步骤中所转换的当前场景状态，从所述最大可能存在区域中提取出符合该当前场景状态的感兴趣区域，来作为场景影像以供显示。

Images