CN103106648B - 确定图像中投影区域的方法和设备 - Google Patents

Abstract

本发明提供一种确定图像中投影区域的方法，包括：输入步骤，输入包括多个图像的图像序列；检测步骤，针对图像序列中的各个图像，分别检测其中的投影区域的位置；关系类别判定步骤，针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；确定步骤，针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置。本发明还相应地提供一种确定图像中投影区域的设备。

Description

确定图像中投影区域的方法和设备

技术领域

本发明涉及一种确定图像中投影区域的方法和确定图像中投影区域的设备。

背景技术

随着计算机技术及网络技术的发展，远程会议、远程医疗等等的远程应用已经实现，并且呈现出强劲、迅猛的发展势头，在此技术领域中，现有技术已经取得了一定进展。在此类应用中，需要将一方的摄像设备所捕获的图像远程传送至另一方，然而由于并非一方的摄像设备所捕获的图像均为远端所感兴趣，并且实际上远端所感兴趣的区域往往由于成像角度的问题而出现形变。因此，在远程应用中，通常要考虑如何提取远端方感兴趣的区域，并且纠正该感兴趣区域形变，因而处理负担较重，如果要满足实时性的要求，则问题更为严重。

专利文件1(US7171056B2)描述了一种将白板内容转换成电子文档的方法。为实现此目的，在该专利技术中，提出了一种检测静态白板区域的方法。然而，该方法仅适用于静态白板区域的检测，不能实现实时连续投影区域的检测。

专利文件2(US7872637B2)描述了一种在计算机屏幕投影图像中跟踪激光点位置的系统，其中包含一个步骤用以检测投影区域。但是，该技术仅使用空间信息在单帧图像中检测投影区域，其重点在于通过对连续图像中激光点的位置进行时间分析，从而跟踪激光点的轨迹。该技术未利用在先前帧中检测投影区域的结果而是独立地逐帧进行处理，从而造成系统的处理负担过重。

在投影-摄像系统中，为了校正系统坐标，需要检测投影区域的四个角点。现有技术都是针对单一静态图像的投影区域检测，并没有针对视频流中的连续图像进行空间分析来做实时检测。而且，现有技术均对整个图像区域进行分析来确定投影区域，计算复杂度比较高。

另外，在例如远程会议的远程应用的一次实施过程中，投影区域并不一定总是保持恒定，而是可能由于各种原因而发生改变。现有技术中独立地对单帧图像进行处理，或者未考虑处理连续视频图像的实时性要求，或者以逐帧独立处理的方式满足该实时性要求，以至于造成系统处理负担过重。在远程应用的领域中，严重受制于网络等等的传输条件，因此相比于本地应用，系统处理负担过重将造成更为严重的问题。

发明内容

鉴于现有技术中存在的上述问题而做出本发明。本发明提供一种确定图像中投影区域的方法和确定图像中投影区域的设备，能够通过考虑场景的变化来实现对源自连续视频图像序列的图像的投影区域实时检测并确定。

根据本发明实施例的一个方面，提出了一种确定图像中投影区域的方法，包括：输入步骤，输入包括多个图像的图像序列；检测步骤，针对图像序列中的各个图像，分别检测其中的投影区域的位置；关系类别判定步骤，针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；确定步骤，针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置。

根据本发明实施例的另一个方面，提出了一种确定图像中投影区域的设备，包括：输入装置，输入包括多个图像的图像序列；检测装置，针对图像序列中的各个图像，分别检测其中的投影区域的位置；关系类别判定装置，针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；确定装置，针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1示意性地示出按照本发明实施例的确定图像中投影区域的方法和确定图像中投影区域的设备的应用环境。

图2示意性地示出所拍摄的图像中投影区域的示例。

图3示出按照本发明实施例的确定图像中投影区域的方法的总体流程图。

图4示出按照本发明实施例的确定图像中投影区域的设备的总体框图。

图5是示出按照本发明实施例的确定图像中投影区域的系统的总体框图。

具体实施方式

下面结合附图描述本发明实施例。

图1示意性地示出按照本发明实施例的确定图像中投影区域的方法和确定图像中投影区域的设备的应用环境。

投影设备10将图像投射在投影屏幕20上，投影屏幕20上显示的内容大体上就是本地要呈现给在远端(未示出)的另一方的内容，投影屏幕20上的投影区域基本上可以认为是本地、远端双方的感兴趣区域。摄像设备30将所拍摄的视频连续图像传送至处理设备40，摄像设备30所拍摄的图像的范围通常大于投影设备10所投射的投影区域的范围，例如，除了投影屏幕20上显示的感兴趣区域之外，往往还包括周围的没有内容的投影屏幕的区域、及例如墙壁、桌面等等的现场的周围环境。处理设备40可以通过任何现有手段将图像传送至远端，显然，处理设备40可以将摄像设备30所拍摄的图像直接传送至远端，然而，如此传送的图像包含大量远端另一方所不关心的信息，不仅仅传送数据量过大，而且真正的感兴趣区域反而被淡化，可能其中的主要信息被另一方所忽视。

图2示意性地示出所拍摄的图像中投影区域的示例。通常，即使在摄像设备30经过调整而尽可能地对准投影区域的情况下，所拍摄的图像仍然会大于投影区域，并且，由于拍摄角度的缘故，投影区域在所拍摄的图像中会有一定程度的扭曲变形。因此，如果不进行投影区域的提取，则除前述问题之外，扭曲的图像还有不便于远端观看，不利于双方交互的问题。

因此，在处理设备40实现按照本发明实施例的确定图像中投影区域的方法和确定图像中投影区域的设备，在摄像设备30提供的包含投影区域的连续图像中，确定出投影区域，以便于此后的诸如纠正扭曲的投影区域，传送投影区域内容及其后续处理，例如，与正在投影区域写入内容的用户进行交互，或者与另一个远程系统共享投影区域的内容等等。可见，确定投影区域是其后纠正投影区域并实现远程交互和共享的基础和前提。按照本发明实施例的确定图像中投影区域的方法和确定图像中投影区域的设备以通过摄像设备获得的连续视频图像为输入，实时地确定出图像中的投影区域作为输出。

其中，投影设备10例如可以是投影仪，投影屏幕20可以是任何屏幕，诸如帆布屏幕，也可以是白板或黑板，甚至也可以仅仅是墙面，总之可以是任何能够显示图像的物体，摄像设备30例如可以是照相机、摄像机、摄影机、摄像头等等的任何图像拾取设备，处理设备40可以是各种类型的计算机或具有数据处理能力的设备。

图3示出按照本发明实施例的确定图像中投影区域的方法的总体流程图。如图3所示，按照本发明实施例的确定图像中投影区域的方法可以包括：输入步骤S100，可以输入包括多个图像的图像序列；检测步骤S200，可以针对图像序列中的各个图像，分别检测其中的投影区域的位置；关系类别判定步骤S300，可以针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；确定步骤S400，可以针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置。

输入步骤S100所输入的图像序列可以是摄像设备30所捕获的连续的视频图像，下面以连续的视频图像作为输入的图像序列来进行说明。然而，本领域技术人员可以理解，本发明实施例显然可以应用于仅仅处理单帧的静态图像。图像序列中的各个图像(或者称“帧图像”或“帧”)包含投影设备10所投射的投影区域，该投影区域是本地和远端双方感兴趣的区域，是双方交互的基础。

在检测步骤S200中，以检测到的该图像中的投影区域的四边形的四个角点的位置代表该投影区域的位置。例如，在图2所示的情况下，可以利用以“+”符合标注的投影区域的四个角点，即左上角点CP_tl、右上角点CP_tr、左下角点CP_bl、右下角点CP_br，来代表该投影区域的位置。

在检测步骤S200中，具体地，可以通过以下处理来检测帧图像中投影区域的位置，以各帧为对象逐帧分别进行(单帧投影区域检测)：

(1)如果帧图像是彩色图像，则将彩色图像转换成灰度图；

(2)采用中值滤波来降低图像噪声；

(3)采用canny算子在图像中进行边缘检测；

(4)根据检测出的边缘点序列得到凸多边形轮廓集合；

(5)在凸多边形轮廓集合中过滤出接近方形的四边形轮廓(即带有4个顶点且顶角角度近似90度的轮廓)；

(6)由于投影区域通常会占据输入图像的绝大部分面积，因此选择最外层的四边形作为备选投影区域。

检测步骤S200的上述各步操作均可以通过现有技术手段实现，检测得到的投影区域可以视为“备选”投影区域，以供此后进一步的确定处理。

在检测步骤S200，会由于种种原因而发生检测到的该图像中的投影区域不构成四边形或者在该图像中检测不到投影区域的情况，例如发生投影区域受到外界物体(如人体)遮挡的情况。投影区域被遮挡后，利用边缘检测及轮廓查找方法无法找到符合规则的四边形，从而检测结果为空。根据本发明的实施例，此情况可以视为当前帧图像与前一帧图像之间的投影区域位置关系的特殊类别，仍然有针对此类别的应对策略，将在下文中说明。

关系类别判定步骤S300，利用空间信息分析检测结果在当前帧图像与前一帧图像之间的差异，根据该差异将当前帧图像与前一帧图像之间的关系分类，所归入的类别体现前后帧的场景变化。

在关系类别判定步骤S300，首先要计算当前的单帧图像的投影区域的特征值。投影区域的特征值定义如下：

(1)描述投影区域的基本特征：

CP(角点，cornerpoint)：例如图2所示的二维图像中投影区域的角点，即左上角点CP_tl、右上角点CP_tr、左下角点CP_bl、右下角点CP_br，以图像坐标系中的(x，y)坐标值来表示。

PA(投影区域，projectionarea)：由上述4个角点组成的四边形，可以表示为PA(CP_tl，CP_tr，CP_br，CP_bl)。

(2)投影区域的派生特征，指可以根据二维空间中角点位置关系计算出来的特征值：

BL(边长，borderlength)：指两相邻角点之间的欧氏距离。以计算左上角点CP_tl和右上角点CP_tr之间的上边的边长为例，计算方法可以如下：

左上角点CP_tl坐标(X_tl，Y_tl)，右上角点CP_tr坐标(X_tr，Y_tr)，则上边边长BL(CP_tl-＞CP_tr)表示为：

BL(CP_tl-＞CP_tr)＝[(X_tr-X_tl)²+(Y_tr-Y_tl)²]^1/2

AR(宽高比，aspectratio)：对于某一特定角点，宽高比是相交于该角点的两条边的边长比例(横边除以纵边)，以左上角点为例，该角点的宽高比AR_tl表示为：

AR_tl＝BL(CP_tl-＞CP_tr)/BL(CP_tl-＞CP_bl)

本领域技术人员可以认识到，投影区域的派生特征不限于此。

在关系类别判定步骤S300中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量大于或大于等于比例差异阈值，则判定该图像相对于其前一图像的关系类别为第一类别。

在实施本发明实施例进行投影区域检测的过程中，有时会发生投影区域受到外界物体(如人体)遮挡的情况。在投影区域被部分遮挡的情况下，剩余的投影区域有可能仍然保持基本的四边形，但是投影区域的宽高比发生了较大变化。此种情况下，可以将当前帧图像与前一帧图像之间的关系归类为第一类别。

第一类别的前后帧图像关系可以由遮挡造成，即，投影区域被人体或其他物体遮挡，可以通过边长比例变化量来判断第一类别。

在该图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的角点的相邻两边宽高比的差值绝对值，将差值绝对值之和作为所述边长比例变化量。

例如，可以分别计算所检测的当前帧图像的投影区域的四个角点与已经确定的前一帧图像的投影区域的四个角点分别的边长比例变化量，然后与比例差异阈值相比较。

具体地，计算所检测的当前图像的投影区域的左上角点的宽高比AR_tl与已经确定的前一图像的左上角点的宽高比AR’_tl之间的差值绝对值DAR_tl：

DAR_tl＝|AR_tl-AR’_tl|。

类似地，可以计算出在当前图像的投影区域与前一图像的投影区域之间右上、左下、右下角点的宽高比的差值绝对值DAR_tr、DAR_bl、DAR_br。

然后，可以通过以下公式(1)，将四个差值绝对值之和作为边长比例变化量VAR_ar：

VAR_ar＝DAR_tl+DAR_tr+DAR_bl+DAR_br(1)

然后，利用以下公式(2)判断当前图像与先前图像的投影区域之间的位置关系是否属于上述第一类别：

VAR_ar≥T_{var_ar}(2)

其中，T_{var_ar}是角点的比例差异阈值，如果满足公式(2)，则将当前帧图像与前一帧图像之间的关系归类为第一类别。

本领域技术人员可以理解，公式(2)的条件可以变体为：VAR_ar＞T_{var_ar}。可以通过以往经验得到适当的比例差异阈值，在此情况下的T_{var_ar}例如可以是0.1，也可以是0.05、0.2等等的其它值。

另外，本领域技术人员可以理解，也可以将四个差值绝对值的平均值作为边长比例变化量，在此情况下，比例差异阈值相应地除以4作为此情况下的比例差异阈值即可。

此外，为了简便，也可以只通过对角两点的宽高比差值来计算边长比例变化量VAR_ar，以计算左上角点、右下角点为例，通过公式(3)获得边长比例变化量：

VAR_ar＝DAR_tl+DAR_br(3)

同样地，也可以通过另一对角线上的右上、左下两角点获得边长比例变化量。

另外，可以根据同样条件下的经验来获得相应的比例差异阈值，例如，在公式(3)的情况下，比例差异阈值可以是公式(2)中的比例差异阈值的一半，而如果将两个差值绝对值的平均值作为边长比例变化量，则比例差异阈值可以与采用四个角点的情况相同。

在关系类别判定步骤S300中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量小于或小于等于比例差异阈值，并且如果角点位置发生变化的角点数目大于或大于等于数目阈值，并且如果角点位置的变化量大于或大于等于位置差异阈值，则判定该图像相对于其前一图像的关系类别为第二类别。

具体地，如果在判断当前图像与先前图像的投影区域之间的位置关系的过程中，未满足上述公式(2)，而是VAR_ar＜T_{var_ar}；或者在公式(2)的条件变体为VAR_ar＞T_{var_ar}的情况下，实际判断结果为VAR_ar≤T_{var_ar}，则进一步判断以下变化量：

NUM_cc：位置坐标发生变化的角点数目；

VAR_cc：位置发生变化的对应角点之间的位置变化量(位置差，单位：像素)。

针对上述变化量设置相应的阈值：

T_{num_cc}：针对位置坐标发生变化的角点数目的数目阈值；

T_{var_cc}：针对角点位置的变化量的位置差异阈值。

T_{num_cc}可以是以往的经验值，例如为2，显然也可以是1、3甚至0、4。

在当前图像的投影区域与其前一图像的投影区域之间，比较相对应的角点在图像中的位置坐标，计数位置发生改变的角点数目NUM_cc。然后判断该数目NUM_cc是否满足以下公式(4)：

NUM_cc≥T_{num_cc}(4)

本领域技术人员可以认识到，该公式(4)可以变体为NUM_cc＞T_{num_cc}。

可以在计数角点位置发生变化的角点数目的同时，独立地计算相对应的角点之间的位置变化量。或者，也可以先判断角点位置发生变化的角点，在满足公式(4)或其变体的情况下，则进一步计算位置发生变化的对应角点之间的位置变化量。或者，也可以先计算相对应的角点之间的位置变化量，然后可以很容易地得到角点位置发生变化的角点数目，代入公式(4)及其变体进行判断。

例如，可以在该(当前)图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的四个角点之间的位移量，以相对应的四个角点之间的位移量之和作为所述角点位置的变化量。

具体地，可以计算当前帧图像的投影区域的左上角点(X_tl，Y_tl)与其前一图像已经确定的投影区域的左上角点(X’_tl，Y’_tl)之间的二维欧式距离[(X_tl-X’_tl)²+(Y_tl-Y’_tl)²]^1/2作为左上角点的位移量，类似地计算其它三个相对应的角点之间的二维欧式距离作为其位移量。

可以将相对应的四个角点之间的位移量之和作为角点位置的变化量VAR_cc，然后判断该变化量VAR_cc是否满足以下公式(5)：

VAR_cc＞T_{var_cc}(5)

其中，T_{var_cc}为位置差异阈值，可以是以往的经验值，例如在此情况下可以是8，显然也可以是5、6、10等等，单位为像素。显然，公式(5)也可以变体为VAR_cc≥T_{var_cc}。

此外，也可以将相对应的四个角点之间的位移量平均值作为角点位置的变化量，在此情况下，相应地将公式(5)或其变体中的位置差异阈值相应地除以4作为此情况下的位置差异阈值即可。

作为替代，也可以在该(当前)图像的投影区域与该图像的前一图像的投影区域之间，分别计算相对应的四个角点之间的横向位移量和纵向位移量，将横向位移量和纵向位移量加权相加，得到所述角点位置的变化量。

例如，仍然以左上角点为例，检测得到的当前帧图像投影区域的左上角点为(X_tl，Y_tl)，其前一图像已经确定的投影区域的相应的左上角点为(X’_tl，Y’_tl)，计算其横向位移量|X_tl-X’_tl|和纵向位移量|Y_tl-Y’_tl|。然后，可以为横向位移量和纵向位移量赋予不同的权重，例如，横向位移量权重wh，纵向位移量权重wv，然后加权相加wh|X_tl-X’_tl|+wv|Y_tl-Y’_tl|，作为左上角点的位置变化量。类似地计算出其它三个(右上、左下、右下)角点分别的横向位移量和纵向位移量，并加权相加得到其各自的位置变化量。然后，将在四个角点分别计算得到的角点位置的变化量相加或者取在四个角点计算得到的角点位置的变化量的平均值，作为角点位置的变化量VAR_cc，并以同等方式下得到的经验值作为相应的位置差异阈值T_{var_cc}来代入公式(5)或其变体进行比较。

其中，纵向位移量权重wv可以设置为大于横向位移量权重wh。

在未判断为归属第一类别的情况下，如果满足公式(4)或其变体，并且同时满足公式(5)或其变体，则可以判断为该图像相对于其前一图像的关系类别为第二类别。

当前图像与先前图像的投影区域之间的位置关系属于第二类别的情况例如可以是由于投影设备的自身的移动而造成。

在关系类别判定步骤S300中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果角点位置的变化量小于或小于等于位置差异阈值，则判定该图像相对于其前一图像的关系类别为第三类别。

具体地，如果在判断当前图像与先前图像的投影区域之间的位置关系的过程中，对于以上述任意一种方式得到的角点位置的变化量VAR_cc，未满足上述公式(5)，而是VAR_cc≤T_{var_cc}；或者在公式(5)的条件变体为VAR_cc≥T_{var_cc}的情况下，实际判断结果为VAR_cc＜T_{var_cc}，则判定该当前图像相对于其前一图像的关系类别为第三类别。

前后帧之间第三类别的关系的情况可以是由于外界光影干扰、以及各个设备自身抖动而造成的。

此外，如前文所述，如果在检测步骤S200中，检测到的该图像中的投影区域不构成四边形，或者如果在该图像中检测不到投影区域，则在关系类别判定步骤S300中，判定该图像相对于其前一图像的关系类别为第四类别。

前后帧之间第四类别的关系的情况可以是由于遮挡投影设备、设备异常等等的其它情况而造成的。

在关系类别判定步骤S300根据投影区域的位置而确定当前帧图像(或者称“当前图像”或“该图像”)相对于其前一帧图像的关系类别之后，在确定步骤S400，根据关系类别确定当前帧图像中的投影区域的位置。

具体地，在确定步骤S400中，如果当前图像相对于其前一图像为第一类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

在确定步骤S400中，如果当前图像相对于其前一图像为第二类别，则将在所述检测步骤S200中所检测的该图像的投影区域的位置确定为该图像的投影区域的位置。

在确定步骤S400中，如果当前图像相对于其前一图像为第三类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

在确定步骤S400中，如果当前图像相对于其前一图像为第四类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

因此，可以仅仅在当前图像相对于其前一图像的投影区域的位置关系为第二类别的情况下，把在检测步骤S200检测的投影区域的位置确定为当前图像的投影区域的位置，也就是，更新替代在前一帧图像确定的投影区域的位置。除此之外，均可以继续采用在前一帧图像确定的投影区域的位置。

也就是，可以仅仅在当前图像相对于其前一图像的投影区域的位置关系为第二类别的情况下，需要继续纠正扭曲的投影区域等等的处理；而在诸如第一、第三、第四类别等等的其它情况下，利用已有的对投影区域进行扭曲纠正的结果，从而降低处理负担。

本发明还可以实施为一种确定图像中投影区域的设备，可以用来执行前述的按照本发明实施例的确定图像中投影区域的方法。图4示出按照本发明实施例的确定图像中投影区域的设备的总体框图。如图4所示，按照本发明实施例的确定图像中投影区域的设备可以包括：输入装置100，可以用来执行前述输入步骤S100，以输入包括多个图像的图像序列；检测装置200，可以用来执行前述检测步骤S200，以针对图像序列中的各个图像，分别检测其中的投影区域的位置；关系类别判定装置300，可以用来执行前述关系类别判定步骤S300，以针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；确定装置400，可以用来执行前述确定步骤S400，以针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置。

检测装置200可以以检测到的该图像中的投影区域的四边形的四个角点的位置代表该投影区域的位置。

在该(当前)图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量大于或大于等于比例差异阈值，则关系类别判定装置300可以判定该图像相对于其前一图像的关系类别为第一类别。

在该(当前)图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量小于或小于等于比例差异阈值，并且如果角点位置发生变化的角点数目大于或大于等于数目阈值，并且如果角点位置的变化量大于或大于等于位置差异阈值，则关系类别判定装置300可以判定该图像相对于其前一图像的关系类别为第二类别。

其中，关系类别判定装置300可以在该图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的角点的相邻两边宽高比的差值绝对值，将差值绝对值之和作为所述边长比例变化量。

在该(当前)图像的投影区域与该图像的前一图像的投影区域之间，如果角点位置的变化量小于或小于等于位置差异阈值，则关系类别判定装置300可以判定该图像相对于其前一图像的关系类别为第三类别。

其中，关系类别判定装置300可以在该图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的四个角点之间的位移量，以相对应的四个角点之间的位移量之和作为所述角点位置的变化量。

或者，关系类别判定装置300可以在该图像的投影区域与该图像的前一图像的投影区域之间，分别计算相对应的四个角点之间的横向位移量和纵向位移量，将横向位移量和纵向位移量加权相加，得到所述角点位置的变化量。

另外，如果检测装置200检测到的该图像中的投影区域不构成四边形，或者如果检测装置200在该图像中检测不到投影区域，则关系类别判定装置300可以判定该图像相对于其前一图像的关系类别为第四类别。

如果该图像相对于其前一图像为第一类别，则确定装置400可以以该前一图像的投影区域的位置作为该图像的投影区域的位置。

如果该图像相对于其前一图像为第二类别，则确定装置400可以将在所述检测步骤中所检测的该图像的投影区域的位置确定为该图像的投影区域的位置。

如果该图像相对于其前一图像为第三类别，则确定装置400可以以该前一图像的投影区域的位置作为该图像的投影区域的位置。

如果该图像相对于其前一图像为第四类别，则确定装置400可以以该前一图像的投影区域的位置作为该图像的投影区域的位置。

本发明还可以通过一种确定图像中投影区域的系统来实施。尽管本发明实施例可以应用于远程系统，然而，本领域技术人员可以理解，按照本发明实施例的确定图像中投影区域的方法、设备、系统均可以仅仅实施于远程系统中的一方，例如本地方，而不依赖于远程方的存在。本发明实施例可以仅仅致力于确定投影区域，为后续处理提供便利，本领域技术人员可以以任何希望的方式决定如何运用所确定的投影区域，甚至可以不进行进一步的扭曲区域的纠正，可以不发送至远端。

图5是示出按照本发明实施例的确定图像中投影区域的系统1000的总体框图，如图5所示，确定图像中投影区域的系统1000可以包括：输入设备1100，例如可以包括前述的摄像设备30等等；处理设备1200，用于实施上述的按照本发明实施例的确定图像中投影区域的方法，或者实施为上述的按照本发明实施例的确定图像中投影区域的设备，例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1300，用于向外部输出实施上述确定图像中投影区域的过程及其后续处理过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述确定图像中投影区域的过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

本发明实施例以连续的图像序列作为目标处理数据，根据投影区域的多种特征值在相邻接的帧图像之间进行空间分析，从而确定当前图像中的投影区域。本发明实施例的确定图像中投影区域的方法、设备及系统具有适应不同环境变化的灵活性，可以区分多种不同的环境场景变化，例如，摄像/投影设备的位移，人体对投影区域的遮挡，以及由于外界光影变化所造成的图像闪烁、设备本身的刚性震动等等而导致的图像随之抖动。

按照本发明的实施例，能够实现针对所输入的连续图像来确定各个帧图像中的投影区域，其中，针对相邻接的帧图像的检测结果进行实时的空间分析，从而可以针对不同的前后帧图像场景变化的情况采取不同的处理策略，通过在一定场景变化的情况下直接采用前一帧图像的投影区域确定结果，而并非必然采用当前帧图像中的投影区域检测结果，以实现尽可能地减少处理量，通过例如在采取先前确定的投影区域的情况下避免再次纠正扭曲的投影区域等等的处理，从而降低处理负担。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (9)

1.一种确定图像中投影区域的方法，包括：

输入步骤，输入包括多个图像的图像序列；

检测步骤，针对图像序列中的各个图像，分别检测其中的投影区域的位置；

关系类别判定步骤，针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；

确定步骤，针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置，

在所述关系类别判定步骤中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量大于或大于等于比例差异阈值，则判定该图像相对于其前一图像的关系类别为第一类别；以及

在所述确定步骤中，如果该图像相对于其前一图像为第一类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

2.按照权利要求1所述的确定图像中投影区域的方法，其中，

在所述检测步骤中，以检测到的该图像中的投影区域的四边形的四个角点的位置代表该投影区域的位置。

3.按照权利要求2所述的确定图像中投影区域的方法，其中，

在所述关系类别判定步骤中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量小于或小于等于比例差异阈值，并且如果角点位置发生变化的角点数目大于或大于等于数目阈值，并且如果角点位置的变化量大于或大于等于位置差异阈值，则判定该图像相对于其前一图像的关系类别为第二类别；以及

在所述确定步骤中，如果该图像相对于其前一图像为第二类别，则将在所述检测步骤中所检测的该图像的投影区域的位置确定为该图像的投影区域的位置。

4.按照权利要求2所述的确定图像中投影区域的方法，其中，

在所述关系类别判定步骤中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果角点位置的变化量小于或小于等于位置差异阈值，则判定该图像相对于其前一图像的关系类别为第三类别；以及

在所述确定步骤中，如果该图像相对于其前一图像为第三类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

5.按照权利要求1所述的确定图像中投影区域的方法，其中，

在所述检测步骤中，如果检测到的该图像中的投影区域不构成四边形，或者如果在该图像中检测不到投影区域，则在关系类别判定步骤中，判定该图像相对于其前一图像的关系类别为第四类别；以及

在所述确定步骤中，如果该图像相对于其前一图像为第四类别，则以该前一图像的投影区域的位置作为该图像的投影区域的位置。

6.按照权利要求3或4所述的确定图像中投影区域的方法，其中，

在该图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的四个角点之间的位移量，以相对应的四个角点之间的位移量之和作为所述角点位置的变化量。

7.按照权利要求3或4所述的确定图像中投影区域的方法，其中，

在该图像的投影区域与该图像的前一图像的投影区域之间，分别计算相对应的四个角点之间的横向位移量和纵向位移量，将横向位移量和纵向位移量加权相加，得到所述角点位置的变化量。

8.按照权利要求1或3所述的确定图像中投影区域的方法，其中，

在该图像的投影区域与该图像的前一图像的投影区域之间，计算相对应的角点的相邻两边宽高比的差值绝对值，将差值绝对值之和作为所述边长比例变化量。

9.一种确定图像中投影区域的设备，包括：

输入装置，输入包括多个图像的图像序列；

检测装置，针对图像序列中的各个图像，分别检测其中的投影区域的位置；

关系类别判定装置，针对图像序列中的各个图像，根据该图像的投影区域的位置与其前一图像的投影区域的位置之间的关系，判定该图像相对于其前一图像的关系类别；

确定装置，针对图像序列中的各个图像，根据该图像相对于其前一图像的关系类别，确定其投影区域的位置，

其中，在该图像的投影区域与该图像的前一图像的投影区域之间，如果边长比例变化量大于或大于等于比例差异阈值，则该关系类别判定装置判定该图像相对于其前一图像的关系类别为第一类别；以及

如果该图像相对于其前一图像为第一类别，则该确定装置确定以该前一图像的投影区域的位置作为该图像的投影区域的位置。