CN102006449B - 图像信息交互系统及图像信息交互方法 - Google Patents

Abstract

本发明提供一种图像信息交互系统及图像信息交互方法。一种对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互系统，包括：环境检测装置，检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；编辑区域确定装置，在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；以及内容交互装置，将编辑区域的图像信息在各个客户端交互。

Description

图像信息交互系统及图像信息交互方法

技术领域

本发明涉及一种图像信息交互系统及图像信息交互方法，更具体地说，本发明涉及一种将各个客户端所编辑的区域的图像信息在各个客户端之间进行交互的图像信息交互系统及图像信息交互方法。

背景技术

当前，图像处理技术、图像分割技术、及通信技术正在逐步地发展，为分布式会议提供了有力的技术支持。在分布式的协同会议系统中，将多个客户端的画面图像相互传输，使各个客户端能够获知其它客户端所处的场景，包括其用户、场所、及所提供的内容、等等，提供内容的载体是不透明的介质，一般要求比较平整，通常可采用白板，也可以采用黑板，在不透明介质上提供内容的方式包括书写、打字、等等，书写的方式包括用传统的水笔等等书写，也包括用激光笔书写等等。图像处理在支持协同工作方面有着很重要的作用，但直接通过图像处理技术应用来搭建一个协同会议系统以支持分布式会议仍然存在不少问题。

美国专利No.7496229 B2定义了一种系统，该系统将白板上的内容及会议场景作为图像传送给远端。该系统主要是关注单侧会议系统中的图像处理，并没有进行系统预设置，也未有效地支持多模式的内容交互，传输数据量大，占用大量带宽等资源。

美国专利申请No.20080184124 A1定义了一种系统，该系统可以将内容和内容的提供者进行关联。场景被摄像头捕捉，并传输到远端。场景同时包括了显示设备和摄像头之间的其他信息，例如用户的手。所有这些信息都将被传送到远端。该系统并没有进行系统预设置，也未有效地支持多模式的内容交互，传输数据量大，占用大量带宽等资源。

目前通过白板来完成协同会议已经有一些相关的研究和解决方案，但其中也有一些技术问题没有得到很好的解决。例如，微软的NetMeeting系统通过一个类似交互文本编辑器的模式实现白板的交互，但该系统需要使用鼠标和键盘作为输入设备，这种输入设备对于白板系统来说用户的友好性是比较差的。同时，不同的解决方案对于所传输的数据量的大小也有很大的区别。数据可以是图像，也可以是媒体流。大容量的数据传输会占用较多的带宽资源，继而影响系统的综合性能。

此类系统中，内容交互是基本的功能。但现实的应用场景在要求能够实现内容交互的基础上，还应该更多地考虑如何交互的问题。

发明内容

鉴于现有技术的问题而作出本发明，本发明提供一种图像信息交互系统及图像信息交互方法，涉及图像处理领域以及协同会议系统领域，可以根据工作环境而自适应地调整设置。进一步地，本发明的图像信息交互系统及方法可以将捕捉到的图像被分层为前景和背景，仅将前景数据在各个客户端之间传输。更进一步地，本发明的图像信息交互系统及方法可以提供不同的编辑模式来完成数据的交互及融合。此外，本发明的图像信息交互系统及方法可以在内容交互之前先对编辑区域中各点的坐标值和对比度进行优化，作为经过优化的编辑区域的图像信息，进一步缩小数据规模。

根据本发明的一个方面，提供一种对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互系统，包括：环境检测装置，检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；编辑区域确定装置，在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；以及内容交互装置，将编辑区域的图像信息在各个客户端交互。

根据本发明的另一个方面，提供一种对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互方法，包括：环境检测步骤，检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；编辑区域确定步骤，在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；以及内容交互步骤，将编辑区域的图像信息在各个客户端交互。

根据本发明的实施例，图像信息交互系统对用户参与的要求程度实现了最低化，并且系统可以检测所运行的工作环境并且据此调整系统设置，自适应地调整到可工作的状态。而且，根据本发明的实施例，所传输的数据的规模被尽可能地减小，从而降低了对系统带宽的要求，与通常的视频会议相比，能够更大地节省带宽。系统可以只交互最新输入的数据以及内容提供者的信息，因此该系统可以在不同的网络环境下得以应用。此外，本发明的图像信息交互系统定义了三种不同的编辑模式，不同的模式可以针对不同的应用要求供选择来使用。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。

附图说明

图1示出根据本发明实施例的图像信息交互系统的框图。

图2示出根据本发明实施例的图像信息交互方法的流程图。

具体实施方式

图1示出根据本发明实施例的图像信息交互系统的框图。图1所示的图像信息交互系统用于对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互，包括：环境检测装置10；编辑区域确定装置20；内容交互装置30；编辑区域优化装置40；编辑模式选择装置90。

环境检测装置10检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置。环境参数可以根据需求进行定义，基本的参数例如会议室内的亮度等等，图像捕捉装置诸如摄像头等。环境检测装置10调整摄像头的相关设置使得与环境参数相匹配。实现此过程可以通过程序进行，或者也可以通过手工调整来完成，总之，调整的结果是确保在客户端所提供的内容能够清晰可见。

环境检测装置10所进行的操作可以是自适应的过程，例如，检测环境的亮度值，根据存在编辑内容时环境中最大亮度值与不存在编辑内容时环境中最大亮度值的差来调整图像捕捉装置的设置。具体地，环境检测装置10调整图像捕捉装置例如摄像头的进光量，进光量例如可通过调整光圈的大小来控制。而且，环境检测装置10计算没有进行编辑内容的提供操作时进光的最大亮度值T、及进行了编辑内容提供操作后的进光最大亮度值L，编辑内容的提供操作例如通过激光笔进行的写操作。当L的值显著大于T的时候，在客户端所提供的内容能够清晰可见，例如L是T的2倍时，则可以视为调整完毕。对于每个独立的图像捕捉装置，参数的可调整范围可以是不同的，通常可以参考该图像捕捉装置例如摄像头的说明书。当环境发生改变的时候，可以通过重复上述操作来进行二次调整。

编辑区域确定装置20用于在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域。编辑区域确定装置20计算图像捕捉装置所捕捉的区域的亮度均值，将其设为阈值M，将捕捉区域的每个像素点的亮度与M进行比较，如果该像素的亮度大于M，那么认为它是编辑区域内的点，如果该像素的亮度小于M，那么认为该像素属于非编辑区域。

首先，被图像捕捉装置捕捉的图像区域都被纳入到计算范围，其中所有像素的亮度值的均值设为M。然后，将各个像素的亮度与该均值进行比较，如果某像素i的亮度p(i)＞M，那么像素i被认为是属于编辑区域；否则像素i被认为是属于非编辑区域。

进一步地，可以对编辑区域进行改进，例如，可以选取上述编辑区域的4个坐标极值点，将4个坐标极值点连线获得一区域，或者根据4个坐标极值点获取编辑区域的外接矩形，将连线所获得的区域或者该外接矩形作为编辑区域的范围。可以利用图像处理领域的很多相关技术，例如Canny边缘检测、Hough线检测来完成确定编辑区域的操作。只有编辑区域的图像信息在诸如投影仪的输出装置显示输出，编辑区域确定装置20确定编辑区域的操作也可以视为在诸如摄像头的图像捕捉装置和诸如投影仪的输出装置之间进行的协调。

在利用内容交互装置30将编辑区域的图像信息在各个客户端交互之前，可以选择利用编辑区域优化装置40对编辑区域的图像信息进行优化，一方面改善编辑区域的图像的质量，另一方面减小编辑区域的图像数据的规模。编辑区域的图像信息可以是编辑区域中各点的坐标值和对比度。编辑区域优化装置40执行的过程可以包括：校正编辑区域中各点的坐标值，调整编辑区域中各点的对比度，以及对编辑区域中的曲线进行坐标平滑处理。经过优化的编辑区域的图像信息，例如经过二次映射和/或梯形校正和/或曲线平滑处理的的各点坐标值、经过调整的各点的对比度，用于内容交互。

编辑区域优化装置40首先对编辑区域确定装置20所确定的编辑区域进行计算以提取出线条或激光点，此过程可以通过Hue阈值检测以及Canny边缘检测技术来实现。在线条不平滑的情况下，可以选择利用贝叶斯曲线对线条进行坐标平滑处理。针对图像数据变形，还可以进行二次映射以校正不规则的图像捕捉角度所导致的图像数据变形。还可以进行梯形校正，利用下列公式(1)对所捕捉到的点坐标根据编辑区域的边界信息进行校正

$u=\frac{a\·x+b\·y+c}{g\·x+h\·y+1}$ $v=\frac{d\·x+e\·y+f}{g\·x+h\·y+1},......\left(1\right)$

其中(x，y)是捕捉到的输入点的原始坐标，(u，v)是在编辑区域内的对应坐标a、b、c、d、e、f是常量。为了得到常量a到f，需要使用下列公式(2)进行求解：

$\left[\begin{array}{cccccccc}{x}_0& y_0& 1& 0& 0& 0& 0& 0\\ x_1& y_1& 1& 0& 0& 0& -W\·x_1& -W\·y_1\\ x_2& y_2& 1& 0& 0& 0& -W\·x_2& -W\·y_2\\ x_3& y_3& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& x_0& y_0& 1& 0& 0\\ 0& 0& 0& x_1& y_1& 1& 0& 0\\ 0& 0& 0& x_2& y_2& 1& -H\·x_2& -H\·y_2\\ 0& 0& 0& x_3& y_3& 1& -H\·x_3& -H\·y_3\end{array}\right]\·\left[\begin{array}{c}a\\ b\\ c\\ d\\ e\\ f\\ g\\ h\end{array}\right]=\left[\begin{array}{c}0\\ W\\ W\\ 0\\ 0\\ 0\\ H\\ H\end{array}\right]...\left(2\right)$

其中(x_i，y_i)，i＝0..3是编辑区域内基准点的坐标，(W，H)是显示输出设备的分辨率值(宽和高)。此外，为了提高显示的对比度以及在环境中的呈现能力，可以采用诸如Histogram算法来调整的各点的对比度。

在利用内容交互装置30将编辑区域的图像信息在各个客户端交互之前，还可以利用编辑模式选择装置90根据实际的应用场景来选择合适的编辑模式。

编辑模式选择装置90可以在下列预定义的编辑模式中选择一种编辑模式：单例模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个特定客户端可以在编辑区域中进行编辑；并发模式，系统中存在多个可编辑标识，多个客户端可以同时拥有可编辑标识，每个客户端至多拥有一个可编辑标识，拥有可编辑标识的客户端可以在编辑区域中进行编辑；以及排斥模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个客户端可以在编辑区域中进行编辑，可编辑标识可以在各个客户端之间转移。对于每一种被选中的模式，系统都会初始化相应数量的标识。

内容交互装置30用于将编辑区域的图像信息在各个客户端交互，在之前已经利用编辑区域优化装置40对编辑区域的图像信息进行优化的情况下，所交互的是经过优化的编辑区域的图像信息，例如编辑区域中各点坐标值及对比度。在之前已经利用编辑模式选择装置90选择了一种编辑模式的情况下，在各个客户端交互要遵守所选择的编辑模式，即拥有可编辑标识的客户端才可以在编辑区域中进行编辑。

内容交互装置30包括：图像分层装置50；数据传输装置60；数据融合装置70；内容提供者标识装置80。

图像分层装置50用于把所捕捉的图像的编辑区域的图像信息分为先前已有的背景数据和新捕捉的前景数据。图像分层单元50区分最近捕捉的内容及以往记录的内容，将最近捕捉的内容作为前景，而以往记录内容作为背景。可以将每个前景内容数据关联到一个具有优先级信息的索引，例如时间戳。可以利用例如高斯背景模型技术来区分出只包括历史内容信息的背景和包括所有最新更新信息的前景。在每个前景内容信息与一个带有优先级信息的索引相关联的情况下，客户端或用户可以了解到各个前景内容信息的优先级。

在利用数据传输装置60将前景数据传送给其它客户端之前，可以利用内容提供者标识装置80提取出内容的提供者，例如写字的人，使得其它客户端不仅能够获知编辑的内容，还能够获知该内容的提供者。内容提供者标识装置80把图像分层装置分出的前景数据至少进一步分为编辑内容和编辑内容的提供者，将编辑内容的提供者与相应的编辑内容相关联以提供至数据传输装置。

内容的提供者通常是所捕捉的图像的编辑区域中除了编辑内容之外的移动目标。如前所述，前景信息包括最新更新的数据，而背景信息只包括以往的数据，那么在一个具体的时间点，前景信息中会包括除了编辑内容之外的信息，即内容提供者的信息。从而内容提供者标识装置80可以在图像分层装置50进行的分层过程的基础上，利用公式(3)进一步提取出更细分的一个层，该层只包括了内容提供者的信息：

W＝I-F-B    ……(3)

其中I代表编辑区域中全部信息，F是前景中的编辑内容信息，B是背景信息，W是内容提供者信息。也可以为W设置具有优先级信息的索引，例如时间戳。

数据传输装置60可以仅将前景数据传送给其它客户端，在之前已经利用内容提供者标识装置80提取出内容的提供者并与相应的编辑内容相关联的情况下，将内容及其提供者的信息关联地发送给其它客户端。

可以利用现有技术来进行数据传输，例如Socket传输，TCP/IP传输。数据传输装置60可以设置例如白板上的编辑数据的优先级高于内容提供者的优先级，既可以对二者全部传输，也可以根据不同的网络状况进行有选择地传输。在网络带宽差的情况下，可以只传输高优先级的数据，确保编辑内容数据的优先传输，以提高在诸如低带宽的恶劣环境下的系统适应性。

数据融合装置70用于将来自其它客户端的前景数据和本地数据融合以组成本地输出图像。本地输出图像通过未示出的输出装置输出，输出装置通常可以是显示装置，例如投影仪及显示器等等。在利用图像分层装置50对前景数据设置索引的情况下，数据融合装置70可以根据索引的优先级顺序来把来自其它客户端的前景数据与本地数据融合以组成本地输出图像。

在此情况下，当从远端有多个前景信息传送到本地的时候，首先对它们的优先级进行对比，具有最高优先级的数据最先和本地数据进行融合，然后对下一优先级的数据重复该操作直至所有数据都被融合。显然，在没有设置具有优先级信息的索引的情况下，可以按其它顺序进行融合，在前景信息包括关联的编辑内容及其提供者信息的情况下，将编辑内容及其提供者信息与本地数据分别融合以组成本地输出图像。

融合可以通过已有技术实现，可以将本地数据作为基础，与来自其它客户端的前景数据在像素级别上进行比较，将来自其它客户端的前景数据的像素值添加到基础数据中对应位置的像素上。可以利用的现有的融合技术诸如基于独立分量分析的图像融合算法、基于量子行为的粒子群优化算法(QPSO)的图像融合方法、以及基于小波变换的图像融合算法等，最终的融合后的数据作为本地的输出数据。可以在任何时间点对融合后的数据进行本地存储。

本发明的图像信息交互系统可以安装在各个客户端处，或者也可以安装在多个客户端之外的服务器中。

图2示出根据本发明实施例的图像信息交互方法的流程图。图2所示的按照本发明实施例的对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互方法，包括：环境检测步骤210，可以由前述环境检测装置10执行，以检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；编辑区域确定步骤S220，可以由前述编辑区域确定装置20执行，以在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；以及内容交互步骤S230，可以由前述内容交互装置30执行，以将编辑区域的图像信息在各个客户端交互。

其中，在环境检测步骤210中，可以检测环境的亮度值，根据存在编辑内容时环境中最大亮度值与不存在编辑内容时环境中最大亮度值的差来调整图像捕捉装置的设置。

其中，在编辑区域确定步骤S220中，把图像捕捉装置所捕捉的图像中的亮度均值设为M，把亮度超过M的部分设为编辑区域。进一步地，可以对编辑区域进行改进，例如，可以选取上述编辑区域的4个坐标极值点，将4个坐标极值点连线获得一区域，或者根据4个坐标极值点获取编辑区域的外接矩形，将连线所获得的区域或者该外接矩形作为编辑区域的范围。

在编辑区域确定步骤S220之后，内容交互步骤S230之前，还可以包括编辑模式选择步骤，由前述编辑模式选择装置90执行，以在下列预定义的编辑模式中选择一种编辑模式：单例模式，只存在一个可编辑标识，只有拥有可编辑标识的一个特定客户端可以在编辑区域中进行编辑；并发模式，存在多个可编辑标识，多个客户端可以同时拥有可编辑标识，每个客户端至多拥有一个可编辑标识，拥有可编辑标识的客户端可以在编辑区域中进行编辑；以及排斥模式，只存在一个可编辑标识，只有拥有可编辑标识的一个客户端可以在编辑区域中进行编辑，可编辑标识可以在各个客户端之间转移。

所述编辑区域的图像信息包括编辑区域中各点的坐标值和对比度，在编辑区域确定步骤S220之后，内容交互步骤S230之前，还可以包括编辑区域优化步骤，由前述编辑区域优化装置40执行，以校正编辑区域中各点的坐标值，调整编辑区域中各点的对比度，对编辑区域中的曲线进行坐标平滑处理，将经过优化的编辑区域的图像信息用于内容交互。

其中，内容交互步骤S230包括：图像分层步骤，把所捕捉的图像的编辑区域的图像信息分为先前已有的背景数据和新捕捉的前景数据；数据传输步骤，仅将前景数据传送给其它客户端；以及数据融合步骤，将来自其它客户端的前景数据和本地数据融合以组成本地输出图像。其中，在所述图像分层步骤中，可以对前景数据设置索引，在此情况下，在所述数据融合步骤中，可以根据索引的优先级顺序来把来自其它客户端的前景数据与本地数据融合以组成本地输出图像。

在图像分层步骤之后，数据传输步骤之前，还可以包括内容提供者标识步骤，可以由前述内容提供者标识装置80执行，以把图像分层步骤分出的前景数据至少进一步分为编辑内容和编辑内容的提供者，将编辑内容的提供者与相应的编辑内容相关联以用于数据传输步骤。

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。

Claims (9)

1.一种对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互系统，包括：

环境检测装置，检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；

编辑区域确定装置，在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；

内容交互装置，将编辑区域的图像信息在各个客户端交互；以及

编辑模式选择装置，在下列预定义的编辑模式中选择一种编辑模式：

单例模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个特定客户端可以在编辑区域中进行编辑；

并发模式，系统中存在多个可编辑标识，多个客户端可以同时拥有可编辑标识，每个客户端至多拥有一个可编辑标识，拥有可编辑标识的客户端可以在编辑区域中进行编辑；以及

排斥模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个客户端可以在编辑区域中进行编辑，可编辑标识可以在各个客户端之间转移。

2.按照权利要求1所述的图像信息交互系统，其中，所述内容交互装置包括：

图像分层装置，把所捕捉的图像的编辑区域的图像信息分为先前已有的背景数据和新捕捉的前景数据；

数据传输装置，仅将前景数据传送给其它客户端；以及

数据融合装置，将来自其它客户端的前景数据和本地数据融合以组成本地输出图像。

3.按照权利要求2所述的图像信息交互系统，其中，所述内容交互装置还包括：

内容提供者标识装置，把图像分层装置分出的前景数据至少进一步分为编辑内容和编辑内容的提供者，将编辑内容的提供者与相应的编辑内容相关联以提供至数据传输装置。

4.按照权利要求1所述的图像信息交互系统，其中，所述编辑区域的图像信息包括编辑区域中各点的坐标值和对比度，所述系统还包括编辑区域优化装置，用于校正编辑区域中各点的坐标值，调整编辑区域中各点的对比度，对编辑区域中的曲线进行坐标平滑处理，将经过优化的编辑区域的图像信息用于内容交互。

5.按照权利要求1所述的图像信息交互系统，其中，所述环境检测装置检测环境的亮度值，根据存在编辑内容时环境中最大亮度值与不存在编辑内容时环境中最大亮度值的差来调整图像捕捉装置的设置。

6.按照权利要求1所述的图像信息交互系统，其中，所述编辑区域确定装置把图像捕捉装置所捕捉的图像中的亮度均值设为M，把亮度超过M的部分设为编辑区域。

7.按照权利要求2所述的图像信息交互系统，其中，所述图像分层装置对前景数据设置索引，所述数据融合装置根据索引的优先级顺序来把来自其它客户端的前景数据与本地数据融合以组成本地输出图像。

8.一种对图像捕捉装置所捕捉的图像信息在各个客户端之间进行交互的图像信息交互方法，包括：

环境检测步骤，检测图像捕捉装置所运行的环境的环境参数，根据环境参数调整图像捕捉装置的设置；

编辑区域确定步骤，在图像捕捉装置所捕捉的图像中确定用于本地客户端编辑的编辑区域；

内容交互步骤，将编辑区域的图像信息在各个客户端交互；以及

编辑模式选择步骤，在下列预定义的编辑模式中选择一种编辑模式：

单例模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个特定客户端可以在编辑区域中进行编辑；

并发模式，系统中存在多个可编辑标识，多个客户端可以同时拥有可编辑标识，每个客户端至多拥有一个可编辑标识，拥有可编辑标识的客户端可以在编辑区域中进行编辑；以及

排斥模式，系统中只存在一个可编辑标识，只有拥有可编辑标识的一个客户端可以在编辑区域中进行编辑，可编辑标识可以在各个客户端之间转移。

9.按照权利要求8所述的图像信息交互方法，其中，所述内容交互步骤包括：

图像分层步骤，把所捕捉的图像的编辑区域的图像信息分为先前已有的背景数据和新捕捉的前景数据；

数据传输步骤，仅将前景数据传送给其它客户端；以及

数据融合步骤，将来自其它客户端的前景数据和本地数据融合以组成本地输出图像。

Images