CN102541314B - 一种信息处理设备和信息处理方法 - Google Patents

Abstract

一种信息处理方法和信息处理设备，其中，所述信息处理设备与外部设备连接，所述信息处理方法包括：获得当前的第一白板图像；对当前所述第一白板图像进行干扰检测，并且在当前所述第一白板图像存在干扰时，去除当前所述第一白板图像中的干扰；基于当前所述第一白板图像的干扰检测结果判断是否需要产生第一白板差图像；以及如果需要产生第一白板差图像，则基于所述干扰检测结果确定当前所述第一白板图像之前的目标白板图像，基于当前的第一白板图像以及所述目标白板图像获得第一白板差图像，并且向所述外部设备传送所述第一白板差图像。

Description

一种信息处理设备和信息处理方法

技术领域

本发明涉及一种信息处理设备和信息处理方法，更具体地，涉及一种对白板图像进行处理的信息处理设备和信息处理方法。

背景技术

目前，随着通信技术的不断发展，视频会议技术正在得到广泛的应用并被广大用户所接受。由于在视频会议中通常需要利用白板(如，写字板、用于显示投影仪图像的投影板等)来演示会议所讨论的内容或对视频会议参加者进行说明，因此在视频会议中传输白板图像变得越来越普遍。

例如，在多方视频会议中需要传输白板图像的情况下，在现有技术中，由于需要将整幅白板图像传送到视频会议的各方，因此，在进行视频会议时需要占用大量的网络带宽来传输大量的白板图像数据。然而，在网络的带宽较小时，可能在视频会议的各方上的白板图像的显示可能存在较大的延迟或不连贯，从而降低了用户进行视频会议的体验感受。

当前，为了解决上述问题，存在一些白板图像传输技术以改善白板图像的传输。例如，美国专利申请US0072224847B2公开了一种白板处理和传输技术。根据该白板传输技术，可以传输包含前景图像(如，白板前的人)的白板图像，并且还可以传输白板内容图像，在白板内容图像中包括所有的笔画部分和背景部分，但不包括前景部分(白板图像中包含人的部分)。

此外，美国专利申请US20100085420A1公开了另一种处理和传输白板图像的技术，其中，基于DCT(离散余弦变换)检测白板中的干扰(如，人)，并且将干扰去除的白板图像传输到接收方以减少通过网络传输的白板图像的数据量。

然而，现有技术中的白板图像处理和传输技术仍然存在一些问题。例如，根据美国专利申请US0072224847B2的描述，传输的内容包括所有的背景部分和笔画部分，因此，需要传输的白板图像的内容的数据量仍然较大。特别地，在存在多方进行视频会议的情况下，需要传输的白板图像的数据量更大，因此需要较高的网络带宽才能保证在视频会议各方的终端设备上流畅地显示白板图像。

此外，美国专利申请US20100085420A1公开的技术(DCT算法)难以检测静止的干扰(如，站在白板前面的人)，因此其传输的图像可能存在干扰。此外，由于其传输干扰去除后的全部白板图像，因此同样导致需要较高的网络带宽才能保证在视频会议各方的终端设备上流畅地显示白板图像。

发明内容

为了解决现有技术中的上述技术问题，根据本发明的一个方面，提供一种一种应用于信息处理设备的信息处理方法，所述信息处理设备与外部设备连接，所述信息处理方法包括：获得当前的第一白板图像；对当前所述第一白板图像进行干扰检测，并且在当前所述第一白板图像存在干扰时，去除当前所述第一白板图像中的干扰；基于当前所述第一白板图像的干扰检测结果判断是否需要产生第一白板差图像；以及如果需要产生第一白板差图像，则基于所述干扰检测结果确定当前所述第一白板图像之前的目标白板图像，基于当前的第一白板图像以及所述目标白板图像获得第一白板差图像，并且向所述外部设备传送所述第一白板差图像。

此外，根据本发明的另一方面，提供一种信息处理设备，包括：第一白板图像获得单元，配置来获得当前的第一白板图像；干扰检测和去除单元，配置来对当前所述第一白板图像进行干扰检测，并且在当前所述第一白板图像存在干扰时，去除所述干扰；白板图像处理单元，配置来基于当前所述第一白板图像的干扰检测结果判断是否需要产生第一白板差图像，其中如果需要产生第一白板差图像，则所述白板图像处理单元基于所述干扰检测结果确定当前所述第一白板图像之前的目标白板图像，基于当前的第一白板图像以及所述目标白板图像获得第一白板差图像；以及通信单元，配置来向所述外部设备传送所述第一白板差图像。

与现有技术相比，根据本发明实施例的信息处理方法和信息处理设备仅产生白板图像中发生改变的部分，因此能够减少每次传输的数据量，由此降低对网络带宽的需要，并且提高用户进行视频会议的体验度。

附图说明

图1是图解包含根据本发明实施例的信息处理设备的视频会议系统的示意方框图；

图2是图解图1所示的、根据本发明实施例的信息处理设备的结构的方框图；

图3是图解执行远程减法的示意图；

图4是图解根据干扰检测处理检测出的干扰区域的示意图；

图5是图解根据本发明实施例的信息处理方法的流程图。

具体实施方式

下面，描述根据本发明的各个实施例，其中在附图中，利用相同的附图标记表示相同或类似的元件或组成部分，并且省略了它们的重复描述。

下面，将详细描述根据本发明实施例的信息处理设备。

首先，将简要描述包含根据本发明实施例的信息处理设备的视频会议系统。图1是图解包含根据本发明实施例的信息处理设备10的视频会议系统1的示意方框图。

如图1所示，根据本发明实施例的视频会议系统1包括在发送端的信息处理设备10以及在接收端的至少一个信息处理设备20(即，位于信息处理设备10远端的信息处理设备)。信息处理设备10可以通过任意有线或无线的方式与信息处理设备20连接，并且可以通过有线或无线的连接相互交换数据。此外，信息处理设备10还连接到投影单元11以及摄像单元12。

根据本发明的实施例，信息处理设备10以及信息处理设备20可以为基于预定硬件或在其上执行的预定软件来实现特定功能的计算机设备。然而，本发明不限于此，只要能够基于预定的硬件或软件进行数据处理，并且能够彼此交换数据并能够显示所交换的数据，信息处理设备10以及信息处理设备20还可以由诸如服务器、移动终端(如，手机等)和个人数字助理(PDA)之类的终端设备实现。

在用户使用信息处理设备10进行视频会议时，信息处理设备10首先获得来自至少一个信息处理设备20的远程白板差图像，并且将来自至少一个信息处理设备20的远程白板差图像与存储在信息处理设备10中的前一帧白板图像进行合并来产生当前帧白板图像。这时，信息处理设备10可以利用与其连接的投影单元11将所产生的当前帧白板图像投影到信息处理设备10处设置的白板(未示出)上以显示该当前帧白板图像。通过将来自至少一个信息处理设备20的远程白板差图像与存储在信息处理设备10中的前一帧白板图像进行合并，可以将信息处理设备10和信息处理设备20处的白板上的内容进行组合在一起，从而可以在信息处理设备10和信息处理设备20之间分享各个白板上的内容。

在投影单元11将所产生的当前帧白板图像投影到白板上以显示该当前帧白板图像的同时，信息处理设备10通过远程减法获得反映其本地的白板上内容的白板图像(下面，将其称为本地白板图像)，并且对当前的本地白板图像进行干扰检测。如果检测到当前的本地白板图像存在干扰时，去除该干扰。然后，信息处理设备10基于针对该本地白板图像的干扰检测结果判断是否需要产生反映本地白板上的内容变化的白板差图像(下面，将其称为本地白板差图像)，并且在需要产生本地白板差图像的情况下，基于所述干扰检测结果确定当前本地白板图像之前的本地白板图像作为进行本地减法所使用的目标白板图像，基于当前的本地白板图像以及目标白板图像获得本地白板差图像。在产生了本地白板差图像之后，信息处理设备10向至少一个信息处理设备20传送该本地白板差图像以共享白板上的内容。

接下来，将参照图2详细描述根据本发明实施例的信息处理设备的结构和操作。图2是图解图1所示的、根据本发明实施例的信息处理设备10的结构的方框图。

如图2所示，根据本发明实施例的信息处理设备10包括本地白板图像获得单元101、干扰检测和去除单元102、白板图像处理单元103以及通信单元104。如图所示，本地白板图像获得单元101与干扰检测和去除单元102连接，并且干扰检测和去除单元102和通信单元104与白板图像处理单元103连接。

根据本发明的一个实施例，本地白板图像获得单元101用于获得当前的本地白板图像，并且可以通过任意的处理单元(如，中央处理器、微处理器、DSP)基于预定的程序实现。此外，本发明不限于此，还可以利用其中固化了预定程序的硬件来实现该本地白板图像获得单元101。

干扰检测和去除单元102用于对当前的本地白板图像进行干扰检测，并且在当前的本地白板图像存在干扰时，去除所述干扰。这里，干扰检测和去除单元102可以通过任意的处理单元(如，中央处理器、微处理器、DSP)基于预定的程序实现，并且还可以利用其中固化了预定程序的硬件来实现该干扰检测和去除单元102。

白板图像处理单元103用于配置来基于当前的本地白板图像的干扰检测结果判断是否需要产生本地白板差图像。在需要产生本地白板差图像的情况下，白板图像处理单元103基于干扰检测结果确定在当前的本地白板图像之前本地白板图像作为本地减法的目标白板图像，并且基于当前的本地白板图像以及目标白板图像获得本地白板差图像。这里，白板图像处理单元103可以通过任意的处理单元(如，中央处理器、微处理器、DSP)基于预定的程序实现，并且还可以利用其中固化了预定程序的硬件来实现该白板图像处理单元103。

通信单元104用于与位于信息处理设备10的远端的信息处理设备20通信。在白板图像处理单元103获得了本地白板差图像的情况下，通信单元104从白板图像处理单元103接收该本地白板差图像，并且向信息处理设备20传送所产生的本地白板差图像。根据本发明的一个实施例，通信单元104可以由支持网络通信的任意硬件组成。例如，通信单元104包括(但不限于)任意的以太网卡、无线网卡、蓝牙设备等等。

在描述了信息处理设备10的结构之后，下面将描述在进行视频会议并分享各个信息处理设备的白板上的内容时，信息处理设备10执行的操作。

在用户使用信息处理设备10进行视频会议并分享白板内容时，本地白板图像获得单元101首先获得当前的本地白板图像。这里，如上所述，由于通过投影单元11投影在白板上的图像包括在其他远程信息处理设备(如，信息处理设备20)上的白板的内容，因此需要执行远程减法，即减去来自其他远程信息处理设备的白板图像(下面称为远程白板图像)中的内容来获得本地白板图像。

具体地，例如，信息处理设备10的本地白板图像获得单元101可以通过投影区域检测、梯形校正、随机噪声去除之类的预定处理产生由摄像单元12拍摄的、由投影单元11投影到本地白板上的白板图像。这里，影区域检测、梯形校正、随机噪声去除等处理对于本领域技术人员来说是熟知的，因此省略了关于它们的详细描述。显然，如上所述，本地白板图像获得单元101产生的白板图像包括本地白板图像的内容(如，在本地的白板上写入的内容)以及远程白板图像的内容。在本地白板图像获得单元101获得了白板图像之后，本地白板图像获得单元101通过通信单元104接收来自信息处理设备20的远程白板差图像。这里，需要注意的是，信息处理设备20产生远程白板差图像的方式与信息处理设备10产生本地白板差图像的方式相同，并且在下面对信息处理设备10如何产生本地白板差图像进行详细描述。

由于远程白板差图像表示当前的远程白板图像与之前的远程白板图像的变化，因此，在本地白板图像获得单元101接收到远程白板差图像之后，本地白板图像获得单元101可以基于将在信息处理设备10的存储单元(未示出)中存储的、来自信息处理设备20的前一帧远程白板图像以及该远程白板差图像组合来产生当前帧的远程白板图像。然后，本地白板图像获得单元101通过从所产生的白板图像(其包含本地白板图像和远程白板图像的内容)中减去信息处理设备20的当前帧远程白板图像来产生本地白板图像(远程减法)。这里，本地白板图像表示实际上在信息处理设备10的本地白板上产生的内容(如，在本地的白板上写入的字符、数字等)和可能的干扰(如，人等)。图3是图解执行远程减法的示意图。例如，如图3所示，其中字母“B”所在的白板图像为信息处理设备20的远程白板图像，并且通过从本地白板图像获得单元101对摄像单元12拍摄的图像进行预定的处理而产生的白板图像中减去该远程白板图像，可以获得信息处理设备10的本地白板图像。

此外，在存在多个信息处理设备20的情况下，本地白板图像获得单元101分别产生与各个信息处理设备20对应的远程白板图像，并且通过从所产生的白板图像中减去各个信息处理设备20的当前帧远程白板图像来产生本地白板图像。这里，由于白板图像的远程减法操作对于本领域技术人员来说是公知的，因此这里省略了关于远程减法的详细描述。

接下来，将详细描述信息处理设备10产生本地白板差图像的过程。在用户使用信息处理设备10进行视频会议并分享白板上的内容时，如上所述，首先获得当前的本地白板图像。在获得当前的本地白板图像之后，由于该本地白板图像中还可能存在干扰，因此信息处理设备10的干扰检测和去除单元102还需要对当前的本地白板图像进行干扰检测，并且在当前的本地白板图像存在干扰时，去除该本地白板图像中的干扰。这里，本地白板图像中的干扰包括站在信息处理设备10处的白板附近并挡住部分白板区域的人。

具体地，根据本发明的一个实施例，可以通过模式识别(图像识别)来实现干扰检测。例如，信息处理设备10可以在模式识别数据库中存储关于人体的各个部位的模型，并且通过任意的公知模式识别技术来识别出白板图像中的干扰(如，站在白板前的人)，并且在识别出存在干扰时，利用白板图像的无内容区域或背景色区域替换存在干扰的区域来实现干扰的去除。

此外，根据本发明的另一个实施例，还可以通过当前的本地白板图像以及参考白板图像之间的比较来确定是本地白板图像否存在干扰，并且在存在干扰的情况下去除所述干扰。

具体地，干扰检测和去除单元102确定执行了远程减法之后的本地白板图像与参考白板图像(其中，参考白板图像中不存在干扰，并且将在下面详细描述参考白板图像的确定)之间的变化情况。在这种情况下，例如，干扰检测和去除单元102可以将本地白板图像和参考白板图像分为若干个区域，并且分别比较本地白板图像和参考白板图像的变化情况。例如，在本地白板图像和参考白板图像具有M×N(M，N为正整数，如640×480等等)像素的分辨率的情况下，干扰检测和去除单元102可以将本地白板图像和参考白板图像分为具有s×t个像素的多个区域(s，t为正整数)。通过这样做，可以将本地白板图像和参考白板图像分为(M×N)/(s×t)个区域，并且可以通过下面的公式(1)来比较本地白板图像和参考白板图像之间的每一个对应区域的变化率。

其中i和j表示区域<i，j>的在白板图像中的位置(即，该区域<i,j>在白板图像上由区域组成的矩阵的第i行和第j列)，并且0≤i＜M/s，0≤j＜N/t。g_m，n(c)为当前本地白板图像中的坐标(m，n)处的像素值，g_m，n(r)为参考白板图像中的坐标(m，n)处的像素值，m和n分别表示在区域<i，j>中像素的横向和纵向位置。此外，T₁为指示变化程度的阈值，并且可以基于具体情况或经验设置。

通过上述公式(1)，针对本地白板图像和参考白板图像中的每一个对应区域<i，j>，统计两幅图像中区域<i，j>内的像素值的差的绝对值大于阈值T₁的像素个数，并且将像素个数除以区域<i，j>内的像素总数(即，s×t)以获得表示该区域<i，j>内像素值发生变化的像素占总像素数的百分比p_i，j。根据上面的描述不难得出，该百分比p_i，j表示区域<i，j>内像素值发生变化的比率，由此可以反映区域<i，j>发生变化的程度。

然后，通过下面的公式(2)获得可能存在干扰的所有备选干扰区域的集合C。

C＝{<i，j>|p_i，j＞T₂}           (2)

其中T₂为表示区域<i，j>内像素值发生变化的比率的阈值。通常将T₂设置为较小的值(如，5％)，并且也可以基于具体情况或经验设置。

在获得可能存在干扰的所有备选干扰区域的同时，干扰检测和去除单元102还存储所有备选干扰区域的位置。然后，干扰检测和去除单元102基于所有备选干扰区域的位置获得具有可能存在干扰的连通区域。根据本发明的一个实施例，可以通过判断对于集合C中的某个区域<i，j>，其周围的8连通区域中是否存在其他的区域也属于集合C来确定具有可能存在干扰的备选干扰区域的连通区域。这里，由于连通区域的确定对于本领域技术人员来说是熟知的，因此这里省略了关于它的详细描述。

在确定了包含可能存在干扰的备选干扰区域的连通区域之后，干扰检测和去除单元102可以排除独立(不存在连通区域)的备选干扰区域，这是因为挡住白板的人占据白板上的面积通常较大，因此不可能存在独立的，不与周围的备选干扰区域连通的备选干扰区域是人体的情况。

然后，干扰检测和去除单元102进一步从连通区域中排除写入区域和擦除区域。这里，写入区域指的是用户在信息处理设备10处的白板上写入的内容(如，字符，数字等)的区域，而擦除区域指的是用户擦除信息处理设备10处的白板上的内容导致的白板图像的变化的区域。排除写入区域和擦除区域的目的在于：写入区域和擦除区域均会导致本地白板图像发生变化，但写入区域和擦除区域不是干扰区域。

具体地，由于擦除区域通常与白板本身背景的颜色(如，白色)相同或相近，因此干扰检测和去除单元102可以通过计算所获得的连通区域中的像素的平均像素值来确定擦除区域。例如，在白板本身背景色为白色的情况下，可以判断具有较高的平均像素值(其表示接近于白色的颜色)的连通区域为擦除区域。此外，在白板本身的背景色为其他颜色的情况下，干扰检测和去除单元102还可以将具有接近于该颜色的平均像素值的连通区域判断为擦除区域。

此外，干扰检测和去除单元102还从连通区域中排除写入区域。具体地，由于在白板上写入的内容通常与白板本身的边界具有一定的距离，而作为干扰的人体通常跨越白板的边界。因此，显然可以通过该连通区域中包含的备选干扰区域<i，j>是否与白板本身的边界(四个边缘)连接来确定该连通区域是否为写入区域。然而，本发明不限于此，由于白板上写入的内容与人体相比面积较小，因此还可以通过将面积较小的连通区域判断为写入区域。此外，由于在白板上写入的内容的笔画的宽度与人体相比很窄，因此，可以基于连通区域内的备选干扰区域的位置确定该连通区域的宽度，并且基于该宽度来确定该连通区域是否为写入区域。

在从所获得的连通区域中排除了擦除区域和写入区域之后，干扰检测和去除单元102将剩余的连通区域确定为存在干扰的区域，即干扰区域，并且在确定存在干扰区域的情况下，干扰检测和去除单元102确定当前的本地白板图像存在干扰。图4示出了干扰检测和去除单元102根据上述干扰检测处理检测出的干扰区域。如图4所示，图中的方块区域为干扰检测和去除单元102检测出的干扰区域，而该干扰区域是从干扰检测和去除单元102获得的备选干扰区域中排除擦除区域和写入区域而获得的。

然后，在干扰检测和去除单元102基于所检测出的干扰区域来进行干扰区域的去除操作。具体地，干扰检测和去除单元102可以利用已经去除了干扰的前一帧本地白板图像的对应区域来替换当前的本地白板图像中的干扰区域以去除干扰。然而，本发明不限于此，干扰检测和去除单元102还可以使用参考白板图像中的对应区域来替换当前的本地白板图像中的干扰区域。此外，干扰检测和去除单元102还可以白板的背景色来替换当前的本地白板图像中的干扰区域。

然后，白板图像处理单元103基于当前的本地白板图像的干扰检测结果判断是否需要产生本地白板差图像。在需要产生本地白板差图像的情况下，白板图像处理单元103基于所述干扰检测结果确定当前所述本地白板图像之前的目标白板图像，并且基于当前的本地白板图像以及目标白板图像获得本地白板差图像(即，本地减法)。

具体地，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像不存在干扰，而当前的本地白板图像的前一帧本地白板图像存在干扰，则白板图像处理单元103确定当前的本地白板图像作为用于后续的干扰检测的新参考白板图像，并且选择所确定的新参考白板图像的前一帧参考白板图像作为执行本地减法所需的目标白板图像。这样做是因为，如果当前的本地白板图像不存在干扰，并且当前的本地白板图像的前一帧本地白板图像存在干扰，则表示白板上已经不存在干扰(如，人离开白板等)，并且此时白板上的内容是最新的，从而适于作为后续检测的参考白板图像。此外，在这种情况下，通过将新确定的参考图像减去其前一帧参考图像可以获得准确的本地白板差图像(其消除了干扰检测可能出现的误差)。

此外，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像不存在干扰，且其前一帧本地白板图像也不存在干扰，则确定当前的本地白板图像不为用于后续的检测的新参考白板图像。这样做是因为：由于当前的本地白板图像及其前一帧本地白板图像都不存在干扰，因此可以确定用户不在信息处理设备10的白板附近，因此白板上的内容通常不会发生改变，并且当前的本地白板图像及其前一帧本地白板图像的内容实际上相同。在这种情况下，不需要重新确定新的参考白板图像，并且由于当前的本地白板图像及其前一帧本地白板图像的内容实际上相同，因此白板图像处理单元103确定不需要产生本地白板差图像。

另外，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像存在干扰，则在去除当前的本地白板图像中的干扰之后，确定当前的本地白板图像不为用于后续的干扰检测的参考白板图像，并且选择当前的本地白板图像的前一帧本地白板图像作为所述目标白板图像。在这种情况下，由于当前的本地白板图像存在干扰，因此其不能作为用于干扰检测的参考白板图像。此外，由于该当前的本地白板图像与其前一帧本地白板图像之间的变化最小，因此使用其前一帧本地白板图像作为本地减法所需要的目标白板图像可以有效地减少通过本地减法产生的本地白板差图像的数据量。这里，需要注意的是，上述前一帧本地白板图像为参考白板图像或去除了干扰的前一帧本地白板图像之一。

这里，需要注意的是，在刚刚开始进行视频会议并分享白板图像(第一帧本地白板图像)时，当前的本地白板图像不具有前一帧本地白板图像。此时，由于信息处理设备10处的白板上的内容通常为空，因此在开始进行视频会议并分享白板图像时，可以将第一帧本地白板图像用作参考图像。此外，信息处理设备10还可以预存一幅空白的本地白板图像以在开始进行视频会议并分享白板图像时将其用作第一帧参考白板图像。

在白板图像处理单元103基于干扰检测结果判断需要产生本地白板差图像并选择了目标白板图像之后，白板图像处理单元103基于当前的本地白板图像以及目标白板图像获得本地白板差图像。例如，在当前本地白板图像存在干扰的情况下，白板图像处理单元103从干扰去除了的当前的本地白板图像减去其前一帧本地白板图像以获得本地白板差图像。此外，在当前本地白板图像不存在干扰且其前一帧本地白板图像存在干扰的情况下，白板图像处理单元103从当前的本地白板图像(即，新确定的参考白板图像)中减去前一参考白板图像以获得本地白板差图像。这里，需要注意的是，由于白板图像之间的本地减法对于本领域技术人员来说是熟知的，因此这里省略了关于本地减法的过程的具体描述。

在白板图像处理单元103基于干扰检测结果，通过本地减法产生了本地白板差图像(即，与本地白板图像具有相同尺寸的白板差图像)之后，白板图像处理单元103可以直接对本地白板差图像进行编码，并且通过通信单元104向信息处理设备20发送所产生的本地白板差图像。此外，白板图像处理单元103还可以基于本地减法获得像素值发生改变的像素的位置及其改变的像素值来产生本地白板差图像，并且对仅包含发生了改变的像素的位置以及改变的像素值(像素差值)的本地白板差图像进行编码，并且通过通信单元104向信息处理设备20发送所产生的本地白板差图像以减少数据传输量。此外，白板图像处理单元103还可以基于本地减法获得包含像素值发生改变的像素的区域的位置以及该区域内的像素位置以及像素差值来产生本地白板差图像，并且对仅包含这些区域位置以及上述区域内的像素位置和像素差值的本地白板差图像进行编码，并且向信息处理设备20发送所产生的本地白板差图像。

另外，本发明不限于此，根据本发明的另一个实施例，图像处理单元103还可以将本地白板图像分为若干个区域，并逐区域地对当前的本地白板图像与目标白板图像进行本地减法。然后，如果通过进行本地减法确定当前的本地白板图像与目标白板图像中对应区域内的像素差值或对应区域内的像素均值的差值大于预定的阈值(基于经验设置)，则图像处理单元103将记录当前帧本地白板图像中包含像素值发生了改变的像素的区域的位置以及该区域的内像素的像素值。此外，如果通过进行本地减法确定当前的本地白板图像与目标白板图像中对应区域内的像素差值或对应区域内的像素均值的差值小于预定的阈值，则图像处理单元103将记录包含像素值未发生改变的像素的区域的位置以及表示该区域内像素值未发生改变的值(如，0)，从而产生本地白板差图像，并且对所产生的本地白板差图像进行编码，以通过通信单元104向信息处理设备20发送所产生的本地白板差图像。然而，例如，在用户在信息处理设备10的白板上写入黑色字符的情况下，在当前帧白板图像中，包含像素值发生了改变的像素的区域内的各个像素的像素值或像素均值可能为0(其通常表示黑色)，而这与表示其他区域内像素值未发生改变的值(如，0)冲突，从而在图像合成时导致误图像的产生。因此，根据本发明的一个实施例，还可以基于下面的公式(3)来获得本地白板差图像

$e_{(i,j)}=\left\{\begin{array}{cc}\min (25,c_{(i,j)}+1)& \left|d_{(i,j)}\right|>t_d\\ 0& \left|d_{(i,j)}\right|<t_d\end{array}\right.---\left(3\right)$

其中e_(i，j)表示本地白板差图像中的区域<i，j>中的像素的像素值，d(i，j)表示当前帧本地白板图像中的区域<i，j>与目标白板图像的对应区域之间的像素差值，c(i，j)表示当前帧本地白板图像中的区域<i，j>中的像素的像素值，t_d表示像素差值的阈值，并且可以基于经验值设置。

通过将包含像素值发生了改变的像素的区域内的各个像素的像素值位移预定的数值(如，1)以区分包含像素值发生了改变的像素的区域以及像素值未发生改变的区域。此外，由于表示颜色的最高值为255(即，白色)，因此，在像素值发生了改变的区域中的像素的像素值表示白色的情况下，通过利用公式(3)选择表示颜色的最高值(如，255)与像素值被位移后的像素值之间的最小值来避免像素值溢出(误图像)的情况。通过上述方式，可以有效地产生本地白板差图像，同时有效地避免了误差图像的产生。

另外，本发明不限于此，根据本发明的另一个实施例，图像处理单元103还可以将本地白板图像分为若干个区域，并逐区域地对当前的本地白板图像与目标白板图像进行本地减法。然后，如果通过进行本地减法确定当前的本地白板图像与目标白板图像中对应区域内的像素差值或对应区域内的像素均值的差值大于预定的阈值(基于经验设置)，则图像处理单元103将仅记录包含像素值发生了改变的像素的区域的位置以及该区域的内像素的像素值以产生本地白板差图像，并且对所产生的本地白板差图像进行编码，以通过通信单元104向信息处理设备20发送包含上述区域的位置以及该区域的内像素的像素值的本地白板差图像。

在上面描述了信息处理设备10产生本地白板差图像的情况。这里，信息处理设备10可以以预定的频率执行上述本地白板图像的产生、干扰检测和去除以及本地白板差图像的产生等处理。例如，信息处理设备10可以以1毫秒为周期执行上述操作。此外，信息处理设备10还可以基于预定的帧率(如，30FPS)执行上述操作。

接下来，将描述在位于信息处理设备10的远端信息处理设备20上合并白板差图像来形成白板图像的过程。

信息处理设备20获得来自信息处理设备10的白板差图像(即，信息处理设备10产生的本地白板差图像)，并且将来信息处理设备10的白板差图像与存储在信息处理设备20中的前一帧白板图像进行合并来产生当前帧白板图像。这里，需要注意的是，白板图像指的是由信息处理设备20处的摄像单元(未示出)获得的、投影在信息处理设备20处的白板上的白板图像，并且上述白板图像包括在信息处理设备20的本地产生的“本地白板图像”以及来自其它信息处理设备的“远程白板图像”。这里，需要说明的是，在信息处理设备20的本地产生的“本地白板图像”相对于信息处理设备10来说为远程白板图像，而信息处理设备10产生的本地白板差图像相对于信息处理设备20来说为“远程白板差图像”。

具体地，例如，如果在信息处理设备10产生并传送的本地白板差图像为具有原始尺寸的本地白板差图像，则信息处理设备20可以直接将信息处理设备10传送的本地白板差图像与信息处理设备20的前一帧白板图像进行合并(图像的加法运算)来产生当前帧的白板图像。此外，在信息处理设备10产生并传送的本地白板差图像仅包含发生了改变的像素(或包含变化的像素的区域)的位置以及改变的像素值(像素差值)的情况下，信息处理设备20可以基于像素(或包含变化的像素的区域)的位置、像素差值以及其前一帧白板图像来产生当前帧的白板图像。另外，根据本发明的另一个实施例，在信息处理设备10传送的本地白板差图像仅包含像素值发生了改变的像素的区域的位置以及该区域的内像素的像素值的情况下，信息处理设备20可以基于该区域的位置，利用该区域内的像素的像素值替换其前一帧白板图像中的对应区域中的像素的像素值来产生当前帧的白板图像。

这里，需要注意的是，在进行视频用户并分享白板的情况下，信息处理设备10与至少一个信息处理设备20实际上执行相同的操作，也就是对其本地的“本地白板图像”进行干扰检测，并且基于干扰检测的结果确定是否要产生白板差图像，并且向远端的信息处理设备发送所产生的白板差图像，并且通过图像组合来在信息处理设备10与至少一个信息处理设备20上形成相同的白板图像，从而实现分享各个信息处理设备的白板上的内容的目的。

如上所述，由于在用户进行视频会议并分享白板内容时，信息处理设备传送白板差图像，而不是整幅白板图像，因此能够大大减少数据传输量。因此，根据本发明实施例的信息处理设备不仅可以节约网络带宽，而且在网络质量较差且带宽较小的情况下，仍然能够流畅地分享各个信息处理设备处的白板的内容。

此外，通过对每个信息处理设备上的“本地白板图像”进行干扰检测和去除，有效地排除了用户对信息处理设备上的白板内容的干扰(如，人)，由此在进行视频会议的用户可以直观地看到所分享的白板内容，而不会看到由于干扰引起的错误显示。

接下来将参照图5描述根据本发明实施例的信息处理方法。图5是图解根据本发明实施例的信息处理方法的流程图。

如图5所示，在步骤S501，获得当前的本地白板图像。

具体地，本地白板图像获得单元101对摄像单元12拍摄的、由投影单元11投影到本地白板上的图像进行投影区域检测、梯形校正、随机噪声去除之类的预定处理产生白板图像。此时，本地白板图像获得单元101产生的白板图像包括信息处理设备10的本地白板图像(如，在白板上写入的内容)以及来自信息处理设备20的远程白板图像。同时，本地白板图像获得单元101通过通信单元104接收来自信息处理设备20的远程白板差图像。然后，本地白板图像获得单元101基于所存储的信息处理设备20的前一帧远程白板图像以及该远程白板差图像来产生当前帧的远程白板图像，并且通过从所产生的白板图像中减去信息处理设备20的当前帧远程白板图像来产生本地白板图像(远程减法)。

在步骤S502，对当前的本地白板图像进行干扰检测，并且在当前的本地白板图像存在干扰时，去除当前的本地白板图像中的干扰。

具体地，可以通过模式识别(图像识别)来实现干扰检测。例如，可以通过存储关于人体的各个部位的模型，并且通过任意的公知模式识别技术来识别出白板图像中的干扰(如，站在白板前的人)，并且在识别出存在干扰时，利用白板图像的背景色区域或白色区域替换存在干扰的区域来实现干扰的去除。

此外，根据本发明的另一个实施例，还可以通过确定本地白板图像相对于参考白板图像的变化区域作为备选干扰区域，从备选干扰区域中确定擦除区域以及写入区域，并且从备选干扰区域中排除该擦除区域以及写入区域以产生干扰区域。

具体地，例如，干扰检测和去除单元102将本地白板图像和参考白板图像分为若干个区域，并且逐区域地比较当前帧本地白板图像和参考白板图像的对应区域的变化。例如，干扰检测和去除单元102统计两幅图像中对应区域内的像素值的差的绝对值大于预定阈值的像素个数，并且将像素个数除以该区域内的像素总数以获得表示该区域内像素值发生变化的像素占总像素数的百分比(其指示区域的变化程度)。然后，基于区域的变化程度获得可能存在干扰的所有备选干扰区域的集合。

然后，干扰检测和去除单元102基于所有备选干扰区域的位置获得具有可能存在干扰的连通区域。然后，干扰检测和去除单元102排除独立的备选干扰区域，并且进一步从剩余的连通区域中排除写入区域和擦除区域以获得干扰区域。

例如，干扰检测和去除单元102可以将具有接近于信息处理设备10处的白板的背景颜色的平均像素值的连通区域判断为擦除区域。此外，干扰检测和去除单元102通过检测连通区域中包含的备选干扰区域是否与白板本身的边界(四个边缘)连接来确定该连通区域是否为写入区域。另外，干扰检测和去除单元102还可以通过将面积较小的连通区域判断为写入区域，或者基于连通区域内的备选干扰区域的位置确定该连通区域的宽度并基于该宽度来确定该连通区域是否为写入区域。

在去除干扰时，干扰检测和去除单元102利用已经去除了干扰的前一帧本地白板图像的对应区域来替换当前的本地白板图像中的干扰区域以去除干扰。此外，干扰检测和去除单元102还可以使用参考白板图像中的对应区域来替换当前的本地白板图像中的干扰区域。此外，干扰检测和去除单元102还可以白板的背景色来替换当前的本地白板图像中的干扰区域。这里，需要注意的是，由于在针对图2的信息处理设备10进行的描述中已经详细描述了执行干扰检测和去除的过程，因此，为了使说明书更加简明，这里省略了干扰检测和去除的部分重复描述。

在步骤S503，基于当前的本地白板图像的干扰检测结果判断是否需要产生本地白板差图像。

然后，如果需要产生本地白板差图像，则在步骤S504，基于干扰检测结果确定当前的本地白板图像之前的目标白板图像，并且基于当前的本地白板图像以及目标白板图像获得本地白板差图像。否则，操作返回到步骤S501。

具体地，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像不存在干扰，而当前的本地白板图像的前一帧本地白板图像存在干扰，则确定当前的本地白板图像作为用于后续的干扰检测的新参考白板图像，并且选择所确定的新参考白板图像的前一帧参考白板图像作为执行本地减法所需的目标白板图像。

此外，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像不存在干扰，且其前一帧本地白板图像也不存在干扰，则确定当前的本地白板图像不为用于后续的检测的新参考白板图像，并且确定不需要产生所述本地白板差图像。

另外，如果白板图像处理单元103基于干扰检测和去除单元102的检测结果，确定当前的本地白板图像存在干扰，则在去除当前的本地白板图像中的干扰之后，确定当前的干扰去除的本地白板图像不为用于后续的干扰检测的参考白板图像，并且选择该本地白板图像的前一帧本地白板图像作为所述目标白板图像。

然后，在需要产生本地白板差图像的情况下，白板图像处理单元103从当前的本地白板图像减去目标白板图像(本地减法)来获得本地白板差图像。

在步骤S505，向信息处理设备20传送本地白板差图像。

具体地，通信单元104将白板图像处理单元103产生的本地白板差图像发送到位于信息处理设备10的远端的信息处理设备20。

在上面以顺序方式描述了图5所示的信息处理方法，然而，本发明不限于此，只要能够得到所期望的结果，可以以与上述描述顺序不同的顺序(如，交换其中一些步骤的顺序)执行上述处理。此外，还可以以并行的方式执行其中的一些步骤。

在这里，已经描述了本发明的多个实施例，然而，需要注意的是，本发明的实施例可以采用整体硬件实施、整体软件实施或包含硬件和软件组合的方式实现。例如，在一些实施例中，可以通过在计算机系统中安装软件的方式来实施本发明的实施例，其包含(但不限于)固件、内置软件、微码等。此外，本发明采用可以由计算机或任何命令执行系统使用来执行根据本发明实施例的处理方法的计算机程序产品的形式，所述计算机程序产品存储在计算机可读介质中。计算机可读介质的实例包括半导体或固态存储器、磁带、可卸载计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘和光盘等。此外，在上述描述中，虽然以分立的方式描述了根据本发明实施例的信息处理设备10中的本地白板图像获得单元101、干扰检测和去除单元102、白板图像处理单元103，但是可以由单独的处理单元(如，中央处理器、微处理器等)基于预定的程序来实现本地白板图像获得单元101、干扰检测和去除单元102、白板图像处理单元103的功能。

如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。

Claims (10)

1.一种应用于信息处理设备的信息处理方法，所述信息处理设备与外部设备连接，所述信息处理方法包括：

获得当前的第一白板图像；

对当前所述第一白板图像进行干扰检测，并且在当前所述第一白板图像存在干扰时，去除当前所述第一白板图像中的干扰；以及

基于当前所述第一白板图像的干扰检测结果判断是否需要产生第一白板差图像，其中

如果需要产生第一白板差图像，则基于所述干扰检测结果确定当前所述第一白板图像之前的目标白板图像，基于当前的第一白板图像以及所述目标白板图像获得第一白板差图像，并且向所述外部设备传送所述第一白板差图像，并且，所述获得当前的第一白板图像进一步包括：

获得投影在本地白板上的第三白板图像；

接收来自所述外部设备的第二白板差图像；

基于所述第二白板差图像与存储在所述信息处理设备中的前一第二白板图像产生当前的第二白板图像；以及

通过从所述第三白板图像中减去所述第二白板图像来获得所述第一白板图像。

2.如权利要求1所述的信息处理方法，进一步包括：

确定所述第一白板差图像中包含差值的区域，并且获得与所述区域的位置对应的位置信息；以及

将所述区域以及所述位置信息发送到所述外部设备。

3.如权利要求1所述的信息处理方法，其中

如果检测到当前所述第一白板图像不存在干扰，且所述第一白板图像的前一第一白板图像存在干扰，则确定当前所述第一白板图像为参考白板图像，并且选择所述参考白板图像的前一参考白板图像作为所述目标白板图像；

如果检测到当前所述第一白板图像不存在干扰，且其前一第一白板图像也不存在干扰，则确定当前所述第一白板图像不为参考白板图像，并且确定不需要产生所述第一白板差图像；以及

如果检测到当前所述第一白板图像存在干扰，则去除当前所述第一白板图像中的干扰，确定当前所述第一白板图像不为参考白板图像，并且选择当前所述第一白板图像的前一第一白板图像作为所述目标白板图像。

4.如权利要求3所述的信息处理方法，其中所述干扰的检测进一步包括：

确定所述第一白板图像相对于所述参考白板图像的变化区域作为备选干扰区域；

从所述备选干扰区域中确定擦除区域以及写入区域；以及

从所述备选干扰区域中排除所述擦除区域以及写入区域以产生干扰区域。

5.如权利要求4所述的信息处理方法，其中所述干扰的去除进一步包括：

确定所述干扰区域在当前所述第一白板图像中的位置；

利用当前所述第一白板图像的前一第一白板图像中与所述干扰区域的位置对应的位置上的区域替换当前所述第一白板图像中的所述干扰区域，以去除所述干扰，

其中所述前一第一白板图像包括参考白板图像和干扰去除的第一白板图像之一。

6.如权利要求1所述的信息处理方法，进一步包括：

在所述外部设备上接收来自所述信息处理设备的第一白板差图像；以及

产生要投影到位于所述外部设备的白板上的第四白板图像，

其中通过将所述第一白板差图像与存储在所述外部设备中的前一第四白板图像进行合并以产生所述第四白板图像。

7.一种信息处理设备，包括：

第一白板图像获得单元，配置来获得当前的第一白板图像；

干扰检测和去除单元，配置来对当前所述第一白板图像进行干扰检测，并且在当前所述第一白板图像存在干扰时，去除所述干扰；

白板图像处理单元，配置来基于当前所述第一白板图像的干扰检测结果判断是否需要产生第一白板差图像，其中如果需要产生第一白板差图像，则所述白板图像处理单元基于所述干扰检测结果确定当前所述第一白板图像之前的目标白板图像，基于当前的第一白板图像以及所述目标白板图像获得第一白板差图像；以及

通信单元，配置来向外部设备传送所述第一白板差图像，

其中，所述第一白板图像获得单元进一步配置来：

获得投影在本地白板上的第三白板图像；

接收来自所述外部设备的第二白板差图像；

基于所述第二白板差图像与存储在所述信息处理设备中的前一第二白板图像产生当前的第二白板图像；以及

通过从所述第三白板图像中减去所述第二白板图像来获得所述第一白板图像。

8.如权利要求7所述的信息处理设备，其中白板图像处理单元还被配置来确定参考白板图像：

如果检测到当前所述第一白板图像不存在干扰，且所述第一白板图像的前一第一白板图像存在干扰，则确定当前所述第一白板图像为参考白板图像，并且选择所述参考白板图像的前一参考白板图像作为所述目标白板图像；如果检测到当前所述第一白板图像不存在干扰，且其前一第一白板图像也不存在干扰，则确定当前所述第一白板图像不为参考白板图像，并且确定不需要产生所述第一白板差图像；以及如果检测到当前所述第一白板图像存在干扰，则去除当前所述第一白板图像中的干扰，确定当前所述第一白板图像不为参考白板图像，并且选择当前所述第一白板图像的前一第一白板图像作为所述目标白板图像。

9.如权利要求8所述的信息处理设备，其中

干扰检测和去除单元确定所述第一白板图像相对于所述参考白板图像的变化区域作为备选干扰区域，从所述备选干扰区域中确定擦除区域以及写入区域，并且从所述备选干扰区域中排除所述擦除区域以及写入区域以产生干扰区域。

10.如权利要求9所述的信息处理设备，其中

干扰检测和去除单元确定所述干扰区域在当前所述第一白板图像中的位置，利用当前所述第一白板图像的前一第一白板图像中与所述干扰区域的位置对应的位置上的区域替换当前所述第一白板图像中的所述干扰区域，以去除所述干扰，

其中所述前一第一白板图像包括参考白板图像和干扰去除的第一白板图像之一。