CN106127826B - 一种用于投影交互系统的连通域标记方法 - Google Patents

Abstract

本发明涉及一种用于投影交互系统的连通域标记方法，与现有技术相比解决了连通域标记方法效率低下的缺陷。本发明包括以下步骤：第一帧图像的连通域标记，获取图像视频，对图像视频的第一帧图像的连通域进行标记，得到子行对应的标记图；获取新生像素和消失像素；基于消失连通域对前一帧图像进行标记结果的修正；基于新生连通域对当前帧图像进行标记结果的修正。本发明在处理连续帧图像时能够快速完成二值图像中连通域的标记功能。

Description

一种用于投影交互系统的连通域标记方法

技术领域

本发明涉及计算机视觉处理技术领域，具体来说是一种用于投影交互系统的连通域标记方法。

背景技术

人机交互技术是计算机科学中至关重要的一个领域，其发展历史基本上代表了计算机的发展历史。从最早的大型机上的笨拙的开关系统到早期键盘和鼠标的出现，以及当下非常流行的触摸屏，人机交互技术的发展速度日新月异。近年来，由于计算机视觉技术的飞速发展，以及新的传感器（比如深度相机Kinect、LeapMotion等）的出现，使得各种便捷式的人机交互方式层出不穷。

Kinect是微软开发的深度传感相机，通过精心设计的算法，能够感知到目标到相机的距离从而得到目标的深度信息。再结合目标的可见光图像，利用模式识别技术就能够识别出人体的姿态、手势等信息，从而起到一定的人机交互的作用。

但是，由于目前Kinect等深度相机在距离精度和空间分辨率上都明显不足，利用Kinect等深度相机直接与计算机进行交互并不能达到进行精细操作的目的，不能直接在利用投影仪投射在墙壁上的显示区域内进行便捷而灵敏的操作，尤其是双击这种对空间精度和时间精度要求较高的操作。

利用光笔和摄像头组合形成的系统，对投影图像进行操作，从而达到操控计算机的目的。为了获取当前手指或者光笔所在的位置，需要对摄像机捕获的图像进行分析，从中提取前景像素，并且进行连通域分析，从而完成手指或光笔的检测和定位。

传统的连通域标记方法，都是针对单帧图像进行的。在利用摄像机进行实时检测时，相邻两帧图像之间的差异其实很小，如果每一帧图像都完全重新标记，则需要进行大量的重复计算，效率不高，对投影系统的流畅性影响很大。

发明内容

本发明的目的是为了解决现有技术中连通域标记方法效率低下的缺陷，提供一种用于投影交互系统的连通域标记方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于投影交互系统的连通域标记方法，包括以下步骤：

第一帧图像的连通域标记，获取图像视频，对图像视频的第一帧图像的连通域进行标记，得到子行对应的标记图；

获取新生像素和消失像素，将当前帧图像与前一帧图像使用帧差法计算，得到两者的帧差图，在帧差图上找出消失像素和新生像素；消失像素的定义为单个像素同一位置，前一帧图像为前景、当前帧图像为背景；新生像素的定义为单个像素同一位置，前一帧图像为背景、当前帧图像为前景；

基于消失连通域对前一帧图像进行标记结果的修正，由消失像素组成消失连通域，通过对消失连通域中子行的处理，对前一帧图像标记结果进行修正，将消失像素的影响融入到当前帧图像的标记结果中；

基于新生连通域对当前帧图像进行标记结果的修正，由新生像素组成新生连通域，通过对新生连通域中子行的处理，对已融合消失连通域的当前帧图像进行标记结果的修正。

所述的基于消失连通域对前一帧图像进行标记结果的修正包括以下步骤：

对消失连通域进行子行扫描，得到消失子行的信息；

基于消失子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

若消失子行仅与前一帧图像的一个子行在两端重叠，则修改前一帧图像子行的起点和终点位置；其中，如果在前一帧子行的起点位置发生重叠，则将起点位置修改为消失子行右端的右边一个位置；如果在前一帧子行的终点发生重叠，则将前一帧子行的终点位置修改为消失子行左端的左边一个位置；

检查修改后的子行在前一帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正方法为重新检查原来与该子行连接的其他子行，观察它们之前是否依然存在连接关系，如果不存在，则删除连线；

若消失子行仅与前一帧图像的一个子行在中间重叠，将前一帧图像子行基于重叠位置拆分成两个子行，然后判断前一帧图像中连接关系的变化，对前一帧图像的内容进行相应修正，其修正分析为与消失子行发生重叠的这个子行的所有连接子行，观察这些连接子行与两个新的子行的连接关系，如果不再连接，则在图中删除连线；

若消失子行仅与前一帧图像的一个子行完全重叠，此时前一帧图像的原有子行完全消失，从图中去除该节点且去除其相应连接关系。

所述的基于新生连通域对当前帧图像进行标记结果的修正包括以下步骤：

对新生连通域进行子行扫描，得到新生子行的信息；

基于新生子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

若新生子行仅与前一帧图像的一个子行在两端相接，修改前一帧图像子行的起点和终点位置；检查修改后的子行，在当前帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正的方法为若新生的子行与周边的一个原来不连接的子行变成连接了，则在图中添加连线；

若新生子行仅与前一帧图像的两个子行相接，将前一帧图像的两个子行与新生子行合并成一个子行；判断当前帧图像中连接关系的变化，对图的内容进行相应修正，其修正方法为分析这个新合并的子行，是否出现了原来不存在连接关系的子行现在变得连接，则在图中添加新的连线；

若新生子行未与原标记图的任何子行相接，新生子行则为新出现的子行，为新生子行建立新的图，并且将新的子行加入到该图中。

有益效果

本发明的一种用于投影交互系统的连通域标记方法，与现有技术相比在处理连续帧图像时能够快速完成二值图像中连通域的标记功能。本发明在进行连续帧图像标记时速度较快，其利用当前帧图像与前一帧图像的帧差图以及上一帧图像中的标记结果来得到当前图的标记结果，因为去掉了传统的重复计算过程，使得运算量大规模降低。

附图说明

图1为本发明的方法流程图；

图2为第一帧前景图像；

图3为图2的连通域标记示意图；

图4为图2的子行示意图；

图5为图4的子行标记示意图；

图6为图5的第二行扫描结束后的子行对应的关系图；

图7为图5的第三行扫描结束后的子行对应的关系图；

图8为图5的第四行扫描结束后的子行对应的关系图；

图9为当前帧图像；

图10为图2与图9的帧差图；

图11为图10的扫描分析图；

图12为图11扫描消失像素后的子行关系图；

图13为图12修改后的子行关系图；

图14为图11扫描新像素后的子行关系图；

图15为图14修改后的子行关系图；

图16为图15修改后的子行关系图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种用于投影交互系统的连通域标记方法，包括以下步骤：

第一步，第一帧图像的连通域标记。获取图像视频，利用现有技术对图像视频的第一帧图像的连通域进行标记，得到子行对应的标记图。

连通域标记为图像中每一个连通域（彼此相连的前景像素块）分配一个不同的整数标号（如：1,2,3，...），保证不同的连通域标号不一样，而同一个连通域中的每个像素的标号一致。针对于如图2所示的，第一帧图像而言，如图3所示，其连通域标记为每个不同的孤立区域，都被标记了不同的标识。

子行是构成连通域的基本单位。子行的表达形式为[A:B:C,D]，其中A表示子行的序号，全图唯一。B表示子行所在的行号。C和D分别表示子行的起点和终点横坐标，就是列号。如图4所示，第一行中的5个网格线标记的像素，彼此相连，构成一个子行。图4中的网格线标记的像素子行，表达为[0:0:1,5]。

基于子行和图的连通域标记方法示例如下：图4是所有子行的标记结果，在每个子行的第一个像素内标记子行序号。第一行扫描得到两个子行：[0:0:1,5]和:[1:0:9,12]。第二行扫描得到两个新的子行：[2:1:5,6]和[3:1:8,9]。此时连通域对应关系如图6所示。此时总共有两个连通域，对应两个图（关系图）。

第三行扫描得到三个新的子行：[4:2:1,3]、[5:2:6,7]和[6:2:13,13]。由于子行5与子行2和子行3相接，因此关系图如图7所示。此时总共有三个连通域，对应三个图。

第四行扫描得到四个子行：[7:3:0,0]、[8:3:3,4]、[9:3:9,9]和[10:3:12,12]。子行7、8与子行4相接，子行10与子行6相接。此时的关系图如图8所示。此时总共有四个连通域，对应四个图。

第二步，获取新生像素和消失像素。将当前帧图像与前一帧图像使用帧差法计算，得到两者的帧差图，在帧差图上找出消失像素和新生像素。消失像素的定义为单个像素同一位置，前一帧图像为前景、当前帧图像为背景；新生像素的定义为单个像素同一位置，前一帧图像为背景、当前帧图像为前景。消失像素和新生像素的计算是分别进行的，并且分别进行新生连通域的标记和和消失连通域的标记。

如图9所示，图9为当前帧的前景图像。利用图2和图9，可以计算帧差图。如图10中的水平线像素所示，其就是消失的像素。第一行的水平线像素导致子行0变短，第三行的水平线像素导致连通域断裂为两部分，第四行的水平线像素导致子行或者连通域消失。如图10中的垂直线像素所示，其为新出现的像素。第一行的垂直线像素导致子行1边长，第二行垂直线像素导致两个连通域融合为一个，第三行垂直线像素导致连通域中出现一个新的子行，第四行垂直线像素导致出现新的连通域。

第三步，基于消失连通域对前一帧图像进行标记结果的修正。由消失像素组成消失连通域，通过对消失连通域中子行的处理，对前一帧图像标记结果进行修正，将消失像素的影响融入到当前帧图像的标记结果中。消失连通域是指在帧差图中，由消失像素构成的连通域。消失连通域对上一帧的标记结果是有影响的，它们可能造成原来连通域的变化、断裂或者消失。通过对消失连通域中子行的处理，可以将消失像素的影响融入到标记结果中。其具体步骤如下：

（1）对消失连通域进行子行扫描，得到消失子行的信息。

（2）基于消失子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

A、若消失子行仅与前一帧图像的一个子行在两端重叠，则修改前一帧图像子行的起点和终点位置；其中，如果在前一帧子行的起点位置发生重叠，则将起点位置修改为消失子行右端的右边一个位置；如果在前一帧子行的终点发生重叠，则将前一帧子行的终点位置修改为消失子行左端的左边一个位置。

检查修改后的子行在前一帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正方法为重新检查原来与该子行连接的其他子行，观察它们之前是否依然存在连接关系，如果不存在，则删除连线。

B、若消失子行仅与前一帧图像的一个子行在中间重叠，将前一帧图像子行基于重叠位置拆分成两个子行，然后判断前一帧图像中连接关系的变化，对前一帧图像的内容进行相应修正，其修正分析为与消失子行发生重叠的这个子行的所有连接子行，观察这些连接子行与两个新的子行的连接关系，如果不再连接，则在图中删除连线。

C、若消失子行仅与前一帧图像的一个子行完全重叠，此时前一帧图像的原有子行完全消失，从图中去除该节点且去除其相应连接关系。

如图11所示，扫描第0行的消失像素，得到子行[11:0:1,1]。分析上一帧结果中所有位于第0行与第1行的子行，发现子行11与子行0有重叠部分，于是修改子行0的起点位置为：[0:0:2,5]，图（子行关系图）的关系保持不变。子行11不加入图中。扫描第2行的消失像素，得到子行[12:2:7,7]。分析其与1,2,3行中原有子行的相接关系，发现子行12与子行5有重叠，与子行2和子行3相接。子行12会导致子行5的缩短，并且导致子行5与子行3的连接中断。此时需要修改原关系图中子行5的终点位置[5:2:6,6]，并且去掉子行5与子行3之间的连接线。如图12所示。此时总共是5个连通域。扫描第3行的消失像素，得到子行[13:3:1,1]和[14:3:9,9]。分析子行13与2,3行中的原有子行的相接关系，发现其与原子行7完全重叠，并且与子行4相接。此时需要从关系图中去掉子行7及其与子行4的连接。分析子行14，发现其与子行9完全重叠，导致子行9完全消失。此时需要从关系图中将子行9去掉。如图13所示。此时总共有4个连通域。

第四步，基于新生连通域对当前帧图像进行标记结果的修正。由新生像素组成新生连通域，通过对新生连通域中子行的处理，对已融合消失连通域的当前帧图像进行标记结果的修正。新生连通域是指在帧差图中，由新生像素构成的连通域。新生连通域对上一帧的标记结果是有影响的，它们可能造成原来连通域的变化、粘连或者新生。通过对新生连通域中子行的处理，可以将新生像素的影响融入到标记结果中。其具体步骤如下：

（1）对新生连通域进行子行扫描，得到新生子行的信息。

（2）基于新生子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

A、若新生子行仅与前一帧图像的一个子行在两端相接，修改前一帧图像子行的起点和终点位置。检查修改后的子行，在当前帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正的方法为若新生的子行与周边的一个原来不连接的子行变成连接了，则在图中添加连线。

B、若新生子行仅与前一帧图像的两个子行相接，将前一帧图像的两个子行与新生子行合并成一个子行。判断当前帧图像中连接关系的变化，对图的内容进行相应修正，其修正方法为分析这个新合并的子行，是否出现了原来不存在连接关系的子行现在变得连接，则在图中添加新的连线。

C、若新生子行未与原标记图的任何子行相接，新生子行则为新出现的子行，为新生子行建立新的图，并且将新的子行加入到该图中。

如图11为例，新出现像素的处理细节：扫描第0行，得到子行[15:0:8,8]，此时需要修改原子行1的起点：[1:0:8,12]。扫描第1行，得到子行[16:1:3,3]，分析发现该子行为新出现的子行，并且与原子行0和子行4相接，导致两个连通域融合为一个，此时需要在原关系图中增加新的结点和连接，并且将两个图连接起来。如图14所示。

扫描第2行，得到子行[17:2:11,11]，这是新的子行，并且与子行10相接，因此需要加入到子行10所在的连通域，如图15所示。

扫描第3行，得到子行[18:3:9,9]，分析发现这是新出现的子行，并且不与任何子行相接，是新的连通域。最终结果如图16所示。此时总共4个连通域。至此，最终的标记结果可以通过遍历图得到。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (3)

1.一种用于投影交互系统的连通域标记方法，其特征在于，包括以下步骤：

11）第一帧图像的连通域标记： 获取图像视频，对图像视频的第一帧图像的连通域进行标记，得到子行对应的标记图；

12）获取新生像素和消失像素： 将当前帧图像与前一帧图像使用帧差法计算，得到两者的帧差图，在帧差图上找出消失像素和新生像素；消失像素的定义为单个像素同一位置，前一帧图像为前景、当前帧图像为背景；新生像素的定义为单个像素同一位置，前一帧图像为背景、当前帧图像为前景；

13）基于消失连通域对前一帧图像进行标记结果的修正： 由消失像素组成消失连通域，通过对消失连通域中子行的处理，对前一帧图像标记结果进行修正，将消失像素的影响融入到当前帧图像的标记结果中；

14）基于新生连通域对当前帧图像进行标记结果的修正： 由新生像素组成新生连通域，通过对新生连通域中子行的处理，对已融合消失连通域的当前帧图像进行标记结果的修正。

2.根据权利要求1所述的一种用于投影交互系统的连通域标记方法，其特征在于：所述的基于消失连通域对前一帧图像进行标记结果的修正包括以下步骤：

21）对消失连通域进行子行扫描，得到消失子行的信息；

22）基于消失子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

221）若消失子行仅与前一帧图像的一个子行在两端重叠，则修改前一帧图像子行的起点和终点位置；其中，如果在前一帧子行的起点位置发生重叠，则将起点位置修改为消失子行右端的右边一个位置；如果在前一帧子行的终点发生重叠，则将前一帧子行的终点位置修改为消失子行左端的左边一个位置；

检查修改后的子行在前一帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正方法为重新检查原来与该子行连接的其他子行，观察它们之前是否依然存在连接关系，如果不存在，则删除连线；

222）若消失子行仅与前一帧图像的一个子行在中间重叠，将前一帧图像子行基于重叠位置拆分成两个子行，然后判断前一帧图像中连接关系的变化，对前一帧图像的内容进行相应修正，其修正分析为与消失子行发生重叠的这个子行的所有连接子行，观察这些连接子行与两个新的子行的连接关系，如果不再连接，则在图中删除连线；

223）若消失子行仅与前一帧图像的一个子行完全重叠，此时前一帧图像的原有子行完全消失，从图中去除节点且去除其相应连接关系。

3.根据权利要求1所述的一种用于投影交互系统的连通域标记方法，其特征在于：所述的基于新生连通域对当前帧图像进行标记结果的修正包括以下步骤：

31）对新生连通域进行子行扫描，得到新生子行的信息；

32）基于新生子行在前一帧图像中定位到其所在行，分析前一帧图像子行的位置关系，对上一帧的子行进行修改或对其所在的图进行连接关系的修改，具体修改方法如下：

321）若新生子行仅与前一帧图像的一个子行在两端相接，修改前一帧图像子行的起点和终点位置；检查修改后的子行，在当前帧图像中与其他子行的连接关系是否发生改变，根据情况进行相应修正，其修正的方法为若新生的子行与周边的一个原来不连接的子行变成连接了，则在图中添加连线；

322）若新生子行仅与前一帧图像的两个子行相接，将前一帧图像的两个子行与新生子行合并成一个子行；判断当前帧图像中连接关系的变化，对图的内容进行相应修正，其修正方法为分析这个新合并的子行，是否出现了原来不存在连接关系的子行现在变得连接，则在图中添加新的连线；

323）若新生子行未与原标记图的任何子行相接，新生子行则为新出现的子行，为新生子行建立新的图，并且将新的子行加入到该图中。