CN102103752B

CN102103752B - 一种人机交互中多色标块检测方法

Info

Publication number: CN102103752B
Application number: CN2010105612222A
Authority: CN
Inventors: 方路平; 曹平; 魏渊洁
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Rizhao Oriental Daily Products Co ltd; Shenzhen Chengze Information Technology Co ltd
Priority date: 2010-11-26
Filing date: 2010-11-26
Publication date: 2012-07-04
Anticipated expiration: 2030-11-26
Also published as: CN102103752A

Abstract

一种人机交互中多色标块检测方法，在手上佩戴色标指示块，包括如下步骤：（1）每一次人机交互发生时，采集色标指示块所在区域的图像，利用帧间的相似性确定背景帧；（2）根据当前帧和背景帧的差分对图像进行分割，分离出背景区域中的前景区域，前景区域为运动区域；（3）在Lab颜色空间中，采用凸包算法把运动区域提取出来，并根据凸包中有序点进行均匀采样，根据采样结果再加上色标指示块本身的特征确定种子点；采用基于最小错误率的贝叶斯决策作为生长准则进行生长，定位得到色标指示块。本发明能适应复杂光照条件和背景条件、满足实时性要求、具备良好的鲁棒性。

Description

一种人机交互中多色标块检测方法

技术领域

本发明涉及计算机视觉领域，尤其是一种基于视频的人机交互系统中的基于色标块的交互手段。

背景技术

人机交互主要研究人、计算机以及彼此相互影响的有关技术。从计算机诞生到现在，人机交互的方式经历了以下的变化：最初并没有真正的交互模式－－数据通过开关或穿孔卡输入到计算机中，然后过一段时间后又通过穿孔卡输出结果；直到六十年代，才开始有了命令行界面的交互方式，最初采用电传打字机终端，后来用电子键盘和文本监视器；到七十年代和八十年代，图形用户界面以及和它关联的桌面开始被采用；现在研究的也是下一代的主导人机界面－－感知界面是以自然交互为基础的，所谓自然交互，就是他能够满足沉浸式环境中的不同风格，譬如3D界面，触摸式界面，有感觉计算和多重模式界面等。在感知界面领域，计算机视觉的主要任务是检测和识别对于交流有意义的视觉信息，也就是说观察用户并报告他们的位置、表情、手势以及姿态等。这里用特定的色标块作为人机交互的手段，通过色标块的检测和跟踪得到它们的位置信息进行交互，本专利就是基于这样的一个人机交互系统所发明的一种色标块的检测方法。

目标检测是计算机视觉领域中的一个重要领域，其主要工作就是从动态场景的视频序列图像中检测出感兴趣的运动目标。传统的颜色目标检测应用最多的是颜色阈值向量的方法，该方法没有去除光照条件和背景的干扰导致的颜色像素值发生的偏移情况。

发明内容

为了改善人机交互方式并克服传统颜色阈值向量的色标块检测方法，本发明提供一种能适应复杂光照条件和背景条件、满足实时性要求、具备良好的鲁棒性的色标指示块检测方法。

本发明解决其技术问题所采用的技术方案是：

一种人机交互中的多色标块检测方法，在手上佩戴色标指示块，所述方法包括如下步骤：

（1）每一次人机交互发生时，采集色标指示块所在区域的图像，利用帧间的相似性确定背景帧；

（2）根据当前帧和背景帧的差分对图像进行分割，分离出背景区域中的前景区域，所述前景区域为运动区域；

（3）在Lab颜色空间中，采用凸包算法把运动区域提取出来，并根据凸包中有序点进行均匀采样，根据采样结果再加上色标指示块本身的特征确定种子点；

采用基于最小错误率的贝叶斯决策作为生长准则进行生长，定位得到色标指示块目标位置。

进一步，所述步骤（2）中，将差分后的图像采用最大类间方差法得到前景图像，所述前景图像进行二值化处理，并通过图像腐蚀运算去噪。

再进一步，所述步骤（1）中，色标指示块进入摄像范围时摄像头处于静止状态，通过帧间标志区域的匹配确定本次的背景帧。

更进一步，所述步骤（3）中，利用红蓝黄绿四种颜色在Lab颜色空间中的特性：通道a对红绿敏感，通道b对黄蓝敏感，在通道a中对红蓝指示块处理，在通道b中对黄绿指示块处理；并对指示块的不同颜色阈值赋予不同的概率权值；

结合色标指示块在运动区域中的特征和概率权值计算采样点能成为种子点的概率，选取概率最大的采样点为种子点。

所述步骤（3）中，将二值化图像进行sobel边缘检测，采用Graham扫描法，通过设置一个关于候选点的堆栈S来解决凸包问题。

Graham扫描法是从已知的所有点中先找出一个最右下的点，这点肯定是在凸包上的，然后以这点为起点，将所有点根据与这点的斜率排序，然后依次遍历所有点，如果新加入的点是在原方向上向右拐的，就把前一个点去掉（注意是前一个点，而且这一部是循环执行的）。当遍历完所有点后，还在栈中的点就是凸包上的点了，而且依次出栈可以得到从起点开始顺时针旋转的所有凸包上的点。

所述步骤（3）中，均匀采样的过程如下：先确定凸包点中横坐标最大和最小的两点，根据这两点把凸包分成上下两部分，位于这两点直线上方的点属于上半部分，下方的点属于下半部分，在上半部分和下半部分的点所形成的轨迹中都从横坐标最小的点开始，每间隔横坐标10个像素点取点作为采样直线的起点和终点进行采样，一直到横坐标最大的点为止停止采样。

本发明的技术构思为：为了更快更准确地进行人机交互，可以通过在手上戴上色标指示块的方法帮助计算机处理。本发明所涉及的色标指示块的检测方法可以应用于基于视频的人机交互接口或系统。

本发明的有益效果主要表现在：该方法克服了复杂背景和光照条件的影响，能够实时地精确地定位出色标指示块，具有良好的鲁棒性。

附图说明

图1是原始图像的示意图。

图2是差分处理后图像示意图。

图3是二值化处理后图像示意图。

图4是闭运算处理后图像示意图。

图5是边缘化处理后图像示意图。

图6是凸包处理后图像示意图。

图7是采样处理后的图像示意图。

图8是识别结果的示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种人机交互中的多色标块检测方法，在手上佩戴色标指示块，所述色标指示块的颜色采用Lab颜色空间表示，所述手势识别方法包括如下步骤：

所述步骤（2）中，将差分后的图像采用最大类间方差法得到前景图像，所述前景图像进行二值化处理，并通过图像腐蚀运算去噪。

所述步骤（1）中，色标指示块进入摄像范围时摄像头处于静止状态，通过帧间标志区域的匹配确定本次的背景帧。

所述步骤（3）中，利用红蓝黄绿四种颜色在Lab颜色空间中的特性：通道a对红绿敏感，通道b对黄蓝敏感，在通道a中对红蓝指示块处理，在通道b中对黄绿指示块处理；并对指示块的不同颜色阈值赋予不同的概率权值；

本实施例的具体处理过程为：

在人机交互系统中，获得的彩色图像是用RGB颜色空间表示的，然而在图像处理时，RGB并不合适，因为它对所有色彩都用等长像素点的R、G、B三色加以合成，他们之间相互关联，不利于处理。为了更好地更快速地处理，我们把RGB空间转化为Lab空间，其中L表示心理明度，a、b为心理色度，反映到坐标系统中，+a表示红色，-a表示绿色，+b表示黄色，-b表示蓝色，颜色的明度由L的百分数来表示，其取值从0~100。a通道对红绿两种颜色特别敏感，b通道对黄蓝两种颜色特别敏感，色标指示块的颜色是根据这个来选取的。

利用差分法确定运动区域，必须先得到背景图像，由于人机交互场景不定，每次应用都不一样，所以一开始就认为确定背景图像肯定不可能。在人机交互中，只要一开始检测到色标指示块，后续的识别和跟踪就可以根据本次得到的结果来进行，所以检测只发生在最初的时候，在每一次应用时色标指示块移入摄像范围，摄像头会有一个相对静止的状态（轻微晃动），只要我们检测到这个状态就可以认为这帧可能成为背景图像。

在取得了背景图像后就可以应用差分法检测出运动区域，再用图像腐蚀去除噪声点。在得到运动区域后，由于色标指示块是一整块一整块的，所以用区域生长是最好的方法，但是区域生长中种子和生长准则的确定是关于这个方法成败的决定因素。我们采用在凸包中采样，并结合权值概率和色标块本身在运动区域中的特征来计算种子，这样得到的种子比较少而且基本覆盖所需要的种子。用基于最小错误率的贝叶斯决策作为生长准则，可以精确地进行划分是否是色标块点，使结果更精确。

运动区域检测过程如下：

1）背景图像确定：为了检测一开始的摄像头的状态，在图像中选取三个

Figure 2010105612222100002DEST_PATH_IMAGE001

区域，然后在间隔5帧做一次像素差值，并设定阈值，若差值大于t则认为这个像素点发生了变化。若一块区域中的点的85%没发生变化就认为这一区域没变，这样如果三块都没变则认为摄像头处于静止状态。设定{

Figure 2010105612222100002DEST_PATH_IMAGE002

}表示第k帧图像在

Figure 2010105612222100002DEST_PATH_IMAGE003

点的通道L中的值

Figure 2010105612222100002DEST_PATH_IMAGE005

（2.1）

式中“0”表示该像素发生了变化，“1”表示没发生变化，对整个区域求和：

Figure 2010105612222100002DEST_PATH_IMAGE006

（2.2）

式中v代表图像中的三块区域中的其中一块，

Figure 2010105612222100002DEST_PATH_IMAGE007

代表这一块中的左上角的坐标。

（2.3）

则满足条件，如果三块特征区域都满足就可以判定摄像头状态静止。

2）运动区域确定：选定背景图像后经过帧间差分、最大类间方差法和图像腐蚀可以得到运动区域。

帧间差分：假设第k帧为背景帧，则当前帧为k+i帧，差分后得到的图像为

Figure 2010105612222100002DEST_PATH_IMAGE009

：

（2.4）

该算法实现简单，运算速度快，能够提取相对完整的目标位置。

最大类间方差法：利用固定阈值法很容易将部分目标错判为背景，将部分背景错判为目标。最大类间方差法，最早由日本人大津提出，该方法是基于图像的灰度直方图，选取目标和背景的类间方差最大值作为阈值，根据图像的灰度特征，将图像分成目标和背景两个部分。目标和背景之间的类间方差越大，说明这两部分的差别越大。这里用Lab空间的L通道取代灰度通道。

假设图像的大小为

，平均L值为

Figure 2010105612222100002DEST_PATH_IMAGE013

，类间方差为g。目标像素点的平均L值为，且目标像素点与全部像素点的比例为

Figure 2010105612222100002DEST_PATH_IMAGE015

；背景像素点的平均灰度值为

，且背景像素点与全部像素点的比例为

Figure 2010105612222100002DEST_PATH_IMAGE017

；目标与背景的分割阈值为T，统计图像中的像素点的灰度值，将大于阈值T的像素个数记为

，小于阈值T的像素个数记为，则得到：

（2.5）

Figure 2010105612222100002DEST_PATH_IMAGE021

（2.6）

（2.7）

Figure 2010105612222100002DEST_PATH_IMAGE023

（2.8）

（2.9）

Figure 2010105612222100002DEST_PATH_IMAGE025

（2.10）

将式（2.9）代入式（2.10），得到等价公式（2.11）：

（2.11）

通过遍历的方法求得使类间方差g最大的阈值T。随着图像背景的变化，该算法可以自适应地得到检测阈值。

在得到前景图像的二值化图像后，通过图像腐蚀去除噪声点，得到运动区域。

图1是原始图像，图2是差分图像，图3是基于最大类间方差的阈值分割后的二值化图像，图像除了运动区域以外，还存在噪声点，则对图像进行数学形态学的开，闭运算，以去除图像中的噪声点，图4为经过闭运算后的二值化图。

色标指示块检测过程为：色标指示块的检测是在运动区域中使用区域生长来完成。区域生长方法中核心的两个环节是：（1）种子的选取方法；（2）生长准则的判定方法。

种子提取：在不同的背景中，运动区域分割的效果差别很大，而色标指示块是位于运动区域中的，所以被提取运动区域可以扩大些但绝不能缩小，不然目标就有可能被丢失，因而凸包是一个很好的选择。同时为了加快计算凸包的速度，在二值化图像中先做一个sobel边缘检测以减少凸包计算的点，在此基础上再进行凸包的划分。采用的是Graham扫描法，通过设置一个关于候选点的堆栈S来解决凸包问题。图5为边缘检测图像，图6为凸包检测图像。

得到凸包后，根据凸包点对运动区域扫描采样，确定种子点。具体采样过程如下所述：先确定凸包点中横坐标最大和最小的两点。根据这两点把凸包分成上下两部分（位于这两点直线上方的点属于上半部分，下方的点属于下半部分），在上半部分和下半部分的点所形成的轨迹中都从横坐标最小的点开始，每间隔横坐标10个像素点取点作为采样直线的起点和终点进行采样，一直到横坐标最大的点为止停止采样。对于求得凸包采样后的样本点的点集结果见图7。

在Lab色彩空间中，通道a、b为色度。a对红绿敏感，b对黄蓝敏感，在a、b的值落在0~255区间上时，红色、绿色在a通道，黄色、蓝色在b通道都有一定的阈值范围，但是受到光照条件和背景环境的影响，阈值会发生偏移，本实施例在各种背景和光照条件下的大量实验的基础上，通过统计提出了关于指示色标块颜色阈值的概率权值赋值公式。表1~4分别为红色、绿色、黄色、蓝色的概率权值赋值公式。

表1 表示通道像素值x（红色）概率权值赋值公式：

Figure 2010105612222100002DEST_PATH_IMAGE027

表2表示通道像素值x（绿色）概率权值赋值公式：

表3表示通道像素值x（黄色）概率权值赋值公式：

Figure 2010105612222100002DEST_PATH_IMAGE029

表4表示通道像素值x（蓝色）概率权值赋值公式：

在运动区域中，属于指示色标块的采样点比重很少，大部分采样点都是属于手肤色的采样点。所以把0~255依次分成51个区间，然后把样本点分别入号对座，那么样本数很大的区间和样本数为零的区间就不可能是采样点了，而剩下的点是指示色标块的点的概率就非常大了。本实施例采样搜索时采用10×10的采样路径，而区间样本的阈值是5个采样点，大于5就可判定不属于指示色标块中的点，因而不是种子点。在剩余的点集中，结合表1的权值计算聚类中心，最后确定种子点。

在a通道中0~127表示红色，128~255表示绿色，b通道中0~127表示黄色，128~255表示蓝色。以红色指示块为例，其对应的种子点地搜索步骤：

1) 在a通道0~127中找出样本数小于5的区间；

2) 根据表[1]权值为在步骤-1中找到的点赋予权值；

3) 根据这些赋予权值的点计算得到聚类的中心点；

4) 根据与聚类中心点的差值对样本点进行排序；

5) 在这些排序的点中依次为种子点进行区域生长，一旦找到满足条件的区域后后续点就不再进行区域生长。如果该区域具有一定面积和形状，则为红色指示块。

区域生长：用基于最小错误率的贝叶斯分类决策作为区域生长准则。在取得种子点在a通道或者b通道生长时，设符合生长准则的为类别

Figure 2010105612222100002DEST_PATH_IMAGE031

，不符合的为类别

，则对于任一个像素x，p（x/

）是

类状态下x的类条件概率密度，p（x/

）是

类状态下x的类条件概率密度，

p（

）、p（

）分别是生长像素和不生长像素的先验概率，经过大量的实验后统计得到当前种子在a通道或b通道中的像素值为m时，先验概率见表5。

表5先验概率表

Figure 2010105612222100002DEST_PATH_IMAGE033

则基于最小错误率的贝叶斯决策规则为：

如果

则

Figure 2010105612222100002DEST_PATH_IMAGE035

（3.1）

用正态分布来求得条件概率密度分布，则：

（3.2）

根据上一步的采样和聚类结果，μ_i 、σ_i分别是聚类中心的像素值和排序点的方差。

则贝叶斯决策等价于：

如果

Figure 2010105612222100002DEST_PATH_IMAGE037

则

（3.3）

当x

时符合生长准则进行生长，当x

不符合就不生长。基于最小错误率的贝叶斯决策的生长准则结果见图8。应用贝叶斯决策可以使检测的效果更精确，扩大和缩小检测指示色标块的情况明显降低。

Claims

1.一种人机交互中多色标块检测方法，其特征在于：在手上佩戴色标指示块，所述色标指示块的颜色采用Lab颜色空间表示，所述方法包括如下步骤：

(1)每一次人机交互发生时，采集色标指示块所在区域的图像，利用帧间的相似性确定背景帧；

(2)根据当前帧和背景帧的差分对图像进行分割，分离出背景区域中的前景区域，所述前景区域为运动区域；将差分后的图像采用最大类间方差法得到前景图像，所述前景图像进行二值化处理，并通过图像腐蚀运算去噪；

(3)在Lab颜色空间中，采用凸包算法把运动区域提取出来，凸包算法过程如下：将二值化图像进行sobel边缘检测，采用Graham扫描法，即从已知的所有点中先找出一个最右下的点，然后以这点为起点，将所有点根据与这点的斜率排序，然后依次遍历所有点，如果新加入的点是在原方向上向右拐的，就把前一个点去掉；当遍历完所有点后，还在栈中的点就是凸包上的点，依次出栈得到从起点开始顺时针旋转的所有凸包上的点；

并根据凸包中有序点进行均匀采样，均匀采样的过程如下：先确定凸包点中横坐标最大和最小的两点，根据这两点把凸包分成上下两部分，位于这两点直线上方的点属于上半部分，下方的点属于下半部分，在上半部分和下半部分的点所形成的轨迹中都从横坐标最小的点开始，每间隔横坐标10个像素点取点作为采样直线的起点和终点进行采样，一直到横坐标最大的点为止停止采样；

根据采样结果再加上色标指示块本身的特征确定种子点，确定种子点过程如下：利用红蓝黄绿四种颜色在Lab颜色空间中的特性：通道a对红绿敏感，通道b对黄蓝敏感，在通道a中对红蓝指示块处理，在通道b中对黄绿指示块处理；并对指示块的不同颜色阈值赋予不同的概率权值；结合色标指示块在运动区域中的特征和概率权值计算采样点能成为种子点的概率，选取概率最大的采样点为种子点；

采用基于最小错误率的贝叶斯决策作为生长准则进行生长，定位得到色标指示块。

2.如权利要求1所述的人机交互中多色标块检测方法，其特征在于：所述步骤(1)中，色标指示块进入摄像范围时摄像头处于静止状态，通过帧间标志区域的匹配确定本次的背景帧。