CN102830800A - 利用手势识别控制数字标牌的方法和系统 - Google Patents

Abstract

本发明涉及一种利用手势识别控制数字标牌的方法和系统，可以通过用户挥手完成数字标牌的翻页操作，其步骤为：持续采集用户图像，对采集到的每一帧用户图像都进行处理，得到人手二值图像和对应的外接矩形图像；对当前每一帧外接矩形图像的长宽比进行判断，确定用户穿长袖上衣或短袖上衣；判断当前帧相对于前一帧的外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的人手二值图像的重心到外接矩形图像左边界和右边界距离的大小，并结合用户穿长袖或短袖上衣，来确定用户是否向右或向左挥手并触发一次相应的翻页操作。

Description

利用手势识别控制数字标牌的方法和系统

技术领域

本发明涉及人机视觉互动领域，尤其是指一种利用手势识别控制数字标牌进行翻页操作的方法和系统。

背景技术

当前主流公告广告展示形式主要有两种：非互动数字标牌和利用触摸屏的互动数字标牌。

非互动数字标牌主要采用定时切换公告广告的方式，用户在某一时刻停留在所述数字标牌前，只能被动接受此时标牌上显示的信息，而无法看到其他的信息，用户如果不感兴趣，就可能立刻走开；即使用户正好看到自己感兴趣的信息，也无法重复仔细观看。这种方式用户的方便性较差，展示效果不好。

利用触摸屏的互动数字标牌，可以应用户的请求而选择特定的信息，在短时间内就可以让用户找到感兴趣的信息，也可以让用户重复仔细观看，用户方便性高，展示效果好。但是采用触摸屏会导致成本较高，特别是公告广告往往需要较大的屏幕，而触摸屏的价格是随着展示屏幕的尺寸呈指数性增长的。

为了解决这一问题，本发明提供了一种利用手势识别控制数字标牌进行翻页操作的方法和系统。

发明内容

本发明利用手势识别控制数字标牌的方法，包括以下步骤：

步骤1：持续采集用户图像，从每一帧用户图像中同时提取肤色二值图像和运动物体二值图像，将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像。

其中，从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像，对所述HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，得到三个分量二值图像，对三个分量图像进行相交运算，最终得到肤色二值图像；所述H分量阈值范围为[0，0.156]∪[0.609，1.000]，所述S分量阈值范围为[0.156~0.664]，所述V分量阈值范围为[0.117,0.742]。

同时，对于所述用户图像，采用帧间差分法提取运动物体二值图像。所述帧间差分法提取运动物体二值图像，是先将当前帧和前一帧的所述用户图像转换为灰度图像，然后对当前帧和前一帧的所述灰度图像进行逐行扫描，在每一个像素点上，如果当前帧该点灰度值减去前一帧该点灰度值大于某一个阈值，则认为此点是移动的点，否则认为此点没有移动。将当前帧认定为移动的点取集合，得到运动物体二值图像；

将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像。

优选的，采集到所述用户图像后，在进行步骤1以前，先对所述用户图像进行简单平滑处理，再利用均值漂移分割方法将其分割为边界明显的几个区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。

步骤2：对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像。

步骤3：对当前每一帧所述外接矩形图像的长宽比进行判断，如果确定为无效，不进行后续步骤，如果确定为用户穿长袖上衣或短袖上衣，则进行步骤4；

本发明中，如果所述外接矩形图像的长宽比在2和4之间，则系统判断为无效，如果所述外接矩形图像的长宽比小于2，则判断用户穿长袖上衣，如果所述外接矩形图像的长宽比大于4，则判断用户穿短袖上衣；

步骤4：通过判断当前帧相对于前一帧的所述外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的所述人手二值图像的重心到所述外接矩形图像左边界和右边界距离的大小，并结合用户为长袖上衣或短袖上衣的不同情况，来确定用户是否向右或向左挥手并触发一次相应的翻页操作。

具体方式如下：

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离大于到右边界的距离，且用户穿长袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作；

若当前帧相较于前一帧，外接矩形图像的中心点向右移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离，且用户穿长袖上衣，则认为是一次从左向右的挥手动作，触发一次和从右向左挥手动作相反的翻页动作，即向后或向前翻一页；

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值B，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离，且用户穿短袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作。

若当前帧相较于前一帧，外接矩形图像中心点向右移动，且水平移动距离大于阈值B，且当前帧人手二值图像的重心到外接矩形图像距左边界的距离大于到右边界的距离，且用户穿短袖上衣，则认为是一次从左向右的挥手动作，触发一次和从右向左挥手动作相反的翻页动作，即向后或向前翻一页；

为了防止误操作，系统还可以在用户挥手触发一次翻页操作后，等待预定时间后再重新采集用户图像，该预定时间一般为几秒钟，并且可以根据实际需要进行设定。

对应的，本发明利用手势识别控制数字标牌的系统，包括以下部分：

摄像头和显示屏，摄像头用于持续采集用户图像；

图像处理单元，用于接收所述用户图像并按照以上方法对其进行处理，得到人手二值图像和外接矩形图像；

触发判断单元，用于接收所述人手二值图像和所述外接矩形图像，按照上述方法确定用户穿长袖上衣或短袖上衣，判断用户是否向右或向左挥手并发送相应的翻页命令；

显示内容调控单元，用于接收翻页命令并对显示屏进行翻页操作。

进一步的，系统还可以增加摄像头控制单元，每触发一次翻页操作后，摄像头控制单元控制摄像头等待预定时间后再重新采集用户图像，该预定时间一般为几秒钟，并且可以根据实际需要进行设定。

附图说明

图1为本发明利用视觉手势识别控制数字标牌的方法流程图

图2为本发明利用视觉手势识别控制数字标牌的系统示意图

图3为本发明当前帧相对于前一帧外接矩形图像移动的示意图

图4为本发明的当用户身着长袖上衣时的人手二值图像

图5为本发明的当用户身着短袖上衣时的人手二值图像

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明实施例利用手势识别控制数字标牌的方法，其主要包括以下步骤：

步骤1：持续采集用户图像，从每一帧用户图像中同时提取肤色二值图像和运动物体二值图像，将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像。具体为：

从所述用户图像中提取肤色二值图像，是将所述人手二值图像转换为HSV图像（HSV图像具有H（色调）、S（饱和度）、V（亮度）三个分量，每一个分量的数值都在0~1之间），对每个HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，将在阈值范围内的像素点赋值为“1”，在阈值范围外的像素点赋值为“0”，得到三个分量各自的二值图像；最后对三个分量的二值图像进行相交运算，最终得到肤色二值图像。

其中，三个分量的阈值范围是预先设定并且可以调节的，所述H分量，最佳的阈值范围为[0，0.156]∪[0.609，1.000]；所述S分量，最佳的阈值范围为[0.156~0.664]；所述V分量，最佳的阈值范围为[0.117,0.742]。

进一步的，对于所述肤色二值图像，还可以再按照大小或形状进行调节，去除脸颈部图像的干扰，例如计算肤色二值图像中各个肤色区域与所述用户图像的面积比，确定面积比在阈值范围C内的肤色区域为人手，赋值为“1”，其余肤色区域赋值为“0”，从而得到一个更精确的肤色二值图像。本发明实施例中，阈值范围C为[0.030,0.150]。当然，本领域技术人员对此可以设想出很多方法，本发明中不再赘述。

对于所述用户图像，在进行提取肤色二值图像的同时，还采用帧间差分法提取运动物体二值图像。所述帧间差分法提取运动物体二值图像，是先将当前帧和前一帧的所述用户图像转换为灰度图像，然后对当前帧和前一帧的所述灰度图像进行逐行扫描，在每一个像素点上，如果当前帧该点灰度值减去前一帧该点灰度值大于某一个阈值，则认为此像素点是移动的点，将此像素点赋值为“1”。否则认为此点没有移动，将此像素点赋值为“0”。将当前帧认定为移动的点取并集，得到运动物体二值图像；

在本发明中，该阈值是预先设定并且可以调节的，其最佳值为10像素；

最后对所述肤色二值图像和所述运动物体二值图像进行相交运算，即对两幅图像取交集，运算后，在所述肤色二值图像和所述运动物体二值图像中都为“1”的像素点仍为“1”，其余像素点均为“0”，得到人手二值图像；

优选的，采集到所述用户图像后，在进行步骤1以前，先对所述用户图像进行简单平滑处理，利用均值漂移分割方法将其分割为边界明显的几个区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。

步骤2：对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；

步骤3：对当前每一帧所述外接矩形图像的长宽比进行判断，如果确定为无效，不进行后续步骤，如果确定为用户穿长袖上衣或短袖上衣，则进行步骤4；

基于人手生物形态学考虑，如果用户穿长袖上衣，由人手二值图像得到的外接矩形图像的长宽比会比较大，如果用户穿短袖上衣，由人手二值图像得到的外接矩形图像的长宽比会比较小。

本发明实施例中，如果所述外接矩形图像的长宽比在2和4之间，则系统判断为无效，不进行后续步骤。如果所述外接矩形图像的长宽比小于2，则判断用户穿长袖上衣。如果所述外接矩形图像的长宽比大于4，则判断用户穿短袖上衣；

当然，这并不是说，如果所述外接矩形图像的长宽比为2.1或者为3.9，就一定要判断为无效，系统可以根据实际环境设定长宽比的阈值。

步骤4：通过判断当前帧相对于前一帧的所述外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的所述人手二值图像的重心到所述外接矩形图像左边界和右边界距离的大小，并结合用户为长袖上衣或短袖上衣的不同情况，来确定用户是否向右或向左挥手并触发一次相应的翻页操作。所述水平移动是以所述用户图像为背景参照物，比较所述外接矩形图像在所述用户图像中的水平移动情况，参见图3为例，1为当前帧外接矩形图像，2为前一帧外接矩形图像，则当前帧1相对于前一帧2，水平向左移动，水平移动距离为X。

具体确定方式如下：

基于人手生物形态学考虑，如图4所示为用户身着长袖上衣时的人手二值图像，从中可以看出，在只有手出现的情况下（即没有手臂出现），人手二值图像的重心到指尖的距离要比人手根部的距离长。如图5所示为用户身着短袖上衣时的人手二值图像，由于相对于手臂，手掌区域的宽度较大，所以情况和用户穿长袖上衣时相反，人手二值图像的重心到指尖的距离要比到根部的距离短。

实际生活中，用户从右向左挥手，人手指尖会由向右变为向左，对应的，人手二值图像有一个指尖向右变为指尖向左的过程。用户从左向右挥手，人手指尖会由向左变为向右，对应的，人手二值图像有一个指尖向左变为指尖向右的过程。

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离大于到右边界的距离（即当前帧人手指尖向左），且用户穿长袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作；

若当前帧相较于前一帧，外接矩形图像的中心点向右移动，且水平移动距离大于阈值A，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离（即此时人手指尖向右），且用户穿长袖上衣，则认为是一次从左向右的挥手动作，触发一次和从右向左挥手动作相反的翻页动作，即向后或向前翻一页；

若当前帧相较于前一帧，外接矩形图像的中心点向左移动，且水平移动距离大于阈值B，且当前帧人手二值图像的重心到外接矩形图像左边界的距离小于到右边界的距离（即当前帧人手指尖向左），且用户穿短袖上衣，则认为是一次从右向左的挥手动作，触发一次向前或向后的翻页动作。

若当前帧相较于前一帧，外接矩形图像的中心点向右移动，且水平移动距离大于阈值B，且当前帧人手二值图像的重心到外接矩形图像左边界的距离大于到右边界的距离（即此时人手指尖向右），且用户穿短袖上衣，则认为是一次从左向右的挥手动作，触发一次和从右向左挥手动作相反的翻页动作，即向后或向前翻一页；

当人手二值图像中含有手臂时，当手掌移动相同距离时，外接矩形图像中心的移动距离相比没有手臂时要短，所以一般情况下阈值A大于阈值B。在本发明中，阈值A和B是预先设定并且可以调节的，阈值A最佳值为120像素，阈值B最佳值为80像素。

在自然的手势交互中，人手在挥动后，总有回到自然状态的趋势。以右手为例，完成一次从右向左的挥手动作后，用户的右手总是要回到身体右侧，系统可能将其识别为两次挥手动作，同时，用户在使用系统的过程中，如果挥手动作比较慢，系统也可能把一次挥手动作误识别为两次，即用户的一次挥手动作可能触发两次翻页动作，针对以上问题，本发明实施例从时间角度考虑解决方法。经过对不同用户使用习惯的研究，制定了以下规则：当用户挥手触发一次翻页操作后，系统等待预定时间后再采集图像，这段时间一般为几秒钟。

对应的，本发明利用视觉手势识别的互动数字标牌的系统，如图2所示，包括以下部分：

摄像头和显示屏，摄像头用于持续采集用户图像；

图像处理单元，用于接收所述用户图像并按照以上方法对其进行处理，得到人手二值图像和外接矩形图像；

触发判断单元，用于接收所述人手二值图像和所述外接矩形图像，按照上述方法确定用户穿长袖上衣或短袖上衣，判断用户是否向右或向左挥手并发送相应的翻页命令；

显示内容调控单元，用于接收翻页命令并对显示屏进行翻页操作。

进一步的，系统还可以增加摄像头控制单元，每触发一次翻页操作后，摄像头控制单元控制摄像头等待预定时间后再重新采集用户图像，该预定时间一般为几秒钟，并且可以根据实际需要进行设定。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，本发明并不对其进行限定。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种利用手势识别控制数字标牌的方法，其特征在于包括以下步骤：

步骤1：持续采集用户图像，从每一帧用户图像中同时提取肤色二值图像和运动物体二值图像，将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像；

步骤2：对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；

步骤3：通过判断当前帧所述外接矩形图像的长宽比，确定用户穿长袖上衣或短袖上衣；

步骤4：通过判断当前帧相对于前一帧的所述外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的所述人手二值图像的重心到所述外接矩形图像左边界和右边界距离的大小，并结合用户穿长袖上衣或短袖上衣的不同情况，来确定用户是否向右或向左挥手并触发一次相应的翻页操作。

2.根据权利要求1所述的利用手势识别控制数字标牌的方法，其特征在于：从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像后分别按照H、S、V分量的阈值范围进行调节，得到三个分量二值图像，再进行相交运算，得到所述肤色二值图像，所述H分量阈值范围为[0，0.156]∪[0.609，1.000]，所述S分量阈值范围为[0.156~0.664]，所述V分量阈值范围为[0.117,0.742]。

3.根据权利要求1所述的利用手势识别控制数字标牌的方法，其特征在于：所述外接矩形图像的长宽比小于2时，用户为穿长袖上衣。

4.根据权利要求1所述的利用手势识别控制数字标牌的方法，其特征在于：所述外接矩形图像的长宽比大于4时，用户为穿短袖上衣；

5.根据权利要求1所述的利用手势识别控制数字标牌的方法，其特征在于：用户挥手触发一次翻页操作后，等待预定时间后再重新采集用户图像。

6.一种利用手势识别控制数字标牌的系统，其特征在于包括：

摄像头和显示屏，摄像头用于采集用户图像；

图像处理单元，用于接收所述用户图像，从每一帧用户图像中同时提取肤色二值图像和运动物体二值图像，将所述肤色二值图像和所述运动物体二值图像进行相交运算，得到人手二值图像；对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；

触发判断单元，通过判断当前每一帧所述外接矩形图像的长宽比，确定用户穿长袖上衣或短袖上衣；通过判断当前帧相对于前一帧的所述外接矩形图像的中心点的水平移动方向和水平移动距离，以及比较当前帧的所述人手二值图像的重心到所述外接矩形图像左边界和右边界距离的大小，并结合用户穿长袖上衣或短袖上衣的不同情况，来确定用户是否向右或向左挥手并发送一个相应的翻页命令；

显示内容调控单元，用于接收翻页命令并对显示屏进行翻页操作。

7.根据权利要求6所述的利用手势识别控制数字标牌的系统，其特征在于：所述图像处理单元从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像后分别按照H、S、V分量的阈值范围进行调节，得到三个分量二值图像，再进行相交运算，得到所述肤色二值图像，所述H分量阈值范围为[0，0.156]∪[0.609，1.000]，所述S分量阈值范围为[0.156~0.664]，所述V分量阈值范围为[0.117,0.742]。

8.根据权利要求6所述的利用手势识别控制数字标牌的系统，其特征在于：所述外接矩形图像的长宽比小于2时，所述触发判断单元判断用户穿长袖上衣。

9.根据权利要求6所述的利用手势识别控制数字标牌的系统，其特征在于：所述外接矩形图像的长宽比大于4时，所述触发判断单元判断用户穿短袖上衣。

10.根据权利要求6所述的利用手势识别控制数字标牌的系统，其特征在于：增加摄像头控制单元，用于接收所述翻页指令，每接收到一次翻页指令后，摄像头控制单元控制摄像头等待预定时间后再采集用户图像。

Images