CN103258208A - 基于视觉的头势有无意图判别方法 - Google Patents

Abstract

本发明涉及一种基于视觉的头势有无意图判别方法。目前方法不能很好地区分使用者的有意图行为与无意图行为，容易导致误操作。本发明先通过摄像装置采集头部视频序列；然后对采集的图像序列进行消噪、增强等预处理，并初始化背景图像及数据；接着采用背景减法和背景更新的方法将增强后的图像进行差分，得到粗糙的运动前景图；再对运动前景图进行二值化和腐蚀等操作，得到清楚并集中的运动目标；最后统计出运动目标的像素点总数，根据固定阈值法来设定像素点阈值，判断视频序列中使用者头部运动的意图。此方法能较好地识别出快或中速无意图头部运动，在基于视觉控制的人机接口领域中具有广阔的应用前景。

Description

基于视觉的头势有无意图判别方法

技术领域

本发明属于人机接口领域，涉及一种基于视觉的头势有无意图判别方法。

背景技术

随着经济的发展和文明程度的提高，残疾人这个特殊群体的生存状况正越来越受到社会的关注。2007年，第二次全国残疾人抽样调查结果表明，我国现有残疾人总数约为8296万，占全国总人口的比例超过6％，其中肢体残疾2412万，是各类残疾中比重最高的。与此同时，《中国人口老龄化发展趋势预测研究报告》预计，2014年我国老年人口规模将达到2亿，2051年将达到4.37亿，老龄人是脑卒中病的高发群体，患者中存在不同程度的肢体残疾。改善残疾人生存状况，提高残疾人自理能力和生活质量，已是全社会关注的重点问题，成为全面建设小康与和谐社会的一项重要而紧迫的任务。

改善患者活动能力，拓展患者运动范围，是对肢体残疾患者进行康复治疗的主要目的和途径。对于截肢等严重肢体残疾患者，由于运动功能的缺损或丧失，活动范围和活动空间受到制约，如何增强患者的运动能力，已成为生物医学和工程技术领域的一个重要课题。一方面，从人体运动的源头出发，分析大脑对肢体运动及控制的支配功能，通过获取大脑的运动思维信息，从而得到肢体动作指令，实现脑-机交互；另一方面，从人体运动的主体出发，通过开发假肢、轮椅等康复辅助器具，代偿实现患者缺失的运动功能，扩大活动范围和生活自理能力。摆脱操纵杆、按键等传统人机接口的束缚，通过语音、形体语言等人类习惯和自然的方式与智能设备（包括康复辅具）进行沟通，让其提供智能的主动服务，已成为当前人机交互的一个重要研究领域，受到相关研究机构及科研人员的广泛关注。然而以语音、形体语言为表达方式的模式识别及控制技术在康复辅具中的应用，还面临诸多难题。如复杂环境下模式识别精度不高，人机交互不够自然，特别是无意识动作带来的意图理解问题，是新型人机接口实用化和智能化的一个普遍性难点。本发明的研究目的就是要针对这一共性的关键科学技术问题，在有无意图判别上开展研发，具有重要的技术研发价值和广泛的市场应用前景。

发明内容

本发明的目的就是针对现有基于视觉控制的人机接口领域中对使用者头势有无意图行为判别研究的不足，提供一种基于视觉的头势有无意图判别方法。

本发明根据使用者头部运动在几帧内的变化多少来判别其有无意图行为，先采用背景减法和背景更新的方法将增强后的图像进行差分，得到粗糙的运动前景图；再对运动前景图进行二值化和腐蚀等操作，得到清楚并集中的运动目标；最后统计出运动目标的像素点总数，根据固定阈值法来设定像素点阈值，判断视频序列中使用者头部运动的意图。

头部视觉信号能较好传达控制者的意图，具有作为无接触式自然交互信息源的可行性。当使用者在人机交互过程中，总会因环境的变化而产生一些无意识的头部运动，系统可能会在用户无意图行为时下达违背用户意图的控制命令，容易引起误操作。因此，本发明研究的基于视觉的头势有无意图行为的判别方法，可以有效地避免因无意图头部行为而引起误操作，同时也可以提高人机交互的自然性。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤(1) 头部视频序列获取。头部视觉信息通过光学镜头及CMOS图像传感器组件获取。

步骤(2) 图像序列预处理。将获取的图像序列进行灰度化、直方图均衡化、形态学预处理方法，对获取的头部图像序列进行消噪，增强图像头部的有效信息。

步骤(3) 背景及数据初始化。将视频序列的首帧设为初始背景图像，并且初始化背景更新速率。

步骤(4) 背景减除与背景更新。从视频序列的第二帧开始，将获取的每一帧视频序列与背景图像做减除，并将该视频序列以初始化的背景更新速率与原背景图像进行累加，得到更新后的背景图像（即为背景更新）。背景减除后得到比较粗略的头部运动目标差分图。

步骤(5) 差分图后处理。将步骤(4)得到的较粗略头部运动目标差分图进行二值化和形态学腐蚀后续处理，得到清楚且集中的头部运动目标。

步骤(6) 阈值确定。以差分图中头部运动目标的像素点数为基础，得到区分有无意图行为的阈值。

步骤(7) 头势意图识别分类。首先统计实时获取的头部运动目标像素点数，再将统计的像素点数与已确定的阈值进行比较，分别得到有意图行为和无意图行为。

本发明与已有的有无意图行为判别方法相比，具有如下特点：

1、从视觉角度分析判别头势的有无意图行为

已有的基于视觉控制的智能轮椅中，当使用者的头快速无意识地转向靠近的人或者障碍物，但又不想控制轮椅转动时，系统是通过外部传感器获取所处环境的数据，并检测出有人或障碍物在靠近，系统就会降低对使用者头部偏转检测的灵敏度。此方法实际上并没有对图像进行分析处理，而是依靠外部传感器来实现。而本发明直接从摄像装置获取图像进行分析处理，并判别有无意图行为。

2、本发明具有较自然、较经济等优点

本发明除了摄像装置外，不再需要其它，如传感器之类的数据采集设备，使用方便、经济。同时使用者在使用过程中，可以自然、随心所欲的操控诸如轮椅之类的移动平台。

附图说明

图1为本发明的实施流程图。

具体实施方式

下面结合附图详细描述本发明基于视觉的头势有无意图判别方法，图1为实施流程图。

如图1，本发明方法的实施主要包括七个步骤：（1）通过光学镜头及CMOS图像传感器组件获取头部视觉信息；（2）将获取的图像序列进行灰度化、直方图均衡化、形态学等预处理方法，对获取的头部图像序列进行消噪；（3）将增强后图像序列的首帧设为初始背景图像，并且初始化背景更新速率；（4）从视频序列的第二帧开始，将每一帧视频序列与背景图像做减除，并按一定速率实时更新背景；（5）将背景减除后得到比较粗略的头部运动目标差分图进行二值化和形态学腐蚀等后续处理；（6）以图像处理后的差分图中头部运动目标的像素点数为基础，得到区分有无意图行为的阈值；（7）统计实时获取的头部运动目标像素点数并与确定的阈值进行比较，分别得到有意图行为和无意图行为。下面逐一对各步骤进行详细说明。

步骤一：头部视频序列获取

头部视觉信息通过光学镜头及CMOS图像传感器组件获取。

步骤二：图像序列预处理

由于光学系统或电子器件影响，图像不可避免会受到噪声干扰，需要进行消噪处理。具体采用灰度化、直方图均衡化、形态学等预处理方法，对获取的头部序列图像进行消噪，增强图像头部的有效信息。

步骤三：背景及数据初始化

将增强后图像序列的第一帧设为初始背景图像，并且初始化背景更新速率。背景更新速率，即遗忘前面帧的速率，其值在0~1之间，值越大，表示背景更新速度越快。值为0，表示背景图像不更新；值为1，表示背景图像与实时图像一致。

步骤四：背景减除与背景更新

在静态的背景环境中，背景减法是获取运动目标的主流方法，其主要思想是当前实时的一帧图像与原始背景图像(不包含运动目标)做差值，将有显著变化的区域分割出来作为运动目标。

由于用户所处的环境具有时变性(光线变化、人员走动等)，系统需要对此具有较强的自适应性，因此需要对背景进行实时更新。本发明中采用更新加权累计图像的方法来更新背景。其定义是

             (1)

其中

为同一输入图像的累积，即更新的背景图像；

为更新前的背景图像；

为实时输入的每一帧图像；

为背景更新速率，即遗忘前面帧的速率。

，

值越大，表示背景更新速度越快。

从视频序列的第二帧开始，将获取的每一帧视频序列与背景图像做减除，并将该视频序列以初始化的背景更新速率与原背景图像进行加权累加，得到更新后的背景图像（即为背景更新）。背景减除后得到比较粗略的头部运动目标差分图。

步骤五：差分图后处理

使用者头部有意图的动作往往是缓慢和稳定的，所以当前帧与更新后的背景帧相比变化较少，这就有别于一些无意图的头部运动，比如旁边发生了什么事或有障碍物等，使用者通常会下意识并快速的在几帧内转头，固然这几帧之间以及这几帧与更新后的背景帧之间的变化是较大的。因此，本发明根据使用者头部运动在几帧内的变化多少来判别其有无意图行为。

要想知道几帧内的变化多少就需要对变化的像素点进行统计，因此需要将步骤四得到的较粗略头部运动目标差分图进行二值化和形态学腐蚀等后续处理，得到清楚且集中的头部运动目标，以便统计运动部分像素点数目。

本发明首先以灰度值等于60为阈值来二值化头部运动目标，数学表达式为：

                      (2)

其中，

为二值化前输入图像序列的灰度值，

为二值化后的输出图像序列的灰度值。

当

大于60时，将其值赋为255，即为白色；当

小于60时，将其值赋为0，即为黑色。最终得到一幅二值图像。

接着再用

的矩形结构元素来腐蚀二值化后的头部运动目标，其数学表达式为：

                    (3)

该式表示

对

的腐蚀，

为的矩形结构元素，该式表明图像的每个点

都被测试到了，腐蚀的结果由所有满足

属于

的点构成。

步骤六：阈值确定

为了设定区分有无意图的阈值，需要对有无意图头部运动进行多次测试，并通过分析统计得到的头部运动目标像素点数，设定一个可以区分有意图头部运动和无意图头部运动的像素点数值作为阈值。

步骤七：头势意图识别分类

由步骤五知道，头部有意识运动时往往较缓慢、稳定，帧间的差别不大，因此统计出的头部运动目标像素点数较少；相反，头部无意识运动时往往较快，帧间的差别较大，因此统计出的头部运动目标像素点数较多。根据这一特点，我们将视频序列中实时统计的头部运动目标像素点数与设定的阈值进行比较：大于等于该阈值的，归为无意图行为；小于该阈值的，归为有意图行为。数学表达式为：

               (4)

其中，为统计的头部运动目标像素点数，为设定的阈值大小。

Claims (1)

1. 基于视觉的头势有无意图判别方法，其特征在于该方法包括如下步骤：

步骤(1) 头部视频序列获取，具体是：头部视觉信息通过光学镜头及CMOS图像传感器组件获取；

步骤(2) 图像序列预处理，具体是：将获取的图像序列进行灰度化、直方图均衡化、形态学预处理方法，对获取的头部图像序列进行消噪，增强图像头部的有效信息；

步骤(3) 背景及数据初始化，具体是：将视频序列的首帧设为初始背景图像，并且初始化背景更新速率；

步骤(4) 背景减除与背景更新，具体是：从视频序列的第二帧开始，将获取的每一帧视频序列与背景图像做减除，并将该视频序列以初始化的背景更新速率与原背景图像进行累加，得到更新后的背景图像，即为背景更新；背景减除后得到比较粗略的头部运动目标差分图；

步骤(5) 差分图后处理，具体是：将步骤(4)得到的较粗略头部运动目标差分图进行二值化和形态学腐蚀后续处理，得到清楚且集中的头部运动目标；

步骤(6) 阈值确定，具体是：以差分图中头部运动目标的像素点数为基础，得到区分有无意图行为的阈值；

步骤(7) 头势意图识别分类，具体是：首先统计实时获取的头部运动目标像素点数，再将统计的像素点数与已确定的阈值进行比较，分别得到有意图行为和无意图行为。

Images