CN104112117A - 一种基于改进的局部二值模式特征的舌头动作识别方法 - Google Patents
一种基于改进的局部二值模式特征的舌头动作识别方法 Download PDFInfo
- Publication number
- CN104112117A CN104112117A CN201410284449.5A CN201410284449A CN104112117A CN 104112117 A CN104112117 A CN 104112117A CN 201410284449 A CN201410284449 A CN 201410284449A CN 104112117 A CN104112117 A CN 104112117A
- Authority
- CN
- China
- Prior art keywords
- local binary
- tongue
- binary patterns
- mouse
- improved local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的局部二值模式特征的舌头动作识别方法,包括如下步骤:提取嘴部区域图像:从人脸图像中检测出嘴部区域,并将嘴部区域图像灰度化和归一化,将尺寸设定为32*16像素;使用改进的局部二值模式算法,将局部二值模式计算区域内的像素差值进行处理,更多地保留垂直方向信息;利用支持向量机分类器进行舌头动作分类。本发明具有的有益效果是:实现舌头动作的检测和识别,方法鲁棒性强;舌头动作激活鼠标行为,替代物理鼠标的操作,对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。
Description
技术领域
本发明属于模式识别领域,具体涉及一种基于改进的局部二值模式特征的舌头动作识别方法。
背景技术
本申请提出的关于舌头动作的识别技术,主要应用于基于视觉的鼠标系统,由舌头动作来激活鼠标的左键和右键单击。前期已设计的提取舌头行为特征向量的方法是采用嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量;并且利用学习向量量化LVQ神经网络进行舌头的分类。现有的这种方法识别率不够稳定,鲁棒性不高。
发明内容
本发明根据现有技术的不足,提出一种基于改进的局部二值模式特征的舌头动作识别方法,以更好地实现动作识别和人机交互。
为了解决上述存在的技术问题,本发明采用以下的技术方案:
一种基于改进的局部二值模式特征的舌头动作识别方法,其内容包括以下步骤:
1)提取嘴部区域图像:
从人脸图像中检测出嘴部区域,并将嘴部区域图像灰度化和归一化,将尺寸设定为32*16像素;
2)使用改进的局部二值模式算法(Advanced Local Binary Pattern,简称ALBP算法),将局部二值模式(简称为LBP)计算区域内的像素差值进行处理,更多地保留垂直方向信息;
3)利用支持向量机(SVM)分类器进行舌头动作分类
利用SVM分类器实现嘴部三种动作的分类,分别为嘴巴闭合,舌头左伸和舌头右伸;三种动作分别激发鼠标的位置移动,鼠标的左键单击和鼠标的右键单击操作。
在本发明方法步骤2)中,所述的ALBP算法的计算,对于嘴部动作识别而言,通过观察嘴部区域图像得知其特征是:嘴唇和舌头灰度信息差值很小,水平方向信息量变化幅度较小,垂直方向信息更能体现纹理变化和嘴唇动作。
所述的ALBP算法的计算过程公式为:
其中p表示八邻域,i按照下面的元素位置表取值位置;
f0 | f1 | f2 |
f7 | fc | f3 |
f6 | f5 | f4 |
计算过程为如下具体步骤:
(1)首先将一幅嘴部区域图像划分为2*2子区域;
(2)对每个子区域内的像素点提取ALBP特征,并用这个值来反映该区域的纹理信息;
(3)在每个子区域内建立ALBP特征的统计直方图,每个子区域用一个统计直方图来进行描述;
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成,记为Feature。
由于采用上述技术方案,本发明提供的一种基于改进的局部二值模式特征的舌头动作识别方法,与现有技术相比具有以下有益效果:
1.实现舌头动作的检测和识别,方法鲁棒性强;
2.舌头动作激活鼠标行为,替代物理鼠标的操作,对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。
附图说明
图1是嘴部区域图像示例。
具体实施方式
下面结合附图及具体实施例对本发明进行进一步地描述。
本发明中舌头行为识别方法的具体流程如下。
一种基于改进的局部二值模式特征的舌头动作识别方法,包括以下步骤:
1)提取嘴部区域图像:
从人脸图像中检测出嘴部区域,并将嘴部区域图像灰度化和归一化,将尺寸设定为32*16像素;
2)使用ALBP算法,将局部二值模式计算区域内的像素差值进行处理,更多地保留垂直方向信息;
所述的ALBP算法的计算过程公式为:
其中p表示八邻域,i按照下面的元素位置表取值位置;
f0 | f1 | f2 |
f7 | fc | f3 |
f6 | f5 | f4 |
计算过程为如下具体步骤:
(1)首先将一幅嘴部区域图像划分为2*2子区域;
(2)对每个子区域内的像素点提取ALBP特征,并用这个值来反映该区域的纹理信息;
(3)在每个子区域内建立ALBP特征的统计直方图,每个子区域用一个统计直方图来进行描述;
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成,记为Feature。
3)利用支持向量机分类器进行舌头动作分类:
利用SVM分类器实现嘴部三种动作的分类,分别为嘴巴闭合,舌头左伸和舌头右伸;三种动作分别激发鼠标的位置移动,鼠标的左键单击和鼠标的右键单击操作。
首先检测到嘴部区域图像,本实施例中嘴部图像,如图1所示,对其进行灰度变化和归一化,尺寸为32*16像素;
根据步骤2)对其进行2*2分块,并利用改进的局部二值模式算子计算其特征值,获取特征值Feature。
然后根据步骤3)实现支持向量机分类器的训练。训练后,利用步骤3中分类器识别步骤可以实现舌头动作的识别和分类。
在步骤3)中,所述的SVM分类器进行舌头动作分类包括SVM分类器训练和SVM分类器识别。
所述的SVM分类器训练包括如下步骤:
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作,获取每幅图像相应的Feature值;
(2)三种不同的动作图像,即嘴巴闭合,向右伸舌头及向左伸舌头,分别将其用a,b和c作为类别标签标记;
(3)实验中,共采集图片2700幅,如图中所示的三种情况各有900幅,随机选用采集图片的一半作为训练集,采集图片的另一半作为测试集,对SVM分类器进行训练。
所述的SVM分类器识别包括如下步骤:
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作,获取每副图像相应的Feature值;
(2)将获取的Feature值送入训练好的SVM分类器进行分类,获取类别标签;
(3)根据类别标签,识别出具体的舌头动作,并激活相应的鼠标操作。
本方法采用检测精度(precision,PR)和查全率(recall,RE)作为评价指标来评价算法的鲁棒性,在正常的光线情况下,平均检测精度能达到86%,查全率达到90%。
Claims (6)
1.一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:该方法包括以下步骤:
1)提取嘴部区域图像:
从人脸图像中检测出嘴部区域,并将嘴部区域图像灰度化和归一化,将尺寸设定为32*16像素;
2)使用改进的局部二值模式算法,将局部二值模式计算区域内的像素差值进行处理,更多地保留垂直方向信息;
3)利用支持向量机分类器进行舌头动作分类
利用支持向量机分类器实现嘴部三种动作的分类,分别为嘴巴闭合,舌头左伸和舌头右伸;三种动作分别激发鼠标的位置移动,鼠标的左键单击和鼠标的右键单击操作。
2.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:在步骤2)中,所述的改进的局部二值模式算法,其特征是:嘴唇和舌头灰度信息差值很小,水平方向信息量变化幅度较小,垂直方向信息更能体现纹理变化和嘴唇动作。
3.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:所述的改进的局部二值模式算法的计算过程公式为:
其中p表示八邻域,i按照下面的元素位置表取值位置;
计算过程为如下具体步骤:
(1)首先将一幅嘴部区域图像划分为2*2子区域;
(2)对每个子区域内的像素点提取改进的局部二值模式特征,并用这个值来反映该区域的纹理信息;
(3)在每个子区域内建立改进的局部二值模式特征的统计直方图,每个子区域用一个统计直方图来进行描述;
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成,记为Feature。
4.根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:在步骤3)中,所述的支持向量机分类器进行舌头动作分类包括支持向量机分类器训练和支持向量机分类器识别。
5.根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:所述的支持向量机分类器训练包括如下步骤:
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作,获取每幅图像相应的Feature值;
(2)三种不同的动作图像,即嘴巴闭合,向右伸舌头及向左伸舌头,分别将其用a,b和c作为类别标签标记;
(3)随机选用采集图片的一半作为训练集,采集图片的另一半作为测试集,对SVM分类器进行训练。
6.根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法,其特征在于:所述的SVM分类器识别包括如下步骤:
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作,获取每副图像相应的Feature值;
(2)将获取的Feature值送入训练好的SVM分类器进行分类,获取类别标签;
(3)根据类别标签,识别出具体的舌头动作,并激活相应的鼠标操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410284449.5A CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410284449.5A CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104112117A true CN104112117A (zh) | 2014-10-22 |
CN104112117B CN104112117B (zh) | 2018-01-12 |
Family
ID=51708902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410284449.5A Active CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104112117B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107004287A (zh) * | 2014-11-05 | 2017-08-01 | 英特尔公司 | 化身视频装置和方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080166026A1 (en) * | 2007-01-10 | 2008-07-10 | Samsung Electronics Co., Ltd. | Method and apparatus for generating face descriptor using extended local binary patterns, and method and apparatus for face recognition using extended local binary patterns |
CN102184016A (zh) * | 2011-05-13 | 2011-09-14 | 大连民族学院 | 基于视频序列识别的无接触式鼠标控制方法 |
CN102799901A (zh) * | 2012-07-10 | 2012-11-28 | 辉路科技(北京)有限公司 | 一种多角度人脸检测方法 |
-
2014
- 2014-06-23 CN CN201410284449.5A patent/CN104112117B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080166026A1 (en) * | 2007-01-10 | 2008-07-10 | Samsung Electronics Co., Ltd. | Method and apparatus for generating face descriptor using extended local binary patterns, and method and apparatus for face recognition using extended local binary patterns |
CN102184016A (zh) * | 2011-05-13 | 2011-09-14 | 大连民族学院 | 基于视频序列识别的无接触式鼠标控制方法 |
CN102799901A (zh) * | 2012-07-10 | 2012-11-28 | 辉路科技(北京)有限公司 | 一种多角度人脸检测方法 |
Non-Patent Citations (1)
Title |
---|
王莹: "基于图像的人脸识别技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107004287A (zh) * | 2014-11-05 | 2017-08-01 | 英特尔公司 | 化身视频装置和方法 |
EP3216008A4 (en) * | 2014-11-05 | 2018-06-27 | Intel Corporation | Avatar video apparatus and method |
EP3614304A1 (en) * | 2014-11-05 | 2020-02-26 | INTEL Corporation | Avatar video apparatus and method |
CN107004287B (zh) * | 2014-11-05 | 2020-10-23 | 英特尔公司 | 化身视频装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104112117B (zh) | 2018-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018072233A1 (zh) | 一种基于选择性搜索算法的车标检测识别方法及系统 | |
CN102682287B (zh) | 基于显著度信息的行人检测方法 | |
CN102722712B (zh) | 基于连续度的多尺度高分辨图像目标检测方法 | |
Timm et al. | Non-parametric texture defect detection using Weibull features | |
CN104574353B (zh) | 基于视觉显著性的表面缺陷判定方法 | |
CN108090494B (zh) | 基于Gabor滤波器及支持向量机纺织品瑕疵识别方法 | |
CN110378179B (zh) | 基于红外热成像的地铁逃票行为检测方法及系统 | |
CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
CN103324944A (zh) | 一种基于svm和稀疏表示的假指纹检测方法 | |
CN101930549B (zh) | 基于第二代曲线波变换的静态人体检测方法 | |
CN114972356B (zh) | 塑料制品表面缺陷检测识别方法及系统 | |
CN102521561B (zh) | 基于多尺度韦伯局部特征和分层决策融合的人脸识别方法 | |
CN102879401A (zh) | 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法 | |
CN103854016B (zh) | 基于方向性共同发生特征的人体行为分类识别方法及系统 | |
CN104091157A (zh) | 一种基于特征融合的行人检测方法 | |
CN103413119A (zh) | 基于人脸稀疏描述子的单样本人脸识别方法 | |
CN107256547A (zh) | 一种基于显著性检测的表面裂纹识别方法 | |
CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
CN104298981A (zh) | 人脸微表情的识别方法 | |
CN107622277A (zh) | 一种基于贝叶斯分类器的复杂曲面缺陷分类方法 | |
CN103971106A (zh) | 多视角人脸图像性别识别方法及装置 | |
CN103065122A (zh) | 基于面部动作单元组合特征的人脸表情识别方法 | |
CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
CN106022303B (zh) | 基于无透镜全息成像的淡水藻类粗分类与计数方法 | |
CN102945378A (zh) | 一种基于监督方法的遥感图像潜在目标区域检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |