CN104112117B - 一种基于改进的局部二值模式特征的舌头动作识别方法 - Google Patents
一种基于改进的局部二值模式特征的舌头动作识别方法 Download PDFInfo
- Publication number
- CN104112117B CN104112117B CN201410284449.5A CN201410284449A CN104112117B CN 104112117 B CN104112117 B CN 104112117B CN 201410284449 A CN201410284449 A CN 201410284449A CN 104112117 B CN104112117 B CN 104112117B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- tongue
- local binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的局部二值模式特征的舌头动作识别方法，包括如下步骤：提取嘴部区域图像：从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；使用改进的局部二值模式算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；利用支持向量机分类器进行舌头动作分类。本发明具有的有益效果是：实现舌头动作的检测和识别，方法鲁棒性强；舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。
Description
技术领域
本发明属于模式识别领域，具体涉及一种基于改进的局部二值模式特征的舌头动作识别方法。
背景技术
本申请提出的关于舌头动作的识别技术，主要应用于基于视觉的鼠标系统，由舌头动作来激活鼠标的左键和右键单击。前期已设计的提取舌头行为特征向量的方法是采用嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；并且利用学习向量量化LVQ神经网络进行舌头的分类。现有的这种方法识别率不够稳定，鲁棒性不高。
发明内容
本发明根据现有技术的不足，提出一种基于改进的局部二值模式特征的舌头动作识别方法，以更好地实现动作识别和人机交互。
为了解决上述存在的技术问题，本发明采用以下的技术方案：
一种基于改进的局部二值模式特征的舌头动作识别方法，其内容包括以下步骤：
1)提取嘴部区域图像：
从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；
2)使用改进的局部二值模式算法(Advanced Local Binary Pattern，简称ALBP算法)，将局部二值模式(简称为LBP)计算区域内的像素差值进行处理，更多地保留垂直方向信息；
3)利用支持向量机(SVM)分类器进行舌头动作分类
利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。
在本发明方法步骤2)中，所述的ALBP算法的计算，对于嘴部动作识别而言，通过观察嘴部区域图像得知其特征是：嘴唇和舌头灰度信息差值很小，水平方向信息量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作。
所述的ALBP算法的计算过程公式为：
其中p表示八邻域，i按照下面的元素位置表取值位置；
| f0 | f1 | f2 |
| f7 | fc | f3 |
| f6 | f5 | f4 |
计算过程为如下具体步骤：
(1)首先将一幅嘴部区域图像划分为2*2子区域；
(2)对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；
(3)在每个子区域内建立ALBP特征的统计直方图，每个子区域用一个统计直方图来进行描述；
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature。
由于采用上述技术方案，本发明提供的一种基于改进的局部二值模式特征的舌头动作识别方法，与现有技术相比具有以下有益效果：
1.实现舌头动作的检测和识别，方法鲁棒性强；
2.舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。
附图说明
图1是嘴部区域图像示例。
具体实施方式
下面结合附图及具体实施例对本发明进行进一步地描述。
本发明中舌头行为识别方法的具体流程如下。
一种基于改进的局部二值模式特征的舌头动作识别方法，包括以下步骤：
1)提取嘴部区域图像：
从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；
2)使用ALBP算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；
所述的ALBP算法的计算过程公式为：
其中p表示八邻域，i按照下面的元素位置表取值位置；
| f0 | f1 | f2 |
| f7 | fc | f3 |
| f6 | f5 | f4 |
计算过程为如下具体步骤：
(1)首先将一幅嘴部区域图像划分为2*2子区域；
(2)对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；
(3)在每个子区域内建立ALBP特征的统计直方图，每个子区域用一个统计直方图来进行描述；
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature。
3)利用支持向量机分类器进行舌头动作分类：
利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。
首先检测到嘴部区域图像，本实施例中嘴部图像，如图1所示，对其进行灰度变化和归一化，尺寸为32*16像素；
根据步骤2)对其进行2*2分块，并利用改进的局部二值模式算子计算其特征值，获取特征值Feature。
然后根据步骤3)实现支持向量机分类器的训练。训练后，利用步骤3中分类器识别步骤可以实现舌头动作的识别和分类。
在步骤3)中，所述的SVM分类器进行舌头动作分类包括SVM分类器训练和SVM分类器识别。
所述的SVM分类器训练包括如下步骤：
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每幅图像相应的Feature值；
(2)三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用a,b和c作为类别标签标记；
(3)实验中，共采集图片2700幅，如图中所示的三种情况各有900幅，随机选用采集图片的一半作为训练集，采集图片的另一半作为测试集，对SVM分类器进行训练。
所述的SVM分类器识别包括如下步骤：
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每副图像相应的Feature值；
(2)将获取的Feature值送入训练好的SVM分类器进行分类，获取类别标签；
(3)根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。
本方法采用检测精度(precision，PR)和查全率(recall，RE)作为评价指标来评价算法的鲁棒性，在正常的光线情况下，平均检测精度能达到86％，查全率达到90％。
Claims (1)
1.一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于：该方法包括以下步骤：
1)提取嘴部区域图像：
从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为32*16像素；
2)使用改进的局部二值模式算法：将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；嘴唇和舌头灰度信息差值很小，水平方向信息量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作；
所述的改进的局部二值模式算法的计算过程公式为：
<mrow>
<mi>A</mi>
<mi>L</mi>
<mi>B</mi>
<mi>P</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>p</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mn>2</mn>
<mi>i</mi>
</msup>
</mrow>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo><</mo>
<mn>2</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>3</mn>
<mo>,</mo>
<mn>7</mn>
</mrow>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo>&GreaterEqual;</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mo><</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>4</mn>
<mo>,</mo>
<mn>5</mn>
<mo>,</mo>
<mn>6</mn>
</mrow>
其中p表示八邻域，i按照下面的元素位置表取值位置；
计算过程为如下具体步骤：
(1)首先将一幅嘴部区域图像划分为2*2子区域；
(2)对每个子区域内的像素点提取改进的局部二值模式特征，并用这个值来反映该区域的纹理信息；
(3)在每个子区域内建立改进的局部二值模式特征的统计直方图，每个子区域用一个统计直方图来进行描述；
(4)整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为Feature；
3)利用支持向量机分类器进行舌头动作分类
利用支持向量机分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作；所述的支持向量机分类器进行舌头动作分类包括支持向量机分类器训练和支持向量机分类器识别；
所述的支持向量机分类器训练包括如下步骤：
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每幅图像相应的Feature值；
(2)三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用a,b和c作为类别标签标记；
(3)随机选用采集图片的一半作为训练集，采集图片的另一半作为测试集，对SVM分类器进行训练；
所述的SVM分类器识别包括如下步骤：
(1)对采集得到的嘴部区域图像进行步骤1)和步骤2)中操作，获取每副图像相应的Feature值；
(2)将获取的Feature值送入训练好的SVM分类器进行分类，获取类别标签；
(3)根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410284449.5A CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410284449.5A CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104112117A CN104112117A (zh) | 2014-10-22 |
| CN104112117B true CN104112117B (zh) | 2018-01-12 |
Family
ID=51708902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410284449.5A Active CN104112117B (zh) | 2014-06-23 | 2014-06-23 | 一种基于改进的局部二值模式特征的舌头动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104112117B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3216008B1 (en) * | 2014-11-05 | 2020-02-26 | Intel Corporation | Avatar video apparatus and method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184016A (zh) * | 2011-05-13 | 2011-09-14 | 大连民族学院 | 基于视频序列识别的无接触式鼠标控制方法 |
| CN102799901A (zh) * | 2012-07-10 | 2012-11-28 | 辉路科技（北京）有限公司 | 一种多角度人脸检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100866792B1 (ko) * | 2007-01-10 | 2008-11-04 | 삼성전자주식회사 | 확장 국부 이진 패턴을 이용한 얼굴 기술자 생성 방법 및장치와 이를 이용한 얼굴 인식 방법 및 장치 |
-
2014
- 2014-06-23 CN CN201410284449.5A patent/CN104112117B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184016A (zh) * | 2011-05-13 | 2011-09-14 | 大连民族学院 | 基于视频序列识别的无接触式鼠标控制方法 |
| CN102799901A (zh) * | 2012-07-10 | 2012-11-28 | 辉路科技（北京）有限公司 | 一种多角度人脸检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像的人脸识别技术研究;王莹;《中国博士学位论文全文数据库 信息科技辑》;20120915;I138-38 第40-50页第3.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104112117A (zh) | 2014-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062973B (zh) | 基于目标特征敏感性和深度学习的车辆跟踪方法 | |
| Gao et al. | Automatic change detection in synthetic aperture radar images based on PCANet | |
| Lee et al. | Deep saliency with encoded low level distance map and high level features | |
| CN109753914B (zh) | 一种基于深度学习的车牌字符识别方法 | |
| Malik et al. | Image processing techniques for identification of fish disease | |
| CN103048329B (zh) | 一种基于主动轮廓模型的路面裂缝检测方法 | |
| CN103996018B (zh) | 基于4dlbp的人脸识别方法 | |
| CN104091157A (zh) | 一种基于特征融合的行人检测方法 | |
| CN107256547A (zh) | 一种基于显著性检测的表面裂纹识别方法 | |
| CN106529448A (zh) | 利用聚合通道特征进行多视角人脸检测的方法 | |
| CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN102254188B (zh) | 掌纹识别方法及装置 | |
| CN103413119A (zh) | 基于人脸稀疏描述子的单样本人脸识别方法 | |
| CN102879401A (zh) | 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法 | |
| CN101930549B (zh) | 基于第二代曲线波变换的静态人体检测方法 | |
| CN101615245A (zh) | 基于avr和增强lbp的表情识别方法 | |
| CN108257151B (zh) | 基于显著性分析的PCANet图像变化检测方法 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN103324944A (zh) | 一种基于svm和稀疏表示的假指纹检测方法 | |
| CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
| CN109376740A (zh) | 一种基于视频的水尺读数检测方法 | |
| CN104123554B (zh) | 基于mmtd的sift图像特征提取方法 | |
| CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
| JP5756443B2 (ja) | 画像分類装置及び画像識別装置並びにプログラム | |
| CN104036284A (zh) | 基于Adaboost算法的多尺度行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |