CN106250815B - 一种基于嘴部特征的快速表情识别方法 - Google Patents

一种基于嘴部特征的快速表情识别方法 Download PDF

Info

Publication number
CN106250815B
CN106250815B CN201610567124.7A CN201610567124A CN106250815B CN 106250815 B CN106250815 B CN 106250815B CN 201610567124 A CN201610567124 A CN 201610567124A CN 106250815 B CN106250815 B CN 106250815B
Authority
CN
China
Prior art keywords
mouth
identification
expression recognition
recognition method
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610567124.7A
Other languages
English (en)
Other versions
CN106250815A (zh
Inventor
袁华安
李虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lead Wave Information Technology Co Ltd
Original Assignee
Shanghai Lead Wave Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lead Wave Information Technology Co Ltd filed Critical Shanghai Lead Wave Information Technology Co Ltd
Priority to CN201610567124.7A priority Critical patent/CN106250815B/zh
Publication of CN106250815A publication Critical patent/CN106250815A/zh
Application granted granted Critical
Publication of CN106250815B publication Critical patent/CN106250815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于嘴部特征的快速表情识别方法，包括如下的步骤：S1面部识别；S2嘴部识别；S3特征点定位和S4识别与输出。用于解决现有技术中表情识别算法计算量多大，移动终端容易发热卡顿的技术问题，实施本发明的技术方案可实现降低计算量，提高计算速度，进一步提高判断精准度的技术效果。

Description

一种基于嘴部特征的快速表情识别方法
技术领域
本发明属于表情识别技术领域，涉及一种表情识别方法，尤其涉及一种基于嘴部特征的快速表情识别方法。
背景技术
随着人们生活水平的不断提高，具有拍照功能的移动终端产品得到了广泛的普及，比如手机、数码相机等。单纯的拍摄功能已经难以满足用户需求，各厂商在拍照附加技术上展开了激烈的竞争。其中，笑脸识别是这种附加技术中的一种重要分支。笑脸识别功能是基于消费者行为和需求的一款人性化的服务产品，受到了消费者的广泛认可，能够满足用户在拍摄中对于笑脸拍摄的需要以笑容为触发的拍摄动作，方便用户捕捉用户的笑容，且可免除用户必须手动按键的麻烦。目前，笑脸识别功能已经广泛地用于数码相机、手机、数码摄像机等数码产品中。
现有的笑脸识别方法主要包括模式识别或者深度学习两种技术路线。通常需要进行全脸识别，其中设计的算法较为复杂，计算量较大；或者需要对模型进行反复的迭代训练，耗费大量的时间和计算量。在移动终端产品计算能力有限的情况下，可能造成机器卡顿、耗电量大、发热量大等技术问题。另外，现有的笑脸识别方法只能判断笑脸，而无法判断其他表情，用途较为单一。本发明试图提出一种无需进行模型训练的特征识别方法，同时保障其精确的效果。
发明内容
为了解决上述技术问题，本发明中披露了一种基于嘴部特征的快速表情识别方法，本发明的技术方案是这样实施的：
一种基于嘴部特征的快速表情识别方法，包括如下的步骤：S1面部识别：在原始图片中识别人脸，框定脸部范围A1，识别人物鼻部，以鼻梁线方向为Y轴，垂直Y轴方向为X轴；S2嘴部识别：在A1中识别嘴部，框定嘴部范围A2，计算A2中每个像素点的X、Y位置参数；S3特征点定位：从A2中识别上唇最高端点P1、下唇最低端点P2、左嘴角外侧P3和右嘴角外侧P4，其中P1坐标为(x1，y1)、P2坐标为(x2，y2)、P3坐标为(x3，y3)、P4坐标为(x4，y4)，此四点形成一个长方形包闭，在该长方形的Y轴方向的上方比例为a的位置画一条识别线L，连接左嘴角外侧P3和右嘴角外侧P4，取该线段的中点为识别点P；S4识别与输出：对比识别点P与识别线L的位置关系，输出结果。
优选地，a＝0.4～0.6。
优选地，a＝0.4～0.5，若所述识别点P在识别线L上方，输出结果为笑脸。
优选地，a＝0.5～0.6，若所述识别点P在识别线L下方，输出结果为悲伤或愤怒。
优选地，对脸部范围A1的框定范围，可在各边界上包容2～10个像素的误差。
优选地，对嘴部范围A2的框定范围，可在各边界上包容1～3个像素的误差。
本发明中还披露了一种表情识别方法，是这样实施的：包括根据上述任一所述的基于嘴部特征的快速表情识别方法和精准判定方法。
实施本发明的技术方案通过有效捕捉嘴部特征，以较少的数据结果进行简单的计算和对比，可解决现有技术中笑脸识别方法计算量过大的技术问题；实施本发明的技术方案，通过简单的计算方法，可实现快速辨别笑脸，或快速初步判别笑脸的技术效果。当采用本发明的快速识别技术方案与现有技术的精准判定方法相结合时，能够实现快速的精准判定，尤其适合高解析度、大量图片或视频各帧的批量处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种具体实施方式的方法流程示意图；
图2为本发明的一种具体实施方式的原始图片示意图；
图3为本发明的一种具体实施方式的S1步骤处理示意图；
图4为本发明的一种具体实施方式的S2步骤处理示意图；
图5为本发明的一种具体实施方式的S3步骤处理示意图；。
在上述附图中，各图号标记分别表示：
A1-脸部范围；
A2-嘴部范围；
P1-上唇最高端点；
P2-下唇最低端点；
P3-左嘴角外侧；
P4-右嘴角外侧；
L识别线；和
P识别点。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一种具体实施方式中，一种基于嘴部特征的快速表情识别方法，如图1所示，包括如下的步骤：S1面部识别：在原始图片中识别人脸，框定脸部范围A1，识别人物鼻部，以鼻梁线方向为Y轴，垂直Y轴方向为X轴；S2嘴部识别：在A1中识别嘴部，框定嘴部范围A2，计算A2中每个像素点的X、Y位置参数；S3特征点定位：从A2中识别上唇最高端点P1、下唇最低端点P2、左嘴角外侧P3和右嘴角外侧P4，其中P1坐标为(x1，y1)、P2坐标为(x2，y2)、P3坐标为(x3，y3)、P4坐标为(x4，y4)，此四点形成一个长方形包闭，在该长方形的Y轴方向的上方比例为a的位置画一条识别线L，连接左嘴角外侧P3和右嘴角外侧P4，取该线段的中点为识别点P；S4识别与输出：对比识别点P与识别线L的位置关系，输出结果。
在该具体实施方式中，读取如图2所示的原始图片，在第一步S1面部识别中，可以采取任意的现有技术的面部识别方法，例如中国发明专利201310174152.9基于图像轮廓的人脸识别新方法，中国发明专利201310039886.6基于RGB彩色特征双重鉴别相关性分析的人脸识别方法等。根据不同图像解析度的区别，对脸部范围A1的框定范围，可在各边界上包容2～10个像素的误差，如图3所示。从A1中识别鼻部，以鼻梁线方向为Y轴，垂直Y轴方向为X轴，从而将原始图片中的A1范围进行角度校正。图像坐标的原点可任意设置。确定原点后即可确定图像中每个像素点的位置参数。第二步S2嘴部识别、在脸部范围A1内确定嘴部范围A2。嘴部范围A2的框定可采用现有技术中的识别方法，例如中国发明专利201110146177.9基于五官几何比例特征的快速人脸识别方法等。对嘴部范围A2的框定范围，可在各边界上包容1～3个像素的误差，如图4所示。上唇最高端点P1、下唇最低端点P2、左嘴角外侧P3和右嘴角外侧P4，其中P1坐标为(x1，y1)、P2坐标为(x2，y2)、P3坐标为(x3，y3)、P4坐标为(x4，y4)。此四点形成一个在X轴Y轴方向上的长方形包闭。在该长方形的Y轴方向的上方比例为a的位置画一条识别线L。该识别线用于定义无表情时的嘴角位置。连接左嘴角外侧P3和右嘴角外侧P4，取该线段的中点为识别点P。该识别点用于定义特征位置。如图5所示。S4识别与输出：对比识别点P与识别线L的位置关系，输出结果。本领域技术人员有能力对a，b两参数的具体数据进行选择。在该具体实施方式中，根据常人的表情激烈程度，根据经验，设置a＝0.4～0.6。
在一种优选实施方式中，a＝0.4，若所述识别点P在识别线L上方，输出结果为笑脸。
在另一种优选实施方式中，a＝0.6，若所述识别点P在识别线L下方，输出结果为悲伤或愤怒。
在本发明的另一种优选实施方式中，一种表情识别方法，是这样实施的：包括根据上述任一所述的基于嘴部特征的快速表情识别方法和精准判定方法。本发明中的基于嘴部特征的快速表情识别方法，可作为降低计算量的预判算法，在快速判断图片中的表情可能为笑脸或嘟嘴或其他表情后，可进一步将突破进行精准判断。此时，可采用现有技术中的任意精准判定方法，从而同时实现快速和精准的判定过程，与现有技术相比，大大降低计算量。
需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于嘴部特征的快速表情识别方法，其特征在于，包括如下的步骤：
S1面部识别：在原始图片中识别人脸，框定脸部范围A1，识别人物鼻部，以鼻梁线方向为Y轴，垂直Y轴方向为X轴；
S2嘴部识别：在A1中识别嘴部，框定嘴部范围A2，计算A2中每个像素点的X、Y位置参数；
S3特征点定位：从A2中识别上唇最高端点P1、下唇最低端点P2、左嘴角外侧P3和右嘴角外侧P4，其中P1坐标为(x1，y1)、P2坐标为(x2，y2)、P3坐标为(x3，y3)、P4坐标为(x4，y4)，此四点形成一个长方形包闭，在该长方形的Y轴方向的上方比例为a的位置画一条识别线L，连接左嘴角外侧P3和右嘴角外侧P4，形成一条线段，取该线段的中点为识别点P；
S4识别与输出：对比识别点P与识别线L的位置关系，输出结果。
2.根据权利要求1所述的基于嘴部特征的快速表情识别方法，其特征在于，a＝0.4～0.6。
3.根据权利要求2所述的基于嘴部特征的快速表情识别方法，其特征在于，a＝0.4～0.5，若所述识别点P在识别线L上方，输出结果为笑脸。
4.根据权利要求2所述的基于嘴部特征的快速表情识别方法，其特征在于，a＝0.5～0.6，若所述识别点P在识别线L下方，输出结果为悲伤或愤怒。
5.根据权利要求3或4所述的基于嘴部特征的快速表情识别方法，其特征在于，对脸部范围A1的框定范围，可在各边界上包容2～10个像素的误差。
6.根据权利要求5所述的基于嘴部特征的快速表情识别方法，其特征在于，对嘴部范围A2的框定范围，可在各边界上包容1～3个像素的误差。
CN201610567124.7A 2016-07-05 2016-07-05 一种基于嘴部特征的快速表情识别方法 Active CN106250815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610567124.7A CN106250815B (zh) 2016-07-05 2016-07-05 一种基于嘴部特征的快速表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610567124.7A CN106250815B (zh) 2016-07-05 2016-07-05 一种基于嘴部特征的快速表情识别方法

Publications (2)

Publication Number Publication Date
CN106250815A CN106250815A (zh) 2016-12-21
CN106250815B true CN106250815B (zh) 2019-09-20

Family

ID=57613991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610567124.7A Active CN106250815B (zh) 2016-07-05 2016-07-05 一种基于嘴部特征的快速表情识别方法

Country Status (1)

Country Link
CN (1) CN106250815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633205B (zh) * 2017-08-17 2019-01-18 平安科技（深圳）有限公司 嘴唇动作分析方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098901A (ja) * 2007-10-16 2009-05-07 Nippon Telegr & Teleph Corp <Ntt> 表情検出方法及び装置及びプログラム
CN101436312A (zh) * 2008-12-03 2009-05-20 腾讯科技（深圳）有限公司 一种生成视频动画的方法及装置
CN101604382A (zh) * 2009-06-26 2009-12-16 华中师范大学 一种基于面部表情识别的学习疲劳识别干预方法
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098901A (ja) * 2007-10-16 2009-05-07 Nippon Telegr & Teleph Corp <Ntt> 表情検出方法及び装置及びプログラム
CN101436312A (zh) * 2008-12-03 2009-05-20 腾讯科技（深圳）有限公司 一种生成视频动画的方法及装置
CN101604382A (zh) * 2009-06-26 2009-12-16 华中师范大学 一种基于面部表情识别的学习疲劳识别干预方法
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法

Also Published As

Publication number Publication date
CN106250815A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
US10783354B2 (en) Facial image processing method and apparatus, and storage medium
CN110363124B (zh) 基于人脸关键点与几何形变的快速表情识别及应用方法
US20170153711A1 (en) Visual Language for Human Computer Interfaces
WO2021164283A1 (zh) 基于语义分割的服装颜色识别方法、装置和系统
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
EP2706507A1 (en) Method and apparatus for generating morphing animation
CN103201763A (zh) 属性确定方法、属性确定装置、程序、记录介质及属性确定系统
CN103927016A (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
RU2016107189A (ru) Устройства, системы и способы виртуализации зеркала
JP2002175538A (ja) 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
TW201445457A (zh) 虛擬眼鏡試戴方法及其裝置
Shangeetha et al. Computer vision based approach for Indian Sign Language character recognition
CN104679242A (zh) 基于单目视觉复杂背景下的手势分割方法
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN109961016A (zh) 面向智能家居场景的多手势精准分割方法
CN103218600A (zh) 一种实时人脸检测算法
CN109389085A (zh) 基于参数化曲线的唇语识别模型训练方法及装置
CN109063534A (zh) 一种基于图像的购物识别和表意方法
CN106250815B (zh) 一种基于嘴部特征的快速表情识别方法
CN115512417A (zh) 面部参数确定方法、装置、电子设备及存储介质
CN107357422A (zh) 摄像机‑投影交互触控方法、装置及计算机可读存储介质
CN109448093A (zh) 一种风格图像生成方法及装置
CN111524204B (zh) 一种人像发丝动漫化纹理生成方法
El Sibai et al. A new robust approach for real-time hand detection and gesture recognition
US20190138106A1 (en) Screen display control method and screen display control system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant