CN110121715A - 基于表情识别的呼救方法、装置、电子设备及存储介质 - Google Patents
基于表情识别的呼救方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110121715A CN110121715A CN201980000283.0A CN201980000283A CN110121715A CN 110121715 A CN110121715 A CN 110121715A CN 201980000283 A CN201980000283 A CN 201980000283A CN 110121715 A CN110121715 A CN 110121715A
- Authority
- CN
- China
- Prior art keywords
- user
- motion feature
- facial image
- preset
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供一种基于表情识别方法、装置、电子设备及存储介质。该方法，包括：采集用户的人脸图像序列；从所述人脸图像序列中提取出运动特征；根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号。从而可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
Description
技术领域
本申请涉及信息处理技术领域，尤其涉及一种基于表情识别的呼救方法、装置、电子设备及存储介质。
背景技术
随着信息技术和网络技术的迅猛发展，人们对身份识别技术的需求越来越多，对其安全可靠性的要求也越来越严格。基于传统密码认证的身份识别技术在实际信息网络应用中己经暴露出许多不足之处，而基于生物特征辨别的身份识别技术近年来日益成熟，并在实际应用中展现出极大的优越性。
目前，基于3D人脸识别技术的身份验证方式被广泛地应用于各种智能终端中，例如：手机、电脑，电子门锁等等。智能终端通过采集人脸特征来进行用户身份的验证。
但是，这种3D人脸识别技术容易被犯罪分子利用，如通过胁迫被害人来完成身份验证，从而导致了用户的财产损失。
发明内容
本发明提供一种基于表情识别的呼救方法、装置、电子设备及存储介质，可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
第一方面，本发明实施例提供一种基于表情识别的呼救方法，包括：
采集用户的人脸图像序列；
从所述人脸图像序列中提取出运动特征；
根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；
若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号。
在一种可能的设计中，采集用户的人脸图像序列，包括：
通过至少一个摄像头采集用户的人脸图像；
判断所述人脸图像是否符合预设要求，若符合预设要求，则保存所述人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，所述预设要求是指：所述人脸图像中包含完整的面部区域，且所述人脸图像的清晰度大于预设阈值；
判断所述人脸图像的数量是否达到预设数量，若是，则将所述预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
在一种可能的设计中，从所述人脸图像序列中提取出运动特征，包括：
将所述人脸图像序列的面部区域划分成多个运动单元；
对所述运动单元进行特征提取，得到各个运动单元对应的运动特征；其中，所有运动单元的运动特征构成所述人脸图像的运动特征。
在一种可能的设计中，根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别，包括：
通过面部行为编码系统FACS中运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；
根据各个运动单元所对应的情绪类别，确定用户当前情绪类别；所述当前情绪类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
在一种可能的设计中，所述目标类别包括：恐惧、痛苦、预设表情；所述预设表情为用户预先录入的自定义表情。
在一种可能的设计中，若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号，包括：
通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，所述预设平台包括：小区安保平台、公安局报警平台。
第二方面，本发明实施例提供一种基于表情识别的呼救装置，包括：
采集模块，用于采集用户的人脸图像序列；
提取模块，用于从所述人脸图像序列中提取出运动特征；
确定模块，用于根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；
发送模块，用于在所述运动特征属于目标类别时，向预设平台发送预设的呼救信号。
在一种可能的设计中，所述采集模块，具体用于：
通过至少一个摄像头采集用户的人脸图像；
判断所述人脸图像是否符合预设要求，若符合预设要求，则保存所述人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，所述预设要求是指：所述人脸图像中包含完整的面部区域，且所述人脸图像的清晰度大于预设阈值；
判断所述人脸图像的数量是否达到预设数量，若是，则将所述预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
在一种可能的设计中，所述提取模块，具体用于：
将所述人脸图像序列的面部区域划分成多个运动单元；
对所述运动单元进行特征提取，得到各个运动单元对应的运动特征；其中，所有运动单元的运动特征构成所述人脸图像的运动特征。
在一种可能的设计中，所述确定模块，具体用于：
通过面部行为编码系统FACS中所述运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；
根据各个运动单元所对应的情绪类别，确定用户当前情绪类别；所述当前情绪类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
在一种可能的设计中，所述目标类别包括：恐惧、痛苦、预设表情；所述预设表情为用户预先录入的自定义表情。
在一种可能的设计中，所述发送模块，具体用于：
通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，所述预设平台包括：小区安保平台、公安局报警平台。
第三方面，本发明实施例提供一种电子设备，包括：图像采集器、处理器和存储器；所述存储器中存储有算法程序，所述图像采集器用于采集用户的人脸图像；所述处理器用于调取所述存储器中的算法程序，执行如第一方面中任一项所述的基于表情识别的呼救方法。
第四方面，本发明实施例提供一种门禁系统，包括：图像采集器、处理器、存储器、门锁、通讯设备；所述存储器中存储有算法程序，所述图像采集器用于采集用户的人脸图像；所述处理器用于调取所述存储器中的算法程序，执行如第一方面中任一项所述的基于表情识别的呼救方法；其中：
若运动特征属于目标类别，则控制门锁延迟开启或者拒绝开启，并通过所述通讯设备向预设平台发送预设的呼救信号。
第四方面，本发明实施例提供一种计算机可读存储介质，包括：程序指令，当其在计算机上运行时，使得计算机执行所述程序指令，以实现如第一方面中任一项所述的基于表情识别的呼救方法。
本发明提供的基于表情识别的呼救方法、装置、设备及存储介质，通过采集用户的人脸图像序列；从所述人脸图像序列中提取出运动特征；根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号。从而可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单的介绍。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的原理示意图；
图2为本发明实施例一提供的基于表情识别的呼救方法的流程图；
图3为本发明实施例二提供的基于表情识别的呼救装置的结构示意图；
图4为本发明实施例三提供的电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开提到的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
随着信息技术和网络技术的迅猛发展，人们对身份识别技术的需求越来越多，对其安全可靠性的要求也越来越严格。基于传统密码认证的身份识别技术在实际信息网络应用中己经暴露出许多不足之处，而基于生物特征辨别的身份识别技术近年来日益成熟，并在实际应用中展现出极大的优越性。
目前，基于3D人脸识别技术的身份验证方式被广泛地应用于各种智能终端中，例如：手机、电脑，电子门锁等等。智能终端通过采集人脸特征来进行用户身份的验证。
但是，这种3D人脸识别技术容易被犯罪分子利用，如通过胁迫被害人来完成身份验证，从而导致了用户的财产损失。例如，犯罪分子需要通过胁迫受害人，进行人脸识别开门、转账等操作，从而造成了受害人的财物损失。
根据人脸的解剖学特点，可以将人脸区域划分成若干既相互独立又相互联系的AU(Action Unit，运动单元)。Ekman教授分析了这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，并于1976提出来面部行为编码系统(Facial Action CodingSystem，FACS)。
本发明提供一种基于表情识别的呼救方法，可以对识别人的脸部微表情进行识别，进而判断识别人情绪状态结果。若识别到人脸恐惧、痛苦或特定的微表情时，则进行SoS紧急呼救，将受害人被劫持和胁迫的消息隐秘地发送出去。本发明的方法具有以下特点：1)在犯罪分子不知情的情况下利用面部行为编码系统对人脸的情绪识别，在判断情况痛苦或恐惧表情时，自动启动SoS呼救。2)可以设定特定的微表情进行SoS启动呼救操作。本方法可以应用于人脸识别的终端设备、手机、平板以及门锁类消费电子系统商品。
在具体的实现过程中，图1为本发明一应用场景的原理示意图，如图1所示，基于表情识别的呼救装置10，包括：采集模块、提取模块、确定模块、发送模块。基于表情识别的呼救装置10的采集模块，用于采集用户的人脸图像序列；基于表情识别的呼救装置10的提取模块，用于从人脸图像序列中提取出运动特征；基于表情识别的呼救装置10的确定模块，用于根据运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；基于表情识别的呼救装置10的发送模块，用于在用户当前情绪类别属于目标类别时，向预设平台20发送预设的呼救信号。
需要说明的是，预设平台20可以同时接收多个基于表情识别的呼救装置10的呼救信号。
应用上述方法可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的基于表情识别的呼救方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、采集用户的人脸图像序列。
本实施例中，通过至少一个摄像头采集用户的人脸图像；判断人脸图像是否符合预设要求，若符合预设要求，则保存人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，预设要求是指：人脸图像中包含完整的面部区域，且人脸图像的清晰度大于预设阈值；判断人脸图像的数量是否达到预设数量，若是，则将预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
具体地，通过至少一个摄像头采集用户的人脸图像，例如，采用两个摄像头，其中一个为拍摄可见光摄像头，另一个滤除可见光的近红外摄像头。两个摄像头为同时或者在预设时间差内对用户的脸部进行拍照。然后，在人脸图像中判断包含完整的面部区域，且人脸图像的清晰度大于预设阈值。若不符合该要求，则摄像头重新对焦，扩大或缩小拍照范围，重新进行拍照，采集用户的人脸图像。再然后，判断人脸图像的数量是否达到预设数量。若是，则将预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。这是因为人脸图像序列的采集是本发明的基础，采集的图像序列既要满足图像质量要求，也要满足图像数量要求。在该过程中，要有效地判断被采集的对象是活体，而不是其他仿照物，例如静态照片等。人类面部有42块肌肉，它们分别由大脑的不同区域控制，有些是可以由意识直接控制，有些则不容易用意识控制。人脸图像的序列，构成了人脸表情的变化过程，可以从其中提取用户的情绪。
需要说明的是，本实施例不限定人脸图像的采集设备，本领域的技术人员可以根据实际情况增加或者减少人脸图像的采集设备。
S102、从人脸图像序列中提取出运动特征。
本实施例中，将人脸图像序列的面部区域划分成多个运动单元；对运动单元进行特征提取，得到运动单元对应的运动特征。
具体地，可以将人脸的面部区域划分为左眼区域、右眼区域、鼻子区域、嘴唇区域、左脸颊区域、右脸颊区域等多个运动单元。也可以根据人脸肌肉，将面部区域进一步详细划分为上眼睑、下眼睑、鼻翼、人中、下颌等多个运动单元。从人脸图像序列中，提取这些运动单元的运动特征。例如，双眉抬升并皱起、上眼睑抬升、下眼睑紧张、双唇往双耳方向缩回等运动特征。
S103、根据运动特征与情绪类别之间的映射关系，确定运动特征是否属于目标类别。
本实施例中，通过面部行为编码系统FACS中运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；根据各个运动单元所对应的情绪类别，确定用户的当前情绪类别；其中，当前情绪的类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
具体地，通过面部行为编码系统FACS获取运动特征与情绪之间的映射关系，然后，根据运动特征对应的情绪，确定每个运动单元对应的情绪。例如，双眉抬升并皱起表示的情绪是恐惧、悲伤，上眼睑抬升表示的情绪是恐惧、悲伤，下眼睑紧张表示的情绪是恐惧、悲伤，双唇往双耳方向缩回表示的情绪是恐惧。综合各个运动单元对应的不同情绪的概率，然后还可以对每个运动单元设置权重，计算综合分值最高的作为用户当前情绪的类别。例如，从人脸图像序列中识别出，双眉抬升并皱起、上眼睑抬升、下眼睑紧张、双唇往双耳方向缩回等的运动特征，判断出恐惧情绪的概率值为最高，悲伤情绪的概率值次之，最终认定用户的情绪为恐惧。
S104、若运动特征属于目标类别，则向预设平台发送预设的呼救信号。
本实施例中，若判断出用户当前情绪类别属于目标类别，则向预设平台发送呼救信号。目标类别包括：恐惧、痛苦、预设表情；预设表情为用户预先录入的自定义表情。
可选地，可以通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，所述预设平台包括：小区安保平台、公安局报警平台。
具体地，若识别出用户的情绪为恐惧、痛苦、预设表情，表示用户被犯罪分子挟持的概率很高，则向110的报警平台发送呼救信息。其中，呼救信息可以是电话、短信息、视频等任何形式。呼救信息可以包括呼救地点、呼救时间、呼救人员等信息。也可以进一步通过摄像头拍摄环境图像或视频，并将环境图像或视频发送给呼救平台。
可选地，预设的平台，也可以是用户自主设置的紧急联系人，如父母等。若用户当前情绪属于目标类别，则向紧急联系人发送呼救信号。另外，用户也可以自主设置特定的表情，作为呼救信号的触发信息。例如，预先输入瞪眼3次作为触发信号，则如果人脸图像序列中包含该预设的表情时，则向预设平台发送呼救信号。
需要说明的是，本实施例不限定预设平台的具体类型，本领域的技术人员可以根据实际情况增加或者减少预设平台的类型，例如将110报警平台作为预设平台，或者将用户设置的紧急联系人作为预设平台。本实施例也不限定呼救信号的具体类型，本领域的技术人员可以根据实际情况增加或者减少呼救信号的类型，例如呼救信息可以是电话、短信息、视频等任何形式。
需要说明的是，本实施例也不限定呼救信号的具体内容，本领域的技术人员可以根据实际情况增加或者减少呼救信号的内容，例如呼救信息可以包括呼救地点、呼救时间、呼救人员等信息，也可以进一步包括摄像头拍摄环境图像或视频。
本实施例，通过采集用户的人脸图像序列；从人脸图像序列中提取出运动特征；根据运动特征与情绪类别之间的映射关系，确定运动特征是否属于目标类别；若运动特征属于目标类别，则向预设平台发送预设的呼救信号。从而可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
图3为本发明实施例二提供的基于表情识别的呼救装置的结构示意图，如图3所示，本实施例的基于表情识别的呼救装置可以包括：
采集模块31，用于采集用户的人脸图像序列；
提取模块32，用于从人脸图像序列中提取出运动特征；
确定模块33，用于根据运动特征与情绪类别之间的映射关系，确定运动特征是否属于目标类别；
发送模块34，用于在运动特征属于目标类别时，向预设平台发送预设的呼救信号。
在一种可能的设计中，采集模块31，具体用于：
通过至少一个摄像头采集用户的人脸图像；
判断人脸图像是否符合预设要求，若符合预设要求，则保存人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，预设要求是指：人脸图像中包含完整的面部区域，且人脸图像的清晰度大于预设阈值；
判断人脸图像的数量是否达到预设数量，若是，则将预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
在一种可能的设计中，提取模块32，具体用于：
将人脸图像序列的面部区域划分成多个运动单元；
对运动单元进行特征提取，得到各个运动单元对应的运动特征；其中，所有运动单元的运动特征构成人脸图像的运动特征。
在一种可能的设计中，确定模块33，具体用于：
通过面部行为编码系统FACS中运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；
根据各个运动单元所对应的情绪类别，确定用户的当前情绪类别；当前情绪类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
在一种可能的设计中，目标类别包括：恐惧、痛苦、预设表情；预设表情为用户预先录入的自定义表情。
在一种可能的设计中，所述发送模块34，具体用于：
通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，预设平台包括：小区安保平台、公安局报警平台。
本实施例的基于表情识别的呼救装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
本实施例，通过采集用户的人脸图像序列；从人脸图像序列中提取出运动特征；根据运动特征与情绪之间的映射关系，确定用户当前情绪的类别；若用户当前情绪属于目标类别，则向预设平台发送呼救信号。从而可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
图4为本发明实施例三提供的电子设备的结构示意图，如图4所示，本实施例中的电子设备40包括：
图像采集器44、处理器41以及存储器42；其中：
图像采集器44，用于采集用户的人脸图像。
存储器42，用于存储可执行指令，该存储器还可以是flash(闪存)。
处理器41，用于执行存储器存储的可执行指令，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器42既可以是独立的，也可以跟处理器41集成在一起。
当存储器42是独立于处理器41之外的器件时，电子设备40还可以包括：
总线43，用于连接存储器42和处理器41。
本实施例中的电子设备可以执行图2所示的方法，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
可选地，该电子设备可以是人脸识别的终端设备、手机、平板以及门锁类消费电子系统商品。
本发明实施例还提供一种门禁系统，包括：图像采集器、处理器、存储器、门锁、通讯设备；所述存储器中存储有算法程序，所述图像采集器用于采集用户的人脸图像；所述处理器用于调取所述存储器中的算法程序，执行如图2所示的基于表情识别的呼救方法；其中：
若运动特征属于目标类别，则控制门锁延迟开启或者拒绝开启，并通过所述通讯设备向预设平台发送预设的呼救信号。
需要说明的是，本实施例不限定电子设备的具体类型，任何具备人脸识别功能的电子设备中均可以加载本实施例中图2所示的方法，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
本实施例，通过采集用户的人脸图像序列；从人脸图像序列中提取出运动特征；根据运动特征与情绪类别之间的映射关系，确定运动特征是否属于目标类别；若运动特征属于目标类别，则向预设平台发送预设的呼救信号。从而可以根据用户的表情变化来解析用户的情绪，并在发现用户情绪异常时，自动生成呼救信号，从而实现隐秘呼救，保证用户的人身和财产安全。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于应用专用集成电路(ASIC)中。另外，该应用专用集成电路可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (15)
1.一种基于表情识别的呼救方法，其特征在于，包括：
采集用户的人脸图像序列；
从所述人脸图像序列中提取出运动特征；
根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；
若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号。
2.根据权利要求1所述的方法，其特征在于，采集用户的人脸图像序列，包括：
通过至少一个摄像头采集用户的人脸图像；
判断所述人脸图像是否符合预设要求，若符合预设要求，则保存所述人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，所述预设要求是指：所述人脸图像中包含完整的面部区域，且所述人脸图像的清晰度大于预设阈值；
判断所述人脸图像的数量是否达到预设数量，若是，则将所述预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
3.根据权利要求1所述的方法，其特征在于，从所述人脸图像序列中提取出运动特征，包括：
将所述人脸图像序列的面部区域划分成多个运动单元；
对所述运动单元进行特征提取，得到各个运动单元对应的运动特征；其中，所有运动单元的运动特征构成所述人脸图像的运动特征。
4.根据权利要求3所述的方法，其特征在于，根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别，包括：
通过面部行为编码系统FACS中运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；
根据各个运动单元所对应的情绪类别，确定用户的当前情绪类别；所述当前情绪类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
5.根据权利要求1所述的方法，其特征在于，所述目标类别包括：恐惧、痛苦、预设表情；所述预设表情为用户预先录入的自定义表情。
6.根据权利要求1-5中任一所述的方法，其特征在于，若所述运动特征属于目标类别，则向预设平台发送预设的呼救信号，包括：
通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，所述预设平台包括：小区安保平台、公安局报警平台。
7.一种基于表情识别的呼救装置，其特征在于，包括：
采集模块，用于采集用户的人脸图像序列；
提取模块，用于从所述人脸图像序列中提取出运动特征；
确定模块，用于根据所述运动特征与情绪类别之间的映射关系，确定所述运动特征是否属于目标类别；
发送模块，用于在所述运动特征属于目标类别时，向预设平台发送预设的呼救信号。
8.根据权利要求7所述的装置，其特征在于，所述采集模块，具体用于：
通过至少一个摄像头采集用户的人脸图像；
判断所述人脸图像是否符合预设要求，若符合预设要求，则保存所述人脸图像；若不符合预设要求，则重新采集用户的人脸图像；其中，所述预设要求是指：所述人脸图像中包含完整的面部区域，且所述人脸图像的清晰度大于预设阈值；
判断所述人脸图像的数量是否达到预设数量，若是，则将所述预设数量的人脸图像按照拍摄时间顺序排列，以构成用户的人脸图像序列；若否，则重新采集用户的人脸图像，直到采集到预设数量的人脸图像。
9.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于：
将所述人脸图像序列的面部区域划分成多个运动单元；
对所述运动单元进行特征提取，得到各个运动单元对应的运动特征；其中，所有运动单元的运动特征构成所述人脸图像的运动特征。
10.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于：
通过面部行为编码系统FACS中所述运动特征与情绪类别之间的映射关系，确定各个运动单元对应的运动特征所属的情绪类别；
根据各个运动单元所对应的情绪类别，确定用户的当前情绪类别；所述当前情绪类别包括：愉快、平静、愤怒、恐惧、痛苦、悲伤。
11.根据权利要求7所述的装置，其特征在于，所述目标类别包括：恐惧、痛苦、预设表情；所述预设表情为用户预先录入的自定义表情。
12.根据权利要求7-11中任一所述的装置，其特征在于，所述发送模块，具体用于：
通过本地通讯设备向预设平台发送预设的呼救信号，和/或通过预先关联的终端向预设平台发送预设的呼救信号；其中，所述预设平台包括：小区安保平台、公安局报警平台。
13.一种电子设备，其特征在于，包括：图像采集器、处理器和存储器；所述存储器中存储有算法程序，所述图像采集器用于采集用户的人脸图像；所述处理器用于调取所述存储器中的算法程序，执行如权利要求1-6中任一项所述的基于表情识别的呼救方法。
14.一种门禁系统，其特征在于，包括：图像采集器、处理器、存储器、门锁、通讯设备；所述存储器中存储有算法程序，所述图像采集器用于采集用户的人脸图像；所述处理器用于调取所述存储器中的算法程序，执行如权利要求1-6中任一项所述的基于表情识别的呼救方法；其中：
若运动特征属于目标类别，则控制门锁延迟开启或者拒绝开启，并通过所述通讯设备向预设平台发送预设的呼救信号。
15.一种计算机可读存储介质，其特征在于，包括：程序指令，当其在计算机上运行时，使得计算机执行所述程序指令，以实现如权利要求1-6中任一项所述的基于表情识别的呼救方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/075482 WO2020168468A1 (zh) | 2019-02-19 | 2019-02-19 | 基于表情识别的呼救方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110121715A true CN110121715A (zh) | 2019-08-13 |
Family
ID=67524569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980000283.0A Pending CN110121715A (zh) | 2019-02-19 | 2019-02-19 | 基于表情识别的呼救方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110121715A (zh) |
| WO (1) | WO2020168468A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110491009A (zh) * | 2019-09-03 | 2019-11-22 | 北京华捷艾米科技有限公司 | 基于智能识别摄像头的家庭防盗方法及系统 |
| CN110493474A (zh) * | 2019-09-20 | 2019-11-22 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
| CN110555970A (zh) * | 2019-09-03 | 2019-12-10 | 亳州职业技术学院 | 一种基于图像识别的语音导游系统 |
| CN111428572A (zh) * | 2020-02-28 | 2020-07-17 | 中国工商银行股份有限公司 | 信息处理方法、装置、电子设备和介质 |
| CN111429632A (zh) * | 2020-03-11 | 2020-07-17 | 四川花间阁文化传媒有限责任公司 | 一种防疫应急管控双面智慧门设备及系统 |
| CN111429630A (zh) * | 2020-03-11 | 2020-07-17 | 四川花间阁文化传媒有限责任公司 | 一套防疫应急管控门服系统及设备 |
| CN111540177A (zh) * | 2020-04-22 | 2020-08-14 | 德施曼机电（中国）有限公司 | 一种基于信息识别的防劫持报警方法和系统 |
| WO2020168468A1 (zh) * | 2019-02-19 | 2020-08-27 | 深圳市汇顶科技股份有限公司 | 基于表情识别的呼救方法、装置、电子设备及存储介质 |
| CN112489278A (zh) * | 2020-11-18 | 2021-03-12 | 安徽领云物联科技有限公司 | 一种门禁识别方法及系统 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN113031456A (zh) * | 2019-12-25 | 2021-06-25 | 佛山市云米电器科技有限公司 | 家电设备控制方法、系统、设备及计算机可读存储介质 |
| CN113129551A (zh) * | 2021-03-23 | 2021-07-16 | 广州宸祺出行科技有限公司 | 一种通过司机微表情自动报警的方法、系统、介质和设备 |
| CN113569784A (zh) * | 2021-08-04 | 2021-10-29 | 重庆电子工程职业学院 | 一种内河航运执法系统及方法 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114224286A (zh) * | 2020-09-08 | 2022-03-25 | 上海联影医疗科技股份有限公司 | 一种乳腺检查的压迫方法、装置、终端和介质 |
| CN112691029A (zh) * | 2020-12-25 | 2021-04-23 | 深圳市元征科技股份有限公司 | 一种经络数据处理方法、装置、设备及存储介质 |
| CN112926407A (zh) * | 2021-02-02 | 2021-06-08 | 华南师范大学 | 基于校园欺凌的求救信号检测方法、装置及系统 |
| CN113017634B (zh) * | 2021-03-22 | 2022-10-25 | Oppo广东移动通信有限公司 | 情绪评估方法、装置、电子设备和计算机可读存储介质 |
| CN114125145B (zh) * | 2021-10-19 | 2022-11-18 | 华为技术有限公司 | 显示屏解锁的方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392112A (zh) * | 2017-06-28 | 2017-11-24 | 中山职业技术学院 | 一种人脸表情识别方法及其应用的智能锁系统 |
| CN107944434A (zh) * | 2015-06-11 | 2018-04-20 | 广东欧珀移动通信有限公司 | 一种基于旋转摄像头的报警方法及终端 |
| CN108449514A (zh) * | 2018-03-29 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 信息处理方法和装置 |
| TW201907329A (zh) * | 2017-07-03 | 2019-02-16 | 中華電信股份有限公司 | 具備臉部辨識之門禁系統 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5133677B2 (ja) * | 2007-12-27 | 2013-01-30 | 株式会社カーメイト | 監視システム |
| KR101317047B1 (ko) * | 2012-07-23 | 2013-10-11 | 충남대학교산학협력단 | 얼굴표정을 이용한 감정인식 장치 및 그 제어방법 |
| CN104994335A (zh) * | 2015-06-11 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种报警的方法及终端 |
| CN110121715A (zh) * | 2019-02-19 | 2019-08-13 | 深圳市汇顶科技股份有限公司 | 基于表情识别的呼救方法、装置、电子设备及存储介质 |
-
2019
- 2019-02-19 CN CN201980000283.0A patent/CN110121715A/zh active Pending
- 2019-02-19 WO PCT/CN2019/075482 patent/WO2020168468A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944434A (zh) * | 2015-06-11 | 2018-04-20 | 广东欧珀移动通信有限公司 | 一种基于旋转摄像头的报警方法及终端 |
| CN107392112A (zh) * | 2017-06-28 | 2017-11-24 | 中山职业技术学院 | 一种人脸表情识别方法及其应用的智能锁系统 |
| TW201907329A (zh) * | 2017-07-03 | 2019-02-16 | 中華電信股份有限公司 | 具備臉部辨識之門禁系統 |
| CN108449514A (zh) * | 2018-03-29 | 2018-08-24 | 百度在线网络技术（北京）有限公司 | 信息处理方法和装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168468A1 (zh) * | 2019-02-19 | 2020-08-27 | 深圳市汇顶科技股份有限公司 | 基于表情识别的呼救方法、装置、电子设备及存储介质 |
| CN110555970A (zh) * | 2019-09-03 | 2019-12-10 | 亳州职业技术学院 | 一种基于图像识别的语音导游系统 |
| CN110491009A (zh) * | 2019-09-03 | 2019-11-22 | 北京华捷艾米科技有限公司 | 基于智能识别摄像头的家庭防盗方法及系统 |
| CN110493474A (zh) * | 2019-09-20 | 2019-11-22 | 北京搜狗科技发展有限公司 | 一种数据处理方法、装置和电子设备 |
| CN113031456A (zh) * | 2019-12-25 | 2021-06-25 | 佛山市云米电器科技有限公司 | 家电设备控制方法、系统、设备及计算机可读存储介质 |
| CN113031456B (zh) * | 2019-12-25 | 2023-12-12 | 佛山市云米电器科技有限公司 | 家电设备控制方法、系统、设备及计算机可读存储介质 |
| CN111428572A (zh) * | 2020-02-28 | 2020-07-17 | 中国工商银行股份有限公司 | 信息处理方法、装置、电子设备和介质 |
| CN111428572B (zh) * | 2020-02-28 | 2023-07-25 | 中国工商银行股份有限公司 | 信息处理方法、装置、电子设备和介质 |
| CN111429632A (zh) * | 2020-03-11 | 2020-07-17 | 四川花间阁文化传媒有限责任公司 | 一种防疫应急管控双面智慧门设备及系统 |
| CN111429630A (zh) * | 2020-03-11 | 2020-07-17 | 四川花间阁文化传媒有限责任公司 | 一套防疫应急管控门服系统及设备 |
| CN111540177A (zh) * | 2020-04-22 | 2020-08-14 | 德施曼机电（中国）有限公司 | 一种基于信息识别的防劫持报警方法和系统 |
| CN112489278A (zh) * | 2020-11-18 | 2021-03-12 | 安徽领云物联科技有限公司 | 一种门禁识别方法及系统 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN113129551A (zh) * | 2021-03-23 | 2021-07-16 | 广州宸祺出行科技有限公司 | 一种通过司机微表情自动报警的方法、系统、介质和设备 |
| CN113569784A (zh) * | 2021-08-04 | 2021-10-29 | 重庆电子工程职业学院 | 一种内河航运执法系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020168468A1 (zh) | 2020-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110121715A (zh) | 基于表情识别的呼救方法、装置、电子设备及存储介质 | |
| CN103324918B (zh) | 一种人脸识别与唇形识别相配合的身份认证方法 | |
| CN109359548A (zh) | 多人脸识别监控方法及装置、电子设备及存储介质 | |
| CN105072327B (zh) | 一种防闭眼的人像拍摄处理的方法和装置 | |
| CN104519263B (zh) | 一种图像获取的方法及电子设备 | |
| CN107437067A (zh) | 人脸活体检测方法及相关产品 | |
| EP3287939A1 (en) | Security inspection image discrimination system and image discrimination method comprising video analysis | |
| CN106599660A (zh) | 终端安全验证方法及装置 | |
| CN106372627A (zh) | 基于脸部图像识别的自动拍照方法和装置、电子设备 | |
| CN109829370A (zh) | 人脸识别方法及相关产品 | |
| CN109410387A (zh) | 一种人脸识别监狱安防管理方法及系统 | |
| CN107622246A (zh) | 人脸识别方法及相关产品 | |
| CN208351494U (zh) | 人脸识别系统 | |
| CN107346419A (zh) | 虹膜识别方法、电子装置和计算机可读存储介质 | |
| CN108521369B (zh) | 信息传递方法、接收终端设备及发送终端设备 | |
| JP5679687B2 (ja) | 情報処理装置およびその動作方法 | |
| CN109800638A (zh) | 一种基于人脸识别技术的重点人监控方法 | |
| Liu et al. | Offset or onset frame: A multi-stream convolutional neural network with capsulenet module for micro-expression recognition | |
| CN112511746A (zh) | 车内拍照处理方法及装置、计算机可读存储介质 | |
| CN108898058A (zh) | 心理活动的识别方法、智能领带及存储介质 | |
| CN112199530A (zh) | 多维度脸库图片自动更新方法、系统、设备及介质 | |
| CN104318209B (zh) | 虹膜图像采集方法和设备 | |
| CN109858400A (zh) | 人脸识别抓拍数据库匹配系统 | |
| CN107595301A (zh) | 智能眼镜以及基于情绪识别推送消息的方法 | |
| CN110148234A (zh) | 校园刷脸接送交互方法、存储介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |
|
| RJ01 | Rejection of invention patent application after publication |