CN108460329A - 一种基于深度学习检测的人脸手势配合验证方法 - Google Patents

一种基于深度学习检测的人脸手势配合验证方法 Download PDF

Info

Publication number
CN108460329A
CN108460329A CN201810035341.0A CN201810035341A CN108460329A CN 108460329 A CN108460329 A CN 108460329A CN 201810035341 A CN201810035341 A CN 201810035341A CN 108460329 A CN108460329 A CN 108460329A
Authority
CN
China
Prior art keywords
detection
face
gesture
head
shoulder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810035341.0A
Other languages
English (en)
Other versions
CN108460329B (zh
Inventor
任俊芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810035341.0A priority Critical patent/CN108460329B/zh
Publication of CN108460329A publication Critical patent/CN108460329A/zh
Application granted granted Critical
Publication of CN108460329B publication Critical patent/CN108460329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度学习检测的人脸手势配合验证方法,其主要目的在于使用适用于低功耗设备的算法完成人脸和手势的检测,以达到人脸—手势配合验证的效果。是一种利用深度残差卷积神经网络在大幅缩小后的图像中进行头肩整体检测,再根据头肩出现的范围检测人脸,最后根据头肩的位置检测手势,并根据检出的人脸和手势验证触发条件的方法。相比于传统的基于手势的验证系统,本发明拥有更好的稳定性,大大降低了用户误触发和系统的失灵,拥有很好的稳定性。可广泛应用于手机、家电验证开关机的方法。

Description

一种基于深度学习检测的人脸手势配合验证方法
技术领域
本发明涉及人工神经网络、计算机视觉等技术领域,具体涉及一种基于深度学习检测的人脸手势配合验证方法。
背景技术
静态手势识别在可视交流、人机交互、增强现实等领域有重要应用。然而,在实际应用中由于光照、个体变化等因素影响,单纯手势识别很难满足具体的应用需求。近年来,在电视机、空调、空气净化器等家电行业,依靠遥控器的传统方式显得越来越笨拙,而依靠人脸加手势验证的控制方式越来越受到高端家电业、智能手机行业的重视。这里涉及的人脸加手势验证方法考虑在静态图像中同时发现人脸和特定手势,及其特定的空间位置关系,以此来判定触发条件是否达成。其中涉及的关键技术包括人脸检测和手势检测。传统的机器学习算法如Viola和Jones提出的基于AdaBoost检测框架,其使用滑动窗口加人工特征的方式完成检测功能,但在实际的复杂场景中往往导致大量的漏检和误检。在实施中需要大量的额外人力来处理,严重影响用户体验。
目前流行的深度学习检测算法大多依赖GPU加速。当前主流的目标检测算法如SSD、R-FCN、mask R-CNN等使用流行的深度网络结构如VGG-16、Resnet101等,使用普通笔记本CPU运行一次所要的时间不能满足实时地要求,而在低功耗无GPU的设备上更是会导致内存溢出问题,远远无法满足家电、手机行业低功耗设备的要求。进一步,这些设备的低功耗芯片在实际使用中往往同时运行其他程序,并对发热有严格的要求,因而现在常见的深度学习算法很难在这些设备上实施、落地。
发明内容
为了解决上述问题,本发明提供了一种基于深度学习检测的人脸手势配合验证方法。
本发明是通过如下技术方案实现的:
一种基于深度学习检测的人脸手势配合验证方法,包括如下步骤:
步骤一)人工收集和标注各种场景下人的头肩数据、人脸数据和设置的手势数据,利用深度学习框架分别建立用于头肩检测、人脸检测和手势检测的三个深度残差卷积神经网络,并且对网络进行训练;
步骤二)将由摄像头采集的图像经压缩处理后实时送入头肩检测神经网络,检测摄像头是否捕捉到了一个或多个人的头肩,若检测到人的头肩则在每一个检测到头肩的区域划出头肩检测框,再根据头肩检测框划出人脸候选框,并将原图中人脸候选框对应的图像经适当压缩后送入人脸检测神经网络进行人脸检测;
步骤三)若人脸检测神经网络检测到人脸,则根据其对应的头肩划出手势候选框,并将原图中手势候选框对应的图像经过适当压缩送入手势检测网络进行手势检测;
步骤四)手势检测神经网络每隔300毫秒确认一次手势候选框内可检测到手势,若连续两次均确认成功则验证通过验证。
进一步的,所述步骤一)中,所述头肩检测神经网络采用深度残差卷积神经网络,由16层主干网络和四个输出支路组成:
主干网络包含16个卷积层,卷积核大小均为3×3,分别在第1层、第2层和第11层卷积层步长为2,其余卷积层步长为1,按照残差结构的要求,每两个步长为1的卷积层添加一个跳连结构,每层卷积后使用线性修正单元ReLU函数进行激活;
四个输出支路各含有3个卷积层,分别接在主干网络第10层、第13层、第15层、第16层,卷积核大小均为1×1,步长为1。除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活;
进一步的,所述人脸检测神经网络和手势检测神经网络采用相同的网络结构,包括13层卷积神经网络,除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活;前10层卷积核大小均为3×3,最后3层卷积核大小为1x1;网络第1层和第2层卷积层步长为2,其余卷积层步长为1;每两个步长为1,含3x3卷积核的卷积层添加一个跳连结构;
进一步的,所述步骤二)中,为了保证网络运行的速度,先将摄像头输入的图像压缩至一个固定的尺寸,若场景中有人则头肩检测神经网络会输出若干人的头肩检测框信息,则根据压缩比例,得到实际图片中人头检测框的信息。
进一步的,所述步骤二)中,划出人脸候选框的选取方法为:设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w,其对应的人脸检测框信息包括其左下角坐标x’和y’,高、宽数据h’、w’;则有x’=x、y’=y、h’=1.15*h、w’=w。
进一步的,输入人脸检测神经网络的图像,长边被压缩至48像素,宽边等比例压缩。
进一步的,所述步骤三)中,划出手势候选框的方法为:设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w,其对应的手势检测框信息包括其左下角坐标x’和y’,高、宽数据h’、w’;则有x’=x、y’=y-1.1*h、h’=1.2*h、w’=1.2*w。
进一步的,输入手势检测神经网络的图像,长边被压缩至64像素,宽边等比例压缩。
进一步的,所述步骤四)中进行再次的手势检测时,手势候选框信息直接使用上次手势检测的手势候选框。
与现有技术相比,本发明具有以下优点:
相比于传统的基于手势的验证系统,本发明拥有更好的稳定性,大大降低了用户误触发和系统的失灵,拥有很好的稳定性。
本发明提供了可广泛应用于手机、家电验证开关机的方法。该方法先后使用了三个深度卷积神经网络,并根据具体场景的困难程度不同设计了不同深度的网络,从而在保证系统可靠性的同时保证了系统的实时性。可应用于更多低端设备上,提升用户体验。
附图说明
图1为实施例1流程示意图。
具体实施方式
实施例1
如图1所示的一种基于深度学习检测的人脸手势配合验证方法,其主要目的在于使用适用于低功耗设备的算法完成人脸和手势的检测,以达到人脸—手势配合验证的效果。是一种利用深度残差卷积神经网络在大幅缩小后的图像中进行头肩整体检测,再根据头肩出现的范围检测人脸,最后根据头肩的位置检测手势,并根据检出的人脸和手势验证触发条件的方法。该方法包括如下步骤:
S1、人工收集和标注各种场景下人的头肩数据、人脸数据和给定的手势数据(包括五指自然张开、大拇指与食指卷曲的OK型手势等,任选其一),利用现有深度学习框架分别建立头肩检测、人脸检测和手势检测的深度残差卷积神经网络,并且对网络进行训练。
S2、将由摄像头采集的数据经适当压缩后实时送入用于头肩检测的神经网络;
S3、确认摄像头是否捕捉到了人的头肩(可以是多个),若未捕捉到,转至S2,否则送入S4;
S4、将已检出的头肩区域信息逐个送入S5,直至遍历完所有头肩区域;
S5、根据头肩所在的区域,计算出人脸候选区域,并将原图中对应的该候选区经适当压缩后送入人脸检测网络;
S6、若S5中人脸检测网络未能检测到人脸,则转至S4,否则根据其对应的头肩区域确定手势的候选区域,并将原图中对应的该候选区经过适当压缩送入手势检测网络。
S7、确认摄像头是否捕捉到了特定的手势,若未捕捉到手势则转至S4;
S8、再每隔300毫秒确认一次手势候选框内可检测到手势,连续确认两次,若两次均确认成功则验证通过,否则转至S2。
其中步骤S1包括如下的步骤:
S11、人工收集常见室内外场景的头肩、人脸和手势数据并标注。
S12、用深度学习框架建立用于头肩检测的深度神经网络。
作为优选的技术方案,步骤S12中,我们采用深度残差卷积神经网络由16层主干网络和四个输出支路组成:
主干网络包含16个卷积层,卷积核大小均为3×3,分别在第1层、第2层和第11层卷积层步长为2,其余卷积层步长为1。按照残差结构的要求,每两个步长为1的卷积层添加一个跳连结构,丰富网络信息的流向。每层卷积后使用线性修正单元ReLU函数进行激活,增加网络的非线性;
四个输出支路各含有3个卷积层,分别接在主干网络第10层、第13层、第15层、第16层,卷积核大小均为1×1,步长为1。除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活;
S13、用深度学习框架建立用于人脸检测的深度卷积神经网络。
作为优选的技术方案,步骤S13中,所述神经网络包括13层卷积神经网络,除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活。前10层卷积核大小均为3×3,最后3层卷积核大小为1x1。网络第1层和第2层卷积层步长为2,其余卷积层步长为1。借鉴残差网络结构,每两个步长为1、含3x3卷积核的卷积层添加一个跳连结构;
S14、用深度学习框架建立用于手势检测的深度卷积神经网络,网络结构与S13中的网络结构相同。
S15、训练以上三个神经网络至适当的精度。
进一步地,步骤S2中,为了保证网络运行的速度,我们会对图片压缩至一个固定的尺寸,该尺寸大小视具体需求而定。通常,如果场景中的人距离镜头越近则压缩后的图像越小。
进一步地,步骤S3中,若场景中有人则神经网络会输出若干人的头肩检测框信息,进而根据上一步的压缩比例,得到实际图片中人头检测框的信息。
进一步地,步骤S5中,我们设已输入的某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w。则相应的人脸候选框由数据x’=x、y’=y、h’=1.15*h、w’=w唯一确定。进而,为了算法的速度,我们将该区域的图片截取后压缩至长边为某个固定值(实验中48为最佳)的图片送入人脸检测网络。
进一步地,步骤S6中,我们设已输入的某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w。手势候选框由数据x’=x、y’=y-1.1*h、h’=1.2*h、w’=1.2*w唯一确定(很多时候,我们需要将根据具体的应用确定手势会出现在图片范围来确定)。进而,为了算法的速度,我们将该区域的图片截取后压缩至长边为某个固定值(实验中64为最佳)的图片送入人脸检测网络。
进一步地,步骤S8中,系统睡眠300毫秒后获取摄像头图像并执行一次S6,系统再睡眠300毫秒后获取摄像头图像并执行一次S6,其中的手势候选框信息将直接使用上次S6执行中的手势候选框。
以上实施例仅用于说明本发明,但不用来限制本发明的范围,凡是依据本发明的技术实质对以下实例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于深度学习检测的人脸手势配合验证方法,其特征在于,包括如下步骤:
步骤一)人工收集和标注各种场景下人的头肩数据、人脸数据和设置的手势数据,利用深度学习框架分别建立用于头肩检测、人脸检测和手势检测的三个深度残差卷积神经网络,并且对网络进行训练;
步骤二)将由摄像头采集的图像经压缩处理后实时送入头肩检测神经网络,检测摄像头是否捕捉到了一个或多个人的头肩;若检测到人的头肩则在每一个检测到头肩的区域划出头肩检测框,再根据头肩检测框划出人脸候选框,并将原图中人脸候选框对应的图像经适当压缩后送入人脸检测神经网络进行人脸检测;
步骤三)若人脸检测神经网络检测到人脸,则根据其对应的头肩划出手势候选框,并将原图中手势候选框对应的图像经过适当压缩送入手势检测网络进行手势检测;
步骤四)手势检测神经网络每隔300毫秒确认一次手势候选框内可检测到手势,若连续两次均确认成功则验证通过验证。
2.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述步骤一)中,所述头肩检测神经网络采用深度残差卷积神经网络,由16层主干网络和四个输出支路组成:
主干网络包含16个卷积层,卷积核大小均为3×3,分别在第1层、第2层和第11层卷积层步长为2,其余卷积层步长为1,按照残差结构的要求,每两个步长为1的卷积层添加一个跳连结构,每层卷积后使用线性修正单元ReLU函数进行激活;
四个输出支路各含有3个卷积层,分别接在主干网络第10层、第13层、第15层、第16层,卷积核大小均为1×1,步长为1。除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活。
3.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述人脸检测神经网络和手势检测神经网络采用相同的网络结构,包括13层卷积神经网络,除最后一层外,每层卷积后使用线性修正单元ReLU函数进行激活;前10层卷积核大小均为3×3,最后3层卷积核大小为1x1;网络第1层和第2层卷积层步长为2,其余卷积层步长为1;每两个步长为1,含3x3卷积核的卷积层添加一个跳连结构。
4.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述步骤二)中,为了保证网络运行的速度,先将摄像头输入的图像压缩至一个固定的尺寸,若场景中有人则头肩检测神经网络会输出若干人的头肩检测框信息,则根据压缩比例,得到实际图片中人头检测框的信息。
5.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述步骤二)中,划出人脸候选框的选取方法为:设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w,其对应的人脸检测框信息包括其左下角坐标x’和y’高、宽数据h’、w’;则有
x’=x
y’=y
h’=1.15*h
w’=w。
6.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,输入人脸检测神经网络的图像,长边被压缩至48像素,宽边等比例压缩。
7.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述步骤三)中,划出手势候选框的方法为:设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w,其对应的手势检测框信息包括其左下角坐标x’和y’,高、宽数据h’、w’;则有:
x’=x
y’=y-1.1*h
h’=1.2*h
w’=1.2*w。
8.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,输入手势检测神经网络的图像,长边被压缩至64像素,宽边等比例压缩。
9.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法,其特征在于,所述步骤四)中进行再次的手势检测时,手势候选框信息直接使用上次手势检测的手势候选框。
CN201810035341.0A 2018-01-15 2018-01-15 一种基于深度学习检测的人脸手势配合验证方法 Active CN108460329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810035341.0A CN108460329B (zh) 2018-01-15 2018-01-15 一种基于深度学习检测的人脸手势配合验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810035341.0A CN108460329B (zh) 2018-01-15 2018-01-15 一种基于深度学习检测的人脸手势配合验证方法

Publications (2)

Publication Number Publication Date
CN108460329A true CN108460329A (zh) 2018-08-28
CN108460329B CN108460329B (zh) 2022-02-11

Family

ID=63220950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810035341.0A Active CN108460329B (zh) 2018-01-15 2018-01-15 一种基于深度学习检测的人脸手势配合验证方法

Country Status (1)

Country Link
CN (1) CN108460329B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635750A (zh) * 2018-12-14 2019-04-16 广西师范大学 一种复杂背景下的复合卷积神经网络手势图像识别方法
CN110110646A (zh) * 2019-04-30 2019-08-09 浙江理工大学 一种基于深度学习的手势图像关键帧提取方法
CN111007734A (zh) * 2019-12-12 2020-04-14 广东美的白色家电技术创新中心有限公司 家用电器的控制方法、家用电器、控制装置及存储装置
CN111062306A (zh) * 2019-12-12 2020-04-24 广东美的白色家电技术创新中心有限公司 家用电器的控制方法、控制装置、家用电器及存储装置
CN111178142A (zh) * 2019-12-05 2020-05-19 浙江大学 一种基于时空上下文学习的手部姿态估计方法
CN111741369A (zh) * 2020-07-10 2020-10-02 安徽芯智科技有限公司 一种基于语音识别的智能电视机顶盒
CN112560557A (zh) * 2019-09-25 2021-03-26 虹软科技股份有限公司 人数检测方法、人脸检测方法、装置及电子设备
WO2021189173A1 (en) * 2020-03-23 2021-09-30 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
WO2023138403A1 (zh) * 2022-01-18 2023-07-27 影石创新科技股份有限公司 确定触发手势的方法、装置及设备
US12001613B2 (en) 2020-03-20 2024-06-04 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484645A (zh) * 2014-11-14 2015-04-01 华中科技大学 一种面向人机交互的“1”手势识别方法与系统
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106569600A (zh) * 2016-10-31 2017-04-19 邯郸美的制冷设备有限公司 一种用于控制空调的手势校验方法及装置
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN106980365A (zh) * 2017-02-21 2017-07-25 华南理工大学 基于深度卷积神经网络框架的第一视角动态手势识别方法
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107247949A (zh) * 2017-08-02 2017-10-13 北京智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学(武汉) 一种基于深度稀疏卷积神经网络人脸情感识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484645A (zh) * 2014-11-14 2015-04-01 华中科技大学 一种面向人机交互的“1”手势识别方法与系统
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106569600A (zh) * 2016-10-31 2017-04-19 邯郸美的制冷设备有限公司 一种用于控制空调的手势校验方法及装置
CN106845357A (zh) * 2016-12-26 2017-06-13 银江股份有限公司 一种基于多通道网络的视频人脸检测和识别方法
CN106980365A (zh) * 2017-02-21 2017-07-25 华南理工大学 基于深度卷积神经网络框架的第一视角动态手势识别方法
CN106991386A (zh) * 2017-02-27 2017-07-28 杭州电子科技大学 一种基于深度残差网络的手势识别方法
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN107247949A (zh) * 2017-08-02 2017-10-13 北京智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学(武汉) 一种基于深度稀疏卷积神经网络人脸情感识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGJING DENG等: "Nested Shallow CNN-Cascade for Face Detection in the Wild", 《2017 12TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2017)》 *
万士宁: "基于卷积神经网络的人脸识别研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杜堃: "复杂环境下通用的手势识别方法", 《计算机应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635750A (zh) * 2018-12-14 2019-04-16 广西师范大学 一种复杂背景下的复合卷积神经网络手势图像识别方法
CN110110646A (zh) * 2019-04-30 2019-08-09 浙江理工大学 一种基于深度学习的手势图像关键帧提取方法
CN112560557A (zh) * 2019-09-25 2021-03-26 虹软科技股份有限公司 人数检测方法、人脸检测方法、装置及电子设备
CN111178142A (zh) * 2019-12-05 2020-05-19 浙江大学 一种基于时空上下文学习的手部姿态估计方法
CN111007734A (zh) * 2019-12-12 2020-04-14 广东美的白色家电技术创新中心有限公司 家用电器的控制方法、家用电器、控制装置及存储装置
CN111062306A (zh) * 2019-12-12 2020-04-24 广东美的白色家电技术创新中心有限公司 家用电器的控制方法、控制装置、家用电器及存储装置
US12001613B2 (en) 2020-03-20 2024-06-04 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
WO2021189173A1 (en) * 2020-03-23 2021-09-30 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
US12093465B2 (en) 2020-03-23 2024-09-17 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
CN111741369A (zh) * 2020-07-10 2020-10-02 安徽芯智科技有限公司 一种基于语音识别的智能电视机顶盒
CN111741369B (zh) * 2020-07-10 2021-11-16 安徽芯智科技有限公司 一种基于语音识别的智能电视机顶盒
WO2023138403A1 (zh) * 2022-01-18 2023-07-27 影石创新科技股份有限公司 确定触发手势的方法、装置及设备

Also Published As

Publication number Publication date
CN108460329B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN108460329A (zh) 一种基于深度学习检测的人脸手势配合验证方法
CN105718878B (zh) 基于级联卷积神经网络的第一视角空中手写和空中交互方法
CN102822862B (zh) 计算装置接口
CN107247510A (zh) 一种基于增强现实的社交方法、终端、服务器和系统
CN110298231B (zh) 一种用于篮球比赛视频进球判定的方法及系统
CN104199550B (zh) 一种虚拟键盘操作装置、系统及方法
CN108596092A (zh) 手势识别方法、装置、设备和存储介质
CN109492612A (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN106125932A (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN106845406A (zh) 基于多任务级联卷积神经网络的头肩检测方法及装置
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN109583187B (zh) 一种增强现实验证码方法及应用
CN103207709A (zh) 一种多点触摸系统及方法
CN106960175A (zh) 基于深度卷积神经网络的第一视角动态手势检测方法
CN108616712A (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN108983968A (zh) 一种基于虚拟现实的图像大数据交互控制系统及方法
CN111862031B (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
CN104505002A (zh) 基于oled屏的显示方法和装置
CN109839827A (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN104267802A (zh) 人机交互式虚拟触控装置、系统及方法
US20180260031A1 (en) Method for controlling distribution of multiple sub-screens and device using the same
CN104123008B (zh) 一种基于静态手势的人机交互方法及系统
CN108898134B (zh) 号码识别方法、装置、终端设备和存储介质
CN104914985A (zh) 手势控制方法及系统与视频流处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant