CN112307899A - 一种基于深度学习的面部姿态检测与矫正方法及系统 - Google Patents

一种基于深度学习的面部姿态检测与矫正方法及系统 Download PDF

Info

Publication number
CN112307899A
CN112307899A CN202011037010.4A CN202011037010A CN112307899A CN 112307899 A CN112307899 A CN 112307899A CN 202011037010 A CN202011037010 A CN 202011037010A CN 112307899 A CN112307899 A CN 112307899A
Authority
CN
China
Prior art keywords
face
posture
detection
facial
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011037010.4A
Other languages
English (en)
Inventor
庄佳衍
徐宁远
肖江剑
宋康康
刘阳明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202011037010.4A priority Critical patent/CN112307899A/zh
Publication of CN112307899A publication Critical patent/CN112307899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的面部姿态检测与矫正方法及系统,利用面部姿态检测模块和面部姿态矫正模块,有效地对用户使用终端的姿势进行识别,发现异常姿势后实时提醒用户矫正阅读姿势。针对当前多数用户浏览终端设备时,长时间保持错误姿势,导致颈椎、腰椎等错位变形等情况,本发明提出的基于深度学习的智能手机人体面部姿态检测与矫正方法,旨在实时监督长时间使用终端设备用户的浏览姿势,督促用户改正陋习,保证身体健康。

Description

一种基于深度学习的面部姿态检测与矫正方法及系统
技术领域
本发明涉及机器学习研究领域,特别是涉及一种深度学习的面部姿态检测与矫正方法。
背景技术
近年来,面部姿态估计在人机交互、头像动画和人脸识别验证等领域得到了广泛的应用。由于人脸图像的高度多样性,从二维图像进行面部姿态估计一直是一个具有挑战性的问题。现有方法往往基于单张图像来估计面部的空间位姿信息,但由于作为监督标签(人工标注的标签,深度神经网络学习的目标值)的深度信息(人脸与摄像头之间的距离)往往是通过其他方法估计出来的,模型估计出的深度信息的准确度受到制约,与真实值有较大偏差,无法很好地判断人脸所在位置与摄像头之间的距离是否合适。
人体面部姿态识别和深度学习理论是智能视频分析领域的研究热点,近年来得到了学术界及工程界的广泛重视,是智能视频分析与理解、人机交互等诸多领域的理论基础。近年来,被广泛关注的深度学习算法已经被成功运用于语音识别,图形识别等各个领域。深度学习在静态图像特征提取上取得了卓著成就,并逐步推广至具有时间序列的视频行为识别研究之中。
发明内容
为了解决以上现有技术存在的缺陷,本发明提出一种基于深度学习的面部姿态检测与矫正方法,采用深度学习网络对面部进行分析,利用红外传感器获得深度信息作为标签,提升回归模型的鲁棒性;尤其深度学习网络适合基于大数据进行训练、学习,能够很好地发挥出其的优点。
本发明的技术方案是这样实现的:
一种基于深度学习的面部姿态检测矫正方法,其特征在于包括如下步骤:
步骤(1):面部姿态检测
步骤(1-1)采集一系列用户使用终端的包含用户人脸的图像,利用标注工具对图像中主体人脸区域进行标注,计算出面部姿态角作为标签,制作一个训练数据集;
步骤(1-2)利用步骤(1-1)制作的训练数据集,对人脸检测网络和面部姿态估计网络进行训练,使人脸检测网络能检测定位人脸目标区域和估计出人脸的深度信息,再利用标注得到的人脸区域标签提取该区域的图像作为面部姿态估计网络的输入,对面部的姿态角进行回归;
步骤(1-3)利用步骤(1-2)训练好的人脸检测网络和面部姿态估计网络进行面部姿态检测:每隔若干时间采集一次图像,对面部姿态进行级联式的判断:人脸检测网络若检测不到人脸,则直接判定为姿态不正确,若检测到人脸,则将估计出的距离与预设的阈值相比较,距离过远或过近都判定为姿态不正确,若距离合适,则提取人脸目标区域进行下一步判断;以图像中的人脸目标区域作为输入,通过面部姿态估计网络获得人脸的姿态角,与相应的标准姿态角进行比较,当二者的欧式距离大于一定阈值时判定为姿态不正确;
步骤(2):面部姿态矫正
利用步骤(1-3)的人脸姿态判定结果对终端屏幕进行控制,当姿态正确时,保持终端屏幕正常显示;当姿态不正确时,使终端屏幕显示模式发生变化用户无法正常使用。一种基于深度学习的面部姿态检测矫正方法,能准确的检测出用户面部与终端屏幕之间的距离,以及用户面部与终端屏幕之间的姿态角,并根据距离与姿态角信息有效的督促用户进行相应的姿态矫正。
一种基于深度学习的面部姿态检测与矫正系统,其特征在于包括:
面部姿态检测模块,利用基于深度学习的人脸检测网络和面部姿态估计网络检测用户面部与终端屏幕之间的相对位姿关系;
面部姿态矫正模块,当用户面部与终端屏幕之间的相对位姿关系不正确时,通过调整终端屏幕显示模式提醒用户采用正确的姿态。
与现有技术相比较,本发明技术方案有以下优点:
利用深度学习人脸姿势检测算法与终端硬件控制单元结合,矫正消费者阅读姿势,精准度更高,效果更好。
利用红外传感器来对深度信息测算作为标签,训练得到的网络估计的深度更为真实和准确。
针对当前多数用户浏览终端设备时,长时间保持错误姿势,导致颈椎、腰椎等错位变形等情况,本发明提出的基于深度学习的智能手机人体面部姿态检测与矫正方法,能够实时监督长时间使用终端设备用户的浏览姿势,督促用户改正陋习,保证身体健康。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法整体流程图;
图2为本发明面部姿态检测模块的训练过程流程示意图;
图3为本发明面部姿态检测模块的判别过程流程示意图。
具体实施方式
下面以用户使用手机为例,结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
本实施例基于深度学习的面部姿态检测和矫正系统包括面部姿态检测模块和面部姿态矫正模块。面部姿态检测模块利用基于深度学习的人脸检测网络和面部姿态估计网络检测用户面部与终端屏幕之间的相对位姿关系。面部姿态检测模块包括人脸检测定位与深度估计单元和相对姿态估计单元,人脸检测定位与深度估计单元用于检测和定位人脸在图像中的区域,对人脸与终端屏幕的距离进行估计;相对姿态估计单元用于对用户面部与终端屏幕之间的相对姿态角度进行估计。当用户面部与终端屏幕之间的相对位姿关系不正确时,面部姿态矫正模块通过调整终端屏幕显示模式提醒用户采用正确的姿态。
本实施例基于深度学习的面部姿态检测和矫正系统还包括模式开关模块,用于进入或退出面部姿态检测与矫正模式。
本实施例基于深度学习的面部姿态检测和矫正系统还包括屏幕模式切换单元,用于根据人脸姿态判定结果控制终端屏幕显示状态。
如图1-3所示,本实施例基于深度学习的面部姿态检测和矫正方法包括面部姿态检测模块的面部姿态检测过程,以及面部姿态矫正模块的面部姿态矫正过程。
面部姿态检测过程包括检测网络训练过程及判别过程,如图2、3所示,包括以下步骤:
S1)通过手机前置摄像头和红外传感器采集一系列用户使用手机的包含用户人脸的RGB图像和相应的深度标签(通过红外传感器发射红外光的时间戳和接收红外光的时间戳计算时间差,时间差乘以光速得到深度即人脸与相机的距离)。利用标注工具,对图像中主体人脸的区域进行标注,得到包含人脸和耳廓特征的最小外切框;同时,使用3D的平均脸模型迭代求解从3D空间模型中的人脸关键点到各个二维图像的人脸关键点的投影函数,以此计算出对应二维图像中的面部姿态角作为标签。按照这样的方法,制作一个训练数据集,整个训练集的图像产生一个JSON文件,JSON文件中是一个列表,列表中每个元素包含图像文件名及其对应的二维人脸区域坐标(包括左上角点和右下角点)、深度(人脸与摄像头之间的距离)和偏航角、俯仰角和翻滚角3个姿态角。
S2)利用步骤S1)得到的训练数据集,对人脸检测网络和面部姿态估计网络进行训练。使人脸检测网络能检测定位人脸的目标区域和估计出人脸的深度信息,再利用步骤S1)标注过程中产生的相应的人脸区域标签提取该区域的图像,缩放至统一大小后作为面部姿态估计网络的输入,对面部的姿态角进行回归。
S3)对步骤S2)得到的训练好的人脸检测网络和面部姿态估计网络进行利用,手机前置摄像头每隔若干时间采集一次图像,对用户面部姿态进行级联式的判断:人脸检测网络若检测不到人脸,则直接判断为姿态不正确,若检测到人脸,则将估计出的距离与预设的阈值相比较,距离过远或过近都判断为姿态不合理,若距离合适,则提取人脸目标区域进行下一步判断;以图像中的目标人脸区域作为输入,用面部姿态估计网络获得人脸的姿态角送入姿态判别单元与相应的标准姿态角进行比较,当二者的欧式距离大于一定阈值时判定为姿态不正确。
面部姿态矫正过程如下:
S4)利用步骤S3)得到的姿态标志位(姿态正确与否)对手机屏幕进行控制,当姿态标志位为正确时,保持屏幕清晰;当姿态标志位为错误时,使液晶屏显示模式发生变化使用户无法正常使用(例如屏幕变模糊或变暗),并进入持续检测模式,不断从前置摄像头采集图像,判断用户姿态是否正确,直到用户姿态正确或强制退出面部姿态检测与矫正模式时,使屏幕恢复清晰。
本发明的技术方案中,采用的人脸检测与深度回归网络为全卷积神经网络,同时得到边界框坐标和深度;采用的面部姿态检测网络由多个卷积层与全连接层组成。网络的具体结构可以由技术人员根据现有技术实现,不属于本发明讨论范围。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于深度学习的面部姿态检测矫正方法,其特征在于包括如下步骤:
步骤(1):面部姿态检测
步骤(1-1)采集一系列用户使用终端的包含用户人脸的图像,利用标注工具对图像中主体人脸区域进行标注,计算出面部姿态角作为标签,制作一个训练数据集;
步骤(1-2)利用步骤(1-1)制作的训练数据集,对人脸检测网络和面部姿态估计网络进行训练,使人脸检测网络能检测定位人脸目标区域和估计出人脸的深度信息,再利用标注得到的人脸区域标签提取该区域的图像作为面部姿态估计网络的输入,对面部的姿态角进行回归;
步骤(1-3)利用步骤(1-2)训练好的人脸检测网络和面部姿态估计网络进行面部姿态检测:每隔若干时间采集一次图像,对面部姿态进行级联式的判断:人脸检测网络若检测不到人脸,则直接判定为姿态不正确,若检测到人脸,则将估计出的距离与预设的阈值相比较,距离过远或过近都判定为姿态不正确,若距离合适,则提取人脸目标区域进行下一步判断;以图像中的人脸目标区域作为输入,通过面部姿态估计网络获得人脸的姿态角,与相应的标准姿态角进行比较,当二者的欧式距离大于一定阈值时判定为姿态不正确;
步骤(2):面部姿态矫正
利用步骤(1-3)的人脸姿态判定结果对终端屏幕进行控制,当姿态正确时,保持终端屏幕正常显示;当姿态不正确时,使终端屏幕显示模式发生变化用户无法正常使用。
2.如权利要求1所述的基于深度学习的面部姿态检测矫正方法,其特征在于当终端屏幕显示模式发生变化,对用户面部姿态进行持续检测,直到姿态正确或强制退出检测,使终端屏幕恢复正常显示。
3.如权利要求1所述的基于深度学习的面部姿态检测矫正方法,其特征在于所述训练数据集的图像产生一个列表,列表中每个元素包含图像文件名及其对应的二维人脸区域坐标、深度信息和姿态角。
4.一种基于深度学习的面部姿态检测与矫正系统,其特征在于包括:
面部姿态检测模块,利用基于深度学习的人脸检测网络和面部姿态估计网络检测用户面部与终端屏幕之间的相对位姿关系;
面部姿态矫正模块,当用户面部与终端屏幕之间的相对位姿关系不正确时,通过调整终端屏幕显示模式提醒用户采用正确的姿态。
5.如权利要求4所述的基于深度学习的面部姿态检测与矫正系统,其特征在于还包括模式开关模块,用于进入或退出面部姿态检测与矫正模式。
6.如权利要求4所述的基于深度学习的面部姿态检测与矫正系统,其特征在于所述面部姿态检测模块包括:
人脸检测定位与深度估计单元,用于检测和定位人脸在图像中的区域,对人脸与终端屏幕的距离进行估计;
相对姿态估计单元,用于对用户面部与终端屏幕之间的相对姿态角度进行估计。
7.根据权利要求4所述的基于深度学习的面部姿态检测与矫正系统,其特征在于还包括屏幕模式切换单元,用于根据人脸姿态判定结果控制终端屏幕显示状态。
CN202011037010.4A 2020-09-27 2020-09-27 一种基于深度学习的面部姿态检测与矫正方法及系统 Pending CN112307899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011037010.4A CN112307899A (zh) 2020-09-27 2020-09-27 一种基于深度学习的面部姿态检测与矫正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011037010.4A CN112307899A (zh) 2020-09-27 2020-09-27 一种基于深度学习的面部姿态检测与矫正方法及系统

Publications (1)

Publication Number Publication Date
CN112307899A true CN112307899A (zh) 2021-02-02

Family

ID=74488046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011037010.4A Pending CN112307899A (zh) 2020-09-27 2020-09-27 一种基于深度学习的面部姿态检测与矫正方法及系统

Country Status (1)

Country Link
CN (1) CN112307899A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、系统、电子设备和存储介质
CN114998931A (zh) * 2022-05-31 2022-09-02 中国科学院半导体研究所 学习状态下的不良习惯监测方法、装置、设备及程序产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927250A (zh) * 2014-04-16 2014-07-16 北京尚德智产投资管理有限公司 一种终端设备用户姿态检测方法
CN104680135A (zh) * 2015-02-09 2015-06-03 浙江大学 一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN109325393A (zh) * 2017-08-01 2019-02-12 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
CN110866864A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN111259739A (zh) * 2020-01-09 2020-06-09 浙江工业大学 一种基于3d人脸关键点和几何投影的人脸姿态估计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927250A (zh) * 2014-04-16 2014-07-16 北京尚德智产投资管理有限公司 一种终端设备用户姿态检测方法
CN104680135A (zh) * 2015-02-09 2015-06-03 浙江大学 一种抗表情、姿态和遮挡变化的三维人脸标记点检测方法
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN109325393A (zh) * 2017-08-01 2019-02-12 苹果公司 使用单一网络的面部检测、姿态估计和距相机距离的估计
CN108062569A (zh) * 2017-12-21 2018-05-22 东华大学 一种基于红外和雷达的无人车驾驶决策方法
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN110866864A (zh) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN110321786A (zh) * 2019-05-10 2019-10-11 北京邮电大学 一种基于深度学习的人体坐姿实时监视方法和系统
CN111259739A (zh) * 2020-01-09 2020-06-09 浙江工业大学 一种基于3d人脸关键点和几何投影的人脸姿态估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114639157A (zh) * 2022-05-18 2022-06-17 合肥的卢深视科技有限公司 不良学习行为检测方法、系统、电子设备和存储介质
CN114998931A (zh) * 2022-05-31 2022-09-02 中国科学院半导体研究所 学习状态下的不良习惯监测方法、装置、设备及程序产品

Similar Documents

Publication Publication Date Title
CN111240481B (zh) 基于智能手表的读写距离识别方法
Sugano et al. Calibration-free gaze sensing using saliency maps
US9075453B2 (en) Human eye controlled computer mouse interface
CN109343700B (zh) 眼动控制校准数据获取方法和装置
CN109375765B (zh) 眼球追踪交互方法和装置
CN113936324A (zh) 注视检测方法、电子设备的控制方法及相关设备
US20100195899A1 (en) Detection of people in real world videos and images
CN112307899A (zh) 一种基于深度学习的面部姿态检测与矫正方法及系统
CN106295549A (zh) 多角度人脸数据采集方法和装置
CN101406390A (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN106204633B (zh) 一种基于计算机视觉的学生跟踪方法和装置
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN110148092B (zh) 基于机器视觉的青少年坐姿及情绪状态的分析方法
CN112464793A (zh) 一种在线考试作弊行为检测方法、系统和存储介质
KR20130043366A (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
WO2023071882A1 (zh) 人眼注视检测方法、控制方法及相关设备
CN111027517A (zh) 一种基于视觉的坐姿矫正提醒系统及方法、应用
CN114283448A (zh) 一种基于头部姿态估计的儿童坐姿提醒方法和系统
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
CN114676756A (zh) 图像识别方法、装置及计算机存储介质
CN113221812A (zh) 人脸关键点检测模型的训练方法和人脸关键点检测方法
CN111626197B (zh) 一种基于人体行为识别网络模型的识别方法
Appenrodt et al. Multi stereo camera data fusion for fingertip detection in gesture recognition systems
CN106406507B (zh) 图像处理方法以及电子设备
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202