CN111985396A - 一种孕妇情绪监测识别系统 - Google Patents

一种孕妇情绪监测识别系统 Download PDF

Info

Publication number
CN111985396A
CN111985396A CN202010841455.1A CN202010841455A CN111985396A CN 111985396 A CN111985396 A CN 111985396A CN 202010841455 A CN202010841455 A CN 202010841455A CN 111985396 A CN111985396 A CN 111985396A
Authority
CN
China
Prior art keywords
module
pregnant woman
face
emotion
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010841455.1A
Other languages
English (en)
Inventor
宋如明
赵力
叶琳
朱兰
魏昕
刘阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Satin Yancheng Information Technology Co ltd
Nanjing Normal University
Original Assignee
Satin Yancheng Information Technology Co ltd
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Satin Yancheng Information Technology Co ltd, Nanjing Normal University filed Critical Satin Yancheng Information Technology Co ltd
Priority to CN202010841455.1A priority Critical patent/CN111985396A/zh
Publication of CN111985396A publication Critical patent/CN111985396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种孕妇情绪监测识别系统,包括视频传输模块、孕妇身份识别模块、孕妇面部朝向识别模块和孕妇面部表情识别模块;视频传输模块:连接诊断用电脑和后台数据库,将电脑摄像头捕捉的孕妇画面收集并传输至后台数据库中进行储存;孕妇身份识别模块:将检测出的人脸与数据库进行特征匹配,验证孕妇身份;孕妇面部朝向识别模块:计算人脸相对于镜头的朝向;孕妇面部表情识别:对检测出的人脸进行分析,计算情绪分布占比,得到孕妇当前的主要情绪并判断是否异常。本发明提供的一种孕妇情绪监测识别系统,利用输出传输来获取孕妇的面部数据,再通过计算识别定位出孕妇的情绪分布区间,实现孕妇情绪的确定和监测,提高监测效率和准确度。

Description

一种孕妇情绪监测识别系统
技术领域
本发明涉及一种孕妇情绪监测识别系统。
背景技术
怀孕之后,孕妇身体会出现各种变化,除了生理上的变化,还有心理上的变化。有些女性怀孕之后会在家里休养,暂停工作,由于家里的环境比较小,活动范围有效,不少孕妇会出现孕妇情绪综合症。在狭小的环境中待久了,情绪容易受到影响,对于情绪比较敏感的孕妇来说,表现会更明显。因此,如何在利用有限信息对孕妇的表情进行监测分析,十分重要。
发明内容
本发明所要解决的技术问题在于:利用视频传输将孕妇信息进行收集和储存,在通过表情识别模块对孕妇的主要情绪进行计算分析,从而实现有效监测孕妇情绪的手段,不仅提高监测准确度,同时利用大数据提高监测效果。
为解决上述技术问题,本发明的技术方案是:一种孕妇情绪监测识别系统,包括视频传输模块、孕妇身份识别模块、孕妇面部朝向识别模块和孕妇面部表情识别模块;
所述的视频传输模块:连接诊断用电脑和后台数据库,将电脑摄像头捕捉的孕妇画面收集并传输至后台数据库中进行储存;
所述的孕妇身份识别模块:将检测出的人脸与数据库进行特征匹配,验证孕妇身份;
所述的孕妇面部朝向识别模块:计算人脸相对于镜头的朝向,检测是否存在可疑行为;
孕妇面部表情识别:对检测出的人脸进行分析,计算情绪分布占比,得到孕妇当前的主要情绪并判断是否异常。
进一步的,所述的视频传输模块包括画面终端、编码模块、推流模块和实时显示模块;所述的画面终端接收传输的视频信息,并且按照服务器现有带宽能力进行相应码率的编码;所述的编码模块在所述的画面终端上,制定每个孕妇与服务器URL子地址的对照表,使得孕妇画面都有唯一确定的地址;所述的推流模块根据RTMP流媒体协议,将编码后的孕妇画面推流传输到相应URL子地址的服务器上;所述的实时显示模块根据需求选取某一孕妇,从服务器上调取相应子地址的视频画面,拉流传输至教师端的窗口进行实时显示。
进一步的,所述的孕妇身份识别模块包括人脸编码模块、判断模块和验证模块;所述的人脸编码模块使用FaceNet算法实现人脸识别功能,在大型人脸识别数据集VGGFace2上采取triplet loss训练Inception ResNet v1,得到人脸编码模型;所述的判断模块将采集到的画面数据送入计算出的人脸编码模型后可以输出512维的特征向量,通过计算两向量之间的欧拉距离判别是否是同一个人;所述的验证模块将当前孕妇面部的特征向量在数据库中进行相似性比较,得到最终的识别结果进而验证当前孕妇身份。
进一步的,所述的孕妇面部朝向识别模块包括关键点坐标模块、旋转矩阵模块、精度调整模块和人脸朝向验证模块;所述的关键点坐标模块利用机器学习开源库dlib库标定2D人脸关键点坐标,在开源函数库OpenCV内置的通用3D面部模型上,选取与人脸检测得到的2D关键点相对应的3D关键点;所述的旋转矩阵模块将选定的2D关键点坐标通过相机内参转化为相机坐标系下的3D坐标,和在世界坐标系下的面部模型3D坐标匹配,利用直接线性变换算法,求解出旋转矩阵;所述的精度调整模块随机轻微改变旋转矩阵,利用世界坐标系下的面部模型3D坐标投影到图像平面,计算和原2D关键点的重投影误差,检测误差衰减情况,如果是衰减,则接受为新的姿态估计,继续调整旋转矩阵,重复迭代计算旋转矩阵达到所需精度;所述的人脸朝向验证模块根据计算所得最终精度较高的旋转矩阵,进一步计算出相应的三个欧拉角,得到人脸相对于镜头的朝向。
进一步的,所述的孕妇面部表情识别模块包括数据扩充模块、架构模块和计算模块;所述的数据扩充模块使用人脸表情数据集FER2013,并借助keras图片增强批量生成器ImageDataGenerator来扩大数据样本;所述的架构模块使用CNN的主流框架的mini_XCEPTION的网络架构;所述的计算模块将检测出的人脸图像送入训练后的网络模型中,计算出情绪分布占比,得到考生当前的主要情绪并判断是否异常。
进一步的,所述的架构模块中的mini_XCEPTION结构是带有残差连接的深度可分卷积层的线性堆叠。
进一步的,所述的数据扩充模块中,FER2013人脸表情数据集由35886张人脸表情图片组成,其中,测试图28708张,公共验证图和私有验证图各3589张,每张图片是由大小固定为48×48的灰度图像组成。
进一步的,所述的数据扩充模块中,ImageDataGenerator是一个图片生成器,同时也可以对数据进行增强,扩充数据集大小,增强模型的泛化能力。
与现有技术相比,本发明提供的一种孕妇情绪监测识别系统,利用输出传输来获取孕妇的面部数据,再通过计算识别定位出孕妇的情绪分布区间,实现孕妇情绪的确定和监测,提高监测效率和准确度。
附图说明
图1示出本发明的系统示意图。
其中:1.视频传输模块、2.孕妇身份识别模块、3.孕妇面部朝向识别模块、4.孕妇面部表情识别模块、5.画面终端、6.编码模块、7.推流模块、8.实时显示模块、9.人脸编码模块、10.判断模块、11.验证模块、12.关键点坐标模块、13.旋转矩阵模块、14.精度调整模块、15.人脸朝向验证模块、16.数据扩充模块、17.架构模块、18.计算模块。
具体实施方式
如图所示,一种孕妇情绪监测识别系统,包括视频传输模块1、孕妇身份识别模块2、孕妇面部朝向识别模块3和孕妇面部表情识别模块4;
所述的视频传输模块1:连接诊断用电脑和后台数据库,将电脑摄像头捕捉的孕妇画面收集并传输至后台数据库中进行储存;
所述的孕妇身份识别模块2:将检测出的人脸与数据库进行特征匹配,验证孕妇身份;
所述的孕妇面部朝向识别模块3:计算人脸相对于镜头的朝向,检测是否存在可疑行为;
孕妇面部表情识别:对检测出的人脸进行分析,计算情绪分布占比,得到孕妇当前的主要情绪并判断是否异常。
进一步的,所述的视频传输模块1包括画面终端5、编码模块6、推流模块7和实时显示模块8;所述的画面终端5接收传输的视频信息,并且按照服务器现有带宽能力进行相应码率的编码;所述的编码模块6在所述的画面终端5上,制定每个孕妇与服务器URL子地址的对照表,使得孕妇画面都有唯一确定的地址;所述的推流模块7根据RTMP流媒体协议,将编码后的孕妇画面推流传输到相应URL子地址的服务器上;所述的实时显示模块8根据需求选取某一孕妇,从服务器上调取相应子地址的视频画面,拉流传输至教师端的窗口进行实时显示。
进一步的,所述的孕妇身份识别模块2包括人脸编码模块9、判断模块10和验证模块11;所述的人脸编码模块9使用FaceNet算法实现人脸识别功能,在大型人脸识别数据集VGGFace2上采取triplet loss训练Inception ResNet v1,得到人脸编码模型;所述的判断模块10将采集到的画面数据送入计算出的人脸编码模型后可以输出512维的特征向量,通过计算两向量之间的欧拉距离判别是否是同一个人;所述的验证模块11将当前孕妇面部的特征向量在数据库中进行相似性比较,得到最终的识别结果进而验证当前孕妇身份。
进一步的,所述的孕妇面部朝向识别模块3包括关键点坐标模块12、旋转矩阵模块13、精度调整模块14和人脸朝向验证模块15;所述的关键点坐标模块12利用机器学习开源库dlib库标定2D人脸关键点坐标,在开源函数库OpenCV内置的通用3D面部模型上,选取与人脸检测得到的2D关键点相对应的3D关键点;所述的旋转矩阵模块13将选定的2D关键点坐标通过相机内参转化为相机坐标系下的3D坐标,和在世界坐标系下的面部模型3D坐标匹配,利用直接线性变换算法,求解出旋转矩阵;所述的精度调整模块14随机轻微改变旋转矩阵,利用世界坐标系下的面部模型3D坐标投影到图像平面,计算和原2D关键点的重投影误差,检测误差衰减情况,如果是衰减,则接受为新的姿态估计,继续调整旋转矩阵,重复迭代计算旋转矩阵达到所需精度;所述的人脸朝向验证模块15根据计算所得最终精度较高的旋转矩阵,进一步计算出相应的三个欧拉角,得到人脸相对于镜头的朝向。
进一步的,所述的孕妇面部表情识别模块4包括数据扩充模块16、架构模块17和计算模块18;所述的数据扩充模块16使用人脸表情数据集FER2013,并借助keras图片增强批量生成器ImageDataGenerator来扩大数据样本;所述的架构模块17使用CNN的主流框架的mini_XCEPTION的网络架构;所述的计算模块18将检测出的人脸图像送入训练后的网络模型中,计算出情绪分布占比,得到考生当前的主要情绪并判断是否异常。
进一步的,所述的架构模块17中的mini_XCEPTION结构是带有残差连接的深度可分卷积层的线性堆叠。
进一步的,所述的数据扩充模块16中,FER2013人脸表情数据集由35886张人脸表情图片组成,其中,测试图28708张,公共验证图和私有验证图各3589张,每张图片是由大小固定为48×48的灰度图像组成。
进一步的,所述的数据扩充模块16中,ImageDataGenerator是一个图片生成器,同时也可以对数据进行增强,扩充数据集大小,增强模型的泛化能力。
最后需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制性技术方案,本领域的普通技术人员应当理解,那些对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种孕妇情绪监测识别系统,其特征在于,包括视频传输模块、孕妇身份识别模块、孕妇面部朝向识别模块和孕妇面部表情识别模块;
所述的视频传输模块:连接诊断用电脑和后台数据库,将电脑摄像头捕捉的孕妇画面收集并传输至后台数据库中进行储存;
所述的孕妇身份识别模块:将检测出的人脸与数据库进行特征匹配,验证孕妇身份;
所述的孕妇面部朝向识别模块:计算人脸相对于镜头的朝向,检测是否存在可疑行为;
孕妇面部表情识别:对检测出的人脸进行分析,计算情绪分布占比,得到孕妇当前的主要情绪并判断是否异常。
2.根据权利要求1所述的一种孕妇情绪监测识别系统,其特征在于,所述的视频传输模块包括画面终端、编码模块、推流模块和实时显示模块;所述的画面终端接收传输的视频信息,并且按照服务器现有带宽能力进行相应码率的编码;所述的编码模块在所述的画面终端上,制定每个孕妇与服务器URL子地址的对照表,使得孕妇画面都有唯一确定的地址;所述的推流模块根据RTMP流媒体协议,将编码后的孕妇画面推流传输到相应URL子地址的服务器上;所述的实时显示模块根据需求选取某一孕妇,从服务器上调取相应子地址的视频画面,拉流传输至教师端的窗口进行实时显示。
3.根据权利要求1所述的一种孕妇情绪监测识别系统,其特征在于,所述的孕妇身份识别模块包括人脸编码模块、判断模块和验证模块;所述的人脸编码模块使用FaceNet算法实现人脸识别功能,在大型人脸识别数据集VGGFace2上采取triplet loss训练InceptionResNet v1,得到人脸编码模型;所述的判断模块将采集到的画面数据送入计算出的人脸编码模型后可以输出512维的特征向量,通过计算两向量之间的欧拉距离判别是否是同一个人;所述的验证模块将当前孕妇面部的特征向量在数据库中进行相似性比较,得到最终的识别结果进而验证当前孕妇身份。
4.根据权利要求1所述的一种孕妇情绪监测识别系统,其特征在于,所述的孕妇面部朝向识别模块包括关键点坐标模块、旋转矩阵模块、精度调整模块和人脸朝向验证模块;所述的关键点坐标模块利用机器学习开源库dlib库标定2D人脸关键点坐标,在开源函数库OpenCV内置的通用3D面部模型上,选取与人脸检测得到的2D关键点相对应的3D关键点;所述的旋转矩阵模块将选定的2D关键点坐标通过相机内参转化为相机坐标系下的3D坐标,和在世界坐标系下的面部模型3D坐标匹配,利用直接线性变换算法,求解出旋转矩阵;所述的精度调整模块随机轻微改变旋转矩阵,利用世界坐标系下的面部模型3D坐标投影到图像平面,计算和原2D关键点的重投影误差,检测误差衰减情况,如果是衰减,则接受为新的姿态估计,继续调整旋转矩阵,重复迭代计算旋转矩阵达到所需精度;所述的人脸朝向验证模块根据计算所得最终精度较高的旋转矩阵,进一步计算出相应的三个欧拉角,得到人脸相对于镜头的朝向。
5.根据权利要求1所述的一种孕妇情绪监测识别系统,其特征在于,所述的孕妇面部表情识别模块包括数据扩充模块、架构模块和计算模块;所述的数据扩充模块使用人脸表情数据集FER2013,并借助keras图片增强批量生成器ImageDataGenerator来扩大数据样本;所述的架构模块使用CNN的主流框架的mini_XCEPTION的网络架构;所述的计算模块将检测出的人脸图像送入训练后的网络模型中,计算出情绪分布占比,得到考生当前的主要情绪并判断是否异常。
6.根据权利要求5所述的一种孕妇情绪监测识别系统,其特征在于,所述的架构模块中的mini_XCEPTION结构是带有残差连接的深度可分卷积层的线性堆叠。
7.根据权利要求5所述的一种孕妇情绪监测识别系统,其特征在于,所述的数据扩充模块中,FER2013人脸表情数据集由35886张人脸表情图片组成,其中,测试图28708张,公共验证图和私有验证图各3589张,每张图片是由大小固定为48×48的灰度图像组成。
8.根据权利要求5所述的一种孕妇情绪监测识别系统,其特征在于,所述的数据扩充模块中,ImageDataGenerator是一个图片生成器,同时也可以对数据进行增强,扩充数据集大小,增强模型的泛化能力。
CN202010841455.1A 2020-08-20 2020-08-20 一种孕妇情绪监测识别系统 Pending CN111985396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010841455.1A CN111985396A (zh) 2020-08-20 2020-08-20 一种孕妇情绪监测识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010841455.1A CN111985396A (zh) 2020-08-20 2020-08-20 一种孕妇情绪监测识别系统

Publications (1)

Publication Number Publication Date
CN111985396A true CN111985396A (zh) 2020-11-24

Family

ID=73442308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841455.1A Pending CN111985396A (zh) 2020-08-20 2020-08-20 一种孕妇情绪监测识别系统

Country Status (1)

Country Link
CN (1) CN111985396A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法
CN110580470A (zh) * 2019-09-12 2019-12-17 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及系统
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法
CN110580470A (zh) * 2019-09-12 2019-12-17 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
US6792144B1 (en) System and method for locating an object in an image using models
TWI382354B (zh) 臉部辨識方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN111428689B (zh) 一种多池化信息融合的人脸图像特征提取方法
US11443549B2 (en) Apparatus, system, and method of providing a facial and biometric recognition system
WO2021190321A1 (zh) 图像处理方法和装置
CN107766819A (zh) 一种视频监控系统及其实时步态识别方法
JP2023546173A (ja) 顔認識型人物再同定システム
WO2021179719A1 (zh) 人脸活体检测方法、装置、介质及电子设备
CN110852306A (zh) 一种基于人工智能的安全监控系统
CN112528902A (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN115601710A (zh) 基于自注意力网络架构的考场异常行为监测方法及系统
CN111985396A (zh) 一种孕妇情绪监测识别系统
CN115227234A (zh) 一种基于摄像头的心肺复苏按压动作评估方法与系统
RU2005100267A (ru) Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности
CN113689527B (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
CN117218680A (zh) 一种景区异常监控数据的确认方法及系统
CN112257559A (zh) 一种基于生物个体步态信息的身份识别方法
CN116229507A (zh) 人体姿态检测方法及系统
US20220319232A1 (en) Apparatus and method for providing missing child search service based on face recognition using deep-learning
TW202303444A (zh) 影像式情緒辨識系統和方法
CN110991211B (zh) 基于改进残差神经网络的便携式单兵人脸识别装置
CN113496200A (zh) 数据处理方法、装置、电子设备及存储介质
CN111507289A (zh) 视频匹配方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination