CN114926957A - 基于智能家居的婴幼儿监护系统及监护方法 - Google Patents
基于智能家居的婴幼儿监护系统及监护方法 Download PDFInfo
- Publication number
- CN114926957A CN114926957A CN202210383184.9A CN202210383184A CN114926957A CN 114926957 A CN114926957 A CN 114926957A CN 202210383184 A CN202210383184 A CN 202210383184A CN 114926957 A CN114926957 A CN 114926957A
- Authority
- CN
- China
- Prior art keywords
- infant
- central controller
- information
- sensor
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006854 communication Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 28
- 230000036760 body temperature Effects 0.000 claims description 22
- 206010011469 Crying Diseases 0.000 claims description 19
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 17
- 230000007958 sleep Effects 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 9
- 230000000241 respiratory effect Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 210000004369 blood Anatomy 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 238000013186 photoplethysmography Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 210000005259 peripheral blood Anatomy 0.000 claims description 2
- 239000011886 peripheral blood Substances 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000474 nursing effect Effects 0.000 description 4
- 208000034972 Sudden Infant Death Diseases 0.000 description 3
- 206010042440 Sudden infant death syndrome Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Pulmonology (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了基于智能家居的婴幼儿监护系统，包括信号采集模块，中央控制器，通讯模块以及远程终端；信号采集模块与中央控制器电性连接，中央控制器还连接有扬声器和声光报警器；中央控制器通过通讯模块与远程终端相连；信号采集模块包括可见光摄像头、麦克风传感器、温湿度传感器、气体传感器、红外阵列传感器；可见光摄像头、麦克风传感器、温湿度传感器、气体传感器、红外阵列传感器分别通过WIFI模块与中央控制器电性连接。本发明还公开了基于智能家居的婴幼儿监护方法，使用可见光摄像头进行监护，具有非接触性。婴儿监护系统设计的监护内容较为全面且成本低同时容易设置，非专业人士也可以使用,具有广泛的市场应用前景。
Description
技术领域
本发明属于婴儿监护系统技术领域，具体涉及基于智能家居的婴幼儿监 护系统。
背景技术
当前快节奏的社会，婴幼儿看护是父母及家人最关心和焦虑的问题，高 额的保姆费用及特别是保姆看护婴幼儿爆出的各种问题更加深了这种焦虑。 婴幼儿每天睡眠时间长，如果有智能看护系统能及时把婴幼儿睡眠状态，婴 幼儿脱离安全区域即将跌落，体温异常，环境温湿度异常，啼哭，体姿异常 等异常情况第一时间报告给父母或看护者，那么看护者可节约大量的精力和 时间同时减少父母及家人对婴儿安全的焦虑。
婴儿数量的增加，给婴儿监护人带来照顾压力。婴儿无行为能力，抵抗 力弱，一旦遇见突发情况，极易发生危险，这就要求家庭需对婴儿进行安全 监护，降低其遇到危险的可能。婴儿需要监护人时刻在身边照顾，但监护人 也有可能产生疏忽，给婴儿带来风险。婴儿阶段作为人生中第一个阶段也是 最重要最脆弱地阶段，往往会被科技公司忽视。随着中国社会家庭结构的变 迁，婴儿监护问题逐渐成为家庭和社会关心地问题。研制婴儿家庭监护系统， 能在一定程度上解决婴儿家庭监护问题。
睡眠是由中枢神经系统控制的自然现象。睡眠觉醒模式作为新生儿时期 神经生理组织的重要指标，在预测认知疾病和大脑成熟度方面具有深远意义， 因而在对婴幼儿进行监护时对睡眠看护显得至关重要。婴儿猝死综合症是 指一岁以下的婴儿莫名其妙地死亡。婴儿的睡眠姿势是导致婴儿猝死综合症 的最重要的外部因素之一。对婴儿睡眠时的实施监护对于预防婴儿猝死综合 征具有重要意义。
发明内容
本发明的目的在于提供基于智能家居的婴幼儿监护系统，解决了现有婴 幼儿家庭监护存在的一系列安全风险的问题。
本发明所采用的技术方案是，基于智能家居的婴幼儿监护系统，包括信 号采集模块，中央控制器，通讯模块以及远程终端；信号采集模块与中央控 制器电性连接，中央控制器还连接有扬声器和声光报警器；中央控制器通过 通讯模块与远程终端相连；
信号采集模块包括可见光摄像头、麦克风传感器、温湿度传感器、气体 传感器、红外阵列传感器；可见光摄像头、麦克风传感器、温湿度传感器、 气体传感器、红外阵列传感器分别通过WIFI模块与中央控制器电性连接；
中央控制器还设置有存储模块，用于存储信息采集模块采集的信息。
本发明的特点还在于，
中央控制器包括计算板卡，计算板卡分别与可见光摄像头、麦克风传感 器、温湿度传感器、气体传感器、红外阵列传感器电性连接；计算板卡是一 个由GPU驱动的微型嵌入式设备，计算板卡可使用HDMI端口支持视频和 音频输出，并且具有以太网端口。
中央控制器还包括AI虚拟围栏模块，AI虚拟围栏模块采用电子围栏技 术通过对婴儿监护区域进行用户图行界面的框定进行婴儿监护，AI虚拟围 栏模块内预置有警示区域；AI虚拟围栏模块与可见光摄像头相连，AI虚拟 围栏模块通过WIFI模块分别连接扬声器和声光报警器；可见光摄像头用于 获取目标区域视频监控图像，AI虚拟围栏模块用于判断视频监控图像中预 置的警示区域的边界线与当前时刻的婴儿活动范围是否重合，若重合则通过 扬声器和声光报警器发出报警提示。
红外阵列传感器用于采集婴儿体温；可见光摄像头用于采集婴儿的面部 表情；麦克风用于采集婴儿哭声；扬声器用于通过远程终端及WIFI模块向 婴儿传达音频信息。
中央控制器中还搭载有信息处理模块，信息处理模块能够对麦克风采集 的婴儿哭声检测分析、对红外阵列传感器采集的体温以及可将光摄像头采集 的面部表情进行分析判断获得婴儿的呼吸心率；当体温、呼吸心率异常时声 光报警器报警提示。
温湿度传感器用于采集环境温湿度、型号为DHT11；气体传感器用于进 行室内温湿度监测、型号为MQ-2。
本发明所采用的第二种技术方案是，基于智能家居的婴幼儿监护方法， 具体操作步骤如下：
步骤1、将可见光摄像头、麦克风传感器、红外阵列传感器以及温湿度 传感器进行装置连接置于距离婴儿1m左右的地方进行信号采集；
步骤2、通过可见光摄像头采集婴儿视频信息，包括婴儿脸部信息；使 用麦克风传感器采集婴儿声音信息；使用红外阵列传感器收集婴儿体温信息； 使用温湿度传感器采集婴儿周围环境参数；
步骤3、将采集到的音频信息、体温信息及环境参数等信息传送至中央 控制器，中央控制器通过算法处理计算得到婴儿的呼吸心率、表情、姿态、 哭声、体温、温湿度状况；
步骤4、中央控制器将信号采集模块传输过来的婴儿监护信息保存至存 储模块方便后续本地监控录像及回放；
步骤5、中央控制器将采集的婴儿信息经过处理后，当识别异常时通过 通讯模块向手机终端发出报警或预警信息，提醒监护人注意。
本发明的特点还在于，
采用可见光摄像头对婴儿脸部信息进行检测包括睡姿检测和呼吸心率 检测；
使用可见光摄像头进行睡姿检测具体步骤如下：
将可将光摄像头置于婴儿上方，获取婴儿脸部图像，将检测到的图像信 息传输至中央控制器通过睡姿检测算法进行睡姿异常检测；
首先对脸部图像信息进行特征提取；其次进行婴儿面部特征进行识别， 当检测不到眼部关节点时说明婴儿出现面朝下状态，当可以检测到1个眼部 关节点时表明婴儿为侧卧状态，当可以检测到2个眼部关节点时表明婴儿为 正面朝上睡姿；若检测不到眼部关节点则通过声光报警器进行报警；
使用可见光摄像头进行婴儿呼吸、心率检测具体步骤如下：
对于婴儿的呼吸、心率的检测，主要是基于光电容积脉搏波描记法见光 摄像头采集的婴儿PPG信号中包含与呼吸同频率的信号，PPG信号由于心脏 的周期性波动引起外周血管内血容量周期性变化而呈现周期性，通过分析 PPG信号可以得到心率信息。
具体操作步骤如下：
步骤3.1、选取婴儿面部作为感兴趣区域，视频拍摄的分辨率为 720p*1080p,帧率要求大于60FPS；
步骤3.2、对获取的婴儿人脸视频进行检测和追踪：利用自适应增强算 法AdaBoost对人脸进行监测，首先采用双线性差值法将人脸视频中选出的 多张人脸归一化到20*20像素大小的图片，再从这些归一化后的图片里提取 只包含人脸部分的特征矩形，然后利用积分图计算特征矩形的特征值；最后 利用AdaBoost训练器训练只包含人脸部分的特征矩形，减少噪声；
步骤3.3、对步骤3.2的人脸检测跟踪算法处理后的视频帧进行ROI和 RGB区域选择：选择信噪比较高的额头区域作为感兴趣区域，选择具有较好 时频波形图并且信噪比较高的绿色通道；
步骤3.4、经过步骤3.3处理后的视频帧，对每帧的感兴趣区域ROI在 R、G、B三通道进行分离，分离后计算每帧ROI在不同通道的像素平均值， 即可得到初步的IPPG信号；
其中，M代表图片的长，N代表图片的宽，Vi(x,y,t)代表每一个像素点 的灰度值；
对初步的IPPG信号进行降噪预处理后得到s(t):
其中，IPPG()表示提取IPPG信号方法，DF(t)表示高斯白噪声信号，s(t) 表示去噪后的IPPG信号；
步骤3.5、将步骤3.4降噪预处理后的IPPG信号利用带通滤波器滤除噪 声；
步骤3.6、对步骤3.5滤波后的IPPG信号进行傅里叶变换将其转换到频 域，对频域脉搏信号利用峰值检测算法检测最大频率点，设置常规心率频率 范围，利用最大频率点计算平均心率值HR，具体如下：
其中，P为最大频率点的频率，fs为采样频率，length(FFT)为采样点的 个数。
步骤3.2具体如下：
利用人脸追踪算法来减少噪声，使用光流法进行人脸追踪，具体过程为： 首先利用Harris角点的特征检测器从初始帧开始寻找一系列特征点，然后 基于各特征点的局部模板，通过平移或仿射运动模型的光流法运动估计，寻 找各特征点的帧间对应矢量，最后对于各特征点，在各帧中判断其跟踪的好 坏，去掉被遮挡或者无法准确跟踪的特征，之后再周期性的加入一些未被遮 挡可以准确跟踪的新特征。
本发明的有益效果是：
与传统的婴幼儿监护系统相比，首先主要使用可见光摄像头进行监护， 具有非接触性。婴儿监护系统设计的监护内容较为全面且成本低同时容易设 置，非专业人士也可以使用,具有广泛的市场应用前景。
其次，采用边缘计算，只传输信息，不传输图像，授权者可单向查询加 密图像，因而系统不会主动传输视频或图像到网络，可以实现隐私性保护。
本发明设计婴儿家庭监护系统具有蓝牙连接、睡眠监测、呼吸检测、温 湿度监护、数据存储、用户信息设置等功能。若收集到的各种图像或者音频 数据不符合婴儿的正常状态，通过声光或手机微信端报警，这样家长或其他 看护者可以及时到达婴儿床处，处理所发生的情况，让婴儿得到最舒适的照 顾。
利用无线网络自动将传感器采集到的数据上传至服务器数据库统一管 理。利用存储模块，能够存储婴儿睡眠数据，便于长期的分析和监护，用户 还可以通过设置功能对个人信息和存储的数据进行相应的操作。
附图说明
图1为本发明基于智能家居的婴幼儿监护系统的整体结构示意图。
图2为本发明的信号采集模块构成示意图。
图3为本发明的监护系统工作原理。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于智能家居的婴幼儿监护系统，如图1所示，包括信号采集 模块，中央控制器，通讯模块以及远程终端；信号采集模块与中央控制器电 性连接，中央控制器还连接有扬声器和声光报警器；中央控制器通过通讯模 块与远程终端相连；
如图2所示，信号采集模块包括可见光摄像头、麦克风传感器、温湿度 传感器、气体传感器、红外阵列传感器；可见光摄像头、麦克风传感器、温 湿度传感器、气体传感器、红外阵列传感器分别通过WIFI模块与中央控制 器电性连接；
中央控制器还设置有存储模块，用于存储信息采集模块采集的信息。
中央控制器包括计算板卡，计算板卡分别与可见光摄像头、麦克风传感 器、温湿度传感器、气体传感器、红外阵列传感器电性连接；计算板卡是一 个由GPU驱动的微型嵌入式设备，计算板卡可使用HDMI端口支持视频和 音频输出，并且具有以太网端口，可轻松访问互联网。计算板卡进行信号处 理与通信，手机终端实现预警，监督查看，双向交流等功能。
如图3所示，该系统监护内容包括对婴儿睡姿检测、呼吸心率、表情检 测、哭声检测、体温检测、环境参数的监测、本地监控录像及回放、远程互 动等功能。本系统主要使用可见光摄像头具有非接触性，且使用的传感器成 本较低结果准确。本发明在进行信息传输时采用了边缘计算的方法，很好的 保护了隐私并且方便用户查询以往记录。
中央控制器还包括AI虚拟围栏模块，AI虚拟围栏模块采用电子围栏技 术通过对婴儿监护区域进行用户图行界面的框定进行婴儿监护，AI虚拟围 栏模块内预置有警示区域；AI虚拟围栏模块与可见光摄像头相连，AI虚拟 围栏模块通过WIFI模块分别连接扬声器和声光报警器；可见光摄像头用于 获取目标区域视频监控图像，AI虚拟围栏模块用于判断视频监控图像中预 置的警示区域的边界线与当前时刻的婴儿活动范围是否重合，若重合则通过 扬声器和声光报警器发出报警提示。
红外阵列传感器用于采集婴儿体温；可见光摄像头用于采集婴儿的面部 表情；麦克风用于采集婴儿哭声；扬声器用于通过远程终端及WIFI模块向 婴儿传达音频信息。
中央控制器中还搭载有信息处理模块，信息处理模块能够对麦克风采集 的婴儿哭声检测分析、对红外阵列传感器采集的体温以及可将光摄像头采集 的面部表情进行分析判断获得婴儿的呼吸心率；当体温、呼吸心率异常时声 光报警器报警提示。
将婴儿睡姿、心率、呼吸、表情通过可见光摄像头及相应识别处理算法 搭载在信息处理模块上；婴儿哭声检测分析通过麦克风及搭载在信号处理模 块上的婴儿表情检测算法进行处理；将婴儿体温及监测环境的温湿度传感器 部署到嵌入式平台计算板卡上；婴儿AI虚拟围栏采用了电子围栏技术通过 对婴儿监护区域进行用户图行界面的框定进行婴儿监护，防止出现掉床等现 象发生；
温湿度传感器用于采集环境温湿度、型号为DHT11；气体传感器用于进 行室内温湿度监测、型号为MQ-2。
基于智能家居的婴幼儿监护方法，具体操作步骤如下：
步骤1、将可见光摄像头、麦克风传感器、红外阵列传感器以及温湿度 传感器进行装置连接置于距离婴儿1m左右的地方进行信号采集；
步骤2、通过可见光摄像头采集婴儿视频信息，包括婴儿人脸信息；使 用麦克风传感器采集婴儿声音信息；使用红外阵列传感器收集婴儿体温信息； 使用温湿度传感器采集婴儿周围环境参数；
步骤3、将采集到的音频信息、体温信息及环境参数等信息传送至中央 控制器，中央控制器通过算法处理计算得到婴儿的呼吸心率、表情、姿态、 哭声、体温、温湿度状况；
步骤4、中央控制器将信号采集模块传输过来的婴儿监护信息保存至存 储模块方便后续本地监控录像及回放；
步骤5、中央控制器将采集的婴儿信息经过处理后，当识别异常时通过 通讯模块向手机终端发出报警或预警信息，提醒监护人注意。
采用可见光摄像头对婴儿人脸信息进行检测包括睡姿检测和呼吸心率 检测；
使用可见光摄像头进行睡姿检测具体步骤如下：
将可将光摄像头置于婴儿上方，获取婴儿脸部图像，将检测到的图像信 息传输至中央控制器通过睡姿检测算法进行睡姿异常检测；
首先对脸部图像信息进行特征提取；其次进行婴儿面部特征进行识别， 当检测不到眼部关节点时说明婴儿出现面朝下状态，当可以检测到1个眼部 关节点时表明婴儿为侧卧状态，当可以检测到2个眼部关节点时表明婴儿为 正面朝上睡姿；若检测不到眼部关节点则通过声光报警器进行报警；
使用可见光摄像头进行婴儿呼吸、心率检测具体步骤如下：
对于婴儿的呼吸、心率的检测，主要是基于光电容积脉搏波描记法，光 电容积是通过血液对光的吸收率大于周围组织，所以血容量的改变会影响血 液对光的吸收程度。主要原理是：呼吸时，静脉血液由胸部起伏产生的压力 送回心脏，产生了与呼吸同步的血液灌注波动。可可见光摄像头采集的婴儿 PPG信号中包含与呼吸同频率的信号，PPG信号由于心脏的周期性波动引起 外周血管内血容量周期性变化而呈现周期性，通过分析PPG信号可以得到心 率信息。
具体操作步骤如下：
步骤3.1、选取婴儿面部作为感兴趣区域，视频拍摄的分辨率为720p*1080p,帧率要求大于60FPS；
步骤3.2、对获取的婴儿人脸视频进行检测和追踪：利用自适应增强算 法AdaBoost对人脸进行监测，首先采用双线性差值法将人脸视频中选出的 多张人脸归一化到20*20像素大小的图片，再从这些归一化后的图片里提取 只包含人脸部分的特征矩形，然后利用积分图计算特征矩形的特征值；最后 利用AdaBoost训练器训练只包含人脸部分的特征矩形，减少噪声；
步骤3.3、对步骤3.2的人脸检测跟踪算法处理后的视频帧进行ROI和 RGB区域选择：选择信噪比较高的额头区域作为感兴趣区域，选择具有较好 时频波形图并且信噪比较高的绿色通道；
步骤3.4、经过步骤3.3处理后的视频帧，对每帧的感兴趣区域ROI在 R、G、B三通道进行分离，分离后计算每帧ROI在不同通道的像素平均值， 即可得到初步的IPPG信号；
其中，M代表图片的长，N代表图片的宽，Vi(x,y,t)代表每一个像素点 的灰度值；
对初步的IPPG信号进行降噪预处理后得到s(t):
其中，IPPG()表示提取IPPG信号方法，DF(t)表示高斯白噪声信号，s(t) 表示去噪后的IPPG信号；
步骤3.5、将步骤3.4降噪预处理后的IPPG信号利用带通滤波器滤除噪 声；
步骤3.6、对步骤3.5滤波后的IPPG信号进行傅里叶变换将其转换到频 域，对频域脉搏信号利用峰值检测算法检测最大频率点，设置常规心率频率 范围，利用最大频率点计算平均心率值HR，具体如下：
其中，P为最大频率点的频率，fs为采样频率，length(FFT)为采样点的 个数。
步骤3.2具体如下：
利用人脸追踪算法来减少噪声，使用光流法进行人脸追踪，具体过程为： 首先利用Harris角点的特征检测器从初始帧开始寻找一系列特征点，然后 基于各特征点的局部模板，通过平移或仿射运动模型的光流法运动估计，寻 找各特征点的帧间对应矢量，最后对于各特征点，在各帧中判断其跟踪的好 坏，去掉被遮挡或者无法准确跟踪的特征，之后再周期性的加入一些未被遮 挡可以准确跟踪的新特征。
对于婴儿表情检测算法，首先建立分类研究的婴儿表情库，采用公开研 究可用的FER2013和CK+数据库，将婴儿表情库图片分为四类:高兴、哭泣、 平静、睡觉；其次对婴儿图像使用局部二值模式进行处理凸显婴儿面部特征； 之后使用深度学习的方法对婴儿表情进行识别，采用深度卷积神经网络来将 人脸表情特征提取与表情分类融合到一个end-to-end的网络中，分别采用 了VGG19和Resnet18来完成表情的识别与分类；最后将检测到的婴儿表情 信息输出以便监护人可以及时了解婴儿的情绪，以便满足婴儿真正的需求。
对于婴儿哭声检测及分析的具体步骤如下：首先选用公开可用的婴儿哭 泣数据库；将婴儿的哭声类别分为三类，即“饥饿”、“睡眠”和“不适”； 其次对婴儿哭声信号进行处理，使用高通滤波器对哭声信号进行处理消除无 声和背景噪声；对经处理的哭声信号执行特征提取，选用具有良好分类性能 的时域特征如线性预测系数(LPC)和梅尔频率倒谱系数(MFCC)；对所提取 的特征哭声进行处理使用特征选择和特征降维的方法减少对分类器的存储 和计算要求；选用K最邻近(KNN)机器学习技术对婴儿哭声类别进行训练 并确定出婴儿的哭声原因。
AI虚拟围栏：监护人可以选择想要设定的区域设置虚拟地理围栏，可 以实现当婴儿越界报警。具体实现步骤如下：首先对采集到的监控视频图像 进行处理，包括灰度化、二值化、投影计算和去抖动处理。其次选取画面内 不想让婴儿越过的区域，即感兴趣区域。最后对处理过的监控视频图像进行 目标检测，通过深度学习框架使用标记好的数据进行训练。用户可以通过在 远程终端手动框选需要监护的区域进而实现对婴儿的监护。
婴儿体温：将红外阵列传感器与可见光摄像头进行装置连接，对婴儿进 行测温，并将检测的温度通过Wifi模块传送至计算板卡开发板上；经过温度 阈值比较算法将报警结果传送至远程终端。
环境参数：将温湿度传感器以及气体传感器监测到的环境信息通过WIFI 模块传输至计算板卡开发板上进行处理。使用温度传感器如LM35实时检测 环境温度，使用气敏传感器如MQ-2检测空气质量，通过检测环境参数提醒 监护人对婴儿的环境进行改变，以达到婴儿最适宜的环境状态。
本地监控录像及回放：基于计算板卡的婴儿监控系统具备实时监控功能 同时监控系统还实现了对历史图像进行保存并进行查看具备回看功能。视频 监控功能是通过前端摄像头采集婴儿的视频信号，经编码器编码后通过传输 网络传送到视频监控平台，客户端执行接受视频信息和解压缩视频数据，从 而使得用户能够通过客户端观看实时监控图像信息。远程监控模块是通过安 装专用的客户端软件实现对监控系统的访问与浏览。
Claims (10)
1.基于智能家居的婴幼儿监护系统，其特征在于，包括信号采集模块，中央控制器，通讯模块以及远程终端；所述信号采集模块与中央控制器电性连接，所述中央控制器还连接有扬声器和声光报警器；所述中央控制器通过通讯模块与远程终端相连；
所述信号采集模块包括可见光摄像头、麦克风传感器、温湿度传感器、气体传感器、红外阵列传感器；所述可见光摄像头、麦克风传感器、温湿度传感器、气体传感器、红外阵列传感器分别通过WIFI模块与中央控制器电性连接；
所述中央控制器还设置有存储模块，用于存储信息采集模块采集的信息。
2.根据权利要求1所述的基于智能家居的婴幼儿监护系统，其特征在于，所述中央控制器包括计算板卡，所述计算板卡分别与可见光摄像头、麦克风传感器、温湿度传感器、气体传感器、红外阵列传感器电性连接；所述计算板卡是一个由GPU驱动的微型嵌入式设备，所述计算板卡可使用HDMI端口支持视频和音频输出，并且具有以太网端口。
3.根据权利要求1所述的基于智能家居的婴幼儿监护系统，其特征在于，所述中央控制器还包括AI虚拟围栏模块，所述AI虚拟围栏模块采用电子围栏技术通过对婴儿监护区域进行用户图行界面的框定进行婴儿监护，所述AI虚拟围栏模块内预置有警示区域；所述AI虚拟围栏模块与可见光摄像头相连，所述AI虚拟围栏模块通过WIFI模块分别连接扬声器和声光报警器；所述可见光摄像头用于获取目标区域视频监控图像，所述AI虚拟围栏模块用于判断视频监控图像中预置的警示区域的边界线与当前时刻的婴儿活动范围是否重合，若重合则通过扬声器和声光报警器发出报警提示。
4.根据权利要求1所述的基于智能家居的婴幼儿监护系统，其特征在于，所述红外阵列传感器用于采集婴儿体温；所述可见光摄像头用于采集婴儿的面部表情；所述麦克风用于采集婴儿哭声；所述扬声器用于通过远程终端及WIFI模块向婴儿传达音频信息。
5.根据权利要求1所述的基于智能家居的婴幼儿监护系统，其特征在于，所述中央控制器中还搭载有信息处理模块，所述信息处理模块能够对麦克风采集的婴儿哭声检测分析、对红外阵列传感器采集的体温以及可将光摄像头采集的面部表情进行分析判断获得婴儿的呼吸心率；当体温、呼吸心率异常时声光报警器报警提示。
6.据权利要求1所述的基于智能家居的婴幼儿监护系统，其特征在于，所述温湿度传感器用于采集环境温湿度、型号为DHT11；所述气体传感器用于进行室内温湿度监测、型号为MQ-2。
7.基于智能家居的婴幼儿监护方法，其特征在于，具体操作步骤如下：
步骤1、将可见光摄像头、麦克风传感器、红外阵列传感器以及温湿度传感器进行装置连接置于距离婴儿1m左右的地方进行信号采集；
步骤2、通过可见光摄像头采集婴儿视频信息，包括婴儿人脸信息；使用麦克风传感器采集婴儿声音信息；使用红外阵列传感器收集婴儿体温信息；使用温湿度传感器采集婴儿周围环境参数；
步骤3、将采集到的音频信息、体温信息及环境参数信息传送至中央控制器，中央控制器通过算法处理计算得到婴儿的呼吸心率、表情、姿态、哭声、体温、温湿度状况；
步骤4、中央控制器将信号采集模块传输过来的婴儿监护信息保存至存储模块方便后续本地监控录像及回放；
步骤5、中央控制器将采集的婴儿信息经过处理后，当识别异常时通过通讯模块向手机终端发出报警或预警信息，提醒监护人注意。
8.根据权利要求7所述的基于智能家居的婴幼儿监护方法，其特征在于，采用可见光摄像头对婴儿人脸信息进行检测包括睡姿检测和呼吸心率检测；
使用可见光摄像头进行睡姿检测具体步骤如下：
将可将光摄像头置于婴儿上方，获取婴儿脸部图像，将检测到的图像信息传输至中央控制器通过睡姿检测算法进行睡姿异常检测；
首先对脸部图像信息进行特征提取；其次进行婴儿面部特征进行识别，当检测不到眼部关节点时说明婴儿出现面朝下状态，当可以检测到1个眼部关节点时表明婴儿为侧卧状态，当可以检测到2个眼部关节点时表明婴儿为正面朝上睡姿；若检测不到眼部关节点则通过声光报警器进行报警；
使用可见光摄像头进行婴儿呼吸、心率检测具体步骤如下：
对于婴儿的呼吸、心率的检测，主要是基于光电容积脉搏波描记法，可见光摄像头采集的婴儿PPG信号中包含与呼吸同频率的信号，PPG信号由于心脏的周期性波动引起外周血管内血容量周期性变化而呈现周期性，通过分析PPG信号可以得到心率信息。
9.根据权利要求8所述的基于智能家居的婴幼儿监护方法，其特征在于，具体操作步骤如下：
步骤3.1、选取婴儿面部作为感兴趣区域，视频拍摄的分辨率为720p*1080p,帧率要求大于60FPS；
步骤3.2、对获取的婴儿人脸视频进行检测和追踪：利用自适应增强算法AdaBoost对人脸进行监测，首先采用双线性差值法将人脸视频中选出的多张人脸归一化到20*20像素大小的图片，再从这些归一化后的图片里提取只包含人脸部分的特征矩形，然后利用积分图计算特征矩形的特征值；最后利用AdaBoost训练器训练只包含人脸部分的特征矩形，减少噪声；
步骤3.3、对步骤3.2的人脸检测跟踪算法处理后的视频帧进行ROI和RGB区域选择：选择信噪比较高的额头区域作为感兴趣区域，选择具有较好时频波形图并且信噪比较高的绿色通道；
步骤3.4、经过步骤3.3处理后的视频帧，对每帧的感兴趣区域ROI在R、G、B三通道进行分离，分离后计算每帧ROI在不同通道的像素平均值，即可得到初步的IPPG信号；
其中，M代表图片的长，N代表图片的宽，Vi(x,y,t)代表每一个像素点的灰度值；
对初步的IPPG信号进行降噪预处理后得到s(t):
其中，IPPG()表示提取IPPG信号方法，DF(t)表示高斯白噪声信号，s(t)表示去噪后的IPPG信号；
步骤3.5、将步骤3.4降噪预处理后的IPPG信号利用带通滤波器滤除噪声；
步骤3.6、对步骤3.5滤波后的IPPG信号进行傅里叶变换将其转换到频域，对频域脉搏信号利用峰值检测算法检测最大频率点，设置常规心率频率范围，利用最大频率点计算平均心率值HR，具体如下：
其中，P为最大频率点的频率，fs为采样频率，length(FFT)为采样点的个数。
10.根据权利要求9所述的基于智能家居的婴幼儿监护方法，其特征在于，步骤3.2具体如下：
利用人脸追踪算法来减少噪声，使用光流法进行人脸追踪，具体过程为：首先利用Harris角点的特征检测器从初始帧开始寻找一系列特征点，然后基于各特征点的局部模板，通过平移或仿射运动模型的光流法运动估计，寻找各特征点的帧间对应矢量，最后对于各特征点，在各帧中判断其跟踪的好坏，去掉被遮挡或者无法准确跟踪的特征，之后再周期性的加入一些未被遮挡可以准确跟踪的新特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210383184.9A CN114926957B (zh) | 2022-04-13 | 2022-04-13 | 基于智能家居的婴幼儿监护系统及监护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210383184.9A CN114926957B (zh) | 2022-04-13 | 2022-04-13 | 基于智能家居的婴幼儿监护系统及监护方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926957A true CN114926957A (zh) | 2022-08-19 |
| CN114926957B CN114926957B (zh) | 2024-01-19 |
Family
ID=82807549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210383184.9A Active CN114926957B (zh) | 2022-04-13 | 2022-04-13 | 基于智能家居的婴幼儿监护系统及监护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926957B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311780A (zh) * | 2023-03-16 | 2023-06-23 | 宁波星巡智能科技有限公司 | 预防婴幼儿从高处跌落的智能监测方法、装置及设备 |
| CN116386106A (zh) * | 2023-03-16 | 2023-07-04 | 宁波星巡智能科技有限公司 | 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 |
| CN117690159A (zh) * | 2023-12-07 | 2024-03-12 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106230959A (zh) * | 2016-08-09 | 2016-12-14 | 西安科技大学 | 一种智能婴儿监护系统 |
| US20180035082A1 (en) * | 2016-07-28 | 2018-02-01 | Chigru Innovations (OPC) Private Limited | Infant monitoring system |
| CN108281181A (zh) * | 2018-01-19 | 2018-07-13 | 张晨雨 | 一种婴儿监护系统及婴儿监护方法 |
| CN108335458A (zh) * | 2018-03-05 | 2018-07-27 | 李孟星 | 一种看家看人的家用智能看管系统及其看管方法 |
| US20190209083A1 (en) * | 2018-01-09 | 2019-07-11 | National Chiao Tung University | Monitoring system and monitoring method for infant |
| CN111281367A (zh) * | 2018-12-10 | 2020-06-16 | 绍兴图聚光电科技有限公司 | 一种基于人脸视频的抗干扰非接触式心率检测方法 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
-
2022
- 2022-04-13 CN CN202210383184.9A patent/CN114926957B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180035082A1 (en) * | 2016-07-28 | 2018-02-01 | Chigru Innovations (OPC) Private Limited | Infant monitoring system |
| CN106230959A (zh) * | 2016-08-09 | 2016-12-14 | 西安科技大学 | 一种智能婴儿监护系统 |
| US20190209083A1 (en) * | 2018-01-09 | 2019-07-11 | National Chiao Tung University | Monitoring system and monitoring method for infant |
| CN108281181A (zh) * | 2018-01-19 | 2018-07-13 | 张晨雨 | 一种婴儿监护系统及婴儿监护方法 |
| CN108335458A (zh) * | 2018-03-05 | 2018-07-27 | 李孟星 | 一种看家看人的家用智能看管系统及其看管方法 |
| CN111281367A (zh) * | 2018-12-10 | 2020-06-16 | 绍兴图聚光电科技有限公司 | 一种基于人脸视频的抗干扰非接触式心率检测方法 |
| CN113303776A (zh) * | 2021-05-28 | 2021-08-27 | 西安理工大学 | 基于循环神经网络的非接触式血压测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张程发;韩竺秦;陈益锋;高兆鑫;谢清河;陈武钿;: "基于深度学习的机器视觉儿童智能安防系统", 电子质量, no. 04 * |
| 黄梅;何宁丰;张亚淑;: "基于眼睛状态识别的婴幼儿睡眠监测", 计算机应用与软件, no. 08 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311780A (zh) * | 2023-03-16 | 2023-06-23 | 宁波星巡智能科技有限公司 | 预防婴幼儿从高处跌落的智能监测方法、装置及设备 |
| CN116386106A (zh) * | 2023-03-16 | 2023-07-04 | 宁波星巡智能科技有限公司 | 伴睡婴幼儿时婴幼儿头部智能识别方法、装置及设备 |
| CN117690159A (zh) * | 2023-12-07 | 2024-03-12 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
| CN117690159B (zh) * | 2023-12-07 | 2024-06-11 | 武汉星巡智能科技有限公司 | 基于多模态数据融合的婴幼儿趴睡监测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926957B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114926957B (zh) | 基于智能家居的婴幼儿监护系统及监护方法 | |
| US10645349B2 (en) | Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis and to provide an advantageous view point of babies | |
| US20160310067A1 (en) | A baby monitoring device | |
| US11819626B2 (en) | Computer-based system for educating a baby and methods of use thereof | |
| JP2004531800A (ja) | 監視を要する人及びその世話人を監視する自動システム | |
| JP2004523849A (ja) | 不定期的に補助を要する一人暮らしの人を監視する自動システム | |
| CN111214211A (zh) | 睡眠监测方法、装置和智能床 | |
| Chen et al. | Remote recognition of in-bed postures using a thermopile array sensor with machine learning | |
| CN112806966B (zh) | 一种非干扰式睡眠中呼吸暂停预警系统 | |
| CN108281181B (zh) | 一种婴儿监护系统及婴儿监护方法 | |
| WO2017098265A1 (en) | Method and apparatus for monitoring | |
| CN106539573A (zh) | 一种智能手环及基于用户偏好的手环提醒方法 | |
| CN108882853A (zh) | 使用视觉情境来及时触发测量生理参数 | |
| CN110870771A (zh) | 判断用户的姿势的影像检测方法以及影像检测装置 | |
| CN107958572A (zh) | 一种婴儿监控系统 | |
| CN114937242A (zh) | 睡眠检测预警方法及装置 | |
| CN114999643A (zh) | 一种基于WiFi的老人智能监护方法 | |
| CN117173784B (zh) | 婴幼儿翻身动作检测方法、装置、设备及存储介质 | |
| CN107959756B (zh) | 睡眠自动关闭电子设备的系统及其方法 | |
| CN112052765A (zh) | 一种具有防护功能的老年人智能家具及其控制方法 | |
| Alswedani et al. | A smart baby cradle based on IoT | |
| CN208092911U (zh) | 一种婴儿监控系统 | |
| CN109982046A (zh) | 一种便于婴幼儿护理的云自动摄像监控系统及方法 | |
| CN113256648B (zh) | 基于摄像头的自适应多尺度呼吸监测方法 | |
| Konar et al. | Infant Posture Analyzer and Wet Diaper System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |