CN108272448B - 一种非接触式的婴儿生理参数昼夜监护方法 - Google Patents
一种非接触式的婴儿生理参数昼夜监护方法 Download PDFInfo
- Publication number
- CN108272448B CN108272448B CN201810269025.XA CN201810269025A CN108272448B CN 108272448 B CN108272448 B CN 108272448B CN 201810269025 A CN201810269025 A CN 201810269025A CN 108272448 B CN108272448 B CN 108272448B
- Authority
- CN
- China
- Prior art keywords
- face
- chest
- component
- region
- interesting region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000005286 illumination Methods 0.000 claims abstract description 20
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 12
- 210000000038 chest Anatomy 0.000 claims description 75
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 26
- 210000000115 thoracic cavity Anatomy 0.000 claims description 9
- 230000004907 flux Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 206010042434 Sudden death Diseases 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 230000003321 amplification Effects 0.000 abstract description 4
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 4
- 230000036387 respiratory rate Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006806 disease prevention Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 241000256602 Isoptera Species 0.000 description 1
- 206010040880 Skin irritation Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- HPIGCVXMBGOWTF-UHFFFAOYSA-N isomaltol Natural products CC(=O)C=1OC=CC=1O HPIGCVXMBGOWTF-UHFFFAOYSA-N 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 230000036556 skin irritation Effects 0.000 description 1
- 231100000475 skin irritation Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
- A61B5/02433—Details of sensor for infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Pulmonology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种非接触式的婴儿生理参数昼夜监护方法,通过当前时刻光照强度的判断,从而采用可见光摄像头或红外摄像头分别对婴儿进行非接触式生理参数的昼夜监测。具体包括当光照强度高于设定阈值时,利用总体平均经验模态分解法对可见光摄像头捕获的人脸和胸口感兴趣区域的平均像素集合进行本征模式分量提取,对得到的最佳本征模式分量进行峰值检测从而得到生理参数检测结果;否则,利用欧拉放大法对红外摄像头捕获的人脸和胸口感兴趣区域的平均像素集合进行重构,对重构后的平均像素集合进行生理参数检测,最终实现婴儿生理参数准确和昼夜无间断地连续检测,为婴儿的健康监护提供保障,从而预防婴儿疾病并降低婴儿意外猝死率。
Description
技术领域
本发明属于医学信息检测的技术领域,尤其涉及一种非接触式的婴儿生理参数昼夜监护方法,主要应用于婴儿的家庭监护。
背景技术
心率和呼吸率作为人体生命活动重要的生理参数,在生命体征监护和疾病的预防和诊断等领域具有重要应用价值。心率是指单位时间内心脏搏动的次数,一般指每分钟心脏搏动的次数(beat per minute,bpm),对心血管疾病的诊断和监护具有重要意义;而呼吸率作为呼吸疾病的敏感指标之一,是指每分钟的呼吸次数。
婴儿,相对于成人来说缺乏自理能力,由于小孩疾病、翻面、呛奶阻塞呼吸道,以及棉被或枕头等遮住口鼻等均会造成心率和呼吸率等生理参数发生异常。一旦出现异常情况,婴儿无法主动反馈。因此,对婴儿进行生理参数的昼夜监护非常必要。可以有效降低猝死意外发生的机率,并且监测疾病发生的预兆等。
常规的婴儿生理参数检测仪器一般是接触式的,包括心电图机、可穿戴式的、床垫式等。由于准确率高,广泛应用于临床医学和日常监护等场合。但是,一般接触式的检测方法通常需要涂抹导电凝胶,或采用吸附电极作用于胸部,或使用弹簧夹夹在耳垂或手指等部位。这些电极接触方式可能会引起皮肤刺激或者疼痛等不适,尤其不适合皮肤脆弱的婴儿进行长期监护。
近些年来,由于摄像头的普及,基于视频的非接触式生理参数检测方法引起了广泛的关注。由于人体心跳和呼吸等生理活动会引起相应信号的微小变化,因此,可以使用信息技术手段可以从连续的视频信号中恢复出与生理活动有关的信号,从而计算出心率和呼吸率等相关生理参数。它克服了常规接触式生理参数检测方法的不足,提高了生理参数检测的舒适度,并且能够满足一些特殊情况的使用要求,例如,婴儿的家庭医疗、航天医疗、重症监护室等环境。但是,通常采集视频的摄像头为可见光摄像头,其在光照强度较低甚至是黑暗情况下捕获的视频图像无法反映真实的颜色变化,导致无法进一步进行生理参数检测。
发明内容
本发明为克服现有技术的不足之处,提供一种非接触式的婴儿生理参数昼夜监护方法,以期通过可见光摄像头和红外摄像头相结合,图像处理技术和信号分析技术相结合,实现婴儿心率准确和昼夜无间断地连续检测,为婴儿的健康监护提供保障,从而预防婴儿疾病并降低婴儿意外猝死率。
本发明为解决技术问题采用如下技术方案:
本发明一种非接触式的婴儿生理参数昼夜监护方法的特点是按如下步骤进行:
步骤1:利用光通量勒克斯检测流明计获取当前时刻的光照强度并判断所获取的光照强度是否大于所设定的阈值,若大于,则表明光线条件充足,并执行步骤2;否则,表示光线条件不充足,并执行步骤10;
步骤2、利用可见光摄像头采集婴儿上半身的I帧视频F,记为F=[f1,f2,…,fi,…,fI],fi表示所述婴儿上半身视频F中第i帧图像,i=1,2,...,I;利用特征点检测算法对所述第i帧图像fi中的人脸进行定位,得到所述第i帧图像fi的人脸感兴趣区域;从而以所述第i帧图像fi的人脸感兴趣区域的下边界为基准线,得到所述第i帧图像fi的胸口感兴趣区域,所述第i帧图像fi的胸口感兴趣区域的大小等于所述第i帧图像fi的人脸感兴趣区域的大小;
步骤3、对所述第i帧图像fi的人脸感兴趣区域和胸口感兴趣区域分别计算N个颜色通道的平均像素,得到所述I帧视频F的人脸感兴趣区域第n个颜色通道的平均像素集Xn=[x1,n,x2,n,…,xi,n,…,xI,n]和所述I帧视频F的胸口感兴趣区域第n个颜色通道的平均像素集Yn=[y1,n,y2,n,…,yi,n,…,yI,n];xi,n表示所述第i帧图像fi的人脸感兴趣区域的第n个颜色通道的平均像素,yi,n表示所述第i帧图像fi的胸口感兴趣区域的第n个颜色通道的平均像素,n=1,2,...,N;从而得到I帧视频F的人脸感兴趣区域N个颜色通道的平均像素集合X=[X1,X2,…,Xn,…,XN]T和胸口感兴趣区域N个颜色通道的平均像素集合Y=[Y1,Y2,…,Yn,…,YN]T;
步骤4、利用总体平均经验模态分解法分别对I帧视频F的任意第n个颜色通道的人脸感兴趣区域数据集Xn和胸口感兴趣区域数据集Yn进行分解,得到A个人脸本征模式分量集S=[S1,S2,…,Sa,…,SA]T和B个胸口本征模式分量集R=[R1,R2,…,Rb,…,RB]T,其中,Sa和Rb分别表示所述人脸本征模式分量集S中第a个人脸本征模式分量和胸口本征模式分量集R中第b个人脸本征模式分量;a=1,2,...,A,b=1,2,...,B;
步骤5、定义人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi,并初始化Scandi和Rcandi为空,a=1,b=1;
步骤6、分别计算第a个人脸本征模式分量Sa和第b个胸口本征模式分量Rb的频谱图,判断第a个频谱图中的最大幅值所对应的频率分量是否处于所设定的心率范围内,若处于,则将所述第a个人脸本征模式分量Sa放入所述人脸候选本征模式分量集Scandi中;若第b个频谱图中的最大幅值所对应的频率分量是否处于所设定的呼吸率范围内,则将所述第b个胸口本征模式分量Rb放入所述胸口候选本征模式分量集Rcandi中,否则,执行步骤7;
步骤7、将a+1赋值给a,将b+1赋值给b后返回步骤6,直到a>A且b>B为止,从而得到所述人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi;
步骤8、比较所述人脸候选本征模式分量集Scandi中每个人脸本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为人脸最佳本征模式分量,对所述人脸最佳本征模式分量采用峰值检测算法获得心率检测结果;
比较所述胸口候选本征模式分量集Rcandi中每个胸口本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为胸口最佳本征模式分量,对所述胸口最佳本征模式分量采用峰值检测算法获得呼吸率检测结果;
步骤9、判断心率检测结果和呼吸率的检测结果是否在正常范围内,若是,则重复步骤1,否则,发出报警后再重复步骤1;
步骤10、利用红外光摄像头获取婴儿上半身的I帧视频F,并转化为I帧灰度视频图像,记为G=[g1,g2,…gi,…,gI],i=1,2,...,I;
步骤11、通过拉普拉斯金字塔塔式分解法将所述I帧灰度视频图像G分解成M个空间频带的信号;
步骤12、设定巴特沃斯滤波器的频率范围为生命体征参数的正常范围,采用巴特沃斯滤波器提取第m个空间频带的生命体征参数信号,m=1,2,...,M;
步骤13、对第m个空间频带的生命体征参数信号进行滤波和放大处理,得到预处理后的第m个空间频带的生命体征参数信号;
步骤14、将所述第m个空间频带的生命体征参数信号与第m个空间频带的信号相加,得到第m个空间频带重建后的I帧视频图像;从而得到M个空间频带的重建后的I帧视频图像;
步骤16、利用特征点检测算法对所述重构后的I帧视频图像序列进行人脸定位,得到人脸感兴趣区域,从而以所述人脸感兴趣区域的下边界为基准线,得到相应的胸口感兴趣区域,所述胸口感兴趣区域的大小等于所述胸口感兴趣区域的大小;
步骤18:对所述人脸感兴趣区域的灰度通道的平均像素集P和胸口感兴趣区域的灰度通道的平均像素集Q分别进行快速傅立叶变换,得到平均像素集P的人脸频谱图和平均像素集Q的胸口频谱图;
步骤19、从人脸频谱图中获取幅值最大分量的频率fP作为心率频率,从胸口频谱图中获取幅值最大分量的频率fQ作为呼吸率频率,从而得到相应的心率值HR和呼吸率值RR;
步骤20:判断心率值HR和呼吸率值RR是否在正常范围内,若是,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11;否则,发出报警,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11。
与现有技术相比,本发明的有益效果在于:
1、本发明充分利用可见光摄像头和红外摄像头捕获不同光照强度下视频的能力,提供一种基于可见光摄像头和红外摄像头相结合的非接触式婴儿心率昼夜无缝监测方法,实现了因而心率准确和连续地检测,从而为婴儿的健康监护提供保障。
2、本发明的人脸特征点检测算法一方面可以帮助确定人脸和胸口感兴趣区域,作为心率和呼吸率检测的基础计算区域,另一方面通过人脸特征点的检测,可以判断其是否包含主要人脸特征点,从而判断婴儿是否发生翻面或者被蒙住口鼻,进而降低了婴儿因为翻面或者口鼻被蒙住而发生猝死的概率。
3、本发明总体平均经验模态分解法具有将非平稳的时间序列分解为有限个数的本征模式分量,从而进一步消除了噪声的影响,包括人体运动和环境光变化等噪声,从而保障了通过可见光进行心率检测的准确性和稳定性。
4、本发明在红外摄像头工作时,由于灰度图像无法向可见光视频那样,能清晰反映出心脏活动周期中,心血管周期性变化带来的人体面部皮肤颜色的变化,由于呼吸会引起胸口的起伏运动,故采用欧拉放大方法,将心率周期性变化规律和呼吸引起的胸口起伏运动进一步放大,从而提高了心率和呼吸率检测的准确性。
综上所述,本发明充分利用了可见光和红外光摄像头捕获不同光照强度下视频的能力,在光照强度大于设定阈值时,采用可见光摄像头进行婴儿上半身视频捕获;而在光照强度低于设定阈值甚至无光照情况下,利用红外摄像头进行婴儿上半身视频的有效捕获,实现非接触式的婴儿心率的昼夜无缝监护,同时,针对可见光摄像头数据和红外光摄像头数据特点,分别采用有效的图像处理和信号分析技术实现婴儿心率信号的准确和连续检测,为婴儿的健康监护提供保障,从而预防婴儿疾病并降低婴儿意外猝死率,在婴儿日常监护和疾病预防等方面具有重要意义。
附图说明
图1为本发明方法流程图;
图2-1为本发明方法利用可见光摄像头得到的绿色通道人脸感兴趣区域平均像素时间序列;
图2-2为本发明方法利用可见光摄像头得到绿色通道胸口感兴趣区域平均像素时间序列;
图3-1为本发明方法利用可见光摄像头经处理后得到的心率信号;
图3-2为本发明方法利用可见光摄像头经处理后得到的呼吸率信号;
图4-1为本发明方法采用欧拉放大得到的重构后的人脸感兴趣区域的灰度通道的平均像素时间序列;
图4-2为本发明方法采用欧拉放大得到的重构后的胸口感兴趣区域的灰度通道的平均像素时间序列;
图5-1为本发明方法未采用欧拉放大得到的人脸感兴趣区域的灰度通道的平均像素时间序列;
图5-2为本发明方法未采用欧拉放大得到的胸口感兴趣区域的灰度通道的平均像素时间序列。
具体实施方式
本实施例中,以小蚁智能摄像(家用夜视版)为婴儿上半身视频信号的采集设备,香港希玛AR813A4光通量勒克斯检测流明计进行光通量测量。当光通量高于100勒克斯时,启动小蚁智能摄像头为可见光视频采集,否则,启动小蚁智能摄像头为红外光视频采集,结合附图和具体实施来对本发明做进一步说明。
如图1所示,一种基于多摄像头的非接触式生命体征参数的无缝检测方法按如下步骤进行:
步骤1:利用光通量勒克斯检测流明计获取当前时刻的光照强度并判断所获取的光照强度是否大于所设定的阈值,若大于,则表明光线条件充足,并执行步骤2;否则,表示光线条件不充足,并执行步骤10;
步骤2、利用可见光摄像头采集婴儿上半身的I帧视频F,记为F=[f1,f2,…,fi,…,fI],fi表示所述婴儿上半身视频F中第i帧图像,i=1,2,...,I;利用特征点检测算法对所述第i帧图像fi中的人脸进行定位,得到所述第i帧图像fi的人脸感兴趣区域;从而以所述第i帧图像fi的人脸感兴趣区域的下边界为基准线,得到所述第i帧图像fi的胸口感兴趣区域,所述第i帧图像fi的胸口感兴趣区域的大小等于所述第i帧图像fi的人脸感兴趣区域的大小;在本实施例中,选择鼻尖和嘴唇中部确定为人脸主要特征点。设定时间间隔,若所述时间间隔内一直未检测到人脸特征点,则判定为翻面;若所述时间间隔内可以检测到人脸特征点但是未包括主要特征点,则判定为口鼻遮住。这两种情况均发出报警。否则,进行人脸感兴趣和胸口感兴趣区域的确定。
步骤3、对所述第i帧图像fi的人脸感兴趣区域和胸口感兴趣区域分别计算N个颜色通道的平均像素,得到所述I帧视频F的人脸感兴趣区域第n个颜色通道的平均像素集Xn=[x1,n,x2,n,…,xi,n,…,xI,n]和所述I帧视频F的胸口感兴趣区域第n个颜色通道的平均像素集Yn=[y1,n,y2,n,…,yi,n,…,yI,n];xi,n表示所述第i帧图像fi的人脸感兴趣区域的第n个颜色通道的平均像素,yi,n表示所述第i帧图像fi的胸口感兴趣区域的第n个颜色通道的平均像素,n=1,2,...,N;从而得到I帧视频F的人脸感兴趣区域N个颜色通道的平均像素集合X=[X1,X2,…,Xn,…,XN]T和胸口感兴趣区域N个颜色通道的平均像素集合Y=[Y1,Y2,…,Yn,…,YN]T;本实施例中,由于可见光摄像头包含红绿蓝3个颜色通道,最终得到3个颜色通道人脸感兴趣区域平均像素集合和胸口感兴趣区域平均像素集合,图2-1所示为绿色通道人脸感兴趣区域平均像素时间序列,而图2-2为绿色通道胸口感兴趣区域平均像素时间序列。
步骤4、利用总体平均经验模态分解法分别对I帧视频F的任意第n个颜色通道的人脸感兴趣区域数据集Xn和胸口感兴趣区域数据集Yn进行分解,得到A个人脸本征模式分量集S=[S1,S2,…,Sa,…,SA]T和B个胸口本征模式分量集R=[R1,R2,…,Rb,…,RB]T,其中,Sa和Rb分别表示所述人脸本征模式分量集S中第a个人脸本征模式分量和胸口本征模式分量集R中第b个人脸本征模式分量;a=1,2,...,A,b=1,2,...,B;本实施例中,分别对绿色通道人脸感兴趣区域平均像素集合和绿色通道胸口感兴趣区域平均像素集合进行总体平均经验模态分解,得到人脸本征模式分量集和胸口本征模式分量集。
步骤5、定义人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi,并初始化Scandi和Rcandi为空,a=1,b=1;
步骤6、分别计算第a个人脸本征模式分量Sa和第b个胸口本征模式分量Rb的频谱图,判断第a个频谱图中的最大幅值所对应的频率分量是否处于所设定的心率范围内,若处于,则将所述第a个人脸本征模式分量Sa放入所述人脸候选本征模式分量集Scandi中;若第b个频谱图中的最大幅值所对应的频率分量是否处于所设定的呼吸率范围内,则将所述第b个胸口本征模式分量Rb放入所述胸口候选本征模式分量集Rcandi中,否则,执行步骤7;
步骤7、将a+1赋值给a,将b+1赋值给b后返回步骤6,直到a>A且b>B为止,从而得到所述人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi;
步骤8、比较所述人脸候选本征模式分量集Scandi中每个人脸本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为人脸最佳本征模式分量,对所述人脸最佳本征模式分量采用峰值检测算法获得心率检测结果;
比较所述胸口候选本征模式分量集Rcandi中每个胸口本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为胸口最佳本征模式分量,对所述胸口最佳本征模式分量采用峰值检测算法获得呼吸率检测结果;本实施例中,得到的最佳人脸本征模式分量如图3-1所示,得到的最佳胸口本征模式分量如图3-2所示。分别对这两个最佳本征模式分量进行峰值检测,得到心率检测结果为66次/分钟,而得到呼吸率检测结果为18次/分钟。而真实的心率值和呼吸率值分别为64次/分钟、20次/分钟。
步骤9、判断心率检测结果和呼吸率的检测结果是否在正常范围内,若是,则重复步骤1,否则,发出报警后再重复步骤1;
步骤10、利用红外光摄像头获取婴儿上半身的I帧视频F,并转化为I帧灰度视频图像,记为G=[g1,g2,…gi,…,gI],i=1,2,...,I;
步骤11、通过拉普拉斯金字塔塔式分解法将所述I帧灰度视频图像G分解成M个空间频带的信号;
步骤12、设定巴特沃斯滤波器的频率范围为生命体征参数的正常范围,采用巴特沃斯滤波器提取第m个空间频带的生命体征参数信号,m=1,2,...,M;
步骤13、对第m个空间频带的生命体征参数信号进行滤波和放大处理,得到预处理后的第m个空间频带的生命体征参数信号;
步骤14、将所述第m个空间频带的生命体征参数信号与第m个空间频带的信号相加,得到第m个空间频带重建后的I帧视频图像;从而得到M个空间频带的重建后的I帧视频图像;
步骤16、利用特征点检测算法对所述重构后的I帧视频图像序列进行人脸定位,得到人脸感兴趣区域,从而以所述人脸感兴趣区域的下边界为基准线,得到相应的胸口感兴趣区域,所述胸口感兴趣区域的大小等于所述胸口感兴趣区域的大小;
步骤17、对所述重构后的I帧视频图像序列分别计算人脸感兴趣区域和胸口感兴趣区域的灰度通道的平均像素,得到人脸感兴趣区域的灰度通道的平均像素集P和胸口感兴趣区域的灰度通道的平均像素集Q;本实施例中,由于红外摄像头只有灰度1个通道,最终得到重构后的人脸感兴趣区域的灰度通道的平均像素集和胸口感兴趣区域的灰度通道的平均像素时间序列,分别如图4-1和4-2所示。而图5-1所示为未采用欧拉放大得到的人脸感兴趣区域的灰度通道的平均像素时间序列,图5-2所示为未采用欧拉放大得到的胸口感兴趣区域的灰度通道的平均像素时间序列。从图4-1和图5-1,以及图4-2和5-2对比分析可知,欧拉放大可以对微小运动或者微小颜色变化进行放大,增强心率信号和呼吸率信号的周期性。
步骤18:对所述人脸感兴趣区域的灰度通道的平均像素集P和胸口感兴趣区域的灰度通道的平均像素集Q分别进行快速傅立叶变换,得到平均像素集P的人脸频谱图和平均像素集Q的胸口频谱图;
步骤19、从人脸频谱图中获取幅值最大分量的频率fP作为心率频率,从胸口频谱图中获取幅值最大分量的频率fQ作为呼吸率频率,从而得到相应的心率值HR和呼吸率值RR;
步骤20:判断心率值HR和呼吸率值RR是否在正常范围内,若是,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11;否则,发出报警,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11。
Claims (1)
1.一种非接触式的婴儿生理参数昼夜监护方法,其特征是按如下步骤进行:
步骤1:利用光通量勒克斯检测流明计获取当前时刻的光照强度并判断所获取的光照强度是否大于所设定的阈值,若大于,则表明光线条件充足,并执行步骤2;否则,表示光线条件不充足,并执行步骤10;
步骤2、利用可见光摄像头采集婴儿上半身的I帧视频F,记为F=[f1,f2,…,fi,…,fI],fi表示所述婴儿上半身视频F中第i帧图像,i=1,2,...,I;利用特征点检测算法对所述第i帧图像fi中的人脸进行定位,得到所述第i帧图像fi的人脸感兴趣区域;从而以所述第i帧图像fi的人脸感兴趣区域的下边界为基准线,得到所述第i帧图像fi的胸口感兴趣区域,所述第i帧图像fi的胸口感兴趣区域的大小等于所述第i帧图像fi的人脸感兴趣区域的大小;
步骤3、对所述第i帧图像fi的人脸感兴趣区域和胸口感兴趣区域分别计算N个颜色通道的平均像素,得到所述I帧视频F的人脸感兴趣区域第n个颜色通道的平均像素集Xn=[x1,n,x2,n,…,xi,n,…,xI,n]和所述I帧视频F的胸口感兴趣区域第n个颜色通道的平均像素集Yn=[y1,n,y2,n,…,yi,n,…,yI,n];xi,n表示所述第i帧图像fi的人脸感兴趣区域的第n个颜色通道的平均像素,yi,n表示所述第i帧图像fi的胸口感兴趣区域的第n个颜色通道的平均像素,n=1,2,...,N;从而得到I帧视频F的人脸感兴趣区域N个颜色通道的平均像素集合X=[X1,X2,…,Xn,…,XN]T和胸口感兴趣区域N个颜色通道的平均像素集合Y=[Y1,Y2,…,Yn,…,YN]T;
步骤4、利用总体平均经验模态分解法分别对I帧视频F的任意第n个颜色通道的人脸感兴趣区域数据集Xn和胸口感兴趣区域数据集Yn进行分解,得到A个人脸本征模式分量集S=[S1,S2,…,Sa,…,SA]T和B个胸口本征模式分量集R=[R1,R2,…,Rb,…,RB]T,其中,Sa和Rb分别表示所述人脸本征模式分量集S中第a个人脸本征模式分量和胸口本征模式分量集R中第b个人脸本征模式分量;a=1,2,...,A,b=1,2,...,B;
步骤5、定义人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi,并初始化Scandi和Rcandi为空,a=1,b=1;
步骤6、分别计算第a个人脸本征模式分量Sa和第b个胸口本征模式分量Rb的频谱图,判断第a个频谱图中的最大幅值所对应的频率分量是否处于所设定的心率范围内,若处于,则将所述第a个人脸本征模式分量Sa放入所述人脸候选本征模式分量集Scandi中;若第b个频谱图中的最大幅值所对应的频率分量是否处于所设定的呼吸率范围内,则将所述第b个胸口本征模式分量Rb放入所述胸口候选本征模式分量集Rcandi中,否则,执行步骤7;
步骤7、将a+1赋值给a,将b+1赋值给b后返回步骤6,直到a>A且b>B为止,从而得到所述人脸候选本征模式分量集Scandi和胸口候选本征模式分量集Rcandi;
步骤8、比较所述人脸候选本征模式分量集Scandi中每个人脸本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为人脸最佳本征模式分量,对所述人脸最佳本征模式分量采用峰值检测算法获得心率检测结果;
比较所述胸口候选本征模式分量集Rcandi中每个胸口本征模式分量频率所对应的最大幅值,并选取最大值所对应的本征模式分量作为胸口最佳本征模式分量,对所述胸口最佳本征模式分量采用峰值检测算法获得呼吸率检测结果;
步骤9、判断心率检测结果和呼吸率的检测结果是否在正常范围内,若是,则重复步骤1,否则,发出报警后再重复步骤1;
步骤10、利用红外光摄像头获取婴儿上半身的I帧视频F,并转化为I帧灰度视频图像,记为G=[g1,g2,…gi,…,gI],i=1,2,...,I;
步骤11、通过拉普拉斯金字塔塔式分解法将所述I帧灰度视频图像G分解成M个空间频带的信号;
步骤12、设定巴特沃斯滤波器的频率范围为生命体征参数的正常范围,采用巴特沃斯滤波器提取第m个空间频带的生命体征参数信号,m=1,2,...,M;
步骤13、对第m个空间频带的生命体征参数信号进行滤波和放大处理,得到预处理后的第m个空间频带的生命体征参数信号;
步骤14、将所述第m个空间频带的生命体征参数信号与第m个空间频带的信号相加,得到第m个空间频带重建后的I帧视频图像;从而得到M个空间频带的重建后的I帧视频图像;
步骤16、利用特征点检测算法对所述重构后的I帧视频图像序列进行人脸定位,得到人脸感兴趣区域,从而以所述人脸感兴趣区域的下边界为基准线,得到相应的胸口感兴趣区域,所述胸口感兴趣区域的大小等于所述胸口感兴趣区域的大小;
步骤18:对所述人脸感兴趣区域的灰度通道的平均像素集P和胸口感兴趣区域的灰度通道的平均像素集Q分别进行快速傅立叶变换,得到平均像素集P的人脸频谱图和平均像素集Q的胸口频谱图;
步骤19、从人脸频谱图中获取幅值最大分量的频率fP作为心率频率,从胸口频谱图中获取幅值最大分量的频率fQ作为呼吸率频率,从而得到相应的心率值HR和呼吸率值RR;
步骤20:判断心率值HR和呼吸率值RR是否在正常范围内,若是,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11;否则,发出报警,再判断所获取的光照强度是否大于所设定的阈值,若是,则重复步骤1,否则,重复步骤11。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810269025.XA CN108272448B (zh) | 2018-03-29 | 2018-03-29 | 一种非接触式的婴儿生理参数昼夜监护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810269025.XA CN108272448B (zh) | 2018-03-29 | 2018-03-29 | 一种非接触式的婴儿生理参数昼夜监护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108272448A CN108272448A (zh) | 2018-07-13 |
CN108272448B true CN108272448B (zh) | 2020-11-27 |
Family
ID=62810548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810269025.XA Active CN108272448B (zh) | 2018-03-29 | 2018-03-29 | 一种非接触式的婴儿生理参数昼夜监护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108272448B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109350030B (zh) * | 2018-08-17 | 2020-04-21 | 西安电子科技大学 | 基于相位放大处理人脸视频心率信号的系统及方法 |
CN109259749A (zh) * | 2018-08-29 | 2019-01-25 | 南京邮电大学 | 一种基于视觉摄像头的非接触式心率测量方法 |
CN109124610B (zh) * | 2018-09-26 | 2021-07-30 | 深圳星脉医疗仪器有限公司 | 一种无创血压测量的抗干扰方法和装置 |
CN109830085A (zh) * | 2018-12-05 | 2019-05-31 | 深圳市天视通电子科技有限公司 | 一种婴儿睡眠监护方法及系统 |
CN109820499B (zh) * | 2018-12-24 | 2022-10-28 | 杨爽 | 基于视频的高抗干扰心率检测方法、电子设备及存储介质 |
CN109589101B (zh) * | 2019-01-16 | 2020-08-21 | 四川大学 | 一种基于视频的非接触式生理参数获取方法与装置 |
CN110236515A (zh) * | 2019-07-19 | 2019-09-17 | 合肥工业大学 | 一种基于近红外视频的非接触式心率检测方法 |
CN110365947A (zh) * | 2019-08-07 | 2019-10-22 | 杭州泽铭睿股权投资有限公司 | 一种可以检测婴儿心跳呼吸的婴儿监控摄像机 |
CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
CN113361526B (zh) * | 2021-07-16 | 2022-09-27 | 合肥工业大学 | 一种融合肩部和胸部区域信息的非接触式呼吸率监测方法 |
CN114222033B (zh) * | 2021-11-01 | 2023-07-11 | 三峡大学 | 一种基于经验模态分解的自适应欧拉视频放大方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834946A (zh) * | 2015-04-09 | 2015-08-12 | 清华大学 | 一种非接触式睡眠监测方法及系统 |
CN105678780A (zh) * | 2016-01-14 | 2016-06-15 | 合肥工业大学智能制造技术研究院 | 一种去除环境光变化干扰的视频心率检测方法 |
TW201701826A (zh) * | 2015-07-09 | 2017-01-16 | 國立臺灣科技大學 | 非接觸式即時生理訊號及動作偵測方法 |
CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控系统及应用 |
-
2018
- 2018-03-29 CN CN201810269025.XA patent/CN108272448B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834946A (zh) * | 2015-04-09 | 2015-08-12 | 清华大学 | 一种非接触式睡眠监测方法及系统 |
TW201701826A (zh) * | 2015-07-09 | 2017-01-16 | 國立臺灣科技大學 | 非接觸式即時生理訊號及動作偵測方法 |
CN105678780A (zh) * | 2016-01-14 | 2016-06-15 | 合肥工业大学智能制造技术研究院 | 一种去除环境光变化干扰的视频心率检测方法 |
CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控系统及应用 |
Non-Patent Citations (1)
Title |
---|
Illumination Variation-Resistant Video-Based Heart Rate Measurement Using Joint Blind Source Separation and Ensemble Empirical Mode Decomposition;Juan Cheng 等;《JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;20170930;第21卷(第5期);第1422-1432页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108272448A (zh) | 2018-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108272448B (zh) | 一种非接触式的婴儿生理参数昼夜监护方法 | |
US11684287B2 (en) | System and methods for video-based monitoring of vital signs | |
Villarroel et al. | Non-contact physiological monitoring of preterm infants in the neonatal intensive care unit | |
US10143377B2 (en) | Single channel imaging measurement of dynamic changes in heart or respiration rate | |
Mestha et al. | Towards continuous monitoring of pulse rate in neonatal intensive care unit with a webcam | |
Zhao et al. | Remote measurements of heart and respiration rates for telemedicine | |
Jorge et al. | Non-contact monitoring of respiration in the neonatal intensive care unit | |
CN112074226B (zh) | 用于生命体征的远程测量的系统和方法 | |
JP6461021B2 (ja) | 被検者のバイタルサイン情報を取得するためのデバイス及び方法 | |
Wei et al. | Automatic webcam-based human heart rate measurements using laplacian eigenmap | |
CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及系统 | |
CN106413533B (zh) | 用于检测对象的呼吸暂停的设备、系统和方法 | |
Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
Yu et al. | Noncontact monitoring of heart rate and heart rate variability in geriatric patients using photoplethysmography imaging | |
CN112806966B (zh) | 一种非干扰式睡眠中呼吸暂停预警系统 | |
Al-Naji et al. | Simultaneous tracking of cardiorespiratory signals for multiple persons using a machine vision system with noise artifact removal | |
Chen et al. | Modulation model of the photoplethysmography signal for vital sign extraction | |
Bella et al. | Review and evaluation of heart rate monitoring based vital signs, a case study: Covid-19 pandemic | |
CN111544001A (zh) | 一种非接触式呼吸暂停检测装置及方法 | |
Mateu-Mateus et al. | Comparison of video-based methods for respiration rhythm measurement | |
Chan et al. | Improving heart rate and heart rate variability estimation from video through a hr-rr-tuned filter | |
Kau et al. | Pressure-sensor-based sleep status and quality evaluation system | |
Talukdar et al. | Evaluation of a camera-based monitoring solution against regulated medical devices to measure heart rate, respiratory rate, oxygen saturation, and blood pressure | |
Mattioli et al. | Motion magnification algorithms for video-based breathing monitoring | |
Abbas et al. | Contactless Vital Signs Monitoring for Public Health Welfare |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |