CN102499664B - 基于视频图像的非接触式生命体征的检测方法及检测系统 - Google Patents

基于视频图像的非接触式生命体征的检测方法及检测系统 Download PDF

Info

Publication number
CN102499664B
CN102499664B CN2011103255333A CN201110325533A CN102499664B CN 102499664 B CN102499664 B CN 102499664B CN 2011103255333 A CN2011103255333 A CN 2011103255333A CN 201110325533 A CN201110325533 A CN 201110325533A CN 102499664 B CN102499664 B CN 102499664B
Authority
CN
China
Prior art keywords
vital sign
signal
frequency
detection
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011103255333A
Other languages
English (en)
Other versions
CN102499664A (zh
Inventor
赵芳
钱卓
俞雅萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xishuangbanna Dadu Yunhai Intelligent Technology Development Co., Ltd
Original Assignee
XISHUANGBANNA DADU YUNHAI BIOLOGICAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XISHUANGBANNA DADU YUNHAI BIOLOGICAL TECHNOLOGY DEVELOPMENT Co Ltd filed Critical XISHUANGBANNA DADU YUNHAI BIOLOGICAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN2011103255333A priority Critical patent/CN102499664B/zh
Publication of CN102499664A publication Critical patent/CN102499664A/zh
Priority to PCT/CN2012/083181 priority patent/WO2013060249A1/zh
Application granted granted Critical
Publication of CN102499664B publication Critical patent/CN102499664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于视频图像的非接触式生命体征检测方法，首先按固定帧频连续采集视频图像，自动检测ROI区域，从所述ROI区域划分出的多通道信号中分离出生命体征信号，提取出生命体征信号的频率并将所述频率转换为所述生命体征，获得检测结果。本发明还公开了一种基于视频图像的非接触式生命体征的检测系统。本发明具有快速、实时、可实现连续监测、鲁棒性强、低成本以及适用范围广等优点。

Description

基于视频图像的非接触式生命体征的检测方法及检测系统
技术领域
本发明涉及到家庭保健系统、医用监护系统以及动物健康检测系统，尤其涉及一种基于视频图像的非接触式生命体征的检测方法及系统，以检测人体和/或动物的心率、呼吸以及心率变化等生命体征。
背景技术
非接触式生命体征（包括心率、呼吸等）检测方法及检测设施由于其方便性、安全性以及灵活性，受到业界广泛关注。目前已有的非接触式心率和呼吸检测技术主要包括如下的多普勒雷达探测式和序列图像采集式两种。
1.        多普勒雷达探测式
多普勒雷达式非接触测量方法对心跳和呼吸造成的人体体表微动进行探测，进而获取人体心率与呼吸信息。多普勒雷达式探测系统由控制器、超宽频信号发送器以及侦测接收返回信号的接收器组成。发射机发射的电磁波照射到人体后，受到人体体表微动的多普勒调制；接收机对后向散射回波做相干处理，检测出回波中的多普勒信息，经放大、滤波等信号处理技术最终获得人体的心跳和呼吸信息。
由于多普勒雷达式检测方法的测量原理是感知人体体表的微生理运动，因而对身体运动和周围环境变化极其敏感。此外，多普勒雷达式探测系统的构造复杂、造价昂贵，主要用于地震灾害、塌方事故等紧急人员抢救以及警方人质救援等特殊场合，不适于在日常生活中普及应用。
2.        序列图像采集式
当光束照射到皮肤表面时，皮肤内的血液对光束产生吸收衰减作用，并且衰减量取决于血容积的多寡。在心脏搏动作用下，皮肤内动脉血管的血容积发生变化，照射光束衰减量相应呈现波动性变化，因而可以通过摄像头探测皮肤反射光强变化（即图像亮度值变化）间接得出生物体心跳信息。
基于上述原理，目前国际上Takano和Ohta报道了一种利用延时序列图像测量心跳和呼吸的方法。该方法用CCD相机连续采集30秒的人脸图像，在图像中手动截取人体脸颊部位特定区域，求取每帧图像中脸颊特定区域的平均亮度值，将得到的一组亮度时间序列信号依次进行一阶差分、低通滤波和AR模型功率谱分析，所得功率谱中两个显著的峰值分别对应心跳和呼吸频率。
国内也有人提出一种基于红外序列图像的心率无损检测方法。该方法首先通过红外动态图像采集系统采集受试者图像，手动截取受试者太阳穴处图像，采用重心法提取出时间序列信号，再通过一阶差分、低通滤波和AR模型功率谱分析等一系列步骤实现心率的无损检测。
上述方法的局限性表现在以下几方面：1) 不能自动捕获跟踪人体脸颊区域，只能在完成图像采集后，通过人为手动截取ROI区域，属离线处理方式，无法实时给出测量结果。 2) 图像信号易受到照明光源的强度噪声和分布噪声、探测器噪声以及待测目标移动噪声的影响，因而需要从混有噪声的图像信号中检测出微弱的心跳和呼吸信号。采用单组观测信号进行滤波处理的方式，其去噪和抗噪能力有限，当噪声较强时，将导致检测结果误差升高，甚至无法完成检测。3) 需要连续累积30秒钟的测试时间，因而仅能给出心率和呼吸在30秒内的平均值，无法反映出心率和呼吸的实时变化。
本发明克服了现有技术中非接触式生命体征检测系统的装置结构复杂、造价昂贵、不适用于日常生活等缺陷，以及检测方法的不能进行实时测量、去噪及抗噪能力差、检测时间长且不能反映生命体征的实时变化等缺陷，本发明检测方法及系统具有快速、实时、多目标同时检测、可实现连续监测、鲁棒性强、低成本以及适用范围广等优点。
发明内容
本发明提供一种基于视频图像的非接触式生命体征的检测方法，包括：
步骤一，按固定帧频连续采集待测目标的视频图像，自动检测图像中的ROI区域，
步骤二，从所述ROI区域划分出的多通道信号中分离出生命体征信号，
步骤三，提取出所述生命体征信号的频率并将所述频率转换为所述生命体征，获得检测结果。
其中，所述生命体征信号的频率包括心跳信号的频率f和呼吸信号的频率f1；所述生命体征包括心率、呼吸。当所述生命体征为心率时，所述ROI区域为待测目标的皮肤区域；当所述生命体征为呼吸频率时，所述ROI区域为待测目标的胸腔或腹部位置。
本发明检测方法同时检测多个待测目标。
本发明检测方法以2-3个信号周期为最小测试时长提取所述生命体征信号的频率。
当所述ROI区域划分出的多通道信号的归一化时间序列信号幅度同时超过4时，判定此时存在强扰动信号。通过将亮度变化阈值设置为4，实现将所述强扰动信号剔除。
步骤二中分离生命体征信号包括以下步骤：将所述ROI区域的图像进行多通道划分，计算各个通道的空间平均值以形成原始时间序列信号，将所述原始时间序列信号的基线漂移滤除并归一化处理后，通过盲源分离法分离出与原始时间序列信号维数相同的独立分量；其中，所述独立分量包括生命体征信号和噪声。其中，所述盲源分离法包括最大信息量法、自然梯度法、自适应法、快速独立元分析法、矩阵特征值分解法。
其中，在所述原始时间序列信号的基线漂移滤除并归一化处理后，根据所述ROI区域图像亮度的变化幅度判定并剔除强扰动信号。
在本发明检测方法中，当出现所述的强扰动信号时，可以重新自步骤一开始新的检测。
步骤三中提取出生命体征信号的频率包括以下步骤：对盲源分离法得到的所述独立分量进行信号平滑处理，将与生命特征信号对应的独立分量作为源信号分量，然后通过周期信号频率检测法提取所述源信号分量的频率，获得所述生命体征信号的频率。
其中，所述源信号分量是所述独立分量中自相关函数的主瓣能量占整体能量比重最小的独立分量，或所述独立分量中功率谱密度峰值最大的独立分量。
其中，所述周期信号频率检测法包括双谱分析法、小波变换法和多重自相关法。本发明中多重自相关法提取所述源信号分量的频率的步骤为，对所述源信号分量进行多重自相关运算，进行频谱分析，频谱中的峰值功率点为所述生命体征信号的频率。
其中，所述将生命体征信号的频率转换为生命体征是利用公式                                                
Figure 727254DEST_PATH_IMAGE001
分别得到每分钟的心跳数HR和呼吸数Rs。
本发明还提供一种基于视频图像的非接触式生命体征的检测系统，其包括视频图像采集模块（1）、自动检测模块（2）、信号分离模块（3）、智能判决模块（4）、信号频率提取模块（5）和显示模块（6）；
其中，所述视频图像采集模块（1）按固定帧频连续采集图像，并传送给所述自动检测模块（2）；
所述自动检测模块（2）自动实时检测待测目标数量，并捕捉、跟踪所述ROI区域；
所述信号分离模块（3）实现生命体征信号和噪声的分离；
所述智能判决模块（4）根据所述ROI区域图像亮度的变化幅度判定并剔除强扰动信号；
所述信号频率提取模块（5）从所述生命体征信号中提取出其频率，并将其转换为所述生命体征；
所述显示模块（6）实时更新显示所述信号频率提取模块（5）转换的检测结果。
本发明的目的是提供一种自动非接触式心率和/或呼吸的检测方法及检测系统，具有快速、实时、可实现连续监测、鲁棒性强、低成本以及适用范围广等特点，实现了对心率及呼吸的自动、实时、连续的非接触式监测。在心脏搏动作用下，皮肤内动脉血管的血容积发生变化，使得皮肤反射光强呈现波动性变化，从而引起图像亮度值的改变。呼吸会引起人体胸腔起伏，同时还将带动人体肩部、头部等身体部位移动，从而致使图像上的亮度发生改变，因此，图像亮度变化既包含心跳也包含呼吸信息。
本发明中，“2-3个信号周期”是指心脏搏动或呼吸完成2-3次。
本发明有益效果包括：实现了多目标、多生命体征的同时测量。能够在2-3个信号周期内完成测量，实现了心率和呼吸等生命体征的快速测量。与一般的滤波法相比较，本发明检测方法采用盲源分离的方法，能够增加对干扰的抵抗度（照明光亮度变化和待测者小幅度移动等），可以实现在不稳定环境中进行测量，测试距离的范围较大，不受短距离的限制。利用本发明检测系统可在多种照明条件（自然光、室内照明光源、低光照条件等）下实现全天候测量。本发明应用范围广泛，既适用于人体也适用于动物。
附图说明
图1 为本发明基于视频图像的非接触式生命体征检测系统的总结构示意图。
图2 为本发明基于视频图像的非接触式生命体征检测系统的结构示意图。
图3为本发明基于视频图像的非接触式生命体征检测系统的流程示意图。
图4为本发明基于视频图像的非接触式生命体征的检测系统示意图。
图5为单人测试实例中，心率检测的R、G、B通道原始时间序列信号示意图。
图6为单人测试实例中，呼吸检测的R、G、B通道原始时间序列信号示意图。
图7为单人测试实例中，心率检测的归一化时间序列信号示意图。
图8为单人测试实例中，呼吸检测的归一化时间序列信号示意图。
图9为单人测试实例中，心率检测的ICA独立分量示意图。
图10为单人测试实例中，呼吸检测的ICA独立分量示意图。
图11为单人测试实例中，心率检测经平化处理后的ICA独立分量示意图。
图12为单人测试实例中，呼吸检测经平化处理后的ICA独立分量示意图。
图13为单人测试实例中，心率检测中各独立分量的自相关函数示意图。
图14为单人测试实例中，呼吸检测中各独立分量的自相关函数示意图。
图15为单人测试实例中，心率检测中所选独立分量的三重自相关函数的频谱图。
图16为单人测试实例中，呼吸检测中所选独立分量的三重自相关函数的频谱图。
图17为两人测试实例中，心率检测的R、G、B通道原始时间序列信号示意图。
图18为两人测试实例中，心率检测的归一化时间序列信号示意图。
图19为两人测试实例中，心率检测的ICA独立分量示意图。
图20为两人测试实例中，心率检测经平化处理后的ICA独立分量示意图。
图21为两人测试实例中，心率检测中各独立分量的自相关函数示意图。
图22为两人测试实例中，心率检测中所选独立分量的三重自相关函数的频谱图。
图23为猪测试实例中，心率检测的R、G、B通道原始时间序列信号示意图。
图24为猪测试实例中，心率检测的归一化时间序列信号示意图。
图25为猪测试实例中，心率检测的ICA独立分量示意图。
图26为猪测试实例中，心率检测经平化处理后的ICA独立分量示意图。
图27为猪测试实例中，心率检测中各独立分量的自相关函数示意图。
图28为猪测试实例中，心率检测中所选独立分量的三重自相关函数的频谱图。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明，本发明的保护内容不局限于以下实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
如图1所示，本发明基于视频图像的非接触式生命体征的检测系统包括：视频图像采集模块1、自动检测模块2、信号分离模块3、智能判决模块4、信号频率提取模块5和显示模块6。待测目标为一个或多个。如图2所示，信号分离模块3包括心率信号分离模块3-1、呼吸信号分离模块3-2。依据不同实际检测目的，其他生命体征信号的分离模块也可适用。信号频率提取模块5包括心跳频率提取模块5-1、呼吸节律提取模块5-2。依据不同实际检测目的，其他生命体征信号的信号频率提取模块也可适用。经视频图像采集模块1获取的信号经自动检测模块2、信号分离模块3、智能判决模块4、信号频率提取模块5的传输和处理得到检测结果，经显示模块6显示检测结果。
实施例1 
利用本发明基于视频图像的非接触式生命体征的检测方法，以单人作为检测目标进行检测，其过程如下：
获取待测目标的视频图像
如图3所示，用视频图像采集模块1按固定帧频连续采集待测目标的视频图像。
本实施例中，如图4所示，可采用罗技网络摄像头（型号C250）采集24位RGB真彩图像，采集帧频15fps，图像分辨率640×480。本发明中，采集帧频和图像分辨率是越大越好，但是这两项同时也受执行速度制约，所以在实际应用时应根据具体情况分析确定。理论上来说，对于心率测试，7fps的帧频可以测试到最高200bpm的心跳；对于呼吸测试，1fps的帧频可以测试最快30次/分钟的呼吸。图像分辨率不受限制。
自动检测待测目标的数量和ROI区域
如图3、图4所示，视频图像采集模块1将所采集的图像传送给自动检测模块2后，自动检测模块2自动实时检测待测目标数量，通过边缘轮廓检测进行自动人体上身轮廓识别，由上身轮廓个数确定待测目标数量为单个。自动检测模块2动态捕获、跟踪测试感兴趣区域(ROI)。由于呼吸引起的胸腔和腹部运动幅度最大，因而在本实例将待测目标胸腔位置作为呼吸检测的ROI区域。自动检测模块2通过边缘轮廓检测自动确定胸腔位置。
检测心率时，心率检测的ROI区域为待测目标裸露在外的皮肤区域，通过肤色检测或人脸检测实现对心率ROI区域的自动识别和动态跟踪。对于每个待测目标，自动检测模块2分别将其上身轮廓区域内的像素从RGB空间转换到YCbCr空间进行肤色识别，自动检测出每个待测目标裸露在外的皮肤区域作为其心率检测的ROI区域。
本发明对心率和呼吸等生命体征的测量，除上述选择的ROI区域不同外，后续处理步骤一致。
分离生命体征信号和噪声，同时自动识别并剔除强扰动信号
如图1-3所示，信号分离模块3实现信号和噪声的分离。检测过程中，图像信号易受到照明光源的强度噪声和分布噪声、探测器噪声以及待测目标移动噪声的影响，为了将微弱的心跳或呼吸信号从混有复杂噪声的图像信号中恢复出来，现有技术中直接采用滤波降噪的方法，但该方法效果有限。本发明将视频图像划分为多路测试通道，采用盲源分离法实现信号和噪声的自动分离，可以有效提高系统的抗噪性和鲁棒性。
如图2、图3所示，信号分离模块3中包括心率信号分离模块3-1、呼吸信号分离模块3-2。具体步骤如下：
1.        多测试通道划分
将ROI区域分解为R、G、B三个色彩通道，对心率和呼吸分别获得三路测试通道。
2.        生成原始时间序列信号
在R、G、B三路色彩通道上，分别将每一帧图像的ROI区域内所有像素求空间平均。对心率ROI区域求空间平均得到的三路心率原始时间序列信号，如图5所示，红色、绿色和蓝色通道信号分别为R1(t), G1(t), B1(t)；对呼吸ROI区域求空间平均得到的三路呼吸原始时间序列信号，如图6所示，红色、绿色和蓝色通道信号分别为R2(t), G2(t), B2(t)。
3.        滤除基线漂移并归一化处理
用平滑先验法滤除基线漂移，对于心率检测，将截止频率设为0.6Hz；对于呼吸检测，将截至频率设为0.16Hz。
用平滑先验法滤除扰动带来的原始时间序列信号的基线漂移，使后续处理效果更好。对于心率检测，将截止频率设为0.6Hz；对于呼吸检测，将截至频率设为0.16Hz。再进行归一化处理，得到零均值、单位方差的归一化时间序列。以心率测试的红色通道为例，归一化处理如下： 
其中R1(t)和R1’(t)分别代表心率测试红色通道的原始时间序列和归一化时间序列，μ1和σ1分别代表心率测试红色通道的原始时间序列的均值和标准差。如图7所示，心率测试的红色、绿色和蓝色通道归一化信号分别为R1’(t), G1’(t), B1’(t)。如图8所示，呼吸测试的红色、绿色和蓝色通道归一化信号分别为R2’(t), G2’(t), B2’(t)。
4.        智能剔除强扰动信号
监测R、G、B三路时间序列信号的变化，当三路信号同时突变时，判定此时存在强扰动信号，重新启动测量。在本实例中，将突变阈值设为4，当R、G、B三路信号同时超过突变阈值时，判定此时存在强扰动信号。
如图1-3所示，智能判决模块4自动识别并剔除强扰动信号。检测过程中，偶发的大干扰或强干扰（例如待测目标身体大幅移动）会对测试结果产生影响，本发明检测方法根据ROI区域图像亮度的变化幅度来判定是否存在强干扰，通过设定亮度变化阈值，自动将强干扰带来的强扰动信号剔除，从而保证测量结果的准确性。本发明检测方法在很大程度上提高检测系统的抗噪性和鲁棒性。
本实施例中，当三路归一化时间序列信号幅度同时超过4时，判定此时存在强扰动信号。通过将亮度变化阈值设置为4，实现将所述强扰动信号剔除。
5.        盲源分离
在本实例中盲源分离法采用快速独立元分析法(Fast ICA)进行信号和噪声的分离，将的归一化时间序列作为观察信号，利用Fast ICA得到与观察信号数量相等的独立分量。心率和呼吸检测的ICA分量分别见图9和图10。其中，盲源分离法还可采用最大信息量法（Infomax）、自然梯度法（Natural Gradient）、自适应法（EASI）、矩阵特征值分解法等方法。
提取生命体征信号的频率，并转换为生命体征信号
如图1-3所示，用信号频率提取模块5首先从Fast ICA分离输出分量中找出对应生命特征信号的独立分量，以下称之为源信号分量，再从混有噪声的源信号分量中提取出其频率，为生命体征信号的频率，并将其转换为所述生命体征，即心率、呼吸节律。信号频率提取模块5包括心跳频率提取模块5-1、呼吸节律提取模块5-2。具体步骤如下：
1．信号平滑处理
采用三点滑动平均滤波对Fast ICA输出的独立分量进行信号平滑处理，滤除波动干扰。其中心率检测平滑后的独立分量见图11；呼吸检测平滑后的独立分量见图12。
2．确定源信号分量
    将Fast ICA输出的独立分量做自相关运算，计算自相关函数的主瓣能量占整体能量的比重，比重最小的信号分量被选为源信号分量。如图13所示，本实例中测试心率检测的源信号分量为第二路独立分量；由图14可知，呼吸检测的源信号分量为第三路独立分量。
3．源信号分量频率提取
本发明采用多重自相关法，将源信号分量进行三重自相关运算，滤除源信号分量上的噪声，提高信噪比。对源信号三重自相关函数进行快速傅立叶变换，获得的频谱中的峰值功率点即为生命体征信号的频率。本发明的源信号分量频率的提取不仅限于多重自相关法，其它的周期信号频率检测的方法（诸如双谱分析法、小波变换法、高阶频谱分析法等）也都适用。
本实施例中，将所得心跳信号的频率f转换为以分钟为单位的心率，即
Figure 999153DEST_PATH_IMAGE003
如图15所示，本测试实例中f=0.93Hz，由此可得待测者心率为每分钟56跳。
将所得呼吸信号的频率f1转换为以分钟为单位的呼吸次数
Figure 821615DEST_PATH_IMAGE004
如图16所示，本测试实例中f1=0.256Hz，由此可得待测者呼吸节律为每分钟15次。
实时更新显示检测结果
通过显示模块6实时更新显示信号频率提取模块5转换的检测结果，如图4所示。
本发明在2-3个信号周期内即可完成测量，为实现快速实时测量，根据待测目标的生命体征信号类型，分别确定心率和呼吸最短初始测试时长。例如，健康成人的心跳在60-100次每分钟，呼吸约16～20次/分钟，因此可将心率和呼吸的初始测试时间（即获取2-3个信号周期所需要的时间）分别设为3秒和12秒。完成初始测试后，将每秒钟更新的图像序列添加至原始时间信号序列中，计算新的测量结果。本实例将最长测试窗口设置为30s，当累积测试时间达到30秒以后，采用窗口滑动方式，滑动增量设为1秒，从而实现实时监测。当发生强扰动时，利用智能判决模块4依据ROI区域划分出的多通道信号的归一化时间序列信号幅度同时超过4，判定并自动剔除该组强扰动信号测试数据，同时自获取待测目标的视频图像开始重新启动新一轮测量，由此确保测量的连续性。
如图4所示，本发明基于视频图像的非接触式生命体征的检测系统中采用普通网络摄像头作为图像采集设备，以电脑为硬件平台，用VC编程语言实现软件算法和显示界面。将心率和呼吸的初始测试时间分别设为3秒和12秒，完成初始测试后，利用每秒钟更新的图像序列实时更新测量结果，当发生强扰动时，自动剔除该组测试数据同时重新启动新一轮测量。
实施例2
以两人为检测目标同时检测，与单人区别仅在于：
自动检测模块通过边缘轮廓检测进行自动人体上身轮廓识别，由上身轮廓个数首先确定待测目标数量为两个。
对于每个测试目标分别在其上身轮廓范围内，确定胸腔位置作为呼吸检测ROI区域；通过肤色检测确定心率检测ROI区域。而后对每个测试目标分别进行处理，处理方法同单人检测相同。心率检测的R、G、B通道原始时间序列信号见图17，心率检测的归一化时间序列信号见图18，心率检测的ICA独立分量见图19，心率检测经平化处理后的ICA独立分量见图20，心率检测中各独立分量的自相关函数见图21。
我们以双人心率检测为实例对图22中实验结果进行了计算，两个测试目标的心率分别为56 bpm和72 bpm。
实施例3
    以动物猪作为检测目标进行检测。其他实验过程类似于实施例1，不重复赘述。其中，区别在于，猪的心率和呼吸ROI区域可同时取为猪的腹部。猪腹部的自动检测通过边缘轮廓检测实现。具体如下：通过边缘轮廓检测对猪进行轮廓识别，并对猪形体进行椭圆拟合，拟合椭圆的中心位置即为腹部中心，将拟合椭圆长、短轴分别取40%，得到猪腹部区域作为ROI区域。后续处理方法与单人检测相同。心率检测的R、G、B通道原始时间序列信号见图23，心率检测的归一化时间序列信号见图24，心率检测的ICA独立分量见图25，心率检测经平化处理后的ICA独立分量见图26，心率检测中各独立分量的自相关函数见图27。
我们以猪心率检测为实例对图28中实验结果进行了计算，被检测猪的心率为72 bpm。
实施例4
以单人作为检测目标进行检测，对检测目标分别通过把脉计数及本发明检测系统进行心率检测，利用本发明检测系统依照实施例1的方法进行检测。检测时把脉20秒，计数检测目标的心跳次数并作记录；同时利用本发明检测系统对检测目标进行检测，检测时长为20秒。将把脉检测的结果与本发明检测系统所显示的检测结果进行比较，对十名随机选取的检测目标的检测结果如下：
Figure DEST_PATH_IMAGE005
从上述表1所示对比检测结果可见，利用本发明检测系统进行心率检测，其结果与通过传统中医的把脉检测结果基本一致，误差范围在±1bpm以内。表明本发明检测系统及检测方法的检测结果准确，具有良好的实际应用价值，同时本发明还具有快速、实时、多目标同时检测、可实现连续监测、鲁棒性强、低成本以及适用范围广等优点。

Claims (13)

1.一种基于视频图像的非接触式生命体征的检测方法，其特征在于，包括
步骤一，按固定帧频连续采集待测目标的视频图像，自动检测图像中的ROI区域，
步骤二，从所述ROI区域划分出的多通道信号中分离出生命体征信号；所述分离生命体征信号包括以下步骤：将所述ROI区域的图像进行多通道划分，计算各个通道的空间平均值以形成原始时间序列信号，将所述原始时间序列信号的基线漂移滤除并归一化处理后，通过盲源分离法分离出与原始时间序列信号维数相同的独立分量；其中，所述独立分量包括生命体征信号和噪声；
步骤三，提取出所述生命体征信号的频率并将所述频率转换为所述生命体征，获得检测结果；所述提取生命体征信号的频率包括以下步骤：对盲源分离法得到的所述独立分量进行信号平滑处理，将与生命特征信号对应的独立分量作为源信号分量，然后通过周期信号频率检测法提取所述源信号分量的频率，获得所述生命体征信号的频率。
2.如权利要求1所述的检测方法，其特征在于，所述生命体征信号的频率包括心跳信号的频率f和呼吸信号的频率f1；所述生命体征包括心率、呼吸。
3.如权利要求2所述的检测方法，其特征在于，当所述生命体征为心率时，所述ROI区域为待测目标的皮肤区域；当所述生命体征为呼吸时，所述ROI区域为待测目标的胸腔或腹部位置。
4.如权利要求1所述的检测方法，其特征在于，所述检测方法同时检测多个待测目标。
5.如权利要求1所述的检测方法，其特征在于，所述检测方法以2-3个信号周期为最小测试时长提取所述生命体征信号的频率。
6.如权利要求1所述的检测方法，其特征在于，所述盲源分离法包括最大信息量法、自然梯度法、自适应法、快速独立元分析法、矩阵特征值分解法。
7.如权利要求1所述的检测方法，其特征在于，在所述原始时间序列信号的基线漂移滤除并归一化处理后，根据所述ROI区域图像亮度的变化幅度判定并剔除强扰动信号。
8.如权利要求7所述的检测方法，其特征在于，所述检测方法中，当出现所述的强扰动信号时，重新自步骤一开始新的检测。
9.如权利要求1所述的检测方法，其特征在于，所述源信号分量是所述独立分量中自相关函数的主瓣能量占整体能量比重最小的独立分量，或所述独立分量中功率谱密度峰值最大的独立分量。
10.如权利要求1所述的检测方法，其特征在于，所述周期信号频率检测法包括双谱分析法、小波变换法和多重自相关法。
11.如权利要求1所述的检测方法，其特征在于，所述周期信号频率检测法是多重自相关法，对所述源信号分量进行多重自相关运算，进行频谱分析，频谱中的峰值功率点为所述生命体征信号的频率。
12.如权利要求2所述的检测方法，其特征在于，所述将生命体征信号的频率转换为生命体征是利用公式HR＝60×f及Rs＝60×f1分别得到每分钟的心跳数HR和呼吸数Rs。
13.一种基于视频图像的非接触式生命体征的检测系统，其特征在于，所述系统包括视频图像采集模块(1)、自动检测模块(2)、信号分离模块(3)、智能判决模块(4)、信号频率提取模块(5)和显示模块(6)；
其中，所述视频图像采集模块(1)按固定帧频连续采集图像，并传送给所述自动检测模块(2)；
所述自动检测模块(2)自动实时检测待测目标数量，并捕捉、跟踪所述ROI区域；
所述信号分离模块(3)实现生命体征信号和噪声的分离；
所述智能判决模块(4)根据所述ROI区域图像亮度的变化幅度判定并剔除强扰动信号；
所述信号频率提取模块(5)从所述生命体征信号中提取出其频率，并将其转换为所述生命体征；
所述显示模块(6)实时更新显示所述信号频率提取模块(5)转换的检测结果。
CN2011103255333A 2011-10-24 2011-10-24 基于视频图像的非接触式生命体征的检测方法及检测系统 Active CN102499664B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011103255333A CN102499664B (zh) 2011-10-24 2011-10-24 基于视频图像的非接触式生命体征的检测方法及检测系统
PCT/CN2012/083181 WO2013060249A1 (zh) 2011-10-24 2012-10-19 基于视频图像的非接触式生命体征的检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103255333A CN102499664B (zh) 2011-10-24 2011-10-24 基于视频图像的非接触式生命体征的检测方法及检测系统

Publications (2)

Publication Number Publication Date
CN102499664A CN102499664A (zh) 2012-06-20
CN102499664B true CN102499664B (zh) 2013-01-02

Family

ID=46211846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103255333A Active CN102499664B (zh) 2011-10-24 2011-10-24 基于视频图像的非接触式生命体征的检测方法及检测系统

Country Status (2)

Country Link
CN (1) CN102499664B (zh)
WO (1) WO2013060249A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2994880B1 (en) * 2013-05-08 2017-06-14 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499664B (zh) * 2011-10-24 2013-01-02 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统
CN103054569B (zh) * 2012-12-20 2015-04-22 Tcl集团股份有限公司 基于可见光图像测量人体心率的方法、装置及手持设备
CN103006187B (zh) * 2013-01-10 2014-12-31 浙江大学 一种非接触式生命体征数据监测系统和监测方法
CN103006195B (zh) * 2013-01-10 2015-06-17 浙江大学 一种基于图像处理的非接触式生命体征数据监测系统和监测方法
CN105188521A (zh) * 2013-03-14 2015-12-23 皇家飞利浦有限公司 用于获得对象的生命体征信息的设备和方法
CN103126655B (zh) * 2013-03-14 2014-10-08 浙江大学 一种非约束目标的非接触式脉搏波采集系统及采集方法
CN104138254A (zh) * 2013-05-10 2014-11-12 天津点康科技有限公司 非接触式自动心率测量系统及测量方法
CN104173051A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 非接触式自动呼吸测量系统及测量方法
CN104173032A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 电子健康检测平板系统
CN103505196B (zh) * 2013-09-02 2015-06-17 展讯通信（上海）有限公司 人体脉搏测量方法、装置和移动终端
CN103462597B (zh) * 2013-09-18 2015-04-29 温州医科大学 一种基于智能手机控制的预防阻塞性睡眠猝死的监测装置
CN103654758A (zh) * 2013-12-23 2014-03-26 韩山师范学院 一种抗干扰的心率检测方法
CN103702014B (zh) * 2013-12-31 2017-02-15 中国科学院深圳先进技术研究院 非接触式生理参数检测方法、系统及装置
WO2015117084A1 (en) * 2014-02-03 2015-08-06 The Board Of Trustees Of The Leland Stanford Junior University Contact-free physiological monitoring during simultaneous magnetic resonance imaging
JP6191517B2 (ja) * 2014-03-14 2017-09-06 富士通株式会社 検出装置、検出プログラム、及び検出方法
US10004411B2 (en) 2014-05-16 2018-06-26 Mediatek Inc. Living body determination devices and methods
CN105556539A (zh) * 2014-05-16 2016-05-04 联发科技股份有限公司 检测兴趣区域的检测装置和方法
CN104000598B (zh) * 2014-06-13 2015-11-18 安徽工业大学 一种基于最大内切圆的猪呼吸急促运动建模方法及系统
US20160055635A1 (en) * 2014-08-21 2016-02-25 Sony Corporation Method and system for video data processing
CN104270658A (zh) * 2014-09-15 2015-01-07 中山市乐居智能技术开发有限公司 基于心率变异性非接触式健康监测系统的电视机及方法
CN104257365A (zh) * 2014-09-15 2015-01-07 中山市乐居智能技术开发有限公司 用于笔记本电脑操作者非接触式健康监测的装置及方法
CN104270504A (zh) * 2014-09-15 2015-01-07 中山市乐居智能技术开发有限公司 一种基于互联网非接触式健康监测的手机及方法
US11771375B2 (en) 2014-09-26 2023-10-03 Pixart Imaging Inc. Respiration rate detection device and breath detection device adopting motion denoising
US20170224256A1 (en) * 2014-10-13 2017-08-10 Koninklijke Philips N.V. Device and method for detecting vital sign information of a subject
US9693710B2 (en) * 2014-10-21 2017-07-04 Xerox Corporation System and method for determining respiration rate from a video
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
WO2016174778A1 (ja) * 2015-04-30 2016-11-03 オリンパス株式会社 撮像装置、画像処理装置および画像処理方法
CN107635457B (zh) * 2015-05-21 2021-05-25 皇家飞利浦有限公司 识别视频序列中的活的皮肤组织
CN104943615A (zh) * 2015-06-08 2015-09-30 庄可军 一种具备酒驾探测及空气净化功能的汽车中央后视镜
CN106264532A (zh) * 2015-06-11 2017-01-04 原相科技股份有限公司 光学式呼吸率检测装置及其检测方法
CN105046209B (zh) * 2015-06-30 2019-01-25 华侨大学 一种基于典型相关分析的非接触式心率测量方法
CN105147274B (zh) * 2015-08-04 2018-06-15 河北工业大学 一种从可见光谱段人脸视频信号中提取心率的方法
CN106618483B (zh) * 2015-10-30 2019-11-05 西双版纳生物医学研究院 基于生理状态应激变异的检测方法及系统和应用
CN105266787B (zh) * 2015-11-03 2018-07-06 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
EP3373804B1 (en) * 2015-11-13 2021-05-26 Koninklijke Philips N.V. Device, system and method for sensor position guidance
CN105956556B (zh) * 2016-04-29 2019-05-07 南京理工大学 一种测量运动目标生命体征的方法
CN105996993A (zh) * 2016-04-29 2016-10-12 南京理工大学 一种智能视频生命体征监测系统及方法
CN105997035B (zh) * 2016-05-04 2020-03-27 深圳欧德蒙科技有限公司 一种非接触式心率测量方法及系统
CN106096544B (zh) * 2016-06-02 2019-04-23 安徽大学 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
CN105962915B (zh) * 2016-06-02 2019-04-05 安徽大学 非接触式人体呼吸率与心率同步测量方法及系统
CN106361340B (zh) * 2016-08-30 2019-05-31 苏州涵轩信息科技有限公司 一种检测呼吸频率的方法及装置
CN106377240A (zh) * 2016-08-30 2017-02-08 苏州品诺维新医疗科技有限公司 一种检测心跳速率的装置及方法
CN106491114B (zh) * 2016-10-25 2020-11-06 Tcl科技集团股份有限公司 一种心率检测方法及装置
CN106845395A (zh) * 2017-01-19 2017-06-13 北京飞搜科技有限公司 一种基于人脸识别进行活体检测的方法
CN107334469A (zh) * 2017-07-24 2017-11-10 北京理工大学 基于支持向量机的非接触多人心率测量方法及装置
CN107616795A (zh) * 2017-08-17 2018-01-23 华东师范大学 一种基于摄像头的非接触式实时呼吸率检测方法
CN107731306B (zh) * 2017-10-10 2021-04-13 江西科技师范大学 一种基于热成像技术的非接触式心率提取方法
CN107886734A (zh) * 2017-12-07 2018-04-06 苏州诚满信息技术有限公司 一种用于道路交通的智能跨线检测方法及其系统
CN110313908B (zh) * 2018-03-30 2022-03-08 深圳市理邦精密仪器股份有限公司 一种获取实时心率的方法和装置
CN109008964A (zh) * 2018-06-27 2018-12-18 浏阳市安生智能科技有限公司 一种生理信号提取的方法及装置
CN109171649B (zh) * 2018-08-30 2021-08-17 合肥工业大学 智能影像式生命体征探测仪
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
CN109589505B (zh) * 2018-11-26 2020-12-29 北京科技大学 一种用于放射治疗过程的多功能监测方法
CN111127511B (zh) * 2018-12-18 2022-03-29 玄云子智能科技(深圳)有限责任公司 一种非接触式心率监测方法
CN109754602A (zh) * 2019-01-15 2019-05-14 珠海格力电器股份有限公司 行人闯红灯防误判的方法和装置
CN111345802B (zh) * 2020-03-16 2023-07-07 南京润楠医疗电子研究院有限公司 一种基于心冲击信号获取双人心跳频率的装置及方法
CN113288114A (zh) * 2021-05-28 2021-08-24 南京润楠医疗电子研究院有限公司 一种基于无线信号的多人混合呼吸信号提取方法
CN114469076B (zh) * 2022-01-24 2024-04-19 南京邮电大学 一种融合身份特征的独居老人跌倒识别方法及系统
CN114469036A (zh) * 2022-01-27 2022-05-13 无锡博奥玛雅医学科技有限公司 一种基于视频图像的远程心率监测方法及系统
CN114469037B (zh) * 2022-01-29 2024-01-12 武汉大学 一种基于毫米波雷达的心率测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2802365B2 (ja) * 1996-03-22 1998-09-24 工業技術院長 呼吸の測定装置
JPH1186002A (ja) * 1997-09-08 1999-03-30 Toshiba Corp 画像処理装置及び被介護者観測装置
CN101299967B (zh) * 2005-11-04 2010-06-02 株式会社东芝 呼吸监视装置、呼吸监视系统、医疗处理系统、呼吸监视方法、呼吸监视程序
US8360986B2 (en) * 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
CN102499664B (zh) * 2011-10-24 2013-01-02 西双版纳大渡云海生物科技发展有限公司 基于视频图像的非接触式生命体征的检测方法及检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2994880B1 (en) * 2013-05-08 2017-06-14 Koninklijke Philips N.V. Device for obtaining a vital sign of a subject

Also Published As

Publication number Publication date
CN102499664A (zh) 2012-06-20
WO2013060249A1 (zh) 2013-05-02

Similar Documents

Publication Publication Date Title
CN102499664B (zh) 基于视频图像的非接触式生命体征的检测方法及检测系统
EP3414738B1 (en) Device, system and method for skin detection
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN105266787B (zh) 一种非接触式心率检测方法及系统
US10004410B2 (en) System and methods for measuring physiological parameters
US10143377B2 (en) Single channel imaging measurement of dynamic changes in heart or respiration rate
CN105147274B (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN103702014B (zh) 非接触式生理参数检测方法、系统及装置
CN113925475B (zh) 一种非接触式的人体健康监测系统及监测方法
CN106236049A (zh) 基于视频图像的血压测量方法
WO2014159773A1 (en) An apparatus for remote contactless monitoring of sleep apnea
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
CN105996993A (zh) 一种智能视频生命体征监测系统及方法
CN106073729A (zh) 光电容积脉搏波信号的采集方法
CN110236515A (zh) 一种基于近红外视频的非接触式心率检测方法
CN108937905B (zh) 一种基于信号拟合的非接触式心率检测方法
CN111127511B (zh) 一种非接触式心率监测方法
CN203290905U (zh) 非接触式自动呼吸测量系统
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
CN110801212B (zh) 基于神经网络的bcg信号心率提取方法
CN109009052A (zh) 基于视觉的嵌入式心率测量系统及其测量方法
CN112232256A (zh) 一种无接触式运动及体测数据采集系统
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
CN112545455A (zh) 多通道一体化非接触式生命体征监测系统
CN108778109A (zh) 用于确定对象的生命体征的设备、系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Tak business building No. 75 landscape sky 666100 Yunnan Dai Autonomous Prefecture in Xishuangbanna province Yunnan city Xishuangbanna Jinghong mengle Road 1 Building 6 unit 3002 room

Patentee after: Xishuangbanna Dadu Yunhai Intelligent Technology Development Co., Ltd

Address before: Tak business building No. 75 landscape sky 666100 Yunnan Dai Autonomous Prefecture in Xishuangbanna province Yunnan city Xishuangbanna Jinghong mengle Road 1 Building 6 unit 3002 room

Patentee before: Xishuangbanna Dadu Yunhai Biological Technology Development Co., Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Video-image-based method and system for detecting non-contact vital sign

Effective date of registration: 20200618

Granted publication date: 20130102

Pledgee: Lingyinao Technology (Shanghai) Co., Ltd

Pledgor: Xishuangbanna Dadu Yunhai Intelligent Technology Development Co.,Ltd.

Registration number: Y2020980003234