CN115147769A - 一种基于红外视频的生理参数鲁棒性检测方法 - Google Patents

一种基于红外视频的生理参数鲁棒性检测方法 Download PDF

Info

Publication number
CN115147769A
CN115147769A CN202210904937.6A CN202210904937A CN115147769A CN 115147769 A CN115147769 A CN 115147769A CN 202210904937 A CN202210904937 A CN 202210904937A CN 115147769 A CN115147769 A CN 115147769A
Authority
CN
China
Prior art keywords
time
sequence
pixel
image frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210904937.6A
Other languages
English (en)
Inventor
喻罡
肖嘉莹
孙凯
白冰倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210904937.6A priority Critical patent/CN115147769A/zh
Publication of CN115147769A publication Critical patent/CN115147769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency

Abstract

本发明公开了一种基于红外视频的生理参数鲁棒性检测方法,运用图像配准从待检测对象的各个时序图像帧中建立稳定的时序图像帧序列。从稳定的时序图像帧序列抽取感兴趣区域内各个像素点的像素数据,构建感兴趣区域内各个像素点的时序像素序列;对于每一个像素点的时序像素序列,将时序像素序列分割成若干个长度为m的子集,每个子集同一位置像素数据处于生理周期的同一时序。将所有子集中位于相同位置的像素数据进行平均处理,得到像素点的高信噪比的时间序列数据;将感兴趣区域内所有像素点时间序列数据输入至基于深度学习的生理参数预测模型,得到待检测对象的生理参数。本发明通过相似性测量以及时间序列切割平均方法,能提高检测的精确度。

Description

一种基于红外视频的生理参数鲁棒性检测方法
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于红外视频的生理参数鲁棒性检测方法。
背景技术
心率和呼吸率是人体重要的生理参数,和人体的心血管系统健康密切相关。发病突然、死亡率高是心血管系统疾病的重要特点。长期准确监测人体的心率和呼吸率变化,可以对心血管疾病的突发进行有效预警,从而及时干预治疗,有效降低死亡率。然而,现有的医学监护装置需要接触人体,不方便长期监测。
非接触式或者远程检测心率和呼吸率方法是当前的研究热点,其优势在于使用视频图像描记光电容积脉搏波(Photoplethysmography,PPG),可以实现远程实时监测,具有不需佩戴检测装置的优点,适用于医疗监护、安全检测以及生命监护等场景。当前光电容积描记法主要应用可见光的视频图像,运用相机捕捉皮肤的表面视频。随着呼吸和心跳的变化,皮肤表面的颜色会随着血管中血液容积变化,通过信号处理或者图像处理技术,得到心率、呼吸率等生理参数。
然而,图像光电容积描记法基于彩色图像分析,最大的缺点是需要良好的自然光照条件。然而一些特殊的场景,例如黑暗环境时,图像光电容积描记法不容易取得良好的检测精确度。因此,为了扩展光电容积描记法的应用范围,基于红外视频的生理参数检测方法在近年来得到了重视。
当前主要的红外视频检测方法的研究有KLT算法,计算每一帧人脸矩形框中的像素平均值作为原始信号,然后滤波得到较高的心率检测精度。另一种技术是用人脸特征点构建人脸掩膜,计算人脸区域的脸部平均值作为原始信号,挑选信号质量最好的信号来计算心率。第三种技术是在脸部划分多个感兴趣区域,应用KLT算法计算感兴趣区域的均值作为原始信号,然后应用独立成分分析降噪处理,应用信噪比最大的信号计算心率。第四种技术是基于峰值信噪比融合皮尔森相关技术,应用独立成分分析去噪,以提高检测的精度。
现有的红外视频检测方法的主要技术瓶颈是红外视频的信噪比远低于可见光视频。只有提高信号的质量或者信噪比,才能得到稳定的鲁棒性检测。当前的红外视频检测方法主要采用人脸区域的像素平均,尽管提高了信噪比,但对像素平均模糊了信号,检测精度不高。运用独立分析分析可以实现降噪,但也可能移除了部分有价值的信息,甚至造成检测失败。其次,检测目标发生变化,例如头动也可能造成检测出现重大偏差。总之,现有的红外视频检测技术难以稳定、可靠地获取高信噪比的生理参数信号,因此检测精度以及稳定性仍然存在局限性。
发明内容
本发明提供了一种基于红外视频的生理参数鲁棒性检测方法,用于解决现有的红外视频检测技术无法稳定、可靠地获取高信噪比的生理参数信号,导致检测精度以及稳定性存在局限性的技术问题。
为解决上述技术问题,本发明提出的技术方案为:
一种基于红外视频的生理参数鲁棒性检测方法,包括以下步骤:
获取待检测对象的红外视频,从所述红外视频中提取稳定的时序图像帧序列S={I0,....IT},其中,I0为初始检测时刻t0采集的图像帧,T为所述时序图像帧序列S中最后一张图像帧的采集时间;
确定待检测对象的感兴趣区域,并从所述时序图像帧序列S的各个时序图像帧中抽取所述感兴趣区域内各个像素点的像素数据,构建所述感兴趣区域内各个像素点的时序像素序列{Pij,0,....Pij,T},其中,P表示像素值,ij为像素点的坐标,0-T为像素点采集时间;
对于每一个像素点的时序像素序列{Pij,0,....Pij,T}:
将所述时序像素序列{Pij,0,....Pij,T}分割成若干个长度为m的子集{Pij,0,....Pij,m-1},{Pij,m,....Pij,2m-1},...,{Pij,(n-1)m,....Pij,nm-1};其中,nm≤T,n为分割获得的子集个数。
将所有子集中位于相同位置的像素数据进行平均处理,得到所述像素点的一条高信噪比的时间序列数据
Figure BDA0003772123260000021
将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure BDA0003772123260000022
输入至预先构建好的、基于深度学习的生理参数预测模型,得到待检测对象的生理参数。
优选的,所述稳定的时序图像帧序列是指以图像帧I0为比较对象,所述时序图像帧序列中的其它图像帧均与图像帧I0相似,所述时序图像帧序列中不存在检测对象以及检测条件发生明显变化的图像帧。
优选的,从所述红外视频中提取稳定的时序图像帧序列S={I0,....IT},具体包括以下步骤:
将采集到的红外图像视频分割成图像帧,以初始采集时刻t0的图像帧I0为起始位置,图像帧总数为Tmax;设预提取的稳定序列包括最少的帧数为Tmin
按时间采集时间从先至后,依次将图像帧I0后的连续图像帧分别与图像帧I0尝试进行图像配准:
对于任一在图像帧I0后的图像帧It,检测图像帧It和图像帧I0预定的特征点并在两者之间尝试进行特征匹配的图像配准,提取图像帧It相对于图像帧I0的平移量ft和旋转量gt;其中,t≥1并且t≤Tmax-1,表示图像采集的时间顺序;
将所述平移量Tt与预设的阈值fmax进行比较,将所述旋转量gt与预设的阈值gmax进行比较,当所述ft≤fmax,gt≤gmax时,判断所述图像帧It与图像帧I0相似,并开始图像帧It+1与图像帧I0的图像配准,其中t+1≤Tmax-1;
若ft≥fmax或gt≥gmax,并且t<Tmin,则舍弃时序t以及其之前的帧图像数据,将It+1作为初始I0(I0=It+1),重新新一轮的图像配准;
若ft≥fmax或gt≥gmax,并且t≥Tmin,则停止进行尝试配准,提取到长度为T+1的稳定图像帧序列S={I0,I1,....IT},T=t。
优选的,基于最大互信息方式或者相关系数量度对特征匹配过程进行优化,使得旋转和平移后的所述图像帧It与图像帧I0相似性最大。
优选的,所述感兴趣区域为符合红外检测条件要求的像素区域;所述感兴趣区域为人脸或者皮肤中满足光电容积描记法的像素区域。
优选的,所述生理参数为心率或呼吸率,对于每一个像素点的时序像素序列{Pij,0,....Pij,T}:
切割后,其各子集长度必须超过设定的长度阈值,且时间序列数据具有高度的相关性,各子集的对应时间点的数值对应心动周期或者呼吸率周期的同一时刻点,即其Pij,0,Pij,m,....Pij,(n-1)m处于心动周期或者呼吸率周期的同一时刻点。
优选的,所述m值的确定包括以下步骤:
分别对每个像素点的时间序列数据进行相关性分析,求取所述每个像素点的时间序列数据的最佳分割长度;
计算所述感兴趣区域内所有像素点对应的最佳分割长度均值,作为所述m值的最优值。
优选的,分别对每个像素点的时间序列数据进行相关性分析,求取所述每个像素点的时间序列数据的最佳分割长度,具体包括以下步骤:
S1、对于任一像素点的时间序列数据,设其起始的切割长度为m=M,最大搜索长度为L;
S2、将时间序列数据Qij分割为子集:Qij,1={Pij,0,....Pij,m-1},Qij,2={Pij,m,....Pij,2m-1},....,Qij,n={Pij,(n-1)m,....Pij,nm-1},nm≤T,n为分割获得的子集个数。
S3、将序列子集Qij,1,Qij,2,...,Qij,n两两之间求解相关性系数,获得关于序列子集的一组相关性系数后求平均处理,得到该像素点对应的平均相关性系数
Figure BDA0003772123260000031
S4、令m=m+1;如果m<=M+L,则重复步骤S2和S3,获得平均相关性系数;否则执行步骤S5;
S5、从
Figure BDA0003772123260000041
中找到最大平均相关系数对应的m,作为所述像素点最佳的分割长度;
计算所述感兴趣区域内所有像素点对应的最佳分割长度均值,作为所述m值的最优值,具体为:
将所有像素点最佳分割长度的平均值
Figure BDA0003772123260000049
作为全局最佳分割长度m;
用全局最佳分割长度m划分Qij,得到若干个的子集{Pij,0,....Pij,m-1},{Pij,m,....Pij,2m-1},...,{Pij,(n-1)m,....Pij,nm-1}。对所有子集的同一位置的数值进行平均,得到长度为m的高信噪比时间序列数据
Figure BDA0003772123260000042
优选的,将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure BDA0003772123260000043
输入至预先构建好的、基于深度学习的生理参数预测模型前,还包括将每个像素点的高信噪比的时间序列数据
Figure BDA0003772123260000044
中的各个数据点进行标准化的步骤:
计算所述时间序列数据
Figure BDA0003772123260000045
中所有数据点的平均值以及标准差:
将所述时间序列数据
Figure BDA0003772123260000046
中每个数据点减去整个序列的平均值,除以序列的标准差,得到每个数据点的标准化值。
优选的,将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure BDA0003772123260000047
输入至预先构建好的、基于深度学习的生理参数预测模型,得到待检测对象的生理参数,具体包括以下步骤:
将感兴趣区域内每个像素点的高信噪比的时间序列数据
Figure BDA0003772123260000048
依次输入至所述生理参数预测模型中,依次获取得到每个像素点的生理参数,计算所述感兴趣区域内所有像素点的生理参数的平均值作为待检测对象的生理参数。
本发明具有以下有益效果:
1、本发明中的基于红外视频的生理参数鲁棒性检测方法,通过相似性测量以及时间序列切割平均等方法,显著提高了红外视频时间序列数据的信噪比,降低了干扰因素。利用高信噪比的稳定时间序列达到了提高心率和呼吸率的检测精确度的效果,取得了在黑暗环境下生理参数检测的进步。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的稳定的图像序列提取示意图;
图2为本发明实施例提供的确定最佳分割长度示意图;
图3为本发明实施例提供的获取高信噪比时间序列数据示意图;
图4是本发明实施例提供的心率、呼吸率预测模型的使用示意图;
图5是本发明实施例提供的基于红外视频的生理参数鲁棒性检测方法的工作流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一:
在本实施例中,公开了一种基于红外视频的生理参数鲁棒性检测方法,具体应用于心率和呼吸率的测试,如图5所示,具体包括以下步骤:
1、红外视频数据采集。
通过红外摄像机捕捉人脸红外图像视频,同时利用稳定的心率和呼吸率测量装置实时记录同步的心率和呼吸率值。
在采集过程中拍摄位保持固定、被采集对象应避免主观移动,保证所采集数据具备较高的一致性;
2、稳定的图像帧序列提取。
将采集到的红外图像视频分割成图像帧,以初始采集时刻t0的图像帧I0为起始位置,图像帧总数为Tmax。设预提取的稳定序列最少包括的帧数为Tmin
将I0后的连续图像帧分别与I0尝试进行相对配准,从而提取到长度为T≥Tmin的连续的稳定图像帧序列S={I1,I2,..,IT}。
其中,如图1所示,提取稳定序列的流程如下:
2.1It与I0进行配准(t≥1),检测It和I0预定的特征点并在两者之间尝试进行特征匹配的图像配准,获得取得最大相似性的平移变化和旋转变化的刚体变换矩阵F和G,如下所示,从中提取It相对于I0的平移量ft和旋转量gt
Figure BDA0003772123260000061
2.2比较步骤2.1所获取的平移量ft和旋转量gt与预设阈值fmax和gmax的大小关系:
若ft≤fmax,gt≤gmax,t+1≤Tmax-1,则时序t的值增大一个单位(t=t+1),重复步骤2.1,继续进行尝试配准;
若ft≥fmax或gt≥gmax,并且t<Tmin,则舍弃时序t以及其之前的帧图像数据,将It+1作为初始I0(I0=It+1),重新由步骤2.1开始新一轮的配准;
若ft≥fmax或gt≥gmax,并且t≥Tmin,则停止进行尝试配准,提取到长度为T+1的稳定图像帧序列S={I0,I1,....IT}(T=t)。
在优选方案中,可采用手动或自动图像特征检测的方法提取鼻尖、两只眼睛、脸廓作为特征点,用It与I0的对应特征点的位置差测量相似性,进行基于特征点的图像配准;
在优选方案中,可采用It与I0的全图图像数据作为特征空间,用两幅图像的全图像素值分布的互信息或者相关系数测量相似性,进行基于全图像素的图像配准;
在优选方案中,在特征匹配过程可以是基于最大互信息方式或者相关系数量度进行优化,使得旋转和平移后的It与I0相似性最大。
3、提取感兴趣区域。
从I0中划定感兴趣区域位置,获取空间坐标。因为S中的其它图像帧均与I0经过配准,故感兴趣区域空间坐标认为相同。将所有感兴趣区域内的图像像素取出,建立每个像素的时间序列数据Qij={Pij,0,Pij,1,....Pij,T}(ij为感兴趣区域的像素的坐标,0-T为时间)。
在优选方案中,感兴趣区域可以是人脸中血管分布密集的区域,如额头、脸颊等区域;
在优选方案中,提取感兴趣区域可使用YOLO、Faster R-CNN、SSD等目标识别网络,通过标注的感兴趣区域的图像数据集训练得到。
4、求取所述每个像素点的时间序列数据的最佳分割长度。
如图2所示,本实施例通过每个像素点的时间序列数据的最佳分割长度:
4.1设置起始的切割长度为m=M,最大搜索长度为L。
4.2将坐标为ij的像素的时间序列数据Qij分割为子集:Qij,1={Pij,0,....Pij,m-1},Qij,2={Pij,m,....Pij,2m-1},....,Qij,n={Pij,(n-1)m,....Pij,nm-1}(nm≤T)。
4.3将序列子集Qij,1,Qij,2,....,Qij,n两两之间求解相关性系数,获得关于序列子集的一组相关性系数后求平均处理,得到该像素点对应切割长度m的平均相关性系数
Figure BDA0003772123260000062
其中,初始的分割长度m可以为常规的心率或呼吸周期数据点长度的N倍(N≥5);
具体的,相关性系数的计算方式如下所示(以Qij,1和Qij,2为例):
Figure BDA0003772123260000071
其中,Cov(Qij,1,Qij,2)为Qij,1与Qij,2的协方差;Var(Qij,1)为Qij,1的方差,Var(Qij,2)为Qij,2的方差。
4.4令m=m+1。如果m≤M+L,则重复步骤4.2和4.3,获得平均相关性系数。反之到达4.5。
4.5从
Figure BDA0003772123260000072
中找到最大平均相关系数对应的m,作为该像素点时间序列数据最佳的分割长度。
5、获取全局最佳分割长度。
分别得到感兴趣区域内各像素点相应的最佳分割长度m后,计算平均值
Figure BDA0003772123260000075
,作为全局最佳分割长度m。
6、获取高信噪比时间序列数据。
以全局最佳分割长度m,对感兴趣区域内的所有像素点的时间序列Qij进行分割,得到每个像素点切割后的序列子集后,将所有子集中位于相同位置的像素数据进行平均处理,起到提高信噪比作用,如图3所示。
7、将平均序列做标准化处理,得到该像素的高信噪比的时间序列数据
Figure BDA0003772123260000073
标准化处理可以是将序列中每个数据点减去整个序列的平均值,除以序列的标准差。
8、构建用于预测心率、呼吸率的深度学习模型。
利用感兴趣区域内每个像素点的高信噪比的时间序列数据
Figure BDA0003772123260000074
以及对应的呼吸率、心率,训练用于预测呼吸率、心率的深度学习模型。
在优选方案中,心率、呼吸率预测模型可以基于RNN、CNN、Transformer等网络架构构建,用高信噪比时间序列数据以及实时测量的心率、呼吸率的数据集进行端对端的有监督训练。
9、心率、呼吸率预测模型的使用。
对于新获取的人脸红外图像视频,经过帧图像分离、感兴趣区域提取、像素点时间序列抽取、序列子集分割以及相关性分析等预处理后,得到每个像素点对应的高信噪比时间序列,输入训练完成的心率、呼吸率预测模型中,获得每个像素点对应的心率、呼吸率值。对每个像素点的心率、呼吸率求平均,以均值作为最后的预测结果值,如图4所示。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于红外视频的生理参数鲁棒性检测方法,其特征在于,包括以下步骤:
获取待检测对象的红外视频,从所述红外视频中提取稳定的时序图像帧序列S={I0,....IT},其中,I0为初始检测时刻t0采集的图像帧,T为所述时序图像帧序列S中最后一张图像帧的采集时间;
确定待检测对象的感兴趣区域,并从所述时序图像帧序列S的各个时序图像帧中抽取所述感兴趣区域内各个像素点的像素数据,构建所述感兴趣区域内各个像素点的时序像素序列{Pij,0,....Pij,T},其中,P表示像素值,ij为像素点的坐标,0-T为像素点采集时间;
对于每一个像素点的时序像素序列{Pij,0,....Pij,T}:
将所述时序像素序列{Pij,0,....Pij,T}分割成若干个长度为m的子集{Pij,0,....Pij,m-1},{Pij,m,....Pij,2m-1},...,{Pij,(n-1)m,....Pij,nm-1};其中,nm≤T,n为分割获得的子集个数;
将所有子集中位于相同位置的像素数据进行平均处理,得到所述像素点的一条高信噪比的时间序列数据
Figure FDA0003772123250000011
将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure FDA0003772123250000012
输入至预先构建好的、基于深度学习的生理参数预测模型,得到待检测对象的生理参数。
2.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,所述稳定的时序图像帧序列是指以图像帧I0为比较对象,所述时序图像帧序列中的其它图像帧均与图像帧I0相似,所述时序图像帧序列中不存在检测对象以及检测条件发生明显变化的图像帧。
3.根据权利要求2所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,从所述红外视频中提取稳定的时序图像帧序列S={I0,....IT},具体包括以下步骤:
将采集到的红外图像视频分割成图像帧,以初始采集时刻t0的图像帧I0为起始位置,图像帧总数为Tmax;设预提取的稳定序列包括最少的帧数为Tmin
按时间采集时间从先至后,依次将图像帧I0后的连续图像帧分别与图像帧I0尝试进行图像配准:
对于任一在图像帧I0后的图像帧It,检测图像帧It和图像帧I0预定的特征点并在两者之间尝试进行特征匹配的图像配准,提取图像帧It相对于图像帧I0的平移量ft和旋转量gt;其中,t≥1并且t≤Tmax-1,表示图像采集的时间顺序;
将所述平移量ft与预设的阈值fmax进行比较,将所述旋转量gt与预设的阈值gmax进行比较,当所述ft≤fmax,gt≤gmax时,判断所述图像帧It与图像帧I0相似,并开始图像帧It+1与图像帧I0的图像配准,其中t+1≤Tmax-1;
若ft≥fmax或gt≥gmax,并且t<Tmin,则舍弃时序t以及其之前的帧图像数据,将It+1作为初始I0(I0=It+1),重新新一轮的图像配准;
若ft≥fmax或gt≥gmax,并且t≥Tmin,则停止进行尝试配准,提取到长度为T+1的稳定图像帧序列S={I0,I1,....IT},T=t。
4.根据权利要求3所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,基于最大互信息方式或者相关系数量度对特征匹配过程进行优化,使得旋转和平移后的所述图像帧It与图像帧I0相似性最大。
5.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,所述感兴趣区域为符合红外检测条件要求的像素区域;所述感兴趣区域为人脸或者皮肤中满足光电容积描记法的像素区域。
6.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,所述生理参数为心率或呼吸率,对于每一个像素点的时序像素序列{Pij,0,....Pij,T}:
切割后,其各子集长度必须超过设定的长度阈值,且时间序列数据具有高度的相关性,各子集的对应时间点的数值对应心动周期或者呼吸率周期的同一时刻点,即其Pij,0,Pij,m,....Pij,(n-1)m处于心动周期或者呼吸率周期的同一时刻点。
7.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,所述m值的确定包括以下步骤:
分别对每个像素点的时间序列数据进行相关性分析,求取所述每个像素点的时间序列数据的最佳分割长度;
计算所述感兴趣区域内所有像素点对应的最佳分割长度均值,作为所述m值的最优值。
8.根据权利要求7所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,分别对每个像素点的时间序列数据进行相关性分析,求取所述每个像素点的时间序列数据的最佳分割长度,具体包括以下步骤:
S1、对于任一像素点的时间序列数据,设其起始的切割长度为m=M,最大搜索长度为L;
S2、将时间序列数据Qij分割为子集:Qij,1={Pij,0,....Pij,m-1},Qij,2={Pij,m,....Pij,2m-1},....,Qij,n={Pij,(n-1)m,....Pij,nm-1},nm≤T,n为分割获得的子集个数;
S3、将序列子集Qij,1,Qij,2,...,Qij,n两两之间求解相关性系数,获得关于序列子集的一组相关性系数后求平均处理,得到该像素点对应的平均相关性系数
Figure FDA0003772123250000021
S4、令m=m+1;如果m<=M+L,则重复步骤S2和S3,获得平均相关性系数;否则执行步骤S5;
S5、从
Figure FDA0003772123250000031
中找到最大平均相关系数对应的m,作为所述像素点最佳的分割长度;
计算所述感兴趣区域内所有像素点对应的最佳分割长度均值,作为所述m值的最优值,具体为:
将所有像素点最佳分割长度的平均值
Figure FDA0003772123250000039
作为全局最佳分割长度m;
用全局最佳分割长度m划分Qij,得到若干个的子集{Pij,0,....Pij,m-1},{Pij,m,....Pij,2m-1},...,{Pij,(n-1)m,....Pij,nm-1};对所有子集的同一位置的数值进行平均,得到长度为m的高信噪比时间序列数据
Figure FDA0003772123250000032
9.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure FDA0003772123250000033
输入至预先构建好的、基于深度学习的生理参数预测模型前,还包括将每个像素点的高信噪比的时间序列数据
Figure FDA0003772123250000034
中的各个数据点进行标准化的步骤:
计算所述时间序列数据
Figure FDA0003772123250000035
中所有数据点的平均值以及标准差:
将所述时间序列数据
Figure FDA0003772123250000036
中每个数据点减去整个序列的平均值,除以序列的标准差,得到每个数据点的标准化值。
10.根据权利要求1所述的基于红外视频的生理参数鲁棒性检测方法,其特征在于,将感兴趣区域内所有像素点的高信噪比的时间序列数据
Figure FDA0003772123250000037
输入至预先构建好的、基于深度学习的生理参数预测模型,得到待检测对象的生理参数,具体包括以下步骤:
将感兴趣区域内每个像素点的高信噪比的时间序列数据
Figure FDA0003772123250000038
依次输入至所述生理参数预测模型中,依次获取得到每个像素点的生理参数,计算所述感兴趣区域内所有像素点的生理参数的平均值作为待检测对象的生理参数。
CN202210904937.6A 2022-07-29 2022-07-29 一种基于红外视频的生理参数鲁棒性检测方法 Pending CN115147769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210904937.6A CN115147769A (zh) 2022-07-29 2022-07-29 一种基于红外视频的生理参数鲁棒性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210904937.6A CN115147769A (zh) 2022-07-29 2022-07-29 一种基于红外视频的生理参数鲁棒性检测方法

Publications (1)

Publication Number Publication Date
CN115147769A true CN115147769A (zh) 2022-10-04

Family

ID=83414081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210904937.6A Pending CN115147769A (zh) 2022-07-29 2022-07-29 一种基于红外视频的生理参数鲁棒性检测方法

Country Status (1)

Country Link
CN (1) CN115147769A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116548939A (zh) * 2023-07-04 2023-08-08 贵州省人民医院 一种急危重症患者智能监测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116548939A (zh) * 2023-07-04 2023-08-08 贵州省人民医院 一种急危重症患者智能监测方法及装置

Similar Documents

Publication Publication Date Title
US9996739B2 (en) System and method for automatic gait cycle segmentation
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
Leu et al. A robust markerless vision-based human gait analysis system
CN111728602A (zh) 基于ppg的无接触血压测量装置
Subramaniam et al. Estimation of the Cardiac Pulse from Facial Video in Realistic Conditions.
Osman et al. Supervised learning approach to remote heart rate estimation from facial videos
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
CN105636505A (zh) 用于获得对象的生命体征的设备和方法
Datcu et al. Noncontact automatic heart rate analysis in visible spectrum by specific face regions
EP2960862A1 (en) A method for stabilizing vital sign measurements using parametric facial appearance models via remote sensors
WO2022022551A1 (zh) 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN111275018B (zh) 一种基于环形感兴趣区域加权的非接触式心率信号提取方法
CN111248890A (zh) 一种基于面部视频的非接触式新生儿心率监测方法及系统
CN115147769A (zh) 一种基于红外视频的生理参数鲁棒性检测方法
Hu et al. A novel spatial-temporal convolutional neural network for remote photoplethysmography
Calvo-Gallego et al. Automatic ROI for remote photoplethysmography using PPG and color features
Wei et al. Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking
CN113197558B (zh) 心率与呼吸率检测方法、系统及计算机存储介质
KR20200087540A (ko) 비전 기반 심박수 측정 방법
CN112001862B (zh) 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN113456042A (zh) 一种基于3d cnn的无接触面部血压测量方法
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
Suriani et al. Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach
Tan et al. A real-time image analysis system for computer-assisted diagnosis of neurological disorders
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination