CN109589101B - 一种基于视频的非接触式生理参数获取方法与装置 - Google Patents
一种基于视频的非接触式生理参数获取方法与装置 Download PDFInfo
- Publication number
- CN109589101B CN109589101B CN201910038663.5A CN201910038663A CN109589101B CN 109589101 B CN109589101 B CN 109589101B CN 201910038663 A CN201910038663 A CN 201910038663A CN 109589101 B CN109589101 B CN 109589101B
- Authority
- CN
- China
- Prior art keywords
- interest
- region
- blood volume
- volume change
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
Abstract
本发明提供了一种基于视频的非接触式生理参数获取方法与装置,涉及健康监测技术领域。通过按预设定的位置获取初始感兴趣区域,然后对初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域,再对最终感兴趣区域进行血容量变化脉冲信号提取,再对血容量变化脉冲信号进行去噪处理,再对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。本发明提供的基于视频的非接触式生理参数获取方法与装置具有能够更加精确稳定地进行非接触式生理参数的获取的优点。
Description
技术领域
本发明涉及健康监测领域,具体而言,涉及一种基于视频的非接触式生理参数获取方法与装置。
背景技术
心率、呼吸速率以及血氧饱和度是人体生理状态的重要指标,前期研究已经发现光电容积脉搏波中包含着人体重要的生理信息,可以用于心血管等疾病的监测、预防和预后评估。同时,随着老年化社会的居家健康监护、远程医疗等需求的快速发展,快速便捷的人体生理信号测量引起了业界的广泛关注与研究。
目前心率、呼吸速率以及血氧饱和度的检测通常可以通过可穿戴设备实现的,不能完全满足特殊环境下非接触式测量的需求,而且无法做到真正的无干扰测量。随着技术的发展,激光多普勒、微波多普勒雷达和热成像已被广泛应用于生理参数的测量,提供非接触式解决方案。
但是,人的表情变化尤其是眼睛和嘴唇会产生强烈的噪声,导致结果可能并不精确。
有鉴于此,如何解决上述问题,是本领域技术人员关注的重点。
发明内容
有鉴于此,本发明的目的在于提供一种基于视频的非接触式生理参数获取方法,以解决现有技术中利用非接触式获取生理参数的结构并不精准的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
一方面,本发明实施例提出一种基于视频的非接触式生理参数获取方法,所述基于视频的非接触式生理参数获取方法包括:
按预设定的位置获取初始感兴趣区域;
对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域;
对所述最终感兴趣区域进行血容量变化脉冲信号提取;
对所述血容量变化脉冲信号进行去噪处理;
对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。
另一方面,本发明实施例还提供了一种基于视频的非接触式生理参数获取装置,所述基于视频的非接触式生理参数获取装置包括:
区域获取单元,用于按预设定的位置获取初始感兴趣区域;
区域重构单元,用于对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域;
信号提取单元,用于对所述最终感兴趣区域进行血容量变化脉冲信号提取;
去噪单元,用于对所述血容量变化脉冲信号进行去噪处理;
参数获取单元,用于对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。
相对现有技术,本发明具有以下有益效果:
本发明提供了一种基于视频的非接触式生理参数获取方法,通过按预设定的位置获取初始感兴趣区域,然后对初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域,再对最终感兴趣区域进行血容量变化脉冲信号提取,再对血容量变化脉冲信号进行去噪处理,再对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。由于本发明提供的方法能够在获取初始感兴趣区域对区域进行重构,因此能够实现去除其他因素的影响,通过去噪处理还能够进一步减少环境光照变换、被检测者头部运动等影响造成的噪声,同时,采用预设定模型获取生理参数过程更加稳健,所获取的生理参数更精确。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的服务器的功能模块示意图。
图2示出了本发明实施例提供的基于视频的非接触式生理参数获取方法的流程图。
图3示出了本发明实施例提供的图2的步骤S102的子步骤的流程图。
图4示出了本发明实施例提供的图2的步骤S102的另一种子步骤的流程图。
图5示出了本发明实施例提供的图2的步骤S104的子步骤的流程图。
图6示出了本发明实施例提供的图2的步骤S105的子步骤的流程图。
图7示出了本发明实施例提供的图2的步骤S105的另一种子步骤的流程图。
图8示出了本发明实施例提供的基于视频的非接触式生理参数获取装置的模块示意图。
图9示出了本发明实施例提供的区域重构单元的子模块示意图。
图10示出了本发明实施例提供的去噪单元的子模块示意图。
图11示出了本发明实施例提供的参数获取单元的模块示意图。
图标:10-服务器;12-存储器;13-存储控制器;14-处理器;100-基于视频的非接触式生理参数获取装置;110-区域获取单元;120-区域重构单元;121-区域获取模块;122-函数求取模块;123-区域重构模块;124-模型获取模块;130-信号提取单元;140-去噪单元;141-预处理模块;142-处理模块;143-滤波模块;150-参数获取单元;151-判断模块;152-转化模块;153-频谱估计模块;154-分析模块;155-参数获取模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
第一实施例
如图1所示,是本发明提供的服务器10的功能模块示意图。该服务器10包括基于视频的非接触式生理参数获取装置100、存储器12、存储控制器13以及处理器14。
所述存储器12、存储控制器13以及处理器14各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于视频的非接触式生理参数获取装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中或固化在所述服务器10的操作系统(operating system,OS)中的软件功能模块。所述处理器14用于执行存储器12中存储的可执行模块,例如所述基于视频的非接触式生理参数获取装置100包括的软件功能模块或计算机程序。
其中,存储器12可以是,但不限于,随机存取存储器12(Random Access Memory,RAM),只读存储器12(Read Only Memory,ROM),可编程只读存储器12(Programmable Read-Only Memory,PROM),可擦除只读存储器12(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器12(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器12用于存储程序,所述处理器14在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器10所执行的方法可以应用于处理器14中,或者由处理器14实现。
处理器14可能是一种集成电路芯片,具有信号的处理能力。上述的处理器14可以是通用处理器14,包括中央处理器14(Central Processing Unit,简称CPU)、网络处理器14(Network Processor,简称NP)等
还可以是数字信号处理器14(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器14可以是微处理器14或者该处理器14也可以是任何常规的处理器14等。
请参阅图2,是本发明较佳实施例提供的应用于图1所示的基于视频的非接触式生理参数获取方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤S101,按预设定的位置获取初始感兴趣区域。
在本实施例中,为了实现对被检测者的生理参数的获取,需要选定一初始感兴趣区域,由于光电容积脉搏波中包含着人体重要的生理信息,因此可以通过被检测者的初始感兴趣区域进行分析,以实现对心血管等疾病的监测、预防和预后评估。其中,本实施例所述的感兴趣区域指ROI(region of interest),即机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,ROI。
同时,需要说明的是,在本实施例中,感兴趣区域除了适用于面部视频,也适用于大面积裸露肌肤部分视频(如手臂、腿部等部位)进行非接触式生理参数的提取,本实施例以将感兴趣区域设定为面部视频进行说明。
具体地,在获取包含人脸的视频后,服务器10会对面部视频的每一帧使用判别式相关滤波跟踪器跟踪该帧中的人脸位置,接着使用基于HOG(Histogram of OrientedGradient,方向梯度直方图)特征的金字塔扫描法获得人脸68个特征点,并选用其中部分特征点进行连线勾画感兴趣区域,该蝶形感兴趣区域包含了鼻子与鼻翼两侧的脸颊区域,排除了眼睛与嘴唇的区域。此外,由实验发现使用额头与鼻翼两侧双ROI进行生理参数测量的稳定性和精确度有所提高。由此根据人脸68个特征点与面部信息定位额头区域的矩形ROI。蝶形ROI与矩形ROI联合记作初始ROI。即本实施例所述的预设定的位置包括蝶形ROI与矩形ROI。
步骤S102,对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域。
由于在对感兴趣区域进行获取时,都是直接采用所选ROI中所有像素点取平均后的信号用于分离提取血容量变化脉冲(Blood Volume Pulse,BVP)信号,但由于头部运动、摄像头运动、焦点改变、环境光照明条件变化等引起的面部区域的平均强度出现的显著波动,因此直接选用初始ROI中的所有点信号参与BVP信号分离提取工作,会影响BVP信号的质量,从而带来生理参数检测中的明显误差。
有鉴于此,在本实施例中,需要对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域,从而达到较小误差的效果。
具体地,请参阅图3,作为本实施例的一种实施方式,步骤S102包括:
子步骤S1021,对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域。
其中,本实施例以各像素点RGB三个通道像素值为特征采用Fuzzy-C Means/K-Means聚类方法,一般设置聚类数目为2,即划分为皮肤区域和非皮肤区域,由此将初始ROI中的点分为两类,选取其中像素点最多的一类的像素点构成二级感兴趣区域。从而达到去除脸部的除皮肤外其他物体(如,眼镜边框、头饰边缘、细碎头发等)影响的效果,使获取的生理参数更加精确。
子步骤S1022,依据所述二级感兴趣区域的各像素点换算成灰度值,并依据所述灰度值求取像素值分布概率密度函数。
具体地,在本实施例中,采用对二级ROI中的像素点的灰度值求均值,并求均值的归一化直方图,然后采用自适应带宽的核密度估计方法,进而求得该归一化直方图对应的像素值分布概率密度函数。其中,获取像素值分布概率密度函数的公式为:
其中,x为归一化直方图,k(x)是带宽为hj的核密度估计函数,即像素值分布概率密度函数,M是归一化直方图中的bin数目,通常取二级ROI像素点数目的1/10。K(x)是高斯核函数。0≤α≤1,为灵敏因子,通常α取0.5。ω表示带宽的参数。
子步骤S1023,依据所述像素值分布概率密度函数获取符合条件像素值范围,并将落在所述符合条件像素值范围内的二级感兴趣区域像素点重构为最终感兴趣区域。
在求得k(x)后,由公式可求得相应的符合条件像素值范围[x1,x2],其中,p为设定值,通常取0.8。在求得符合条件像素值范围后,服务器10会将RGB平均像素值落在该范围内的二级ROI中的像素点重构为最终ROI。
请参阅图4,作为本实施例的另一种实现方式,步骤S102包括:
子步骤S1024,在一个视频图像帧中对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域。
与子步骤S1021相同,服务器10会对初始ROI所涵盖部分进行像素聚类,以各像素点RGB三个通道像素值为特征采用Fuzzy-C Means/K-Means聚类方法,一般设置聚类数目为2,即划分为皮肤区域和非皮肤区域,由此将初始ROI中的点分为两类,选取其中像素点最多的一类的像素点构成二级ROI。该步骤可以去除脸部的除皮肤外其他物体(如,眼镜边框、头饰边缘、细碎头发等)的影响。
子步骤S1025,对所述二级感兴趣区域的各像素点值换算为灰度值,并计算所述灰度值的归一化直方图,并获取灰度归一化直方图模型。
在本实施例中,在获取二极感兴趣区域后,服务器10会对二级ROI中的各像素点的彩色值换算为灰度值,并计算灰度值的归一化直方图,同时根据前期实验经验,假设所得灰度归一化直方图满足瑞利分布,通过模型拟合,灰度归一化直方图模型估计如下:
子步骤S1026,依据所述灰度归一化直方图模型,选取灰度值落在依据所述灰度归一化直方图模型确定的预设定范围内的像素点重构为最终感兴趣区域。
步骤S103,对所述最终感兴趣区域进行血容量变化脉冲信号提取。
上述获得的最终感兴趣区域应用于在面部视频上,最终感兴趣区域中所有像素点R、G、B三通道分量取平均值则获得一个一维随时间变化的源信号,该信号即为用于分离提取与心率、呼吸及血氧饱和度相关的血容量变化脉冲信号。
步骤S104,对所述血容量变化脉冲信号进行去噪处理。
考虑环境光照条件变换、受试者运动(如头部晃动、表情变化等)等噪声影响并不能从源信号中完全去除,因此,需要对获得的源信号进行去噪处理(即血容量变化脉冲信号),进而减少噪声影响。
具体地,请参阅图5,步骤S104包括:
子步骤S1041,对所述血容量变化脉冲信号进行信号预处理。
首先对获得的感兴趣区域的时间序列进行5点重叠的滑动窗平滑,从而得到每个窗中的信号段平均值,然后再将信号片段进行串联。
子步骤S1042,将进行预处理后的信号进行线性去趋势化处理。
本实施例采用线性最小二乘法对平滑后信号进行线性拟合,再从平滑后信号中减去拟合后所得的线性偏移量,实现信号的去趋势化处理。
子步骤S1043,对处理后的信号进行时域滤波。
对于去趋势化后的信号,选择15s的滑动时间窗(包含9s的重叠窗)进行源信号截断,并将加窗截断后信号通过截止频率为[0.7,4]Hz的带通滤波器滤波。通过带通滤波减少运动伪影,滤波后信号再使用3个点、不重叠的平均滑动窗来降低采样频率。当然地,在其它的一些实施例中,也可选择其它时长的滑动时间窗,本实施例对此并不做任何限定。
步骤S105,对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。
经过信号处理后能够去除外界干扰对源信号的影响,如果没有太大类似环境光变化或动作噪声干扰,处理后源信号一般是一个平稳时间序列。在该步骤中,采用ARIMA(p,d,q)(Autoregressive Integrated Moving Average Model,自回归积分滑动平均模型)模型对该处理后源信号中的绿色通道分量进行频谱分析,计算获取相应的生理参数(心率、呼吸率),其中,AR是自回归,p为自回归项;MA为移动平均,q为移动平均项数,d为时间序列成为平稳时所做的差分次数。
具体地,请参阅图6,步骤S105包括:
子步骤S1051,判断绿色通道信号是否为平稳时间序列,如果否,则执行子步骤S1052,如果是,则执行子步骤S1053。
子步骤S1052,将所述绿色通道信号转化成为平稳时间序列。
当处理后源信号中的绿色通道信号如果是非平稳时间序列,首先将其转化成为平稳时间序列x(n),此时确定差分整合移动平均自回归模型ARIMA(p,d,q)中参数d,即对x(n)进行差分运算使其转化为一个平稳时间序列。根据采用的处理后源信号的特性,该方法中差分次数d可以选取0,1,在环境因素影响较小,而信号处理工作有效实施的情况下,可选取为0。并且,可以理解地,在执行子步骤S1052后,服务器10会返回执行子步骤S1051。
子步骤S1053,使用自回归移动平均模型进行频谱估计,以确定所述自回归移动平均模型的自回归参数与阶数。
在本实施例中,对平稳化后源信号x(n),使用自回归移动平均模型(ARMA)进行频谱估计。首先估计ARMA(p,q)模型中自回归参数p,将ARMA(p,q)模型转换为相应的高阶AR模型,根据AR模型的预测误差公式进行外推预测:
式中,en(q)表示时间序列长度为n的q阶MA模型的预测误差,xn表示时间序列长度为n的当前真实值,表示时间序列长度为n的p阶AR模型的预测值,ψi表示移动平均回归方程的系数,εt表示不同时刻的误差项。
接着,在上述基础上,再估计移动平均项数q,而确定p、q的最佳阶数可由自相关系数(ACF)和偏自相关系数(PACF)来确定,如公式(5),
式中,x(n)是对自身先前值的线性回归,即k从1到p(模型阶)的求和,ak(k=1,2,...,p)为自回归方程模型的待定系数。εn是回归的误差,q为模型的移动平均阶数,bk(k=1,2,...,q)为移动平均方程模型的待定系数。写作矩阵形式为:
为了求得最优预测系数aopt,我们在两边继续乘上XTX的逆(XTX)-1,即:
(XTX)-1(XTX)aopt=Iaopt=aopt=(XTX)-1XTx (8)
这种直接用最小二乘解求aopt的方法叫做协方差法。而这个新矩阵XTX和XTx是由具有不同时滞的自相关函数的和组成的,所以可以近似为:
当给定一定长度的时间序列,通过计算样本间的自相关来近似代表整体的自相关。同样的,XTx也可用自相关向量表示:
结合公式(9)和(10),可以得到:
aopt=R-1r (11)
该方程即为‘Yule–Walker’方程,可通过‘Levinson–Durbin’递归算子来求解。最后通过(8)或(11)都可以得到p阶AR模型,而最佳阶数p还可以通过Akaike’s InformationCriterion(AIC)系数来确定:
式中,表示p阶的预测误差方差,选择合适的p使准则的值最小。p的阶数越高,数据拟合得越准确,并且可以得到更高的频率分辨率,但是频谱估计的精确度会下降。高的阶数p可能会导致谱线分裂和假峰,谱线分裂指频谱里的单峰被分裂成两个峰,假峰指本不该出现峰值的地方出现一个假的峰值。所以选择阶数时应该考虑其利弊,选择一个最佳的阶数。
在该发明中,综合考虑运算效率、频谱分辨率和准确度,给出在平稳的环境光模式下(如,室内良好照明条件下)选用ARMA模型参数的参考默认值设置为:计算心率时最佳阶数p为11,计算呼吸率时最佳阶数p为9。
子步骤S1054,通过Z变换转化到频域上分析时间序列的频域信息。
在确定ARMA(p,q)模型后,通过Z变换将模型的传递函数转化到频域上分析时间序列的频域信息。即:
式中,H(z)为ARIMA合成滤波器的传递函数,X(z)为根据预测误差W(z)的输出。ARMA合成滤波器是一个递归滤波器,通过先前输出值产生现在的输出。
由ARMA合成滤波器的传递函数,可以在复平面上直观地展示滤波器的振幅和频率响应,在这种表示中,频率围绕在一个单位圆上移动。如图7所示,在角频率为0时频率为0Hz,在±πHz时可以得到最高频率[1/(2T)]。在单位圆上,z的值可以表示为:
z=ejwT (15)
式中,w为角频率,T为采样时间,乘以j表示逆时针翻转90°。
所以,
z-k=(ejwT)-k=e-jkwT (16)
那么将输出与输入相关的传递函数H(z)可以写成:
对于一个特定的频率,H(z)的幅值大小等于零点的长度除以极点的长度。通常在一个系统中含有多个零点和极点,那幅值大小为:
式中,k为系统的纯增益,而系统的相角等于零点的相角和减去极点的相角和。当误差为高斯白噪声时,即MA(q)的阶数为0,ARIMA合成滤波器就是一个全极点的结构,只用极点去描述频率的变化,即通过计算H(z)的极点来估计时间序列的不同频率分量。当频率点围绕单位圆移动时,当该圆上的频率点靠近极点时,H(z)的幅值大小就会达到峰值。极点离单位圆越近,其峰值越高越尖锐。使用P个极点,H(z)可以表示为:
这些极点为H(z)的分母的根,他们要么是实数,要么是共轭复数对。在频域中,轴上的极点对应于时间序列信号的频谱峰。每个峰的频率f与相应极点的角频率θ的关系:
θ=2π·f·Δt (20)
式中,Δt是采样间隔,θ是用弧度表示的角频率。
子步骤S1055,依据所述自回归移动平均模型对平稳后的所述绿色通道信号进行频谱分析,以得到相应阶数对应的极点。
由上述的ARMA模型频谱分析方法进行平稳化后源信号x(n)的频谱分析,得以得到相应阶数对应的极点。由前期试验结果推论,心率频率成分对应于频率范围内幅值响应最大的一项,即最靠近单位圆的单位圆内极点对应的频率。
呼吸频率对应于频率范围内角频率最小的一项。受到人体生理极限限制,对于心率极点的选择限定在频率范围[0.7-4]Hz,相角范围为[0,π]中对应幅值响应最大的单位圆内极点;呼吸频率的极点选择限定在频率范围[0.1,0.7]Hz,相角范围为[0,π]中幅值为最大幅值的90%以上的极点中选取角频率最小的单位圆内极点。
综上所述,采用ARIMA模型进行心率、呼吸频率生理推荐参数提取的参数设置如表1所示,而参数的设定可以根据视频数据的特性(如帧率等)进行调整。
表1心率和呼吸速率估计的ARIMA模型默认参数设置
子步骤S1056,依据所述极点得到心率和呼吸速率。
其中,通过适当阶数的ARIMA模型匹配来进行频谱分析,并通过选择极点得到心率与呼吸成分的频率fhr、fbr。最终心率和呼吸速率可由如下公式估计为得到:
HR=fhr·60 (21)
BR=fbr·60 (22)
其中,其单位为次/分钟。
并且,请参阅图7,步骤S105还包括:
子步骤S1057,对所述蓝色通道与红色通道信号处理以实现平稳化。
当处理后源信号是一个非平稳时间序列,将处理后源信号中的蓝色通道和红色通道信号通过差分实现平稳化。当然地,当处理后源信号是一个平稳时间序列时,则无需进行平稳化处理。
步骤S1058,依据公式确定血氧饱和度。
在本实施例中,根据比尔-朗伯定律的方法给出血氧饱和度的公式为:
SpO2=A-Bη (23)
式中,A和B是经验确定的系数,通过实验数据由最小二乘法确定。Iac和Idc分别是波长λ1和λ2对应的透射(或反射)光的脉冲和振幅。在传统脉搏血氧仪中,λ1和λ2的波长选取为660nm(红光)和940nm(近红外光)。在自然环境光条件下,以上述最终ROI为基础,分别提取面部视频中最终ROI内像素点红色通道和蓝色通道信号,通过上述信号处理步骤后,获得处理后红色通道信号用于对应λ1波长透射光信号,而处理后蓝色通道信号用于对应λ2波长透射光信号。以10s的时间窗为限定,公式(24)中Idc为时间窗内的处理后信号的平均值,即信号直流分量;Iac为时间窗内处理后信号的方差,即信号交流分量。
需要说明的是,在本实施例中,子步骤S1057-子步骤S1058与子步骤S1051-子步骤S1056之间无先后顺序。
第二实施例
请参阅图8,本发明较佳实施例提供的图1所示的基于视频的非接触式生理参数获取装置100的功能单元示意图。需要说明的是,本实施例所提供的基于视频的非接触式生理参数获取装置100,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本发明实施例部分未提及之处,可参考上述的实施例中相应内容。基于视频的非接触式生理参数获取装置100包括:
区域获取单元110,用于按预设定的位置获取初始感兴趣区域。
可以理解地,通过区域获取单元110可执行步骤S101。
区域重构单元120,用于对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域。
可以理解地,通过区域重构单元120可执行步骤S102。
其中,请参阅图9,区域重构单元120包括:
区域获取模块121,用于对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域。
可以理解地,通过区域获取模块121可执行子步骤S1021。
函数求取模块122,用于依据所述二级感兴趣区域的各像素点换算成灰度值,并依据所述灰度值求取像素值分布概率密度函数。
可以理解地,通过函数求取模块122可执行子步骤S1022。
区域重构模块123,用于依据所述像素值分布概率密度函数获取符合条件像素值范围,并将落在所述符合条件像素值范围内的二级感兴趣区域像素点重构为最终感兴趣区域。
可以理解地,通过区域重构模块123可执行子步骤S1023。
区域获取模块121,还用于在一个视频图像帧中对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域。
可以理解地,通过区域获取模块121可执行子步骤S1024。
模型获取模块124,用于对所述二级感兴趣区域的各像素点值换算为灰度值,并计算所述灰度值的归一化直方图,并获取灰度归一化直方图模型。
可以理解地,通过模型获取模块124可执行子步骤S1025。
区域重构模块123,用于依据所述灰度归一化直方图模型,选取灰度值落在依据所述灰度归一化直方图模型确定的预设定范围内的像素点重构为最终感兴趣区域。
可以理解地,通过区域重构模块123可执行子步骤S1026。
信号提取单元130,用于对所述最终感兴趣区域进行血容量变化脉冲信号提取。
可以理解地,通过信号提取单元130可执行步骤S103。
去噪单元140,用于对所述血容量变化脉冲信号进行去噪处理。
可以理解地,通过去噪单元140可执行步骤S104。
其中,请参阅图10,去噪单元140包括:
预处理模块141,用于对所述最终感兴趣区域进行信号预处理。
可以理解地,通过预处理模块141可执行子步骤S1041。
处理模块142,用于将进行预处理后的信号进行线性去趋势化处理。
可以理解地,通过处理模块142可执行子步骤S1042。
滤波模块143,用于对处理后的信号进行时域滤波。
可以理解地,通过滤波模块143可执行子步骤S1043。
参数获取单元150,用于对处理后的最终感兴趣区域按预设定模型进行频谱分析,以获取生理参数。
可以理解地,通过参数获取单元150执行步骤S105。
其中,请参阅图11,参数获取单元150包括:
判断模块151,用于判断绿色通道信号是否为平稳时间序列。
可以理解地,通过判断模块151执行子步骤S1051。
转化模块152,用于将所述绿色通道信号转化成为平稳时间序列。
可以理解地,通过转化模块152执行子步骤S1052。
频谱估计模块153,用于使用自回归移动平均模型进行频谱估计,以确定所述自回归移动平均模型的自回归参数与阶数。
可以理解地,通过频谱估计模块153执行子步骤S1053。
分析模块154,用于通过Z变换转化到频域上分析时间序列的频域信息。
可以理解地,通过分析模块154执行子步骤S1054。
分析模块154还用于依据所述自回归移动平均模型对平稳后的所述绿色通道信号进行频谱分析,以得到相应阶数对应的极点。
可以理解地,通过分析模块154执行子步骤S1055。
参数获取模块155,用于依据所述极点得到心率和呼吸速率。
可以理解地,通过参数获取模块155执行子步骤S1056。
参数获取模块155,用于对所述蓝色通道与红色通道信号处理以实现平稳化。
可以理解地,通过参数获取模块155执行子步骤S1057。
参数获取模块155还用于依据公式确定血氧饱和度。
可以理解地,通过参数获取模块155执行子步骤S1058。
综上所述,本发明提供了一种基于视频的非接触式生理参数获取方法,通过按预设定的位置获取初始感兴趣区域,然后对初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域,再对最终感兴趣区域进行血容量变化脉冲信号提取,再对血容量变化脉冲信号进行去噪处理,再对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数。由于本发明提供的方法能够在获取初始感兴趣区域对区域进行重构,因此能够实现去除其他因素的影响,同时,通过去噪处理还能够进一步减少环境光照变换,被检测者头部运动等影响造成的噪声,同时,采用预设定模型获取生理参数过程更加稳健,所获取的生理参数更精确。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (7)
1.一种基于视频的非接触式生理参数获取方法,其特征在于,所述基于视频的非接触式生理参数获取方法包括:
依据大面积裸露肌肤部分视频获取初始感兴趣区域;
对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域;
对所述最终感兴趣区域进行血容量变化脉冲信号提取;其中,所述血容量变化脉冲信号包括绿色通道信号、蓝色通道信号以及红色通道信号;
对所述血容量变化脉冲信号进行去噪处理;
对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数;其中,所述对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域的步骤包括:
在一个视频图像帧中对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域;
对所述二级感兴趣区域的各像素点换算为灰度值,并依据所述灰度值求取像素值分布概率密度函数;
依据所述像素值分布概率密度函数获取符合条件的像素值范围,并将落在所述符合条件的像素值范围内的二级感兴趣区域像素点重构为最终感兴趣区域;
或在一个视频图像帧中对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域;
对所述二级感兴趣区域的各像素点换算为灰度值,并计算所述灰度值的归一化直方图,并获取灰度归一化直方图模型;
依据所述灰度归一化直方图模型,选取灰度值落在依据所述灰度归一化直方图模型确定的预设定范围内的像素点重构为最终感兴趣区域。
2.如权利要求1所述的基于视频的非接触式生理参数获取方法,其特征在于,所述对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数的步骤包括:
当所述绿色通道信号为平稳时间序列时,使用自回归移动平均模型进行频谱估计,以确定所述自回归移动平均模型的自回归参数与阶数;
通过Z变换将模型的传递函数转化到频域上分析时间序列的频域信息;
依据所述自回归移动平均模型对平稳后的所述绿色通道信号进行频谱分析,以得到相应阶数对应的极点;
依据所述极点得到心率和呼吸速率。
4.如权利要求1所述的基于视频的非接触式生理参数获取方法,其特征在于,所述对所述血容量变化脉冲信号进行去噪处理步骤包括:
对所述血容量变化脉冲信号进行信号预处理;
将进行预处理后的信号进行线性去趋势化处理;
对处理后的信号进行时域滤波。
5.一种基于视频的非接触式生理参数获取装置,其特征在于,所述基于视频的非接触式生理参数获取装置包括:
区域获取单元,用于依据大面积裸露肌肤部分视频获取初始感兴趣区域;
区域重构单元,用于对所述初始感兴趣区域按预设定方法重构,以生成最终感兴趣区域;
信号提取单元,用于对所述最终感兴趣区域进行血容量变化脉冲信号提取;其中,所述血容量变化脉冲信号包括绿色通道信号、蓝色通道信号以及红色通道信号;
去噪单元,用于对所述血容量变化脉冲信号进行去噪处理;
参数获取单元,用于对处理后的血容量变化脉冲信号按预设定模型进行频谱分析,以获取生理参数;
其中,所述区域重构单元包括:
区域获取模块,用于对所述初始感兴趣区域进行像素聚类,以获取二级感兴趣区域;
函数求取模块,用于依据所述二级感兴趣区域的像素点求取像素值分布概率密度函数;
区域重构模块,用于依据所述像素值分布概率密度函数获取符合条件的像素值范围,并将落在所述符合条件的像素值范围内的二级感兴趣区域像素点重构为最终感兴趣区域。
6.如权利要求5所述的基于视频的非接触式生理参数获取装置,其特征在于,所述参数获取单元包括:
频谱估计模块,用于当所述绿色通道信号为平稳时间序列时,使用自回归移动平均模型进行频谱估计,以确定所述自回归移动平均模型的自回归参数与阶数;
分析模块,用于通过Z变换转化到频域上分析时间序列的频域信息;
分析模块还用于依据所述自回归移动平均模型对平稳后的所述绿色通道信号进行频谱分析,以得到相应阶数对应的极点;
参数获取模块,用于依据所述极点得到心率和呼吸速率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910038663.5A CN109589101B (zh) | 2019-01-16 | 2019-01-16 | 一种基于视频的非接触式生理参数获取方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910038663.5A CN109589101B (zh) | 2019-01-16 | 2019-01-16 | 一种基于视频的非接触式生理参数获取方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109589101A CN109589101A (zh) | 2019-04-09 |
CN109589101B true CN109589101B (zh) | 2020-08-21 |
Family
ID=65965192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910038663.5A Active CN109589101B (zh) | 2019-01-16 | 2019-01-16 | 一种基于视频的非接触式生理参数获取方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109589101B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110367950B (zh) * | 2019-07-22 | 2022-06-07 | 西安奇点融合信息科技有限公司 | 非接触式生理信息检测方法及系统 |
CN111248880B (zh) * | 2020-02-21 | 2022-07-29 | 乐普(北京)医疗器械股份有限公司 | 一种基于光体积变化描记图法信号的血压预测方法和装置 |
CN111445477B (zh) * | 2020-02-28 | 2023-07-25 | 季华实验室 | 一种基于区域自动分割与选择的分析方法、装置及服务器 |
CN111611888B (zh) * | 2020-05-12 | 2023-05-12 | 西安奇点融合信息科技有限公司 | 非接触血压估计装置 |
CN111759292B (zh) * | 2020-06-24 | 2021-06-22 | 中国科学院西安光学精密机械研究所 | 一种人体心率、呼吸及血氧综合测量装置与方法 |
CN111714105A (zh) * | 2020-07-24 | 2020-09-29 | 长春理工大学 | 基于ippg的人体生命体征感知系统 |
CN113317766A (zh) * | 2021-05-12 | 2021-08-31 | 西安电子科技大学 | 一种基于a311d的嵌入式非接触式生理参数监测系统 |
CN113693573B (zh) * | 2021-08-27 | 2022-09-13 | 西安电子科技大学 | 一种基于视频的非接触式多生理参数监测的系统及方法 |
CN113712526B (zh) * | 2021-09-30 | 2022-12-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
CN114358212B (zh) * | 2022-01-25 | 2024-01-30 | 电子科技大学 | 一种基于K-means的癌症预嘱指标数据分析系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103596491A (zh) * | 2011-01-21 | 2014-02-19 | 伍斯特理工学院 | 利用移动通信装置的生理参数监测方法 |
CN105105741A (zh) * | 2015-07-15 | 2015-12-02 | 无锡海鹰电子医疗系统有限公司 | 一种脉搏波图像包络线提取和特征点跟踪的方法 |
EP3109798A1 (en) * | 2015-06-27 | 2016-12-28 | Wipro Limited | Method and system for determining emotions of a user using a camera |
CN107205624A (zh) * | 2014-10-29 | 2017-09-26 | 光谱Md公司 | 用于组织分类的反射式多光谱时间分辨光学成像方法和装备 |
CN108090410A (zh) * | 2017-11-15 | 2018-05-29 | 上海师范大学 | 一种非接触式面部心率监测动感单车及监测方法 |
CN108272448A (zh) * | 2018-03-29 | 2018-07-13 | 合肥工业大学 | 一种非接触式的婴儿生理参数昼夜监护方法 |
-
2019
- 2019-01-16 CN CN201910038663.5A patent/CN109589101B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103596491A (zh) * | 2011-01-21 | 2014-02-19 | 伍斯特理工学院 | 利用移动通信装置的生理参数监测方法 |
CN107205624A (zh) * | 2014-10-29 | 2017-09-26 | 光谱Md公司 | 用于组织分类的反射式多光谱时间分辨光学成像方法和装备 |
EP3109798A1 (en) * | 2015-06-27 | 2016-12-28 | Wipro Limited | Method and system for determining emotions of a user using a camera |
CN105105741A (zh) * | 2015-07-15 | 2015-12-02 | 无锡海鹰电子医疗系统有限公司 | 一种脉搏波图像包络线提取和特征点跟踪的方法 |
CN108090410A (zh) * | 2017-11-15 | 2018-05-29 | 上海师范大学 | 一种非接触式面部心率监测动感单车及监测方法 |
CN108272448A (zh) * | 2018-03-29 | 2018-07-13 | 合肥工业大学 | 一种非接触式的婴儿生理参数昼夜监护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109589101A (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109589101B (zh) | 一种基于视频的非接触式生理参数获取方法与装置 | |
Unakafov | Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset | |
Holton et al. | Signal recovery in imaging photoplethysmography | |
McDuff et al. | iphys: An open non-contact imaging-based physiological measurement toolbox | |
CN110367950B (zh) | 非接触式生理信息检测方法及系统 | |
CN109977858B (zh) | 一种基于图像分析的心率检测方法及装置 | |
Wang et al. | Robust heart rate from fitness videos | |
US9020185B2 (en) | Systems and methods for non-contact heart rate sensing | |
Radüntz et al. | EEG artifact elimination by extraction of ICA-component features using image processing algorithms | |
Stricker et al. | Non-contact video-based pulse rate measurement on a mobile service robot | |
Po et al. | Block-based adaptive ROI for remote photoplethysmography | |
EP3664704B1 (en) | Device, system and method for determining a physiological parameter of a subject | |
Sinhal et al. | An overview of remote photoplethysmography methods for vital sign monitoring | |
KR102285999B1 (ko) | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 | |
Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
Bousefsaf et al. | Automatic selection of webcam photoplethysmographic pixels based on lightness criteria | |
Song et al. | Remote photoplethysmography with an EEMD-MCCA method robust against spatially uneven illuminations | |
Huang et al. | A motion-robust contactless photoplethysmography using chrominance and adaptive filtering | |
Macwan et al. | Periodic variance maximization using generalized eigenvalue decomposition applied to remote photoplethysmography estimation | |
Das et al. | Non-contact heart rate measurement from facial video data using a 2d-vmd scheme | |
Ryu et al. | A measurement of illumination variation-resistant noncontact heart rate based on the combination of singular spectrum analysis and sub-band method | |
US20180122066A1 (en) | System and method for extracting a periodic signal from video | |
Abdulrahaman | Two-stage motion artifact reduction algorithm for rPPG signals obtained from facial video recordings | |
Hosni et al. | Remote real-time heart rate monitoring with recursive motion artifact removal using PPG signals from a smartphone camera | |
WO2021111436A1 (en) | System and method for physiological measurements from optical data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |