CN115205270B - 基于图像处理的非接触式血氧饱和度检测方法及系统 - Google Patents

Abstract

本发明提供了基于图像处理的非接触式血氧饱和度检测方法及系统，包括如下步骤：采集面部图像并进行预处理，获得额头区域；基于额头区域，获得有效区域；利用欧拉视频放大方法，对有效区域进行时频分析，获得重建视频并平滑滤波；对平滑滤波后的重建视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于红蓝基色通道方差和均值得到所有帧血氧参数，基于所有帧的血氧参数，获得被测者初始血氧饱和度；获得被测者当前身体质量指数；构建深度学习的神经网络判别模型；将被测者当前身体质量指数和被测者初始血氧饱和度输入到深度学习的神经网络判别模型，得到被测者的实际血氧饱和度。本发明可准确向被测者提供可反映其真实情况的血氧饱和度。

Description

基于图像处理的非接触式血氧饱和度检测方法及系统

技术领域

本发明属于医疗器械技术领域，尤其涉及基于图像处理的非接触式血氧饱和度检测方法及系统。

背景技术

血氧饱和度是一项重要的生命体征，可以反映机体供氧状况。血氧携带能力是心肺健康的主要决定因素。氧气在体内受到严格调节，低血氧症可对单个器官系统造成许多急性不良反应。血氧含量过低最直观的表现就是疲劳。研究表明劳动者处于过劳状态，而疲劳作业后血氧含量会大大降低，因此增强血氧饱和度的检测工作对于正确指导工作休息的分配、降低猝死率具有重要的意义。

目前国内对于员工的健康问题的保障措施十分关注，无论是科技行业还是从事体力劳动的行业都要求对从业人员的健康进行较大程度的保障，而且健康保障不再局限于职业病方面的保证，像猝死的多种诱因方面的预防也受到社会广泛关注。

目前，国内已有的血氧检测方案有很多，包括传统的血气分析仪进行电化学分析，指套式光电传感器，可穿戴式智能手表，以及基于图像的处理方法。《基于FPGA的数字式血氧饱和度测量仪设计》一文中，采用双波长透射吸收式方法进行血氧饱和度测量。通过让特定波长的光透过人体组织，根据两波长光吸光率不同，从而计算出人体的血氧饱和度。在指夹式生理参数测量中，手部的压力会使得测量结果和真实值出现误差。《面部视频非接触式生理参数感知》一文中，设计了一种基于成像式光电容积描记技术，从手机录制的人脸视频中估算生理参数的方法。首先，该面临工程伦理问题，即用户的隐私安全问题。手机用户的个人健康状况若泄露，被不法分子利用，可能带来不可弥补的后果。

发明内容

为解决上述技术问题，本发明提出基于图像处理的非接触式血氧饱和度检测方法及系统，结合深度学习的神经网络模型、使用者的初始血氧饱和度以及当前质量指数，准确确定出了与使用者真实情况对应的血氧饱和度，并向使用者提供可反映其真实情况的血氧饱和度。

一方面为实现上述目的，本发明提供了基于图像处理的非接触式血氧饱和度检测方法，包括如下步骤：

采集面部图像，并对所述面部图像进行预处理，获得额头区域；

基于所述额头区域，获得有效区域；

利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频；

对所述重建的视频进行平滑滤波；

对平滑滤波后的所述重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数R；基于所有帧的血氧参数R,得到长度为150的血氧参数数组；

对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式可获得被测者初始血氧饱和度；

获得被测者初始血氧饱和度；

获得被测者当前身体质量指数；

构建深度学习的神经网络判别模型；

将所述被测者当前身体质量指数和所述被测者初始血氧饱和度输入到所述深度学习的神经网络判别模型，得到所述被测者的实际血氧饱和度。

可选地，采集面部图像，并对所述面部图像进行预处理，获得额头区域的方法为：

利用USB相机，获得时长5s、总帧数150帧的视频；

逐帧读取所述视频，

基于OpenCV中的经过训练人脸识别函数，将所述视频中框选的人脸部分缩减至额头部分，裁减出所述额头区域。

可选地，基于所述额头区域，获得有效区域的方法为：

将额头所在的矩形区域按宽度和高度均分为九宫格；

从所述九宫格中选取五区域作为预设区域，将所述预设区域中心的50*50像素区域作为后续处理的备选区域；

利用OpenCV，读取所述备选区域的像素点灰度值；

基于所述像素点灰度值，获得有效区域。

可选地，利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频的方法为：

加载所述有效区域为一系列帧；

基于各帧，建立图像金字塔；

基于所述图像金字塔，对各帧进行时域滤波；

放大时域滤波后的各所述帧；

基于放大的各所述帧，获得重建的视频。

可选地，对所述重建的视频进行平滑滤波的方法为：

采用均值滤波的方法，对所述重建的视频进行平滑滤波。

可选地，基于各帧红蓝基色通道方差和均值，获得被测者初始血氧饱和度的方法为：

基于平滑滤波后的所述重建的视频，分离图像红蓝光通道；

逐帧计算图像红光通道、蓝光通道的矩阵方差和平均值矩阵，基于所述矩阵方差和所述平均值矩阵，得到每一帧的血氧参数；

基于所述每一帧的血氧参数R，对时长5s，共计150帧的视频进行计算，得到长度为150的血氧参数数组；

对所述血氧参数数组去除粗并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，获得被测者初始血氧饱和度。

可选地，所述深度学习的神经网络判别模型的构建方法为：

获取第一训练数据，其中，所述第一训练数据包括第一血氧饱和度样本值、第二血氧饱和度样本值、身体质量指数样本值，所述第一血氧饱和度样本值为所述被测者初始血氧饱和度，所述第二血氧饱和度样本值为所述被测者通过指夹式血氧仪测量得到的实际血氧饱和度，所述身体质量指数样本值为所述被测者的身体质量指数；

根据所述第一训练数据，建立所述深度学习的神经网络模型。

另一方面为实现上述目的，本发明提供了基于图像处理的非接触式血氧饱和度检测系统，包括：

第一获得模块、第二获得模块、第三获得模块、滤波模块、第四获得模块、第五获得模块、模型构建模块和第六获得模块；

所述第一获得模块用于采集面部图像，并对所述面部图像进行预处理，获得额头区域；

所述第二获得模块用于基于所述额头区域，获得有效区域；

所述第三获得模块用于利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频；

所述滤波模块用于对所述重建的视频进行平滑滤波；

所述第四获得模块用于对平滑滤波后的所述重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数；基于所有帧的血氧参数R,得到长度为150的血氧参数数组；对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式可获得被测者初始血氧饱和度；

所述第五获得模块用于获得被测者当前身体质量指数；

所述模型构建模块用于构建深度学习的神经网络判别模型；

所述第六获得模块用于将所述被测者当前身体质量指数和所述被测者初始血氧饱和度输入到所述深度学习的神经网络判别模型，得到所述被测者的实际血氧饱和度。

与现有技术相比，本发明具有如下优点和技术效果：

本发明采用的双波长的吸光率，通过提取视频图像的红蓝通道，进而测得初始血氧值。由于采用非接触式测量，可消除因外部压力造成的误差，同时，可以使得初始血氧检测更加便捷，实现实时无感检测。本发明采用Jeston nano作为运算平台，无需联网，独立工作，用户自行处理个人的隐私数据。本发明图像框选的方式采用九宫格式框选，裁剪框选区域，大幅度提高处理速度和精度，完整测量只需10s。之后，经过多组实验验证，结合图像特点，对欧拉放大重建的视频采用均值滤波，提高了测量精度。整个算法采用四维矩阵计算，使得整个图像处理时间提升了5倍。并且，本发明结合深度学习的神经网络模型、使用者的初始血氧饱和度以及当前质量指数，准确确定出了与使用者真实情况对应的血氧饱和度，并向使用者提供可反映其真实情况的血氧饱和度。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例一的欧拉放大流程示意图；

图2为本发明实施例一的单个像素的YIQ颜色空间的时域曲线示意图；

图3为本发明实施例一的图像金字塔构建流程示意图；

图4为本发明实施例一的未经滤波的时域曲线示意图；

图5为本发明实施例一的滤波后的时域曲线示意图；

图6为本发明实施例一的高斯滤波方法的线性度示意图；

图7为本发明实施例一的中值滤波方法的线性度示意图；

图8为本发明实施例一的均值滤波方法的线性度示意图；

图9为本发明实施例二的基于图像处理的非接触式血氧饱和度检测系统结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

本发明提供基于图像处理的非接触式血氧饱和度检测方法，包括如下步骤：

采集面部图像，并对面部图像进行预处理，获得额头区域；

基于额头区域，获得有效区域；

利用欧拉视频放大方法，对有效区域进行时频分析，获得重建的视频；

对重建的视频进行平滑滤波；

对平滑滤波后的重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数R；基于所有帧的血氧参数R,得到长度为150的血氧参数数组；

对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式可获得被测者初始血氧饱和度。

获得被测者当前身体质量指数；

构建深度学习的神经网络判别模型；

将被测者当前身体质量指数和被测者初始血氧饱和度输入到深度学习的神经网络判别模型，得到被测者的实际血氧饱和度。

进一步地，可加在摄像头采集视频之前。即测量开始前，云台先工作，调整二自由度云台的旋转角和俯仰角，保证拍摄的最佳角度，从而保证使人脸始终在拍的图片的中央。

由于对人脸的拍摄的图片质量影响最终测量结果，所以用Jeston nano制作的一套人脸跟踪二自由度云台算法，作用是在测量过程中，通过时刻调整二自由度云台的旋转角和俯仰角，来保证拍摄的最佳角度，从而保证使人脸始终在拍的图片的中央。

具体方案是将相机固定在云台上，用Jeston nano处理视频，实时得到人脸坐标，通过串口通信发到Arduino，Arduino通过PWM波控制两舵机的转角。

本实施例为基于OpenCV-Python和Jeston nano的二自由度人脸跟踪舵机云台系统。

本系统的预期功能是实时检测摄像头中出现的人脸，并对其进行跟踪。要实现该功能，主要应解决如下问题：

图像采集，人脸检测，舵机控制。

具体实现思路如下：

图像采集方面，使用普通的USB摄像头，这样可以直接得到数字图像无需进行数模转换，而且价格低廉，在不要求高精度的情况下比较适合。将USB摄像头直接通过USB数据线接到Jeston nano，即可在Jeston nano端得到实时图像。

人脸检测方面，在Jeston nano端编写用于人脸检测的Python程序。使用OpenCV库，首先对从摄像头得到的每一帧实时图像进行预处理，然后调用OpenCV自带的Harr分类器检测人脸的位置。将检测到的人脸的中心点坐标用串口发送给Arduino单片机即可。

舵机控制方面，使用Arduino单片机，根据串口接收到的来自上位机的坐标分别对两个舵机进行独立的位置控制。具体思路是，将图像的中心点的横纵坐标(恒定值)与人脸中心点的横纵坐标分别作差，将该差值作为偏差输入到Arduino中实现的两个PD控制器中，计算所需占空比，产生两路PWM波驱动舵机向偏差减小的方向转动。

实现方法及步骤

硬件部分

首先搭建二自由度云台的机械结构。USB摄像头相机固定于二自由度云台，并采用两个DS3115舵机实现对二自由度云台的旋转角和俯仰角的调整。舵机的操控信号为周期是20ms的脉宽调制(PWM)信号，其间脉冲宽度从0.5ms-2.5ms，相对应舵盘的方位为0－180度，呈线性改动。

软件部分

Python环境及主要使用的库

Python 3.6

Numpy 1.14.0

OpenCV-Python 3.4.0

Pyserial 3.4

Jeston nano端：图像处理与人脸检测

使用OpenCV-Python对USB摄像头的实时图片进行人脸检测。为提高检测速度，首先对图片做预处理，将彩色图像转化为灰度图像。然后使用OpenCV自带的Harr级联分类器检测人脸位置，得到人脸中心点坐标。

为了解决多个人脸同时出现在画面中造成系统不稳定的现象，对算法进行改进，对每帧图像计算所有人脸中心点的形心，这样当多个人脸同时出现时，摄像头将对准所有人脸的平均的几何中心。

单片机：实现PD控制器

Arduino单片机主要应完成：接收串口数据、实现PD控制器、输出PWM驱动舵机三个任务。下面列出部分关键步骤，分别介绍实现方法。

1.串口数据接收

Arduino单片机要通过串口，根据设置的通讯协议接收Jeston nano端传来的坐标(X,Y)，将横纵坐标两个值分别存储到全局变量coords中。

为了更清晰地观察到单片机接收串口数据的情况，使用了开发板上的LED灯，在数据传输时闪烁。

2.PD控制器

将实际坐标数据与目标坐标作差，将差值作为偏差传递给PID控制器，从而得到需要的PWM占空比。

PID参数通过实验确定。实验表明，仅采用PD的效果更佳。

3.输出PWM

根据PD控制器输出的值作为占空比，通过时钟输出PWM信号。

实现效果

经测试，该系统能够实现预期的功能。经过调参后，调节时间很短，超调较小，系统的快速性和平稳性均能达到预期目标。系统的不足之处在于有一定稳态误差，但是考虑到舵机成本较低，系统的精度处在可以接受的范围内。

进一步地，本实施例使用额头作为感兴趣区域，并对其进行视频数据采集。主要原因是面部皮肤多数情况下是外露的，且面部血管非常丰富，便于测量。

对于图像采集工作，采用USB相机(型号索尼IMX179)直接获取，相机分辨率是800像素，帧率为30fps，得到时长5s，总帧数150帧的视频。之后，逐帧读取摄像头拍摄的视频。基于OpenCV中的经过训练人脸识别函数，将框选的人脸部分缩减至额头部分，并裁减出额头区域。

进一步地，有效区域的提取需要筛除额头发生镜面反射的部分。采取的方法是将额头所在的矩形区域按宽度和高度均分为九宫格，并选取A,B,C,D,E五区域中心的50*50像素区域作为后续处理的备选区域，然后利用OpenCV中读取像素点灰度值，设定自适应的阈值，高于阈值的点作为高亮点，按A-B-C-D-E的顺序筛选出存在高亮点的总帧数最少且低于10帧的区域作为有效区域，若所有区域高亮点出现帧数均高于10帧，则视为拍摄失败，提醒被测人调整坐姿重新拍摄。

进一步地，血液中的SpO2对红蓝光吸光率不同造成红蓝光通道的光强影响小于3％，超出人类的视觉感知域。欧拉视频放大通过对图像的时频分析，将影像中的肉眼观察不到的变化“放大”到裸眼足以观察的幅度，再通过细分量化，可以大大提高血氧的测量精度。

欧拉视频放大主要有五个步骤，如图1所示：

1.加载视频为一系列帧：

视频逐帧读入，为增强放大的视觉效果，每一帧转为YIQ颜色空间(如图2)

2.基于各帧建立图像金字塔

图像金字塔通过对图像的分割，从而对图像进行采样。金字塔的底部是待处理图像的高分辨率近似，而顶部是低分辨率的近似。层级越高，则图像越小，分辨率越低。通过向下梯次采样获得，直到达到某个终止条件停止采样。我们对每帧图像构建图像金字塔，具体步骤如图3。

3.对帧进行时域滤波

为抑制噪声干扰，放大有用信号的时间变化，需要对视频进行时域滤波。本发明对图像金字塔每一层进行时域滤波。首先对图像金字塔的每一层进行离散傅里变换，再利用理想带通滤波器进行滤波。通带设计为0.7-2Hz，滤波效果如图4和图5所示。

4.放大滤波后的时域信号

为进一步放大红蓝光变化，对金字塔的每一层的红蓝光通道取放大率为20，绿光通道的放大率为1。

5.由放大的信号重建视频

对处理后的图像金字塔进行构建金字塔式的逆向操作，即从最小尺寸图像层开始，进行放大、高斯平滑，再与上一层图像相加，直至源图像层，从而复原每一帧图像，再将图像逐帧写入视频文件，完成视频重建。

进一步地，对欧拉颜色放大后视频的每一帧进行平滑滤波。为了提高测量精度，根据相机的特点来决定滤波方法。常用的空间滤波方法有均值滤波(领域3*3)，高斯滤波，中值滤波(领域3*3)。本实施例设计了3组对比试验，测量结果与高精度血氧仪的结果对比，由下图6、图7和图8可以看出，均值滤波(领域3*3)的效果和指夹式血氧仪的结果线性度最好。

进一步地，均值滤波后，分离图像红蓝光通道，得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，代入公式

计算得到每一帧的血氧参数R。

基于得到每一帧的血氧参数R，对时长5s，共计150帧的视频进行计算，可得到长度为150血氧参数数组；

基于血氧参数数组，滤除粗大误差后，对数组取平均值，即为求得的血氧参数R。

基于血氧参数R，代入经过标定的公式中

可获得被测者初始血氧饱和度。

进一步地，深度学习的神经网络判别模型的构建方法为：

获取第一训练数据，其中，第一训练数据包括第一血氧饱和度样本值、第二血氧饱和度样本值、身体质量指数样本值，第一血氧饱和度样本值为被测者初始血氧饱和度，第二血氧饱和度样本值为被测者通过指夹式血氧仪测量得到的实际血氧饱和度，身体质量指数样本值为所述被测者的身体质量指数；

根据第一训练数据，建立所述深度学习的神经网络模型。

具体的，将第一血氧饱和度样本值和身体质量指数样本值作为深度学习的神经网络模型的输入特征，第二血氧饱和度样本值作为深度学习的神经网络模型的输出特征，对深度学习的神经网络模型进行训练；或者，将第一血氧饱和度样本值和身体质量指数样本值作为BP神经网络的输入，并将第二血氧饱和度样本值减去第一血氧饱和度样本值得到的测量误差值作为BP神经网络的输出，训练得到测量误差值与第一血氧饱和度样本值以及身体质量指数样本值之间的关系模型，以及根据关系模型和第一血氧饱和度样本值，确定深度学习的神经网络模型。

实施例二

如图9，本发明还提供基于图像处理的非接触式血氧饱和度检测系统，包括：

第一获得模块、第二获得模块、第三获得模块、滤波模块、第四获得模块、第五获得模块、模型构建模块和第六获得模块；

第一获得模块用于采集面部图像，并对所述面部图像进行预处理，获得额头区域；

第二获得模块用于基于额头区域，获得有效区域；

第三获得模块用于利用欧拉视频放大方法，对有效区域进行时频分析，获得重建的视频；

滤波模块用于对重建的视频进行平滑滤波；

第四获得模块用于对平滑滤波后的所述重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数；基于所有帧的血氧参数R,得到长度为150的血氧参数数组；对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式可获得被测者初始血氧饱和度；

第五获得模块用于获得被测者当前身体质量指数；

模型构建模块用于构建深度学习的神经网络判别模型；

第六获得模块用于将被测者当前身体质量指数和被测者初始血氧饱和度输入到深度学习的神经网络判别模型，得到被测者的实际血氧饱和度。

在摄像头采集视频之前，即测量开始前，云台先工作，调整二自由度云台的旋转角和俯仰角，保证拍摄的最佳角度，从而保证使人脸始终在拍的视频画幅的中央。

由于对人脸的拍摄的视频质量影响最终测量结果，所以用Jeston nano制作的一套人脸跟踪+二自由度云台算法，作用是在测量过程中，通过时刻调整二自由度云台的旋转角和俯仰角，来保证拍摄的最佳角度，从而保证使人脸始终在视频画幅的中央。

具体方案是将相机固定在云台上，用Jeston nano处理视频，实时得到人脸坐标，通过串口通信发到Arduino，Arduino通过PWM波控制两舵机的转角。

本实施例为基于OpenCV-Python和Jeston nano的二自由度人脸跟踪舵机云台系统。

本系统的预期功能是实时检测摄像头中出现的人脸，并对其进行跟踪。要实现该功能，主要应解决如下问题：

图像采集，人脸检测，舵机控制。

具体实现思路如下：

图像采集方面，使用普通的USB摄像头，这样可以直接得到数字图像无需进行数模转换，而且价格低廉，在不要求高精度的情况下比较适合。将USB摄像头直接通过USB数据线接到Jeston nano，即可在Jeston nano端得到实时图像。

人脸检测方面，在Jeston nano端编写用于人脸检测的Python程序。使用OpenCV库，首先对从摄像头得到的每一帧实时图像进行预处理，然后调用OpenCV自带的Harr分类器检测人脸的位置。将检测到的人脸的中心点坐标用串口发送给Arduino单片机即可。

舵机控制方面，使用Arduino单片机，根据串口接收到的来自上位机的坐标分别对两个舵机进行独立的位置控制。具体思路是，将图像的中心点的横纵坐标(恒定值)与人脸中心点的横纵坐标分别作差，将该差值作为偏差输入到Arduino中实现的两个PD控制器中，计算所需占空比，产生两路PWM波驱动舵机向偏差减小的方向转动。

实现方法及步骤

硬件部分

首先搭建二自由度云台的机械结构。USB摄像头相机固定于二自由度云台，并采用两个DS3115舵机实现对二自由度云台的旋转角和俯仰角的调整。舵机的操控信号为周期是20ms的脉宽调制(PWM)信号，其间脉冲宽度从0.5ms-2.5ms，相对应舵盘的方位为0－180度，呈线性改动。

软件部分

Python环境及主要使用的库

Python 3.6

Numpy 1.14.0

OpenCV-Python 3.4.0

Pyserial 3.4

Jeston nano端：图像处理与人脸检测

使用OpenCV-Python对USB摄像头的实时图片进行人脸检测。为提高检测速度，首先对图片做预处理，将彩色图像转化为灰度图像。然后使用OpenCV自带的Harr级联分类器检测人脸位置，得到人脸中心点坐标。

为了解决多个人脸同时出现在画面中造成系统不稳定的现象，对算法进行改进，对每帧图像计算所有人脸中心点的形心，这样当多个人脸同时出现时，摄像头将对准所有人脸的平均的几何中心。

单片机：实现PD控制器

Arduino单片机主要应完成：接收串口数据、实现PD控制器、输出PWM驱动舵机三个任务。下面列出部分关键步骤，分别介绍实现方法。

1.串口数据接收

Arduino单片机要通过串口，根据设置的通讯协议接收Jeston nano端传来的坐标(X,Y)，将横纵坐标两个值分别存储到全局变量coords中。

为了更清晰地观察到单片机接收串口数据的情况，使用了开发板上的LED灯，在数据传输时闪烁。

2.PD控制器

将实际坐标数据与目标坐标作差，将差值作为偏差传递给PID控制器，从而得到需要的PWM占空比。

PID参数通过实验确定。实验表明，仅采用PD的效果更佳。

3.输出PWM

根据PD控制器输出的值作为占空比，通过时钟输出PWM信号。

实现效果

经测试，该系统能够实现预期的功能。经过调参后，调节时间很短，超调较小，系统的快速性和平稳性均能达到预期目标。系统的不足之处在于有一定稳态误差，但是考虑到舵机成本较低，系统的精度处在可以接受的范围内。

进一步地，本实施例使用额头作为感兴趣区域，并对其进行视频数据采集。主要原因是面部皮肤多数情况下是外露的，且面部血管非常丰富，便于测量。

对于图像采集工作，采用USB相机(型号索尼IMX179)直接获取，相机分辨率是800像素，帧率为30fps，得到时长5s，总帧数150帧的视频。之后，逐帧读取摄像头拍摄的视频。基于OpenCV中的经过训练人脸识别函数，将框选的人脸部分缩减至额头部分，并裁减出额头区域。

进一步地，有效区域的提取需要筛除额头发生镜面反射的部分。采取的方法是将额头所在的矩形区域按宽度和高度均分为九宫格，并选取A,B,C,D,E五区域中心的50*50像素区域作为后续处理的备选区域，然后利用OpenCV中读取像素点灰度值，设定自适应的阈值，高于阈值的点作为高亮点，按A-B-C-D-E的顺序筛选出存在高亮点的总帧数最少且低于10帧的区域作为有效区域，若所有区域高亮点出现帧数均高于10帧，则视为拍摄失败，提醒被测人调整坐姿重新拍摄。

进一步地，血液中的SpO2对红蓝光吸光率不同造成红蓝光通道的光强影响小于3％，超出人类的视觉感知域。欧拉视频放大通过对图像的时频分析，将影像中的肉眼观察不到的变化“放大”到裸眼足以观察的幅度，再通过细分量化，可以大大提高血氧的测量精度。

欧拉视频放大主要有五个步骤：

1.加载视频为一系列帧

视频逐帧读入，为增强放大的视觉效果，每一帧转为YIQ颜色空间

2.基于各帧建立图像金字塔

图像金字塔通过对图像的分割，从而对图像进行采样。金字塔的底部是待处理图像的高分辨率近似，而顶部是低分辨率的近似。层级越高，则图像越小，分辨率越低。通过向下梯次采样获得，直到达到某个终止条件停止采样。

3.对帧进行时域滤波

为抑制噪声干扰，放大有用信号的时间变化，需要对视频进行时域滤波。本发明对图像金字塔每一层进行时域滤波。首先对图像金字塔的每一层进行离散傅里变换，再利用理想带通滤波器进行滤波。通带设计为0.7-2Hz。

4.放大滤波后的时域信号

为进一步放大红蓝光变化，对金字塔的每一层的红蓝光通道取放大率为20，绿光通道的放大率为1。

5.由放大的信号重建视频

对处理后的图像金字塔进行构建金字塔式的逆向操作，即从最小尺寸图像层开始，进行放大、高斯平滑，再与上一层图像相加，直至源图像层，从而复原每一帧图像，再将图像逐帧写入视频文件，完成视频重建。

进一步地，对欧拉颜色放大后视频的每一帧进行平滑滤波。为了提高测量精度，根据相机的特点来决定滤波方法。常用的空间滤波方法有均值滤波(领域3*3)，高斯滤波，中值滤波(领域3*3)。本实施例设计了3组对比试验，测量结果与高精度血氧仪的结果对比，可以看出，均值滤波(领域3*3)的效果和指夹式血氧仪的结果线性度最好。

进一步地，均值滤波后，分离图像红蓝光通道，得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，代入公式

/>

计算得到每一帧的血氧参数R。

基于得到每一帧的血氧参数R，对时长5s，共计150帧的视频进行计算，可得到长度为150血氧参数数组；

基于血氧参数数组，滤除粗大误差后，对数组取平均值，即为求得的血氧参数R。

基于血氧参数R，代入经过标定的公式

可获得被测者初始血氧饱和度。

进一步地，深度学习的神经网络判别模型的构建过程为：

获取第一训练数据，其中，第一训练数据包括第一血氧饱和度样本值、第二血氧饱和度样本值、身体质量指数样本值，第一血氧饱和度样本值为被测者初始血氧饱和度，第二血氧饱和度样本值为被测者通过指夹式血氧仪测量得到的实际血氧饱和度，身体质量指数样本值为所述被测者的身体质量指数；

根据第一训练数据，建立所述深度学习的神经网络模型。

具体的，将第一血氧饱和度样本值和身体质量指数样本值作为深度学习的神经网络模型的输入特征，第二血氧饱和度样本值作为深度学习的神经网络模型的输出特征，对深度学习的神经网络模型进行训练；或者，将第一血氧饱和度样本值和身体质量指数样本值作为BP神经网络的输入，并将第二血氧饱和度样本值减去第一血氧饱和度样本值得到的测量误差值作为BP神经网络的输出，训练得到测量误差值与第一血氧饱和度样本值以及身体质量指数样本值之间的关系模型，以及根据关系模型和第一血氧饱和度样本值，确定深度学习的神经网络模型。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.基于图像处理的非接触式血氧饱和度检测方法，其特征在于，包括以下步骤：

采集面部图像，并对所述面部图像进行预处理，获得额头区域；

基于所述额头区域，获得有效区域；

利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频；

对所述重建的视频进行平滑滤波；

对平滑滤波后的所述重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数R；基于所有帧的血氧参数R,得到长度为150的血氧参数数组；

对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式获得被测者初始血氧饱和度；

获得被测者当前身体质量指数；

构建深度学习的神经网络判别模型；

将所述被测者当前身体质量指数和所述被测者初始血氧饱和度输入到所述深度学习的神经网络判别模型，得到所述被测者的实际血氧饱和度；

采集面部图像，并对所述面部图像进行预处理，获得额头区域的方法为：

利用USB相机，获得时长5s、总帧数150帧的视频；

逐帧读取所述视频，

基于OpenCV中的经过训练人脸识别函数，将所述视频中框选的人脸部分缩减至额头部分，裁减出所述额头区域；

基于所述额头区域，获得有效区域的方法为：

将额头所在的矩形区域按宽度和高度均分为九宫格；

从所述九宫格中选取五区域作为预设区域，将所述预设区域中心的50*50像素区域作为后续处理的备选区域；

利用OpenCV，读取所述备选区域的像素点灰度值；

基于所述像素点灰度值，获得有效区域；

用Jeston nano制作的一套人脸跟踪二自由度云台算法，作用是在测量过程中，通过时刻调整二自由度云台的旋转角和俯仰角，使人脸始终在拍的图片的中央；

将相机固定在云台上，用Jeston nano处理视频，实时得到人脸坐标，通过串口通信发到Arduino，Arduino通过PWM波控制两舵机的转角；

基于OpenCV-Python和Jeston nano的二自由度人脸跟踪舵机云台系统，实时检测摄像头中出现的人脸，并对人脸进行跟踪；具体步骤为：图像采集，人脸检测，舵机控制；

图像采集方面，将USB摄像头直接通过USB数据线接到Jeston nano，在Jeston nano端得到实时图像；

人脸检测方面，在Jeston nano端编写用于人脸检测的Python程序；使用OpenCV库，首先对从摄像头得到的每一帧实时图像进行预处理，然后调用OpenCV自带的Harr分类器检测人脸的位置；将检测到的人脸的中心点坐标用串口发送给Arduino单片机；

舵机控制方面，使用Arduino单片机，根据串口接收到的来自上位机的坐标分别对两个舵机进行独立的位置控制；具体思路是，将图像的中心点的横纵坐标与人脸中心点的横纵坐标分别作差，将差值作为偏差输入到Arduino中实现的两个PD控制器中，计算所需占空比，产生两路PWM波驱动舵机向偏差减小的方向转动；

采用四维矩阵计算；

利用单片机实现PD控制器；Arduino单片机主要完成：接收串口数据、实现PD控制器、输出PWM驱动舵机三个任务；串口数据接收：Arduino单片机要通过串口，根据设置的通讯协议接收Jeston nano端传来的坐标(X,Y)，将横纵坐标两个值分别存储到全局变量coords中；PD控制器：将实际坐标数据与目标坐标作差，将差值作为偏差传递给PID控制器，从而得到需要的PWM占空比；仅采用PD的效果更佳；输出PWM：根据PD控制器输出的值作为占空比，通过时钟输出PWM信号；

有效区域的提取需要筛除额头发生镜面反射的部分；采取的方法是将额头所在的矩形区域按宽度和高度均分为九宫格，并选取A,B,C,D,E五区域中心的50*50像素区域作为后续处理的备选区域，然后利用OpenCV中读取像素点灰度值，设定自适应的阈值，高于阈值的点作为高亮点，按A-B-C-D-E的顺序筛选出存在高亮点的总帧数最少且低于10帧的区域作为有效区域，若所有区域高亮点出现帧数均高于10帧，则视为拍摄失败，提醒被测人调整坐姿重新拍摄。

2.根据权利要求1所述的基于图像处理的非接触式血氧饱和度检测方法，其特征在于，利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频的方法为：

加载所述有效区域为一系列帧；

基于各帧，建立图像金字塔；

基于所述图像金字塔，对各帧进行时域滤波；

放大时域滤波后的各所述帧；

基于放大的各所述帧，获得重建的视频。

3.根据权利要求1所述的基于图像处理的非接触式血氧饱和度检测方法，其特征在于，对所述重建的视频进行平滑滤波的方法为：

采用均值滤波的方法，对所述重建的视频进行平滑滤波。

4.根据权利要求1所述的基于图像处理的非接触式血氧饱和度检测方法，其特征在于，基于各帧红蓝基色通道方差和均值，获得被测者初始血氧饱和度的方法为：

基于平滑滤波后的所述重建的视频，分离图像红蓝光通道；

逐帧计算图像红光通道、蓝光通道的方差和均值，得到每一帧的血氧参数；

基于所有帧的血氧参数R,得到长度为150的血氧参数数组；

对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数，基于得到最终血氧参数，代入标定好的血氧计算公式获得被测者初始血氧饱和度。

5.根据权利要求1所述的基于图像处理的非接触式血氧饱和度检测方法，其特征在于，所述深度学习的神经网络判别模型的构建方法为：

获取第一训练数据，其中，所述第一训练数据包括第一血氧饱和度样本值、第二血氧饱和度样本值、身体质量指数样本值，所述第一血氧饱和度样本值为所述被测者初始血氧饱和度，所述第二血氧饱和度样本值为所述被测者通过指夹式血氧仪测量得到的实际血氧饱和度，所述身体质量指数样本值为所述被测者的身体质量指数；

根据所述第一训练数据，建立所述深度学习的神经网络模型。

6.基于图像处理的非接触式血氧饱和度检测系统，用于实现权利要求1-5任一项所述的基于图像处理的非接触式血氧饱和度检测方法，其特征在于，所述系统包括：第一获得模块、第二获得模块、第三获得模块、滤波模块、第四获得模块、第五获得模块、模型构建模块和第六获得模块；

所述第一获得模块用于采集面部图像，并对所述面部图像进行预处理，获得额头区域；

所述第二获得模块用于基于所述额头区域，获得有效区域；

所述第三获得模块用于利用欧拉视频放大方法，对所述有效区域进行时频分析，获得重建的视频；

所述滤波模块用于对所述重建的视频进行平滑滤波；

所述第四获得模块用于对平滑滤波后的所述重建的视频进行基色分离，获得各帧红蓝基色通道方差和均值，基于各帧红蓝基色通道方差和均值，得到每一帧的血氧参数，基于所有帧的血氧参数R,得到长度为150的血氧参数数组；对所述血氧参数数组去除粗大并取平均值，得到最终血氧参数R，基于得到最终血氧参数R，代入标定好的血氧计算公式获得被测者初始血氧饱和度；

所述第五获得模块用于获得被测者当前身体质量指数；

所述模型构建模块用于构建深度学习的神经网络判别模型；

所述第六获得模块用于将所述被测者当前身体质量指数和所述被测者初始血氧饱和度输入到所述深度学习的神经网络判别模型，得到所述被测者的实际血氧饱和度。