CN110251115B - 基于体表视频的ppg信号提取方法、系统、设备及介质 - Google Patents
基于体表视频的ppg信号提取方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN110251115B CN110251115B CN201910537687.5A CN201910537687A CN110251115B CN 110251115 B CN110251115 B CN 110251115B CN 201910537687 A CN201910537687 A CN 201910537687A CN 110251115 B CN110251115 B CN 110251115B
- Authority
- CN
- China
- Prior art keywords
- video
- ppg signal
- red channel
- signal
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000001678 irradiating effect Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 9
- 210000000707 wrist Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 2
- 210000000088 lip Anatomy 0.000 claims description 2
- 239000008280 blood Substances 0.000 description 24
- 210000004369 blood Anatomy 0.000 description 24
- 239000000306 component Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 11
- 239000008103 glucose Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000003205 diastolic effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 201000001421 hyperglycemia Diseases 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本公开公开了基于体表视频的PPG信号提取方法、系统、设备及介质，包括：视频录制及视频可用性判断：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；PPG信号提取：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；PPG信号预处理：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
Description
技术领域
本公开涉及生物医学信号处理领域，特别是涉及基于体表视频的PPG(photoplethysmogram)信号提取方法、系统、设备及介质。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
随着生物特征技术的快速发展，人们对各种生物特征的提取、利用的要求不断提高，传统的PPG信号提取方式采用LED光源和探测器为基础，测量经过人体血管和组织反射、吸收后的衰减光，描记出某部位血容量变化，但是这种提取方式通常需要专用的设备，不利于PPG信号相关应用的推广。
PPG是一种用于测量身体某部位血容量变化的技术，该技术低成本但是作用不小，通常通过非侵入性地在皮肤表面进行测量完成。PPG装置由光源和检测器组成，光源用于发出照射皮肤组织的光，检测器用于接收光的反射。当光照透过皮肤组织然后再反射回检测器时会有一定的衰减，像肌肉、骨骼、静脉和其他连接组织等对光的吸收是基本不变的，但是血液不同，血液的流动导致对光的吸收也有所变化。吸收的光量根据循环系统中血液体积的波动而周期性地变化，导致PPG信号包含与呼吸、循环系统、血流和心跳相关的信息。处理PPG信号可以揭示有关人体血液动力学特征和特定血液成分的新信息，这对于人体健康监测具有重要意义。
目前，大多数PPG信号检测和提取都是基于专业的测量设备，例如建立连接到手指夹的单独的印制电路板(PCB)，来获取PPG信号。印制电路板是电子元器件电气连接的载体，由于它是采用电子印刷术制作的，故被称为“印制”电路板。虽然这种方法可以获得准确的PPG数据，但设备成本高，难以普及。
在此之前，已有少量关于PPG信号提取的专利和文献。
例如：发明专利CN107565920A(一种适用于可穿戴式PPG信号检测的跨阻放大器)利用模拟集成电路放大原始PPG信号检测血氧和血压，但该放大器只能单纯放大原始PPG信号，并不能直接提取PPG信号。
发明专利CN109069038A(压缩感测稀疏采样光电容积描记图(PPG)测量)是一种用于PPG测量的脉动式血氧计系统，其接口电路包括驱动器和模数转换器。驱动器耦合到发光二极管LED，并使LED发射光脉冲用于PPG测量；模数转换器耦合到光电检测器，由光电检测器检测LED光脉冲与受试者的光干扰，从而生成一系列数字测量数据。但该系统需要专门的电路设备以及计算机处理系统，不利于携带，硬件成本高。
已有文献提出了使用带有波长660纳米(nm)的红色发光二极管的手指探针传感器获取PPG信号，并使用275赫兹的采样率和16位分辨率计算机系统记录数据，然后以ASCII格式保存数据。该方案需要特殊的传感器，具有较高的硬件成本。
已有文献提出了基于微控制器的非侵入式连续性血压测量技术。该技术的传感器网络由发光二极管和光敏电阻组成，使用体积示波法获得PPG信号。通过将高强度发光二极管和光敏电阻置于相反的位置，可以提取到一个非常微弱的PPG信号，使用两级运算放大器放大信号。该技术需要的传感器较多，不利于日常监测。
发明内容
为了解决现有技术的不足，本公开提供了基于体表视频的PPG信号提取方法、系统、设备及介质；本发明利用穿戴式设备(如智能手机)配备的摄像头和照射光源，可以方便的采集体表视频，进而对视频进行处理可以提取出高质量的PPG信号。
第一方面，本公开提供了基于体表视频的PPG信号提取方法；
基于体表视频的PPG信号提取方法，包括：
视频录制及视频可用性判断：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；
PPG信号提取：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
PPG信号预处理：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
第二方面，本公开还提供了基于体表视频的PPG信号提取系统；
基于体表视频的PPG信号提取系统，包括：
视频录制及视频可用性判断模块，其被配置为：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；
PPG信号提取模块，其被配置为：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
PPG信号预处理，其被配置为：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
第三方面，本公开还提供了一种电子设备，包括：处理器、LED光源和摄像头；
所述处理器用于控制所述LED光源，所述LED光源用于在所述处理器的控制下发出预设频率的光源；
所述处理器用于控制所述摄像头，所述摄像头用于在所述处理器的控制下采集受试者身体某个部位的视频；
所述处理器还用于完成第一方面所述方法的步骤，实现对采集的视频进行PPG信号的提取和预处理，得到预处理后的PPG信号。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
1.该方法从人体某个部位(如指尖、耳唇、手腕等)体表视频的某个帧中提取出一个PPG信号的点，从视频的连续的帧中提取出连续的PPG信号。
2.本方法提出的基于视频的PPG信号提取方法，相对于现有的使用专业设备提取PPG信号的方法，更适合日常生理参数监护的使用情况。
3.本方法仅使用穿戴式设备的摄像头和LED光源来提取PPG信号，操作简单，不需要复杂设备，成本低，信号质量也能得到有效保障。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开实施例一的主流程图；
图2(a)是本公开实施例一红色通道对应的PPG信号；
图2(b)是本公开实施例一绿色通道对应的PPG信号；
图2(c)是本公开实施例一蓝色通道对应的PPG信号；
图3(a)-图3(c)是执行本公开实施例一步骤S3原始PPG信号预处理的结果图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于体表视频的PPG信号提取方法；
如图1所示，基于体表视频的PPG信号提取方法，包括：
S1：视频录制及视频可用性判断：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；
S2：PPG信号提取：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
S3：PPG信号预处理：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
作为一个或多个实施例，所述向人体某个部位发出照射光，是利用LED光源向人体某个部位发出照射光。
作为一个或多个实施例，所述人体某个部位，包括以下部位的一种或多种：指尖、耳唇、手腕或额头。
作为一个或多个实施例，录制设定时间，包括：20秒-60秒。
作为一个或多个实施例，录制过程中人体某个部位必须同时覆盖摄像头和LED光源。
作为一个或多个实施例，录制过程中受试者处于坐姿，光源发射的光线与被拍摄部位所在平面垂直，被拍摄部位与摄像头表面接触。
随着表皮毛细血管血量的变化，录制的视频中也显示周期性的亮暗变化。
作为一个或多个实施例，通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；具体步骤包括：
分析视频中每一帧图像红色通道像素的平均值Ave(R)、绿色通道像素的平均值Ave(G)和蓝色通道像素的平均值Ave(B)；
计算红色通道像素对应的标准偏差σR；
如果Ave(R)≥240、Ave(G)<1、Ave(B)<75且σR≤20；则表示视频能用于PPG信号提取；否则表示视频不能用于PPG信号提取，删除错误录制的视频。
应理解的，将可用视频的每一帧图像分离出红色、绿色和蓝色通道的有益效果是：可以提取出更加精确的PPG信号。
应理解的，错误录制的视频不能够提取出PPG信号，因此直接删除不必进行后续的信号提取，减少了计算量。
作为一个或多个实施例，对红色通道进行计算，提取出红色通道对应的PPG信号；具体步骤包括：单个帧中每个通道对应的PPG信号值等于大于设定阈值的像素强度之和。
作为一个或多个实施例，对红色通道进行计算，提取出红色通道对应的PPG信号；具体步骤包括：
Threshold＝1.01×(intensitymax-intensitymin)； (1)
其中，PPGsignal[i]表示第i帧红色通道的PPG信号值；inensity表示像素强度；Threshold表示当前帧中1.01倍的像素强度的最大值减最小值，即为每一帧的阈值；intensitymax表示当前帧中像素强度的最大值；intensitymin表示当前帧中像素强度的最小值。
帧中像素强度最大值与最小值之差可以完整的包含血液流动的全部信息，保证了提取信号的准确性。
每一帧计算出一个PPG信号值，将视频中所有帧对应的PPG信号值连接起来即得到连续的PPG信号。
阈值的选择由大量的实验之后被最终确定。随着阈值的变低，输出变得更平滑，信号最终变为一条水平直线。如果阈值逐渐升高，信号将逐渐显示一些峰值，这极大地影响了信号的质量。在充分考虑波形精度的前提下，我们提出的阈值定义为像素强度范围的1.01倍。
作为一个或多个实施例，将提取的正确的PPG信号进行翻转得到正向的信号，中的翻转是指：
将得到的PPG信号用二维坐标系的图像表示出来，对二维坐标系的图像进行镜像翻转。
由于闪光灯发出的光经过体表组织下的组织、骨骼和血管反射，并由摄像头捕捉到，因此从该反射模式的视频中获得的原始信号呈镜像模式，所以需要经过翻转以得到正常的PPG信号。
作为一个或多个实施例，利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号的好处是：反射模式中的PPG信号易受噪声和运动伪影的影响，如环境光、温度、呼吸和身体抖动等，因此使用低通滤波器对翻转的信号进行去噪处理以消除高于16Hz的频率成分。信号过滤后不会出现明显的失真，信号质量较好。
基于体表视频的PPG信号提取方法，还包括：
S4：对待监测的PPG信号进行滤波处理，去除待监测的PPG信号的高频成分；
S5：将滤波处理后的待监测的PPG信号，去除基线漂移；对去除基线漂移后的待监测的PPG信号进行分段处理，分成若干个单周期的待监测PPG信号；
S6：对每个单周期的待监测PPG信号进行特征提取，提取出若干个信号特征；
S7：将所提取出的所有信号特征输入到预先训练好的分类器中，进行分类识别，识别出待监测的PPG信号所对应的血糖浓度标签。
作为一个或多个实施例，所述对待监测的PPG信号进行滤波处理，去除待监测的PPG信号的高频成分；具体步骤包括：
使用低通滤波器来去除待监测的PPG信号的高频成分。
应理解的，PPG信号易受噪声和运动伪影的影响，如环境光、温度、呼吸和身体抖动等，因此使用低通滤波器进行去噪处理以消除高频成分。信号过滤后不会出现明显的失真，信号质量较好。
作为一个或多个实施例，所述将滤波处理后的待监测的PPG信号，去除基线漂移；具体步骤包括：
将滤波处理后的待监测的PPG信号，基于拟合的滑动窗口(Fitting basedSliding Window,FSW)算法去除基线漂移。
进一步地，所述将滤波处理后的待监测的PPG信号，基于拟合的滑动窗口(Fittingbased Sliding Window,FSW)算法去除基线漂移；具体步骤包括：
S51：输入滤波处理后的待监测的PPG信号signal；对整个信号段应用快速傅里叶变换得到待监测的PPG信号signal的主频f；
S52：建立宽度size为
的窗口，使得半个周期内至少存在一个波谷；
S53：设定滑动步长为窗口大小，滑动所述窗口，并将所述窗口中的信号振幅最小值作为当前窗口的波谷，波谷的纵坐标记为y，波谷对应的横坐标记为x；记录所有波谷的横坐标和纵坐标；最终得到的所有波谷；
S54：利用三次样条函数将所有波谷进行基线拟合，并将拟合出的值存放于数组baseline中；
S55：从signal中分离出符合baseline-signal>0的点，从所分离出的点中找到的最小幅值m，然后用m替换当前基线中的y；
S56：从当前信号值开始，重复执行S52至S55，并更新baseline中相应的y值；
S57：用信号signal减去拟合出的基线的值baseline，得到去除基线漂移后的信号。
作为一个或多个实施例，所述对去除基线漂移后的待监测的PPG信号进行分段处理，分成若干个单周期的待监测PPG信号；具体步骤包括：
根据横坐标x将PPG信号分段，形成单周期PPG信号ni输出。
作为一个或多个实施例，对每个单周期的待监测PPG信号进行特征提取，提取出若干个信号特征；具体步骤包括：
采用高斯拟合算法对每个单周期的待监测PPG信号从时域和频域两个方面进行特征提取，提取出若干个信号特征。
所述若干个特征，包括：信号最大幅度、信号舒张期的最大幅值、最大幅值对应的时间、舒张期峰值对应的时间、第一正高斯曲线的半宽度、第二正高斯曲线的半宽度、降中峡对应的时间、从开始到峰值的单个时期的上升率、从峰值到结束的单个时期的下降率、从峰值到降中峡所需的总时间、从降中峡到舒张期峰值所需的总时间、从舒张期峰值到结束所需的总时间、单个周期的平均幅度值、幅度的标准偏差、从开始到峰值的平均幅度、从峰值到降中峡的平均幅度、从降中峡到舒张峰的平均幅度、从舒张期峰值到结束的平均幅度、从开始到峰值的平均斜率、从峰值到降中峡的平均斜率、从降中峡到舒张峰的平均斜率或从舒张期峰值到结束的平均斜率。
所述第一正高斯曲线为通过第一正高斯函数获得的曲线；所述第二正高斯曲线为通过第二正高斯函数获得的曲线。
正高斯函数的定义如下：
其中,Hk表示峰值幅度，nk表示峰值时间位置，Wk表示每个高斯曲线的半宽度，当k＝1时，f1 *(n)为第一正高斯函数；当k＝2时，
为第二正高斯函数。
作为一个或多个实施例，分类器，包括以下分类器的一种或多种：
高斯支持向量机GSVM(Gaussian Support vector machine)、K近邻(k-NearestNeighbor)、决策树(Decision Tree)或支持向量机(Support vector machine)。
作为一个或多个实施例，预先训练好的分类器的训练阶段所使用的训练集获取方式为：
采集已知血糖标签的PPG信号；所述血糖标签，包括：正常血糖、偏高血糖和预警值血糖；
所述正常血糖是指3.9–6.1/70-110(mmol/l)/(mg/dl)；
所述偏高血糖是指6.2–7.8/111-140(mmol/l)/(mg/dl)；
所述预警值血糖是指7.9–10/141-180(mmol/l)/(mg/dl)。
对已知血糖标签的PPG信号进行滤波处理，去除已知血糖标签的PPG信号的高频成分；
将滤波处理后的已知血糖标签的PPG信号，去除基线漂移；对去除基线漂移后的已知血糖标签的PPG信号进行分段处理，分成若干个单周期的已知血糖标签的PPG信号；
对每个单周期的已知血糖标签的PPG信号进行特征提取，提取出若干个已知血糖标签的信号特征；所有的已知血糖标签的信号特征集合，即为训练集。
作为一个或多个实施例，预先训练好的分类器的训练过程包括：
将训练集中已知血糖标签的信号特征，输入到分类器中，对分类器进行训练，当分类器损失函数小于设定阈值时，停止训练，得到训练好的分类器。
从经验得知，从左手食指采集视频获得的PPG信号的质量最佳，因此可以利用穿戴式设备(如智能手机)上的摄像头获取左手食指视频。下面结合附图，以左手食指处作为视频采集源，以智能手机作为视频采集和未来可能的数据处理设备，对本发明的具体实施方式做进一步说明。
如图1所示，步骤1：手指视频录制及视频可用性评估。
步骤(1-1)：手指视频录制。参与者被要求静坐五分钟调整呼吸和坐姿以减少噪声的影响，研究人员记录他们的身高、体重、年龄和病史情况等，所有的测量在一个安静的温控在24±3℃且无强光照射的室内进行。使用智能手机的摄像头和LED光源记录左手食指60秒视频。记录阶段指尖需同时覆盖摄像头和LED光源。随着心动周期，手指内静脉血管血量变化，吸收的光变化，采集到的视频也出现明显的周期性亮暗改变。
如果穿戴式设备自身具有数据处理能力，可以直接在本地处理，否则录制的视频可以通过蓝牙传到电脑上或者通过通信网络传输到云端处理。
步骤(1-2)：视频可用性评估。录制的手指处视频是否能用于PPG信号提取取决于手指皮肤接触摄像头压力大小和照明条件的影响。因此，通过监测视频每帧中每个颜色通道的饱和度来判断视频的可用性。经过计算，录制的该视频中的所有帧都满足Ave(R)≥240，Ave(G)<1，Ave(B)<75，σR≤20，符合视频可用的评估条件，因此可用于下一步的处理和分析。
步骤(2)：PPG信号提取。
步骤(2-1)：录制的原始视频中含有较多的冗余信息，为了提取出更加精确的PPG信号，从可用视频的每一帧中分离出R、G、B通道；
步骤(2-2)：为每个帧设置阈值，随着阈值的变低，输出变得更平滑，信号最终变为一条水平直线。如果阈值逐渐升高，信号将逐渐显示一些峰值，这极大地影响了信号的质量。在充分考虑波形精度的前提下，通过大量的实验验证，我们提出的阈值定义为像素强度范围的1.01倍。
计算第i帧通道的PPG信号值，即大于指定阈值的像素强度之和。通过绘制每帧的计算总和来获得PPG信号。
Threshold＝1.01×(intensitymax-intensitymin)
为了找到在进行简单计算之后就能够给出PPG信号的通道，从三个通道(红色，绿色，蓝色)中分别提取出的部分信号。
所提取出的原始信号如图3(a)所示，这里仅取前15秒钟的信号来作分析。从图2(a)、图2(b)和图2(c)中可以很明显地看到原始信号中的高频成分以及存在的基线漂移。
步骤(3)：原始PPG信号预处理。
步骤(3-1)：翻转原始的PPG信号。由于闪光灯发出的光经过体表组织下的组织、骨骼和血管反射，并由摄像头捕捉到，因此从该反射模式的视频中获得的原始信号呈镜像模式，所以需要经过翻转以得到正常的PPG信号，如图3(b)所示。
步骤(3-2)：对PPG信号进行滤波。反射模式中的PPG信号易受噪声和运动伪影的影响，如环境光、温度、呼吸和身体抖动等，因此使用6阶巴特沃斯滤波器对翻转的信号进行去噪处理以消除高于16Hz的频率成分。如图3(c)，信号过滤后不会出现明显的失真，信号质量较好。
综上所述，本发明的方法对体表视频提取PPG信号都与事实相符，从而验证了本发明方法的正确性和有效性。
表1
| ave(R)≥240 |
| σ<sub>R</sub>≤20 |
| ave(G)<1 |
| ave(B)<75 |
实施例二，本实施例还提供了基于体表视频的PPG信号提取系统；
基于体表视频的PPG信号提取系统，包括：
视频录制及视频可用性判断模块，其被配置为：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；
PPG信号提取模块，其被配置为：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
PPG信号预处理，其被配置为：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
实施例三，本实施例还提供了一种电子设备，包括：处理器、LED光源和摄像头；
所述处理器用于控制所述LED光源，所述LED光源用于在所述处理器的控制下发出预设频率的光源；
所述处理器用于控制所述摄像头，所述摄像头用于在所述处理器的控制下采集受试者身体某个部位的视频；
所述处理器还用于完成实施例一种所述方法的步骤，实现对采集的视频进行PPG信号的提取和预处理，得到预处理后的PPG信号。为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.基于体表视频的PPG信号提取方法，其特征是，包括：
视频录制及视频可用性判断：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；
通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；具体步骤包括：
分析视频中每一帧图像红色通道像素的平均值Ave(R)、绿色通道像素的平均值Ave(G)和蓝色通道像素的平均值Ave(B)；
计算红色通道像素对应的标准偏差σR；
如果Ave(R)≥240、Ave(G)<1、Ave(B)<75且σR≤20；则表示视频能用于PPG信号提取；否则表示视频不能用于PPG信号提取，删除错误录制的视频；
PPG信号提取：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
PPG信号预处理：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
2.如权利要求1所述的方法，其特征是，所述人体某个部位，包括以下部位的一种或多种：指尖、耳唇、手腕或额头；所述向人体某个部位发出照射光，是利用LED光源向人体某个部位发出照射光；录制过程中受试者处于坐姿，光源发射的光线与被拍摄部位所在平面垂直，被拍摄部位与摄像头表面接触；录制过程中人体某个部位必须同时覆盖摄像头和LED光源。
3.如权利要求1所述的方法，其特征是，对红色通道进行计算，提取出红色通道对应的PPG信号；具体步骤包括：单个帧中每个通道对应的PPG信号值等于大于设定阈值的像素强度之和。
4.如权利要求1所述的方法，其特征是，对红色通道进行计算，提取出红色通道对应的PPG信号；具体步骤包括：
Threshold＝1.01×(intensitymax-intensitymin)； (1)
其中，PPGsignal[i]表示第i帧红色通道的PPG信号值；inensity表示像素强度；Threshold表示当前帧中1.01倍的像素强度的最大值减最小值，即为每一帧的阈值；intensitymax表示当前帧中像素强度的最大值；intensitymin表示当前帧中像素强度的最小值；
每一帧计算出一个PPG信号值，将视频中所有帧对应的PPG信号值连接起来即得到连续的PPG信号。
5.如权利要求1所述的方法，其特征是，将提取的正确的PPG信号进行翻转得到正向的信号中的翻转是指：
将得到的PPG信号用二维坐标系的图像表示出来，对二维坐标系的图像进行镜像翻转。
6.基于体表视频的PPG信号提取系统，其特征是，包括：
视频录制及视频可用性判断模块，其被配置为：向人体某个部位发出照射光，利用摄像头录制人体某个部位的体表视频，录制设定时间；
通过分析视频中每一帧的色彩饱和度来判断当前拍摄视频的可用性，从而剔除错误录制的视频；具体步骤包括：
分析视频中每一帧图像红色通道像素的平均值Ave(R)、绿色通道像素的平均值Ave(G)和蓝色通道像素的平均值Ave(B)；
计算红色通道像素对应的标准偏差σR；
如果Ave(R)≥240、Ave(G)<1、Ave(B)<75且σR≤20；则表示视频能用于PPG信号提取；否则表示视频不能用于PPG信号提取，删除错误录制的视频；
PPG信号提取模块，其被配置为：将可用视频的每一帧图像分离出红色通道；对红色通道进行计算，提取出红色通道对应的PPG信号；
PPG信号预处理，其被配置为：将提取的正确的PPG信号进行翻转得到正向的信号，并利用低通滤波器来去除信号的高频成分，得到预处理后的PPG信号。
7.一种电子设备，其特征是，包括：处理器、LED光源和摄像头；
所述处理器用于控制所述LED光源，所述LED光源用于在所述处理器的控制下发出预设频率的光源；
所述处理器用于控制所述摄像头，所述摄像头用于在所述处理器的控制下采集受试者身体某个部位的视频；
所述处理器还用于完成权利要求1-5任一项方法所述的步骤，实现对采集的视频进行PPG信号的提取和预处理，得到预处理后的PPG信号。
8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910537687.5A CN110251115B (zh) | 2019-06-20 | 2019-06-20 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910537687.5A CN110251115B (zh) | 2019-06-20 | 2019-06-20 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110251115A CN110251115A (zh) | 2019-09-20 |
| CN110251115B true CN110251115B (zh) | 2022-02-18 |
Family
ID=67919969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910537687.5A Active CN110251115B (zh) | 2019-06-20 | 2019-06-20 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110251115B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111297347B (zh) * | 2020-02-21 | 2022-07-29 | 乐普（北京）医疗器械股份有限公司 | 一种生成光体积变化描记图法信号的方法和装置 |
| CN111297339B (zh) * | 2020-02-21 | 2022-07-29 | 乐普（北京）医疗器械股份有限公司 | 一种光体积变化描记图法信号的生成方法和装置 |
| CN111759292B (zh) * | 2020-06-24 | 2021-06-22 | 中国科学院西安光学精密机械研究所 | 一种人体心率、呼吸及血氧综合测量装置与方法 |
| CN112070067B (zh) * | 2020-10-12 | 2023-11-21 | 乐普（北京）医疗器械股份有限公司 | 一种光体积描计信号的散点图分类方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105193423A (zh) * | 2015-09-25 | 2015-12-30 | 北京大学深圳研究生院 | 无创血糖检测方法、装置及系统 |
| CN105433917A (zh) * | 2016-01-29 | 2016-03-30 | 北京心量科技有限公司 | 心跳间隔获得方法及装置 |
| CN106175742A (zh) * | 2016-07-19 | 2016-12-07 | 北京心量科技有限公司 | 一种心脏体征获取方法以及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10667723B2 (en) * | 2016-02-19 | 2020-06-02 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| EP3453321B1 (en) * | 2017-09-06 | 2024-05-22 | Tata Consultancy Services Limited | Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing |
-
2019
- 2019-06-20 CN CN201910537687.5A patent/CN110251115B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105193423A (zh) * | 2015-09-25 | 2015-12-30 | 北京大学深圳研究生院 | 无创血糖检测方法、装置及系统 |
| CN105433917A (zh) * | 2016-01-29 | 2016-03-30 | 北京心量科技有限公司 | 心跳间隔获得方法及装置 |
| CN106175742A (zh) * | 2016-07-19 | 2016-12-07 | 北京心量科技有限公司 | 一种心脏体征获取方法以及装置 |
Non-Patent Citations (2)
| Title |
|---|
| A Robust Heart Rate Detection using Smart-phone Video;Arpan Pal 等;《MobileHealth’13》;20131231;第43-48页 * |
| 基于STM32的多功能智能健康手表设计;张自达;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190115;第32-35页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110251115A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110251115B (zh) | 基于体表视频的ppg信号提取方法、系统、设备及介质 | |
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| US10004410B2 (en) | System and methods for measuring physiological parameters | |
| US11357445B2 (en) | Systems and methods for determining sleep patterns and circadian rhythms | |
| EP2967376B1 (en) | Device and method for determining vital signs of a subject | |
| CN107157492B (zh) | 一种嵌入式人体生理信息无创检测系统及数据处理方法 | |
| EP3414738B1 (en) | Device, system and method for skin detection | |
| US10398327B2 (en) | Non-contact assessment of cardiovascular function using a multi-camera array | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及系统 | |
| CN111275018B (zh) | 一种基于环形感兴趣区域加权的非接触式心率信号提取方法 | |
| US20240081705A1 (en) | Non-contact fatigue detection system and method based on rppg | |
| Wang et al. | Quality metric for camera-based pulse rate monitoring in fitness exercise | |
| Zhao et al. | Visual heart rate estimation and negative feedback control for fitness exercise | |
| Yin et al. | Heart rate estimation based on face video under unstable illumination | |
| CN110755090A (zh) | 一种基于网络摄像头的人体血氧饱和度测量方法 | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| KR101786014B1 (ko) | 손목형 광전용적맥파 기반 산소포화도 측정시스템 및 방법 | |
| Sahin et al. | Non-contact heart rate monitoring from face video utilizing color intensity | |
| US20220369943A1 (en) | Method and system for evaluating the quality of ratio of ratios values | |
| Liu et al. | Adaptive-weight network for imaging photoplethysmography signal extraction and heart rate estimation | |
| Anusree et al. | A noncontact vital sign monitoring algorithm using a camera | |
| Panigrahi et al. | Video-based HR measurement using adaptive facial regions with multiple color spaces | |
| CN114271800B (zh) | 一种办公环境下的非侵扰式连续血压监测方法及应用 | |
| CN113397519B (zh) | 心血管健康状态的检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |