CN112949349B - 基于人脸视频实时显示脉象波形的方法和系统 - Google Patents

基于人脸视频实时显示脉象波形的方法和系统 Download PDF

Info

Publication number
CN112949349B
CN112949349B CN201911249939.0A CN201911249939A CN112949349B CN 112949349 B CN112949349 B CN 112949349B CN 201911249939 A CN201911249939 A CN 201911249939A CN 112949349 B CN112949349 B CN 112949349B
Authority
CN
China
Prior art keywords
pulse
waveform
video
pulse wave
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911249939.0A
Other languages
English (en)
Other versions
CN112949349A (zh
Inventor
蒙文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanning Lianxian Health Technology Co ltd
Original Assignee
Nanning Lianxian Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanning Lianxian Health Technology Co ltd filed Critical Nanning Lianxian Health Technology Co ltd
Priority to CN201911249939.0A priority Critical patent/CN112949349B/zh
Publication of CN112949349A publication Critical patent/CN112949349A/zh
Application granted granted Critical
Publication of CN112949349B publication Critical patent/CN112949349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开一种基于人脸视频实时显示脉象波形的方法和系统，包括以下步骤：（1）采集人脸视频及标准脉象；（2）对采集的人脸视频图像进行检测与区域追踪；（3）进行颜色空间转换；（4）欧拉视频放大处理；（5）RGB通道分离生成初始脉搏波；（6）对初始脉搏波信号进行去噪处理；（7）脉搏波希尔伯特‑黄转换得到希尔伯特谱；（8）构建条件生成对抗网络；（9）训练条件生成对抗网络；（10）重构脉象波形。本发明只需要采集人脸视频就可以直观地显示脉象波形，使用便捷，适用性广。

Description

基于人脸视频实时显示脉象波形的方法和系统
技术领域
本发明涉及计算机视觉技术领域，具体指一种基于人脸视频实时显示脉象波形的方法和系统。
背景技术
人体动脉遍布全身，而脉搏波是反映机体生理状态或病理状态的一种信息窗口。人体是个统一的整体，各组织、器官、系统的功能状态会直接或间接影响心血管系统，而脉搏波是心脏的张缩形成的脉动流所致的压力脉动和血液流量共同作用形成，其携带着机体全身各部分的信息向全身各处传播。通过采集脉搏波，分析其携带的信息特征，即可对机体整体状态做出判断。脉搏波是传统中医脉诊的重要载体，传统中医通过利用手指感触患者腕部实现脉象信息的获取，随着技术的发展，现在有利用压力传感器接触手腕的方法获取脉搏波，进而分析脉象特征，因其需要接触人体，操作复杂，受众面窄。
随着人工智能技术在计算机视觉领域特别是人脸识别领域的成功运用，为人们通过计算机视觉技术探索生命科学提供了榜样。计算机视觉通过计算机和摄像头等工具，通过图像分割、视频流处理等技术，能对医学领域中的特定问题进行数据建模和技术创新。
现有技术中通过计算机摄像头采集人脸视频图像并处理后，可以将处理后得到的脉象信号与标准脉象数据库对比进行对抗训练，从而得到实时检测的脉象波形，但现有技术对采集的人脸视频图像处理过程不够科学合理，导致最终输出的脉搏波形不能精确地反映检测者真实脉搏信号，影响最终判断的准确性。
发明内容
本发明针对以上问题，提出了一种基于人脸视频实时显示中医脉象波形的方法和系统，该方法和系统只需采用普通的摄像头获取人脸视频，通过视频放大技术对人脸脉搏的运动信息进行获取和放大，然后通过与标准脉象进行生成对抗网络训练处理，可实时生成准确度高且可视化效果好的中医脉象波形。
本发明的技术方案如下：
基于人脸视频实时显示脉象波形的方法，包括以下步骤：
(1)采集人脸视频及标准脉象；
(2)对采集的人脸视频图像进行检测与区域追踪；
(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；
(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；
(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；
(6)对初始脉搏波信号进行去噪处理；
(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；所述的IMF是Intrinsic Mode Function的简称，叫固态模式函数，IMF分量即将混合模式的信号分解为多个单一模式的信号；比如混合信号包含1Hz，3Hz，5Hz等三种频率的信号混合，那么1Hz，3Hz，5Hz就是IMF分量之一；
(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；辨别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；
(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；
(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。
步骤(4)所述的欧拉视频放大处理包括以下步骤：
a.空间分解：通过图像金字塔来实现，图像金字塔每一层图像均由底层图像进行采样得到；
b.时域滤波：利用时域带通滤波器对视频信号进行滤波，得到感兴趣的脉搏搏动的变化信号；
c.放大处理：经过带通滤波输出的变化信号进行放大，得到颜色放大的目标信号；
d.视频重构：合成不同分辨率下放大后的变化信号，并与原图像叠加得到最后的输出结果。
步骤(7)所述总体经验模态分解的过程如下：去噪后的脉搏波信号数据中加入高斯白噪声，然后分解带高斯白噪声的时间序列，得到各IMF分量，每次加入不同的高斯白噪声，然后各IMF分量分别取均值，得到最终的IMF分量。
本发明还包括基于人脸视频实时显示脉象波形的系统，包括人脸视频采集模块、视频放大模块、脉搏波特征构建模块、标准脉象数据集、条件生成对抗网络模块、脉象波形重构模块，所述的人脸视频采集模块与视频放大模块连接，视频放大模块与脉搏波特征构建模块连接，所述条件生成对抗网络模块分别与脉搏波特征构建模块、标准脉象数据集、脉象波形重构模块连接；所述生成对抗网络模块接收来自脉搏波特征构建模块输出的数据与标准脉象数据集的数据，并形成对抗训练，得到优化的对抗网络参数；脉象波形重构模块接收优化的对抗网络参数对脉象波形进行重构转换，完成脉象波形的实时显示。
所述的人脸视频采集模块采用智能手机摄像头或其他摄像头自动检测定位人脸区域并实时录制小段视频，传输至人脸视频放大模块。
所述的视频放大模块接收人脸视频采集模块录制的视频并依次进行颜色空间转换、欧拉视频放大、RGB通道分离、信号滤波去噪，直至生成初始脉搏波波形，然后送入脉搏波特征构建模块。
所述的脉搏波特征构建模块对生成的初始脉搏波波形进行希尔伯特-黄变换，得到对应脉率的希尔伯特谱，该希尔伯特谱作为生成对抗网络生成模型的输入数据，与标准脉象波形组成成对数据输入生成对抗网络判别模块进行模型训练。
本发明的有益效果在于：
1.本发明提出的方法和系统利用智能手机摄像头或其他摄像方式均可实现数据采集，无须增加专用设备，使用简便，用户使用成本低，且脉搏数据采集部位是人脸，非人体隐藏部位，易于操作。
2.本发在进行生成对抗网络训练时，引入希尔伯特谱，将脉搏波时域信号变换为同时含有频率、幅度和能量的时域信息信号，信号特征更加明显，从而能使辨别模型更好地识别到人脸视频采集产生的脉搏信号，避免进行对抗训练时混入随机噪声，经对抗训练后得到的脉搏波形能更准确地表达被测者的真实脉搏状态。
3.本发明利用生成对抗网络的方法学习其他部位的脉搏信号特征用以增强人脸脉搏的波形显示效果，同时对采集的人脸脉搏波信号进行去噪处理，使本有大量噪声的人脸脉搏波易于识别，直观且准确地显示脉象波形。
4.本发明所述的方法经过对人脸视频图像进行检测与区域追踪、欧拉视频放大处理、脉搏波希尔伯特-黄转换产生希尔伯特谱这些步骤，对视频图像的处理过程更科学合理，使最终输出的脉搏波形更精确地反映被测者的真实脉搏状态。
附图说明
图1为本发明所述基于人脸视频实时显示脉象波形的方法流程图；
图2为本发明所述对原始脉搏波信号进行小波分解的分解过程示意图；
图3本发明所述构建生成对抗网络流程图；
图4为本发明所述基于人脸视频实时显示脉象波形的系统示意图。
具体实施方式
下面结合附图对本发明作进一步的说明。
参照图1，本发明提供一种基于人脸视频实时显示脉象波形的方法，包括以下步骤：
(1)采集人脸视频及标准脉象；使用智能手机自有的摄像头或者其他成像设备采集被测者的人脸视频1分钟，采集时以自然光为光源，尽量保证人脸区域光照度充足，同时被测者保持自然表情，避免较大的脸部移动动作；为了实现人脸脉搏生成对抗网络的训练，在人脸视频采集的同时，输入标准脉象数据；标准脉象波形的产生，可以是由标准中医师把脉后由算法生成，或者由标定的标准脉诊仪采集的脉搏波形；
(2)对采集的人脸视频图像进行检测与区域追踪；采用AdaBoost算法检测第一帧的人脸区域，然后采用Mean-shift跟踪和Kalman滤波相结合的方法进行后续特征区域的跟踪；
所述的Mean-shift即均值漂移算法，是一种高效的无参数密度梯度估计方法，通过迭代运算来找到目标位置，利用人脸的颜色、纹理等特征进行人脸区域的跟踪；
(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；由于脉搏波特征变化主要关注血液容积的变换导致特征区域反射光亮度变化，因此使用与人眼视觉更符合的HSV空间进行放大处理，其中H代表色调，S代表饱和度，V代表亮度，设RGB颜色空间坐标为(r,g,b),r,g,b∈[0,1],max＝max(r,g,b),min＝min(r,g,b),从RGB转换到HSV的公式如下：
Figure BDA0002308743420000051
Figure BDA0002308743420000052
v＝max；
(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；
所述的欧拉视频放大处理包括以下步骤：
a.空间分解：不同图像分辨率下展现不同的图像特征，空间分解过程通过图像金字塔来实现，图像金字塔每一层图像均由底层图像进行采样得到，层数越深，采样率越低，图像分辨率也越低，图像分辨率不同，信噪比也不一样，具体的分解步骤如下：
a1.输入原始图像为G0；
a2.对G0进行高斯滤波并对平滑后的图像去除偶数行列得到上层图像G1；
a3.对G1进行如步骤a2的操作得到G2；
a4.以此类图得到第3,4,...,N-1,N层图像，用Gk代表高斯金字塔的第k层图像，得到如下公式：
Figure BDA0002308743420000053
其中，(1≤k≤N,0≤i≤Rk,0≤j≤Gk)，Rk表示高斯金字塔第k层的行数，Gk代表高斯金字塔第k层的列数，W(m,n)为二维的高斯窗口函数，m,n取值一般为3×3或5×5；
b.时域滤波：利用时域带通滤波器对视频信号I(x,t)进行滤波，得到感兴趣的脉搏搏动的变化信号；滤波后的信号为B(x,t)，变化信号δ(t)，对应有如下公式：
Figure BDA0002308743420000061
c.放大处理：经过带通滤波输出的变化信号进行放大ɑ倍即
Figure BDA0002308743420000062
得到颜色放大的目标信号如下：
Figure BDA0002308743420000063
其中设I(x,t)代表颜色变化量，f(x)为I(x,t)初始强度；
d.视频重构：合成不同分辨率下放大后的变化信号，并与原图像叠加得到最后的输出结果；
(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列；
对于第t帧图像，特征区域为M×N，利用叠加平均法分别对特征区域内所有像素点的三个通道分量Xr,Xg,Xb分别取平均值，每帧图像不同通道的像素平均值为：
Figure BDA0002308743420000064
然后将视频中同一个通道的像素值组成时间序列，即每个视频对应了三个不同通道的时间序列为Xr(t),Xg(t),Xb(t)，这样即可生成初始脉搏波；
(6)对初始脉搏波信号进行去噪处理；为了提高脉搏波信号的信噪比，采用二进制小波去噪算法对初始脉搏波信号进行多尺度分析，获取去噪后的脉搏信号；所述二进制去噪算法，对原始脉搏波信号进行小波分解，分解过程如图2所示；
(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，总体经验模态分解的过程如下：去噪后的脉搏波信号数据x(t)中加入高斯白噪声，然后分解带高斯白噪声的时间序列，得到各IMF分量，每次加入不同的高斯白噪声，然后各IMF分量分别取均值，得到最终的IMF分量；脉搏波信号x(t)分解后可表示n个IMF分量Ci和一个残余分量rn的和，即：
Figure BDA0002308743420000065
然后将分解后的每个固态模式函数即IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱，信号表示如下：
Figure BDA0002308743420000071
其中其中aj(t)为瞬时幅值，ωj(t)为瞬时频率；
(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；判别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假，损失函数用如下公式来表示：
Figure BDA0002308743420000072
χ表示标准脉象波形，y表示对应人脸脉搏波生成的希尔伯特谱，作为对抗网络的条件输入，D(χ|y)表示χ在y下的输入进行判别，其判别结果期望接近于1，所以损失函数为log(D(χ|y))，而z是随机的输入，G(z|y)表示在y条件下生成的样本，对于生成的样本，判别模型的判别结果期望D(G(z))接近于0，所以损失函数为log(1-D(G(z|y)))；如图3所示为构建生成对抗网络流程图；
(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；
(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。
参照图4，本发明还包括基于人脸视频实时显示脉象波形的系统，包括人脸视频采集模块、视频放大模块、脉搏波特征构建模块、标准脉象数据集、条件生成对抗网络模块、脉象波形重构模块，所述的人脸视频采集模块与视频放大模块连接，视频放大模块与脉搏波特征构建模块连接，所述条件生成对抗网络模块分别与脉搏波特征构建模块、标准脉象数据集、脉象波形重构模块连接；所述生成对抗网络模块接收来自脉搏波特征构建模块输出的数据与标准脉象数据集的数据，并形成对抗训练，得到优化的对抗网络参数；脉象波形重构模块接收优化的对抗网络参数对脉象波形进行重构转换，完成脉象波形的实时显示。
所述的人脸视频采集模块采用智能手机摄像头或其他摄像头自动检测定位人脸区域并实时录制小段视频，传输至人脸视频放大模块。
所述的视频放大模块接收人脸视频采集模块录制的视频并依次进行颜色空间转换、欧拉视频放大、RGB通道分离、信号滤波去噪，直至生成初始脉搏波波形，然后送入脉搏波特征构建模块。
所述的脉搏波特征构建模块对生成的初始脉搏波波形进行希尔伯特-黄变换，得到对应脉率的希尔伯特谱，该希尔伯特谱作为生成对抗网络生成模型的输入数据，与标准脉象波形组成成对数据输入生成对抗网络判别模块进行模型训练。
本发明所述的方法，在进行生成对抗网络训练时，引入希尔伯特谱，因为人脸视频产生的脉搏波时域信号是个非线性非平稳的信号，如果直接对脉搏波时域信号进行对抗网络训练，增加了训练的复杂度，将脉搏波时域信号变换为同时含有频率、幅度和能量的时域信息信号，信号特征更加明显，从而能使辨别模型更好地识别到人脸视频采集产生的脉搏信号，避免进行对抗训练时混入随机噪声，经对抗训练后得到的脉搏波形能更准确地表达被测者的真实脉搏状态。
本发明的脉象检测部位是人脸，而人脸部位还可以进行面诊、舌诊、问诊等中医诊断行为，也就是说在同一部位可以进行多种诊断，这样在简化了诊断范围的情况下，却能获取多种诊断结果，使诊断结果更加全面。

Claims (7)

1.基于人脸视频实时显示脉象波形的方法，其特征在于，包括以下步骤：
(1)采集人脸视频及标准脉象；
(2)对采集的人脸视频图像进行检测与区域追踪；
(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；
(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；
(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；
(6)对初始脉搏波信号进行去噪处理；
(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；
(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；判别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；
(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；
(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。
2.如权利要求1所述的基于人脸视频实时显示脉象波形的方法，其特征在于，步骤(4)所述的欧拉视频放大处理包括以下步骤：
a.空间分解：通过图像金字塔来实现，图像金字塔每一层图像均由底层图像进行采样得到；
b.时域滤波：利用时域带通滤波器对视频信号进行滤波，得到感兴趣的脉搏搏动的变化信号；
c.放大处理：经过带通滤波输出的变化信号进行放大，得到颜色放大的目标信号；
d.视频重构：合成不同分辨率下放大后的变化信号，并与原图像叠加得到最后的输出结果。
3.如权利要求1所述的基于人脸视频实时显示脉象波形的方法，其特征在于，步骤(7)所述总体经验模态分解的过程如下：去噪后的脉搏波信号数据中加入高斯白噪声，然后分解带高斯白噪声的时间序列，得到各IMF分量，每次加入不同的高斯白噪声，然后各IMF分量分别取均值，得到最终的IMF分量。
4.基于人脸视频实时显示脉象波形的系统，其特征在于，包括人脸视频采集模块、视频放大模块、脉搏波特征构建模块、标准脉象数据集、条件生成对抗网络模块、脉象波形重构模块，所述的人脸视频采集模块与视频放大模块连接，视频放大模块与脉搏波特征构建模块连接，所述条件生成对抗网络模块分别与脉搏波特征构建模块、标准脉象数据集、脉象波形重构模块连接；所述生成对抗网络模块接收来自脉搏波特征构建模块输出的数据与标准脉象数据集的数据，并形成对抗训练，得到优化的对抗网络参数；脉象波形重构模块接收优化的对抗网络参数对脉象波形进行重构转换，完成脉象波形的实时显示。
5.如权利要求4所述的基于人脸视频实时显示脉象波形的系统，其特征在于，所述的人脸视频采集模块采用智能手机摄像头或其他摄像头自动检测定位人脸区域并实时录制小段视频，传输至人脸视频放大模块。
6.如权利要求5所述的基于人脸视频实时显示脉象波形的系统，其特征在于，所述的视频放大模块接收人脸视频采集模块录制的视频并依次进行颜色空间转换、欧拉视频放大、RGB通道分离、信号滤波去噪，直至生成初始脉搏波波形，然后送入脉搏波特征构建模块。
7.如权利要求6所述的基于人脸视频实时显示脉象波形的系统，其特征在于，所述的脉搏波特征构建模块对生成的初始脉搏波波形进行希尔伯特-黄变换，得到对应脉率的希尔伯特谱，该希尔伯特谱作为生成对抗网络生成模型的输入数据，与标准脉象波形组成成对数据输入生成对抗网络判别模型进行模型训练。
CN201911249939.0A 2019-12-09 2019-12-09 基于人脸视频实时显示脉象波形的方法和系统 Active CN112949349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911249939.0A CN112949349B (zh) 2019-12-09 2019-12-09 基于人脸视频实时显示脉象波形的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911249939.0A CN112949349B (zh) 2019-12-09 2019-12-09 基于人脸视频实时显示脉象波形的方法和系统

Publications (2)

Publication Number Publication Date
CN112949349A CN112949349A (zh) 2021-06-11
CN112949349B true CN112949349B (zh) 2022-08-05

Family

ID=76225184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911249939.0A Active CN112949349B (zh) 2019-12-09 2019-12-09 基于人脸视频实时显示脉象波形的方法和系统

Country Status (1)

Country Link
CN (1) CN112949349B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113488162A (zh) * 2021-07-06 2021-10-08 李颖 一种非接触式中医脉象检测方法及装置
CN113951816B (zh) * 2021-09-07 2024-04-12 广东省科学院健康医学研究所 基于光学视频信号分析的无创血管功能检测装置
CN113842128B (zh) * 2021-09-29 2023-09-26 北京清智图灵科技有限公司 一种基于多重滤波与混合放大的非接触心率检测装置
CN114222033B (zh) * 2021-11-01 2023-07-11 三峡大学 一种基于经验模态分解的自适应欧拉视频放大方法
CN114947792B (zh) * 2022-05-19 2024-05-03 北京航空航天大学 一种基于视频的生理信号测量与增强方法
CN116491894B (zh) * 2022-11-09 2024-02-27 桂林电子科技大学 基于欧拉影像放大算法的帕金森病症识别方法
CN115905819B (zh) * 2023-03-09 2023-05-12 中国民用航空飞行学院 基于生成对抗网络的rPPG信号生成方法及装置
CN116109818B (zh) * 2023-04-11 2023-07-28 成都中医药大学 一种基于面部视频的中医脉候判别系统及方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334868A (zh) * 2018-03-21 2018-07-27 华南师范大学 一种基于ppg信号和图像增强的脉象分析方法
CN110236508A (zh) * 2019-06-12 2019-09-17 云南东巴文健康管理有限公司 一种无创血压连续监测方法
CN110384491A (zh) * 2019-08-21 2019-10-29 河南科技大学 一种基于普通摄像头的心率检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334868A (zh) * 2018-03-21 2018-07-27 华南师范大学 一种基于ppg信号和图像增强的脉象分析方法
CN110236508A (zh) * 2019-06-12 2019-09-17 云南东巴文健康管理有限公司 一种无创血压连续监测方法
CN110384491A (zh) * 2019-08-21 2019-10-29 河南科技大学 一种基于普通摄像头的心率检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张选 等.基于GoogLeNet和ResNet的深度融合神经网络在脉搏波识别中的应用.《计算机系统应用》.2019, *
戚刚.基于人脸视频处理的心率检测方法研究.《中国优秀硕士学位论文全文数据库（电子期刊）》.2018,I138-606. *

Also Published As

Publication number Publication date
CN112949349A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949349B (zh) 基于人脸视频实时显示脉象波形的方法和系统
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN107529646B (zh) 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN110384491A (zh) 一种基于普通摄像头的心率检测方法
CN113397555A (zh) 生理参数监测用c-lstm的心率失常分类算法
CN109793506B (zh) 一种非接触式桡动脉波形提取方法
CN111243739A (zh) 抗干扰的生理参数遥测方法及系统
CN111797747B (zh) 一种基于eeg、bvp和微表情的潜在情绪识别方法
CN109350030B (zh) 基于相位放大处理人脸视频心率信号的系统及方法
CN111387959A (zh) 一种基于ippg的非接触式生理参数检测方法
Hu et al. A novel spatial-temporal convolutional neural network for remote photoplethysmography
CN114402359A (zh) 用于检测人的合成视频的系统和方法
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Shahadi et al. Eulerian video magnification: a review
Yue et al. Non-contact heart rate detection by combining empirical mode decomposition and permutation entropy under non-cooperative face shake
CN112741598A (zh) 波形生成识别方法和计算机可读介质
He et al. Remote photoplethysmography heart rate variability detection using signal to noise ratio bandpass filtering
CN113591769A (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
CN116758619B (zh) 基于面部视频的情感分类方法、系统、存储介质及设备
Chowdhury et al. LGI-rPPG-Net: A shallow encoder-decoder model for rPPG signal estimation from facial video streams
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
Kuang et al. Remote photoplethysmography signals enhancement based on generative adversarial networks
Nakonechnyi et al. Estimation of heart rate and its variability based on wavelet analysis of photoplethysmographic signals in real time
CN114246570A (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
CN115245318A (zh) 一种基于深度学习的有效ippg信号的自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant