CN109350030A - 基于相位放大处理人脸视频心率信号的系统及方法 - Google Patents

基于相位放大处理人脸视频心率信号的系统及方法 Download PDF

Info

Publication number
CN109350030A
CN109350030A CN201810943314.3A CN201810943314A CN109350030A CN 109350030 A CN109350030 A CN 109350030A CN 201810943314 A CN201810943314 A CN 201810943314A CN 109350030 A CN109350030 A CN 109350030A
Authority
CN
China
Prior art keywords
value
image
brightness
frame
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810943314.3A
Other languages
English (en)
Other versions
CN109350030B (zh
Inventor
杨刚
骆天翔
于占胜
陈怡然
米悦丰
刘衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810943314.3A priority Critical patent/CN109350030B/zh
Publication of CN109350030A publication Critical patent/CN109350030A/zh
Application granted granted Critical
Publication of CN109350030B publication Critical patent/CN109350030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相位放大处理人脸视频心率信号的系统及其方法，系统包括，特征识别模块、人脸截取模块、亮度相位差分放大模块、运动特征提取模块、时域带通滤波模块、心率计算模块。方法的步骤为：输入人脸视频、识别人脸特征、截取人脸区域、计算亮度相位值、检测运动特征点、放大亮度相位差分值、跟踪运动特征点、提取主要运动特征、时域带通滤波、计算心率值。本发明的系统放大图像亮度相位差分值，不会放大噪声信号。本发明的方法检测放大后图像中的运动特征点，分析计算心率值，有效去除光照影响，鲁棒性较强。

Description

基于相位放大处理人脸视频心率信号的系统及方法
技术领域
本发明属于物理技术领域，更进一步涉及图像处理技术领域的一种基于相位放大处理人脸视频心率信号的系统及方法。本发明可用于从采集的人脸视频图像中估计心率值，进而提供被检测者的心率数据。
背景技术
心率的变化与心脏疾病密切相关，是衡量人体健康状况的重要指标。其检测方法主要分为接触式与非接触式两种，因为非接触式检测方法具有设备低廉、舒适度高、可长时间监测等众多优点，对心率信号的检测越来越借助非接触式的检测方法，为此，研究人员提出了诸多非接触式心率监测方法。
天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN 104138254 A)中公开了一种非接触式自动心率测量系统，该系统包括视频采集模块、分帧提取ROI模块、基色分量分离模块、时域信号生成模块、盲源分离模块、信号筛选模块、心率分析模块。系统利用视频采集模块和感兴趣模块录制一段彩色视频图像，并提取每帧视频图片的感兴趣区域ROI(Region OfInterest)，然后利用基色分量分离模块对图像进行RGB基色分离，通过时域信号生成模块生成三个时域信号,再使用盲源分离模块将获得的三个时域信号分离成独立的信号成分，最后利用信号筛选模块对时域信号进行筛选，并通过心率分析模块计算心率值。虽然该系统采用无创非接触式方式远程检测心率信号，完全实现自动心率测量，测量精度较高，但是，该系统仍然存在的不足之处是：该系统使用信号筛选模块对盲源分离出的三个独立时域信号进行相关性分析，选取其中相关性最大的信号作为最终筛选信号，但是由盲源分离出的第二个时域信号有可能不包含心率信号，经心率分析模块计算心率值的可靠性和稳定性较差。
天津点康科技有限公司在其申请的专利文献“非接触式自动心率测量系统及测量方法”(专利申请专利号：201310172275.9，公开号：CN 104138254 A)中公开了一种非接触式自动心率测量方法。该方法通过远程非接触式地获取人脸的彩色视频，进行人脸图像跟踪和盲源分离将各颜色通道信号分离成独立的信号成分，分析处理后获得心率测量信息。虽然该方法在运动伪影存在的情况下，依然具有较高精度，但是，该方法仍然存在的不足之处是：该方法采用盲源分离算法分离颜色通道信号成分，这种分离方法对光照十分敏感，在光线较强、光照稳定的条件下，系统准确率较高，一旦光照有变化或光线较差，所测量的心率值误差较大。
西安中科创星科技孵化器有限公司在拥有的专利技术“一种非接触式心率检测方法及系统”(专利申请专利号：201510741006.9，公开号：CN 105266787 B)中提出了一种非接触式心率检测方法。该方法首先获取被检测者的脸部视频图像，并识别图像中的人脸，然后计算人脸感兴趣区域图像，再通过时域差分颜色变化放大模型计算感兴趣区域图像颜色分量差分值，并根据差分值绘制时域波形，最后对时域波形进行傅立叶变换并计算频域响应最大值，以此作为心率值。虽然该方法通过时域差分颜色变化放大模型可有效去除环境光照的影响，具有更强的抗环境光影响性，但是，该方法仍然存在的不足之处是：该方法利用傅里叶变换计算频率响应最大值，根据频率响应最大值所对应的频率值计算被测者的心率值，这种处理方法会包含多余的噪声，在现实环境中很难计算出准确的心率值。
西安中科创星科技孵化器有限公司在拥有的专利技术“一种非接触式心率检测方法及系统”(专利申请专利号：201510741006.9，公开号：CN 105266787 B)中提出了一种非接触式心率检测系统，该系统包括人脸识别模块、感兴趣区域计算模块、差分放大值计算模块、差分放大值累计模块和频域变换模块。系统利用人脸识别模块先对人脸进行识别，然后利用感兴趣模块计算感兴趣区域图像，再利用差分放大值计算模块和差分放大值累积模块分析计算颜色分量的差分放大值与时域变化波形，最后利用频域变换模块计算频率响应最大值，以此估计心率值。该系统汉明窗对时域变化波形进行带通滤波，使得心率计算结果的鲁棒性较强，但是，该系统仍然存在的不足之处是:该系统使用差分放大值计算模块在计算图像的颜色分量差分放大值时，采用了线性放大的方法，放大感兴趣区域图像颜色分量差分值的同时也放大了人脸噪声信号，使得心率计算精度较差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于相位放大处理人脸视频心率信号的系统及方法，通过放大人脸视频中微小的运动变化，计算心率心率值，克服了颜色变化和光照不均匀等条件的影响；放大人脸亮度色差图像亮度Y分量各像素点相对原始亮度相位值的相位差分值，有效避免了线性放大方法放大噪声信号的问题，使放大后的图像不包含放大的噪声信号；利用主成分分析方法分析特征点运动距离矩阵，提取主要运动特征序列，有效避免了采用盲源分离出的第二个时域信号有可能不包含心率信号，导致计算心率值可靠性和稳定性较差的问题；采用时域滤波和峰值检测的方法分析处理主要运动特征序列，计算心率值，有效避免了波形多余噪声对心率计算精度的影响，大大提高心率计算的精确度。
实现本发明目的思路是，特征识别模块识别图像中人脸和眼部特征区域，人脸截取模块填充人脸眼部特征区域，截取人脸特征区域矩形框中的人脸图像，亮度相位差分放大模块计算亮度色差图像每个像素点亮度相位差分放大值，放大亮度色差图像中的微小运动，运动特征提取模块跟踪运动特征点，计算特征点运动距离矩阵，同时利用主成分分析法分析得到主要特征点向量序列，时域带通滤波模块对主要特征点向量序列进行时域带通滤波，得到滤波后的时域波形，心率计算模块检测滤波后的时域波形的峰值位置，得到峰值位置序列，通过峰值位置序列计算心率值。
本发明的系统包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块，亮度相位差分放大模块、运动特征提取模块；其中：
所述特征识别模块，用于从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像；
所述人脸截取模块，用于利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；
所述亮度相位差分放大模块，用于利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值，使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号，否则，将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值，利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值，利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；将当前帧亮度色差放大图像发送给运动特征提取模块；
所述运动特征提取模块，用于利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；判断是否读取完所有的帧图像，若是，则将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵，利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵，从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列，将所选的三组主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像；
所述时域带通滤波模块，用于选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；将所选的三组主要特征点向量序列发送给时域带通滤波模块；
所述心率计算模块，用于采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。
本发明的方法的具体步骤包括如下：
(1)输入人脸视频：
将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，并得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块；
(2)识别人脸特征：
(2a)特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；
(2b)特征识别模块利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；
(3)特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤(4)，否则，执行步骤(2)；
(4)截取人脸区域：
(4a)特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块；
(4b)人脸截取模块利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；
(4c)人脸截取模块利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；
(5)计算亮度相位值：
(5a)亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；
(5b)亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；
(5c)亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；
(6)亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤(7)，否则，执行步骤(8)；
(7)检测运动特征点：
(7a)亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值；
(7b)亮度相位差分放大模块使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤(10)；
(8)放大亮度相位差分值：
(8a)亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值；
(8b)亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值；
(8c)亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；
(9)跟踪运动特征点：
(9a)亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块；
(9b)运动特征提取模块利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；
(9c)运动特征提取模块利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；
(9d)运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；
(10)运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤(11)，否则，执行步骤(2)；
(11)提取主要运动特征：
(11a)运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵；
(11b)运动特征提取模块利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵；
(11c)运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选择前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列；
(11d)运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块；
(12)时域带通滤波：
(12a)时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；
(12b)时域带通滤波模块将滤波后的时域波形发送给心率计算模块；
(13)计算心率值：
(13a)心率计算模块采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；
(13b)心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；
(13c)心率计算模块利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。
本发明与现有的技术相比具有以下优点：
第一，由于本发明的系统中的运动特征提取模块采用光流跟踪运动点，通过对特征点运动距离矩阵进行主成分分析，得到主要特征点向量序列，克服了现有技术的系统采用盲源分离出的第二个时域信号有可能不包含心率信号，导致计算心率值的可靠性和稳定性较差的缺点，使得本发明的系统计算心率值更可靠稳定。
第二，由于本发明的系统中的亮度差分相位放大模块，将截取人脸特征区域图像转换到亮度色差YIQ颜色空间，放大亮度Y通道各像素点相位差值，由于放大过程中只对亮度相位进行放大，采用这种方法放大图像中的微小运动，克服了现有技术的系统在放大人脸视频颜色分量色度值时将噪声一同放大，导致心率测量结果易受图像噪声变化的影响的缺点，使得本发明的系统在包含有较多图像噪声条件下心率测量的鲁棒性较强。
第三，由于本发明的方法通过对带通滤波后的时域波形进行峰值检测，利用所得到的峰值位置序列计算心率值，克服了现有技术的方法在计算心率值时只进行频域变换，计算频率响应最大值，导致引入噪声信号影响心率值准确度的影响，使得本发明的方法计算的心率值更精确。
第四，由于本发明的方法通过放大人脸视频中微小运动，跟踪放大后图像中运动特征点，从运动特征点在垂直方向上的主要运动位置序列中提取心率值，克服了现有技术的方法利用图像颜色放大提取心率对光照敏感，光照亮度变化对心率值精确度影响较大的缺点，使得本发明的方法在光照强度变化条件下测量心率的误差较小。
附图说明
图1是本发明系统的方框图；
图2是本发明方法的流程图；
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照图1，对本发明的基于相位放大处理人脸视频心率信号的系统做进一步的详细描述。
本发明的系统包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块、亮度相位差分放大模块、运动特征提取模块。
所述特征识别模块，读取一帧视频图像；识别输入视频图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像。
所述人脸截取模块，用于填充人脸眼部特征区域；绘制人脸特征区域矩形框；截取人脸特征区域矩形框中的人脸图像；将人脸截取图像发送给亮度相位差分放大模块。
所述亮度相位差分放大模块，用于将人脸截取图像转换到亮度色差YIQ颜色空间；计算转换后亮度色差图像亮度Y通道分量中每个像素点的亮度相位值；判断当前帧颜色空间转换后图像是否为第一帧亮度色差图像，若是，则标记每个像素点的参考亮度相位值，检测每个特征点原始位置坐标，否则，计算当前帧每个像素点亮度相位差分放大值，放大当前帧亮度色差图像中微小运动，将当前帧亮度色差放大图像发送给运动特征提取模块。
所述运动特征提取模块，用于跟踪运动特征点；计算特征点运动距离值；判断是否读取完所有的帧图像，若是，则计算特征点运动距离矩阵，获取主要特征点向量序列，将主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像。
所述时域带通滤波模块，用于对主要特征点向量序列进行时域带通滤波；将滤波后的时域波形发送给心率计算模块。
所述心率计算模块，用于检测主要特征点向量序列峰值；计算心率值。
下面结合附图2，对本发明的方法做进一步的描述。
步骤1，输入人脸视频。
将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，并得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块。
步骤2，识别人脸特征。
特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像。
特征识别模块利用开源计算机视觉库OpenCV中的人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域。
步骤3，特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤4，否则，执行步骤2。
步骤4，截取人脸区域。
特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块。
人脸截取模块利用开源计算机视觉库OpenCV中的灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框。
人脸截取模块利用开源计算机视觉库OpenCV中的图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块。
步骤5，计算亮度相位值。
亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像。
所述颜色空间转换公式如下：
Y＝0.299R+0.587G+0.114B
I＝0.569R-0.275G-0.321B
Q＝0.212R-0.523G+0.311B
其中，Y表示图像YIQ颜色空间中的亮度分量，R表示每一帧图像红绿蓝RGB颜色空间的红色分量，G表示每一帧图像红绿蓝RGB颜色空间的绿色分量，B表示每一帧图像红绿蓝RGB颜色空间的蓝色分量，I表示图像YIQ颜色空间中的橙色到青色分量，Q表示图像YIQ颜色空间中的紫色到黄绿色分量。
亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值。
亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值。
幅值相位计算公式如下：
Aeiθ＝A cosθ+iA sinθ
其中，i表示虚数单位，θ表示复数值的相位，A表示复数值的幅值。
步骤6，亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤7，否则，执行步骤8。
步骤7，检测运动特征点。
亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值。
亮度相位差分放大模块使用开源计算机视觉库OpenCV中的光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤10。
步骤8，放大亮度相位差分值。
亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值。
亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值。
所述移动差值计算公式如下：
φ＝β+α*(λ-β)
其中，φ表示当前帧亮度色差图像亮度Y通道分量中(x,y)位置处像素点亮度相位差分放大值，β表示该像素点亮度值的参考亮度相位值，λ表示当前帧该像素点亮度相位值，α表示放大因子，取值为100。
亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像。
步骤9，跟踪运动特征点。
亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块。
运动特征提取模块利用卢卡斯-卡纳德Lucas-Kanade光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标。
利用特征点运动距离计算公式，运动特征提取模块分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值。
所述移动差值计算公式如下：
Dy(i)＝Iy(i)-My(i)
其中，Dy(i)表示当前帧编号为i的特征点在垂直方向上运动距离值，Iy(i)表示该特征点在当前帧中对应的y轴坐标，My(i)表示该特征点原始位置坐标的y轴坐标，该坐标系以颜色空间转换后图像左上角为原点，以图像向左和向下方向分别表示x轴和y轴正方向。
运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列。
步骤10，运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤11，否则，执行步骤2。
步骤11，提取主要运动特征。
运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵。
运动特征提取模块利用开源计算机视觉库OpenCV中的主成分分析PCA方法对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵。
运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选择前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列。
运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块。
步骤12，时域带通滤波。
时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的理想带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形。
时域带通滤波模块将滤波后的时域波形发送给心率计算模块。
步骤13，计算心率值。
心率计算模块采用峰值检测算法分别检测输入三组时域波形中波峰的位置，得到波峰位置序列。
所述峰值检测算法具体执行步骤如下：
第1步，比较时域波形中所有点的值，得到时域波形最大值Max。
第2步，按照下式，计算阈值：
E＝Max÷2
其中，E表示阈值，Max表示波形最大值。
第3步，判断时域波形中的点从前面第二个点到该点的值是否处于连续上升状态，若是，则执行第4步，否则，执行第6步。
第4步，判断第3步处于上升状态的点后面第一、第二个点的值是否处于连续下降状态，若是，则执行第5步，否则，执行第6步。
第5步，判断该点的值是否大于阈值，若是，则标记该点为波峰位置点，执行第6步，否则，直接执行第6步。
第6步，判断是否检测完时域波形中所有点，若是，依次排序每个波峰位置点在时域波形中的位置，生成峰值位置序列，否则，执行第3步，继续检测下一个点。
心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值。
利用峰值帧差计算公式，心率计算模块分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。
所述峰值帧差计算公式如下：
H＝A÷S*60
其中，H表示计算的心率值，A表示差值序列的均值，S表示人脸视频的帧率。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本发明的仿真试验是在计算机硬件配置为AMD Ryzen5CPU 1600X@3.60GHZ、8.0GBRAM的硬件环境和计算机软件配置为MATLAB R2017a的软件环境下进行的。
2.仿真内容：
本发明仿真实验是分别使用本发明的系统和江苏鱼跃医用仪器有限公司生产的指夹式血氧饱和度脉搏检测器YX303，在相同日光灯照射条件下，采集发明人任意选择的10名被测者的人脸视频，处理人脸视频，计算心率值。
所选的10名被测者年龄在22到26岁之间。
采集人脸视频的方法为采集每位被测者的人脸视频，人脸视频时长为10秒，人脸视频帧率为30帧/秒。
拍摄视频的同时使用所选的脉搏检测器检测被测者心率值，然后使用本发明所述方法计算心率值，对比测量结果。
3.仿真效果分析：
对本发明的系统计算被测者的心率值与指甲式血氧仪测量的心率值结果进行对比，结果如表1。
表1.本发明的系统与指甲式血氧仪心率测量结果对比表
序号 指甲式血氧仪检测心率(bmp) 本发明的系统检测心率(bmp)
1 71 68
2 69 66
3 79 81
4 65 66
5 68 69
6 75 75
7 81 84
8 72 69
9 78 81
10 82 79
表1为本发明的系统与指甲式血氧仪心率测量结果对比表，本发明的系统与指甲式血氧仪测量心率结果基本一致，误差范围在±3每分钟心跳次数bpm以内，以上结果表明：本发明系统计算准确性较高，是一种能有效检测人脸视频心率信号的处理系统。

Claims (8)

1.一种基于相位放大处理人脸视频心率信号的系统，包括特征识别模块、人脸截取模块、时域带通滤波模块、心率计算模块，其特征在于，还包括亮度相位差分放大模块、运动特征提取模块；其中：
所述特征识别模块，用于从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；判断是否识别到人脸和眼部特征区域，若是，则将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块，否则，继续读取一帧视频图像；
所述人脸截取模块，用于利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；
所述亮度相位差分放大模块，用于利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值，使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号，否则，将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值，利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值，利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；将当前帧亮度色差放大图像发送给运动特征提取模块；
所述运动特征提取模块，用于利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；判断是否读取完所有的帧图像，若是，则将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵，利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵，从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列，将所选的三组主要特征点向量序列发送给时域带通滤波模块，否则，继续读取一帧视频图像；
所述时域带通滤波模块，用于选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；将所选的三组主要特征点向量序列发送给时域带通滤波模块；
所述心率计算模块，用于采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。
2.一种基于相位放大处理人脸视频心率信号的方法，其特征在于，计算亮度Y通道每个像素点的亮度相位差分放大值，计算所有运动特征点的特征点运动距离序列，利用主要特征点向量序列计算心率值；该方法的具体步骤包括如下：
(1)输入人脸视频：
将摄像头获取的一段包含被监测者人脸的视频图像输入到视频解码库中，解码人脸视频图像，得到人脸视频的总帧数和帧率，将解码后的人脸视频发送给特征识别模块；
(2)识别人脸特征：
(2a)特征识别模块从解码后的视频图像中顺序读取一帧图像，作为当前帧图像；
(2b)特征识别模块利用计算机人脸识别分类器，识别当前帧图像中的人脸和眼部特征区域；
(3)特征识别模块判断是否识别到人脸和眼部特征区域，若是，则执行步骤(4)，否则，执行步骤(2)；
(4)截取人脸区域：
(4a)特征识别模块将识别到人脸和眼部特征区域的当前帧图像发送给人脸截取模块；
(4b)人脸截取模块利用灰度值填充技术，将当前帧图像中的眼部特征区域的像素值填充为黑色后，输入到计算机视觉库中，绘制出人脸特征区域矩形框；
(4c)人脸截取模块利用图像裁剪技术，截取人脸特征区域矩形框中的人脸图像，将人脸截取图像发送给亮度相位差分放大模块；
(5)计算亮度相位值：
(5a)亮度相位差分放大模块利用颜色空间转化公式，将输入的人脸截取图像从红绿蓝RGB颜色空间转换到亮度色差YIQ颜色空间，作为当前帧亮度色差图像；
(5b)亮度相位差分放大模块使用离散傅立叶变换DFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的亮度值转换到频域，得到每个像素点亮度复数值；
(5c)亮度相位差分放大模块利用幅值相位计算公式，计算每个像素点亮度复数值的相位值，作为当前帧每个像素点的亮度相位值；
(6)亮度相位差分放大模块判断当前帧亮度色差图像是否为第一帧亮度色差图像，若是，则执行步骤(7)，否则，执行步骤(8)；
(7)检测运动特征点：
(7a)亮度相位差分放大模块将第一帧亮度色差图像中每个像素点的相位值标记为每个像素点参考亮度相位值；
(7b)亮度相位差分放大模块使用光流特征点检测方法，检测第一帧亮度色差图像中每个运动特征点的位置坐标，得到每个运动特征点的原始位置坐标，对所有运动特征点依次编号后执行步骤(10)；
(8)放大亮度相位差分值：
(8a)亮度相位差分放大模块将当前帧每个像素点亮度相位值与每个像素点对应参考亮度相位值相减，得到当前帧每个像素点亮度相位差分值；
(8b)亮度相位差分放大模块利用相位差分放大计算公式，计算当前帧各像素点亮度相位差分放大值；
(8c)亮度相位差分放大模块利用离散傅立叶逆变换IDFT，将当前帧亮度色差图像亮度Y通道分量中的每个像素点的频域亮度复数值变换回空域，得到每个像素点亮度值，完成对图像微小运动的放大，将放大后的图像作为当前帧亮度色差放大图像；
(9)跟踪运动特征点：
(9a)亮度相位差分放大模块将当前帧亮度色差放大图像发送给运动特征提取模块；
(9b)运动特征提取模块利用光流跟踪器跟踪运动特征点，确定当前帧亮度色差放大图像中每个运动特征点的位置坐标；
(9c)运动特征提取模块利用特征点运动距离计算公式，分别计算每个运动特征点位置坐标与该运动特征点原始位置坐标在垂直方向的差值，作为当前帧每个运动特征点的运动距离值；
(9d)运动特征提取模块将当前帧每个运动特征点的运动距离值按运动特征点编号依次排成一行，得到特征点运动距离序列；
(10)运动特征提取模块判断是否读取完所有的帧图像，若是，则执行步骤(11)，否则，执行步骤(2)；
(11)提取主要运动特征：
(11a)运动特征提取模块将按照选取帧的次序，将第二帧以后的每一帧图像的特征点运动距离序列排成一列，组成特征点运动距离矩阵；
(11b)运动特征提取模块利用主成分分析PCA方法，对特征点运动距离矩阵进行特征降维，得到主要特征点运动距离矩阵；
(11c)运动特征提取模块从特征降维后的主要特征点运动距离矩阵中，选取前三个特征点随时间变化的运动距离序列，作为主要特征点向量序列；
(11d)运动特征提取模块将所选的三组主要特征点向量序列发送给时域带通滤波模块；
(12)时域带通滤波：
(12a)时域带通滤波模块选取通带频率为0.8赫兹到2赫兹的带通滤波器，分别对输入的三组主要特征向量序列进行时域带通滤波，得到更平滑的时域波形；
(12c)时域带通滤波模块将滤波后的时域波形发送给心率计算模块；
(13)计算心率值：
(13a)心率计算模块采用峰值检测算法，分别检测输入三组时域波形中波峰的位置，得到波峰位置序列；
(13b)心率计算模块分别迭代计算两个波峰位置之间的帧差，生成三组差值序列，分别计算每组差值序列的均值；
(13c)心率计算模块利用峰值帧差计算公式，分别计算每组差值序列的均值所对应的心率值，并取三个心率值的均值作为最终心率值。
3.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(5a)中所述颜色空间转换公式如下：
Y＝0.299R+0.587G+0.114B
I＝0.569R-0.275G-0.321B
Q＝0.212R-0.523G+0.311B
其中，R表示每一帧图像红绿蓝RGB颜色空间的红色分量，G表示每一帧图像红绿蓝RGB颜色空间的绿色分量，B表示每一帧图像红绿蓝RGB颜色空间的蓝色分量，Y表示图像YIQ颜色空间中的亮度分量，I表示图像YIQ颜色空间中的橙色到青色分量，Q表示图像YIQ颜色空间中的紫色到黄绿色分量。
4.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(5c)中所述幅值相位计算公式如下：
Aeiθ＝Acosθ+iAsinθ
其中，i表示虚数单位，θ表示复数值的相位，A表示复数值的幅值。
5.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(8b)中所述相位差值放大计算公式如下：
φ＝β+α*(λ-β)
其中，φ表示当前帧亮度色差图像亮度Y通道分量中(x,y)位置处像素点亮度相位差分放大值，β表示该像素点亮度值的参考亮度相位值，λ表示当前帧该像素点亮度相位值，α表示放大因子，取值为100。
6.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(9c)中所述特征点运动距离计算公式如下：
Dy(i)＝Iy(i)-My(i)
其中，Dy(i)表示当前帧编号为i的特征点在垂直方向上运动距离值，Iy(i)表示该特征点在当前帧中对应的y轴坐标，My(i)表示该特征点原始位置坐标的y轴坐标，该坐标系以颜色空间转换后图像左上角为原点，以图像向左和向下方向分别表示x轴和y轴正方向。
7.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(13a)中所述峰值检测算法具体执行步骤如下：
第一步，比较时域波形中所有点的值，得到时域波形最大值Max；
第二步，按照下式，计算阈值：
E＝Max÷2
其中，E表示阈值，Max表示波形最大值；
第三步，判断时域波形中的点从前面第二个点到该点的值是否处于连续上升状态，若是，则执行第四步，否则，执行第六步；
第四步，判断第三步处于上升状态的点后面第一、第二个点的值是否处于连续下降状态，若是，则执行第五步，否则，执行第六步；
第五步，判断该点的值是否大于阈值E，若是，则标记该点为波峰位置点，执行第六步，否则，直接执行第六步；
第六步，判断是否检测完时域波形中所有点，若是，依次排序每个波峰位置点在时域波形中的位置，生成峰值位置序列，否则，执行第三步，继续检测下一个点。
8.根据权利要求2所述的基于相位放大处理人脸视频心率信号的方法，其特征在于，步骤(13c)中所述峰值帧差计算公式如下：
H＝A÷S*60
其中，H表示计算的心率值，A表示差值序列的均值，S表示人脸视频的帧率。
CN201810943314.3A 2018-08-17 2018-08-17 基于相位放大处理人脸视频心率信号的系统及方法 Active CN109350030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810943314.3A CN109350030B (zh) 2018-08-17 2018-08-17 基于相位放大处理人脸视频心率信号的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810943314.3A CN109350030B (zh) 2018-08-17 2018-08-17 基于相位放大处理人脸视频心率信号的系统及方法

Publications (2)

Publication Number Publication Date
CN109350030A true CN109350030A (zh) 2019-02-19
CN109350030B CN109350030B (zh) 2020-04-21

Family

ID=65350125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810943314.3A Active CN109350030B (zh) 2018-08-17 2018-08-17 基于相位放大处理人脸视频心率信号的系统及方法

Country Status (1)

Country Link
CN (1) CN109350030B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602485A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 故障检测方法及相关产品
CN112043254A (zh) * 2020-08-12 2020-12-08 厦门大学 一种基于视频图像的对虾心率检测方法及系统
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统
CN112766074A (zh) * 2020-12-31 2021-05-07 中国工商银行股份有限公司 活体检测方法及装置
CN113689650A (zh) * 2021-09-07 2021-11-23 广州邦讯信息系统有限公司 基于监控摄像头的森林防火烟雾检测方法及系统
CN116999044A (zh) * 2023-09-07 2023-11-07 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702014A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 非接触式生理参数检测方法、系统及装置
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9338331B2 (en) * 2014-01-09 2016-05-10 Massachusetts Institute Of Technology Riesz pyramids for fast phase-based video magnification
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN106686279A (zh) * 2016-12-28 2017-05-17 天津众阳科技有限公司 基于欧拉视频放大的准实时颜色变化放大系统和方法
CN107169419A (zh) * 2017-04-19 2017-09-15 中国电子科技集团公司电子科学研究院 基于机器视觉的非接触式人体体征检测方法及装置
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
CN107348958A (zh) * 2017-08-15 2017-11-17 安徽大学 一种鲁棒扫视eog信号识别方法及系统
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
CN103702014A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 非接触式生理参数检测方法、系统及装置
US9338331B2 (en) * 2014-01-09 2016-05-10 Massachusetts Institute Of Technology Riesz pyramids for fast phase-based video magnification
CN105266787A (zh) * 2015-11-03 2016-01-27 西安中科创星科技孵化器有限公司 一种非接触式心率检测方法及系统
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
CN106686279A (zh) * 2016-12-28 2017-05-17 天津众阳科技有限公司 基于欧拉视频放大的准实时颜色变化放大系统和方法
CN107169419A (zh) * 2017-04-19 2017-09-15 中国电子科技集团公司电子科学研究院 基于机器视觉的非接触式人体体征检测方法及装置
CN107529646A (zh) * 2017-05-02 2018-01-02 广东工业大学 一种基于欧拉影像放大的无接触式心率测量方法及装置
CN107348958A (zh) * 2017-08-15 2017-11-17 安徽大学 一种鲁棒扫视eog信号识别方法及系统
CN108272448A (zh) * 2018-03-29 2018-07-13 合肥工业大学 一种非接触式的婴儿生理参数昼夜监护方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALI AL-NAJI等: "An efficient motion magnification system for real-time applications", 《MACHINE VISION AND APPLICATIONS》 *
DANIEL MYKLATUN TVEIT等: "MOTION BASED DETECTION OF RESPIRATION RATE IN INFANTS USING VIDEO", 《 2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
N. WADHWA等: "Phase-based video motion processing", 《ACM TRANSACTIONS ON GRAPHICS》 *
NEAL WADHWA等: "Riesz pyramids for fast phase-based video magnification", 《2014 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602485A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 故障检测方法及相关产品
CN112043254A (zh) * 2020-08-12 2020-12-08 厦门大学 一种基于视频图像的对虾心率检测方法及系统
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统
CN112766074A (zh) * 2020-12-31 2021-05-07 中国工商银行股份有限公司 活体检测方法及装置
CN112766074B (zh) * 2020-12-31 2024-04-16 中国工商银行股份有限公司 活体检测方法及装置
CN113689650A (zh) * 2021-09-07 2021-11-23 广州邦讯信息系统有限公司 基于监控摄像头的森林防火烟雾检测方法及系统
CN116999044A (zh) * 2023-09-07 2023-11-07 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法
CN116999044B (zh) * 2023-09-07 2024-04-16 南京云思创智信息科技有限公司 一种实时运动全连接双向一致光流场心率信号提取方法

Also Published As

Publication number Publication date
CN109350030B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN109350030A (zh) 基于相位放大处理人脸视频心率信号的系统及方法
Feng et al. Motion-resistant remote imaging photoplethysmography based on the optical properties of skin
Hsu et al. Deep learning with time-frequency representation for pulse estimation from facial videos
CN105147274B (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN113420624B (zh) 一种非接触式疲劳检测方法及系统
CN105190691B (zh) 用于获得对象的生命体征的设备
CN107025652B (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
Tang et al. Non-contact heart rate monitoring by combining convolutional neural network skin detection and remote photoplethysmography via a low-cost camera
CN105989357A (zh) 一种基于人脸视频处理的心率检测方法
CN110269600A (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN105701806B (zh) 基于深度图像的帕金森震颤运动特征检测方法及系统
KR102358325B1 (ko) 얼굴영상을 이용한 강인한 맥박수 및 호흡수 측정 방법 및 장치
CN107798279A (zh) 一种人脸活体检测方法及装置
CN106503651B (zh) 一种手势图像的提取方法及系统
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN107334469A (zh) 基于支持向量机的非接触多人心率测量方法及装置
Hernandez-Ortega et al. A comparative evaluation of heart rate estimation methods using face videos
CN109886195A (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
Gupta et al. Exploring the feasibility of face video based instantaneous heart-rate for micro-expression spotting
CN110200607A (zh) 基于光流法与lms算法消除生命体征检测中体动影响的方法
Kossack et al. Local Remote Photoplethysmography Signal Analysis for Application in Presentation Attack Detection.
Rafiqi et al. Work-in-progress, PupilWare-M: Cognitive load estimation using unmodified smartphone cameras
Kopeliovich et al. Optimal facial areas for webcam-based photoplethysmography
Assanovich et al. Recognition of genuine smile as a factor of happiness and its application to measure the quality of customer retail services
CN109800771A (zh) 混合时空平面局部二值模式的自发微表情定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant