CN107169419B - 基于机器视觉的非接触式人体体征检测方法及装置 - Google Patents

基于机器视觉的非接触式人体体征检测方法及装置 Download PDF

Info

Publication number
CN107169419B
CN107169419B CN201710256722.7A CN201710256722A CN107169419B CN 107169419 B CN107169419 B CN 107169419B CN 201710256722 A CN201710256722 A CN 201710256722A CN 107169419 B CN107169419 B CN 107169419B
Authority
CN
China
Prior art keywords
image
face
video
frame
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710256722.7A
Other languages
English (en)
Other versions
CN107169419A (zh
Inventor
吕东岳
吕相文
谢海永
廖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN201710256722.7A priority Critical patent/CN107169419B/zh
Publication of CN107169419A publication Critical patent/CN107169419A/zh
Priority to PCT/CN2017/116060 priority patent/WO2018192246A1/zh
Application granted granted Critical
Publication of CN107169419B publication Critical patent/CN107169419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于机器视觉的非接触式人体体征检测方法及装置，方法包括：获取包含人脸信息的视频图像，得到待处理图像序列；通过预设的人脸检测算法和稳像算法确定出待处理图像序列中每帧视频图像中的人脸位置；对待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并进一步得到脸部局部图像矩阵；利用预设的视频放大算法放大脸部局部图像矩阵的颜色变化，对放大后的脸部局部图像序列进行信号处理，得到人体体征。本发明引入了人脸检测与稳像模块，使被测者在使用中可以在摄像机拍摄范围内幅度不大的活动头部，并且能够准确地获得被测者的心率数值。

Description

基于机器视觉的非接触式人体体征检测方法及装置
技术领域
本发明涉及网络技术应用领域，特别涉及一种基于机器视觉的非接触式人体体征检测方法及装置。
背景技术
心率是临床检测生命参数的重要指标，现行的方法主要采用接触式检测技术，生物医学信号的接触式检测是指利用电极或传感器直接或间接地接触人体，达到检测医学信息的目的，它可分为对人体固有信息的检测(如血压、心率测量等)和借助外能量的信息检测(X射线、B超检测等)，检测过程中对人体有一定的约束。
非接触式检测是指借助于外来能量(探测媒介)，不接触人体，而且隔一定的距离，隔一定的介质，通过检测人体生理活动所引起的各种微动，进而获取各类生理信息。非接触式检测在检测过程中不需要对人体进行太多约束，测量过程更为友好，在某些特殊场合能够做到更为隐蔽的人体生理特征监测，甚至于更进一步的刑侦审讯中的特殊需求。
非接触式心率检测技术，按照采用的手段可以分为视觉检测技术与非视觉检测技术；其中视觉检测技术主要为基于成像式光电容积描记技术(IPPG)，非视觉检测技术主要为光电容积描记技术(PPG)与基于多普勒原理的雷达检测技术(微波、无线电波与声波等)。
基于机器视觉的心率检测方法已经在市场上有产品出现，最著名的为飞利浦公司开发的“生命体征相机”软件，该软件的工作流程为使用摄像头捕捉固定区域内的人脸部图像，分析人脸部图像的颜色变化进而得到人体心率的数值。但是，这种方法的缺点为在测量时需要被测者保持不动，从而使得人脸部保持固定，在此种情况下才能分析固定区域内的人脸部面色变化。这种不友好的使用方式使得被测者在使用的过程中体验较差，在一些无法主动要求被测者保持固定不动的特殊场景下(如审讯、测谎等)，则无法正常使用。
发明内容
鉴于上述问题，本发明提供了一种基于机器视觉的非接触式人体体征检测方法及装置。
本发明提供的基于机器视觉的非接触式人体体征检测方法，包括：
获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列；
通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置；
根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵；
利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列；
对所述放大后的脸部局部图像序列进行信号处理，得到人体体征。
本发明还提供了一种基于机器视觉的非接触式人体体征检测装置，包括：
预处理模块，用于获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列；
人脸检测模块，用于通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置；
脸部局部图像确定模块，根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵；
放大模块，用于利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列；
信号处理模块，用于对所述放大后的脸部局部图像序列进行信号处理，得到人体体征。
本发明有益效果如下：
本发明实施例使用常见的网络摄像头或手机摄像头拍摄实时人脸视频，通过人脸检测算法与稳像算法确定人脸部位置，通过视频放大算法放大人脸部局部图像矩阵的颜色变化，通过信号处理算法得到精确地实时人体心率数值。为了解决在视频心率测量中人体头部自由活动产生的问题，本发明引入了人脸检测与稳像模块，使被测者在使用中可以在摄像机拍摄范围内幅度不大的活动头部，并且能够准确地获得被测者的心率数值。
附图说明
图1是本发明方法实施例的基于机器视觉的非接触式人体体征检测方法的流程图；
图2是本发明装置实施例的基于机器视觉的非接触式人体体征检测装置的结构示意图；
图3是实例1基于机器视觉的非接触式心率检测装置的结构示意图；
图4是本发明实验验证时得到的第一实验结果示意图；
图5是本发明实验验证时得到的第二实验结果示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决在视频心率测量中人体头部自由活动产生的问题，本发明提供了一种基于机器视觉的非接触式人体体征检测方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
根据本发明的方法实施例，提供了一种基于机器视觉的非接触式人体体征检测方法，图1是本发明方法实施例的基于机器视觉的非接触式人体体征检测方法的流程图，本发明所述的人体体征包括心率、血压、呼吸频率等；如图1所示，根据本发明方法实施例的基于机器视觉的非接触式人体体征检测方法包括如下处理：
步骤101，获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列。
步骤102，通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置。
具体的，通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置，包括：
利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测，得到初步的人脸位置；
通过预设的稳像算法对所述初步的人脸位置进行修正，得到每帧图像的人脸位置。
步骤103，根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵。
具体的，根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵，包括：
采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点，对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理，得到每帧视频图像的亮度归一化系数；
根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整，得到归一化调整后的第i帧视频图像，所述第i帧视频图像为待处理图像序列中的任意一帧视频图像；
在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像；
调整所述人脸图像，以使在所有视频图像中提取出的人脸图像大小相同；
根据调整后的人脸图像得到脸部局部图像矩阵。
步骤104，利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列。
具体的，利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列，包括：
对所述脸部局部图像矩阵序列进行多层降采样，并对最后的降采样结果进行带通滤波；
将带通滤波后的结果进行放大，得到放大后的信息；
通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列，得到放大后的脸部局部图像序列。
步骤105，对所述放大后的脸部局部图像序列进行信号处理，得到人体体征。具体的，对脸部局部图像序列进行信号处理的方法为本领域的常规技术手段，本发明不再赘述。
本发明方法实施例的基于机器视觉的非接触式人体体征检测方法，还包括：显示所述人体体征的结果信息。
与本发明的方法实施例相对应，提供了一种基于机器视觉的非接触式人体体征检测装置，图2是本发明装置实施例的基于机器视觉的非接触式人体体征检测装置的结构示意图，如图2所示，根据本发明装置实施例的基于机器视觉的非接触式人体体征检测装置包括：预处理模块20、人脸检测模块22、脸部局部图像确定模块24、放大模块26、信号处理模块28；以下对本发明实施例的各个模块进行详细的说明。
所述预处理模块20，用于获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列。
所述人脸检测模块22，用于通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置。
所述人脸检测模块22具体用于：
利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测，得到初步的人脸位置；
通过预设的稳像算法对所述初步的人脸位置进行修正，得到每帧图像的人脸位置。
所述脸部局部图像确定模块24，根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵。
所述脸部局部图像确定模块24具体用于：
采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点，对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理，得到每帧视频图像的亮度归一化系数；
根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整，得到归一化调整后的第i帧视频图像，所述第i帧视频图像为待处理图像序列中的任意一帧视频图像；
在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像；
调整所述人脸图像，以使在所有视频图像中提取出的人脸图像大小相同；
根据调整后的人脸图像得到脸部局部图像矩阵。
所述放大模块26，用于利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列。
所述放大模块26具体用于：
对所述脸部局部图像矩阵序列进行多层降采样，并对最后的降采样结果进行带通滤波；
将带通滤波后的结果进行放大，得到放大后的信息；
通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列，得到放大后的脸部局部图像序列。
所述信号处理模块28，用于对所述放大后的脸部局部图像序列进行信号处理，得到人体体征。
本发明装置实施例的基于机器视觉的非接触式人体体征检测方法，还包括显示模块，所述显示模块，用于显示所述人体体征的结果信息。
为了更加详细的说明本发明的方法实施例和装置实施实施例，给出实例1。图3是实例1基于机器视觉的非接触式心率检测装置的结构示意图，如图3所示，基于机器视觉的非接触式心率检测装置包括如下四个模块：
模块一：视频输入模块
该模块的作用为从摄像设备中获取视频流。
模块二：视频预处理模块
该模块的作用为对模块一得到的视频流进行预处理，获得模块三能够处理的脸部局部图像矩阵。该模块包含三个子模块：
子模块一：人脸检测
接收到模块一传递的视频流之后，首先与内存中存储的之前若干帧图像合并，得到待处理的图像序列。对合并之后的图像序列中每帧图像的人脸进行检测，获得初步的人脸位置信息，通过光流稳像算法对人脸位置进行细微修正，得到优化过后的人脸位置信息。
子模块二：光照调整
进行光照归一化调节。采用特征点提取算法(例如SIFT、SURF、ORB等)提取图像序列每一帧的特征点，对不属于人脸部区域的对应位置的特征点的亮度进行归一化处理，得到每帧图像亮度归一化系数，从而实现图像序列的光照归一化处理。
子模块三：区域确定
在优化后的人脸位置信息的基础上选择前额与面颊两部分所对应的图像像素组成可供模块三后续处理的矩阵序列。具体方法是首先对图像序列的每帧图像中提取出的人脸图像进行大小调整，使所有人脸图像同样大小，其次选择人脸前额与面颊两部分区域的像素组合为模块三能够处理的矩阵序列。
模块三：心率信号处理模块
该模块的作用为对模块二得到的脸部局部图像矩阵进行处理，获得模块四能够处理的人体心率信息。该模块包含两个子模块：
子模块一：视频放大
接收到模块二传递的脸部局部图像矩阵后，采用视频放大算法对矩阵进行处理，实现有效的放大人脸前额与面颊两部分的面色变化，具体方法是对矩阵序列进行多层降采样，对最后的降采样结果进行带通滤波，将滤波后的结果与放大系数相乘进行放大，在通过与降采样相同层级的升采样过程将放大之后的信息嵌入前额与面颊部分所对应的图像，得到放大后的脸部局部图像序列。
子模块二：信号处理
对放大面色后的脸部局部图像序列进行信号处理，获得准确地人体心率数值。
模块四：心率结果输出模块
该模块的作用为输出被测者的心率信息，可以采用多种方式，例如在可视化界面中显示被测者的心率曲线，心率数值等。
本发明的处理流程包括如下七个步骤：
步骤一：模块一接收摄像设备拍摄的包含人脸部图像的视频流，摄像设备可以采用USB连接、局域网连接等多种连接方式与用于采集视频信息的计算机相连接。用于采集视频信息的计算机通过软件工具采集并解析视频流。用于采集视频信息的计算机获取到视频流之后将之保存入能够被模块二处理的矩阵内存中，传递给模块二。
步骤二：模块二的子模块一接收模块一传递的矩阵内存之后，首先与内存中存储的之前若干帧图像合并得到图像序列，对图像序列中每帧图像的人脸进行检测，获得初步的人脸位置信息。通过光流稳像算法对人脸位置进行细微修正，得到优化过后的人脸位置信息。将图像序列与优化过后的人脸位置信息传递给模块二的子模块二。
步骤三：模块二的子模块二接收模块二的子模块一传递的图像序列与优化过后的人脸位置信息之后，采用特征点提取算法提取图像序列每一帧的特征点，结合优化过后的人脸位置信息，对不属于人脸部区域的对应位置的特征点的亮度进行归一化处理，得到每帧图像亮度归一化系数，从而实现图像序列的光照归一化处理。将经过光照归一化处理的图像序列与优化过后的人脸位置信息传递给模块二的子模块三。
步骤四：模块二的子模块三接收模块二的子模块二传递的经过光照归一化处理的图像序列与优化过后的人脸位置信息后，对图像序列的每帧图像中按照优化过后的人脸位置信息提取出的人脸图像进行大小调整，使所有人脸图像同样大小，其次选择人脸前额与面颊两部分区域的像素变换组合为脸部局部图像矩阵。将脸部局部图像矩阵传递给模块三。
步骤五：模块三的子模块一接收模块二传递的脸部局部图像矩阵之后，采用视频放大算法对矩阵进行处理，得到脸部局部图像序列。将脸部局部图像序列传递给模块三的子模块二。
步骤六：模块三的子模块二接收模块三的子模块一传递的脸部局部图像序列之后，统计脸部局部图像序列中每帧图像的均值(图像为RGB模式)，通过处理获得对应的心率数值，将心率数值传递给模块四。
步骤七：模块四接收模块三传递的心率数值之后，将心率数值以可视化的方式输出。
本发明为了在被测者脸部运动时能够正常获得心率数值，在通过摄像设备获得人脸视频的基础上，采用人脸检测算法与稳像算法获得稳定的人脸图像，解决了其他方法在视频心率测量中人体头部自由活动导致的测量失效问题。
本发明在实验验证时，通过摄像设备(网络摄像头、监控摄像头等)在自然光照环境下拍摄室内被测者的脸部视频，拍摄时被测者头部会轻微运动，实时输出被测者的心率数值。实验测得的结果如图4，图5所示，可以看出，本发明能够较为准确的测得头部轻微运动下的人体心率数值。
本发明解决了非接触状态下活动人体心率检测问题。使用常见的网络摄像头或手机摄像头拍摄实时人脸部视频，通过人脸检测算法与稳像算法确定人脸部位置，通过视频放大算法放大人脸部敏感区域的颜色变化，通过信号处理算法得到精确地实时人体心率数值。为了解决在视频心率测量中人体头部自由活动产生的问题，本发明引入了人脸检测与稳像模块，使被测者在使用中可以在摄像机拍摄范围内幅度不大的活动头部，并且能够准确地获得被测者的心率数值。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种基于机器视觉的非接触式人体体征检测方法，其特征在于，包括：
获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列；
通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置；
根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵；
利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列；
对所述放大后的脸部局部图像序列进行信号处理，得到人体体征；
根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵，包括：
采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点，对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理，得到每帧视频图像的亮度归一化系数；
根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整，得到归一化调整后的第i帧视频图像，所述第i帧视频图像为待处理图像序列中的任意一帧视频图像；
在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像；
调整所述人脸图像，以使在所有视频图像中提取出的人脸图像大小相同；
根据调整后的人脸图像得到脸部局部图像矩阵。
2.如权利要求1所述的基于机器视觉的非接触式人体体征检测方法，其特征在于，通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置，包括：
利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测，得到初步的人脸位置；
通过预设的稳像算法对所述初步的人脸位置进行修正，得到每帧图像的人脸位置。
3.如权利要求1所述的基于机器视觉的非接触式人体体征检测方法，其特征在于，利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列，包括：
对所述脸部局部图像矩阵序列进行多层降采样，并对最后的降采样结果进行带通滤波；
将带通滤波后的结果进行放大，得到放大后的信息；
通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列，得到放大后的脸部局部图像序列。
4.如权利要求1所述的基于机器视觉的非接触式人体体征检测方法，其特征在于，还包括：
显示所述人体体征的结果。
5.一种基于机器视觉的非接触式人体体征检测装置，其特征在于，包括：
预处理模块，用于获取包含人脸信息的视频图像，将所述视频图像与预先存储的若干帧视频图像合并，得到待处理图像序列；
人脸检测模块，用于通过预设的人脸检测算法和稳像算法确定出所述待处理图像序列中每帧视频图像中的人脸位置；
脸部局部图像确定模块，根据所述每帧视频图像中的人脸位置对所述待处理图像序列进行归一化处理，在归一化处理后的待处理图像序列中提取出人脸图像，并根据所述人脸图像得到脸部局部图像矩阵；
放大模块，用于利用预设的视频放大算法放大所述脸部局部图像矩阵的颜色变化，得到放大后的脸部局部图像序列；
信号处理模块，用于对所述放大后的脸部局部图像序列进行信号处理，得到人体体征；
所述脸部局部图像确定模块具体用于：
采用预设的特征点提取算法提取所述待处理图像序列中每帧视频图像的特征点，对所述待处理图像序列中不属于人脸位置的特征点的亮度进行归一化处理，得到每帧视频图像的亮度归一化系数；
根据第i帧视频图像的亮度归一化系数对第i帧视频图像进行调整，得到归一化调整后的第i帧视频图像，所述第i帧视频图像为待处理图像序列中的任意一帧视频图像；
在归一化调整后的第i帧视频图像中根据第i帧视频图像中的人脸位置提取人脸图像；
调整所述人脸图像，以使在所有视频图像中提取出的人脸图像大小相同；
根据调整后的人脸图像得到脸部局部图像矩阵。
6.如权利要求5所述的基于机器视觉的非接触式人体体征检测装置，其特征在于，所述人脸检测模块具体用于：
利用预设的人脸检测算法对所述待处理图像序列中的每帧图像进行人脸检测，得到初步的人脸位置；
通过预设的稳像算法对所述初步的人脸位置进行修正，得到每帧图像的人脸位置。
7.如权利要求5所述的基于机器视觉的非接触式人体体征检测装置 ，其特征在于，所述放大模块具体用于：
对所述脸部局部图像矩阵序列进行多层降采样，并对最后的降采样结果进行带通滤波；
将带通滤波后的结果进行放大，得到放大后的信息；
通过与所述多层降采样相同层级的升采样过程将所述放大后的信息嵌入脸部局部图像序列，得到放大后的脸部局部图像序列。
8.如权利要求5所述的基于机器视觉的非接触式人体体征检测装置，其特征在于，还包括显示模块：
所述显示模块，用于显示所述人体体征的结果。
CN201710256722.7A 2017-04-19 2017-04-19 基于机器视觉的非接触式人体体征检测方法及装置 Active CN107169419B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710256722.7A CN107169419B (zh) 2017-04-19 2017-04-19 基于机器视觉的非接触式人体体征检测方法及装置
PCT/CN2017/116060 WO2018192246A1 (zh) 2017-04-19 2017-12-14 一种基于机器视觉的非接触式情绪检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710256722.7A CN107169419B (zh) 2017-04-19 2017-04-19 基于机器视觉的非接触式人体体征检测方法及装置

Publications (2)

Publication Number Publication Date
CN107169419A CN107169419A (zh) 2017-09-15
CN107169419B true CN107169419B (zh) 2022-05-20

Family

ID=59813445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710256722.7A Active CN107169419B (zh) 2017-04-19 2017-04-19 基于机器视觉的非接触式人体体征检测方法及装置

Country Status (1)

Country Link
CN (1) CN107169419B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018192246A1 (zh) * 2017-04-19 2018-10-25 中国电子科技集团公司电子科学研究院 一种基于机器视觉的非接触式情绪检测方法
JP6968285B2 (ja) * 2018-01-22 2021-11-17 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 測定装置、測定方法、プログラム及び１つ以上のコンピュータ可読記憶媒体
CN109350030B (zh) * 2018-08-17 2020-04-21 西安电子科技大学 基于相位放大处理人脸视频心率信号的系统及方法
CN110012256A (zh) * 2018-10-08 2019-07-12 杭州中威电子股份有限公司 一种融合视频通信与体征分析的系统
CN109998501A (zh) * 2019-03-26 2019-07-12 深圳市科思创动科技有限公司 生理指标及心理指标的检测方法、装置及终端设备
CN111166313A (zh) * 2019-12-26 2020-05-19 中国电子科技集团公司电子科学研究院 一种心率测量方法、装置及可读存储介质
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统
CN111275018B (zh) * 2020-03-06 2022-10-25 华东师范大学 一种基于环形感兴趣区域加权的非接触式心率信号提取方法
CN113378798B (zh) * 2021-07-16 2023-06-23 福建师范大学 基于视频微运动放大的脉搏视频脉搏提取方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247468A (zh) * 2007-02-15 2008-08-20 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
CN104182718A (zh) * 2013-05-21 2014-12-03 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
CN105120133A (zh) * 2015-09-14 2015-12-02 浙江大华技术股份有限公司 一种消除图像闪烁现象方法及装置
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247468A (zh) * 2007-02-15 2008-08-20 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
CN104182718A (zh) * 2013-05-21 2014-12-03 腾讯科技（深圳）有限公司 一种人脸特征点定位方法及装置
CN105120133A (zh) * 2015-09-14 2015-12-02 浙江大华技术股份有限公司 一种消除图像闪烁现象方法及装置
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于像素分类的运动目标检测算法;徐以美 等;《计算机工程》;20081231;第34卷(第23期);第205-226页 *

Also Published As

Publication number Publication date
CN107169419A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107169419B (zh) 基于机器视觉的非接触式人体体征检测方法及装置
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
EP3308702B1 (en) Pulse estimation device, and pulse estimation method
Aubakir et al. Vital sign monitoring utilizing Eulerian video magnification and thermography
US9839375B2 (en) Device and method for processing data derivable from remotely detected electromagnetic radiation
US20200121256A1 (en) Video-based physiological measurement using neural networks
KR101725357B1 (ko) 휴대용 단말기를 사용하는 맥파 신호 측정 방법
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
JP2017093760A (ja) 心拍に連動する周期的変動の計測装置及び計測方法
Przybyło A deep learning approach for remote heart rate estimation
CN110222647A (zh) 一种基于卷积神经网络的人脸活体检测方法
CN110279406B (zh) 一种基于摄像头的无接触式的脉率测量方法及装置
CN110321782B (zh) 一种检测人体特征信号的系统
CN112861588B (zh) 一种活体检测的方法、装置
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
CN112669954A (zh) 一种远程心率检测系统及其方法
Rafiqi et al. Work-in-progress, PupilWare-M: Cognitive load estimation using unmodified smartphone cameras
WO2020015145A1 (zh) 一种检测眼睛睁闭状态的方法及电子设备
KR102468654B1 (ko) 보정된 이미지 기반 심박 추정 방법 및 그 장치
WO2018192246A1 (zh) 一种基于机器视觉的非接触式情绪检测方法
CN112183383A (zh) 一种复杂化环境下测量人脸图像的信息处理方法和装置
CN110547782B (zh) 一种用于无接触式测量的脉率信号处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant