CN110037667A - 应用于工作站的基于人脸识别的人体生理参数监测方法 - Google Patents

应用于工作站的基于人脸识别的人体生理参数监测方法 Download PDF

Info

Publication number
CN110037667A
CN110037667A CN201910236620.8A CN201910236620A CN110037667A CN 110037667 A CN110037667 A CN 110037667A CN 201910236620 A CN201910236620 A CN 201910236620A CN 110037667 A CN110037667 A CN 110037667A
Authority
CN
China
Prior art keywords
personage
background server
image
recognition
physiological parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910236620.8A
Other languages
English (en)
Inventor
项乐宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Loctek Ergonomic Technology Co Ltd
Original Assignee
Loctek Ergonomic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Loctek Ergonomic Technology Co Ltd filed Critical Loctek Ergonomic Technology Co Ltd
Priority to CN201910236620.8A priority Critical patent/CN110037667A/zh
Publication of CN110037667A publication Critical patent/CN110037667A/zh
Priority to US16/833,253 priority patent/US20200311388A1/en
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/24—Computer workstation operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Hematology (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dentistry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：它包括以下步骤：(1)通过图像采集装置进行连续图像采样并上传后台服务器，当某一图像采集装置检测到有人物出现时，则进入步骤(2)；(2)由后台服务器通过人脸识别算法对比步骤(1)中检测到的人物与后台服务器上预先存储的已注册人物样本，若当前人物为已注册对象，则由后台服务器将该人物的当前生理参数信息存储到该人物的数据库中用于后续分析；若当前人物为未注册对象，则忽略。该应用于工作站的基于人脸识别的人体生理参数监测方法检测效率和准确性大大提高。

Description

应用于工作站的基于人脸识别的人体生理参数监测方法
技术领域
本发明涉及图像识别跟踪技术领域，具体涉及一种应用于工作站的基于人脸识别的人体生理参数监测方法。
背景技术
人脸识别技术在社会生活中具有越来越重要的地位和作用，目前已有将人脸识别技术应用到人体生理参数监测中。例如申请公布号为CN104182725的中国发明专利申请公开了一种基于非接触人体生理参数测量的人脸识别跟踪方法，该方法包括以下步骤：步骤(1)、对采集到的一幅图像或视频流的一帧中检测出人脸并将人脸从背景中分离出来；步骤(2)、将上述捕获的人脸图像进行特征提取，然后将提取出的人脸特征进行注册；步骤(3)、检测摄像头拍摄范围内是否存在已经注册的人脸，若存在，且当其在摄像头拍摄的范围内移动时自动地对该人脸进行跟踪，并自动地将其保存；若不存在，则返回步骤(2)，对其进行注册，更新注册信息数据库。该基于非接触人体生理参数测量的人脸识别跟踪方法在检测到人物为已注册对象时，则自动对人脸进行跟踪，并自动地将其保存，而检测到人物为未注册对象时，则对其进行注册，并更新注册信息数据库。
但是现有的基于人脸识别的人体生理参数监测方法不管是注册对象，还是未注册对象，都进行生理参数监测，它适用于机场、火车站这种不针对特定人群的场合。而工作站内的工作人员是特定的，这样将现有的基于人脸识别的人体生理参数监测方法应用于工作站时，显然会对不必要的人物进行了监控，不仅大大降低了检测效率，而且会影响检测的准确性。
发明内容
本发明要解决的技术问题是：提供一种检测效率和准确性大大提高的应用于工作站的基于人脸识别的人体生理参数监测方法。
本发明的技术解决方案是：一种应用于工作站的基于人脸识别的人体生理参数监测方法，该方法基于人体生理参数监测系统，所述人体生理参数监测系统包括后台服务器、设置在工作站内的至少一个图像采集装置，所述图像采集装置与后台服务器通信连接，其特征在于：它包括以下步骤：
(1)通过图像采集装置进行连续图像采样并上传后台服务器，当某一图像采集装置检测到有人物出现时，则进入步骤(2)；
(2)由后台服务器通过人脸识别算法对比步骤(1)中检测到的人物与后台服务器上预先存储的已注册人物样本，
若当前人物为已注册对象，则由后台服务器将该人物的当前生理参数信息存储到该人物的数据库中用于后续分析；
若当前人物为未注册对象，则忽略。
采用上述方法后，本发明具有以下优点：
本发明应用于工作站的基于人脸识别的人体生理参数监测方法只对已注册对象进行人体生理参数监测，已注册对象是与工作站相关的人员，既满足了工作站的监控要求，而且不会浪费时间在无关人员的检测上，大大提高了检测效率，实时性更好；除此之外，忽略未注册对象，只针对已注册对象，目标更明确，检测内容更精简，受到的无关干扰更少，从而更有利于提高检测的准确性。
作为优选，还包括与后台服务器通信连接的用户终端设备，系统当前工作状态包括注册状态和监控状态，所述系统当前工作状态上电初始化为监控状态，用户终端设备通过预先协定的通信方式与后台服务器进行沟通而进入注册状态；所述步骤(1)中在通过工作站内的图像采集装置进行连续图像采样并上传后台服务器之前，还由后台服务器判断系统当前工作状态是注册状态还是监控状态，只有判断出系统当前工作状态是监控状态才通过工作站内的图像采集装置进行连续图像采样并上传后台服务器，否则进入步骤(3)：系统当前工作状态为注册状态，将该人物的头像保存到该人物的数据库中。该设置可使系统具备注册状态和监控状态这两种模式，在满足用户使用需求和灵活性的基础上，又具有可控性。
作为优选，所述用户终端设备为手机，当系统当前工作状态为注册状态时，由手机的摄像头采集人物头像并上传后台服务器，由后台服务器将该人物的头像保存到该人物的数据库中。使用手机注册可使头像采集非常方便。
作为优选，人物的生理参数信息包括心率、血液流动，所述心率、血液流动通过图像采集装置所获取的连续帧图像分析得到。该设置使得图像采集装置不仅用于识别人脸，还用于获取生理参数信息，无需额外增设生理参数检测设备，大大节约成本。
作为优选，通过图像采集装置所获取的连续帧图像分析得到心率、血液流动信息包括以下步骤：
S1、采集人物的连续帧图像；
S2、提取采集到的每一帧图像皮肤区域的RGB信息，然后根据提取到的RGB三个通道信息得到三个矩阵；
S3、对步骤S2每一帧图像得到的三个矩阵进行降维，每一帧图像得到三个新矩阵；
S4、对步骤S3每一帧图像得到的三个新矩阵进行平均计算，每一帧图像的每个新矩阵分别得到一个平均值；然后以时间为横坐标，以R通道新矩阵的平均值为纵坐标，得到第一波形图；以时间为横坐标，以G通道新矩阵的平均值为纵坐标，得到第二波形图；以时间为横坐标，以B通道新矩阵的平均值为纵坐标，得到第三波形图；
S5、通过滤波器对步骤S4得到的三个波形图进行滤波；
S6、将步骤S5滤波后的三个波形图进行合并；
S7、在步骤S6合并后的波形图中，提取周期性信号为心率信号，提取包络线信号为血液流动信号。
该设置可准确获取心率、血液流动信息，且降维处理和平均计算减少了运算量，使得生理信息检测更加快速。
作为优选，步骤S1是采集人脸图像，并且步骤S2是提取人脸皮肤区域。识别人脸皮肤图像相比其他区域皮肤图像，识别更方便准确。
作为优选，步骤S4中对三个新矩阵需要进行加权平均计算；所述加权平均计算方法为：将降维矩阵的前后帧差值进行顺序排列，滤掉变化绝对值大于设定阈值的像素点，计算剩余像素点数值的平均值，这个值为当前帧该通道的平均值。通过加权平均算法，识别的准确性较高。
作为优选，步骤S3中降维是指将矩阵进行平滑化和降尺寸。通过平滑化和降尺寸，计算量较少，识别效率较高。
作为优选，步骤S1中采集前还需要进行图像亮度检测，若检测到的图像亮度不足，则需要进行曝光补偿，直到检测到的图像亮度符合标准。在采集图像之前先进行图像亮度检测，可保证采集到的识别图像亮度足够，进而可以提高后续识别判断的准确性。
附图说明：
图1为本发明应用于工作站的基于人脸识别的人体生理参数监测方法的流程图；
图2为本发明连续帧图像单通道加权平均后的信号示意图；
图3为图2进行滤波后的信号示意图；
图4为本发明连续帧图像三通道合并后的时域信息的信号示意图。
具体实施方式
下面结合附图，并结合实施例对本发明做进一步的说明。
实施例：
一种应用于工作站的基于人脸识别的人体生理参数监测方法，该方法基于人体生理参数监测系统，所述人体生理参数监测系统包括后台服务器、用户终端设备、以及设置在工作站内的至少一个图像采集装置，所述用户终端设备和图像采集装置均与后台服务器通信连接，所述图像采集装置可以设置在升降台或增高台或升降桌上，或设置在升降台或增高台或升降桌的附件上，所述用户终端设备为手机，系统当前工作状态包括注册状态和监控状态；该方法包括以下步骤：
(1)系统当前工作状态上电初始化为监控状态；
(2)判断系统当前工作状态是监控状态还是注册状态；手机通过预先协定的通信方式与后台服务器进行沟通而进入注册状态，预先协定的通信方式采用现有技术即可，例如设置密码；
若是监控状态，则进入步骤(3)；
若是注册状态，则由手机的摄像头采集人物头像并上传后台服务器，由后台服务器将该人物的头像保存到该人物的数据库中；
(3)通过图像采集装置进行连续图像采样并上传后台服务器，当某一图像采集装置检测到有人物出现时，则进入步骤(4)；
(4)由后台服务器通过人脸识别算法对比步骤(3)中检测到的人物与后台服务器上预先存储的已注册人物样本，
若当前人物为已注册对象，则由后台服务器将该人物的当前生理参数信息存储到该人物的数据库中用于后续分析；
若当前人物为未注册对象，则忽略。
作为优选，人物的生理参数信息包括心率、血液流动，所述心率、血液流动通过图像采集装置所获取的连续帧图像分析得到。该设置使得图像采集装置不仅用于识别人脸，还用于获取生理参数信息，无需额外增设生理参数检测设备，大大节约成本。
通过图像采集装置所获取的连续帧图像分析得到心率、血液流动信息包括以下步骤：
首先需要曝光补偿调节：系统在初始化时校正并锁定曝光值，曝光值的选定包括但不限于以下方法：通过整体画面的数值直方图与经验直方图进行比较调节，若直方图比较暗，提高整体数值亮度；通过检测脸部区域的亮度进行调节；通过检测脸部区域与以外区域的比较调节曝光补偿；在算法检测过程中，可以通过对背景亮度的数值监测跟踪环境光的变化，并且可以将环境光变化作为补偿反馈到人脸数值中(特别是有连续运动对象出现在背景中)。
在一个应用实例中，图像直方图数值可以作为反馈提供给用户，提示办公光线是否合宜：如，当检测到环境光弱，提醒用户增加光源和光源强度。
然后通过摄像头采集人脸的连续帧图像；
接着通过运行人脸检测算法，得到RGB三个通道对应区域范围的色彩矩阵，
在脸部区域锁定后，分别提取图像RGB三个通道的数值分别存入M*N的矩阵中，其中M为脸部区域的宽度，N为高度(M和N的值根据人物远近可变，在实际应用中，系统可以通过M和N的值变化进行图像校正，本申请可以设定M为640，N为480)。
而且假设图像的上下帧变动不剧烈，即被测对象不存在强烈的位移，可以将某一小区域内(如5*5gaussian kernel)的平均值看作是滤波后的单像素数值，保证算法不会受到由外部环境或捕捉设备硬件产生的噪声的干扰，这样通过比较同一像素点的变化，可以得到血液脉动信息。
之后为了降低计算强度和噪声干扰，需要对色彩矩阵进行模糊降维(高斯金字塔或者高斯模糊等移动均值方法)进而得到三个相对较小的矩阵，即主要是降尺寸，如将640*480的矩阵降为160*120的，之后还需要对每个矩阵每秒的信号进行进一步的加权平均，在本具体实施例中，加权平均的方法为：将降维矩阵的前后帧差值进行顺序排列，滤掉一定比例的变化绝对值相对较大的像素点，计算剩余像素点数值的平均值，这个值为当前帧该通道的平均值。
并且由于被测对象的移动和脸部动作，连续帧对应像素点的数值可能产生跳变，若将所有像素点进行加权计算，会引起信号基线的跳变。在本文算法框架中，引入离群点剔除(outlier removal)的计算：对连续帧的对应像素点取差的绝对值，将区域内绝对值的分布与经验模板对比(假设在理想情况下，该值服从正态分布)，并通过分布拟合找到经验分布的拟合参数，则将某些区域超出的部分作为outlier进行处理。
如图2所示为单通道10秒原始加权平均信号(摄像头采用频率为30FPS)。由于人脸区域的不稳定性，我们看到原始平均信号的背景噪声很大。
考虑硬件的基础噪声和人脸区域跟踪的抖动，对图2进行低通滤波，考虑到正常心率范围为0.5-3Hz，我们设置对应的带通滤波器进行滤波，图3为滤波后的效果，或者如呼吸检测，兴趣范围为0.1-0.5Hz，则也可以设置对应的带通滤波器进行滤波；
由于RGB三通道对于脸部血液流动颜色的接收强度差异，我们可以对三通道进行合并：三通道含有相同的心率信息，其他的干扰信号的强度在每个通道的强度不同，可以根据傅里叶变换在频域内将RGB三通道进行合并，并做反傅里叶得到合并后的时域信息，如图4所示，其中周期性信号为心率信号，包络线为血液信号。
通过摄像头获得的面部降维图像包括R,G,B(红，绿，蓝)三通道，由于三种色光的波长区别，渗透皮肤的深度也不同，这样反应了不同的信息：红色反应更多更准确的血液流动信息，由于渗透深度大，同时含有大量的肌肉活动等噪声信息；绿色作为最通用的心率检测色光，获得的血液流动信息最稳定(抗运动干扰，抗生理噪声等)；蓝色作为渗透最浅的色光，抗运动干扰最为有效。将三个通道的信号进行合并，可以将心率/血液流动信息进行有效的放大和提取。
通道合并的方法包括但不限于光通道投影，熵计算等。
熵计算：通道熵合并的主要思路是通过将三通道信息进行信号变换，得到每个通道的概率比重。
光通道投影：通过通道合并得到的信号为原始的血液流动信号，通过带通滤波(0.6-3Hz)可以提取有效心率范围内的信号。进而通过时域的峰值检测或频率的傅里叶变化等方法，可以计算心跳频率。在一个实例中，将滤波后的信号进行快速傅里叶变换，并对得到的频域峰值进行跟踪并识别最可能的心率频率，若最大峰值超过第二峰值的2倍，可以认为心率计算的信心程度高，为有效输出，若心率最大峰值占比连续低于一定阈值，认为检测不稳定，可以提醒用户改善环境光等指标参数。
而且心率计算后，可以结合信心指数进一步筛选信心指数高的有效心率，在用户终端可以根据心率的计算结果，显示用户的长期心率趋势。若进一步对连续的心率进行进一步分析，可以得到紧张度，心脏健康状况，心率变化等高级参数。
人脸识别算法和面部心率算法结合，可以有效的在用户端显示人物工作的详细信息：人物在工作台前出现的时间段，心率在对应期间的变化规律。进一步在心率较高是，可提醒建议用户放松和运动。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的精神与范围。

Claims (9)

1.一种应用于工作站的基于人脸识别的人体生理参数监测方法，该方法基于人体生理参数监测系统，所述人体生理参数监测系统包括后台服务器、设置在工作站内的至少一个图像采集装置，所述图像采集装置与后台服务器通信连接，其特征在于：它包括以下步骤：
(1)通过图像采集装置进行连续图像采样并上传后台服务器，当某一图像采集装置检测到有人物出现时，则进入步骤(2)；
(2)由后台服务器通过人脸识别算法对比步骤(1)中检测到的人物与后台服务器上预先存储的已注册人物样本，
若当前人物为已注册对象，则由后台服务器将该人物的当前生理参数信息存储到该人物的数据库中用于后续分析；
若当前人物为未注册对象，则忽略。
2.根据权利要求1所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：还包括与后台服务器通信连接的用户终端设备，系统当前工作状态包括注册状态和监控状态，所述系统当前工作状态上电初始化为监控状态，用户终端设备通过预先协定的通信方式与后台服务器进行沟通而进入注册状态；所述步骤(1)中在通过工作站内的图像采集装置进行连续图像采样并上传后台服务器之前，还由后台服务器判断系统当前工作状态是注册状态还是监控状态，只有判断出系统当前工作状态是监控状态才通过工作站内的图像采集装置进行连续图像采样并上传后台服务器，否则进入步骤(3)：系统当前工作状态为注册状态，将该人物的头像保存到该人物的数据库中。
3.根据权利要求2所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：所述用户终端设备为手机，当系统当前工作状态为注册状态时，由手机的摄像头采集人物头像并上传后台服务器，由后台服务器将该人物的头像保存到该人物的数据库中。
4.根据权利要求1所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：人物的生理参数信息包括心率、血液流动，所述心率、血液流动通过图像采集装置所获取的连续帧图像分析得到。
5.根据权利要求4所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：通过图像采集装置所获取的连续帧图像分析得到心率、血液流动信息包括以下步骤：
S1、采集人物的连续帧图像；
S2、提取采集到的每一帧图像皮肤区域的RGB信息，然后根据提取到的RGB三个通道信息得到三个矩阵；
S3、对步骤S2每一帧图像得到的三个矩阵进行降维，每一帧图像得到三个新矩阵；
S4、对步骤S3每一帧图像得到的三个新矩阵进行平均计算，每一帧图像的每个新矩阵分别得到一个平均值；然后以时间为横坐标，以R通道新矩阵的平均值为纵坐标，得到第一波形图；以时间为横坐标，以G通道新矩阵的平均值为纵坐标，得到第二波形图；以时间为横坐标，以B通道新矩阵的平均值为纵坐标，得到第三波形图；
S5、通过滤波器对步骤S4得到的三个波形图进行滤波；
S6、将步骤S5滤波后的三个波形图进行合并；
S7、在步骤S6合并后的波形图中，提取周期性信号为心率信号，提取包络线信号为血液流动信号。
6.根据权利要求5所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：步骤S1是采集人脸图像，并且步骤S2是提取人脸皮肤区域。
7.根据权利要求5所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：步骤S4中对三个新矩阵需要进行加权平均计算；所述加权平均计算方法为：将降维矩阵的前后帧差值进行顺序排列，滤掉变化绝对值大于设定阈值的像素点，计算剩余像素点数值的平均值，这个值为当前帧该通道的平均值。
8.根据权利要求5所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：步骤S3中降维是指将矩阵进行平滑化和降尺寸。
9.根据权利要求5所述的一种应用于工作站的基于人脸识别的人体生理参数监测方法，其特征在于：步骤S1中采集前还需要进行图像亮度检测，若检测到的图像亮度不足，则需要进行曝光补偿，直到检测到的图像亮度符合标准。
CN201910236620.8A 2019-03-27 2019-03-27 应用于工作站的基于人脸识别的人体生理参数监测方法 Pending CN110037667A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910236620.8A CN110037667A (zh) 2019-03-27 2019-03-27 应用于工作站的基于人脸识别的人体生理参数监测方法
US16/833,253 US20200311388A1 (en) 2019-03-27 2020-03-27 Human body physiological parameter monitoring method based on face recognition for workstation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910236620.8A CN110037667A (zh) 2019-03-27 2019-03-27 应用于工作站的基于人脸识别的人体生理参数监测方法

Publications (1)

Publication Number Publication Date
CN110037667A true CN110037667A (zh) 2019-07-23

Family

ID=67275294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910236620.8A Pending CN110037667A (zh) 2019-03-27 2019-03-27 应用于工作站的基于人脸识别的人体生理参数监测方法

Country Status (2)

Country Link
US (1) US20200311388A1 (zh)
CN (1) CN110037667A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626127A (zh) * 2020-04-26 2020-09-04 杨铭轲 基于人脸图像的用户信息获取方法、装置和计算机设备
CN111832622A (zh) * 2020-06-11 2020-10-27 国家计算机网络与信息安全管理中心 特定人物丑化图片识别方法及系统
CN117459833A (zh) * 2023-09-20 2024-01-26 南方科技大学 一种提取生理信号的自动曝光及增益控制方法及装置
CN118587225A (zh) * 2024-08-07 2024-09-03 沈阳康泰电子科技股份有限公司 一种非接触式生理参数监测方法及系统
CN118587225B (zh) * 2024-08-07 2024-10-22 沈阳康泰电子科技股份有限公司 一种非接触式生理参数监测方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102530222B1 (ko) 2021-03-17 2023-05-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
CN114287938B (zh) * 2021-12-13 2024-02-13 重庆大学 建筑环境中人体参数的安全区间获得方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103120581A (zh) * 2011-11-18 2013-05-29 原相科技股份有限公司 整合心跳量测及身份辨识的系统及方法
CN104182725A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 基于非接触人体生理参数测量的人脸识别跟踪系统
CN105615862A (zh) * 2015-12-21 2016-06-01 珠海格力电器股份有限公司 检测心率的方法及装置
CN108171169A (zh) * 2017-12-28 2018-06-15 深圳市赛亿科技开发有限公司 一种智能镜子控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103120581A (zh) * 2011-11-18 2013-05-29 原相科技股份有限公司 整合心跳量测及身份辨识的系统及方法
CN104182725A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 基于非接触人体生理参数测量的人脸识别跟踪系统
CN105615862A (zh) * 2015-12-21 2016-06-01 珠海格力电器股份有限公司 检测心率的方法及装置
CN108171169A (zh) * 2017-12-28 2018-06-15 深圳市赛亿科技开发有限公司 一种智能镜子控制方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626127A (zh) * 2020-04-26 2020-09-04 杨铭轲 基于人脸图像的用户信息获取方法、装置和计算机设备
CN111832622A (zh) * 2020-06-11 2020-10-27 国家计算机网络与信息安全管理中心 特定人物丑化图片识别方法及系统
CN117459833A (zh) * 2023-09-20 2024-01-26 南方科技大学 一种提取生理信号的自动曝光及增益控制方法及装置
CN118587225A (zh) * 2024-08-07 2024-09-03 沈阳康泰电子科技股份有限公司 一种非接触式生理参数监测方法及系统
CN118587225B (zh) * 2024-08-07 2024-10-22 沈阳康泰电子科技股份有限公司 一种非接触式生理参数监测方法及系统

Also Published As

Publication number Publication date
US20200311388A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN110037667A (zh) 应用于工作站的基于人脸识别的人体生理参数监测方法
CN109820499B (zh) 基于视频的高抗干扰心率检测方法、电子设备及存储介质
CN106778695B (zh) 一种基于视频的多人快速心率检测方法
CN105996993A (zh) 一种智能视频生命体征监测系统及方法
CN108596140A (zh) 一种移动终端人脸识别方法及系统
Subramaniam et al. Estimation of the Cardiac Pulse from Facial Video in Realistic Conditions.
CN102499664B (zh) 基于视频图像的非接触式生命体征的检测方法及检测系统
CN103942539B (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN108549884A (zh) 一种活体检测方法及装置
CN106073729B (zh) 光电容积脉搏波信号的采集方法
Tang et al. Non-contact heart rate monitoring by combining convolutional neural network skin detection and remote photoplethysmography via a low-cost camera
Lee et al. Contact-free heart rate measurement using a camera
CN110032966A (zh) 用于智能服务的人体接近检测方法、智能服务方法及装置
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
CN110095109A (zh) 基于升降平台的姿态检测方法
Li et al. Video is all you need: Attacking PPG-based biometric authentication
CN108717872A (zh) 基于面部、手部识别和大数据的健康分析方法及系统
JP2016193022A (ja) 脈波検出装置、及び脈波検出プログラム
Panigrahi et al. Non-contact HR extraction from different color spaces using RGB camera
US20240138692A1 (en) Method and system for heart rate extraction from rgb images
CN114557685B (zh) 一种非接触式运动鲁棒心率测量方法及测量装置
CN107944424A (zh) 分布前端人像采集及多角度人像比对方法
CN110321781B (zh) 一种用于无接触式测量的信号处理方法及装置
Zheng et al. Shielding facial physiological information in video
CN110279406B (zh) 一种基于摄像头的无接触式的脉率测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination