CN104688199B - 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 - Google Patents

一种基于皮肤色素浓度差分的非接触式脉搏测量方法 Download PDF

Info

Publication number
CN104688199B
CN104688199B CN201510122608.6A CN201510122608A CN104688199B CN 104688199 B CN104688199 B CN 104688199B CN 201510122608 A CN201510122608 A CN 201510122608A CN 104688199 B CN104688199 B CN 104688199B
Authority
CN
China
Prior art keywords
pulse
pulse signal
calculation window
frame
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510122608.6A
Other languages
English (en)
Other versions
CN104688199A (zh
Inventor
徐舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN201510122608.6A priority Critical patent/CN104688199B/zh
Publication of CN104688199A publication Critical patent/CN104688199A/zh
Application granted granted Critical
Publication of CN104688199B publication Critical patent/CN104688199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法,包括如下步骤:步骤22:视频输入;步骤23:确定计算窗口;步骤24:计算ROI区域R、G通道的平均亮度;步骤25:单帧图像信号采集;步骤26:脉搏信号的数学表达;当前计算窗口对应的脉搏信号S={S1….SM},单个信号的表达公式为Si=log(ni+1/ni);27:脉搏信号预处理;28:脉搏计算;29:下一个计算窗口;30:如果输入视频还未结束,则返回步骤23,重新在下一个计算窗口进行脉搏估算;否则,结束整个脉搏估算流程。

Description

一种基于皮肤色素浓度差分的非接触式脉搏测量方法
技术领域
本发明涉及一种利用含有皮肤区域的视频、非接触式测量人体脉搏的方法。
背景技术
脉搏是了解人体心血管系统功能的简便指标,也是反映身体状况和机能水平比较灵敏的有效指标。人体脉搏也称心率,是心脏节奏性收缩和舒张引起的动脉跳动。正常人的脉搏频率和心跳频率是一样的,且节律均匀,间隔相等。目前临床上基本采用无创检测获取人体脉搏,常用的设备是光电式脉搏传感器,常通过指尖或者耳垂接触获得脉搏数据。这种检测方式,通常被称为接触式脉搏测量。
基于光电传感器利用光强变化进行检测的原理,理论上记录反射光强度的媒介,比如经过一定距离拍摄获得的测试部位的图像/视频亦能反应脉搏的变化,即使人眼无法感知这种微弱的变化。这是一种非接触式的测量方法。与接触式脉搏测量相比,非接触式测量更加方便,可用于远程医疗、非接触式心理评估、测谎以及人机交互等多个应用领域。但目前基于视频的非接触式脉搏测量的研究还非常少。
发明内容
本发明介绍一种非接触式脉搏测量方法,该方法利用含有人体皮肤的视频作为输入,基于人体皮肤表面的色素浓度差分进行人体脉搏估算。
本发明所述的基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法,包括如下步骤:
步骤22:输入的视频是彩色的,每帧图像包含RGB三个颜色通道。视频中含有人体皮肤区域。
步骤23:确定计算窗口。脉搏信号是实时变化的,每一次脉搏计算都基于连续的M帧,称之为一个计算窗口。以下步骤中的24-28均基于当前的计算窗口。
步骤24:参照图2,从视频中提取单帧图像,并在单帧图像中定义一个包含人体皮肤的感兴趣区域(Region Of Interest:ROI)。该皮肤区域的定义可以有两种方式:
a)直接定义固定的皮肤区域,后面每帧图像都基于同样的ROI计算。
b)在第一帧定义一个皮肤区域,并在后面的每帧图像中,利用目标跟踪技术每次重新定位ROI。但是ROI大小保持不变,仅更新坐标。
定义ROI以后,所有的计算仅限于ROI区域。然后,计算第i帧图像中ROI区域R通道和G通道的亮度平均值,并分别记为r ig i
步骤25:单帧图像信号采集。根据步骤24,在当前计算窗口计算每一帧的r ig i。然后,对计算窗口内的M个r ig i分别进行去均值处理,处理后的每个数据分别记为ri和gi。单帧图像对应的脉搏信号ni计算公式为ni=ri/gi
步骤26:脉搏信号的数学表达。在光密度空间,人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示,参照图3所示。光密度空间的计算以log运算进行表达。相邻两帧的黑色素浓度以及其它剩余分量的色素浓度是不变的,可以看成直流分量(DC分量)。而相邻两帧的血色素浓度会随着血液浓度的变化而变化,可以看成交流分量(AC分量)。因此,在光密度空间,相邻帧的差分可以看成与血色素浓度变化线性相关,而血色素浓度的变化频率即为脉搏。因此,可用光密度空间相邻帧的血色素浓度差分作为脉搏信号的数学表达。当前计算窗口对应的脉搏信号S={S1….SM},单个信号的表达公式为Si=log(ni+1/ni),其中,1≤i≤M。
27:脉搏信号预处理。利用步骤26计算得到的脉搏信号含有一定的噪声,并且包含人体脉搏不可能达到的频率区间。接下来,参照图4所示,对脉搏信号进行带通滤波,去除脉搏信号中频率过低或者过高的部分。
28:脉搏计算。经过步骤27,脉搏信号S将变得更加合理,可以通过频率域中的计算获得脉搏值。参照图4所示,利用快速傅立叶变换FFT,计算脉搏信号S在频率域的极值,即为当前计算窗口中的脉搏估算值。
29:下一个计算窗口。下一次脉搏计算,将基于下一个计算窗口。相邻的计算窗口可以具有一定的重叠度,参照图5所示。
30:如果输入视频还未结束,则返回步骤23,重新在下一个计算窗口进行脉搏估算。否则,结束整个脉搏估算流程。
如图1所示,该方法具体包含以下几个模块:
(1)基于单帧图像的脉搏信号采集。该模块涉及视频中感兴趣区域ROI的确定,以及从单帧图像中计算得到对应的脉搏信号。
(2)基于连续相邻帧的人体脉搏信号表示。该模块涉及利用连续相邻帧的血色素浓度差分来表示人体血液容量的变化,并利用这种变化的数学表达式表征人体脉搏信号。
(3)人体脉搏信号的预处理。基于连续的相邻帧获得脉搏信号以后,需要通过设计数字滤波器,排除不合理的高频或者低频成份,仅保留符合人体脉搏区间的合理成份。
(4)人体脉搏估算。经过预处理,去除掉部分噪音以后,利用频率域的分析估算包含一定帧数的计算窗口内的人体脉搏。
(5)脉搏的计算窗口。人体脉搏是实时变化的,脉搏的计算基于包含一定帧数的计算窗口。下一次的脉搏计算,就要移动到下一个计算窗口。相邻计算窗口具有一定的重叠度。
本发明的工作原理是:人体皮肤中的血色素浓度影响皮肤对光的吸收。通过记录反射光强度的连续皮肤图像帧,可以细微地反映皮肤对光的吸收的变化,从而同步反映皮肤中血色素浓度的变化。这种变化频率即对应人体脉搏。
本发明的优点是:无需接触目标,只需拍摄一段包含目标皮肤区域的视频,即可估算目标脉搏,是一种非接触式的生理参数获取方法。
附图说明
图1是本发明的流程图
图2是单帧图像的脉搏信号采集模块示意图。
图3是基于连续相邻帧,利用人体皮肤血色素浓度差分建立的脉搏信号数学表达式示意图。
图4是人体脉搏信号预处理,以及在频率域的脉搏信号估算示意图。
图5是脉搏计算窗口示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细描述,但是本发明的保护范围并不仅限于此。本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
本方法的量化流程图参照图1所示,下面根据图1详细说明本方法的实施步骤。
步骤22:输入的视频是彩色的,每帧图像包含RGB三个颜色通道。视频中含有人体皮肤区域。
步骤23:确定计算窗口。脉搏信号是实时变化的,每一次脉搏计算都基于连续的M帧,称之为一个计算窗口。以下步骤中的24-28均基于当前的计算窗口。
步骤24:参照图2,从视频中提取单帧图像,并在单帧图像中定义一个包含人体皮肤的感兴趣区域(Region Of Interest:ROI)。该皮肤区域的定义可以有两种方式:
c)直接定义固定的皮肤区域,后面每帧图像都基于同样的ROI计算。
d)在第一帧定义一个皮肤区域,并在后面的每帧图像中,利用目标跟踪技术每次重新定位ROI。但是ROI大小保持不变,仅更新坐标。
定义ROI以后,所有的计算仅限于ROI区域。然后,计算第i帧图像中ROI区域R通道和G通道的亮度平均值,并分别记为r ig i
步骤25:单帧图像信号采集。根据步骤24,在当前计算窗口计算每一帧的r ig i。然后,对计算窗口内的M个r ig i分别进行去均值处理,处理后的每个数据分别记为ri和gi。单帧图像对应的脉搏信号ni计算公式为ni=ri/gi
步骤26:脉搏信号的数学表达。在光密度空间,人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示,参照图3所示。光密度空间的计算以log运算进行表达。相邻两帧的黑色素浓度以及其它剩余分量的色素浓度是不变的,可以看成直流分量(DC分量)。而相邻两帧的血色素浓度会随着血液浓度的变化而变化,可以看成交流分量(AC分量)。因此,在光密度空间,相邻帧的差分可以看成与血色素浓度变化线性相关,而血色素浓度的变化频率即为脉搏。因此,可用光密度空间相邻帧的血色素浓度差分作为脉搏信号的数学表达。当前计算窗口对应的脉搏信号S={S1….SM},单个信号的表达公式为Si=log(ni+1/ni),其中,1≤i≤M。
27:脉搏信号预处理。利用步骤26计算得到的脉搏信号含有一定的噪声,并且包含人体脉搏不可能达到的频率区间。接下来,参照图4所示,对脉搏信号进行带通滤波,去除脉搏信号中频率过低或者过高的部分。
28:脉搏计算。经过步骤27,脉搏信号S将变得更加合理,可以通过频率域中的计算获得脉搏值。参照图4所示,利用快速傅立叶变换FFT,计算脉搏信号S在频率域的极值,即为当前计算窗口中的脉搏估算值。
29:下一个计算窗口。下一次脉搏计算,将基于下一个计算窗口。相邻的计算窗口可以具有一定的重叠度,参照图5所示。
30:如果输入视频还未结束,则返回步骤23,重新在下一个计算窗口进行脉搏估算。否则,结束整个脉搏估算流程。
如图1所示,该方法具体包含以下几个模块:
(6)基于单帧图像的脉搏信号采集。该模块涉及视频中感兴趣区域ROI的确定,以及从单帧图像中计算得到对应的脉搏信号。
(7)基于连续相邻帧的人体脉搏信号表示。该模块涉及利用连续相邻帧的血色素浓度差分来表示人体血液容量的变化,并利用这种变化的数学表达式表征人体脉搏信号。
(8)人体脉搏信号的预处理。基于连续的相邻帧获得脉搏信号以后,需要通过设计数字滤波器,排除不合理的高频或者低频成份,仅保留符合人体脉搏区间的合理成份。
(9)人体脉搏估算。经过预处理,去除掉部分噪音以后,利用频率域的分析估算包含一定帧数的计算窗口内的人体脉搏。
(10)脉搏的计算窗口。人体脉搏是实时变化的,脉搏的计算基于包含一定帧数的计算窗口。下一次的脉搏计算,就要移动到下一个计算窗口。相邻计算窗口具有一定的重叠度。
上述实施流程用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。

Claims (1)

1.基于人体皮肤表面的色素浓度差分进行人体脉搏估算的方法,包括如下步骤:
步骤22:视频输入;输入的视频是彩色的,每帧图像包含RGB三个颜色通道,视频中含有人体皮肤区域;
步骤23:确定计算窗口;脉搏信号是实时变化的,每一次脉搏计算都基于连续的M帧,称之为一个计算窗口;以下步骤中的24-28均基于当前的计算窗口;
步骤24:计算ROI区域R、G通道的平均亮度;从视频中提取单帧图像,并在单帧图像中定义一个包含人体皮肤的感兴趣区域,即ROI;该皮肤区域的定义可以有两种方式:
a)直接定义固定的皮肤区域,后面每帧图像都基于同样的ROI计算;
b)在第一帧定义一个皮肤区域,并在后面的每帧图像中,利用目标跟踪技术每次重新定位ROI;但是ROI大小保持不变,仅更新坐标;定义ROI以后,所有的计算仅限于ROI区域;然后,计算第i帧图像中ROI区域R通道和G通道的亮度平均值,并分别记为r ig i
步骤25:单帧图像信号采集;根据步骤24,在当前计算窗口计算每一帧的r ig i;然后,对计算窗口内的M个r ig i分别进行去均值处理,处理后的每个数据分别记为ri和gi;单帧图像对应的脉搏信号ni计算公式为ni=ri/gi
步骤26:脉搏信号的数学表达;在光密度空间,人体皮肤的成像可以由皮肤黑色素浓度分布分量Im、血色素浓度分布分量Ih和剩余分量Ir线性组合表示;光密度空间的计算以log运算进行表达,当前计算窗口对应的脉搏信号S={S1,S2,S3,…,SM-1,SM},单个信号的表达公式为Si=log(ni+1/ni),表示脉搏信号在第i帧的取值,其中,1≤i≤M;
步骤27:脉搏信号预处理;利用步骤26计算得到的脉搏信号含有一定的噪声,并且包含人体脉搏不可能达到的频率区间;接下来,对脉搏信号进行带通滤波,去除脉搏信号中频率过低或者过高的部分;
步骤28:脉搏计算;经过步骤27,脉搏信号S将变得更加合理,可以通过频率域中的计算获得脉搏值;利用快速傅立叶变换FFT,计算脉搏信号S在频率域的极值,即为当前计算窗口中的脉搏估算值;
步骤29:下一个计算窗口;下一次脉搏计算,将基于下一个计算窗口,相邻的计算窗口可以具有一定的重叠度;
步骤30:如果输入视频还未结束,则返回步骤23,重新在下一个计算窗口进行脉搏估算;否则,结束整个脉搏估算流程。
CN201510122608.6A 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 Expired - Fee Related CN104688199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510122608.6A CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510122608.6A CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Publications (2)

Publication Number Publication Date
CN104688199A CN104688199A (zh) 2015-06-10
CN104688199B true CN104688199B (zh) 2017-03-08

Family

ID=53336073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510122608.6A Expired - Fee Related CN104688199B (zh) 2015-03-20 2015-03-20 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Country Status (1)

Country Link
CN (1) CN104688199B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6686576B2 (ja) * 2016-03-15 2020-04-22 オムロン株式会社 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
CN113487573A (zh) * 2021-07-08 2021-10-08 杭州德肤修生物科技有限公司 一种基于精确图像比对的化妆品功效量化评价方法
CN114098663A (zh) * 2021-11-26 2022-03-01 上海掌门科技有限公司 脉搏波采集方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792047A (en) * 1997-01-15 1998-08-11 Coggins; George Physiological parameter monitoring and bio-feedback apparatus
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
CN103271743A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于成像设备的非接触式血氧饱和度测量装置
CN103271734A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于低端成像设备的心率测量方法
CN103908236A (zh) * 2013-05-13 2014-07-09 天津点康科技有限公司 一种自动血压测量系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073897A1 (en) * 2014-09-13 2016-03-17 ARC Devices, Ltd Non-touch detection of body core temperature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5792047A (en) * 1997-01-15 1998-08-11 Coggins; George Physiological parameter monitoring and bio-feedback apparatus
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
CN103271743A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于成像设备的非接触式血氧饱和度测量装置
CN103271734A (zh) * 2012-12-10 2013-09-04 中国人民解放军第一五二中心医院 一种基于低端成像设备的心率测量方法
CN103908236A (zh) * 2013-05-13 2014-07-09 天津点康科技有限公司 一种自动血压测量系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Non-contact,automated cardiac pulse measurements using video imaging and blind source separation》;Ming-zher Poh etal;《Optics express》;20100510;第8卷(第10期);第10762-10774页 *
《Robust efficient estimation of heartrate pulse from video》;Shuchang Xu,etal;《Biomedical Optics Express》;20140430;第5卷(第4期);第1124-1135页 *
《基于视频实时持续心率检测及可视化》;王盛波;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20160315(第03期);E62-10 *

Also Published As

Publication number Publication date
CN104688199A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN109875529B (zh) 一种基于超宽带雷达的生命体征检测方法及系统
Fan et al. Robust blood pressure estimation using an RGB camera
CN103908236B (zh) 一种自动血压测量系统
US10448900B2 (en) Method and apparatus for physiological monitoring
US10398327B2 (en) Non-contact assessment of cardiovascular function using a multi-camera array
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
CN105266772A (zh) 一种生理参数的测量方法
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
WO2011127487A2 (en) Method and system for measurement of physiological parameters
CN103263271A (zh) 非接触式自动血氧饱和度测量系统及测量方法
Ferro et al. Automated detection of the onset and systolic peak in the pulse wave using Hilbert transform
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
Rumiński Reliability of pulse measurements in videoplethysmography
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
Qi et al. Non-contact driver cardiac physiological monitoring using video data
CN110292372B (zh) 检测装置
CN104688199B (zh) 一种基于皮肤色素浓度差分的非接触式脉搏测量方法
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
CN115003215A (zh) 根据光学数据进行脉搏传播时间测量的系统和方法
CN114929101A (zh) 根据光学数据进行生理测量的系统和方法
Zhang et al. Using rear smartphone cameras as sensors for measuring heart rate variability
Fan et al. Robust contactless pulse transit time estimation based on signal quality metric
EP3318179B1 (en) Method for measuring respiration rate and heart rate using dual camera of smartphone
Pal et al. Improved heart rate detection using smart phone
Cui et al. Non-contact time varying heart rate monitoring in exercise by video camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20180320

CF01 Termination of patent right due to non-payment of annual fee