CN103040452A - 非接触式的心脉量测方法及其系统 - Google Patents

非接触式的心脉量测方法及其系统 Download PDF

Info

Publication number
CN103040452A
CN103040452A CN2011103716467A CN201110371646A CN103040452A CN 103040452 A CN103040452 A CN 103040452A CN 2011103716467 A CN2011103716467 A CN 2011103716467A CN 201110371646 A CN201110371646 A CN 201110371646A CN 103040452 A CN103040452 A CN 103040452A
Authority
CN
China
Prior art keywords
heart pulse
information
pattern
contactless
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103716467A
Other languages
English (en)
Inventor
李国征
洪邦展
蔡洛纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103040452A publication Critical patent/CN103040452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种非接触式的心脉量测方法及其系统，其使用一视频撷取模块撷取至少一可见光影像，再通过一心脉运算模块将可见光影像予以标记与追踪，以得出至少一待测目标物，并统计各待测目标物于多个时间点的色彩特征值，经频域转换，以量测出各待测目标物的心脉率数值，而可达到全自动非接触方式且单次多人的心脉率估量，以使其可广泛地应用于各种量测心脉率的领域。本方法及其系统具有成本低且易于设置、全自动非接触单次量测多人的心脉率与可应用于人体多个区域以估算心脉率的优点。

Description

非接触式的心脉量测方法及其系统
技术领域
本发明涉及一种心脉率量测的技术，特别是一种运用可见光影像的非接触式的心脉量测方法及其系统。
背景技术
心脉率为人体的重要生理信号之一，故医疗人员或个人常会藉由量测心脉率，以判断生理状态。
现有的心脉量测器材多为接触式装置，较为常见有三种：
第一种，其为血氧浓度计(Pulse Oximeter)，其为量测人体血液中血红素带氧能力的仪器，该仪器利用非侵入式光技术，藉出不同波长的光源，于穿透人体组织，如手指处，再利用穿透光源变化量计算出人体血液中带氧浓度变化的信号，并配合程序运算，以得出血氧浓度与心脉值；
第二种，其为脉搏/血压计(Sphygmomanometer)，其使用气囊充气挤压动脉达到阻止血液流动，而后在慢慢泄压，在此过程中，一压力传感器检测气囊的气压与微小脉动，以量测心脉率与血压；
第三种，其为心电图(Electrocardiogram)，其于一受测者的身体粘贴多个感应片，藉由感应片感测心脉率。
如上所述的三种接触式装置皆单次仅可量测一人，无法进行连续性多人量测，心电图的感应片易造成受测者心理上的不适，并且心电图的设备较为昂贵，亦不适用。
为了可扩展至多人心脉量测应用，现今已开发有非接触式的心脉量测方式，其具有两种：
第一种，其利用远红外光装置感测人体的外显特征，再进一步分析影像的差异度，以推估心脉率；
第二种，其利用可见光的心脉量测，其以摄影机拍摄并检测人脸，再以人工方式标示人脸中多组区域，或采用全人脸区域，以分析血液流动于人脸影响产生的周期变化，而估测心脉率。
如上所述的二种非接触式的心脉量测方式，远红外光装置的价格昂贵，较不普遍，可见光的心脉量测虽可结合人脸检测算法于一画面中标示出多组人脸，而达到单次多人的心脉量测，但仅适用于正面人脸，并且需要高运算量的算法，而且人脸区域中包含许多未含心脉信息的无意义区域，如眉毛、眼睛、鼻孔或胡须，该无意义区域可能影响准确度。
发明内容
本发明所要解决的技术问题是提供一种非接触式的心脉量测方法及其系统，以达到全自动非接触方式且单次多人的心脉率估量。
为了实现上述目的，本发明提供了一种非接触式的心脉量测方法，其步骤包含有：
视频撷取，撷取包含至少一人体皮肤区域的视频或影像的图案信息；
肤色检测，判断该图案信息中与肤色相近的像素点，以输出该图案信息中各像素是否为肤色点的旗标值，以得知图案信息中所有肤色点与其对应的色彩值；
目标物标记，决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息；
色彩统计，统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值；
目标物追踪，于至少一目标物区域中在多个时间点的空间关系，以取得至少一目标物的移动轨迹；
频域转换，统计多个时间点的数据，并将该数据转换至频域，以得知该信号分布的频带及比例；
心脉检测，依据该图案数据的相邻画面的时距，以计算出各频带所代表的心脉率。
为了实现上述的目的，本发明还提供了一种非接触式的心脉量测系统，其包含有：
一可撷取含有至少一人的人体皮肤区域的视频或影像的图像信息的视频撷取模块；以及
一依据该图像信息，以计算出至少一心脉率的心脉运算模块。
本发明使用低运算量的肤色检测器快速获得肤色区域，通过标记与追踪等程序区分出画面中待测目标物的所在区域，藉由统计各目标物于不同时间点的色彩特征值，再搭配频域转换方法以量测出各目标物的心脉率数值。
如上所述的非接触式的心脉量测方法及其系统，该视频撷取模块可为摄影机，或屏幕画面、视频档案、网络视频串流的影像撷取程序等，并且本发明无需高运算量的人脸检测算法，故易于任何系统中实施，并且可应用在人体多个部位，例如头颈、手臂及手掌等区域，以估测心脉率，藉此达到全自动单次量测多人的心脉率。
本发明的技术效果在于：本发明的方法及其系统实现了全自动非接触方式且单次多人的心脉率估量。其可应用视频撷取模块撷取影像，该视频撷取模块可为摄影机，或屏幕画面、视频档案、网络视频串流的影像撷取程序等，并且全自动单次量测多人的心脉率，而且无须高运算量的人脸检测算法，以及可应用于人体的多个部位，如头颈、手臂及手掌等区域，以估测心脉率。本发明可应用的领域可包含有通用性健康评估、生理及心理状况预测、智能房间(SmartRoom)、人机互动(Human Computer Interaction)、测谎测试(PolygraphyTesting)、意图辨识(Intent Identification)或其它需要非接触式量测心脉率的应用领域。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明的非接触式的心脉量测系统的示意图；
图2为本发明的视频撷取模块的第一实施例的示意图；
图3A为本发明的视频撷取模块的第二实施例的示意图；
图3B为本发明的参考模板对于视频撷取模块的第二实施例的示意图；
图4A为本发明的视频撷取模块的第三实施例的示意图；
图4B为本发明的参考模板对于视频撷取模块的第三实施例的示意图；
图5为本发明的心脉运算模块的示意图；
图6为本发明的非接触式的心脉量测方法的流程示意图；
图7A为撷取的图案信息的示意图；
图7B为经肤色检测后的图案信息的区域影像的示意图；
图7C为所标记出的目标物的位置的示意图；
图8为色彩特征值(color value)与帧索引(frame index)的色彩时序统计图；
图9A至图9C为序列数据经频域转换的转换结果统计图；
图10为序列数据调整的流程示意图；
图11为至少三人在一图案数据的画面中的示意图；
图12为每一人具有至少二个目标物的示意图。
其中，附图标记
10    视频撷取模块
20    心脉运算模块
21    肤色检测模块
22    目标物标记模块
23    色彩统计模块
24    目标物追踪模块
25    频域转换模块
26    心脉估测模块
30    数据载体
40    示装置
50    摄影机
60    摄影机
61    参考模板
70    手持通信装置
700   摄影机
71    参考模板
80～86步骤
90～94步骤
E     手掌
F     脸部
A    头颈
B    手臂内侧
C    手臂外侧
D    掌心
A1、A2头颈
B1、B2手臂内侧
C1、C2手臂外侧
D1、D2掌心
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述：
请配合参考图1所示，本发明的一种非接触式的心脉量测系统，其包含有一视频撷取模块10、一心脉运算模块20、一数据载体30与一显示装置40。
请配合参考图2至图4所示，视频撷取模块10撷取含有至少一人的人体皮肤区域的视频或影像的图像信息，该图像信息的格式可为三原色(Red、Green与Blue，RGB)、True-Color颜色空间(亮度Luminance、色度Chrominance与浓度Chroma，简称YUV)或色彩属性模式(色相、饱和度与明度，简称HSV)，视频撷取模块10可为摄影机50、具有参考模板61的摄影机60(如图3A所示)、具有摄影机700的手持装置70，或者一可撷取画面、视频档案、网络视频串流的程序，摄影机50、60可为网络摄影机，该手持装置70可进一步具有一参考模板71(如图4B所示)。
请配合参考图5所示，心脉运算模块20具有一肤色检测模块21、一目标物标记模块22、一色彩统计模块23、一目标物追踪模块24、一频域转换模块25与一心脉估测模块26。
肤色检测模块21判断该图案信息中与人体肤色相近的像素点，并输出肤色点的旗标值。
目标物标记模块22依据肤色点的旗标值，以得出至少一目标物的位置，以及取得与统计目标物所具有的像素信息。
色彩统计模块23依据目标物，以得出至少一目标物区域的色彩特征值。
目标物追踪模块24追踪目标物，而得到各目标物区域于多个时间点的空间关系，以取得至少一目标物的移动轨迹。
频域转换模块25统计多个时间点的数据，并将其转换至频域，以得出至少一信号分布的频带(Band，b)及其比例。心脉估测模块26依据一已知的图像信息的相邻画面的时距，以计算出各频带所代表的心脉率，心脉率为一单位时间内的心跳总数。
数据载体30可储存心脉率或运算所需的参数。
显示装置40可显示心脉率。
请配合参考图6所示，本发明的一种非接触式的心脉量测方法，其步骤包含有：
视频撷取80，其经由视频撷取模块10，以撷取包含至少一人体皮肤区域的视频或影像的图案信息，该图案信息的取得可由至少一自画面撷取的影像、至少一所开启的视频档案、至少一所连接的视频串流、至少一摄影机所拍摄的影像或至少一通信装置所拍摄的影像，该图案信息依一时序储存于至少一可读取装置中，以供读取运算，该可读取装置可为一内存，该图案信息的格式可为RGB、YUV或HSV。
请配合参考图7A所示，其为经撷取的图案信息，其显示一头颈A、手臂内侧B、手臂外侧C与掌心D的区域。
肤色检测81，心脉运算模块20的肤色检测模块21，其判断图案信息中与肤色相近的像素点，以输出图案信息中各像素是否为肤色点的旗标值，其依据该图案信息的格式，并依一类神经网络(Neural Networks)为基础的色彩分类，以作肤色检测，经肤色检测后，以得知图案信息中所有肤色点与其对应的色彩值，该色彩分类系详述于K.K.Bhoyar and O.G.Kakde，″Skin colordetection model using neural networks and its performance evaluation，″Journal of Computer Science，vol.6，pp.955-960，2010，故在此不作赘述。
请配合参考图7B所示，其经肤色检测后的图案信息的区域影像，如图所示，其为一头颈A1、手臂内侧B1、手臂外侧C1与掌心D1的区域影像。
其中，t为一时间点，令It为时间点t的视频数据，称为单帧画面或画格，pt＝{c1，c2，...，ck}为It上某画素xt的色彩，其中c1，c2，...，ck为各色彩频道的数值，举例而言，若以RGB24为例k＝3、ck∈[0，255]。藉由视频撷取程序可获得各画素的色彩值pt。
目标物标记82，心脉运算模块20的目标物标记模块22，其决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息。
该目标物标记82可有下列两种方式：
其一，依据该旗标值，并通过连通组件标记(Connected ComponentLabeling)的方法，将聚邻的肤色点标记为相同的卷标，以形成一区域，再通过一设定临界值以过滤面积太小或太大的区域，符合该设定临界值的区域则视为目标物。该连通组件标记的方法详述于L.G.Shapiro and G.C.Stockman，Computer Vision.Upper Saddle River：Prentice Hall，2001.，故在此不作赘述。
如图7C所示，其通过连通组件标记的运算，以求得所标记出的目标物的位置，即为一头颈A2、手臂内侧B2、手臂外侧C2与掌心D2。
另一，定义至少一感兴趣区域，请再配合参考图3或4所示，参考模板61、71为前述的感兴趣区域，如图3A、3B所示，举例而言，若将一手掌E放置于参考模板61，摄影机60撷取手掌E的图案信息，该图案信息于肤色检测81的步骤后成为旗标值，则位于该参考模板61范围中的旗标值则为目标物，简而言之，即上述的手掌E与参考模板61的迭合位置；请再配合参考图4A、4B所示，手持装置70撷取一脸部F的图案信息，如前所述，该脸部F与参考模板71的迭合位置则为目标物，如前所述的手掌E与脸部F仅用于说明，而非限制，若所得的图案信息的尺寸可与参考模板迭合，则任何图案信息皆可应用。
色彩统计83，心脉运算模块20的色彩统计模块23，其统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值，其计算公式如下：
u t i = 1 n t i Σ ( p t s × δ ) , whereδ = 1 if x t s ∈ R t i , 0 else .
其中，于时间点t，i为目标物区域索引值，
Figure BSA00000617165800073
为色彩特征值，为目标物区域，为肤色点，
Figure BSA00000617165800076
为对应肤色点的色彩值，
Figure BSA00000617165800077
为该目标物区域的肤色点数量。
如图8所示，其为一头颈区域于不同时间点(画格)的色彩统计结果，该区域也可为上述的手臂内侧、手臂外侧或掌心等区域。
目标物追踪84，心脉运算模块20的目标物追踪模块24，追踪至少一目标物区域中在多个时间点的空间关系，以取得至少一目标物的移动轨迹。
举例而言，记录图案信息的每张画面的目标物的位置，并将相邻画面中坐标重叠的目标物视为单一物体，以记录其轨迹。
承上所述，其为于时间点t，图案信息的画面的目标物区域
Figure BSA00000617165800081
可得画面中的可追踪的目标物数量Mt及目标物信息
Figure BSA00000617165800082
j＝1，2，...Mt，其中目标物区域
Figure BSA00000617165800083
属于
Figure BSA00000617165800084
而
Figure BSA00000617165800085
为至少一目标物于各时间点的色彩特征值集合
Figure BSA00000617165800086
v t j = u t i .
频域转换85，心脉运算模块20的频域转换模块25，其统计至少一个时间点的数据，并将该数据转换至频域(Frequency Domain)，以显示信号分布的频带(Band)及其比例，该比例也可被称为系数，该系数详述于B.Boashash，Time-Frequency Signal Analysis and Processing-A ComprehensiveReference.Oxford：Elsevier Science，2003.，故在此不作赘述。
承上所述，该转换的方法可为离散傅立叶转换、快速傅立叶转换(Discrete/Fast Fourier Transform，DFT/FFT)、离散余弦转换(DiscreteCosine Transformation，DCT)、哈达码转换(Hadamard Transform，HT)或离散小波转换(Discrete Wavelet Transformation，DWT)的其中之一，该转换详述于上述的B.Boashash的著作，故在此不作赘述。
举例而言，以第j个追踪的目标物，其离散傅立叶转换公式如下：
X j ( b ) = Σ t = 1 T - 1 v t j e - i 2 πtb T , b = 0,1 , . . . , T - 1 ,
其中，T为序列数据的数量，e为自然对数的底数，i为虚数单位，Xj(b)为转换后第b个频带的系数，因此，通过转换后可求得T-1个频带所对应的系数集合，即构成频谱图(Power Spectrum)，举例而言，若以RGB为例，Xj(b)中包含色彩频道R/G/B的三组频带系数值，如图9A至9C所示，其中横轴为频带索引值(b)，纵轴为频带的系数，而该转换方法可为傅立叶转换。
于此频域转换85的步骤中，其中T为影响量测所需时间的主因，故在此步骤中进一步具有一序列数据调整，以动态调整T，进而可快速获得频域转换的结果。
如图10所示，序列数据调整具有下述的步骤：
设定初始值90，于一预先设定的心脉量测时段内，一视频撷取装置的帧率可得其最小及最大的序列数据的数量，于一时段内由小至大选用数个序列数据量作为预设参数，令集合W＝{w1，w2，…，wm}为预先选用的序列数据量集合且数值由小而大排列，其元素总数为|W|，以及设定一初始值m＝1，以使输入序列数据的数量T＝wm。
输入视频数据It 91。
过滤可处理的数据数量范围92，判断上述的It，是否符合t≥w1，m＜|W|的条件，若为是，则至下一步骤。
判断是否调整序列数据的数量93，上述步骤的It，是否符合t≥wm+1，若为是，则至下一步骤。
扩展序列数据的数量94，增加序列数据的数量。
上述的过滤可处理的数据数量范围92的步骤与判断是否调整序列数据的数量93的步骤，若所得的结果分别为否，则回到输入视频数据91的步骤，而扩展序列数据的数量94的步骤可再回到输入视频数据91的步骤重新开始每一步骤。
上述的步骤于视频撷取初期以较少数据量进行频率转换，故可短时间内获得转换数值，并随着撷取时间长度自动加大取样数据量以提升精度。
心脉检测86，心脉运算模块20的心脉估测模块26，其依据图案数据的相邻画面的时距，以计算出各频带b所代表的心脉率H(b)bpm，令图案数据的帧率(Frame Rate)为K fps，则频带b与心脉率H(b)的转换公式如下：
H ( b ) = 60 × K × b T
预先设定一合理心脉率的最小值及最大值，对目标物
Figure BSA00000617165800092
取此合理心脉率区间内具最强系数的频带
Figure BSA00000617165800093
并搭配方程式转换求得目标物
Figure BSA00000617165800094
的心脉率
Figure BSA00000617165800101
若以合理的心脉率为例，频带
Figure BSA00000617165800102
的算式如下：
b t j = arg max b X j ( b ) , 40 × T 60 × K ≤ b ≤ 240 × T 60 × K
承上所述，请配合参考图11与图12，图11为至少三人G1、G2、G3于一图案数据的画面中，如图12所示，每一人具有至少二个目标物H1、H2、H3、H4、H5、H6、H7，可利用上述的目标物标记的步骤，以得知画面中各人员的所在区域范围，再判断哪些目标物位于此人员区域内。已知各目标物均可估测得一心脉率。
综合上述，本发明的方法及其系统，其可应用视频撷取模块撷取影像，该视频撷取模块可为摄影机，或屏幕画面、视频档案、网络视频串流的影像撷取程序等，并且全自动单次量测多人的心脉率，而且无须高运算量的人脸检测算法，以及可应用于人体的多个部位，如头颈、手臂及手掌等区域，以估测心脉率。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (20)

1.一种非接触式的心脉量测方法，其特征在于，包含有步骤：
视频撷取，撷取包含至少一人体皮肤区域的视频或影像的图案信息；
肤色检测，判断该图案信息中与肤色相近的像素点，输出该图案信息中各像素是否为肤色点的旗标值，以得知图案信息中所有肤色点与其对应的色彩值；
目标物标记，决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息；
色彩统计，统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值；
目标物追踪，追踪至少一目标物区域中在多个时间点的空间关系，以取得至少一目标物的移动轨迹；
频域转换，统计多个时间点的数据，并将该数据转换至频域，以得知该信号分布的频带及比例；
心脉检测，依据该图案数据的相邻画面的时距，以计算出各频带所代表的心脉率。
2.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该视频撷取的步骤中，该图案信息的取得可由至少一自画面撷取的影像、至少一所开启的视频档案、至少一所连接的视频串流、至少一摄影机所拍摄的影像或至少一手持装置所拍摄的影像，该图案信息依一时序储存于至少一可读取装置中。
3.如权利要求2所述的非接触式的心脉量测方法，其特征在于，在该视频撷取的步骤中，该可读取装置可为一内存，该图案信息的格式可为RGB、YUV或HSV之一。
4.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该肤色检测的步骤中，其依一类神经网络为基础的色彩分类，以作肤色检测。
5.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物标记的步骤中，其依据该旗标值，并通过连通组件标记的方法，将聚邻的肤色点标记为相同的卷标，以形成一区域，再通过一设定临界值以过滤面积太 小或太大的区域，符合该设定临界值的区域则视为目标物。
6.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物标记的步骤中，其定义至少一感兴趣区域，则位于该感兴趣区域范围中的旗标值为目标物。
7.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该色彩统计的步骤中，该色彩特征值的计算公式为
Figure FSA00000617165700021
Figure FSA00000617165700022
t为时间点，i为目标物区域索引值， 
Figure FSA00000617165700023
为色彩特征值， 为目标物区域， 为肤色点， 
Figure FSA00000617165700026
为对应肤色点的色彩值， 
Figure FSA00000617165700027
为该目标物区域的肤色点数量。
8.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物追踪的步骤中，其记录该图案信息的每张画面的目标物的位置，并将相邻画面中坐标重叠的目标物视为单一物体，以记录其轨迹。
9.如权利要求8所述的非接触式的心脉量测方法，其特征在于，在该目标物追踪的步骤中，其于一时间点t，该图案信息的画面的目标物区域 
Figure FSA00000617165700028
可得画面中的可追踪的目标物数量Mt及目标物信息 j＝1，2，...Mt，其中目标物区域 
Figure FSA000006171657000210
属于 
Figure FSA000006171657000211
而 
Figure FSA000006171657000212
为至少一目标物于各时间点的色彩特征值集合
Figure FSA000006171657000213
Figure FSA000006171657000214
10.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其该转换的方法可为离散傅立叶转换、快速傅立叶转换、离散余弦转换、哈达码转换或离散小波转换的其中之一。
11.如权利要求10所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其以一第j个追踪的目标物，其离散傅立叶转换公式为： 
Figure FSA00000617165700031
b＝0，1，...，T-1，
T为序列数据的数量，e为自然对数的底数，i为虚数单位，Xj(b)为转换后第b个频带的系数，t为一时间点， 为等时距的序列色彩特征值。
12.如权利要求10所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其进一步具有一序列数据调整，其步骤具有：
设定初始值，在一预先设定的心脉量测时段内，一视频撷取装置的帧率可得其最小及最大的序列数据的数量，于一时段内由小至大选用数个序列数据量作为预设参数，令集合W＝{w1，w2，…，wm}为预先选用的序列数据量集合且数值由小而大排列，其元素总数为|W|，以及设定一初始值m＝1，以使序列数据的数量T＝wm；
输入视频数据It；
过滤可处理的数据数量范围，判断上述的It，是否符合t≥w1，m＜|W|的条件，若为是，则至下一步骤；
判断是否调整序列数据的数量，上述步骤的It，是否符合t≥wm+1，若为是，则至下一步骤；
扩展序列数据的数量，增加序列数据的数量。
13.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该心脉检测的步骤中，该图案数据的帧率为K fps，T为序列数据的数量，则频带b与心脉率H(b)的转换公式为：
Figure FSA00000617165700033
14.如权利要求13所述的非接触式的心脉量测方法，其特征在于，在该心脉检测的步骤中，其设定一合理心脉率的最小值及最大值，对该目标物取此合理心脉率区间内具最强系数的频带 
Figure FSA00000617165700034
并搭配方程式转换求得目标物的心脉率，Xj(b)为频带系数值，频带 
Figure FSA00000617165700035
的算式为 
Figure FSA00000617165700041
Figure FSA00000617165700042
15.一种非接触式的心脉量测系统，其特征在于，包含有：
一可撷取含有至少一人的人体皮肤区域的视频或影像的图像信息的视频撷取模块；以及
一依据该图像信息，以计算出至少一心脉率的心脉运算模块。
16.如权利要求15所述的非接触式的心脉量测系统，其特征在于，还具有一可储存该心脉率或运算所需参数的数据载体与一可显示该心脉率的显示装置。
17.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该图像信息的格式可为RGB、YUV或HSV的其中之一。
18.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该视频撷取模块可为一摄影机、一具有摄影机的手持装置或一可撷取屏幕画面、视频档案或网络视频串流的程序。
19.如权利要求18所述的非接触式的心脉量测系统，其特征在于，该摄影机具有一参考模板，该摄影机可为一网络摄影机，或者该手持通信装置可进一步具有一参考模板。
20.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该心脉运算模块具有：一判断该图案信息中与人体肤色相近的像素点，并输出肤色点的旗标值的肤色检测模块；一依据肤色点的旗标值，以得出至少一目标物的位置，以及取得与统计目标物所具有的像素信息的目标物标记模块；一依据该目标物，以得出至少一目标物区域的色彩特征值的色彩统计模块；一追踪该目标物，而得到各目标物区域于多个时间点的空间关系，以取得至少一目标物的移动轨迹的目标物追踪模块；一统计多个时间点的数据，并将其转换至频域，以得出至少一信号分布的频带及其比例的频域转换模块；一依据一已知的图像信息的相邻画面的时距，以计算出各频带所代表的心脉率的心脉估测模块。 
CN2011103716467A 2011-10-14 2011-11-10 非接触式的心脉量测方法及其系统 Pending CN103040452A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100137384A TW201315438A (zh) 2011-10-14 2011-10-14 非接觸式之心脈量測方法及其系統
TW100137384 2011-10-14

Publications (1)

Publication Number Publication Date
CN103040452A true CN103040452A (zh) 2013-04-17

Family

ID=48053474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103716467A Pending CN103040452A (zh) 2011-10-14 2011-11-10 非接触式的心脉量测方法及其系统

Country Status (3)

Country Link
US (1) US20130096439A1 (zh)
CN (1) CN103040452A (zh)
TW (1) TW201315438A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104434058A (zh) * 2013-09-24 2015-03-25 广达电脑股份有限公司 头戴式系统
CN104699931A (zh) * 2013-12-09 2015-06-10 广州华久信息科技有限公司 一种基于人脸的神经网络血压预测方法及手机
CN105832307A (zh) * 2015-01-29 2016-08-10 原相科技股份有限公司 阵列式生理检测系统及其运作方法
CN107079143A (zh) * 2014-10-20 2017-08-18 微软技术许可有限责任公司 用于差异图像比较的场景曝光自动补偿

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US10238292B2 (en) 2013-03-15 2019-03-26 Hill-Rom Services, Inc. Measuring multiple physiological parameters through blind signal processing of video parameters
CN104274164A (zh) * 2013-07-05 2015-01-14 广州华久信息科技有限公司 一种基于人脸图像的血压预测方法及手机
TWI546052B (zh) * 2013-11-14 2016-08-21 財團法人工業技術研究院 影像式心率活動偵測裝置及其方法
US9336594B2 (en) 2014-03-07 2016-05-10 Xerox Corporation Cardiac pulse rate estimation from source video data
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
TW201540258A (zh) * 2014-04-29 2015-11-01 Chunghwa Telecom Co Ltd 快速影像式脈搏偵測方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
EP3207865A4 (en) 2014-10-16 2017-10-25 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
US9582879B2 (en) * 2014-10-20 2017-02-28 Microsoft Technology Licensing, Llc Facial skin mask generation for heart rate detection
US10064582B2 (en) 2015-01-19 2018-09-04 Google Llc Noninvasive determination of cardiac health and other functional states and trends for human physiological systems
JP6384365B2 (ja) * 2015-03-05 2018-09-05 オムロン株式会社 脈拍計測装置及びその制御方法
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9668688B2 (en) 2015-04-17 2017-06-06 Mossbridge Institute, Llc Methods and systems for content response analysis
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
KR102229658B1 (ko) 2015-04-30 2021-03-17 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
US10080528B2 (en) 2015-05-19 2018-09-25 Google Llc Optical central venous pressure measurement
US20160338599A1 (en) * 2015-05-22 2016-11-24 Google, Inc. Synchronizing Cardiovascular Sensors for Cardiovascular Monitoring
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10376195B1 (en) 2015-06-04 2019-08-13 Google Llc Automated nursing assessment
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN108024738A (zh) * 2015-10-20 2018-05-11 莱夫毕恩技术有限公司 具生理监测的有线式音频耳机
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
CN106377240A (zh) * 2016-08-30 2017-02-08 苏州品诺维新医疗科技有限公司 一种检测心跳速率的装置及方法
JP6765678B2 (ja) * 2017-03-30 2020-10-07 株式会社エクォス・リサーチ 脈波検出装置および脈波検出プログラム
CN110236509A (zh) * 2018-03-07 2019-09-17 台北科技大学 于视频中实时分析生理特征的方法
KR102487926B1 (ko) * 2018-03-07 2023-01-13 삼성전자주식회사 심장 박동을 측정하기 위한 전자 장치 및 방법
TW201938107A (zh) * 2018-03-19 2019-10-01 秀育企業股份有限公司 利用不可見光辨識與判定生理特徵的方法
JP6944901B2 (ja) * 2018-03-29 2021-10-06 株式会社日立製作所 生体情報検出装置および生体情報検出方法
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
CN110279406B (zh) * 2019-05-06 2022-07-15 苏宁金融服务(上海)有限公司 一种基于摄像头的无接触式的脉率测量方法及装置
CN110501696B (zh) * 2019-06-28 2022-05-31 电子科技大学 一种基于多普勒量测自适应处理的雷达目标跟踪方法
CN110547783B (zh) * 2019-07-31 2022-05-17 平安科技（深圳）有限公司 非接触性心率检测方法、系统、设备及存储介质
CN114140838A (zh) * 2020-08-14 2022-03-04 华为技术有限公司 一种图像管理的方法、装置、终端设备和系统
US20230245488A1 (en) * 2020-12-03 2023-08-03 Imaging Tech Lab Llc Method of acquiring biometric information on small animals, biometric information acquisition program, and biometric information acquisition device
US20220309713A1 (en) * 2021-03-26 2022-09-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080045847A1 (en) * 2006-06-30 2008-02-21 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being
CN101959458A (zh) * 2008-03-06 2011-01-26 摩托罗拉公司 便于使用可见光图像来测定心率的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8149273B2 (en) * 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
US8771201B2 (en) * 2010-06-02 2014-07-08 Vital Herd, Inc. Health monitoring bolus
US9020185B2 (en) * 2011-09-28 2015-04-28 Xerox Corporation Systems and methods for non-contact heart rate sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080045847A1 (en) * 2006-06-30 2008-02-21 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
CN101959458A (zh) * 2008-03-06 2011-01-26 摩托罗拉公司 便于使用可见光图像来测定心率的方法和设备
WO2010100594A2 (en) * 2009-03-06 2010-09-10 Koninklijke Philips Electronics N.V. Processing images of at least one living being

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHIHIRO TAKANO, ET AL.: "Heart rate measurement based on a time-lapse image", 《MEDICAL ENGINEERING& PHYSICS》 *
DE HANN ET AL.: "True-motion estimation with 3-D recursive search block matching", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
KK BHOYAR, ET AL.: "Skin color detection model using neural networks and its performance evaluation", 《JOURNAL OF COMPUTER SCIENCE》 *
LG SHAPIRO, ET AL.: "《Computer vision》", 30 March 2001 *
MING-ZHER POH, ET AL.: "No-contact, automated cardiac pulse measurements using video imaging and blind source separation", 《OPTICS EXPRESS》 *
THE MATHWORKS,INC.: "《MATLAB Mathematics》", 30 September 2011 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104434058A (zh) * 2013-09-24 2015-03-25 广达电脑股份有限公司 头戴式系统
CN104434058B (zh) * 2013-09-24 2017-06-30 广达电脑股份有限公司 头戴式系统
US9763620B2 (en) 2013-09-24 2017-09-19 Quanta Computer Inc. Head mounted system
CN104699931A (zh) * 2013-12-09 2015-06-10 广州华久信息科技有限公司 一种基于人脸的神经网络血压预测方法及手机
CN104699931B (zh) * 2013-12-09 2018-05-25 广州华久信息科技有限公司 一种基于人脸的神经网络血压预测方法及手机
CN107079143A (zh) * 2014-10-20 2017-08-18 微软技术许可有限责任公司 用于差异图像比较的场景曝光自动补偿
CN107079143B (zh) * 2014-10-20 2019-08-20 微软技术许可有限责任公司 用于差异图像比较的场景曝光自动补偿
CN105832307A (zh) * 2015-01-29 2016-08-10 原相科技股份有限公司 阵列式生理检测系统及其运作方法
CN105832307B (zh) * 2015-01-29 2019-09-24 原相科技股份有限公司 阵列式生理检测系统及其运作方法

Also Published As

Publication number Publication date
TW201315438A (zh) 2013-04-16
US20130096439A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN103040452A (zh) 非接触式的心脉量测方法及其系统
Fan et al. Robust blood pressure estimation using an RGB camera
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
CN104138254A (zh) 非接触式自动心率测量系统及测量方法
CN111714144A (zh) 基于视频非接触测量的精神压力分析方法
CN105147274A (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN102973253A (zh) 一种利用视觉信息监测人体生理指标的方法和系统
Tran et al. A robust real time system for remote heart rate measurement via camera
CN104173051A (zh) 非接触式自动呼吸测量系统及测量方法
CN203290905U (zh) 非接触式自动呼吸测量系统
CN112294282A (zh) 基于rppg的情绪检测装置的自标定方法
Botina-Monsalve et al. Long short-term memory deep-filter in remote photoplethysmography
CN107330945A (zh) 一种基于视频的快速心率检测方法
CN112788200A (zh) 频谱信息的确定方法及装置、存储介质、电子装置
Zheng et al. Heart rate prediction from facial video with masks using eye location and corrected by convolutional neural networks
CN106343986A (zh) 一种基于摄像头的动态血压非接触监测装置
Panigrahi et al. Non-contact HR extraction from different color spaces using RGB camera
CN104063689B (zh) 一种基于双目立体视觉的人脸图像识别方法
CN106096544A (zh) 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
CN110321781A (zh) 一种用于无接触式测量的信号处理方法及装置
CN110279406B (zh) 一种基于摄像头的无接触式的脉率测量方法及装置
Oviyaa et al. Real time tracking of heart rate from facial video using webcam
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography
JP2015039487A (ja) 生理指標を用いる視線分析システムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130417