CN110662480B - 用于测量和处理对象的生理信号的设备、系统和方法 - Google Patents
用于测量和处理对象的生理信号的设备、系统和方法 Download PDFInfo
- Publication number
- CN110662480B CN110662480B CN201880031399.6A CN201880031399A CN110662480B CN 110662480 B CN110662480 B CN 110662480B CN 201880031399 A CN201880031399 A CN 201880031399A CN 110662480 B CN110662480 B CN 110662480B
- Authority
- CN
- China
- Prior art keywords
- signal
- time
- varying
- polarity
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title abstract description 39
- 230000033001 locomotion Effects 0.000 claims abstract description 114
- 238000006073 displacement reaction Methods 0.000 claims abstract description 69
- 230000036541 health Effects 0.000 claims abstract description 48
- 230000001360 synchronised effect Effects 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 238000013186 photoplethysmography Methods 0.000 claims description 83
- 238000005286 illumination Methods 0.000 claims description 62
- 238000003384 imaging method Methods 0.000 claims description 51
- 210000001715 carotid artery Anatomy 0.000 claims description 41
- 238000010521 absorption reaction Methods 0.000 claims description 34
- 239000008280 blood Substances 0.000 claims description 18
- 210000004369 blood Anatomy 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 15
- 230000006438 vascular health Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000035515 penetration Effects 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims 1
- 230000002792 vascular Effects 0.000 abstract description 12
- 230000002123 temporal effect Effects 0.000 abstract description 7
- 230000000747 cardiac effect Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 210000001367 artery Anatomy 0.000 description 9
- 230000008901 benefit Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000000541 pulsatile effect Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000035488 systolic blood pressure Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004599 local-density approximation Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 206010003210 Arteriosclerosis Diseases 0.000 description 4
- 208000011775 arteriosclerosis disease Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000010349 pulsation Effects 0.000 description 4
- 230000035485 pulse pressure Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000002526 effect on cardiovascular system Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000009747 swallowing Effects 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000036996 cardiovascular health Effects 0.000 description 2
- 210000001168 carotid artery common Anatomy 0.000 description 2
- 210000000269 carotid artery external Anatomy 0.000 description 2
- 210000004004 carotid artery internal Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 230000035487 diastolic blood pressure Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000004731 jugular vein Anatomy 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010587 phase diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013517 stratification Methods 0.000 description 2
- 210000003270 subclavian artery Anatomy 0.000 description 2
- 210000004003 subcutaneous fat Anatomy 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 206010065558 Aortic arteriosclerosis Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 206010015856 Extrasystoles Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 241000710789 Lactate dehydrogenase-elevating virus Species 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 241001429221 Passion fruit woodiness virus Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002763 arrhythmic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 210000001326 carotid sinus Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 230000001631 hypertensive effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004410 intraocular pressure Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000037368 penetrate the skin Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0046—Arrangements of imaging apparatus in a room, e.g. room provided with shielding or for improved access to apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Vascular Medicine (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及用于处理对象的生理信号的设备和方法,并且特别涉及包括这种设备的用于监测对象的(脉管)健康参数的系统。所提出的设备(10)包括:输入接口(11),其用于获得场景的图像数据,所述图像数据包括图像帧的时间序列;提取单元(12),其用于从所述图像数据中提取指示心脏同步运动的时变信号(92),其中,所述时变信号(92)是指示表示脉管位移波形的脉管微运动的运动信号;极性确定单元(13),其用于确定所述时变信号的极性,其中,所述极性与所述时变信号的相位相对应;组合单元(14),其用于根据所述时变信号的极性对所述时变信号进行组合以获得组合信号;以及分析单元(15),其用于基于所述组合信号来确定(脉管)健康参数。
Description
技术领域
本发明涉及医学技术领域,并且具体涉及用于处理对象的生理信号的设备以及对应的方法和计算机程序。本发明还涉及用于监测对象的健康参数的对应系统。
背景技术
对于心血管健康评估,存在不同的技术,例如,使用造影剂的计算机断层摄影(CT)成像、磁共振成像、校准压平眼压计、超声成像或激光多普勒测速仪(LDV)。所有这些技术都要求有专用的仪器和训练有素的操作者。例如,LDV要求用户手动找到用于数据采集的最佳点并手动调整激光束,这是一项繁琐且容易出错的任务。
Dang等人的“Recognizing area of pulsations on the neck via videocamera systems”(国际先进通信技术会议(ATC),第139-144页,2015年)公开了一种用于探测患者颈部上的脉动区的基于相机的系统。因此,这篇文章描述了一种用于非接触式识别脉动区的系统和方法。确定脉动区并为医师标记脉动区。为了进一步完善该系统,Dang等人建议使用深度相机,因为他认为使用深度相机(3D相机)创建的深度帧来估计脉动区比使用视频相机估计脉动区容易得多。
WO 2016/187461 A1涉及光学中心静脉压测量。提出了一种计算机实施的方法,该方法包括:捕获人的颈部的视频;通过一个或多个计算设备根据一种或多种视频运动放大技术来处理捕获的视频,以生成重建的视频,在重建的视频中,在人的颈部中发生的人的静脉系统的脉动运动被放大;通过一个或多个计算设备测量经放大的脉动运动的峰值与人的解剖特征之间的距离;并且通过一个或多个计算设备基于所测量的针对经放大的脉动运动的距离来确定人的中心静脉压(CVP)。
另一方面,WO 2016/097708 A1、US 2013/0046192 A1和US2014/0155759 A1涉及不同的远程PPG方法,其中,评价由生色团(例如,氧合血红蛋白和脱氧血红蛋白)引起的随时间变化的吸收。
发明内容
本发明的目的是提供使得能够改善对(特别是指示对象的脉管健康的)健康参数的远程确定的设备、系统和方法。
根据本发明的第一方面,提出了一种用于处理对象的生理信号的设备,所述设备包括:
输入接口,其用于获得场景的图像数据,所述图像数据包括图像帧的时间序列;
提取单元,其用于从所述图像数据中提取指示心脏同步运动的时变信号,特别地,其中,所述时变信号是指示表示脉管位移波形的脉管微运动的运动信号;
极性确定单元,其用于确定所述时变信号的极性,特别地,其中,所述极性与所述时变信号的(相对)相位相对应;
组合单元,其用于根据所述时变信号的极性对所述时变信号进行组合以获得组合信号;以及
分析单元,其用于基于所述组合信号来确定健康参数。
在本发明的另外的方面,提供了一种用于处理对象的生理信号的方法。
所述方法包括以下步骤:
获得场景的图像数据,所述图像数据包括图像帧的时间序列;
从所述图像数据中提取指示心脏同步运动的时变信号,特别地,其中,所述时变信号是指示表示脉管位移波形的脉管微运动的运动信号;
确定所述时变信号的极性,特别地,其中,所述极性与所述时变信号的(相对)相位相对应;
根据所述时变信号的极性对所述时变信号进行组合以获得组合信号;并且
基于所述组合信号来确定健康参数。
根据本发明的又一方面,提出了一种用于监测对象的健康参数的系统,所述系统包括:
成像单元,其用于采集场景的图像数据;以及
如上所述的用于基于所采集的所述场景的图像数据来处理对象的生理信号的设备。健康参数能够特别是指示对象的脉管健康或状况的脉管健康参数。
在本发明的另外的方面,提供了一种包括程序代码单元的计算机程序,当在计算机上执行所述计算机程序时,所述程序代码单元用于令计算机执行如本文所述的方法的步骤,并且提出了一种非瞬态计算机可读记录介质,在所述非瞬态计算机可读记录介质中存储有计算机程序产品,当处理器运行所述计算机程序产品时,所述计算机程序产品使得执行本文公开的方法。
在从属权利要求中定义了本发明的优选实施例。应当理解,所要求保护的方法、系统、计算机程序以及非瞬态计算机可读记录介质能够具有与所要求保护的设备相似和/或相同的优选实施例,并且能够具有在从属权利要求中定义的优选实施例。
本文提出的解决方案提供了使得能够更可靠和/或更准确地确定健康参数(特别是指示对象的脉管健康或状况的脉管健康参数)的可能性。
本发明基于以下思想:确定指示心脏同步运动的时变信号的(相对)极性,根据时变信号的极性来组合时变信号以获得组合信号,并且基于组合信号来确定健康参数。
已经发现,(例如指示颈动脉位移的)脉管位移波形能够提供关于脉管系统的有价值的信息。由于位移波形非常类似于(主动脉)中心压力波形,因此对位移波形进行评估被认为是改善心血管疾病风险分层的机会。位移波形(更具体地讲是位移波形的形态)能够产生关于对象的(脉管)健康的有价值的信息。脉管位移能够转化为能够无干扰地观察到的对象皮肤上的(微)运动。因此,诸如常规的相机之类的成像单元能够采集指示心脏同步(微)运动的时变信号,该心脏同步(微)运动表示诸如颈动脉位移波形之类的脉管位移波形。
发明人已经认识到,这种指示心脏同步(微)运动的时变信号提供了能够用于改善系统性能的特殊分布。虽然指示心脏同步吸收的光体积描记(PPG)信号在感兴趣区域上始终具有相同的极性,但是已经发现,对于指示心脏同步(微)运动的时变信号,情况并非如此。相反,运动可以增加在图像的第一区域中由成像单元看到的反射光的量,同时减少在图像的第二区域中由成像单元看到的反射光的量。特别是在不均匀的光照条件(例如在倾斜角度下照射对象的皮肤)下,脉管位移例如因颈动脉位移而可能轻微提升皮肤区域,使得在表面上产生小的高地或隆起。所述高地的一侧被照亮,而另一侧则被遮蔽。这种高地的心脏同步的上升和下降运动由此引起在由成像单元捕获的图像数据中的心脏同步的强度变化,其中,该高地的两侧能够具有相反的极性。通过在组合信号时考虑指示心脏同步运动的时变信号的极性,能够提高所得到的组合信号的质量,并且可靠性和/或准确性也随之提高。简单地组合时变信号而不考虑极性实际上可能会降低所采集的组合信号的信噪比。在极端情况下,极性相反的信号可能会在组合信号中完全抵消。
如上所述,PPG信号始终具有相同的极性。PPG是一种基于吸收的技术,它依赖于以下原理:在大多数波长下,血液比周围组织吸收的光更多。在PPG的背景下,Verkruysse等人的“Remote plethysmographic imaging using ambient light”(Optics Express,第16卷,第26期,2008年12月22日,第21434-21445页)证明能够使用环境光和常规的消费者级视频相机来远程测量光体积描记信号。图像的不同像素的时变信号的吸收变化是同相的,因为它是通过测量由组织(通常是血液)中的生色团引起的吸收(变化)而引起的。在空间上相邻的位置处发生的基于吸收的信号的极性或相位基本相同。在PPG成像中,已知被监测对象的运动会影响PPG信号。因此,PPG成像中的现有技术认为运动是不想要而必须消除的影响因素。
发明人不是将运动信号简单地视为应当被抑制的伪影,而是采用了不同的方法,其将心脏同步(微)运动用于确定(脉管)健康参数。特别地,已经认识到,脉管体积/皮肤位移可能会引起皮肤表面的某些区在一个方向上影响反射光,而其他区可能在相反方向上影响反射光。为了进一步改善所得到的组合信号的质量,仅仅组合具有足够强的信号幅度的像素是不够的,必须还要考虑相位或极性。
在操作期间,用于采集图像数据的成像单元将被定向为配准对象的组织区域,该组织区域包括具有(浅)动脉(例如,颈动脉、桡动脉、股动脉等)的部分。
包括图像帧的时间序列的图像数据能够与利用像素的二维阵列采集的数据相对应,该数据例如是使用常规的视频相机中的图像传感器采集的数据。然而,该数据也可以指利用不同布置的光电传感器(例如,线阵)或甚至是与扫描技术结合的单个光电传感器采集的数据。因此,本文中持续使用的术语图像数据还能够指由1D像素阵列采集的数据,例如在使用没有扫描的线传感器时就是这样。通常,图像数据由表示场景的不同部分的多个光电传感器来提供。时变信号能够指示或对应于图像数据中的像素。本文使用的图像数据是指表示至少部分从对象的皮肤反射的电磁(EM)辐射的数据。该数据已经由一个或多个传感器并且一个或多个传感器进行得到(定期的)时间采样,以便从表示场景的不同部分的每一个传感器获得时间序列(信号)。这比照适用于结合了扫描技术的单个传感器。能够应用额外的预处理,例如,重新缩放、重新采样、选择图像数据内的区域和/或跟踪和对象的全身运动。如果传感器对场景进行不规则采样,则可以在进一步处理之前将数据重新采样到规则采样模式。
能够将时变信号的(相对)极性视为在周期性生理现象的频率下(例如在对象的心律下)的时变信号的相位。不需要知道绝对相位或极性,因为它是时变信号相对于彼此的相对极性或相位,组合单元基于该相对极性或相位将信号进行组合。
组合单元能够组合具有相同极性的信号,但是也能够通过调节(特别是通过反转)一些时变信号的极性而使得对组合信号产生贡献的所有时变信号都具有相同的极性来组合来自多个像素的时变信号。因此,即使不知道时变信号的绝对极性,极性确定单元仍然可以比较时变信号的相对极性或相位关系,然后由组合单元来考虑时变信号的相对极性或相位关系。由此,能够进一步提高信噪比。
时变信号是指示脉管微运动的运动信号。因此,与远程PPG测量结果相反,时变信号不是表示由组织中的生色团引起的时变吸收的基于吸收的信号。在一个实施例中,时变信号能够表示由成像单元采集的反射光信号的AC部分,其中,该AC部分是由脉管微运动引起的。通过皮肤相对于光源的变化取向来调制光。
在一个实施例中,所述提取单元能够被配置为仅从所述图像数据的红色通道和/或蓝色通道中提取所述时变信号。在该实施例中,图像数据能够有利地是由RGB相机采集的数据。该实施例的优点是它对心脏同步吸收变化较不敏感。特别地,血液不会强烈吸收红光。有利地,不使用绿色通道,因为它对心脏同步吸收变化最为敏感。由此,能够减少甚至消除基于吸收的伪影。
当使用红色通道和/或蓝色通道时,进一步有利的是使用被配置为发出(光谱上相对纯净的)红光和/或蓝光的照明单元,例如,660nm或450nm的LED,因为相机通道能够具有相当大的灵敏度范围,即,蓝色通道和红色通道可能仍然对绿光(如果存在的话)部分敏感。在一个实施例中,照明单元能够被配置为发出包括波长为660nm或450nm并且具有不大于80nm,优选不大于60nm,优选不大于40nm的FWHM(半峰全宽)的红光。
在一个实施例中,提取单元能够被配置为从图像数据中提取指示包含大于610nm的波长和小于500nm的波长中的至少一个波长的波长区间中的电磁辐射的时变信号。额外地或替代地,能够将不透明(但是柔性)的层施加到皮肤上,例如喷到或粘到皮肤上。由此,能够减少甚至消除基于吸收的伪影,并且还能够使用除了所指示的波长以外的波长。
在一个实施例中,所述设备还能够包括:选择单元,其用于选择与所述图像数据的所述图像帧中的感兴趣区域(ROI)相对应的时变信号;并且所述组合单元还能够被配置为组合来自所述感兴趣区域的所述选择的时变信号。特别地,选择单元被配置为将ROI选择为第一区域,该第一区域提供相同极性的信号并与提供相反极性的信号的第二区域相邻。该实施例的优点是可靠地识别出指示脉管运动的区域。已经发现,脉管运动既能够使第一区域提供具有第一极性的信号,又能够使第二区域提供具有相反的第二极性的信号。由此,能够发现发生脉管微运动的皮肤区。额外地或替代地,选择感兴趣区域能够包括搜索具有最高幅度的时变信号(其可以包括不同极性的信号),或者提供手动ROI(预)选择以例如限制处理要求。然后,基于手动预选择,选择单元能够对最具脉动的像素执行进一步的搜索,然后确定其极性。在一个改进方案中,能够选择具有相同极性的最大图像信号区。任选地,可以应用一个或多个额外的选择标准,例如,高于预定阈值的幅度、提供相同极性的区域的最小大小和/或提供相反极性的区域的大小。有利地,因此选择了受脉管运动(即,因浅动脉中的脉搏波)影响最大的一组时变信号或像素。在像素的选择中,可以额外通过波形或除了极性以外的任何其他标准来判断运动引起的信号的质量。
在一个实施例中,所述极性确定单元被配置为将所述时变信号与指示所述对象的脉搏(或脉搏速率)的信号相关。由此,能够确定脉搏速率或脉搏频率下的(相对)极性或相位。指示对象的脉搏的信号能够提供(外部)参考信号,基于运动的时变信号与该参考信号相关。在一个改进方案中,确定单元能够包括混合器,该混合器用于将时变信号与指示对象的脉搏的信号相关或混合。能够从外部提供指示脉搏的信号,例如,经由(基于接触的)脉搏血氧计来获得指示脉搏的信号,从心电图(ECG)等来获得指示脉搏的信号。参考信号能够是脉搏信号,或者是从脉搏信号导出的信号。该信号看起来像PPG脉搏或者也能够是具有从PPG传感器或ECG传感器获得的脉搏速率的正弦波。原则上,能够使用任何脉搏频率信号,并且波形不是很相关。其优点是高可靠性。替代地或额外地,指示对象的脉搏的信号能够基于PPG信号,特别是基于从图像数据导出的PPG信号。在一个实施例中,绿色通道能够用于确定PPG脉搏信号,而红色通道用于提取指示心脏同步运动的时变信号。替代地,能够通过时变信号彼此之间的相关性来确定极性,这有利地不需要外部参考。
在另外的改进方案中,指示所述对象的脉搏的所述信号是从光体积描记(PPG)信号或心电图(ECG)信号导出的。有利地,能够从图像数据中提取PPG信号。例如,当观察到来自颈动脉的运动时,能够从下巴或脸颊区域提取PPG信号,下巴或脸颊区域几乎不受脉动运动的影响。应当理解,当观察到来自其他血管的运动时,能够选择其他区。有利地,指示对象的脉搏的信号是希尔伯特变换(PPG)信号。特别是在使用ECG的情况下,在将信号用于相关性计算之前,能够通过低通滤波处理信号以去除较高的谐波。
在一个实施例中,所述健康参数能够是包括以下各项中的至少一项的脉管健康参数:硬化指数、增强压力、增强指数,以及反射幅值。该实施例的优点是提供了关于对象的脉管健康状态的特定信息。能够根据组合信号的形状来计算脉管健康参数。能够通过以下公式来定义上述参数:
硬化指数:SI=h/TDfr
增强指数:ALx=(1-max(Df))·100(%)
增强压力:AP=AIx·(SBP-DBP)
反射幅值:其中,h是对象的身高,TDfr是正向波与反射波之间的时间延迟,Df和Db表示指示颈动脉位移波形DCA的示例性时变信号的正向波形分解和反向波形分解,SBP和DBP分别表示收缩压和舒张压。参数的详细信息在Zamani等人的“Epidemiology/population reflection magnitude as a predictor of mortality-themulti-ethnics study of arteriosclerosis”(流行病学,2014年,第958-964页)和Townsend等人的“Central blood pressure waveforms in health and disease”(美国高血压学会杂志,第10卷,第1期,第22-33页,2016年)中进行了描述。
在一个实施例中,所述分析单元能够被配置为根据基于运动的(组合)信号和基于吸收的光体积描记(PPG)信号来导出所述健康参数,特别是根据所述基于运动的(组合)信号与所述光体积描记(PPG)信号之间的传递函数来导出所述健康参数。因此,能够评价基于运动的信号和基于吸收的信号之间的关系,以便导出健康参数。例如,两个信号都能够从图像数据中导出,其中,例如绿色通道指示PPG信号,而红色通道指示运动信号。额外地或替代地,运动信号和PPG信号也能够从图像数据内的不同位置导出,例如,PPG信号能够从对象的脸颊导出,而运动信号是在颈动脉附近测量的。还可以使用不同颜色的光在紧密相邻的位置处测量信号,优选在大动脉(例如,颈动脉)附近测量信号。能够评价基于运动的组合信号与PPG信号之间的延迟。该延迟可以类似于或代替脉搏传播时间(PTT)而使用,脉搏传播时间是脉管健康的另一指标,其与血压有关。
现在参考用于监测对象的健康参数的系统,在一个实施例中,所述系统还可以包括照明单元,其中,所述照明单元和所述成像单元被布置为使得由所述第一照明单元发出的光与由所述成像单位接收的光之间的角度优选为特别是所提出的成像单元和第一照明单元的布置的优点是其增强了因侧向/不均匀光照条件引起的脉动而产生的微运动的可见性。特别地,第一照明单元能够被布置为垂直于成像单元的取向。换句话说,光源能够优选被布置为使得由光源发出的光能够以倾斜角度(特别是以相对于成像单元的光轴或视线的倾斜角度)照射对象皮肤上的感兴趣区域。角度φ还能够指由第一照明单元发出的光与用于采集时变信号的感兴趣区域中的对象的皮肤的表面法线之间的角度。为了评价微运动,已经发现光表面相对于皮肤法线的取向是高度相关的。有利地,第一照明单元具有几乎平行于对象的皮肤的取向或相对于对象的皮肤法线几乎为90°的取向。成像单元应当有利地垂直于患者的皮肤表面或平行于皮肤法线。与现有技术中的具有有害影响的倾斜角度照明的PPG测量相反,本系统期望使运动灵敏度最大化。换句话说,成像单元的光轴或视线与第一照明单元的主发射方向之间的角度应当为90°±45°,特别是±30°。本文使用的垂直或正交可以指90°±45°的角度,特别是90°±30°的角度。平行可以指0°±30°的角度,优选是0°±20°的角度。在PPG成像中,由于运动灵敏度的提高,倾斜角度照射会使系统变得非常容易出错,因此在PPG中应当避免使用倾斜角度照射。
在另外的改进方案中,所述系统还可以包括第二照明单元,其中,所述第二照明单元和所述成像单元被布置为使得由所述第二照明单元发出的光与由所述成像单元接收的光之间的角度θ为|θ|≤30°,特别是|θ|≤20°。特别地,第二照明单元能够被布置为平行于成像单元的取向。因此,第一照明单元能够被布置为提供感兴趣区域的侧向照明,而第二照明单元能够被布置为提供感兴趣区域的正交照明。角度θ还能够指由第二照明单元发出的光与用于采集时变信号的感兴趣区域中的对象的皮肤的表面法线之间的角度。应当理解,在操作期间,由于健康参数的确定(特别是脉管健康参数的确定)通常是在合作对象同意的情况下进行的测量,因此该系统能够被布置在相对于对象的皮肤的预定取向中。在一个实施例中,第二照明单元可以被配置为提供补光,这是因为皮肤的某些部分否则可能被完全遮蔽。因此,当应用AC/DC标准化时,处于低亮度的皮肤部分可能会转化为传感器噪声。替代地,可以通过在标准化之前向像素值增加一点偏差来规避这个问题。因此,提供额外的补光可以减小传感器噪声的影响。额外地或替代地,第一照明单元能够用于获得指示皮肤的心脏同步运动的时变信号,而第二照明单元能够用于获得指示血液吸收的时变信号。
在一个实施例中,第一光源能够被配置为发出第一波长的光,所述第一波长的光提供对血液的低吸收和/或提供浅的皮肤穿透深度,所述第一波长的光特别是小于500nm或大于610nm的波长的光。例如,第一光源能够被配置为发出红光,这有助于降低对吸收变化的灵敏度,因为血液对红色吸收较低。替代地或额外地,能够例如使用450nm的波长的蓝光,这种蓝光因高的散射而提供低的穿透深度,从而使PPG污染最小。即使450nm附近的蓝光被血液高度吸收,也不会显著穿透皮肤。结果,它几乎不会示出任何PPG信号。
在一个实施例中,第二光源能够被配置为发出第二波长的光,所述第二波长的光提供对血液的高吸收,所述第二波长的光特别是在500nm至610nm之间的波长的光,特别是在520nm至590nm之间的波长的光。有利地,第二波长还应当能够穿透到皮肤中。有利地,与该第二波长的照明相对应的所采集的信号然后由皮肤中的血容量变化和相应的吸收变化所主导。有利地,能够使用在520nm至590nm之间的波长的绿光。550nm附近的波长的光会穿透皮肤并被血液高度吸收。结果,PPG信号在这种波长附近最高。
附图说明
参考下文描述的(一个或多个)实施例,本发明的这些方面和其他方面将是明显的并且得到阐明。在以下附图中:
图1示出了根据本发明的一个方面的系统的第一实施例的示意图,
图2示出了包括颈动脉的颈部解剖结构的示意图,
图3示出了系统的第二实施例的部件的布置的俯视图的示意图,
图4示出了根据本发明的一个方面的设备的第一实施例的示意图,
图5示出了处理步骤的示例性流程图,
图6示出了图示指示心脏同步运动的时变信号的图,
图7示出了确定时变信号的极性的示例性实施例,
图8示出了图示由运动引起的极性不同的区域的图,
图9示出了图示波形成分分析的图,
图10示出了所采集的图像数据以及在不同的颜色通道中的时变信号的绝对值和相位的图,
图11示出了时变信号的另外的示例,
图12示出了图示PPG信号与指示心脏同步运动的时变信号之间的关系的图,
图13示出了图示波形处理的步骤的图,并且
图14示出了图示运动伪影的减少的图。
具体实施方式
图1示出了根据本发明的一个方面的系统1的示意图,系统1包括用于处理对象100的生理信号的设备10。系统1和设备10可以优选用于处理来自包括对象100的图像帧的时间序列的图像数据的对象100的生理信号的方法。对象100(在该示例中为患者)坐在躺椅2中,例如坐在医院或其他医疗机构中或在家中或在其他环境(例如,健身环境)中的躺椅2中。成像单元20可以包括相机(也被称为探测单元)以用于采集场景的图像数据,特别是用于采集对象100(优选包括对象100的皮肤区101)随时间的图像帧的序列(从中能够导出指示心脏同步运动的时变信号)。在设备10的应用中,皮肤区101优选在颈部区(例如,颈部右侧)中,该颈部区不仅包括在颈动脉附近的皮肤部分,而且还可以是对象身体的具有可见的皮肤表面并受到心脏同步运动影响的另一区,例如,对象的手掌区域。
图2示出了要由成像单元成像的示例性场景。在图2中示出了对象100的头部和头颈区域101的侧视图。在图2中还图示了若干表面下解剖特征,例如,颈内动脉102、颈外动脉103、颈外静脉104、颈内静脉105、颈总动脉106以及胸锁乳突肌107。
本发明的示例性使用情况是从由成像单元20采集的图像数据中导出颈动脉位移波形作为指示心脏同步运动的时变信号。颈动脉位移波形的形态提供了关于动脉系统的有价值的信息。由于位移波形非常类似于(主动脉)中心压力波形,因此对位移波形进行评估被认为是改善心血管疾病风险分层的机会。特别令人感兴趣的是与动脉硬化和波反射幅值有关的脉管参数的导出。已经发现,能够通过从单个波形测量主动脉脉搏波速度(PWV)来导出动脉硬化。同样,中心取向指数(AIx)和脉压是所有引起死亡的独立预测因子,而反射幅值(RM)(其被定义为反向波与正向波之比)是对于用于预测心力衰竭的PWV的有价值的分量。这些参数将在下面进一步详细解释。
由于颈动脉是可扩张的血管,因此其直径和内部压力在生理范围内密切相关。与心脏相关的皮肤运动引起指示所述心脏同步运动(sMOT)的时变信号,在颈动脉附近能够观察到这种时变信号。已经发现,这种时变信号在以下程度上能够被看作是中心脉搏的近似替代物:颈动脉血管壁的移动被传递到覆盖在上面的皮肤,而皮下脂肪和结缔组织没有明显的阻尼作用。因此,建议基于指示能够从图像数据提取的心脏同步运动的时变信号来确定(脉管)健康参数。
已经发现,通过利用成像单元20(例如,常规的RGB相机)对对象100的颈部进行成像来采集颈动脉位移测量结果是可行的。
由成像单元20捕获的图像帧可以具体对应于借助于例如(数字)相机中的模拟或数字光电传感器捕获的视频序列。这种相机通常包括诸如CMOS或CCD传感器之类的光电传感器,其也可以在电磁辐射的特定光谱范围(可见光、近红外)中操作或者提供针对不同光谱范围(特别是有利于不受干扰地采集心脏同步运动并任选地还使得能够提取光体积描记(PPG)信号的波长)的信息。相机可以提供模拟信号或数字信号。图像帧包括具有相关联的像素值的多个图像像素。能够针对每个像素、一些像素或一组或多组像素分别提取时变信号。特别地,图像帧包括表示利用光电传感器的不同光敏元件捕获的光强度值的像素。这些光敏元件在特定的光谱范围(即,表示诸如RGB之类的特定颜色的光谱范围)内可以是敏感的。图像帧包括表示人的皮肤部分的至少一些图像像素。由此,图像像素可以对应于光电探测器的一个光敏元件及其(模拟或数字)输出,或者可以基于多个光敏元件的组合(例如通过分箱)来确定。
系统1还可以包括第一照明单元21。第一照明单元21能够被配置为发出第一波长的光,该第一波长的光提供对血液的低吸收和/或提供浅的皮肤穿透深度。第一照明单元21能够被布置为提供侧向照明。取决于皮肤相对于照明单元21的取向的角度,例如在颈动脉顶部上的皮肤的心脏同步运动转化为因图像数据中的脉动皮肤所引起的强度变化。
图3图示了用于监测对象的健康参数的系统1的实施例的俯视图的示意图。第一照明单元21和成像单元20优选被布置为使得由第一照明单元发出的光与由成像单元接收的光之间的角度为特别是颈动脉附近的移动皮肤的不均匀光照会增加相机采集的亮度变化。如图3所示,第一光源21优选被布置为基本上垂直于成像单元20的取向。第一照明单元21应当相对于皮肤法线具有小的角度,即,以倾斜角度提供侧向照明。
如图1和图3所示,该系统可以任选地还包括第二照明单元22。第二照明单元22和成像单元20优选被布置为使得由第二照明单元发出的光与由成像单元接收的光之间的角度θ为|θ|≤30°,特别是|θ|≤20°。如图3所示,第二照明单元22优选被布置为基本上平行于成像单元20的取向。应当理解,照明单元21、22和成像单元20能够全部被布置在相同平面或不同平面中。
第一照明单元21优选被配置为发出第一波长的光,该第一波长的光提供对血液的低吸收和/或提供浅的皮肤穿透深度,该第一波长的光例如为波长为650nm的红光和/或波长为450nm的蓝光。例如,在红色波长下执行的视频录制从所需的颈动脉位移信号DCA(时变信号)得到大得多的贡献。已经发现红色通道中的基于吸收的贡献在可见红外光谱中具有最低的强度。
第二照明单元22优选被配置为发出提供对血液具有高吸收的第二波长的光。例如,能够发出550nm附近的波长的光(即,绿光)。该光穿透皮肤并被血液高度吸收。结果,在该第二波长下能够获得具有强幅度的PPG信号,而在第一波长下能够获得具有强幅度的运动信号。额外地或替代地,第二照明单元也可以提供如上所述的补光。
照明单元21、22也能够被称为照明源或光源或电磁辐射器。照明单元可以包括灯或LED以用于利用例如在预定波长范围或如上所述的范围内的光来照射/辐照对象100的感兴趣区域101。相机20探测响应于所述照明而从感兴趣区域101反射的光。在另一实施例中,没有提供专用光源,而是使用环境光来照射对象100。设备10可以仅从反射光中探测和/或评价一个或多个期望波长范围内的光,例如,绿光和红光或红外光。成像单元20被有线或无线地连接到设备10。此外,能够将由成像单元20提供的图像数据存储在本地或远程,并且可以同时地或在稍后的时间和/或在与对象相同的位置或远程位置处由设备10来处理该图像数据。
设备10还能够被连接到接口25,接口25用于显示所确定的信息和/或用于向医学人员提供用于改变设备10、成像单元20、第一照明单元21、第二照明单元22的设置和/或系统1的其他参数的接口。这种接口25可以包括不同的显示器、按钮、触摸屏、键盘或其他人机接口单元。
设备10、成像单元20、接口25以及任选地还有第一光源21和第二光源22中的一个或多个光源之间的单向或双向通信可以经由无线或有线通信接口来工作。本发明的其他实施例可以包括设备10,设备10不是独立提供的,而是被集成到成像单元20或接口25中。
图4示出了根据本发明的一个方面的设备10的第一实施例的第一示意图,该设备可以用作图1或图3所示的系统1中的设备10。用于处理对象100的生理信号的设备10包括用于获得场景的图像数据40(例如,包括图像帧的时间序列的图像数据)的输入接口11。图像数据能够由设备10接收或检索。例如,图像数据能够经由有线或无线接口从成像单元20接收,或者能够从诸如基于云的存储设备或服务器之类的数据源来检索。时变信号41能够是指示脉管微运动的运动信号。提取单元12从图像数据40提取指示心脏同步运动的时变信号41。个体时变信号能够对应于图像帧的个体像素的相应的时间序列。时变信号也可以从一组(相邻)像素或从一个或多个图像帧分割得到的区中导出。有利地,提取单元被配置为例如在图像数据由常规的RGB相机提供的情况下从图像数据的红色通道中提取时变信号41。然后,极性确定单元13确定时变信号41的极性。
极性确定单元13能够被配置为将时变信号41与指示对象100的脉搏的信号42相关。优选地,能够使用已知的PPG技术(特别是使用由RGB相机提供的图像数据的绿色通道)从图像数据中导出对象的脉搏。额外地或替代地,如图4所示,可以从外部提供脉搏信号,例如从(经滤波的)ECG测量结果或从脉搏血氧计提供脉搏信号。由此能够确定时变信号41的(相对)极性或相位。然而,也能够基于(例如借助于快速傅立叶变换等)对一个或多个时变信号本身进行频谱分析并将时变信号彼此进行比较来确定时变信号的相对极性。
组合单元14然后根据时变信号的极性将时变信号进行组合以获得组合信号43。能够从极性确定单元13提供关于时变信号的极性的信息,作为极性信号42。最后,分析单元15基于组合信号43来确定(脉管)健康参数,然后能够将(脉管)健康参数提供为设备44的输出。再次参考图1,结果能够被示出在人机接口25上。
信号41和42能够被直接提供给组合单元14。在图4所示的实施例中,提供了任选的选择单元16。选择单元16能够被配置为选择与图像数据的图像帧中的感兴趣区域(ROI)相对应的时变信号41,该感兴趣区域具体为提供相同极性的信号并与提供相反极性的时变信号的区域相邻的区域。组合单元还能够被配置为组合来自所述感兴趣区域的所述选择的时变信号41'。
选择单元16还可以考虑指示对象100的脉搏的信号42。例如,该选择能够基于在对应的脉搏速率下的时变信号的幅度。
在下文中,将参考提取指示来自对象的颈部的颈动脉位移的信号的示例来解释处理生理信号(特别是指示对象的心脏同步运动的时变信号)的更详细的描述。
有利地,如图1所示,由第一照明单元21以倾斜角度照射对象100的颈部的侧面。该条件在实践中能够容易地得到满足并且确保相机能够探测到与心脏有关的皮肤运动,因为成像单元20对微小的亮度变化敏感,在例如颈动脉(例如,颈动脉窦)中的脉动的动脉斑点附近最为敏感。对于这些特定的斑点,能够使用以下方法对由相机在颈动脉附近采集的时变信号或与心脏有关的皮肤运动信号(sMOT)进行建模:
其中,指数t、分别指时间依赖性、空间变异性(水平和垂直图像平面)。该量具有被定义为其中,其中,fHR和fs分别是脉搏速率和采样频率,因此将上述公式的范围缩小到与心脏有关的频带。量f(DCA)是颈部皮肤处的颈动脉位移的函数f(·),并且在给定的示例中,量f(DCA)是指示心脏同步运动的所需的时变信号。虽然颈动脉壁与皮肤表面信号之间的皮下脂肪组织可能是信号阻尼的来源,对于高次谐波尤为如此,但是对于颈部运动信号假定f(·)为线性是合理的,因为角度变化在1度的量级内。贡献PPGλ是指来自在采集数据的波长或相机通道中的(远程)PPG信号的干扰条件。已经发现,PPG波形取决于光的位置和穿透深度。因此,不能假定PPG信号类似于希望探索的动脉扩张,因此,优选选择使PPG信号的贡献最小化。例如,可见光谱的图像数据的红色通道用于评价运动,因为相对PPG信号强度在可见红外波长范围内最低。
可以确认的另一干扰源是用(CMBCG)表示的共模心冲击描记运动。BCG信号从心脏传播到头部,即使在利用颈部支撑物仰卧着的对象中也能够由相机采集BCG信号。BCG波形不同于动脉运动波形,并且在非正交照明(例如靠近对象轮廓的边缘进行照明)时最明显。能够应用滤波来滤除因呼吸引起的共模贡献或共模运动,因为它不是在感兴趣的时变信号的与心脏有关的变化的频率下发生的并且能够由提取单元任选地通过应用滤波来去除。最后,贡献可以解释在与心脏有关的频带处的相机噪声(白噪声)和偶发的随意运动(例如你,吞咽)。为了方便起见,下面将省略下标t、和
已经发现,在这些条件下,来自RGB相机的红色通道(PPG红色)中的共模BCG和PPG信号的联合干扰贡献通常低于在颈动脉附近采集的与DCA有关的分量的数量级。因此,已经发现,由于所采集的因运动而产生的时变信号能够被认为对sMOT信号起主要作用,即,sMOT≈κDCA+n,其中,κ是取决于实际的动脉壁位移、因血管到皮肤组织的衰减以及局部光照区域的梯度的未知增益因子。
在另外的任选步骤中,能够执行集合求平均,即,对来自多个连续的sMOT心动周期的sMOT的波形求平均,以提供对颈动脉壁位移波形DCA的估计结果(以任意单位表示)。颈动脉壁扩张与中心脉压(CPP)波形有关。中心脉压(CPP)的值也能够在激光多普勒测速仪(LDV)的背景下得到证明。位移到压力的转换能够通过对非线性和滞后进行适当校正来完成,并且可以通过基于指数或甚至正切的函数以及将sMOT的脚到峰的幅度缩放为臂舒张压(DBP)和臂收缩压(SBP)来实现。假设从位移到压力具有非线性传递函数的非线性模型可以更准确地转化每个心动周期中的血管壁动力学。
尽管如此,已经发现,针对压力与位移波形之间是线性的假设造成的滞后效应不是太严重,并且有利地,颈动脉压力与直径之间关系能够被认为是线性的。这种方法的优点是它简化了信号处理。在下文中,假设具有线性关系。为了简单起见,sMOT波形以标准化的0至1或按压力缩放的形式来呈现。
在这种背景下,图1示出了用于基于相机从皮肤(微)运动(sMOT)采集颈动脉位移波形的系统1的实施例。在用于采集图像数据的视频记录期间,对象100坐在椅子上,其背部和头部支撑处于卧位,其中,提供了相对于垂直平面成大约70度角的背部支撑。在实验验证中,指示对象朝前看或向右倾斜头部,使得对象的颈部右侧暴露于成像单元20,同时正常呼吸并避免在视频记录期间的随意运动。
图像采集单元20能够是常规的RGB相机(例如,来自IDS的全局快门RGB CCD相机USB UI-2230SE-C),其具有500×500像素,8位深度,以每秒30帧(fps)的恒定帧速率运行。能够以未压缩的位格式存储图像数据,以避免因压缩技术引起的额外失真。如上所述,利用用于侧向照明的第一照明单元21来照射对象,从而提供不均匀的照明条件以及基本上平行于相机的第二照明单元22。为了避免心率频率失真,照明单元以22kHz左右的非常高的频率在AC模式下运行,该频率也足够高以防止干扰相机帧速率。
第一光源21被布置为在对象100的颈部的颈窦附近提供切向照明。这增强了相机传感器对颈动脉脉动(作为微小的亮度变化)的可见性。但是,侧向/不均匀的光照条件通常会导致皮肤的某些部分处于非常低的亮度(例如,在8位传感器的255个值中低于30个最低显著值),这将转化为AC/DC标准化sMOT流上的传感器噪声放大率。为了克服这个问题,能够将第二照明单元22放置在皮肤前面并垂直于第一光源以提供所谓的补光,即,提高平均局部亮度水平并使传感器噪声的有害影响最小化。在图1所示的布置中,第一照明单元21到对象100的颈部的距离为大约30-50cm,而对于第二照明单元22,该距离为80-100cm。在本示例中,与图像采集同步地,在右手食指处以发射模式记录基于接触的PPG信号(cPPG)(模型CMS50E,Contec,中国)。由于比DCA的信噪比(SNR)高,因此cPPG信号能够用作参考,以探查视频记录期间的瞬时脉搏速率,并且cPPG信号能够用作用于计算基于图像数据获得的时变信号的极性的参考/模板。在所示示例中,右上肢被支撑在刚性水平台28上而处于心脏的水平线上。
图5示出了图示用于处理由成像单元20采集的图像数据的示例性处理管线或流程图的图。在第一预处理阶段51中,执行任选的预处理步骤,以将图像分割成用于组装sMOT流的时变信号的二维阵列的有效皮肤像素和非皮肤像素。能够通过已知的技术来识别皮肤区域,这些已知的技术例如为手动选择、基于颜色的皮肤识别,甚至是基于PPG的测量。任选地,如下所述,能够降低由相机提供的图像数据的分辨率。可以将流转换为标准化的AC/DC。然后,能够基于时变信号与指示对象的脉搏的信号之间的相关性(例如,cPPG波形与作为时变信号的个体sMOT流之间之间的复杂内积)来计算脉动的皮肤的2D强度的微运动图。这些幅度图能够用于指导用户划定合适的感兴趣皮肤区域以查询颈动脉位移。替代地,能够借助于选择单元来执行自动选择。然后能够将来自这些感兴趣区域的信号进行集合平均化并将其作为用于波分离分析的输入,从而得到每个测量信号的正向位移波和反射位移波的分解结果。图5所示的处理步骤的最终结果是健康参数,例如,心血管(CDV)健康的生物标志物,其示例能够是硬化指数(SI)和各种潜在的临床相关波反射参数(例如,增强压力(AP)、增强指数(AIx)和反射幅值(RM))。
在下文中将提供对图5所示的处理步骤的更详细描述。参考预处理步骤51,首先,任选地利用高斯核(框大小为45×45个像素)对图像数据或视频帧(红色通道,原始大小为500×500个像素)进行模糊处理,以降低传感器和量化噪声的影响,然后将其大小调整为原来的1/5,得到的图像大小为100×100个像素。能够将包括图像帧的时间序列的图像数据视为三维数据立方体,该三维数据立方体具有二维(水平x和垂直y)帧坐标和离散时间的维度l=1…L,其中,L是视频记录的有效部分的长度。任选地,能够通过预定义的掩模来识别皮肤区域。此外,除了任选地排除非皮肤像素以外,还能够排除过度曝光的部位和(例如因被体毛覆盖而导致)亮度非常低的皮肤。在本实施例中,在数据立方体的有效皮肤坐标(x,y)处的每个时变信号被表示为sMOT流。任选地,能够应用标准化步骤以限制亮度变化的影响。能够通过以下公式来实现转换:
其中,sMOTLPF(x,y)能够通过(例如使用截止频率为30Hz的9阶巴特沃斯IIR滤波器进行)sMOTLPF信号的任选的低通滤波(LPF)来生成,其中,x,y=1…100并且l=1…L。为了方便起见,下面将省略下标AC/DC。
图6在上部曲线图(a)中图示了示例性原始时变信号,并且在下部曲线图(b)中图示了标准化时变信号。水平轴表示样本x,而垂直轴分别表示原始幅度A或标准化幅度A[AC/DC]。从图6(b)能够看出,时变sMOT信号的幅度在原点附近是稳定的,而如图6(a)所示的原始信号的趋势和低频漂移得到改善。因此,预处理步骤51的输出能够是从图像数据中提取的指示心脏同步运动的时变信号。这种提取能够由图4中的提取单元12来执行。
图5在第二步骤52中涉及皮肤微运动的相对强度的映射。为了将成像单元的传感器噪声的影响降至最低,同时将大部分能量保留在时变的sMOT信号内,能够应用自适应带通滤波(ABPF)。作为第一步骤,能够基于时变信号本身或任选地基于(例如来自接触式PPG探头的)外部信号来确定脉搏速率频率(fHR)的基本分量。在给定的示例中,以具有60%重叠和汉明窗口的重叠加法方案来处理256个抽头的段。对于每个数据段,通过峰值检测从例如cPPG信号中探查脉搏速率。
图7图示了指示心脏同步(微)运动的时变信号的极性或相位φ和幅度A的确定结果。图7的右上图示了微运动信号的幅度图71。幅度图71中指向幅度图中的热点的箭头图示了颈动脉的最大运动的位置。已经发现,颈动脉位移信号DCA通常在动脉分叉附近最强(参见图2,其中,颈总动脉106分成颈内动脉102和颈外动脉103)。
右下图图示了针对图像数据的每个像素(x,y)的时变信号的相位图72。幅度图71和相位图72能够通过以下操作来获得:将图像数据的个体像素的时变信号作为第一输入,并且将(这里是从接触式PPG探头(任选地经过滤波和希尔伯特变换)获取的)脉搏信号cPPG作为第二输入,并且获取第一输入与第二输入的复杂内积。换句话说,能够确定来自存储有空间变化的sMOT信号41和cPPG作为用于内积的模板信号的数据立方体的复杂内积。在给定的示例中,对cPPG信号进行希尔伯特变换和标准化,使得:
其中,Re(·)是实算子,并且是经过标准化和希尔伯特变换的参考信号/模板;即,其中,C是实标准化常数。对于每个图像坐标(x,y),与每个局部sMOT(x,y,l)(l=1…L)之间的复数内积的结果是一个复数,其幅度和相位结果被图示在如图7的右侧所示的对应的幅度图71和相位图72中。如图7中的幅度图71中的箭头所示,最强的强度点是在颈窦周围出现的sMOT图像。
虽然绝对相位在本公开内容中仅起到次要作用,但是它能够用作识别信号反转的工具,即,能够用于确定强烈脉动点中的(在相位图中大约有180度的相移的)极性和极性反转。当组合时变信号时,建议注意相位反转。因此,建议不要简单地组合强幅度的时变信号,而是根据其极性来组合时变信号以获得组合信号。有利地,具有相同极性的最大区域的时变信号能够被组合以获得组合信号。任选地,选择单元用于选择图像数据的图像帧中的感兴趣区域,该感兴趣区域具体为提供相同极性的信号并与分别由区域R1和R2指示的提供相反极性的信号的区域相邻的区域。组合单元还能够被配置为组合来自所述感兴趣区域(这里是区域R1)的时变信号。任选地,来自区域R2的时变信号能够在极性上反转并且还能够与来自区域R1的信号组合以获得强度进一步增大的组合信号。
应当理解,也能够使用颈部或胸骨凹口内的替代位置,或者也能够使用身体的不同部分(例如,对象的手掌)来进行评价。
图8进一步图示了即使在受到相同的动脉微运动的影响下相邻区域也具有不同极性的原理。在图8(a)的上部曲线图中,对象的皮肤102示出了隆起,而在图8(b)的下部曲线图中,皮肤102示出了凹陷。如果光以倾斜角度入射到组织上,即,当侧向照明接近垂直于皮肤的表面法线(例如,45-85度)时,图8(a)中的左侧区域R1将被照亮,其中,右侧区域R2被阴影化并因此变暗。另一方面,如图8(b)的下部曲线图所示,如果在皮肤上形成凹陷,则侧向照明不能照射到区域R1,而是将区域R2照亮。因此,位于对象100的皮肤102下方的诸如颈动脉之类的血管能够引起具有相反极性但彼此紧邻的特征性时变信号。应当理解,皮肤的弯曲和血管的存在不一定是相关的。弯曲通常可以由任何生理结构引起。
再次参考图5,在任选的下一处理阶段53中,能够执行鲁棒集合平均化(REA)以从(这里为视频记录的形式的)图像数据获得代表性平均位移波形。能够在时变信号中划定心动周期,并且能够将集合平均化用作时间超分辨率算法,即,组合数量足够多的心动周期(Nc,例如200个心动周期)以呈现可忽略不计的传感器噪声(零均值,高斯分布)并以相对较低的时间采样速率(这里为30Hz的视频帧速率)进行延迟。能够基于时变信号(外部(接触式)PPG信号)的峰值检测和/或基于时变信号的频率分析来划分心动周期。为了提高抵御偶尔发生的干扰或非代表性周期(例如,异位搏动或心律失常发作)的鲁棒性,例如能够应用任选的置信度方案来减少运动伪影,例如,基于从与相邻周期的相关性导出的信任度或信任分数将相对权重分配给个体心动周期。下面还将参考图14来更详细地描述该方面。
任选地,能够对本文中处理的指示心脏同步运动的时变信号进行重新采样。例如,能够将颈动脉位移周期配准到每心动周期35个样本的时间模板。然后发现,在30Hz的采样速率下,将时间模板的长度设置为每心动周期35个样本对于采集以大约60-80次心跳/分钟(bpm)的典型心动周期是合适的。基于此,鲁棒集合平均化流程能够被表示如下:
能够通过使用信噪比(SNR)度量来评估经过集合平均化的DCA波形的质量。例如,前8个频段中的信号(脉率速率频率的基频及其7个谐频),例如在每个移动窗口上的FFT长度为256。由此,能够在对前8个心脏频带进行自适应带通滤波和频谱截断之后,将真实信号的功率计算为DCA周期的方差。为了估计噪声方差,能够假设在每个与心脏有关的频带附近的噪声水平是相似的,使得能够在每个心脏带周围的两个分箱的双侧附近提取噪声信号。噪声的功率能够被确定为每个心动周期内平均噪声的方差。任选地,能够应用0.64(1.94dB)的罚分来考虑分别用于计算信号项和噪声项的5到4个分箱的比率。
再次参考图5,在处理阶段54中,由分析单元(图4中的15)基于(任选地经过集合平均化的)组合信号来确定健康参数。作为示例,提供了硬化指数(SI)作为大动脉硬化的量度。SI是对象的身高(h)与正向波和反射波之间的时间延迟(TDfr)之比:
SI=h/TDfr
SI的公式转化为以下事实:(a)TDfr是压力波从锁骨下动脉路由到明显的反射侧并返回锁骨下动脉的传播时间,并且(b)能够假定该路径长度与对象的身高(h)成比例。因此,SI与脉搏波速度(PWV)有关,并且这两者都能够以m/s的线速度单位表示。根据定义,由于缩放,SI对于对象的身高是不变的,这与对象之间的波形可变性是协变变量。根据SI,能够通过任选地进一步考虑作为反射侧的主动脉分叉的复阻抗以及任选地还考虑年龄来得出临床上相关的PWV,从而得到难以捉摸的行进距离的伸长度。
额外地或替代地,能够确定指示心血管风险/健康的一个或多个另外的参数。例如,这种参数能够旨在量化反射波中的正向幅度和/或其对实际压力的放大作用之间的比率。相关的示例是增强指数(以[%]表示的AIx),其由以下公式来定义:
Alx=(1-max(Df))·100(%)
增强压力(以mmHg表示的AP)由以下公式来定义:
AP=Alx·(SBP-DBP)
并且反射幅值(以%表示的RM)由以下公式给出:
其中,Df和Db表示测量的DCA波形的正向波形分解和反向波形分解。为了提供AP(即,压力参数)并且能够计算Df和Db,能够假设标准化压力波形与位移波形之间的形态等效性,即,DCA≈PCA。因此,能够应用波形分离(WSA)。虽然波形分离分析通常要求从脉动的动脉同时采集压力波形和流量波形,但是已经发现,由Hametner等人导出的最新模板能够代替测量的流量波形(Hametner等人“Wave reflection quantification based on pressurewaveforms alone-methods,comparison and clinical covariates”(Comput.MethodsPrograms Biomed,第109卷,第250-259页,2013年)。能够将这种方法视为基于生理数据和Windkessel(WK)模型公式。
优选地,能够为每个对象提供WK流模板并且将WK流模板调整到信号的肩部和拐点,因为已经发现DCA波形的这些特性点分别对应于流突发的峰值和收缩压末端。最终,能够确定主动脉的复阻抗以得到位移波的正向分量和反射分量。能够在下文中进一步找到关于利用WK流模板实施WSA的详细信息。
图9图示了波形分离分析(WSA)流程。图9(a)显示了拟合的WK流模板91。横轴表示标准化的样本x,而纵轴表示幅度A。图9(b)图示了作为指示从图像数据提取的心脏同步运动的示例性时变信号的颈动脉位移波形DCA 92。将所测量的DCA波形92与其构成部分——对应的正向分解Df 93和对应的反向分解Dw 94一起表示。图9中给出的波形被标准化为每心动周期100个样本。WK流和DCA的幅度被标准化为1,而Df和Db被表示为DCA的部分。为了提取硬化参数和反射参数,如图9(b)所示,需要将获得的位移波形92分解成正向波形和反向波形。已经发现,文献中描述的用于分解压力波的算法也能够应用于指示本文使用的心脏同步运动的位移波形。特别是对于颈动脉,能够使所测量的位移波形的形态近似类似于压力波形。
再次参考图9,首先在每个心动周期上对位移信号进行上采样,然后使用Savitzky-Golay滤波(三阶7抽头汉明窗口)对位移信号进行平滑处理。已经发现,这种任选的预处理使得时间分辨率得到改善并且信号得到更好的调控以用于随后计算高阶导数。波形分离分析能够通过Hughes等人在“Forward and backward waves in the arterialsystem:Impedance or wave intensity analysis”(Med.Biol.Eng.Comput,第47卷,第207-210页,2009年)中公开的阻抗方法来执行。通过使用基于Hametner的基于Windkessel(WK)的模型,能够仅执行用于位移波形的流程。对于每个测量的位移波形,Dm为流的WK模板,QWK能够被缩放以匹配对应于收缩期的峰值和收缩压末端的拐点。这些点分别由图9(b)中的迹线92上的第一圆圈和第二圆圈表示。能够通过检查高阶导数的零交叉或峰值来确定特性点,这些高阶导数例如为收缩压峰值的四阶导数和收缩压末端的复合的二阶和三阶导数。此外,能够通过对比率FFT[Pm](jω)/FFT[QWK](jω)的四次和五次谐波进行平均化来计算(复)阻抗参数其中,FFT[·]表示到傅立叶域的转换。由于已经发现大部分位移能量集中在前5个谐波中,因此所提出的流程即使被截断也示出有利的误差特性。基于能够根据以下公式对正向波形和反射波形进行波分离分析:
Df=(Dm+ZcQWK)/2
Db=(Dm-ZcQWK)/2=Pm-Pf
图10示出了例示例如从颈动脉位移波形提取指示心脏同步运动的时变信号的示意图。图10(a)图示了通过如图1所示的测量设置所采集的,在不均匀照明条件下记录的对象的颈部,其中,第一照明单元21提供了侧向照明。其余数字是针对标准化红色、标准化绿色以及标准化绿色减去标准化红色(Gn-Rn)的时变信号的幅度图(b)-(d)和相位图(e)-(g)。如图10(a)所示,定义两个相邻的感兴趣区域A和B,使得DCA信号具有最大强度并且处于反相,即,具有相反的极性。如以上参考图8所解释的,极性能够取决于皮肤表面相对于主光源(参见图1中的照明单元21)的取向。
在给定的示例中,区域A和区域B被选择为具有预定大小并且被定位为包括如从图10(b)中能明显看到的具有最大幅度并同时如图10(e)中所指示的提供相反极性的像素。替代地,选择单元能够被配置为:选择例如针对一个感兴趣区域具有相同极性的所有像素,感兴趣区域被选择为包括高于预定的相对或绝对幅度阈值的信号;并且/或者选择相反极性的像素,该相反极性的像素在图像帧内彼此分开不超过预定空间距离。选择单元能够被配置为从具有(相对)较高幅度的像素(位置),或者从最大幅度的特定百分比内,任选地从在先前的选择步骤中选择的区域中出现的最大幅度中选择与图像数据的图像帧中的感兴趣区域(ROI)相对应的时变信号。替代地和/或额外地,选择标准包括高于最小照明水平,不太接近限幅水平的像素,优选相对平滑(无纹理)区域等。图10(a)示出了由O指示的任选的另外的感兴趣区域,其对应于对象的脸颊。从图10(b)能够看出,该红色通道中的脸颊处的信号幅度比感兴趣区域A和B的颈动脉位移幅度低至少一个数量级。因此,红色通道中的PPG影响比位移波形低大约一个数量级。已经发现,对于从如图10(c)所示的绿色通道提取的信号或如图10(d)所示的涉及诸如绿色-红色之类的通道组合的信号,不能保证有相同的观察结果,因为其中与PPG有关的贡献较高。
在一个改进方案中,还能够通过将收缩压斜率转换为正并相应地翻转时变信号(例如倒转来自感兴趣区域B的信号)来组合具有不同极性的指示心脏同步运动的时变信号。
图11示出了来自感兴趣区域A(信号92A)、感兴趣区域B(信号92B)和感兴趣区域O(信号96)的相应的经符号校正的信号。信号92A和92B的对应关系表明:颈动脉位移波形(DCA)的形状不受时变信号的极性的影响。尽管如此,通过选择幅度最大的时变信号能够提高信号质量。图11还图示出PPG信号96相对于运动引起的位移信号是不同的。PPG信号并不反映大血管的状态,PPG信号是由于压力波传播到组织的微脉管床中而产生的。实际上,小动脉和毛细管环(其以相对较小的直径和很高的硬化为特征)提供的高阻力对流量/压力波造成信号阻尼以及高频接触和波形的泄漏。
在给定的示例中,信号92A和92B是从红色通道中提取的,信号92A和92B仅在有限程度上受到PPG信号的污染。图11所示的PPG信号96是从绿色通道导出的,PPG信号96示出很强的PPG幅度。图11(b)中的信号已经被标准化为单位幅度(0-1),从而图示(一方面)位移信号92A、92B与(另一方面)PPG信号96的不同形态。
图12示出了图示运动引起的位移信号92和PPG信号96的不同形态和定时的第二图。横轴表示样本x(或分别为时间t),而纵轴表示信号幅度A。在一个实施例中,分析单元能够被配置为根据基于运动的组合信号和基于吸收的PPG信号96(特别是根据基于运动的组合信号与PPG信号之间的传递函数)来导出健康参数。
在一个实施例中,确定极性并根据其极性来组合信号的方面能够是有利的,但是该方面是任选的。因此,根据另外的方面,能够提供一种用于处理对象的生理信号的设备,该设备包括:输入单元,其用于获得(a)指示心脏同步运动的第一信号和(b)指示吸收的第二信号(PPG);以及分析单元,其被配置为根据所述基于运动的第一信号与所述基于吸收的第二信号之间的关系来确定健康参数。特别地,能够提供一种用于处理对象的生理信号的设备,该设备包括:输入单元,其用于获得(a)指示心脏同步运动的第一信号和(b)指示吸收的第二信号(PPG);处理单元,其被配置为确定基于运动的第一信号与基于吸收的第二信号之间的传递函数;以及分析单元,其用于基于所述传递函数来确定健康参数。因此,这种关系能够是第一信号与第二信号之间的传递函数,并且能够基于所述传递函数来确定健康参数。换句话说,提出了根据基于运动的信号与基于吸收的信号之间的传递函数来确定(脉管)健康参数。能够如上所述获得相应的信号。
在一个实施例中,传递函数能够指示血液从动脉向小动脉和/或毛细血管的运输。再次参考图12,能够基于位移信号92与PPG信号96之间的时间差Δt来导出健康参数。额外地或替代地,分析单元能够被配置为基于位移信号92与PPG信号96的一个或多个形态参数来导出健康参数。分析单元能够被配置为基于所述传递函数的一个或多个特征来确定指示脉管状态的健康参数,所述传递函数的一个或多个特征例如为特定频率下相对于另一频率下的相对增益、不同频率(包括DC)下的相移、时间差。
传递函数能够被称为涉及以下两项之间的输出(例如,PPG信号96)或系统(例如,滤波器电路)对输入或刺激(其在这里被提供为位移信号92)的响应的数学函数:(i)在本文中由波形92给出的在浅动脉附近的从输入的运动导出的脉压波形,以及(ii)来自受运动影响较小的相邻皮肤侧的从输出的吸收导出的脉搏波形(PPG)。例如,第一输入信号能够是在颈动脉附近采集的信号,而第二PPG信号是从对象的脸颊导出的。同样,在这方面中,所提出的照明具体为具有如图1所示的那样布置的照明单元,并且所提出的照明是如上所述通过选择由第一照明单元和/或第二照明单元发出的光的波长来布置的。
图13示出了更加详细地图示波形分离分析(WSA)的图。在一个实施例中,对作为指示心脏同步运动的示例性时变信号的位移波形92的波形分离分析要求检测峰值的临界点,以使用更高阶的导数来估计流的终点。基于此,能够调整针对每个对象的位移波形的以上参考图9介绍的基于WK的流模板。
图13图示了针对两个示例性对象的波形分离分析的流程。位移波形用92表示,其二阶导数用97表示,并且其四阶导数用98表示。寻找位移波形92的四阶导数98的第一个零交叉和二阶导数97的相对最大值的标准分别允许自动检测收缩压流量的峰值和末端。
图13(c)和图13(d)示出了将位移信号92分解成正向位移波Df 93和反向反射波Db94。对于两个不同的对象,能够看到明显不同的波形。图13(c)中的波形取自59岁的男性,而图13(d)中的波形取自23岁的男性。这些附图的比较结果表明,反射波作为衰老的函数而具有很大贡献。
此外,发现由硬化指数(SI)、增强指数(AIx)、增强压力(AP)、反射幅值(RM)给出的动脉硬化与年龄的增长密切相关。另一方面,平均心率(HR)与年龄成反比。
有利地,分析单元还能够被配置为在确定对象的健康参数时考虑这种相关性,例如通过与给定年龄的同龄人组相比来确定对象的动脉硬化。
图14图示了用于减少运动伪影的示例性流程的图。本文使用的运动伪影是指因对象的大尺度的不随意运动(例如,吞咽)和身体的大尺度的运动(例如,重新放置颈部)而引起的伪影。由此,运动伪影减少流程旨在确保指示心脏同步运动的时变信号(这里为颈动脉的位移波形DCA)对抵御例如突然的身体运动和吞咽具有伪影鲁棒性。所提出的方法基于加权平均化并且基于三个主要假设:(1)伪影与心动周期不相关;(2)伪影的幅度高于时变信号;(3)时变信号的损坏部分不会影响总记录的心动周期的一半以上。因此,在一个实施例中,提出将信任权重w定义为在心动周期的窗口之间的心脏相关系数的窗口与(AC/DC标准化的)DCA信号的中值周期之间的正皮尔逊相关系数。
该方法在图14中示出,其中,DCA信号被用作输入。基于此,在步骤1401中,提取L个连续的心动周期。能够将它们预先缩放为每周期预定数量的样本。在并行步骤1402中,能够计算针对周期和记录的中值信号值,并且能够基于其来生成针对一个心动周期的模板。在步骤1403中,能够估计从步骤1402获得的模板与从步骤1401获得的相应的个体周期之间的相关系数。如判定步骤1404所示,如果相关系数为负,则在步骤1405中将样本n的信任权重w设置为零。此外,如果将包围进行评价的心动周期的窗口的标准偏差σw确定为异常值(例如大于中值DCA周期的标准偏差(其在判定步骤1406中被表示为σREC)的三倍),则在步骤1405中也将信任权重w截断为零。
图14的下部曲线图图示了信任权重w和结果得到的加权位移波形信号DCA·×w。从给定的示例能够看出,传入的时变DCA信号被样本3000与3400之间的强运动伪影污染。所示流程允许通过将信任度w与所提取的指示心脏同步运动的时变信号(这里为DCA)进行简单的元素乘法来抑制伪影。
在本公开内容中,提出了一种用于处理对象的生理信号的设备,该设备从包括场景的图像帧的时间序列的图像数据中提取指示心脏同步(脉管)运动的时变信号。该时变信号能够指示诸如从对象的颈部皮肤获得的颈动脉位移信号之类的脉管运动。该方法与PPG成像文献形成鲜明对比。到目前为止,远程采集的运动信号已经被视为是针对实际远程PPG信号的伪影。虽然PPG信号处理仅限于远程脉搏速率提取(以及任选的血氧饱和度测量),但是本文提出的分析单元能够被配置为评价(组合的)时变信号的形态以确定(脉管)健康参数。
已经发现,指示心脏同步(脉管)运动的信号有望用于非干扰方式的心血管健康评估。此外,与基于激光多普勒测速(LDV)、眼压和示波法的系统相比,所提出的设备和系统更易于操作。此外,能够例如借助于评价传递函数并基于该传递函数导出(脉管)健康参数来评价PPG信号与位移信号之间的形状变形。
所提出的方法的另外的优点是其不仅能够探查单个部位,而且还能够组合多个时变信号而使得提高可靠性。通过进一步考虑信号的极性,确保能够提高结果得到的信噪比,而没有相反相位或相反极性的信号相互抵消的不利影响。
应当理解,以下各个方面中的一个或多个方面可以有利地组合或者也可以单独使用:(a)确定极性并组合相应的时变信号;(b)布置第一照明单元和/或第二照明单元,特别是提供倾斜照明的方面;(c)针对第一照明单元和/或第二照明单元进行波长选择;(d)评价基于运动的信号与基于吸收的信号之间的传递函数。
评价指示心脏同步运动的时变信号(例如,颈动脉位移波形)的优点是它们是用于导出(脉管)健康参数的可靠指标,而PPG信号对于导出脉管健康的主要生物标志物却不那么可靠,这是因为引起要由PPG评价的光吸收的表皮组织的微脉管系统使主要血管中的原始脉搏波的形状变形,因此该指标的可靠性降低。
虽然已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示例性的,而非限制性的;本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
装置加功能的语言(例如,用于……的装置)具体应当指的是适于或被配置为执行给定功能的装置。例如,用于确定健康参数的分析单元可以指适于或被配置为确定健康参数的分析单元。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。
计算机程序可以被存储/分布在合适的非瞬态介质上,例如,与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以以其他形式分布,例如,经由互联网或其他有线或无线的电信系统分布。
权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (19)
1.一种用于处理对象(100)的生理信号的设备(10),包括:
输入接口(11),其用于获得场景的图像数据,所述图像数据包括图像帧的时间序列;
提取单元(12),其用于从所述图像数据中提取指示心脏同步运动的时变信号,其中,所述时变信号是指示表示脉管位移波形的脉管微运动的运动信号;
极性确定单元(13),其用于确定所述时变信号的极性,其中,所述极性与所述时变信号的相位相对应;
选择单元(16),其用于选择与所述图像数据的所述图像帧中的感兴趣区域(ROI)相对应的时变信号,其中,所述选择单元(16)被配置为将所述感兴趣区域选择为提供相同极性的信号并与提供相反极性的时变信号的区域相邻的区域;
组合单元(14),其用于根据所述时变信号的极性对所述时变信号进行组合以获得组合信号,并且其中,所述组合单元还被配置为组合来自所述感兴趣区域的所述选择的时变信号;以及
分析单元(15),其用于基于所述组合信号来确定健康参数。
2.如权利要求1所述的设备,其中,所述提取单元(12)被配置为仅从所述图像数据的红色通道和/或蓝色通道中提取所述时变信号。
3.如权利要求1所述的设备,其中,所述极性确定单元(13)被配置为将所述时变信号与指示所述对象的脉搏的信号(96)相关。
4.如权利要求3所述的设备,其中,指示所述对象的脉搏的所述信号(96)是从光体积描记(PPG)信号或心电图(ECG)信号导出的。
6.如权利要求1所述的设备,其中,所述分析单元(15)被配置为根据基于运动的组合信号和基于吸收的光体积描记(PPG)信号(96)来导出所述健康参数。
7.如权利要求6所述的设备,其中,所述分析单元(15)被配置为根据所述基于运动的组合信号与所述光体积描记(PPG)信号(96)之间的传递函数来导出所述健康参数。
8.一种用于监测对象的健康参数的系统(1),所述系统包括:
成像单元(20),其用于采集场景的图像数据;以及
如权利要求1所述的设备(10),其用于基于所采集的所述场景的图像数据来处理对象的生理信号。
10.如权利要求9所述的系统,还包括:第二照明单元(22),其中,所述第二照明单元(22)和所述成像单元(20)被布置为使得由所述第二照明单元发出的光与由所述成像单元接收的光之间的角度θ为|θ|≤30°。
11.如权利要求9所述的系统,其中,所述照明单元被配置为发出第一波长的光,所述第一波长的光提供对血液的低吸收和/或提供浅的皮肤穿透深度。
12.如权利要求10所述的系统,其中,所述第二照明单元(22)被配置为发出第二波长的光,所述第二波长的光提供对血液的高吸收。
14.如权利要求10所述的系统,其中,所述角度θ为|θ|≤20°。
15.如权利要求11所述的系统,其中,所述第一波长是小于500nm或大于610nm的波长。
16.如权利要求12所述的系统,其中,所述第二波长是在520nm至590nm之间。
17.如权利要求12所述的系统,其中,所述第二波长的光是在500nm至610nm之间的波长的光。
18.一种用于处理对象的生理信号的装置,所述装置包括:
用于获得场景的图像数据的单元,所述图像数据包括图像帧的时间序列;
用于从所述图像数据中提取指示心脏同步运动的时变信号的单元,其中,所述时变信号是指示表示脉管位移波形的脉管微运动的运动信号;
用于确定所述时变信号的极性的单元,其中,所述极性与所述时变信号的相位相对应
用于选择与所述图像数据的所述图像帧中的感兴趣区域(ROI)相对应的时变信号的单元,其中,将所述感兴趣区域选择为提供相同极性的信号并与提供相反极性的时变信号的区域相邻的区域;
用于根据所述时变信号的极性对来自所述感兴趣区域的所述选择的时变信号进行组合以获得组合信号的单元;以及
用于基于所述组合信号确定健康参数的单元。
19.一种存储计算机程序的计算机可读介质,所述计算机程序包括程序代码单元,当在计算机上执行所述计算机程序时,所述程序代码单元用于令所述计算机执行如下步骤:
获得场景的图像数据,所述图像数据包括图像帧的时间序列;
从所述图像数据提取指示心脏同步运动的时变信号,其中,所述时变信号是指示表示脉管位移波形的脉管微运动的运动信号;
确定所述时变信号的极性,其中,所述极性与所述时变信号的相位相对应;
选择与所述图像数据的所述图像帧中的感兴趣区域(ROI)相对应的时变信号,其中,将所述感兴趣区域选择为提供相同极性的信号并与提供相反极性的时变信号的区域相邻的区域;
根据所述时变信号的极性对来自所述感兴趣区域的所述选择的时变信号进行组合以获得组合信号;以及
基于所述组合信号确定健康参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17160589.2 | 2017-03-13 | ||
EP17160589.2A EP3375351A1 (en) | 2017-03-13 | 2017-03-13 | Device, system and method for measuring and processing physiological signals of a subject |
PCT/EP2018/054831 WO2018166788A1 (en) | 2017-03-13 | 2018-02-27 | Device, system and method for measuring and processing physiological signals of a subject |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110662480A CN110662480A (zh) | 2020-01-07 |
CN110662480B true CN110662480B (zh) | 2022-12-23 |
Family
ID=58267024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880031399.6A Active CN110662480B (zh) | 2017-03-13 | 2018-02-27 | 用于测量和处理对象的生理信号的设备、系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11771381B2 (zh) |
EP (2) | EP3375351A1 (zh) |
JP (1) | JP7116077B2 (zh) |
CN (1) | CN110662480B (zh) |
WO (1) | WO2018166788A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11412943B2 (en) | 2016-07-16 | 2022-08-16 | Olesya Chornoguz | Methods and systems for obtaining physiologic information |
WO2019173283A1 (en) * | 2018-03-05 | 2019-09-12 | Marquette University | Method and apparatus for non-invasive hemoglobin level prediction |
CA3106578A1 (en) * | 2018-07-16 | 2020-01-23 | Swift Medical Inc. | Apparatus for visualization of tissue |
EP3826539B1 (en) | 2018-07-26 | 2023-11-01 | Koninklijke Philips N.V. | Device, system and method for detection of pulse of a subject |
CN109480813B (zh) * | 2018-11-06 | 2020-10-20 | 北京理工大学 | 一种基于bcg原理的非接触式心率检测方法 |
CN109394181A (zh) * | 2018-12-05 | 2019-03-01 | 吉林大学 | 一种脑部功能区域定位系统、方法以及可移动设备 |
EP3671530A1 (en) * | 2018-12-17 | 2020-06-24 | Koninklijke Philips N.V. | Device, system and method for object recognition |
JP6775002B2 (ja) * | 2018-12-25 | 2020-10-28 | 京セラ株式会社 | 電子機器 |
US10817737B2 (en) * | 2019-02-01 | 2020-10-27 | United States Of America, As Represented By The Secretary Of The Army | System and method for sensing physiological characteristics |
CA3038097A1 (en) * | 2019-03-26 | 2020-09-26 | Roland SABBAGH | Systems and methods for assessment and management of congestive heart failure |
RU2731414C1 (ru) * | 2019-07-29 | 2020-09-02 | Сергей Анатольевич Щекочихин | Способ комплексной оценки состояния артериального русла |
JP6942766B2 (ja) * | 2019-08-27 | 2021-09-29 | 京セラ株式会社 | 電子機器 |
KR102567952B1 (ko) | 2019-09-11 | 2023-08-16 | 삼성전자주식회사 | 생체정보 추정 장치 및 방법 |
JP2023510943A (ja) * | 2020-01-20 | 2023-03-15 | ビナー.エーアイ リミテッド | 光データによる脈遷移時間測定のためのシステムおよび方法 |
US20210275039A1 (en) * | 2020-03-04 | 2021-09-09 | Cardiac Pacemakers, Inc. | Body vibration analysis systems and methods |
CN112274121B (zh) * | 2020-10-28 | 2022-10-21 | 河北工业大学 | 一种基于多路脉搏波的无创动脉硬化检测方法、装置 |
CN116801815A (zh) * | 2021-01-29 | 2023-09-22 | 泰尔茂株式会社 | 症状记录装置、症状记录方法以及程序 |
WO2022196469A1 (ja) * | 2021-03-16 | 2022-09-22 | テルモ株式会社 | コンピュータプログラム、情報処理方法及び情報処理装置 |
US20240260840A1 (en) * | 2021-07-31 | 2024-08-08 | Jras Medical Inc. D/B/A Jvplabs | Apparatuses, systems, and methods for capturing a video of a human patient suitable for monitoring a cardiac, respiratory or cardiorespiratory condition |
WO2024086941A1 (en) * | 2022-10-26 | 2024-05-02 | Jras Medical Inc. | Systems, devices, and methods for visualizing patient physiological data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768452A (zh) * | 2012-12-04 | 2015-07-08 | 皇家飞利浦有限公司 | 用于获得生物的生命体征信息的设备及方法 |
WO2016097708A1 (en) * | 2014-12-16 | 2016-06-23 | Isis Innovation Limited | Method and apparatus for measuring and displaying a haemodynamic parameter |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6997879B1 (en) | 2002-07-09 | 2006-02-14 | Pacesetter, Inc. | Methods and devices for reduction of motion-induced noise in optical vascular plethysmography |
US7951083B2 (en) * | 2004-02-05 | 2011-05-31 | Siemens Medical Solutions Usa, Inc. | Motion analysis improvements for medical diagnostic ultrasound |
US20060224073A1 (en) * | 2005-03-30 | 2006-10-05 | Dailycare Biomedical Inc. | Integrated physiological signal assessing device |
US8532357B2 (en) * | 2009-01-23 | 2013-09-10 | General Electric Company | Method and apparatus for reducing image artifacts |
US8868149B2 (en) | 2009-07-30 | 2014-10-21 | Oxitone Medical Ltd. | Photoplethysmography device and method |
WO2011042839A1 (en) * | 2009-10-06 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof |
TW201309263A (zh) * | 2011-08-19 | 2013-03-01 | 中原大學 | 影像式脈波傳導速度之量測裝置及其量測方法 |
US20140079729A1 (en) * | 2012-09-14 | 2014-03-20 | Natreon, Inc. | Method for improving endothelial function and decreasing cardiovascular morbidity using shilajit |
US8740806B2 (en) * | 2012-11-07 | 2014-06-03 | Somnarus Inc. | Methods for detection of respiratory effort and sleep apnea monitoring devices |
US9999355B2 (en) | 2014-02-12 | 2018-06-19 | Koninklijke Philips N.V. | Device, system and method for determining vital signs of a subject based on reflected and transmitted light |
ES2604812T3 (es) | 2014-05-07 | 2017-03-09 | Koninklijke Philips N.V. | Sistema y procedimiento para la extracción de información fisiológica |
US9924896B2 (en) | 2014-06-23 | 2018-03-27 | Koninklijke Philips N.V. | Device, system and method for determining the concentration of a substance in the blood of a subject |
CA2996475A1 (en) * | 2014-09-12 | 2016-03-17 | Blacktree Fitness Technologies Inc. | Portable devices and methods for measuring nutritional intake |
US10080528B2 (en) * | 2015-05-19 | 2018-09-25 | Google Llc | Optical central venous pressure measurement |
GB201509809D0 (en) * | 2015-06-05 | 2015-07-22 | Isis Innovation | Method and apparatus for vital signs measurement |
KR102434698B1 (ko) * | 2015-07-03 | 2022-08-22 | 삼성전자주식회사 | 생체 정보 검출 장치 및 방법 |
KR102478651B1 (ko) * | 2015-07-08 | 2022-12-16 | 삼성전자주식회사 | 생체 신호 분석 장치 및 방법 |
-
2017
- 2017-03-13 EP EP17160589.2A patent/EP3375351A1/en not_active Withdrawn
-
2018
- 2018-02-27 CN CN201880031399.6A patent/CN110662480B/zh active Active
- 2018-02-27 JP JP2019549435A patent/JP7116077B2/ja active Active
- 2018-02-27 US US16/493,772 patent/US11771381B2/en active Active
- 2018-02-27 EP EP18707376.2A patent/EP3595509B1/en active Active
- 2018-02-27 WO PCT/EP2018/054831 patent/WO2018166788A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768452A (zh) * | 2012-12-04 | 2015-07-08 | 皇家飞利浦有限公司 | 用于获得生物的生命体征信息的设备及方法 |
WO2016097708A1 (en) * | 2014-12-16 | 2016-06-23 | Isis Innovation Limited | Method and apparatus for measuring and displaying a haemodynamic parameter |
Also Published As
Publication number | Publication date |
---|---|
WO2018166788A1 (en) | 2018-09-20 |
JP7116077B2 (ja) | 2022-08-09 |
EP3595509B1 (en) | 2024-08-14 |
JP2020510487A (ja) | 2020-04-09 |
CN110662480A (zh) | 2020-01-07 |
US20200121262A1 (en) | 2020-04-23 |
EP3375351A1 (en) | 2018-09-19 |
US11771381B2 (en) | 2023-10-03 |
EP3595509A1 (en) | 2020-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110662480B (zh) | 用于测量和处理对象的生理信号的设备、系统和方法 | |
US12064269B2 (en) | Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject | |
Shao et al. | Noncontact monitoring breathing pattern, exhalation flow rate and pulse transit time | |
US10292662B2 (en) | Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject | |
US10709342B2 (en) | System and method for spatial cardiovascular monitoring | |
US10478078B2 (en) | Device and method for determining vital signs of a subject | |
US20180140255A1 (en) | System and method for non-contact monitoring of physiological parameters | |
JP6620999B2 (ja) | 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法 | |
JP2018534968A (ja) | 生理情報を抽出するためのデバイス、システム、及び方法 | |
JP2019097757A5 (zh) | ||
Schrumpf et al. | Exploiting weak head movements for camera-based respiration detection | |
CN109475314B (zh) | 使用照相机和脉冲血氧计的高分辨率血液灌注成像 | |
Lin et al. | Development of a FPGA-based contactless pulse rate detection system | |
Berggren et al. | Non-contact measurement of heart rate using a camera | |
Kumar et al. | Contact-free camera measurements of vital signs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |