CN106175742A - 一种心脏体征获取方法以及装置 - Google Patents
一种心脏体征获取方法以及装置 Download PDFInfo
- Publication number
- CN106175742A CN106175742A CN201610571030.7A CN201610571030A CN106175742A CN 106175742 A CN106175742 A CN 106175742A CN 201610571030 A CN201610571030 A CN 201610571030A CN 106175742 A CN106175742 A CN 106175742A
- Authority
- CN
- China
- Prior art keywords
- ppg
- crest
- data
- heart
- calculate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000001914 filtration Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 206010016256 fatigue Diseases 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 230000008602 contraction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 2
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101100166455 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) ccg-4 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/029—Measuring or recording blood output from the heart, e.g. minute volume
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Hematology (AREA)
- Power Engineering (AREA)
- Mathematical Physics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及计算机应用技术领域,具体而言,涉及一种心脏体征获取方法以及装置。获取PPG数据;对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。该方法以及装置能够让用户更全面的获取自身的心脏体征数值。
Description
技术领域
本发明涉及计算机应用技术领域,具体而言,涉及一种心脏体征获取方法以及装置。
背景技术
目前,除了医院、体检中心等专有的检测中,目前用户自己在对心脏体征的测量一般集中在对心率的测量上,且精度低,无法通过心率获取其他的心脏体征,例如心率变异性、心脏相干指数、心量输出量、精神散乱程度以及心量指数等。
因此,一种能够随时让用户获取较为全面的心脏体征的方法成为目前亟待解决的问题。
发明内容
有鉴于此,本发明实施例的目的在于提供一种心脏体征获取方法以及装置,能够让用户获取自身较为全面的心脏体征。
第一方面,本发明实施例提供了一种心脏体征获取方法,包括:
获取PPG数据;
对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;
对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;
根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中:,所述根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,具体包括:
对所述PPG数据进行二阶导数处理,获取所述波峰以及所述波谷的位置。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中:所述获取波峰之间的时间间隔数值之前,还包括:
根据所述波峰所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值;
计算所有归一化的所述波峰高度数值的平均值;
将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中:所述获取波峰之间的时间间隔数值之前,还包括:
根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
将所述时间差与预设的阈值进行比对;
如果所述时间差小于所述预设的阈值,则忽略两个所述波峰之中的其中一个。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中:所述根据所述RR间期数据计算心脏体征,具体包括:根据RR间期数据计算心率变异性、心脏相干指数、心量输出量、精神散乱程度、心量指数中至少一种;
其中,当根据RR间期数据计算心率变异率时,具体包括:
根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线;
根据下述公式计算HRV时域技术指标:
NNVGR为全部正常NN间期的平均值;
SDNN为全部正常NN间期的标准差;
RNSSD为全部相邻NN间期只差的均方根值;
SDSD为全部相邻NN间期之差的标准差;
NN50,为全部相邻NN间期之差大于50ms的心搏数;
PNN50为全部相邻NN间期之差大于50ms的心搏数的百分比;
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;NN间期为窦性心搏间期;
RRi′=RRi-RRi-1;
当根据RR间期数据计算心脏相干指数时,具体包括:
对所述RR间期数据做快速傅立叶变换,生成FFT数据;
将FFT数据转换为功率谱;
根据所述功率谱,计算第一预设频率范围内的总功率;
根据所述功率谱,计算第二预设频率范围内峰值最大功率;
通过所述峰值最大功率与所述总功率的比值,计算心脏相干指数;
当根据RR间期数据计算心量输出时,具体包括:
将所述PPG波形做数据段切分,获取PPG波形数据段;
对每一个所述PPG波形数据段:对所述PPG波形数据段做小波变换,修正基线漂移;计算修正基线漂移后的PPG波形数据段中波峰高度的平均值;计算PPG波形数据段内RR波峰高度与波峰高度的平均值之间的比值,并将比值最小值作为波形质量E,其中0<E≤1;
提取E>0.9的所有PPG波形数据段;
从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中:
得到波峰Ps,波谷Pd,根据下述公式计算K值:
并根据下述公式,计算心量输出CO:
当根据RR间期数据计算精神散乱程度时,具体包括:
对RR间期数据做快速傅立叶变换,获得FFT数据;
把FFT数据转换为功率谱;
根据所述功率谱,计算第三预设频率范围之间的功率P;
根据所述功率谱,计算第四预设频率范围之间的总功率A;
通过P与A的比值,计算精神散乱程度;
当根据RR间期数据计算心量指数时,具体包括:
对所述RR间期数据做快速傅立叶变换,获得FFT数据;
将所述FFT数据转换为功率谱;
根据所述功率谱,计算第五预设频率范围之间的功率PV;
根据所述功率谱,计算第六预设频率范围之间的功率PL;
根据所述功率谱,计算第七预设频率范围之间的功率PH;
根据RR间期数据计算心率HR;
根据下述公式计算心量指数HA:
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中:所述获取PPG数据,具体包括:
获取预设时间长度的检测视频;
使用下述方法获取所述检测视频中每一帧图像的PPG数值:
获取图像中每个像素点的红色通道数值,并将所有像素点的所述红色通道数值进行累加,形成所述图像的PPG数值;
其中,所述检测视频包括:手指检测视频、颈部检测视频、额部检测视频、腕部检测视频、足背检测视频中至少一种。
第二方面,本发明实施例还提供一种心脏体征获取装置,包括:
PPG数据获取模块,用于获取PPG数据;
滤波模块,用于对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;并对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;
波峰以及波谷位置确定模块,根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
心脏体征计算模块,用于根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中:还包括:
波峰高度获取模块,用于根据所述波峰所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值;
平均波峰高度数值计算模块,用于计算所有归一化的所述波峰高度数值的平均值;
高度异常波峰忽略模块,用于将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中:
还包括:
波峰时间差获取模块,用于根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
比对模块,用于将所述时间差与预设的阈值进行比对;
时间异常波峰忽略模块,用于在所述时间差小于所述预设的阈值时,忽略两个所述波峰之中的其中一个。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中:所述心脏体征计算模块包括:心率变异率计算子模块、心脏相干指数计算子模块、心量输出计算子模块、精神散乱程度计算子模块以及心量指数计算子模块中至少一种;
其中,所述心率变异率计算子模块用于:
根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线;
根据下述公式计算HRV时域技术指标:
NNVGR为全部正常NN间期的平均值;
SDNN为全部正常NN间期的标准差;
RNSSD为全部相邻NN间期只差的均方根值;
SDSD为全部相邻NN间期之差的标准差;
NN50,为全部相邻NN间期之差大于50ms的心搏数;
PNN50为全部相邻NN间期之差大于50ms的心搏数的百分比;
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;NN间期为窦性心搏间期;
RRi′=RRi-RRi-1;
所述心脏相干指数计算子模块用于:
对所述RR间期数据做快速傅立叶变换,生成FFT数据;
将FFT数据转换为功率谱;
根据所述功率谱,计算第一预设频率范围内的总功率;
根据所述功率谱,计算第二预设频率范围内峰值最大功率;
通过所述峰值最大功率与所述总功率的比值,计算心脏相干指数;
所述心量输出计算子模块用于:
将所述PPG波形做数据段切分,获取PPG波形数据段;
对每一个所述PPG波形数据段:对所述PPG波形数据段做小波变换,修正基线漂移;计算修正基线漂移后的PPG波形数据段中波峰高度的平均值;计算PPG波形数据段内RR波峰高度与波峰高度的平均值之间的比值,并将比值最小值作为波形质量E,其中0<E≤1;
提取E>0.9的所有PPG波形数据段;
从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中:
得到波峰Ps,波谷Pd,根据下述公式计算K值:
并根据下述公式,计算心量输出CO:
所述精神散乱程度计算子模块用于:
对RR间期数据做快速傅立叶变换,获得FFT数据;
把FFT数据转换为功率谱;
根据所述功率谱,计算第三预设频率范围之间的功率P;
根据所述功率谱,计算第四预设频率范围之间的总功率A;
通过P与A的比值,计算精神散乱程度;
所述心量指数计算子模块用于:对所述RR间期数据做快速傅立叶变换,获得FFT数据;
将所述FFT数据转换为功率谱;
根据所述功率谱,计算第五预设频率范围之间的功率PV;
根据所述功率谱,计算第六预设频率范围之间的功率PL;
根据所述功率谱,计算第七预设频率范围之间的功率PH;
根据RR间期数据计算心率HR;
根据下述公式计算心量指数HA:
本发明实施例所提供的心脏体征获取案发和装置,要先获取PPG数据,而PPG数据获取容易,在获取了PPG数据之后,先对PPG数据做截止频率小于等于4HZ的低通滤波处理,去除高频噪声,然后对去除高频噪声的PPG数据进行离散小波滤波处理,修正基线漂移。然后,根据PPG数据,获取PPG波形中波峰以及波谷的位置,并根据PPG数据的采样率,得到波峰之间的时间间隔数值,最终根据该时间间隔数值,计算RR间期,并最终根据RR间期计算心脏体征。在这个过程中,计算精度高,误差小,并且能够让用户随时获取较为全面的心脏体征数值。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种心脏体征获取方法的流程图;
图2示出了本发明实施例所提供的心脏体征获取方法中,获取PPG数据的具体方法流程图;
图3示出了本发明实施例所提供的另一种心脏体征获取方法的流程图;
图4示出了本发明实施例所提供的另一种心脏体征获取方法的流程图;
图5示出了本发明实施例所提供的另一种心脏体征获取方法的流程图;
图6示出了本发明实施例所提供的一种心脏体征获取装置的结构示意图;
图7示出了本发明实施例所提供的另一种心脏体征获取装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前的心脏体征获取方法一般是通过医院或者体检机构的检测设备进行检测的,使得用户无法对自身的心脏体征进行实时的监控,基于此,本申请提供的一种心脏体征获取方法、装置以及系统,可以让用户实时获取自身心脏体征。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种心脏体征获取方法进行详细介绍。
参见图1所示,本发明实施例所提供的心脏体征获取方法包括:
S101:获取PPG数据;
在具体实现的时候,PPG数据的获取方法有多种,例如,可以直接从专有PPG数据测量设备上直接获取PPG数据,还能够使用其他的方式获取PPG数据。
参见图2所述,本发明实施例提供一种获取PPG数据的具体方法,包括:
S201:获取预设时间长度的检测视频。
在具体实现的时候,由于人体的血液在血管中流动的时候,血管,尤其是动脉,会随着心脏的跳动出现规律性的扩张和收缩,而由于血管的扩张和收缩,造成覆盖在血管上方的皮肤也会出现相应的起伏变化。而在光源稳定的情况下,皮肤上的光影会随着皮肤的起伏产生一定变化,这个变化在人眼看来很难观察到,但是在被拍摄成视频之后,可以通过对视频进行处理、量化后得到,因此,需要获取检测视频。该检测视频是针对人体的检测视频,而为了能够最大限度的放大皮肤随血管的扩张和收缩所产生的变化,所获取的视频一般为身体表面血管跳跃较为明显的位置,例如手指、颈部、额头、足背、腕部等,因此,该检测视频可以包括:手指检测视频、颈部检测视频、额部检测视频、腕部检测视频、足背检测视频中至少一种。而针对不同身体不同部位的检测视频,其获取的具体位置也是不一样的。例如,如果检测视频是手指检测视频,那么以靠近手掌的一节手指指腹旁侧的手指检测视频为最佳;如果是颈部检测视频,那么以颈动脉上方的颈部检测视频为最佳。另外,需要注意的是,还可以获得身体的其他部位的检测视频。
另外,在获取检测视频的时候,可以使用手机摄像头进行获取,也可以通过其他的图像获取设备进行获取。例如,在使用手机摄像头进行图像获取的时候,将手指贴到摄像头的镜头上,并在拍摄的时候打开闪光灯,所拍摄的图像通过人眼观察是一张红色的图像。而随着血管的收缩和扩张的时候,检测视频中红色通道数值会随着时间的推移在不同的图像中出现不同的变化。
而为了保证所获取的心量体征的精度,同时又不至于在后续对检测视频进行分析的过程中花费大量的时间计算因此,所获取的图像分辨率可以根据具体的实际情况进行具体的设定。如果想要获得精度较高的PPG数据,那么所获得的图像分辨率就要相应的高。需要注意的是,如果所获取的检测视频中图像的分辨率较大,那么需要在其中截取一部分来进行分析计算。一般地,另外,PPG数据在获取的时候,有采样率。例如,可以将检测视频的采样率作为PPG数据的采样率。例如,在获取手指检测视频的时候,保持手指静止,通过手机摄像头采集640×480分辨率,30HZ采样率的手指检测视频。
检测视频在获取的时候,是获取预设时间长度的检测视频,在检测视频的拍摄过程中,所拍摄的视频时间长度可以大雨这个预设的时间长度,然后从该视频中截取一段拍摄较为稳定的预设时间长度的检测视频。
S202:使用下述方法获取所述检测视频中每一帧图像的PPG数值:获取图像中每个像素点的红色通道数值,并将所有像素点的所述红色通道数值进行累加,形成所述图像的PPG数值。
在具体实现的时候,由于人体皮肤随血管的扩张和收缩发生起伏变化的时候,所造成的光影变化是比较微小的,因此,检测视频需要保持一定的时长(该时长可以根据实际的检测情况进行具体的设定),并对这一定时长的检测视频中每一帧图像都进行处理,然后将这个变化放大。具体地,在获取了检测视频之后,会针对检测视频中每一帧图像进行RGB颜色通道分析。在进行颜色通道分析的时候,会将图像上每一像素点的红色通道数值分析出来,再将该图像中所有像素的红色通道数值进行累加,形成该帧图像的PPG(PhotoPlethysmoGraphy,光电容积脉搏波)数值。以时间为横轴,以PPG数值的大小为纵轴建立坐标系,所有在该坐标系下表示PPG数值的点的连线为一个具有波峰以及波谷的波动图。
以分辨率为640×480,采样率为30HZ、预设时间长度为10秒的手指检测视频为例:分辨率为640×480的图像共有307200个像素点,针对每一帧图像,在获取该帧图像所有的像素点的红色通道数值时,能够获取307200个红色通道数值;然后,对这307300个红色通道数值进行累加,最终获取该帧图像的PPG数值。而该检测视频的采样率为30HZ,相当于每秒钟采集30张图像,10秒钟能够采集300张图像,最终获取的PPG数值为300张图像的PPG数值,即一共300个PPG数值。
在这个过程中,图像通常由不同的颜色通道,图像的格式不同,构成图像的颜色通道也就不一样,由于人体的血液是红色的,所获取的检测视频中红色最为突出,因此采用R、G、B三通道所构成的图像进行分析,同样的在针对检测视频中的每一帧图像进行分析的时候,是直接获取图像每一像素的红色通道数值。
S203:将所有图像所的PPG数值作为所述PPG数据。
PPG数据为波形数据,并形成PPG波形。
S102:对所述PPG数值做截至频率小于等于4HZ的低通滤波处理,去除高频噪声。
S103:对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移。
在具体实现的时候,由于人们在使用图像获取设备拍摄检测视频的时候,很难保证被拍摄的位置是完全静止不动的,在拍摄的过程当中很可能会由于人体自觉或者无法控制的抖动移动,导致视频中某些图像获取时会出现较大的偏差,因此,在所获取的PPG数值中很可能会存在比较大的误差,影响最终的计算结果,因此,在本发明实施例中,在根据PPG数值获取波峰以及波谷的位置之前,还需要对PPG数值进行滤波处理。在具体进行滤波处理的时候,要先使用FIR滤波器对PPG数值做截至频率小于等于4HZ的低通滤波处理,去除高频噪声,然后再使用6层离散小波滤波器对去除了高频噪声的PPG波动数据进行离散小波滤波处理,修正基线漂移,最终获得较为准确的PPG数据。
S104:根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
在具体实现的时候,获取PPG波形中的波峰以及波谷的位置的时候,是将所有图像的PPG数值利用2阶导数,找到波峰以及波谷的位置,具体的,是将组成PPG数据的多个PPG数值中,相邻帧的PPG数值进行相减运算,并对相减的结果做归一化处理,例如,如果PPG数值有10个,分别为ppg1、ppg2、ppg3、……、ppg9、ppg10,在进行相减运算的时候,ppg2-ppg2,ppg2-ppg3,……ppg9-ppg8,ppg10-ppg9。依次类推;在将相邻的PPG数值进行相减运算之后,对运算结果进行归一化处理,得到的一阶导数数值包括:+1、0和-1,该一介导数数值表达了血液在血管中流淌的时候,血管中的血液是处于增加趋势还是减少趋势,即所有的PPG数值所形成的PPG波形是处于上升状态还是处于下降状态。然后,再将所得到一阶导数数值中相邻的数值进行相减运算,并对相减的结果再次做归一化处理,最终能够得到二阶导数数值也包括:+1、0和-1。而此时,+1表示波峰,-1表示波谷,0则表示波峰以及波谷之间的PPG数值。需要注意的是,对PPG数值的处理所得到的一阶导数数值和二阶导数数值仅仅是中间的计算过程。另外,还可以根据PPG数值的整体增加、减小的趋势去判断波峰与波谷的位置,而波峰和波谷位置的判断不仅仅局限于上述实施例中所提供的一种。例如还可以以比较法将PPG数值分别进行对比,从而判断波峰以及波谷的位置。
另外,波峰以及波谷的位置,对应于PPG数值的时间轴上所在的位置,。而根据采样率以及PPG数值所在的位置,能够计算出相邻的波峰所对应的PPG数值在获取时的时间差,得到波峰之间的时间间隔数值,相邻波峰之间的时间间隔数值,即表示了心脏相邻两次跳动之间的时间差。
S105:根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
在RR间期数据获取之后,便能够根据RR间期数据计算心脏体征。
本发明实施例所提供的心脏特征获取方法,要先获取PPG数据,而PPG数据获取容易,在获取了PPG数据之后,先对PPG数据做截止频率小于等于4HZ的低通滤波处理,去除高频噪声,然后对去除高频噪声的PPG数据进行离散小波滤波处理,修正基线漂移。然后,根据PPG数据,获取PPG波形中波峰以及波谷的位置,并根据PPG数据的采样率,得到波峰之间的时间间隔数值,最终根据该时间间隔数值,计算RR间期,并最终根据RR间期计算心脏体征。在这个过程中,计算精度高,误差小,并且能够让用户随时获取较为全面的心脏体征数值。
参见图3所示,本发明实施例所以提供的心脏体征获取方法,在上述几个实施例的基础上,所述获取波峰之间的时间间隔数值之前,还包括:
S301:根据所述波峰以及波谷所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值。
在具体实现的时候,以时间为横轴,PPG数值为纵轴所建立的坐标系中,波峰的高度即为:对波峰做垂线,该波峰两侧波谷的连线与该垂线形成交点,该垂线位于波峰与交点之间的距离。
S302:计算所有归一化的所述波峰高度数值的平均值;
S303:将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
在具体实现的时候,在对波峰的高度进行归一化处理之后,会得到较为平滑的PPG波动曲线,更有利于后续的计算。计算所有归一化的波峰高度数值的平均值,并用每一个归一化波峰高度数值与该平均值进行比对,如果归一化波峰高度数值大于等于平均值的50%时,意味着该波峰可能是异常波峰,因此要将该波峰忽略。即将该波峰所对应的PPG数据不再作为波峰看待。
参见图4所示,本发明实施例所提供的心脏体征获取方法中,所述获取波峰之间的时间间隔数值之前,还包括:
S401:根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
S402:将所述时间差与预设的阈值进行比对;
S403:如果所述时间差小于所述预设的阈值,则忽略两个所述波峰之中高度较小的波峰。
在具体实现的时候,在忽略了高度异常的波峰之后,会根据剩余的波峰所在的位置,计算每相邻的两个波峰之间的时间差,将所述时间差与预设的阈值进行对比,如果时间差小于预设的阈值,则认为其中有一个波峰是干扰波峰,并非心脏正常跳动情况下产生,因此忽略两个波峰中的一个。具体忽略哪一个,可以根据实际的情况进行具体的判断,例如,有三个相邻波峰,其中,位于中间的波峰与其他两个波峰之间的时间差均小于预设的阈值,那么就忽略位于中间的波峰。
预设的阈值可以根据实际的检测视频的采样率进行具体的设定,采样率越高,预设的阈值越小。
参见图5所示,本发明实施例所提供的心脏体征的获取方法中,所述根据所述RR间期数据计算心脏体征,具体包括:
S501:根据RR间期数据计算心率变异性、心脏相干指数、心量输出量、精神散乱程度、心量指数中至少一种;
另外,本发明实施例还提供通过RR间期数据计算心脏体征的具体方法:
一、通过RR间期数据计算HRV(心率变异性):
1、根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线。
2、根据下述公式计算HRV时域技术指标:
——全部正常窦性心搏(NN)间期的平均值(单位:ms);
——全部正常NN间期的标准差(单位:ms);
——全部相邻NN间期之差的均方根值(单位:ms)
——全部相邻NN间期之差的标准差(单位:ms);
NN50——全部相邻NN间期之差大于50ms的心搏数;
——全部相邻NN间期之差大于50ms的心搏数的百分比。
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;
RRi′=RRi-RRi-1;
二:通过RR间期数据计算MIND(心脏相干指数):
1、对所述RR间期数据做快速傅立叶变换,生成FFT数据;
2、将FFT数据转换为功率谱;
3、根据所述功率谱,计算第一预设频率范围内的总功率(例如,计算0.003HZ至0.4HZ总功率);
4、根据所述功率谱,计算第二预设频率范围内峰值最大功率(例如计算0.04HZ至0.26HZ之间最大峰值功率,峰值窗口0.03HZ。)
5、通过预设频率范围内的峰值最大功率与总功率的比值,得出MIND。
三:通过RR间期数据计算CO(心输出量):
1、将所述PPG波形做数据段切分,获取PPG波形数据段,例如,可以按照5秒一个窗口,2秒一次递进做数据段切分。
2、对每一个所述PPG波形数据段做如下操作:
①、对所述PPG波形数据段做小波变换,修正基线漂移;
②、计算修正基线漂移后的PPG波形数据段中波峰高度AVE的平均值;
③、计算PPG波形数据段内RR波峰高度与AVE之间的比值,并将比值最小值作为波形质量E(0<E≤1);(小值除以大值);
3、提取E>0.9的所有PPG波形数据段;
4、从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
5、根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中,
获取波峰Ps,波谷Pd,根据下述公式,计算K值:
6、根据下述公式,计算心量输出CO:
四:根据RR间期数据计算VIK(精神散乱程度):
1、对RR间期数据做快速傅立叶变换,获得FFT数据;
2、把FFT数据转换为功率谱;
3、根据功率谱,计算第三预设频率范围之间的功率P(例如,计算0HZ至0.04HZ之间的功率);
4、根据功率谱,计算第四预设频率范围之间的总功率A(例如,计算0HZ至0.4HZ之间的总功率);
5、通过P与A的比值,得出VIK。
五、根据RR间期数据,计算HA(心量指数):
1、对所述RR间期数据做快速傅立叶变换,获得FFT数据;
2、将所述FFT数据转换为功率谱;
3、根据所述功率谱,计算第五预设频率范围之间的功率PV(例如计算0.0033HZ至0.04HZ之间的功率PV);
4、根据所述功率谱,计算第六预设频率范围之间的功率PL(例如计算0.04HZ至0.15HZ之间的功率PL);
5、根据所述功率谱,计算第七预设频率范围之间的功率PH(例如计算0.15HZ至0.4HZ之间的功率PH);
其中,第五预设频率、第六预设频率以及第七预设频率是连续的频率。
6、根据RR间期数据计算心率HR;
7、根据下述公式计算HA:
本发明又一实施例还提供一种心脏体征获取装置,参见图6所示,本发明实施例所提供的心脏体征获取装置包括:
PPG数据获取模块,用于获取PPG数据;
滤波模块,用于对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;并对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;
波峰以及波谷位置确定模块,根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
心脏体征计算模块,用于根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
本实施例中,PPG数据获取模块、滤波模块、波峰以及波谷位置确定模块和心脏体征计算模块的具体功能和交互方式,可参见图1对应的实施例的记载,在此不再赘述。
本发明实施例所提供的心脏体征获取装置,要先获取PPG数据,而PPG数据获取容易,在获取了PPG数据之后,先对PPG数据做截止频率小于邓鼓4HZ的低通滤波处理,去除高频噪声,然后对去除高频噪声的PPG数据进行离散小波滤波处理,修正基线漂移。然后,根据PPG数据,获取PPG波形中波峰以及波谷的位置,并根据PPG数据的采样率,得到波峰之间的时间间隔数值,最终根据该时间间隔数值,计算RR间期,并最终根据RR间期计算心脏体征。在这个过程中,计算精度高,误差小,并且能够让用户随时获取较为全面的心脏体征数值。
参见图7所示,本发明又一实施例还提供另一种心脏体征获取装置,还包括:
波峰高度获取模块,用于根据所述波峰所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值;
平均波峰高度数值计算模块,用于计算所有归一化的所述波峰高度数值的平均值;
高度异常波峰忽略模块,用于将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
还包括:
波峰时间差获取模块,用于根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
比对模块,用于将所述时间差与预设的阈值进行比对;
时间异常波峰忽略模块,用于在所述时间差小于所述预设的阈值时,忽略两个所述波峰之中的其中一个。
本实施例中,波峰高度获取模块、平均波峰高度数值计算模块、高度异常波峰忽略模块、波峰时间差获取模块、比对模块和时间异常波峰忽略模块的具体功能和交互方式,可参见3-图4对应的实施例的记载,在此不再赘述。
参见图7所示,本发明又一实施例还提供另一种心脏体征获取装置,还包括:
所述心脏体征计算模块包括:心率变异率计算子模块、心脏相干指数计算子模块、心量输出计算子模块、精神散乱程度计算子模块以及心量指数计算子模块中至少一种;
其中,所述心率变异率计算子模块用于:
根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线;
根据下述公式计算HRV时域技术指标:
NNVGR为全部正常NN间期的平均值;
SDNN为全部正常NN间期的标准差;
RNSSD为全部相邻NN间期只差的均方根值;
SDSD为全部相邻NN间期之差的标准差;
NN50,为全部相邻NN间期之差大于50ms的心搏数;
PNN50为全部相邻NN间期之差大于50ms的心搏数的百分比;
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;NN间期为窦性心搏间期;
RRi′=RRi-RRi-1;
所述心脏相干指数计算子模块用于:
对所述RR间期数据做快速傅立叶变换,生成FFT数据;
将FFT数据转换为功率谱;
根据所述功率谱,计算第一预设频率范围内的总功率;
根据所述功率谱,计算第二预设频率范围内峰值最大功率;
通过所述峰值最大功率与所述总功率的比值,计算心脏相干指数;
所述心量输出计算子模块用于:
将所述PPG波形做数据段切分,获取PPG波形数据段;
对每一个所述PPG波形数据段:对所述PPG波形数据段做小波变换,修正基线漂移;计算修正基线漂移后的PPG波形数据段中波峰高度的平均值;计算PPG波形数据段内RR波峰高度与波峰高度的平均值之间的比值,并将比值最小值作为波形质量E,其中0<E≤1;
提取E>0.9的所有PPG波形数据段;
从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中:
得到波峰Ps,波谷Pd,根据下述公式计算K值:
并根据下述公式,计算心量输出CO:
所述精神散乱程度计算子模块用于:
对RR间期数据做快速傅立叶变换,获得FFT数据;
把FFT数据转换为功率谱;
根据所述功率谱,计算第三预设频率范围之间的功率P;
根据所述功率谱,计算第四预设频率范围之间的总功率A;
通过P与A的比值,计算精神散乱程度;
所述心量指数计算子模块用于:对所述RR间期数据做快速傅立叶变换,获得FFT数据;
将所述FFT数据转换为功率谱;
根据所述功率谱,计算第五预设频率范围之间的功率PV;
根据所述功率谱,计算第六预设频率范围之间的功率PL;
根据所述功率谱,计算第七预设频率范围之间的功率PH;
根据RR间期数据计算心率HR;
根据下述公式计算心量指数HA:
其中,心率变异率计算子模块、心脏相干指数计算子模块、计算心量输出计算子模块、精神散乱程度计算子模块以及心量指数计算子模块具体功能和交互方式,可参见5对应的实施例的记载,在此不再赘述。
本发明实施例所提供的心脏体征获取方法和装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种心脏体征获取方法,其特征在于,包括:
获取PPG数据;
对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;
对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;
根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
2.根据权利要求1所述的心脏体征获取方法,其特征在于,所述根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,具体包括:
对所述PPG数据进行二阶导数处理,获取所述波峰以及所述波谷的位置。
3.根据权利要求2所述的心脏体征获取方法,其特征在于,所述获取波峰之间的时间间隔数值之前,还包括:
根据所述波峰所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值;
计算所有归一化的所述波峰高度数值的平均值;
将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
4.根据权利要求3所述的心脏体征获取方法,其特征在于,所述获取波峰之间的时间间隔数值之前,还包括:
根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
将所述时间差与预设的阈值进行比对;
如果所述时间差小于所述预设的阈值,则忽略两个所述波峰之中的其中一个。
5.根据权利要求1-4任意一项所述的心脏体征获取方法,其特征在于,所述根据所述RR间期数据计算心脏体征,具体包括:根据RR间期数据计算心率变异性、心脏相干指数、心量输出量、精神散乱程度、心量指数中至少一种;
其中,当根据RR间期数据计算心率变异率时,具体包括:
根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线;
根据下述公式计算HRV时域技术指标:
NNVGR为全部正常NN间期的平均值;
SDNN为全部正常NN间期的标准差;
RNSSD为全部相邻NN间期之差的均方根值;
SDSD为全部相邻NN间期之差的标准差;
NN50,为全部相邻NN间期之差大于50ms的心搏数;
PNN50为全部相邻NN间期之差大于50ms的心搏数的百分比;
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;NN间期为窦性心搏间期;
RR′i=RRi-RRi-1;
当根据RR间期数据计算心脏相干指数时,具体包括:
对所述RR间期数据做快速傅立叶变换,生成FFT数据;
将FFT数据转换为功率谱;
根据所述功率谱,计算第一预设频率范围内的总功率;
根据所述功率谱,计算第二预设频率范围内峰值最大功率;
通过所述峰值最大功率与所述总功率的比值,计算心脏相干指数;
当根据RR间期数据计算心量输出时,具体包括:
将所述PPG波形做数据段切分,获取PPG波形数据段;
对每一个所述PPG波形数据段:对所述PPG波形数据段做小波变换,修正基线漂移;计算修正基线漂移后的PPG波形数据段中波峰高度的平均值;计算PPG波形数据段内RR波峰高度与波峰高度的平均值之间的比值,并将比值最小值作为波形质量E,其中0<E≤1;
提取E>0.9的所有PPG波形数据段;
从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中:
得到波峰Ps,波谷Pd,根据下述公式计算K值:
并根据下述公式,计算心量输出CO:
当根据RR间期数据计算精神散乱程度时,具体包括:
对RR间期数据做快速傅立叶变换,获得FFT数据;
把FFT数据转换为功率谱;
根据所述功率谱,计算第三预设频率范围之间的功率P;
根据所述功率谱,计算第四预设频率范围之间的总功率A;
通过P与A的比值,计算精神散乱程度;
当根据RR间期数据计算心量指数时,具体包括:
对所述RR间期数据做快速傅立叶变换,获得FFT数据;
将所述FFT数据转换为功率谱;
根据所述功率谱,计算第五预设频率范围之间的功率PV;
根据所述功率谱,计算第六预设频率范围之间的功率PL;
根据所述功率谱,计算第七预设频率范围之间的功率PH;
根据RR间期数据计算心率HR;
根据下述公式计算心量指数HA:
6.根据权利要求5所述的心脏体征获取方法,其特征在于,所述获取PPG数据,具体包括:
获取预设时间长度的检测视频;
使用下述方法获取所述检测视频中每一帧图像的PPG数值:
获取图像中每个像素点的红色通道数值,并将所有像素点的所述红色通道数值进行累加,形成所述图像的PPG数值;
将所有图像所的PPG数值作为所述PPG数据;
其中,所述检测视频包括:手指检测视频、颈部检测视频、额部检测视频、腕部检测视频、足背检测视频中至少一种。
7.一种心脏体征获取装置,其特征在于,包括:
PPG数据获取模块,用于获取PPG数据;
滤波模块,用于对所述PPG数值做截止频率小于等于4HZ的低通滤波处理,去除高频噪声;并对去除高频噪声的PPG数值进行离散小波滤波处理,修正基线漂移;
波峰以及波谷位置确定模块,根据修正基线漂移的所述PPG数据,获取PPG波形中波峰以及波谷的位置,并根据所述波峰以及所述波谷的位置以及所述PPG数据的采样率,获取波峰之间的时间间隔数值;
心脏体征计算模块,用于根据所述波峰之间的时间间隔数值,得出RR间期数据,并根据所述RR间期数据计算心脏体征。
8.根据权利要求7所述的心脏体征获取装置,其特征在于,还包括:
波峰高度获取模块,用于根据所述波峰所在的位置,获取所述波峰的高度,并对所述波峰的高度进行归一化处理,获取归一化的波峰高度数值;
平均波峰高度数值计算模块,用于计算所有归一化的所述波峰高度数值的平均值;
高度异常波峰忽略模块,用于将归一化的所述波峰高度数值分别与所述平均值进行比对,并根据比对的结果,忽略与所述平均值差值超过所述平均值50%的高度异常波峰。
9.根据权利要求8所述的心脏体征获取装置,其特征在于,还包括:
波峰时间差获取模块,用于根据所述波峰所在的位置,计算每相邻的两个所述波峰之间的时间差;
比对模块,用于将所述时间差与预设的阈值进行比对;
时间异常波峰忽略模块,用于在所述时间差小于所述预设的阈值时,忽略两个所述波峰之中的其中一个。
10.根据权利要求7-9任意一项所述的心脏体征获取装置,其特征在于,所述心脏体征计算模块包括:心率变异率计算子模块、心脏相干指数计算子模块、心量输出计算子模块、精神散乱程度计算子模块以及心量指数计算子模块中至少一种;
其中,所述心率变异率计算子模块用于:
根据RR间期数据,以RR间期作为纵坐标,以i为横坐标,绘制HRV信号曲线;
根据下述公式计算HRV时域技术指标:
NNVGR为全部正常NN间期的平均值;
SDNN为全部正常NN间期的标准差;
RNSSD为全部相邻NN间期只差的均方根值;
SDSD为全部相邻NN间期之差的标准差;
NN50,为全部相邻NN间期之差大于50ms的心搏数;
PNN50为全部相邻NN间期之差大于50ms的心搏数的百分比;
在上述公式中,N为正常心搏总数,RRi是第i个RR间期数据,RRi+1是第i+1个RR间期数据。是N个心搏的RR间期数据的平均值;NN间期为窦性心搏间期;
RR′i=RRi-RRi-1;
所述心脏相干指数计算子模块用于:
对所述RR间期数据做快速傅立叶变换,生成FFT数据;
将FFT数据转换为功率谱;
根据所述功率谱,计算第一预设频率范围内的总功率;
根据所述功率谱,计算第二预设频率范围内峰值最大功率;
通过所述峰值最大功率与所述总功率的比值,计算心脏相干指数;
所述心量输出计算子模块用于:
将所述PPG波形做数据段切分,获取PPG波形数据段;
对每一个所述PPG波形数据段:对所述PPG波形数据段做小波变换,修正基线漂移;计算修正基线漂移后的PPG波形数据段中波峰高度的平均值;计算PPG波形数据段内RR波峰高度与波峰高度的平均值之间的比值,并将比值最小值作为波形质量E,其中0<E≤1;
提取E>0.9的所有PPG波形数据段;
从提取的PPG波形数据段中,识别波峰与波谷的位置,并截取完整的波峰,获取波形时间T;
根据所述波形时间T,对波峰数值P(t)做积分运算,计算平均值Pm,其中:
得到波峰Ps,波谷Pd,根据下述公式计算K值:
并根据下述公式,计算心量输出CO:
所述精神散乱程度计算子模块用于:
对RR间期数据做快速傅立叶变换,获得FFT数据;
把FFT数据转换为功率谱;
根据所述功率谱,计算第三预设频率范围之间的功率P;
根据所述功率谱,计算第四预设频率范围之间的总功率A;
通过P与A的比值,计算精神散乱程度;
所述心量指数计算子模块用于:
对所述RR间期数据做快速傅立叶变换,获得FFT数据;
将所述FFT数据转换为功率谱;
根据所述功率谱,计算第五预设频率范围之间的功率PV;
根据所述功率谱,计算第六预设频率范围之间的功率PL;
根据所述功率谱,计算第七预设频率范围之间的功率PH;
根据RR间期数据计算心率HR;
根据下述公式计算心量指数HA:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610571030.7A CN106175742A (zh) | 2016-07-19 | 2016-07-19 | 一种心脏体征获取方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610571030.7A CN106175742A (zh) | 2016-07-19 | 2016-07-19 | 一种心脏体征获取方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106175742A true CN106175742A (zh) | 2016-12-07 |
Family
ID=57494415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610571030.7A Pending CN106175742A (zh) | 2016-07-19 | 2016-07-19 | 一种心脏体征获取方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106175742A (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106377226A (zh) * | 2016-08-30 | 2017-02-08 | 苏州品诺维新医疗科技有限公司 | 一种心血管状态检测装置及斜率信息的确定方法 |
CN106923810A (zh) * | 2017-01-11 | 2017-07-07 | 上海脉融健康科技有限公司 | 一种基于心率变异率分析的检测装置及方法 |
CN107067152A (zh) * | 2017-02-14 | 2017-08-18 | 上海脉融健康科技有限公司 | 一种基于hrv分析的疲劳恢复指数监测装置及方法 |
CN107595271A (zh) * | 2017-07-27 | 2018-01-19 | 康美健康云服务有限公司 | 基于手机的心率测量方法、电子设备、存储介质及系统 |
CN108451494A (zh) * | 2017-02-17 | 2018-08-28 | 祥明大学校产学协力团 | 使用瞳孔反应来检测时域心脏参数的方法及系统 |
CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
CN108742660A (zh) * | 2018-07-02 | 2018-11-06 | 西北工业大学 | 一种基于可穿戴设备的情绪识别方法 |
CN109350031A (zh) * | 2018-12-07 | 2019-02-19 | 深圳先进技术研究院 | 一种光电容积脉搏波信号特征点检测方法及装置 |
CN109480807A (zh) * | 2018-09-21 | 2019-03-19 | 王桥生 | 一种基于图像信号分析的非接触式心率测量方法 |
CN109497984A (zh) * | 2018-12-27 | 2019-03-22 | 深圳还是威健康科技有限公司 | 一种心率信号的处理方法及相关设备 |
CN109691993A (zh) * | 2018-12-07 | 2019-04-30 | 芯海科技(深圳)股份有限公司 | 一种测量心率变异性的方法及人体秤 |
CN109793509A (zh) * | 2019-03-15 | 2019-05-24 | 北京科技大学 | 一种核辐射探测与心率测量方法及装置 |
CN110251115A (zh) * | 2019-06-20 | 2019-09-20 | 张远 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
CN110279411A (zh) * | 2019-06-06 | 2019-09-27 | 中山大学孙逸仙纪念医院 | 一种心脏数据异常检测方法、装置、存储介质及终端设备 |
EP3570736A4 (en) * | 2017-05-05 | 2020-02-05 | Samsung Electronics Co., Ltd. | DETERMINATION OF HEALTH MARKERS USING PORTABLE DEVICES |
CN110840430A (zh) * | 2018-08-21 | 2020-02-28 | 北京万生人和科技有限公司 | 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置 |
CN111214218A (zh) * | 2020-01-13 | 2020-06-02 | 京东方科技集团股份有限公司 | 一种多生理参数的检测设备 |
CN111356404A (zh) * | 2017-09-27 | 2020-06-30 | 皇家飞利浦有限公司 | 用于在循环血量的评价中使用的传感器系统和感测方法 |
CN111714110A (zh) * | 2020-05-19 | 2020-09-29 | 成都云卫康医疗科技有限公司 | 一种基于ppg波形的实时心率计算方法 |
CN112656392A (zh) * | 2020-12-21 | 2021-04-16 | 卡哈科技(深圳)有限公司 | 一种低功耗ppg心率计算方法及电子设备 |
CN113974630A (zh) * | 2021-11-26 | 2022-01-28 | 浙江昊梦科技有限公司 | 一种心理健康的检测方法及装置 |
CN114027822A (zh) * | 2021-04-19 | 2022-02-11 | 北京超思电子技术有限责任公司 | 一种基于ppg信号的呼吸率测量方法及装置 |
CN114246569A (zh) * | 2020-09-25 | 2022-03-29 | 华为技术有限公司 | 检测早搏类型的方法、装置及介质 |
CN114419500A (zh) * | 2022-01-07 | 2022-04-29 | 乐普(北京)医疗器械股份有限公司 | 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012134395A1 (en) * | 2011-03-25 | 2012-10-04 | Nitto Denko Corporation | A method of measuring an artefact removed photoplethysmographic (ppg) signal and a measurement system |
WO2014089665A1 (en) * | 2012-12-13 | 2014-06-19 | Cnv Systems Ltd. | System for measurement of cardiovascular health |
CN104127194A (zh) * | 2014-07-14 | 2014-11-05 | 华南理工大学 | 一种基于心率变异性分析方法的抑郁症的评估系统及方法 |
CN105433936A (zh) * | 2016-01-29 | 2016-03-30 | 北京心量科技有限公司 | 心输出量获得方法及装置 |
CN105550530A (zh) * | 2016-01-29 | 2016-05-04 | 北京心量科技有限公司 | 精神散乱程度获得方法及装置 |
CN105595991A (zh) * | 2016-01-29 | 2016-05-25 | 北京心量科技有限公司 | 一种心脏相干指数的测量方法及装置 |
-
2016
- 2016-07-19 CN CN201610571030.7A patent/CN106175742A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012134395A1 (en) * | 2011-03-25 | 2012-10-04 | Nitto Denko Corporation | A method of measuring an artefact removed photoplethysmographic (ppg) signal and a measurement system |
WO2014089665A1 (en) * | 2012-12-13 | 2014-06-19 | Cnv Systems Ltd. | System for measurement of cardiovascular health |
CN104127194A (zh) * | 2014-07-14 | 2014-11-05 | 华南理工大学 | 一种基于心率变异性分析方法的抑郁症的评估系统及方法 |
CN105433936A (zh) * | 2016-01-29 | 2016-03-30 | 北京心量科技有限公司 | 心输出量获得方法及装置 |
CN105550530A (zh) * | 2016-01-29 | 2016-05-04 | 北京心量科技有限公司 | 精神散乱程度获得方法及装置 |
CN105595991A (zh) * | 2016-01-29 | 2016-05-25 | 北京心量科技有限公司 | 一种心脏相干指数的测量方法及装置 |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106377226A (zh) * | 2016-08-30 | 2017-02-08 | 苏州品诺维新医疗科技有限公司 | 一种心血管状态检测装置及斜率信息的确定方法 |
CN106377226B (zh) * | 2016-08-30 | 2019-05-03 | 苏州涵轩信息科技有限公司 | 一种心血管状态检测装置及斜率信息的确定方法 |
CN106923810A (zh) * | 2017-01-11 | 2017-07-07 | 上海脉融健康科技有限公司 | 一种基于心率变异率分析的检测装置及方法 |
CN107067152A (zh) * | 2017-02-14 | 2017-08-18 | 上海脉融健康科技有限公司 | 一种基于hrv分析的疲劳恢复指数监测装置及方法 |
CN108451494A (zh) * | 2017-02-17 | 2018-08-28 | 祥明大学校产学协力团 | 使用瞳孔反应来检测时域心脏参数的方法及系统 |
EP3570736A4 (en) * | 2017-05-05 | 2020-02-05 | Samsung Electronics Co., Ltd. | DETERMINATION OF HEALTH MARKERS USING PORTABLE DEVICES |
US10973423B2 (en) | 2017-05-05 | 2021-04-13 | Samsung Electronics Co., Ltd. | Determining health markers using portable devices |
CN107595271A (zh) * | 2017-07-27 | 2018-01-19 | 康美健康云服务有限公司 | 基于手机的心率测量方法、电子设备、存储介质及系统 |
CN111356404A (zh) * | 2017-09-27 | 2020-06-30 | 皇家飞利浦有限公司 | 用于在循环血量的评价中使用的传感器系统和感测方法 |
CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
CN108742660A (zh) * | 2018-07-02 | 2018-11-06 | 西北工业大学 | 一种基于可穿戴设备的情绪识别方法 |
CN110840430B (zh) * | 2018-08-21 | 2022-09-13 | 北京万生人和科技有限公司 | 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置 |
CN110840430A (zh) * | 2018-08-21 | 2020-02-28 | 北京万生人和科技有限公司 | 腹内压数据筛选方法、计算机可读存储介质、腹内压数据筛选装置 |
CN109480807A (zh) * | 2018-09-21 | 2019-03-19 | 王桥生 | 一种基于图像信号分析的非接触式心率测量方法 |
WO2020114448A1 (zh) * | 2018-12-07 | 2020-06-11 | 深圳先进技术研究院 | 一种光电容积脉搏波信号特征点检测方法及装置 |
CN109691993A (zh) * | 2018-12-07 | 2019-04-30 | 芯海科技(深圳)股份有限公司 | 一种测量心率变异性的方法及人体秤 |
CN109350031A (zh) * | 2018-12-07 | 2019-02-19 | 深圳先进技术研究院 | 一种光电容积脉搏波信号特征点检测方法及装置 |
CN109497984A (zh) * | 2018-12-27 | 2019-03-22 | 深圳还是威健康科技有限公司 | 一种心率信号的处理方法及相关设备 |
CN109793509A (zh) * | 2019-03-15 | 2019-05-24 | 北京科技大学 | 一种核辐射探测与心率测量方法及装置 |
CN110279411A (zh) * | 2019-06-06 | 2019-09-27 | 中山大学孙逸仙纪念医院 | 一种心脏数据异常检测方法、装置、存储介质及终端设备 |
CN110251115B (zh) * | 2019-06-20 | 2022-02-18 | 张远 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
CN110251115A (zh) * | 2019-06-20 | 2019-09-20 | 张远 | 基于体表视频的ppg信号提取方法、系统、设备及介质 |
CN111214218A (zh) * | 2020-01-13 | 2020-06-02 | 京东方科技集团股份有限公司 | 一种多生理参数的检测设备 |
CN111214218B (zh) * | 2020-01-13 | 2024-02-09 | 京东方科技集团股份有限公司 | 一种多生理参数的检测设备 |
CN111714110A (zh) * | 2020-05-19 | 2020-09-29 | 成都云卫康医疗科技有限公司 | 一种基于ppg波形的实时心率计算方法 |
CN114246569A (zh) * | 2020-09-25 | 2022-03-29 | 华为技术有限公司 | 检测早搏类型的方法、装置及介质 |
CN114246569B (zh) * | 2020-09-25 | 2024-07-30 | 华为技术有限公司 | 检测早搏类型的方法、装置及介质 |
CN112656392A (zh) * | 2020-12-21 | 2021-04-16 | 卡哈科技(深圳)有限公司 | 一种低功耗ppg心率计算方法及电子设备 |
CN114027822A (zh) * | 2021-04-19 | 2022-02-11 | 北京超思电子技术有限责任公司 | 一种基于ppg信号的呼吸率测量方法及装置 |
CN114027822B (zh) * | 2021-04-19 | 2022-11-25 | 北京超思电子技术有限责任公司 | 一种基于ppg信号的呼吸率测量方法及装置 |
CN113974630A (zh) * | 2021-11-26 | 2022-01-28 | 浙江昊梦科技有限公司 | 一种心理健康的检测方法及装置 |
CN114419500A (zh) * | 2022-01-07 | 2022-04-29 | 乐普(北京)医疗器械股份有限公司 | 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置 |
WO2023130662A1 (zh) * | 2022-01-07 | 2023-07-13 | 乐普(北京)医疗器械股份有限公司 | 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106175742A (zh) | 一种心脏体征获取方法以及装置 | |
Alghoul et al. | Heart rate variability extraction from videos signals: ICA vs. EVM comparison | |
CN109247923B (zh) | 基于视频的非接触式脉搏实时估计方法及设备 | |
US11229372B2 (en) | Systems and methods for computer monitoring of remote photoplethysmography based on chromaticity in a converted color space | |
McDuff et al. | Remote detection of photoplethysmographic systolic and diastolic peaks using a digital camera | |
Gudi et al. | Efficient real-time camera based estimation of heart rate and its variability | |
DE102017112819A1 (de) | System und Verfahren zum Vorsehen einer Echtzeitsignal-Segmentierung und Kontrollpunktausrichtungsrahmen | |
DE112019002467T5 (de) | System und verfahren für die fernmessungen von vitalzeichen | |
EP3232908B1 (en) | Method and apparatus for measuring and displaying a haemodynamic parameter | |
KR20210018202A (ko) | 광혈류측정 데이터 분석 및 프리젠테이션 | |
WO2016192952A1 (de) | Verfahren sowie vorrichtung zur ermittlung des verlaufs des blutdrucks | |
DE102016200045A1 (de) | Auswählen eines interessierenden Bereichs zum Extrahieren physiologischer Parameter aus einem Video eines Probanden | |
DE112015005804T5 (de) | Atemzustandsschätzvorrichtung, tragbare Vorrichtung, an Körper tragbare Vorrichtung, Programm, Medium, Atemzustandsschätzverfahren und Atemzustandsschätzer | |
Huang et al. | A motion-robust contactless photoplethysmography using chrominance and adaptive filtering | |
Fukunishi et al. | Improvements in remote video based estimation of heart rate variability using the Welch FFT method | |
Nikolaiev et al. | Non-contact video-based remote photoplethysmography for human stress detection | |
Zheng et al. | Remote measurement of heart rate from facial video in different scenarios | |
EP3405098B1 (en) | Signal processing method and apparatus | |
WO2021104129A1 (zh) | 心率估计方法、装置及应用其的电子设备 | |
Wong et al. | Automatic cardiac cycle determination directly from EEG-fMRI data by multi-scale peak detection method | |
CN107080526B (zh) | 生物信号处理方法和设备 | |
CN117271977A (zh) | 一种hrv数据预处理方法、装置及电子设备 | |
Relaño-Iborra et al. | PUPILS pipeline: A flexible Matlab toolbox for eyetracking and pupillometry data processing | |
CN116152893A (zh) | 运动鲁棒的非接触式心率检测方法、电子设备及存储介质 | |
CN106096303A (zh) | 一种自主神经系统的分析方法、服务器及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161207 |
|
RJ01 | Rejection of invention patent application after publication |