CN111297347B - 一种生成光体积变化描记图法信号的方法和装置 - Google Patents

一种生成光体积变化描记图法信号的方法和装置 Download PDF

Info

Publication number
CN111297347B
CN111297347B CN202010110278.XA CN202010110278A CN111297347B CN 111297347 B CN111297347 B CN 111297347B CN 202010110278 A CN202010110278 A CN 202010110278A CN 111297347 B CN111297347 B CN 111297347B
Authority
CN
China
Prior art keywords
signal
generate
digital signal
red
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110278.XA
Other languages
English (en)
Other versions
CN111297347A (zh
Inventor
吴泽剑
王斌
王思翰
曹君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lepu Medical Technology Beijing Co Ltd
Original Assignee
Lepu Medical Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lepu Medical Technology Beijing Co Ltd filed Critical Lepu Medical Technology Beijing Co Ltd
Priority to CN202010110278.XA priority Critical patent/CN111297347B/zh
Publication of CN111297347A publication Critical patent/CN111297347A/zh
Priority to US17/904,692 priority patent/US20220409077A1/en
Priority to EP20919740.9A priority patent/EP4108167A4/en
Priority to PCT/CN2020/129640 priority patent/WO2021164350A1/zh
Application granted granted Critical
Publication of CN111297347B publication Critical patent/CN111297347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0295Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Hematology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种生成光体积变化描记图法信号的方法和装置,所述方法包括:对皮肤表面进行拍摄生成缓存片段视频数据;提取缓存片段视频数据的缓存片段帧图像;对缓存片段帧图像进行图像质量检测生成图像质量检测结果;当图像质量检测结果为达标图像时对缓存片段帧图像进行一维红、绿光源信号提取生成第一红、绿光数字信号;对第一红、绿光数字信号进行信号带通滤波预处理生成第二红、绿光数字信号;对第二红、绿光数字信号进行最大频差判断生成第一判断结果;当第一判断结果为达标信号时对第二红、绿光数字信号进行信噪比判断生成第二判断结果;当第二判断结果为达标信号时生成第一PPG信号。

Description

一种生成光体积变化描记图法信号的方法和装置
技术领域
本发明涉电生理信号处理技术领域,特别涉及一种生成光体积变化描记图法信号的方法和装置。
背景技术
人体当前的健康状态、激素水平、情绪状态乃至生活方式等因素都会影响心脏的工作状态。要获得心脏运动的轨迹数据,就需要对心脏运动进行监测和数据采集,传统的方法是通过使用心电图(electrocardiogram,ECG)监测技术来完成的。该方式需要将导联电极连接到身体多个部位来进行心电信号的采集,具体操作时,被监测对象需要静卧或者再日常生活中时刻佩戴多种接触式设备(心贴、心带等等),对监测对象的行动与生活造成诸多不便。
光体积变化描记图法(Photoplethysmography,PPG),是借助光电手段在活体组织中检测血液容积变化的一种无创检测方法。在心脏搏动时,对血管内单位面积的血流量形成周期性变化,与之对应的血液体积也相应发生变化,从而导致反映血液吸收光量的PPG信号也呈现周期性变化趋势。PPG信号可以通过手指、耳朵等区域测量得到。通过PPG信号同样可以对心脏活动做一系列定向分析,且PPG方式相对ECG方式可以提高监测对象的体验舒适度。但在实际应用中,我们发现,当前的PPG信号采集装置和方式比较刻板:照射光源只采用单一的红光或者红外光居多,采集前端常见最多的是指夹、耳夹之类的定制机械设备,采集的数据需要经过特定传感器进行分析等等,诸如此类的问题都加大了上层医疗应用对PPG信号数据的获取难度。
发明内容
本发明的目的,就是针对现有技术的缺陷,提供一种生成光体积变化描记图法信号的方法和装置,使用移动终端对皮肤表面进行拍摄使得数据采集脱离了定制设备;使用视频录取方式并提供对录取视频的分析处理方法生成PPG信号使数据生成过程脱离了对特定传感器模块的依赖;对录取的视频提供远程备份机制并对远程的视频提供数据分析处理方法,提高了上层应用的数据共享度、有利于上层应用建立PPG大数据库。
为实现上述目的,本发明实施例第一方面提供了一种生成光体积变化描记图法信号的方法,其特征在于,所述方法包括:
移动终端对生物体局部皮肤表面进行连续采集拍摄操作,在所述连续采集拍摄操作的过程中,以预置的缓存片段时间阈值为片段长度对拍摄产生的视频数据进行连续视频片段缓存处理生成多个缓存片段视频数据;
对所述缓存片段视频数据进行帧图像提取处理生成缓存片段帧图像序列,并根据预置的红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行图像质量检测生成图像质量检测结果;所述缓存片段帧图像序列包括多个缓存片段帧图像;
当所述图像质量检测结果为达标图像标识时,根据所述红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维红光源信号提取处理生成第一红光数字信号,根据预置的绿光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维绿光源信号提取处理生成第一绿光数字信号;
根据预置的带通滤波频率阈值范围,对所述第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对所述第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号;对所述第二红光数字信号和所述第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当所述第一判断结果为达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当所述第二判断结果为所述达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成所述缓存片段视频数据的第一PPG信号。
优选的,所述方法还包括:
所述移动终端对所述第一PPG信号进行图形化转化处理生成当前片段PPG波形图像,并通过显示界面对所述当前片段PPG波形图像进行本地实时波形显示处理。
优选的,所述方法还包括:
在所述连续采集拍摄操作结束之后,所述移动终端将缓存的所有所述缓存片段视频数据按时间先后顺序进行视频拼接处理生成完整皮表视频数据,并将所述完整皮表视频数据向远程服务器发送;
所述服务器对所述完整皮表视频数据进行帧图像提取处理生成完整皮表视频帧图像序列;所述完整皮表视频帧图像序列包括多个完整皮表视频帧图像;
根据预置的服务器红光像素阈值范围对所述完整皮表视频帧图像序列的所有所述完整皮表视频帧图像进行一维红光源信号提取处理生成第一服务器红光数字信号;根据预置的服务器绿光像素阈值范围,对所述完整皮表视频帧图像序列的所有所述完整皮表视频帧图像进行一维绿光源信号提取处理生成第一服务器绿光数字信号;
根据预置的服务器带通滤波频率阈值范围,对所述第一服务器红光数字信号进行信号带通滤波预处理生成第二服务器红光数字信号,对所述第一服务器绿光数字信号进行信号带通滤波预处理生成第二服务器绿光数字信号;对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行信号最大频差判断处理生成第一服务器判断结果;当所述第一服务器判断结果为所述达标信号标识时对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行信号信噪比判断处理生成第二服务器判断结果;当所述第二服务器判断结果为所述达标信号标识时对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行PPG信号生成处理生成所述完整皮表视频数据的第二PPG信号;
所述服务器对所述第二PPG信号进行PPG数据文件转换处理生成完整皮表PPG数据文件,并将所述完整皮表视频数据和所述完整皮表PPG数据文件存储于医疗数据库。
优选的,所述对所述缓存片段视频数据进行帧图像提取处理生成缓存片段帧图像序列,并根据预置的红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行图像质量检测生成图像质量检测结果,具体包括:
对所述缓存片段视频数据,按预置的缓存片段帧数据长度依次进行数据段提取,并根据提取的多个数据段生成多个所述缓存片段帧图像,再将所有所述缓存片段帧图像按顺序进行排序生成所述缓存片段帧图像序列;
按时间先后顺序,依次对所述缓存片段帧图像序列进行缓存片段帧图像提取处理生成当前缓存片段帧图像;在所述当前缓存片段帧图像中,对像素点的总数进行统计生成全像素点总数,对像素值在所述红光像素阈值范围内的像素点的总数进行统计生成红色像素点总数;根据所述红色像素点总数与所述全像素点总数的比值生成当前帧红色占比参数;根据预置的红色占比下限阈值对所述当前帧红色占比参数进行图像质量检测,在所述当前帧红色占比参数小于所述红色占比下限阈值时设置所述图像质量检测结果为不达标图像标识并停止对所述缓存片段帧图像序列进行缓存片段帧图像提取处理,在所述当前帧红色占比参数大于或等于所述红色占比下限阈值时设置所述图像质量检测结果为达标图像标识并继续对所述缓存片段帧图像序列进行缓存片段帧图像提取处理。
优选的,所述当所述图像质量检测结果为达标图像标识时,根据所述红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维红光源信号提取处理生成第一红光数字信号,根据预置的绿光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维绿光源信号提取处理生成第一绿光数字信号,具体包括:
步骤51,当所述图像质量检测结果为所述达标图像标识时,初始化所述第一红光数字信号为空,初始化所述第一绿光数字信号为空,初始化第一索引的值为1,初始化第一总数为所述缓存片段帧图像序列的缓存片段帧图像总数;
步骤52,设置第一索引帧图像为所述缓存片段帧图像序列中与所述第一索引对应的所述缓存片段帧图像;
步骤53,在所述第一索引帧图像中统计所有满足所述红光像素阈值范围的像素点生成红色像素点集合,统计所述红色像素点集合中包括的像素点总和生成红色点总数,对所述红色像素点集合的所有像素点的像素值进行求和计算生成红色像素值总和,根据所述红色像素值总和除以所述红色点总数的商生成第一索引帧红光通道数据;将所述第一索引帧红光通道数据作为信号点数据向所述第一红光数字信号进行信号点添加操作;
步骤54,在所述第一索引帧图像中统计所有满足所述绿光像素阈值范围的像素点生成绿色像素点集合,统计所述绿色像素点集合中包括的像素点总和生成绿色点总数,对所述绿色像素点集合的所有像素点的像素值进行求和计算生成绿色像素值总和,根据所述绿色像素值总和除以所述绿色点总数的商生成第一索引帧绿光通道数据;将所述第一索引帧绿光通道数据作为信号点数据向所述第一绿光数字信号进行信号点添加操作;
步骤55,将所述第一索引加1;
步骤56,判断所述第一索引是否大于所述第一总数,如果所述第一索引小于或等于所述第一总数则转至步骤52,如果所述第一索引大于所述第一总数则转至步骤57;
步骤57,将所述第一红光数字信号作为一维红光源信号提取处理结果,将所述第一绿光数字信号作为一维绿光源信号提取处理结果向上位处理流程传送。
优选的,所述根据预置的带通滤波频率阈值范围,对所述第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对所述第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号,具体包括:
根据所述带通滤波频率阈值范围,在所述第一红光数字信号中,将信号频率低于所述带通滤波频率阈值范围的低频噪声信号点和信号频率高于所述带通滤波频率阈值范围的高频噪声信号点从所述第一红光数字信号中进行数字信号滤波处理,生成所述第二红光数字信号;
根据所述带通滤波频率阈值范围,在所述第一绿光数字信号中,将信号频率低于所述带通滤波频率阈值范围的低频噪声信号点和信号频率高于所述带通滤波频率阈值范围的高频噪声信号点从所述第一绿光数字信号中进行数字信号滤波处理,生成所述第二绿光数字信号。
优选的,所述对所述第二红光数字信号和所述第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当所述第一判断结果为达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当所述第二判断结果为所述达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成所述缓存片段视频数据的第一PPG信号,具体包括:
步骤71,对所述第二红光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成红光频域信号,对所述第二绿光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成绿光频域信号;从所述红光频域信号中提取能量最高频率生成红光最大频率,从所述绿光频域信号中提取能量最高频率生成绿光最大频率;计算所述红光最大频率与所述绿光最大频率的频率差生成红绿最大频差;当所述红绿最大频差未超过预置的最大频差阈值范围时设置所述第一判断结果为所述达标信号标识,当所述红绿最大频差超过所述最大频差阈值范围时设置所述第一判断结果为不达标信号标识;
步骤72,当所述第一判断结果为所述达标信号标识时,根据预置的带阻滤波频率阈值范围,通过多阶巴特沃斯带阻滤波将信号频率满足所述带阻滤波频率阈值范围的有效信号点从所述第二红光数字信号中去除生成红光噪声信号,通过多阶巴特沃斯带阻滤波将信号频率满足所述带阻滤波频率阈值范围的有效信号点从所述第二绿光数字信号中去除生成绿光噪声信号;
步骤73,计算所述第二红光数字信号的信号能量生成红光信号能量,计算所述红光噪声信号的信号能量生成红光噪声能量,根据所述红光信号能量减去所述红光噪声能量的差生成有效红光信号能量,根据所述有效红光信号能量与所述红光噪声能量的比值生成红光信噪比;
步骤74,计算所述第二绿光数字信号的信号能量生成绿光信号能量,计算所述绿光噪声信号的信号能量生成绿光噪声能量,根据所述绿光信号能量减去所述绿光噪声能量的差生成有效绿光信号能量,根据所述有效绿光信号能量与所述绿光噪声能量的比值生成绿光信噪比;
步骤75,当所述红光信噪比与所述绿光信噪比均小于预置的信噪比阈值设置所述第二判断结果为所述不达标信号标识,当所述红光信噪比与所述绿光信噪比中任一个大于或等于所述信噪比阈值则设置所述第二判断结果为所述达标信号标识;
步骤76,当所述第二判断结果为所述达标信号标识时,设置所述第一PPG信号的红光数字信号为所述第二红光数字信号,设置所述第一PPG信号的绿光数字信号为所述第二绿光数字信号;所述第一PPG信号包括所述红光数字信号和所述绿光数字信号。
优选的,所述方法还包括:
当所述图像质量检测结果为所述不达标信号标识时,停止所述连续采集拍摄操作并生成皮肤表面脱离错误信息,再将所述皮肤表面脱离错误信息向所述移动终端传送,所述移动终端通过所述显示界面对所述皮肤表面脱离错误信息进行警示信息显示处理;
当所述第一判断结果为所述不达标信号标识时,停止所述连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将所述信号质量错误信息向所述移动终端传送,所述移动终端通过所述显示界面对所述信号质量错误信息进行警示信息显示处理;
当所述第二判断结果为所述不达标信号标识时,停止所述连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将所述信号质量错误信息向所述移动终端传送,所述移动终端通过所述显示界面对所述信号质量错误信息进行警示信息显示处理。
本发明实施例第一方面提供了一种生成光体积变化描记图法信号的方法,无需定制的采集设备,只需要采用一般移动终端摄像头对皮肤表面进行拍摄即可;对所拍摄的视频数据无需使用定制的传感器分析模块进行分析,只需通过视频像素值提取,再进一步对提取信号使用带通滤波、频差比较和带阻滤波等常规信号处理方法进行降噪和特征提取,最终生成有效的PPG信号;对所拍摄的视频提供远程备份机制,以及远程数据分析生成PPG信号功能,提高了上层应用的数据共享度,有利于上层应用建立PPG大数据库。
本发明实施例第二方面提供了一种设备,该设备包括存储器和处理器,存储器用于存储程序,处理器用于执行第一方面及第一方面的各实现方式中的方法。
本发明实施例第三方面提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面及第一方面的各实现方式中的方法。
本发明实施例第四方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现第一方面及第一方面的各实现方式中的方法。
附图说明
图1为本发明实施例一提供的一种生成光体积变化描记图法信号的方法示意图;
图2为本发明实施例二提供的一种生成光体积变化描记图法信号的方法示意图;
图3为本发明实施例三提供的一种生成光体积变化描记图法信号的装置的设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在进行发明实施例的进一步阐述之前,将本发明实施例涉及的技术实现做如下简要描述。
常规PPG信号采集,是采用特定光源对皮肤表面进行照射,然后使用特定光源接收传感器对由该皮肤表面反射或者透射的光信号进行接收;该传感器的分析模块会按时间顺序对光强变化进行统计分析最终以归一化的PPG信号方式对动态脉搏波进行呈现。
参考PPG信号分析原理,在连续的心动过程中,我们又发现测试者皮肤表面对自然光中的红光与绿光的光能吸收与常规PPG采集设备的特定光源的光能吸收趋势是一样的。那么借助另外的介质,只要能够体现时间周期内皮肤表面红、绿光变化趋势,也就同样可以获得归一化的PPG信号。
基于上述发现,本发明实施例相对常规PPG信号采集设备,不设置特定光源要求,不使用特定光源对皮肤表明进行照射并使用特定传感器对光强进行采集。本发明实施例采用自然光(即使使用闪光灯之类的强光源只是为了提高光照强度而非设定光源性质),使用常规的拍摄装置(比如移动终端的摄像头之类常见的摄像装置),对测试者的指定皮肤表面(手指头、耳垂、脖子、额头等等)进行拍摄,并将获得的视频数据进行帧图像提取就生成一个帧图像的序列。本发明实施例就是以这些连续的帧图像作为另外的介质对红、绿光的变化趋势进行捕捉。具体实现方法是,将帧图像中的红、绿色像素值进行加权统计生成该帧图像对应时间点的原始红、光信号点,将原始红、绿光信号进行相应的滤波降噪处理生成PPG信号的红、绿数据通道值。
本发明实施例提供本地拍摄设备通过视频拍摄获取PPG信号的处理方式,并采用本地显示设备提供同步显示功能;与之同时,本发明实施例还提供远端服务器对上传视频数据的PPG信号解析功能,并将解析后的PPG信号数据转存入医疗数据库从而实现了数据备份与共享的功能。
如图1为本发明实施例一提供的一种生成光体积变化描记图法信号的方法示意图所示,本方法主要包括如下步骤:
步骤1,移动终端对生物体局部皮肤表面进行连续采集拍摄操作,在连续采集拍摄操作的过程中,以预置的缓存片段时间阈值为片段长度对拍摄产生的视频数据进行连续视频片段缓存处理生成多个缓存片段视频数据。
此处,在日常所见的,只要带有摄像头、具备视频拍摄功能的移动终端均可充当本发明实施例的视频拍摄设备;在拍摄之前,需要打开移动终端的闪光灯并保持常亮,以此满足稳定的照射光源需求;
在拍摄时,需要保持被拍摄生物体的局部皮肤表面轻微按压在移动终端的摄像头上;对于闪光灯和摄像头比较接近的移动终端,需要将皮肤表面同时覆盖住闪光灯和摄像头;对于闪光灯和摄像头比较远的移动终端,只需要将皮肤表面覆盖住摄像头即可;拍摄过程中皮肤表面与镜头间相对需保持静止且按压尽量用力均匀。
步骤2,对缓存片段视频数据进行帧图像提取处理生成缓存片段帧图像序列,并根据预置的红光像素阈值范围对缓存片段帧图像序列的所有缓存片段帧图像进行图像质量检测生成图像质量检测结果;
其中,缓存片段帧图像序列包括多个缓存片段帧图像;
具体包括:步骤21,对缓存片段视频数据,按预置的缓存片段帧数据长度依次进行数据段提取,并根据提取的多个数据段生成多个缓存片段帧图像,再将所有缓存片段帧图像按顺序进行排序生成缓存片段帧图像序列;
步骤22,按时间先后顺序,依次对缓存片段帧图像序列进行缓存片段帧图像提取处理生成当前缓存片段帧图像;在当前缓存片段帧图像中,对像素点的总数进行统计生成全像素点总数,对像素值在红光像素阈值范围内的像素点的总数进行统计生成红色像素点总数;根据红色像素点总数与全像素点总数的比值生成当前帧红色占比参数;根据预置的红色占比下限阈值对当前帧红色占比参数进行图像质量检测,在当前帧红色占比参数小于红色占比下限阈值时设置图像质量检测结果为不达标图像标识并停止对缓存片段帧图像序列进行缓存片段帧图像提取处理,在当前帧红色占比参数大于或等于红色占比下限阈值时设置图像质量检测结果为达标图像标识并继续对缓存片段帧图像序列进行缓存片段帧图像提取处理。
此处,步骤21-22是用于对视频数据中的子帧图像进行依次扫描,检查所有子帧图像中的红色像素占比是否达标;之所以这么操作,原因是:如果拍摄过程中皮肤表面是完全覆盖在摄像镜头上的话,则视频中子帧图像里大多数都应是红色像素点,反之如果皮肤表面未压紧或者已经移开摄像头位置则都可能造成红色像素点减少;当发现当前正在扫描的子帧图像不达标时,就直接退出当前的全扫描过程,并将图像质量检测结果设置为不达标图像标识,后续上位应用针对不达标图像标识的处理可以是:停止连续采集拍摄操作并生成皮肤表面脱离错误信息,再将皮肤表面脱离错误信息向移动终端传送,移动终端通过显示界面对皮肤表面脱离错误信息进行警示信息显示处理。
步骤3,当图像质量检测结果为达标图像标识时,根据红光像素阈值范围对缓存片段帧图像序列的所有缓存片段帧图像进行一维红光源信号提取处理生成第一红光数字信号,根据预置的绿光像素阈值范围对缓存片段帧图像序列的所有缓存片段帧图像进行一维绿光源信号提取处理生成第一绿光数字信号;
具体包括:步骤31,当图像质量检测结果为达标图像标识时,初始化第一红光数字信号为空,初始化第一绿光数字信号为空,初始化第一索引的值为1,初始化第一总数为缓存片段帧图像序列的缓存片段帧图像总数;
步骤32,设置第一索引帧图像为缓存片段帧图像序列中与第一索引对应的缓存片段帧图像;
步骤33,在第一索引帧图像中统计所有满足红光像素阈值范围的像素点生成红色像素点集合,统计红色像素点集合中包括的像素点总和生成红色点总数,对红色像素点集合的所有像素点的像素值进行求和计算生成红色像素值总和,根据红色像素值总和除以红色点总数的商生成第一索引帧红光通道数据;将第一索引帧红光通道数据作为信号点数据向第一红光数字信号进行信号点添加操作;
例如,提取第1帧图像中所有满足红光像素阈值范围(因为不同位置受到光源的照射因内部结构或者血管的反射和透射的程度不一样,会导致光通过率由差异,进一步会导致拍摄下来的视频中红色也会产生颜色深浅的差别,因此采用像素阈值范围)的像素点总数生成红色点总数,提取第1帧图像中所有满足红光像素阈值范围的像素点的像素值进行总和计算生成红色像素值总和,那么第一索引帧红光通道数据就等于红色像素值总和/红色点总数;
步骤34,在第一索引帧图像中统计所有满足绿光像素阈值范围的像素点生成绿色像素点集合,统计绿色像素点集合中包括的像素点总和生成绿色点总数,对绿色像素点集合的所有像素点的像素值进行求和计算生成绿色像素值总和,根据绿色像素值总和除以绿色点总数的商生成第一索引帧绿光通道数据;将第一索引帧绿光通道数据作为信号点数据向第一绿光数字信号进行信号点添加操作;
例如,提取第1帧图像中所有满足绿光像素阈值范围(因为不同位置受到光源的照射因内部结构或者血管的反射和透射的程度不一样,会导致光通过率由差异,进一步会导致拍摄下来的视频中绿色也会产生颜色深浅的差别,因此采用像素阈值范围)的像素点总数生成绿色点总数,提取第1帧图像中所有满足绿光像素阈值范围的像素点的像素值进行总和计算生成绿色像素值总和,那么第一索引帧绿光通道数据就等于绿色像素值总和/绿色点总数;
步骤35,将第一索引加1;
步骤36,判断第一索引是否大于第一总数,如果第一索引小于或等于第一总数则转至步骤32,如果第一索引大于第一总数则转至步骤37;
步骤37,将第一红光数字信号作为一维红光源信号提取处理结果,将第一绿光数字信号作为一维绿光源信号提取处理结果向上位处理流程传送。
此处,步骤3,是将由缓存片段视频数据转化而来的缓存片段帧图像序列中的所有缓存片段帧图像进行两种光源信息的提取操作;红光和绿光;对光信号的提取方式,就是通过对帧图像中特定像素的加权平均计算得到一个像素均值,并以此代表该光源在所在帧图像中的颜色通道数据;按时间先后顺序,对视频中的每一帧都做同样的处理,可以得到两段一维数字信号:第一红光数字信号和第一绿光数字信号。
步骤4,根据预置的带通滤波频率阈值范围,对第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号;对第二红光数字信号和第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当第一判断结果为达标信号标识时对第二红光数字信号和第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当第二判断结果为达标信号标识时对第二红光数字信号和第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成缓存片段视频数据的第一PPG信号。
其中,根据预置的带通滤波频率阈值范围,对第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号,
具体包括:步骤41,根据带通滤波频率阈值范围,在第一红光数字信号中,将信号频率低于带通滤波频率阈值范围的低频噪声信号点和信号频率高于带通滤波频率阈值范围的高频噪声信号点从第一红光数字信号中进行数字信号滤波处理,生成第二红光数字信号;
步骤42,根据带通滤波频率阈值范围,在第一绿光数字信号中,将信号频率低于带通滤波频率阈值范围的低频噪声信号点和信号频率高于带通滤波频率阈值范围的高频噪声信号点从第一绿光数字信号中进行数字信号滤波处理,生成第二绿光数字信号;
此处,步骤41-42是是对通过视频数据提取的两种光源的数字信号进行信号信号预处理,即降噪处理;此处,实施例一使用的降噪手段是带通滤波方式,即预置一个带通滤波频率阈值范围,基于带通滤波原理对低于或高于该频段的信号、干扰和噪声进行信号抑制处理;一般此处的带通滤波频率阈值范围常见的0.5赫兹到10赫兹;在某些移动终端上进行带通滤波处理时,使用的是有限长单位冲激响应((Finite Impulse Response,FIR)滤波模块;
其中,对第二红光数字信号和第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当第一判断结果为达标信号标识时对第二红光数字信号和第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当第二判断结果为达标信号标识时对第二红光数字信号和第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成第一PPG信号,
具体包括:步骤43,对第二红光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成红光频域信号,对第二绿光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成绿光频域信号;从红光频域信号中提取能量最高频率生成红光最大频率,从绿光频域信号中提取能量最高频率生成绿光最大频率;计算红光最大频率与绿光最大频率的频率差生成红绿最大频差;当红绿最大频差未超过预置的最大频差阈值范围时设置第一判断结果为达标信号标识,当红绿最大频差超过最大频差阈值范围时设置第一判断结果为不达标信号标识;
此处,首先通过离散傅里叶变换得到第二红色数字信号和第二绿色数字信号的频域信号,通过频域信号得到能量最高的频率(一般这个频率通常对应着心率),此处基本原理是检查这两个数字信号的能量最高的频率是否一致,如果误差在允许范围之内则设置第一判断结果为达标信号标识;如果误差较大则设置第一判断结果为不达标信号标识;后续上位应用针对不达标信号标识的处理可以是:上位应用进而停止连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将信号质量错误信息向移动终端传送,移动终端通过显示界面对信号质量错误信息进行警示信息显示处理;
步骤44,当第一判断结果为达标信号标识时,根据预置的带阻滤波频率阈值范围,通过多阶巴特沃斯带阻滤波将信号频率满足带阻滤波频率阈值范围的有效信号点从第二红光数字信号中去除生成红光噪声信号,通过多阶巴特沃斯带阻滤波将信号频率满足带阻滤波频率阈值范围的有效信号点从第二绿光数字信号中去除生成绿光噪声信号;
步骤45,计算第二红光数字信号的信号能量生成红光信号能量,计算红光噪声信号的信号能量生成红光噪声能量,根据红光信号能量减去红光噪声能量的差生成有效红光信号能量,根据有效红光信号能量与红光噪声能量的比值生成红光信噪比;
步骤46,计算第二绿光数字信号的信号能量生成绿光信号能量,计算绿光噪声信号的信号能量生成绿光噪声能量,根据绿光信号能量减去绿光噪声能量的差生成有效绿光信号能量,根据有效绿光信号能量与绿光噪声能量的比值生成绿光信噪比;
步骤47,当红光信噪比与绿光信噪比均小于预置的信噪比阈值设置第二判断结果为不达标信号标识,当红光信噪比与绿光信噪比中任一个大于或等于信噪比阈值则设置第二判断结果为达标信号标识;
此处,步骤44-47是对红绿光做二次滤波处理,本次滤波是一种带阻滤波方式,即将属于带阻滤波频率阈值范围内的信号进行抑制,具体的采用的是多阶巴特沃斯带阻滤波方式(例如,4阶巴特沃斯带阻滤波、1阶巴特沃斯带阻滤波);通过带阻滤波将噪声及干扰信号进行保留生成噪声信号,再进一步对有效信号和噪声信号进行计算生成信噪比;最后使用信噪比再对红、绿光数字信号进行达标与否的识别操作;达标判定参考参数为第二判断结果;后续上位应用针对不达标信号标识的处理可以是:上位应用进而停止连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将信号质量错误信息向移动终端传送,移动终端通过显示界面对信号质量错误信息进行警示信息显示处理;
步骤48,当第二判断结果为达标信号标识时,设置第一PPG信号的红光数字信号为第二红光数字信号,设置第一PPG信号的绿光数字信号为第二绿光数字信号;
其中,第一PPG信号包括红光数字信号和绿光数字信号。
步骤5,移动终端对第一PPG信号进行图形化转化处理生成当前片段PPG波形图像,并通过显示界面对当前片段PPG波形图像进行本地实时波形显示处理。
此处,一般在实际应用中缓存片段时间都不会太长,所以对缓存片段的分析也会比较快,对由缓存片段进行分析生成的第一PPG信号的显示也会比较快,对于使用者来说,这其间的延迟时间基本上是可以忽略的,也即,使用者可以通过自己的移动终端边拍摄边同步观测PPG波形及由PPG状态变化映射出的心压变化状态,同理,在移动终端上已经安装的医疗数据分析软件等也可以同步利用该项数据启动本地的相关数据分析和计算工作。
如图2为本发明实施例二提供的一种生成光体积变化描记图法信号的方法示意图所示,本方法主要包括如下步骤:
步骤101,在连续采集拍摄操作结束之后,移动终端将缓存的所有缓存片段视频数据按时间先后顺序进行视频拼接处理生成完整皮表视频数据,并将完整皮表视频数据向远程服务器发送。
此处,假设移动终端本地生成了10个缓存片段视频数据,分别是缓存片段视频数据1到10,那么完整皮表视频数据就是缓存片段视频数据1+缓存片段视频数据2+……+缓存片段视频数据10。
步骤102,服务器对完整皮表视频数据进行帧图像提取处理生成完整皮表视频帧图像序列;
其中,完整皮表视频帧图像序列包括多个完整皮表视频帧图像。
假设,1个缓存片段视频数据时长为1秒,1秒内规定子帧图像为24帧,那么完整皮表视频数据包括10个缓存片段视频数据,每个片段包括24帧,那么完整皮表视频帧图像序列包括10*24=240个完整皮表视频帧图像。
此处,与移动终端本地边采集边比对的方式不同,服务器是对移动终端上传的完整采集数据进行PPG信号的提取和重现,服务器默认上传的视频数据已经经过本地色素点占比的比对了,其图像质量是达标的,所以不做色素点占比的比对操作。
步骤103,根据预置的服务器红光像素阈值范围对完整皮表视频帧图像序列的所有完整皮表视频帧图像进行一维红光源信号提取处理生成第一服务器红光数字信号;根据预置的服务器绿光像素阈值范围,对完整皮表视频帧图像序列的所有完整皮表视频帧图像进行一维绿光源信号提取处理生成第一服务器绿光数字信号;
具体包括:步骤1031,初始化第一服务器红光数字信号为空,初始化第一服务器绿光数字信号为空,初始化第二索引的值为1,初始化第二总数为完整皮表视频帧图像序列的完整皮表视频帧图像总数;
步骤1032,从完整皮表视频帧图像序列中提取与第二索引对应的完整皮表视频帧图像生成第二索引帧图像;
步骤1033,在第二索引帧图像中统计所有满足服务器红光像素阈值范围的像素点,并进行像素值加权平均计算,生成第二索引帧红光像素加权平均值;
此处的加权平均计算常见的是常规平均方式,例如,提取第1帧图像中所有满足服务器红光像素阈值范围(因为不同位置受到光源的照射因内部结构或者血管的反射和透射的程度不一样,会导致光通过率由差异,进一步会导致拍摄下来的视频中红色也会产生颜色深浅的差别,因此采用像素阈值范围)的像素点总数生成红色像素点总数,提取第1帧图像中所有满足服务器红光像素阈值范围的像素点的像素值进行总和计算生成红色像素值总和,那么第二索引帧红光像素加权平均值就等于红色像素值总和/红色像素点总数;
此处,因为当前步骤是在服务器端运行,鉴于服务器端的计算能力大于移动终端的计算能力,所以在服务器端使用的服务器红光像素阈值范围与服务器绿光像素阈值范围可以较移动终端侧的范围精度更大,也可以保持一致,具体配置由应用方在实际应用中把握;
步骤1034,在第二索引帧图像中统计所有满足服务器绿光像素阈值范围的像素点,并进行像素值加权平均计算,生成第二索引帧绿光像素加权平均值;
此处的加权平均计算常见的是常规平均方式,例如,提取第1帧图像中所有满足服务器绿光像素阈值范围(因为不同位置受到光源的照射因内部结构或者血管的反射和透射的程度不一样,会导致光通过率由差异,进一步会导致拍摄下来的视频中绿色也会产生颜色深浅的差别,因此采用像素阈值范围)的像素点总数生成绿色像素点总数,提取第1帧图像中所有满足服务器绿光像素阈值范围的像素点的像素值进行总和计算生成绿色像素值总和,那么第二索引帧绿光像素加权平均值就等于绿色像素值总和/绿色像素点总数;
步骤1035,将第二索引帧红光像素加权平均值向第一服务器红光数字信号进行信号点添加操作;将第二索引帧绿光像素加权平均值向第一服务器绿光数字信号进行信号点添加操作;
步骤1036,将第二索引的值加1;
步骤1037,判断第二索引是否大于第二总数,如果第二索引小于或等于第二总数则转至步骤1032,如果第二索引大于第二总数则转至步骤104。
此处,步骤1031-1037将由完整皮表视频数据转化而来的完整皮表视频帧图像序列中的所有完整皮表视频帧图像进行两种光源信息的提取操作;红光和绿光;对光信号的提取方式,就是通过对帧图像中特定像素的加权平均计算得到一个像素均值,并以此代表该光源在所在帧图像中的像素取值;按时间先后顺序,对视频中的每一帧都做同样的处理,可以得到两段一维数字信号:第一服务器红光数字信号和第一服务器绿光数字信号。
步骤104,根据预置的服务器带通滤波频率阈值范围,对第一服务器红光数字信号进行信号带通滤波预处理生成第二服务器红光数字信号,对第一服务器绿光数字信号进行信号带通滤波预处理生成第二服务器绿光数字信号;对第二服务器红光数字信号和第二服务器绿光数字信号进行信号最大频差判断处理生成第一服务器判断结果;当第一服务器判断结果为达标信号标识时对第二服务器红光数字信号和第二服务器绿光数字信号进行信号信噪比判断处理生成第二服务器判断结果;当第二服务器判断结果为达标信号标识时对第二服务器红光数字信号和第二服务器绿光数字信号进行PPG信号生成处理生成完整皮表视频的第二PPG信号;
其中,根据预置的服务器带通滤波频率阈值范围,对第一服务器红光数字信号进行信号带通滤波预处理生成第二服务器红光数字信号,对第一服务器绿光数字信号进行信号带通滤波预处理生成第二服务器绿光数字信号;
具体包括:步骤1041,根据服务器带通滤波频率阈值范围,在第一服务器红光数字信号中,将信号频率低于服务器带通滤波频率阈值范围的低频噪声信号点和信号频率高于服务器带通滤波频率阈值范围的高频噪声信号点从第一服务器红光数字信号中进行数字信号滤波处理,生成第二服务器红光数字信号;
步骤1042,根据服务器带通滤波频率阈值范围,在第一服务器绿光数字信号中,将信号频率低于服务器带通滤波频率阈值范围的低频噪声信号点和信号频率高于服务器带通滤波频率阈值范围的高频噪声信号点从第一服务器绿光数字信号中进行数字信号滤波处理,生成第二服务器绿光数字信号;
此处,步骤1041-1042是对通过皮表视频数据提取的两种光源的数字信号进行信号信号预处理,即降噪处理;此处,实施例二使用的降噪手段是带通滤波方式,即预置一个带通滤波频率阈值范围,基于带通滤波原理对低于或高于该频段的信号、干扰和噪声进行信号抑制处理;
此处,因为当前步骤是在服务器端运行,鉴于服务器端的计算能力大于移动终端的计算能力,所以在服务器端使用的服务器带通滤波频率阈值范围可以较移动终端侧的范围精度更大,也可以保持一致,具体配置由应用方在实际应用中把握;
其中,对第二服务器红光数字信号和第二服务器绿光数字信号进行信号最大频差判断处理生成第一服务器判断结果;当第一服务器判断结果为达标信号标识时对第二服务器红光数字信号和第二服务器绿光数字信号进行信号信噪比判断处理生成第二服务器判断结果;当第二服务器判断结果为达标信号标识时对第二服务器红光数字信号和第二服务器绿光数字信号进行PPG信号生成处理生成第二PPG信号;
具体包括:步骤1043,对第二服务器红光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成服务器红光频域信号,对第二服务器绿光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成服务器绿光频域信号;从服务器红光频域信号中提取能量最高频率生成服务器红光最大频率,从服务器绿光频域信号中提取能量最高频率生成服务器绿光最大频率;计算服务器红光最大频率与服务器绿光最大频率的频率差生成服务器红绿最大频差;当服务器红绿最大频差未超过预置的服务器最大频差阈值范围时设置第一服务器判断结果为达标信号标识,当服务器红绿最大频差超过服务器最大频差阈值范围时设置第一服务器判断结果为不达标信号标识;
此处,首先通过离散傅里叶变换得到第二服务器红色数字信号和第二服务器绿色数字信号的频域信号,通过频域信号得到能量最高的频率(一般这个频率通常对应着心率),此处基本原理是检查这两个数字信号的能量最高的频率是否一致,如果误差在允许范围之内,则继续分析,如果误差较大,则认为信号质量不好,服务器会通过显示界面或者定制错误参数向使用者和上位应用提示信号质量问题;
步骤1044,当第一服务器判断结果为达标信号标识时,根据预置的服务器带阻滤波频率阈值范围,在第二服务器红光数字信号中,通过多阶巴特沃斯带阻滤波将信号频率满足服务器带阻滤波频率阈值范围的有效信号点从第二服务器红光数字信号中去除生成服务器红光噪声信号,通过多阶巴特沃斯带阻滤波将信号频率满足服务器带阻滤波频率阈值范围的有效信号点从第二服务器绿光数字信号中去除生成服务器绿光噪声信号;
步骤1045,计算第二服务器红光数字信号的信号能量生成服务器红光信号能量,计算服务器红光噪声信号的信号能量生成服务器红光噪声能量,根据服务器红光信号能量减去服务器红光噪声能量的差生成服务器有效红光信号能量,根据服务器有效红光信号能量与服务器红光噪声能量的比值生成服务器红光信噪比;
步骤1046,计算第二服务器绿光数字信号的信号能量生成服务器绿光信号能量,计算服务器绿光噪声信号的信号能量生成服务器绿光噪声能量,根据服务器绿光信号能量减去服务器绿光噪声能量的差生成服务器有效绿光信号能量,根据服务器有效绿光信号能量与服务器绿光噪声能量的比值生成服务器绿光信噪比;
步骤1047,如果服务器红光信噪比与服务器绿光信噪比均小于预置的服务器信噪比阈值则设置第二服务器判断结果为不达标信号标识,如果服务器红光信噪比与服务器绿光信噪比中任一个大于或等于服务器信噪比阈值则设置第二服务器判断结果为达标信号标识;
此处,步骤1043-1047是对红绿光做二次滤波处理,本次滤波是一种带阻滤波方式,即将属于带阻滤波频率阈值范围内的信号进行抑制,具体的采用的是多阶巴特沃斯带阻滤波方式(例如,4阶巴特沃斯带阻滤波、1阶巴特沃斯带阻滤波);通过带阻滤波将噪声及干扰信号进行保留生成噪声信号,再进一步对有效信号和噪声信号进行计算生成信噪比;最后使用信噪比再对红、绿光数字信号进行达标与否的识别操作;如果信号质量未达标,服务器会通过显示界面或者定制错误参数向使用者和上位应用提示信号质量问题;
此处,因为当前步骤是在服务器端运行,鉴于服务器端的计算能力大于移动终端的计算能力,所以在服务器端使用的多阶巴特沃斯带阻滤波方式可以较移动终端侧的阶数更大(例如移动终端采用1阶,服务器端采用4阶或更高),也可以保持一致,具体配置由应用方在实际应用中把握;
步骤1048,当第二服务器判断结果为达标信号标识时,设置第二PPG信号的红光数字信号为第二服务器红光数字信号,设置第二PPG信号的绿光数字信号为第二服务器绿光数字信号;
其中,第二PPG信号包括:红光数字信号和绿光数字信号。
步骤105,服务器对第二PPG信号进行PPG数据文件转换处理生成完整皮表PPG数据文件,并将完整皮表视频数据和完整皮表PPG数据文件存储于医疗数据库。
此处,经过步骤101-105,实现了服务器段对本地移动设备采集的原始视频数据的远端备份功能,且通过服务器对视频数据作进一步分析之后生成对应的PPG信号存储于医疗数据库中,所有与该数据库连接的软件、硬件、系统、网络都可以重复使用该数据进行多种应用拓展。
如图3为本发明实施例三提供的一种生成光体积变化描记图法信号的装置的设备结构示意图所述,该设备包括:处理器和存储器。存储器可通过总线与处理器连接。存储器可以是非易失存储器,例如硬盘驱动器和闪存,存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能;设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序,该软件程序被执行时,能够实现本发明实施例提供的方法。
需要说明的是,本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时,能够实现本发明实施例提供的方法。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得处理器执行上述方法。
本发明实施例提供的一种生成光体积变化描记图法信号的方法和装置,通过使用本发明实施例的方法,简化了PPG信号前端采集装置;使用视频录取方式并提供对录取视频的分析处理方法生成PPG信号使数据生成过程脱离了对特定传感器模块的依赖;对录取的视频提供远程备份,并提供远程数据分析处理方法生成PPG信号,提高了上层应用的数据共享度,有利于上层应用建立PPG大数据库。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种生成光体积变化描记图法信号的方法,其特征在于,所述方法包括:
移动终端对生物体局部皮肤表面进行连续采集拍摄操作,在所述连续采集拍摄操作的过程中,以预置的缓存片段时间阈值为片段长度对拍摄产生的视频数据进行连续视频片段缓存处理生成多个缓存片段视频数据;
对所述缓存片段视频数据进行帧图像提取处理生成缓存片段帧图像序列,并根据预置的红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行图像质量检测生成图像质量检测结果;所述缓存片段帧图像序列包括多个缓存片段帧图像;
当所述图像质量检测结果为达标图像标识时,根据所述红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维红光源信号提取处理生成第一红光数字信号,根据预置的绿光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维绿光源信号提取处理生成第一绿光数字信号;
根据预置的带通滤波频率阈值范围,对所述第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对所述第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号;对所述第二红光数字信号和所述第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当所述第一判断结果为达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当所述第二判断结果为所述达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成所述缓存片段视频数据的第一PPG信号;
其中,所述对所述第二红光数字信号和所述第二绿光数字信号进行信号最大频差判断处理生成第一判断结果;当所述第一判断结果为达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行信号信噪比判断处理生成第二判断结果;当所述第二判断结果为所述达标信号标识时对所述第二红光数字信号和所述第二绿光数字信号进行光体积变化描记图法PPG信号生成处理生成所述缓存片段视频数据的第一PPG信号,具体包括:
步骤71,对所述第二红光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成红光频域信号,对所述第二绿光数字信号使用离散傅里叶变换进行数字信号时域频域转换生成绿光频域信号;从所述红光频域信号中提取能量最高频率生成红光最大频率,从所述绿光频域信号中提取能量最高频率生成绿光最大频率;计算所述红光最大频率与所述绿光最大频率的频率差生成红绿最大频差;当所述红绿最大频差未超过预置的最大频差阈值范围时设置所述第一判断结果为所述达标信号标识,当所述红绿最大频差超过所述最大频差阈值范围时设置所述第一判断结果为不达标信号标识;
步骤72,当所述第一判断结果为所述达标信号标识时,根据预置的带阻滤波频率阈值范围,通过多阶巴特沃斯带阻滤波将信号频率满足所述带阻滤波频率阈值范围的有效信号点从所述第二红光数字信号中去除生成红光噪声信号,通过多阶巴特沃斯带阻滤波将信号频率满足所述带阻滤波频率阈值范围的有效信号点从所述第二绿光数字信号中去除生成绿光噪声信号;
步骤73,计算所述第二红光数字信号的信号能量生成红光信号能量,计算所述红光噪声信号的信号能量生成红光噪声能量,根据所述红光信号能量减去所述红光噪声能量的差生成有效红光信号能量,根据所述有效红光信号能量与所述红光噪声能量的比值生成红光信噪比;
步骤74,计算所述第二绿光数字信号的信号能量生成绿光信号能量,计算所述绿光噪声信号的信号能量生成绿光噪声能量,根据所述绿光信号能量减去所述绿光噪声能量的差生成有效绿光信号能量,根据所述有效绿光信号能量与所述绿光噪声能量的比值生成绿光信噪比;
步骤75,当所述红光信噪比与所述绿光信噪比均小于预置的信噪比阈值设置所述第二判断结果为所述不达标信号标识,当所述红光信噪比与所述绿光信噪比中任一个大于或等于所述信噪比阈值则设置所述第二判断结果为所述达标信号标识;
步骤76,当所述第二判断结果为所述达标信号标识时,设置所述第一PPG信号的红光数字信号为所述第二红光数字信号,设置所述第一PPG信号的绿光数字信号为所述第二绿光数字信号;所述第一PPG信号包括所述红光数字信号和所述绿光数字信号。
2.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述方法还包括:
所述移动终端对所述第一PPG信号进行图形化转化处理生成当前片段PPG波形图像,并通过显示界面对所述当前片段PPG波形图像进行本地实时波形显示处理。
3.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述方法还包括:
在所述连续采集拍摄操作结束之后,所述移动终端将缓存的所有所述缓存片段视频数据按时间先后顺序进行视频拼接处理生成完整皮表视频数据,并将所述完整皮表视频数据向远程服务器发送;
所述服务器对所述完整皮表视频数据进行帧图像提取处理生成完整皮表视频帧图像序列;所述完整皮表视频帧图像序列包括多个完整皮表视频帧图像;
根据预置的服务器红光像素阈值范围对所述完整皮表视频帧图像序列的所有所述完整皮表视频帧图像进行一维红光源信号提取处理生成第一服务器红光数字信号;根据预置的服务器绿光像素阈值范围,对所述完整皮表视频帧图像序列的所有所述完整皮表视频帧图像进行一维绿光源信号提取处理生成第一服务器绿光数字信号;
根据预置的服务器带通滤波频率阈值范围,对所述第一服务器红光数字信号进行信号带通滤波预处理生成第二服务器红光数字信号,对所述第一服务器绿光数字信号进行信号带通滤波预处理生成第二服务器绿光数字信号;对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行信号最大频差判断处理生成第一服务器判断结果;当所述第一服务器判断结果为所述达标信号标识时对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行信号信噪比判断处理生成第二服务器判断结果;当所述第二服务器判断结果为所述达标信号标识时对所述第二服务器红光数字信号和所述第二服务器绿光数字信号进行PPG信号生成处理生成所述完整皮表视频数据的第二PPG信号;
所述服务器对所述第二PPG信号进行PPG数据文件转换处理生成完整皮表PPG数据文件,并将所述完整皮表视频数据和所述完整皮表PPG数据文件存储于医疗数据库。
4.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述对所述缓存片段视频数据进行帧图像提取处理生成缓存片段帧图像序列,并根据预置的红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行图像质量检测生成图像质量检测结果,具体包括:
对所述缓存片段视频数据,按预置的缓存片段帧数据长度依次进行数据段提取,并根据提取的多个数据段生成多个所述缓存片段帧图像,再将所有所述缓存片段帧图像按顺序进行排序生成所述缓存片段帧图像序列;
按时间先后顺序,依次对所述缓存片段帧图像序列进行缓存片段帧图像提取处理生成当前缓存片段帧图像;在所述当前缓存片段帧图像中,对像素点的总数进行统计生成全像素点总数,对像素值在所述红光像素阈值范围内的像素点的总数进行统计生成红色像素点总数;根据所述红色像素点总数与所述全像素点总数的比值生成当前帧红色占比参数;根据预置的红色占比下限阈值对所述当前帧红色占比参数进行图像质量检测,在所述当前帧红色占比参数小于所述红色占比下限阈值时设置所述图像质量检测结果为不达标图像标识并停止对所述缓存片段帧图像序列进行缓存片段帧图像提取处理,在所述当前帧红色占比参数大于或等于所述红色占比下限阈值时设置所述图像质量检测结果为达标图像标识并继续对所述缓存片段帧图像序列进行缓存片段帧图像提取处理。
5.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述当所述图像质量检测结果为达标图像标识时,根据所述红光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维红光源信号提取处理生成第一红光数字信号,根据预置的绿光像素阈值范围对所述缓存片段帧图像序列的所有所述缓存片段帧图像进行一维绿光源信号提取处理生成第一绿光数字信号,具体包括:
步骤51,当所述图像质量检测结果为所述达标图像标识时,初始化所述第一红光数字信号为空,初始化所述第一绿光数字信号为空,初始化第一索引的值为1,初始化第一总数为所述缓存片段帧图像序列的缓存片段帧图像总数;
步骤52,设置第一索引帧图像为所述缓存片段帧图像序列中与所述第一索引对应的所述缓存片段帧图像;
步骤53,在所述第一索引帧图像中统计所有满足所述红光像素阈值范围的像素点生成红色像素点集合,统计所述红色像素点集合中包括的像素点总和生成红色点总数,对所述红色像素点集合的所有像素点的像素值进行求和计算生成红色像素值总和,根据所述红色像素值总和除以所述红色点总数的商生成第一索引帧红光通道数据;将所述第一索引帧红光通道数据作为信号点数据向所述第一红光数字信号进行信号点添加操作;
步骤54,在所述第一索引帧图像中统计所有满足所述绿光像素阈值范围的像素点生成绿色像素点集合,统计所述绿色像素点集合中包括的像素点总和生成绿色点总数,对所述绿色像素点集合的所有像素点的像素值进行求和计算生成绿色像素值总和,根据所述绿色像素值总和除以所述绿色点总数的商生成第一索引帧绿光通道数据;将所述第一索引帧绿光通道数据作为信号点数据向所述第一绿光数字信号进行信号点添加操作;
步骤55,将所述第一索引加1;
步骤56,判断所述第一索引是否大于所述第一总数,如果所述第一索引小于或等于所述第一总数则转至步骤52,如果所述第一索引大于所述第一总数则转至步骤57;
步骤57,将所述第一红光数字信号作为一维红光源信号提取处理结果,将所述第一绿光数字信号作为一维绿光源信号提取处理结果向上位处理流程传送。
6.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述根据预置的带通滤波频率阈值范围,对所述第一红光数字信号进行信号带通滤波预处理生成第二红光数字信号,对所述第一绿光数字信号进行信号带通滤波预处理生成第二绿光数字信号,具体包括:
根据所述带通滤波频率阈值范围,在所述第一红光数字信号中,将信号频率低于所述带通滤波频率阈值范围的低频噪声信号点和信号频率高于所述带通滤波频率阈值范围的高频噪声信号点从所述第一红光数字信号中进行数字信号滤波处理,生成所述第二红光数字信号;
根据所述带通滤波频率阈值范围,在所述第一绿光数字信号中,将信号频率低于所述带通滤波频率阈值范围的低频噪声信号点和信号频率高于所述带通滤波频率阈值范围的高频噪声信号点从所述第一绿光数字信号中进行数字信号滤波处理,生成所述第二绿光数字信号。
7.根据权利要求1所述的生成光体积变化描记图法信号的方法,其特征在于,所述方法还包括:
当图像质量检测结果为所述不达标信号标识时,停止所述连续采集拍摄操作并生成皮肤表面脱离错误信息,再将所述皮肤表面脱离错误信息向所述移动终端传送,所述移动终端通过显示界面对所述皮肤表面脱离错误信息进行警示信息显示处理;
当所述第一判断结果为所述不达标信号标识时,停止所述连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将所述信号质量错误信息向所述移动终端传送,所述移动终端通过所述显示界面对所述信号质量错误信息进行警示信息显示处理;
当所述第二判断结果为所述不达标信号标识时,停止所述连续采集拍摄操作和PPG信号生成处理流程并生成信号质量错误信息,再将所述信号质量错误信息向所述移动终端传送,所述移动终端通过所述显示界面对所述信号质量错误信息进行警示信息显示处理。
8.一种设备,包括存储器和处理器,其特征在于,所述存储器用于存储程序,所述处理器用于执行如权利要求1至7任一项所述的方法。
9.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使所述计算机执行根据权利要求1至7任一项所述的方法。
CN202010110278.XA 2020-02-21 2020-02-21 一种生成光体积变化描记图法信号的方法和装置 Active CN111297347B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010110278.XA CN111297347B (zh) 2020-02-21 2020-02-21 一种生成光体积变化描记图法信号的方法和装置
US17/904,692 US20220409077A1 (en) 2020-02-21 2020-11-18 Method and device for generating photoplethysmography signals
EP20919740.9A EP4108167A4 (en) 2020-02-21 2020-11-18 METHOD AND DEVICE FOR GENERATION OF PHOTOPLETHYSMOGRAPHIC SIGNALS
PCT/CN2020/129640 WO2021164350A1 (zh) 2020-02-21 2020-11-18 一种生成光体积变化描记图法信号的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110278.XA CN111297347B (zh) 2020-02-21 2020-02-21 一种生成光体积变化描记图法信号的方法和装置

Publications (2)

Publication Number Publication Date
CN111297347A CN111297347A (zh) 2020-06-19
CN111297347B true CN111297347B (zh) 2022-07-29

Family

ID=71154898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110278.XA Active CN111297347B (zh) 2020-02-21 2020-02-21 一种生成光体积变化描记图法信号的方法和装置

Country Status (4)

Country Link
US (1) US20220409077A1 (zh)
EP (1) EP4108167A4 (zh)
CN (1) CN111297347B (zh)
WO (1) WO2021164350A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111297347B (zh) * 2020-02-21 2022-07-29 乐普(北京)医疗器械股份有限公司 一种生成光体积变化描记图法信号的方法和装置
CN111759292B (zh) * 2020-06-24 2021-06-22 中国科学院西安光学精密机械研究所 一种人体心率、呼吸及血氧综合测量装置与方法
CN112315437A (zh) * 2020-10-12 2021-02-05 乐普(北京)医疗器械股份有限公司 一种基于视频数据进行血压预测的系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702014A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 非接触式生理参数检测方法、系统及装置
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
CN109820499A (zh) * 2018-12-24 2019-05-31 杨爽 基于视频的高抗干扰心率检测方法、电子设备及存储介质
CN110251115A (zh) * 2019-06-20 2019-09-20 张远 基于体表视频的ppg信号提取方法、系统、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244949B2 (en) * 2012-10-07 2019-04-02 Rhythm Diagnostic Systems, Inc. Health monitoring systems and methods
TWI546052B (zh) * 2013-11-14 2016-08-21 財團法人工業技術研究院 影像式心率活動偵測裝置及其方法
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
US10888280B2 (en) * 2016-09-24 2021-01-12 Sanmina Corporation System and method for obtaining health data using a neural network
GB201522406D0 (en) * 2015-12-18 2016-02-03 Xim Ltd A method, information processing apparatus and server for determining a physiological parameter of an individual
CA2958003C (en) * 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
CN111297347B (zh) * 2020-02-21 2022-07-29 乐普(北京)医疗器械股份有限公司 一种生成光体积变化描记图法信号的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103702014A (zh) * 2013-12-31 2014-04-02 中国科学院深圳先进技术研究院 非接触式生理参数检测方法、系统及装置
CN109480808A (zh) * 2018-09-27 2019-03-19 深圳市君利信达科技有限公司 一种基于ppg的心率检测方法、系统、设备和存储介质
CN109820499A (zh) * 2018-12-24 2019-05-31 杨爽 基于视频的高抗干扰心率检测方法、电子设备及存储介质
CN110251115A (zh) * 2019-06-20 2019-09-20 张远 基于体表视频的ppg信号提取方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111297347A (zh) 2020-06-19
US20220409077A1 (en) 2022-12-29
WO2021164350A1 (zh) 2021-08-26
EP4108167A4 (en) 2023-08-09
EP4108167A1 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
CN111297347B (zh) 一种生成光体积变化描记图法信号的方法和装置
CN111297339B (zh) 一种光体积变化描记图法信号的生成方法和装置
EP3117767B1 (en) Processing biological data
US10004410B2 (en) System and methods for measuring physiological parameters
CN103702014B (zh) 非接触式生理参数检测方法、系统及装置
CN106793962A (zh) 用于使用视频图像来连续估计人体血压的方法和装置
EP3061391A1 (en) Apparatus and method for determining blood pressure
CN112890792A (zh) 一种基于网络摄像头的云计算心血管健康监护系统及方法
CN111243739A (zh) 抗干扰的生理参数遥测方法及系统
Lagido et al. Using the smartphone camera to monitor heart rate and rhythm in heart failure patients
EP4226855A1 (en) Video data-based system for blood pressure prediction
CN111558148B (zh) 颈部按摩仪的健康检测方法及颈部按摩仪
CN107863156A (zh) 一种高血压筛查与管理方法与装置
CN110491504B (zh) 一种心音信号医学指标数据的获取方法
WO2023165482A1 (zh) 一种心率检测方法和装置
CN114912521A (zh) 心脏数据处理方法、装置、计算机设备及存储介质
WO2021073506A1 (zh) 穿戴式设备心电实时监测系统及方法
EP4027874A1 (fr) Procédé de détermination du taux respiratoire
CN109770885A (zh) 一种基于预览帧的快速心率检测方法
RU2756157C1 (ru) Способ анализа баллистокардиографического сигнала для детектирования единичных сердечных ударов в реальном времени
Corino et al. Identification of atrial fibrillation episodes using a camera as contactless sensor
CN111248894B (zh) 使用ecg恢复脉搏波形及其他血液动力学的设备及方法
EP4260797A1 (en) Electrocardiographic signal detection method and device
US20220273224A1 (en) Detection of Brief Episodes of Atrial Fibrillation
CN116269285B (zh) 一种非接触式常态化心率变异性估计系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant