CN112336318B - 一种自适应多模态融合的脉搏位置精确定位方法 - Google Patents
一种自适应多模态融合的脉搏位置精确定位方法 Download PDFInfo
- Publication number
- CN112336318B CN112336318B CN201910734678.5A CN201910734678A CN112336318B CN 112336318 B CN112336318 B CN 112336318B CN 201910734678 A CN201910734678 A CN 201910734678A CN 112336318 B CN112336318 B CN 112336318B
- Authority
- CN
- China
- Prior art keywords
- signal
- ppg signal
- pulse position
- ppg
- color channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
Abstract
本发明涉及一种自适应多模态融合的脉搏位置精确定位方法,利用机器视觉、生物信号以及深度学习架构的多模态融合技术,包括如下步骤:步骤S1,搭建数据采集系统,使用相机对志愿者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;步骤S2,对多张手腕脉搏照片的RGB三通道像素进行像素处理,得到第四PPG信号,进而将第四PPG信号经过信号处理得到iPPG信号;步骤S3,将iPPG信号经过模型处理得到手腕脉搏处。
Description
技术领域
本发明涉及生物信号检测领域,具体涉及一种自适应多模态融合的脉搏位置精确定位方法。
背景技术
脉诊是中医诊断的关键环节,通常检测的“寸”、“关”、“尺”即桡动脉的脉搏信息,中医师凭借经验可以找到位置并进行触诊。
现有的中医辅助诊断设备依然需要人为定位,即使是通过机器视觉检测方法也仅仅是通过识别手腕,并计算“关口”与参考点的相对位置实现位置标定。无法消除以下问题:
1、人机交互过程中机器人识别人体部位、持续跟踪目标以及动态交互过程中的机器人行为自适应通信和控制问题。
2、个体间脉搏位置差异。
因此,亟需提供一种能够自动定位人体脉搏位置、传输准确度高、自适应性好的自动脉搏定位方法。
发明内容
本发明是为了解决上述问题而进行的,目的在于提供一种自适应多模态融合的脉搏位置精确定位方法,将机器视觉与iPPG生理信号融合,利用卷积神经网络训练模型,旨在解决单一模态传感无法适应场景变化,不能精确定位的问题。在所设计的多模态模型中,使用单模态作为输入,当传感器处在较远位置,由原始图像输出的定位拟合和标签更一致,此时模型更依赖于原始的图像输入。当传感器距离较远时,iPPG的输出与标签更加一致,解决了自适应的脉搏位置精确定位问题。
本发明提供了一种自适应多模态融合的脉搏位置精确定位方法,具有这样的特征,包括:步骤S1,搭建数据采集系统,使用相机对实验者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;步骤S2,对多张所述手腕脉搏照片的RGB三通道像素进行像素处理,得到第四PPG信号,进而将所述第四PPG信号经过信号处理得到iPPG信号;步骤S3,将所述iPPG信号经过模型处理得到手腕脉搏处。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S2中的所述像素处理包括如下子步骤:步骤S2-1,对多个手腕脉搏照片的每个颜色通道信号c′t做平均中心化预处理,得到颜色通道ct值,采用CHROM的方法提取出颜色通道ct的第一PPG信号;步骤S2-2,将所述第一PPG信号在不改变幅值的前提下,使用连续小波变换、高斯局部滤波以及反连续小波变换变换相结合去除所述第一PPG信号的伪影,得到第二PPG信号,步骤S2-3,分别计算所述第二PPG信号和RGB三通道的第三PPG信号,形成N*4的矩阵X,将所述第二PPG信号与RGB三通道的所述第三PPG信号相结合,采用主成分分析方法计算每个像素点的第四PPG信号,第一主成分是目标像素点的最终第五PPG信号,进而根据第一主成分的系数矩阵Y得到每个像素点的所述第四PPG信号。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S2-1中的颜色通道ct值的计算过程为:通过先计算出每个颜色通道信号mt,M,再通过mt,M的值计算出颜色通道ct值。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S2-2中去除所述第一PPG信号的伪影的过程为:将所述第一PPG信号x(t)与小波基函数ψτ,s进行卷积变换得到在变换后的小波域上进行高斯平滑,滤掉不相关的量,之后再将小波域反变换回来,得到处理后的所述第二PPG信号。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S2-3中第一主成分的系数矩阵Y为:
Y为第一主成分系数矩阵,X为样本矩阵,XT为其转置矩阵,N为样本数量)
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S2中的所述信号处理如下:
计算每个周期的PCA数据和所述第二PPG信号的平均,得到一个周期内的第六PPG信号,对于单周期内所有像素,将所述第二PPG信号视为常数,每个像素的幅值加权乘以所述第二PPG信号,得到平均一个周期的iPPG信号结果,即:
Ampx,y是像素在(x,y)位置的加权幅度,Px,y,t是单周期的PPG信号平均,Rx,y,t是所述第二PPG信号周期平均,N是单周期第六PPG信号点的个数。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,步骤S3中的所述模型处理如下:
将所述手腕脉搏的原始照片和iPPG信号分别作为一种模态输入,分别得到第一分支训练和第二分支训练,进而输出脉搏位置,将每个分支训练获得的特征连接起来,输入自适应融合的网络结构,进而得到手腕脉搏处。
在本发明提供的自适应多模态融合的脉搏位置精确定位方法中,还可以具有这样的特征:其中,自适应融合的所述网络结构的整个网络体系是每个分支并行组合的扩展,以端到端方式训练自适应融合网络,融合参数根据输入模式调整。
发明的作用与效果
根据本发明所涉及的自适应多模态融合的脉搏位置精确定位方法,首先搭建数据采集系统,使用相机对实验者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;然后,对多张所述手腕脉搏照片的RGB三通道像素进行像素处理,得到第一PPG信号,进而将所述第一PPG信号经过信号处理得到iPPG信号;最后,将所述iPPG信号经过模型处理得到手腕脉搏处。所以,通过采集数据、像素处理、信号处理以及模型处理能够消除个体间脉搏位置差异,可以通过此方法准确地找到人的脉搏位置。
附图说明
图1是本发明的实施例中自适应多模态融合的脉搏位置精确定位方法的流程图;
图2是本发明的实施例中融合网络的结构示意图;以及
图3是本发明的实施例中实拍触诊部位和模拟脉搏位置的对比示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下实施例结合附图对本发明的自适应多模态融合的脉搏位置精确定位方法作具体阐述。
图1是本发明的实施例中自适应多模态融合的脉搏位置精确定位方法的流程图。
如图1所示,一种自适应多传感融合技术的脉搏位置精确定位方法,其特征在于,机器视觉、生物信号、深度学习架构的多模态融合,其具体步骤如下:
步骤S1,搭建数据采集系统,将相机垂直放置在实验者的手腕上方,帧率设置40fps,距离控制在5、15、20、25、30、35、40cm,连续采集5s图片序列,获得分辨率1000*1000的图片200张。其中,每段距离,每个实验者共调整20种手部姿势。实验者对每个姿势的脉搏位置做了定位,并标记在图片的像素位置上。
步骤S2,第一PPG信号预处理。在提取第一PPG信号之前,对照片的RGB三通道像素进行像素处理。每个颜色通道信号c′t做平均中心化预处理,得到处理后的颜色通道ct值,即:
其中,mt,M是每个颜色通道信号c′t经过M窗口大小滤波器得到的移动平均值:
若K<M,则计算m1,M,设定的M值,相当于2s时长以便包含完整的一个心动周期。
采用CHROM的方法提取出颜色通道ct的第一PPG信号,采用“红绿差”提取第一PPG信号,第一PPG信号将被计算为各颜色通道的组合后的结果。
步骤S3,在不改变幅值的前提下去除第一PPG信号伪影。使用连续小波变换(CWT)、高斯局部滤波和反CWT变换等相结合,将非平稳的PPG信号x(t)与小波基函数ψτ,s进行卷积得到表示小波母函数ψ的缩放和移位,即:
ψτ,s是小波基函数,s为伸缩因子,τ为平移因子。ψ为参考的小波母函数。
为了消除心脏造成的频带影响,在变换后的小波域上进行高斯平滑,滤除掉不相关的量,之后再小波反变换回来,得到第二PPG信号。
步骤S4,分别计算第二PPG信号和RGB三通道的第三PPG信号,形成N*4的矩阵X(N为采样点,四列分别是:第二PPG信号、红色通道、绿色通道、蓝色通道),将第二PPG信号与RGB三通道的第三PPG信号相结合,采用主成分分析(PCA)方法计算每个像素点的第四PPG信号,其中第一主成分(最大的特征向量)是目标像素点的最终的第五PPG信号。主成分的系数矩阵Y计算公式为:
步骤S5,计算每个周期的PCA数据和第二PPG信号的平均值,得到一个周期内的第六PPG信号,对于单周期内所有像素,将第二PPG视为常数。每个像素的幅值加权乘以第二PPG信号,得到平均一个周期的iPPG信号结果,表示为:
Ampx,y是像素在(x,y)位置的加权幅度,Px,y,t是单周期的PPG信号平均。Rx,y,t是第二PPG信号周期平均。N是单周期第六PPG信号点的个数。
步骤S6,利用卷积神经网络,将原始照片或iPPG信号分别作为一种模态输入。每个距离上,每种手势照片作为一个分支训练,在相应位置上的每个照片序列的iPPG结果作为第二个分支训练。输出5*5的脉搏位置,其包含25个位置点信息。
图2是本发明的实施例中融合网络的结构图。
如图2所示,将每个分支训练获得的特征连接起来,开发一种自适应融合的网络结构,整个网络体系是每个分支并行组合的扩展,以端到端方式训练自适应融合网络,融合参数根据输入模式调整。本工作中单模态分支结构使用LeNet5,在全连接层,其输出映射到一个混合概率。
图3是本发明的实施例中实拍触诊部位和模拟脉搏位置的对比示意图。
如图3所示,左边(a、c、e、g)的子图表示触诊部位的大小以及当前工作中使用的相应脉搏位置,它是由融合网络生成的5*5采样照片的像素索引,模型预测与每个距离的实验记录一致。右图(b、d、f、h)所示结果分别在40cm(b)、30cm(d)、20cm(f)以及15cm(h)处进行的拍照和采集的信号对应图。
在所设计的多模态模型中,使用单模态作为输入,当传感器处在较远位置,由原始图像输出的定位拟合和脉搏位置更一致,此时模型更依赖于原始的图像输入。当传感器距离较远时,iPPG的输出与脉搏位置更加一致,所以解决了自适应的脉搏位置精确定位问题。
实施例的作用与效果
根据本发明所涉及的自适应多模态融合的脉搏位置精确定位方法,首先搭建数据采集系统,使用相机对实验者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;然后,对多张所述手腕脉搏照片的RGB三通道像素进行像素处理,得到第一PPG信号,进而将所述第一PPG信号经过信号处理得到iPPG信号;最后,将所述iPPG信号经过模型处理得到手腕脉搏处。所以,通过采集数据、像素处理、信号处理以及模型处理能够消除个体间脉搏位置差异,可以通过此方法准确地找到人的脉搏位置。
更进一步地,本发明能够消除人机交互过程中机器人识别人体部位自适应通信和控制问题。
更进一步地,本发明能够消除人机交互过程中机器人持续跟踪目标的自适应通信和控制问题。
更进一步地,本发明能够消除人机交互过程中机器人动态交互的机器人行为的自适应通信和控制问题。
上述实施方式为本发明的优选案例,并不用来限制本发明的保护范围。
Claims (7)
1.一种自适应多模态融合的脉搏位置精确定位方法,利用机器视觉、生物信号以及深度学习架构的多模态融合技术,其特征在于,包括如下步骤:
步骤S1,搭建数据采集系统,使用相机对实验者的手腕脉搏处进行拍照,得到多张手腕脉搏照片;
步骤S2,对多张所述手腕脉搏照片的RGB三通道像素进行像素处理,得到第四PPG信号,进而将所述第四PPG信号经过信号处理得到iPPG信号;
步骤S3,将所述iPPG信号经过模型处理得到手腕脉搏处;
其中,步骤S2中的所述像素处理包括如下子步骤:
步骤S2-1,对多张手腕脉搏照片的每个颜色通道信号c′t做平均中心化预处理,得到颜色通道ct值,采用CHROM的方法提取出颜色通道ct值的第一PPG信号,t为时间点;
步骤S2-2,将所述第一PPG信号在不改变幅值的前提下,使用连续小波变换、高斯局部滤波以及反连续小波变换相结合去除所述第一PPG信号的伪影,得到第二PPG信号,
步骤S2-3,分别计算RGB三通道的第三PPG信号,将所述第二PPG信号与RGB三通道的所述第三PPG信号相结合,形成N*4的矩阵X,采用主成分分析方法计算每个像素点的第四PPG信号,第一主成分是目标像素点的最终第五PPG信号,进而根据第一主成分的系数矩阵Y得到每个像素点的所述第四PPG信号。
6.根据权利要求1所述的自适应多模态融合的脉搏位置精确定位方法,其特征在于:
其中,步骤S3中的所述模型处理如下:
将所述手腕脉搏的原始照片和iPPG信号分别作为一种模态输入,分别得到第一分支训练和第二分支训练,进而输出标签,将每个分支训练获得的特征连接起来,输入自适应融合的网络结构,进而得到手腕脉搏处。
7.根据权利要求6所述的自适应多模态融合的脉搏位置精确定位方法,其特征在于:
其中,自适应融合的所述网络结构的整个网络体系是每个分支并行组合的扩展,以端到端方式训练自适应融合网络,融合参数根据输入模式调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910734678.5A CN112336318B (zh) | 2019-08-09 | 2019-08-09 | 一种自适应多模态融合的脉搏位置精确定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910734678.5A CN112336318B (zh) | 2019-08-09 | 2019-08-09 | 一种自适应多模态融合的脉搏位置精确定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112336318A CN112336318A (zh) | 2021-02-09 |
CN112336318B true CN112336318B (zh) | 2022-02-18 |
Family
ID=74366897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910734678.5A Active CN112336318B (zh) | 2019-08-09 | 2019-08-09 | 一种自适应多模态融合的脉搏位置精确定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112336318B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
CN107844755A (zh) * | 2017-10-23 | 2018-03-27 | 重庆邮电大学 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
CN108604376A (zh) * | 2016-02-08 | 2018-09-28 | 皇家飞利浦有限公司 | 用于搏动性检测的设备、系统和方法 |
CN108784664A (zh) * | 2018-06-28 | 2018-11-13 | 上海掌门科技有限公司 | 基于压力传感器和图像采集设备的诊脉装置 |
CN109583331A (zh) * | 2018-11-15 | 2019-04-05 | 复旦大学 | 基于深度学习的人手腕脉口位置精准定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102409382B1 (ko) * | 2014-10-15 | 2022-06-15 | 삼성전자주식회사 | 생체 정보 검출 장치 및 방법 |
-
2019
- 2019-08-09 CN CN201910734678.5A patent/CN112336318B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
CN108604376A (zh) * | 2016-02-08 | 2018-09-28 | 皇家飞利浦有限公司 | 用于搏动性检测的设备、系统和方法 |
CN107844755A (zh) * | 2017-10-23 | 2018-03-27 | 重庆邮电大学 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
CN108784664A (zh) * | 2018-06-28 | 2018-11-13 | 上海掌门科技有限公司 | 基于压力传感器和图像采集设备的诊脉装置 |
CN109583331A (zh) * | 2018-11-15 | 2019-04-05 | 复旦大学 | 基于深度学习的人手腕脉口位置精准定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112336318A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104851099B (zh) | 一种基于表示学习的图像融合方法 | |
CN109846469B (zh) | 一种基于卷积神经网络的非接触式心率测量方法 | |
CN112001122B (zh) | 基于端到端生成对抗网络的非接触式生理信号测量方法 | |
JP7057959B2 (ja) | 動作解析装置 | |
CN108154551B (zh) | 实时动态重建三维人体模型的方法及系统 | |
CN102982336B (zh) | 识别模型生成方法和系统 | |
CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
CN101576771B (zh) | 基于非均匀样本插值的眼动仪定标方法 | |
CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
CN106485688A (zh) | 基于神经网络的高光谱图像重构方法 | |
CN106407875A (zh) | 目标特征提取方法及装置 | |
CN109124595A (zh) | 基于动态三维脉搏波图像的智能脉搏诊断方法 | |
CN113762133A (zh) | 基于人体姿态识别的自重健身辅助教练系统、方法、终端 | |
CN106875391A (zh) | 皮肤图像的识别方法及电子设备 | |
CN114821376B (zh) | 一种基于深度学习的无人机影像地质灾害自动提取方法 | |
CN109793506A (zh) | 一种非接触式桡动脉波形提取方法 | |
CN114912487B (zh) | 基于通道增强时空注意力网络的端到端远程心率检测方法 | |
CN107516004A (zh) | 医学影像图片的识别处理方法及装置 | |
CN108814717A (zh) | 手术机器人系统 | |
CN110456050B (zh) | 便携式智能数字化寄生虫体外诊断仪 | |
CN108937905A (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
CN109241963A (zh) | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 | |
CN112336318B (zh) | 一种自适应多模态融合的脉搏位置精确定位方法 | |
Yan et al. | A multi-model fusion framework for NIR-to-RGB translation | |
CN116109818B (zh) | 一种基于面部视频的中医脉候判别系统及方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |