CN117694857A - Ppg频域信号的去噪方法、设备及存储介质 - Google Patents

Ppg频域信号的去噪方法、设备及存储介质 Download PDF

Info

Publication number
CN117694857A
CN117694857A CN202311051681.XA CN202311051681A CN117694857A CN 117694857 A CN117694857 A CN 117694857A CN 202311051681 A CN202311051681 A CN 202311051681A CN 117694857 A CN117694857 A CN 117694857A
Authority
CN
China
Prior art keywords
signal
ppg
frequency domain
acc
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311051681.XA
Other languages
English (en)
Inventor
张胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202311051681.XA priority Critical patent/CN117694857A/zh
Publication of CN117694857A publication Critical patent/CN117694857A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供了一种PPG频域信号的去噪方法、设备及存储介质。该方法通过使用transformer encoder模型以ACC信号和IR信号作为去噪参考信号,采用数据驱动的方式来学习构建PPG频谱去噪模型,进而在实际应用中,使用构建的PPG频谱去噪模型,通过采集到的ACC信号和IR信号对PPG频域信号进行去噪,从而使得运动状态下也可以基于PPG信号,对心率进行精准测量。

Description

PPG频域信号的去噪方法、设备及存储介质
技术领域
本申请涉及通信技术领域,尤其涉及一种PPG频域信号的去噪方法、设备及存储介质。
背景技术
光电容积脉搏波描记法(photoplethysmography,PPG)是一种借助光电手段,在活体组织中检测血液容积变化的无创检测方法。由于反射光的强度与血流速度相关,同时血流速度受周期性的心率影响。因此,基于PPG信号可以实现血氧饱和度(SPO2)、心率、血压等的测量。
但是,由于PPG信号对运动特别敏感,即容易受到运动伪影干扰。因此,在运动状态下,基于PPG信号的相关预测结果不够准确。
发明内容
为了解决上述技术问题,本申请提供一种PPG频域信号的去噪方法、设备及存储介质,旨在去除PPG频谱特征中的噪声,从而使得运动状态下也可以基于PPG信号进行精准测量。
第一方面,本申请提供一种PPG频域信号的去噪方法。该方法包括:获取可穿戴设备采集的光电容积脉搏波PPG信号、加速度ACC信号和红外线IR信号;根据PPG频谱去噪模型、ACC信号中的频谱特征、IR信号中的频谱特征,对PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号;其中,PPG频谱去噪模型是以PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征为输入,PPG频谱金标为监督信号,通过transformer encoder模型训练得到的模型。
由此,通过使用transformer encoder模型,以ACC信号和IR信号作为去噪参考信号,采用数据驱动的方式来学习构建PPG频谱去噪模型,进而在实际应用中,使用构建的PPG频谱去噪模型,通过采集到的ACC信号和IR信号对PPG频域信号进行去噪,从而使得运动状态下也可以基于PPG信号,对心率进行精准测量。
根据第一方面,获取可穿戴设备采集的PPG信号、ACC信号和IR信号,包括:获取可穿戴设备在相同状态、相同周期内采集的PPG信号、ACC信号和IR信号。
由此,通过约束对PPG频域信号进行去噪时选择的去噪参考信号,即ACC信号和IR信号为与PPG信号在同一周期,并且可穿戴设备处于同一状态时采集的,从而保证对PPG频域信号去噪的结果的有效性,保证了去噪后的PPG频域信号能够满足理想情况下(不含噪声)的频谱特征,使得后续基于PPG频谱特征预测的心率更加精准。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG信号、ACC信号和IR信号为时域下的PPG信号、ACC信号和IR信号;根据PPG频谱去噪模型、ACC信号中的频谱特征、IR信号中的频谱特征,对PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号,包括:将获取到的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换,得到频域下的PPG频域信号、ACC频域信号和IR频域信号;对于每一帧PPG频域信号,提取PPG频域信号中的频谱特征;对于每一帧ACC频域信号,分别提取ACC频域信号在x轴、y轴和z轴的频谱特征;对于每一帧IR频域信号,提取IR频域信号中的频谱特征;将PPG信号的频谱特征、IR频域信号中的频谱特征和ACC频域信号在x轴、y轴和z轴的频谱特征输入PPG频谱去噪模型;将PPG频谱去噪模型的输出结果,作为去噪的PPG频域信号。
由此,通过将可穿戴设备采集的PPG信号、ACC信号和IR信号进行时域到频域的转换,这样便可以获得不同信号的频谱特征,进而实现基于PPG频谱去噪模型对PPG频域信号进行去噪。
根据第一方面,或者以上第一方面的任意一种实现方式,将获取到的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换,包括:对获取到的时域下的PPG信号、ACC信号和IR信号进行加窗切片分帧处理,得到连续的分帧信号,分帧信号包括时域下的PPG信号、ACC信号和IR信号;对于每一帧分帧信号,将分帧信号中包括的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换。
由此,通过对可穿戴设备采集的PPG信号、ACC信号和IR信号进行加窗切片分帧处理,使得每一帧分帧信号中都包括PPG信号、ACC信号和IR信号,从而保证基于每一帧中ACC信号的频谱特征和IR信号的频谱特征能够对PPG频域信号进行去噪,进而保证去噪后的PPG频域信号的频谱特征能够更接近于理想情况(不含噪声)下的PPG频域信号的频谱特征。
根据第一方面,或者以上第一方面的任意一种实现方式,对获取到的时域下的PPG信号、ACC信号和IR信号进行加窗切片分帧处理,包括:以窗口大小为8s,窗口移动步长为1s的加窗设置,对获取到的时域下的PPG信号、ACC信号和IR信号进行加窗切片分帧处理。
根据第一方面,或者以上第一方面的任意一种实现方式,采集PPG样本信号、ACC样本信号和IR样本信号的可穿戴设备的设备类型、资源配置与采集PPG信号、ACC信号和IR信号的可穿戴设备相同。
由此,通过保证训练PPG频谱去噪模型时使用的样本数据来源与实际应用场景中数据来源相同,进而可以更好地保证去噪结果的精准度。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG频谱金标根据心率测试仪采集到的心率金标确定;其中,心率金标为心率测试仪在可穿戴设备采集PPG样本信号、ACC样本信号和IR样本信号时,采集到的具有绝对精准度的心率。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG频谱金标采用滤波构造方式对心率金标进行处理得到。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG频谱金标采用启发式构造方式对心率金标进行处理得到。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG频谱去噪模型基于一个transformer encoder模型训练获得。
根据第一方面,或者以上第一方面的任意一种实现方式,PPG频谱去噪模型基于两个transformer encoder模型训练获得;其中,第一个transformer encoder模型的输入为每一帧PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征,用于建立多通道特征之间的映射关系;其中,第二个transformer encoder模型的输入为对第一个transformer encoder模型的输入的输出进行特征平均后的频谱特征,用于建立多帧特征之间的时序映射关系。
根据第一方面,或者以上第一方面的任意一种实现方式,在得到去噪的PPG频域信号之后,方法还包括:基于去噪的PPG频域信号,预测佩戴可穿戴设备的用户的心率。
由此,通过基于PPG频谱去噪模型对PPG频域信号进行去噪,从而可以使得PPG频域信号的频谱特征能够恢复到理想情况,进而在运动状态下也可以基于PPG信号进行精准测量。
第二方面,本申请提供了一种电子设备。该电子设备包括:存储器和处理器,存储器和处理器耦合;存储器存储有程序指令,程序指令由处理器执行时,使得所述电子设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
其中,在一些可能的实现方式中,该电子设备可以为可穿戴设备,如智能手表、智能手环、智能指环等。
在另一些可能的实现方式中,该电子设备可以为具备强大处理能力的设备,如PC机等。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请提供了一种计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚、和该处理电路通过内部连接通路互相通信,该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1A和图1B为示例性示出的利用穿戴式设备进行心率测量的场景示意图;
图2为示例性示出的不带噪的PPG信号与心率的关系示意图;
图3A和图3B为示例性示出的带噪的PPG信号与心率的关系示意图;
图4A为示例性的示出的周期性运动状态下的PPG信号的频谱特征与ACC信号的频谱特征的关系示意图;
图4B为示例性示出的非周期性运动状态下的PPG信号的频谱特征与IR信号的频谱特征的关系示意图;
图5A和图5B为示例性示出的基于本申请实施例提供的PPG频域信号的去噪方法对带噪的PPG信号的频谱特征进行去噪得到的去噪的PPG信号的频谱特征示意图;
图6为示例性示出的实现本申请实施例提供的PPG频域信号的去噪方法涉及的各环节的示意图;
图7A为示例性示出的一种基于深度学习算法构建本申请实施例提供的PPG频域信号的去噪方法使用的PPG频谱去噪模型的示意图;
图7B为示例性示出的又一种基于深度学习算法构建本申请实施例提供的PPG频域信号的去噪方法使用的PPG频谱去噪模型的示意图;
图8为示例性示出的本申请实施例提供的PPG频域信号的去噪方法的流程示意图;
图9为示例性示出的可穿戴设备的软件结构和硬件的示意图;
图10为示例性示出的可穿戴设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
心率是显示健康状况的重要指标。近年来随着可穿戴设备,例如智能手表、智能手环等的发展与成熟,基于可穿戴设备的传感器信息,利用心率算法、血氧浓度算法、血压算法等对人体的心率、血氧浓度、血压等进行精准地实时监测,进而反应用户的身体健康状况,具有广泛的应用场景。
目前,可穿戴设备(以智能手表为例)为了实现对人体的心率、血氧浓度、血压等进行精准地实时监测,通常会在与用户皮肤接触的一面,如图1A中示出的背面设置PPG传感器,进而基于PPG传感器采集到的信息,利用心率算法、血氧浓度算法、血压算法等对人体的心率、血氧浓度、血压等进行精准地实时监测。
其中,PPG传感器包括发光二极管(light emitting diode,LED)和接收器。为了便于说明,以测量心率为例。参见图1B,示例性的,在用户将图1A示出的包括PPG传感器的智能手表佩戴在手臂上,并且开启了心率测量功能后,在一种可能的实现方式中,为了提升用户体验,可以在智能手表的用户界面显示心率测量图片,以及“正在测量”的文字信息,如图1B中(1)所示。
示例性的,在智能手表的用户界面处于图1B中(1)所示的样式时,智能手表中PPG传感器内的LED将不断向皮肤投射光线,光透过皮肤组织被血液吸收,同时接收器接收反射回来的光信号(后续表述为PPG信号)。由于PPG信号的强度与血流速度相关,而血流速度受周期性的心律影响。因此,通过分析PPG信号在频域的频谱特征(可以表述为PPG频域信号或PPG频谱特征),便可以确定用户的心率。最终,便可以在智能手表的用户界面显示测量出的心率,如图1B中(2)所示。
需要说明的是,在理想情况下,PPG信号与心电图(electrocardiograph,ECG)信号一样,能够精确地检测出人体各时刻的心率值。然而,由于硬件、温度、运动等复杂场景的噪声影响,导致PPG的真实信号失真,使得心率计算的准确率受到了极大的制约。由于PPG频域信号对运动特别敏感,即影响最大的是运动伪影。运动伪影会使PPG时域特征上出现波峰波谷的缺失或者变形,使得时域计数法精度降低,而频域上则显示为PPG频谱特征中的谱峰异常,进而无法精准定位当前时刻的PPG频域信号的主频(与真实的心率对应),导致预测结果不准确。
为了便于说明,本实施例将理想情况下的PGG时域特征和PGG频域特征表述为不带噪的PPG时域特征和不带噪的PPG频域特征;将受运动伪影干扰,存在大量噪声频率峰的PGG时域特征和PGG频域特征表述为带噪的PPG时域特征和带噪的PPG频域特征。
示例性的,对于不带噪的PPG时域特征,在一种可能的实现方式中,PPG信号的接收信号强度随时间的变化波形例如图2中(1)所示,其中横坐标为时间,纵坐标为接收信号强度。
从图2中(1)可以看出,不带噪的PPG时域特征基本不存在波峰、波谷的缺失或变形,因此将图2中(1)示出的时域下的PPG信号进行时域至频域的转换后,便可以得到如图2中(2)示出的不带噪的PPG频域特征,其中横坐标为频点,纵坐标为频谱强度。
参见图2中(2),示例性的,对于不带噪的PPG频域特征,主频明确,不存在异常的谱峰干扰。因此,直接根据PPG频域信号的主频(图2中(2)示出的虚线位置)确定用户当前的心率即可。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
示例性的,对于带噪的PPG时域特征,在一种可能的实现方式中,PPG信号的接收信号强度随时间的变化波形例如图3A中(1)所示,或如图3B中(1)所示,其中横坐标为时间,纵坐标为接收信号强度。
从图3A中(1)和图3B中(1)可以看出,带噪的PPG时域特征波峰、波谷存在严重的缺失或变形,因此将图3A中(1)和图3B中(1)示出的时域下的PPG信号进行时域至频域的转换后,便会得到如3A中(2)和图3B中(2)示出的带噪的PPG频域特征,其中横坐标为频点,纵坐标为频谱强度。
参见图3A中(2)和图3B中(2),示例性的,对于带噪的PPG频域特征,主频不明确,并且存在异常的谱峰干扰。
示例性的,在一种可能的实现方式中,例如用户真实心率对应的PPG频谱强度为图3A中(2)示出的在10~15之间的频点对应的频谱强度,但是由于异常的谱峰,如频点为5对应的频谱强度的干扰,在采用最大值的方式,即选取最大频率峰对应的频谱强度作为计算心率的依据的情况下,就会误将频点为5对应的频谱强度作为计算心率的依据,进而导致测量出的心率为错误心率。
示例性的,在另一种可能的实现方式中,例如用户真实心率对应的PPG频谱强度为图3B中(2)示出的。
如图3A中(2)示出的在10~15之间的频点对应的频谱强度,但是由于噪声的干扰,导致该频点处根本不存在谱峰,这就会将异常的谱峰,如频点为5对应的误识别成主频,进而导致测量出的心率为错误心率。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
通过上述描述可知,不带噪的PPG频域信号能够保证心率测量结果的精准度,因此如何去除PPG频域信号中的噪声,从而使得PPG频域信号的频谱特征能够满足不带噪的PPG频谱特征成为亟需解决的问题。
示例性的,在一些可能的实现方式中,对于佩戴集成了PPG传感器的可穿戴设备,如智能手表的用户,当进行周期性运动,如跑步过程中周期性摆动佩戴智能手表的手臂时,采集到的PPG信号在频域下的频谱特征可如图4A中(1)所示。
示例性的,如果用户当前真实心率对应频点和频谱强度为图4A中(1)示出的虚线对应的频点和频谱强度,但受运动过程中噪声的干扰,导致在频点5处存在异常的谱峰。由于周期性运动过程中,加速度传感器(acceleration transducer,ACC)采集到的ACC信号的频谱特征与噪声信号的频谱特征基本呈现相同的变化趋势,即ACC信号的频谱特征可以体现噪声信号的频谱特征。因此,可以采用谱减法,用图4A中(1)示出的周期性运动过程中得到的带噪的PPG频域特征(带噪频谱)减去相同周期、相同状态下,即采集PPG信号的过程中,加速度传感器采集到的ACC信号的频谱特征(如图4A中(2)示出的ACC频谱特征,也可以称为噪声频谱),这样就可以实现对PPG频域信号的去噪,进而可以基于去噪的PPG频域信号精准确定计算真实心率的频点和PPG频谱强度,从而提升心率测量结果的准确性。
需要说明的,关于谱减法中使用的频谱,可以是幅度谱,也可以是功率谱,本申请对此不作限制。
示例性的,在另一些可能的实现方式中,对于佩戴集成了PPG传感器的可穿戴设备,如智能手表的用户,当进行非周期性运动,如行走步过程中非周期性摆动佩戴智能手表的手臂时,采集到的PPG信号在频域下的频谱特征可如图4B中(1)所示。
示例性的,如果用户当前真实心率对应频点和频谱强度为图4B中(1)示出的虚线对应的频点和频谱强度,但受运动过程中噪声的干扰,导致在频点0~10处存在异常的谱峰。由于非周期性运动过程中,ACC信号的频谱特征无法体现噪声信号的频谱特征。因此,对于非周期性运动过程中的PPG频域信号的去噪,无法以ACC信号实现。但是,红外线传感器(Infrared Radiation transducer,IR)在相同周期、相同状态下,即采集PPG信号的过程中采集到的IR信号的频谱特征与噪声信号的频谱特征基本呈现相同的变化趋势,即IR信号的频谱特征可以体现噪声信号的频谱特征,如图4B中(2)。因此,可以通过陷波,即滤波的方式,对PPG频域信号的去噪,进而可以基于去噪的PPG频域信号精准确定计算真实心率的频点和PPG频谱强度,从而提升心率测量结果的准确性。
有鉴于此,本申请实施例提供了一种PPG频域信号的去噪方法,通过使用transformer encoder模型,以ACC信号和IR信号作为去噪参考信号,采用数据驱动的方式来学习构建PPG频谱去噪模型,进而在实际应用中,使用构建的PPG频谱去噪模型,通过采集到的ACC信号和IR信号对PPG频域信号进行去噪,从而使得运动状态下也可以基于PPG信号,对心率进行精准测量。
基于本申请实施例提供的PPG频域信号的去噪方法,可以实现对不同的带噪的PPG频域信号进行去噪,例如可以将图5A中(1)示出的带噪的PPG频谱特征,处理成图5A中(2)示出的去噪的PPG频谱特征。还例如可以将图5B中(1)示出的带噪的PPG频谱特征,处理成图5B中(2)示出的去噪的PPG频谱特征。
这样,基于去噪的PPG频谱特征,就可以精准确定用户的真实心率。
关于本申请实施例提供的PPG频域信号的去噪方法,在实现过程中可分为2个阶段,如PPG频谱去噪模型的构建阶段和PPG频谱去噪模型的应用阶段。其中,PPG频谱去噪模型的构建阶段可包括图6示出的数据采集环节、频谱特征金标构造环节和频谱重建环节;PPG去噪频谱的应用阶段则可以包括图6示出的心率预测环节。
参见图6,示例性的,在数据采集环节中包括对训练过程中所需的传感器信号的采集和构建训练过程中监督信号的心率金标的采集。
由于构造的PPG频谱去噪模型是应用于可穿戴设备,进而实现心率预测的。因此,关于训练过程中所需的传感器信号,具体是由可穿戴设备进行采集的。
具体到本申请实施例提供的技术方案中,可穿戴设备采集的传感器信号包括不同状态(周期性运动、非周期性运动、静止等)下,由PPG传感器采集到的PPG信号、由ACC传感器采集到的ACC信号、由IR传感器采集到的IR信号。
此外,需要说明的是,为了保证构建的PPG频谱去噪模型能够精准地去除PPG频域信号中的噪声,进而使得可穿戴设备基于去噪后的PPG频谱特征能够精准地确定用户的心率。构建训练过程中监督信号的心率金标可以采用专业的设备,如医用级别的心率测试仪实现采集。
可理解地,为了保证心率金标在整个PPG频谱去噪模型的构造阶段的可用性,需要保证使用医院级别的心率测试仪进行心率采集,进而获得心率金标的操作与使用可穿戴设备采集传感器信号的操作同步进行。
此外,需要说明的是,所谓心率金标,是指通过医用级别的心率测试仪采集的,用于构造参数信号的心率具有绝对地精准度。
关于数据采集环节就介绍到此,关于数据采集环节中未详细记载的技术细节,可以参见现有对传感器信号的采集,以及使用医用级别的心率测试仪进行心率采集的实现方案,此处不再赘述。
继续参见图6,示例性的,在频谱特征金标构造环节进行的操作具体为利用数据采集环节采集到的心率金标构造PPG频谱特征,进而将构造的频谱特征作为构造PPG频谱去噪模型训练阶段所使用的参考信号(后续称为PPG频谱金标)。
需要说明的,在一些实现方式中,本实施例中所说的PPG频谱金标,也可以理解为心率标签,即构造PPG频谱去噪模型,通过平均平方差损失函数评估模型性能时使用的真实心率值。
示例性的,在一些可能的实现方式中,PPG频谱金标的构造可以是通过滤波构造方式构造的。
示例性的,在另一些可能的实现方式中,PPG频谱金标的构造可以是通过启发式构造方式构造的。
为了便于说明这两种构造PPG频谱金标的方式,本实施例以最终构造的PPG频谱金标包括256个频点的频谱能量,即G∈R256为例。其中,在构造模型的阶段中,Gi表示频谱中第i个频点的频谱能量。
基于上述前提,在构造PPG频谱金标时,可以先计算每一个频点对应频率fp,以及该频率对应的频点的索引hri
在完成上述准备工作后,便可以通过滤波构造方式或启发式构造方式构造PPG频谱金标。
示例性的,对于采用滤波构造方式构造PPG频谱金标的方式可包括如下步骤:
首先,根据业务需要设置一个频率阈值σ。
然后,通过三组带通滤波器对时域下的PPG信号进行滤波。
为了便于描述,可以将这三组带通滤波器表示为心率主频滤波器(也可称为:第一谐波滤波器)、第二谐波滤波器、第三谐波滤波器。其中,心率主频滤波器对应的频带范围为{fp-σ,fp+σ},第二谐波滤波器对应的频带范围为{2*fp-σ,2*fp+σ},第三谐波滤波器对应的频带范围为{3*fp-σ,3*fp+σ}。
接着,通过使用上述三组滤波器对时域下的PPG信号进行滤波,然后对滤波后的三组PPG信号进行求和,最终基于快速傅立叶变换(fast Fourier transform,FFT)算法对求和得到的PPG信号进行时域到频域的转换,即基于FFT算法中按频率抽取特征的方式,便可以得到PPG信号在频域下的频谱特征。此阶段得到的PPG信号在频域下的频谱特征,便是上述所说的PPG频谱金标。
示例性的,对于采用启发式构造方式构造的PPG频谱金标,可满足下述公式:
关于频谱特征金标构造环节就介绍到此,关于频谱特征金标构造中未详细记载的技术细节,可以参见现有对关于滤波构造法和启发式构造法的相关描述,此处不再赘述。
继续参见图6,示例性的,在频谱重建环节,将基于深度学习(deep learning)方法,以构造的频谱特征作为监督信号(作为PPG频谱金标),采用数据驱动方法,训练PPG频谱去噪模型。即,频谱重建环节,进行的是PPG频谱去噪模型的训练构造。
关于频谱重建环节的具体实现逻辑,在一种可能的实现方式中可如图7A所示。
参见图7A,示例性的,在频谱重建环节中,首先对可穿戴设备中PPG传感器、ACC传感器和IR传感器采集到的时域下的PPG信号、ACC信号和IR信号(可以称为时序信号)进行信号预处理和特征提取。
具体地,在信号预处理阶段,首先对PPG、ACC和IR这三种时序信号采用相同的方式进行加窗切片分帧处理。
示例性的,在一些可能的实现方式中,可设置窗口大小为8s,窗口移动步长为1s,进而基于该设置进行切分分帧(一次操作为一帧),以获得连续的分帧信号。
接着,在完成对上述三种时序信号的加窗切片分帧处理后,可通过FFT算法提取切片分帧处理得到的每一帧分帧信号中的PPG信号的频域特征(后续表述为PPG频谱特征)、ACC信号的频域特征(后续表述为ACC频谱特征)、IR信号的频域特征(后续表述为IR频谱特征),即实现对上述三种类型的信号时域到频域的转换。
应当理解地,对于加速度传感器采集到的ACC信号,其包括三个维度,分别为x轴、y轴和z轴的特征,因此提取的ACC频谱特征包括x轴、y轴和z轴这三个方向的。为便于区分,本实施例将x轴方向的ACC频谱特征表示为ACCx频谱,将y轴方向的ACC频谱特征表示为ACCy频谱,将z轴方向的ACC频谱特征表示为ACCz频谱。
此外,还应当理解地,由于当前阶段还未对PPG频域信号进行去噪,因此提取的PPG频谱特征实质含有噪声的。为了便于描述,本实施例将其表示为带噪PPG频谱。
相应地,对于IR频谱特征,则表示为IR频谱。
也就是说,从每一帧分帧信号中提取出的特征信息均包括图7A中示出的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱这5个维度的频域特征。
继续参见图7A,示例性的,在得到每一帧分帧信号对应的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱后,便可以将同一时刻下的这5个维度的频域特征输入给transformer encoder模型,借助transformer encoder模型的编码部分建立上述5个维度的频谱特征之间的映射关系。
示例性的,仍以PPG频谱金标为256个频点的为例,则ACCx频谱、ACCy频谱、ACCz频谱和IR频谱体现的也是256个频点的频谱特征。基于此,在将每一分帧信号中提取出的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱,这5个维度的频域特征输入给transformer encoder模型,借助transformer encoder模型的编码部分,建立带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱之间的映射关系后,由transformer encoder模型输出的结果可以看作一个5×256维度的矩阵,即输出的特征维度为5×256。
继续参见图7A,示例性的,为了减少计算复杂度,并降低过度拟合的风险,可对transformer encoder模型输出的结果进行特征平均。在本实施例中具体为将5×256的特征维度,平均处理为256特征维度。
继续参见图7A,示例性的,在对输出特征平均处理后,可以将平均后的,特征维度为256的频谱特征输入多层感知机进行处理。
需要说明的是,本实施例中使用的多层感知机是一种前馈人工神经网络模型,通过多层感知机的处理,可以将输入的多个数据映射到单一的数据集上,具体为将带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱这些频谱特征,映射到PPG频谱特征上。对于经多层感知机输出的特征,即为预测出的PPG频谱(后续表示为PPG预测频谱)。
为了衡量模型的PPG预测频谱与真实标签,即PPG频谱金标之间的差异,可以基于平均平方误差损失(Mse loss)函数,对每一帧对应的PPG预测频谱与每一帧对应的PPG频谱金标进行损失处理,进而确定当前模型的预测误差。
最终,通过不断地迭代训练,当预测误差满足预设收敛条件(停止训练的条件,即不大于设定的阈值)时,便可以将当前的模型作为PPG频谱去噪模型。
由此,便完成了对PPG频谱去噪模型的构建,即完成了频谱重建。
关于频谱重建环节的具体实现逻辑,在另一种可能的实现方式中可如图7B所示。
参见图7B,示例性的,关于频谱重建环节中,分帧信号的获取,以及每一帧分帧信号中提取的频谱信号的种类,均与图7A中示出的相同,具体实现细节可以参见图7A所示实施例的描述,此处不再赘述。
继续参见图7B,示例性的,在本实施例中,为了利用带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱这5个维度的频谱特征的信号时序性,以更好地构建PPG频谱去噪模型。PPG频谱去噪模型可以通过两个Transformer encoder模型完成构造。
具体地,这两个Transformer encoder模型中的一个Transformer encoder模型(后续表示为Transformer encoder_1),用于通过建立多通道特征之间的映射关系来提取通道有效性特征。而另一个Transformer encoder模型(后续表示为Transformer encoder_2),则用于通过建立多帧特征之间的时序映射关系来提取时间维度特征。
基于此,继续参见图7B,示例性的,对于每一分帧信号中提取出的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱,可以分别输入对应的Transformer encoder_1,进而基于Transformer encoder_1中的编码部分建立多通道特征之间的映射关系,最终基于这种映射关系来提取通道有效性特征。由此,就可以得到每一分帧信号对应的特征维度为5×256的频谱特征。
以训练所需的帧数为K帧为例,继续参见图7B,示例性的,经所有Transformerencoder_1处理后输出的频谱特征共有K个5×256。为了减少计算复杂度,并降低过度拟合的风险,可对transformer encode_1输出的结果进行特征平均。在本实施例中具体为将K个5×256的特征维度,平均处理为K×256特征维度。
继续参见图7B,示例性的,在得到K×256特征维度的频谱特征后,会将这K×256特征维度的频谱特征输入transformer encode_2,进而基于Transformer encoder_2中的编码部分建立多帧特征之间的时序映射关系,最终基于这种映射关系来提取时间维度特征。由此,就可以得到每一分帧信号对应的既可以体现通道特性,又可以体现时间特性的频谱特征(特征维度依旧为K×256)。
继续参见图7B,示例性的,为了进一步减少计算复杂度,并降低过度拟合的风险,可对transformer encode_2输出的结果进行特征平均。在本实施例中具体为将K×256的特征维度,平均处理为256特征维度。
继续参见图7B,示例性的,在对transformer encode_2输出的结果进行输出特征平均处理后,可以将平均后的,特征维度为256的频谱特征(既体现了通道特性,又体现了时间特性)输入多层感知机进行处理,进而得到包含K帧的这一段短时时序的PPG信号的PPG预测频谱。
继续参见图7B,示例性的,为了衡量模型的PPG预测频谱与真实标签,即PPG频谱金标之间的差异,本实施例同样会基于平均平方误差损失(Mse loss)函数,对该短时序的PPG信号的PPG预测频谱与对应的PPG频谱金标进行损失处理,进而确定当前模型的预测误差。
最终,通过不断地迭代训练,当预测误差满足预设收敛条件(停止训练的条件,即不大于设定的阈值)时,便可以将当前的模型作为PPG频谱去噪模型。
由此,便完成了对PPG频谱去噪模型的构建,即完成了频谱重建。
关于频谱重建环节就介绍到此,在具体实现中,可以根据业务需要,选择图7A或图7B所示的方式,构建PPG频谱去噪模型,本申请对此不作限制。
由此,通过数据采集环节、频谱特征金标构造环节和频谱重建环节的处理,便可以实现PPG频谱去噪模型的构建。
可理解地,由于PPG频谱去噪模型的构建阶段需要的计算能力、资源消耗较大,因此PPG频谱去噪模型的构建可以在PC等电子设备中完成。
继续参见图6,示例性的,在得到PPG频谱去噪模型后,便可以将PPG频谱去噪模型传输至可穿戴设备。这样,用户基于可穿戴设备,就可以实现心率的预测。
具体地,在使用PPG频谱去噪模型进行心率预测时,可穿戴设备可以对当采集到的PPG信号、ACC信号和IR信号进行信号预处理和特征提取,进而将提取出的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱输入训练好的PPG频谱去噪模型,就可以得到去噪后的PPG频谱特征,进而基于去噪后的PPG频谱特征进行心率预测。
基于图6示出的构造PPG频谱去噪模型阶段和应用PPG频谱去噪模型阶段的描述,本申请实施例提供的PPG频域信号的去噪方法的实现流程可以如图8所示。
参见图8,本申请实施例提供的PPG频域信号的去噪方法,可包括:
S101,获取可穿戴设备采集的PPG信号、ACC信号和IR信号。
其中,PPG信号、ACC信号和IR信号为时域下的PPG信号、ACC信号和IR信号。
示例性的,关于时域下的PPG信号,具体是由可集成在可穿戴设备中的PPG传感器采集到。关于PPG传感器的位置,例如可以位于与用户皮肤接触的一面,如图1A示出的智能手表的背面。
示例性的,关于时域下的ACC信号,具体是由可集成在可穿戴设备中的ACC传感器采集到。
示例性的,关于时域下的IR信号,具体是由可集成在可穿戴设备中的IR传感器采集到。
此外,需要说明的是,由可穿戴设备采集到的PPG信号、ACC信号和IR信号,为可穿戴设备在相同状态、相同周期内采集的。
这样,通过约束对PPG频域信号进行去噪时选择的去噪参考信号,即ACC信号和IR信号为与PPG信号在同一周期,并且可穿戴设备处于同一状态时采集的,从而保证对PPG频域信号去噪的结果的有效性,保证了去噪后的PPG频域信号能够满足理想情况下(不含噪声)的频谱特征,使得基于PPG频谱特征预测的心率更加精准。
S102,根据PPG频谱去噪模型、ACC信号中的频谱特征、IR信号中的频谱特征,对PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号。
具体地,本实施例中所说的PPG频谱去噪模型即上述实施例中所说的以PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征为输入,PPG频谱金标为监督信号,通过transformer encoder模型训练得到的模型。
其中,PPG样本信号、ACC样本信号和IR样本信号,例如为图6中示出的数据采集环节中PPG传感器、ACC传感器和IR传感器采集到的时域下的PPG信号、ACC信号和IR信号。
相应地,输入transformer encoder模型的PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征,可以为图7A或图7B中每一帧分帧信号中提取出的带噪PPG频谱、ACCx频谱、ACCy频谱、ACCz频谱和IR频谱。
此外,需要说明的是,在一些可能的实现方式中,PPG频谱去噪模型可以基于一个transformer encoder模型训练获得。具体的训练方式可以参见图7A所示实施例的描述部分,此处不再赘述。
此外,还需要说明的是,在另一些可能的实现方式中,PPG频谱去噪模型还基于两个transformer encoder模型训练获得。其中,第一个transformer encoder模型的输入为每一帧PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征,用于建立多通道特征之间的映射关系;第二个transformer encoder模型的输入为对第一个transformer encoder模型的输入的输出进行特征平均后的频谱特征,用于建立多帧特征之间的时序映射关系。
可理解地,本实施例中所说的第一个transformer encoder模型,例如为图7B中示出的transformer encoder_1。第二个transformer encoder模型,例如为图7B中示出的transformer encoder_2。
关于基于两个transformer encoder模型训练获得PPG频谱去噪模型的方式,具体的训练方式可以参见图7B所示实施例的描述部分,此处不再赘述。
此外,关于本实施例中所说的PPG频谱金标是根据心率测试仪采集到的心率金标确定。而心率金标为心率测试仪在可穿戴设备采集PPG样本信号、ACC样本信号和IR样本信号时,采集到的具有绝对精准度的心率。
需要说明的是,为了保证结果的精准度,用于采集心率金标的心率测试仪,例如为医用级别的心率测试仪。
示例性的,在一些可能的实现方式中,本实施例中所说的PPG频谱金标,例如可以采用滤波构造方式对心率金标进行处理得到。关于采用滤波构造方式对心率金标进行处理,进而构建PPG频谱金标的实现方式,可以参见图6所示实施例中针对频谱特征金标构造环节中滤波构造方式的描述,此处不再赘述。
示例性的,在另一些可能的实现方式中,本实施例中所说的PPG频谱金标,例如可以采用启发式构造方式对心率金标进行处理得到。关于采用启发式构造方式对心率金标进行处理,进而构建PPG频谱金标的实现方式,可以参见图6所示实施例中针对频谱特征金标构造环节中启发式构造方式的描述,此处不再赘述。
此外,还需要说明的是,在本实施例中,采集PPG样本信号、ACC样本信号和IR样本信号的可穿戴设备的设备类型、资源配置与采集PPG信号、ACC信号和IR信号的可穿戴设备相同。这样,通过保证训练PPG频谱去噪模型时使用的样本数据来源与实际应用场景中数据来源相同,进而可以更好地保证去噪结果的精准度。
基于上述对PPG频谱去噪模型训练阶段使用的PPG样本信号、ACC样本信号、IR样本信号和实际去噪阶段的PPG信号、ACC信号和IR信号的限定,在根据PPG频谱去噪模型、ACC信号中的频谱特征、IR信号中的频谱特征,对PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号时,可以先将获取到的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换,得到频域下的PPG频域信号、ACC频域信号和IR频域信号。然后,对于每一帧PPG频域信号,提取PPG频域信号中的频谱特征;对于每一帧ACC频域信号,分别提取ACC频域信号在x轴、y轴和z轴的频谱特征;对于每一帧IR频域信号,提取IR频域信号中的频谱特征。最后,将PPG信号的频谱特征、IR频域信号中的频谱特征和ACC频域信号在x轴、y轴和z轴的频谱特征输入PPG频谱去噪模型,将PPG频谱去噪模型的输出结果,作为去噪的PPG频域信号即可。
此外,需要说明的是,为了保证进行频谱特征提取的每一帧信号中都包括PPG信号、ACC信号和IR信号,在将获取到的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换时,可以对获取到的时域下的PPG信号、ACC信号和IR信号进行加窗切片分帧处理,进而得到连续的分帧信号。然后再对每一帧将分帧信号中包括的时域下的PPG信号、ACC信号和IR信号进行时域至频域的转换。
示例性的,在一些可能的实现方式中,可以设置窗口大小为8s,窗口移动步长为1s,然后基于该窗口设置,对获取到的时域下的PPG信号、ACC信号和IR信号进行加窗切片分帧处理。
由此,通过对可穿戴设备采集的PPG信号、ACC信号和IR信号进行加窗切片分帧处理,使得每一帧分帧信号中都包括PPG信号、ACC信号和IR信号,从而保证基于每一帧中ACC信号的频谱特征和IR信号的频谱特征能够对PPG频域信号进行去噪,进而保证去噪后的PPG频域信号的频谱特征能够更接近于理想情况(不含噪声)下的PPG频域信号的频谱特征。
可理解地,不论是PPG频谱去噪模型的训练阶段,还是实际去噪阶段,从时域下的PPG信号、ACC信号和IR信号中提取频谱特征的方式均相同。
因此,在实际去噪阶段,对于每一帧PPG频域信号,提取的频谱特征,可以理解为上述实施例中所说的带噪PPG频谱;对于每一帧ACC频域信号,分别提取的在x轴、y轴和z轴的频谱特征,可以理解为上述实施例中所说的ACCx频谱、ACCy频谱和ACCz频谱;对于每一帧IR频域信号,提取的频谱特征,可以理解为上述实施例中所说的IR频谱。
由此,通过使用transformer encoder模型,以ACC信号和IR信号作为去噪参考信号,采用数据驱动的方式来学习构建PPG频谱去噪模型,进而在实际应用中,使用构建的PPG频谱去噪模型,通过采集到的ACC信号和IR信号对PPG频域信号进行去噪,从而可以实现对周期性运动或非周期性运动下采集到的PPG频域信号的去噪。
此外,需要说明的是,在一些可能的实现方式中,例如可穿戴设备已经集成了本实施例中所说的PPG频谱去噪模型的情况下,上述步骤S101和步骤S102,均可以在可穿戴设备中实现。
示例性的,对于这种可穿戴设备已经集成了本实施例中所说的PPG频谱去噪模型的场景,可穿戴设备在通过上述步骤S101和步骤S102完成对PPG频域信号的去噪处理,并基于去噪后的PPG频域信号的频谱特征实现心率的预测后,可以将心率预测结果同步至与该可穿戴设备建立通信连接的电子设备,如手机的心率健康应用中。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
此外,还需要说明的是,在另一些可能的实现方式中,例如可穿戴设备中未集成本实施例中所说的PPG频谱去噪模型的情况下,上述步骤S101和步骤S102可以由与该可穿戴设备建立通信连接的电子设备,如手机等实现。
示例性的,对于这种可穿戴设备未集成了本实施例中所说的PPG频谱去噪模型的场景,与可穿戴设备建立通信连接的电子设备,如手机在通过上述步骤S101和步骤S102完成对PPG频域信号的去噪处理,并基于去噪后的PPG频域信号的频谱特征实现心率的预测后,可以将心率预测结果同步至该可穿戴设备。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
由此,基于本申请实施例提供的PPG频谱信号的去噪方法,能够快速、精准地去除PPG频谱特征中的噪声,使得PPG频域信号的频谱特征能够恢复到理想情况,从而使得运动状态下也可以基于PPG信号进行精准测量。也就是说,即便佩戴可穿戴设备的用户当前处于运动状态,也能够保证心率预测结果的精准性。
此外,为了更好地理解本申请实施例提供的技术方案,以可穿戴设备为智能手表为例,基于智能手表的软件结构和硬件的关系,对实现本申请实施例提供的PPG频域信号的去噪方法所涉及的功能模块、硬件,以及功能模块、硬件之间的交互进行说明。
在对可穿戴设备的软件结构进行说明之前,首先对可穿戴设备的软件系统可以采用的架构进行说明。
具体地,在实际应用中,可穿戴设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。
此外,可理解地,目前主流的可穿戴设备使用的软件系统包括但不限于Windows系统、Android系统和iOS系统。为了便于说明,本申请实施例以分层架构的Android系统为例,示例性说明可穿戴设备的软件结构。
此外,应当理解地是,后续关于本申请实施例提供的PPG频域信号的去噪方法,在具体实现中同样适用于其他系统。
参见图9,为本申请实施例的可穿戴设备的软件结构和硬件结构的框图。
如图9所示,可穿戴设备的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实现方式中,将Android系统可分为五层,从上至下分别为属于应用部分的应用层/应用程序层(Applications),属于核心部分的框架层/应用程序框架层(Application Framework,FWK)、运行时(Runtime)和系统库,属于底层部分的硬件抽象层(Hardware Abstract Layer,HAL)、Linux内核(Linux Kernel)层。
其中,应用层可以包括一系列应用程序包。如图9所示,应用程序包可以包括相机、游戏、心率健康、设置等应用程序,此处不再一一列举,本申请对此不作限制。
其中,心率健康应用可以是专门提供的,用于开启心率测量功能的应用。
可理解地,在实际应用中,心率健康应用实现的功能也可以集成到管理各种运动信息的运动健康应用中,或者也可以集成在设置应用中,本申请对此不作限制。
其中,框架层可以为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。在一些实现方式中,这些编程接口和编程框架可以描述为函数。如图9所示,框架层可以包括内容提供器、窗口管理器、视图系统、资源管理器等函数,此处不再一一列举,本申请对此不作限制。
需要说明的,上述位于框架层中的窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
此外,还需要说明的,上述位于框架层中的内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等,此处不再一一列举,本申请对此不作限制。
此外,还需要说明的,上述位于框架层中的资源管理器用于为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等,此处不再一一列举,本申请对此不作限制。
此外,还需要说明的,上述位于框架层中的视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,图1B中(1)和(2)中示出的包括心率测量图片/图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
继续参见图9,示例性的,运行时,具体为安卓运行时(Android Runtime)可包括核心库和虚拟机,主要负责安卓系统的调度和管理。
其中,核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用层和框架层运行在虚拟机中。虚拟机将应用层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
继续参见图9,示例性的,系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维(3D)图形处理库(例如:OpenGL ES),二维(2D)图形引擎(例如:SGL)等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式播放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PnG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
此外,可理解地,上述所说的2D图形引擎是2D绘图的绘图引擎。
继续参见图9,示例性的,HAL层是位于操作系统内核(内核层)与硬件电路之间的接口层,其目的在于将FWK与内核隔离,以使Android不至于过度依赖内核,从而使得FWK的开发可在不考虑驱动程序的前提下进行。
继续参见图9,示例性的,HAL层中可以包括各种接口,如音视频接口、GPS接口、通话接口、WiFi接口等,此处不再一一列举,本申请对此不作限制。
继续参见图9,示例性的,Android系统中的内核层是硬件和软件之间的层。内核层可包括各种进程/线程,电源管理、各种驱动,如WiFi驱动等。
关于可穿戴设备的软件结构就介绍到此,可以理解地是,图9示出的软件结构中的层以及各层中包含的部件,并不构成对可穿戴设备的具体限定。在本申请另一些实施例中,可穿戴设备可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不作限定。
基于图9示出的可穿戴设备的软件结构,当用户通过应用层中安装的心率健康应用/设置应用,触发心率测量操作时,可穿戴设备响应于该操作行为,硬件部分的PPG传感器、ACC传感器和IR传感器将同步采集PPG信号、ACC信号、IR信号,进而交给处理器,由处理器根据内部存储器中存储的程序指令,如对采集到的传感器信号进行预处理和特征提取的程序指令,根据设定的算法程序,对传感器信号进行预处理和特征提取,进而将提取到的传感器信号的特征信息,输入内存存储器中存储的PPG频谱去噪模型(程序)进行去噪处理,便可以得到去噪后的PPG频域信号。最终,基于去噪后的PPG频域信号便可以实现心率的测量。
关于本申请实施例提供的PPG频域信号的去噪方法的具体逻辑,可以参见图6、图7A、图7B和图8,此处不再赘述。
为了更好地理解本申请实施例提供的技术方案,仍以可穿戴设备为智能手表为例,参见图10,对智能手表的具体结构,以及实现本申请实施例所涉及的器件进行具体说明。
参见图10,可穿戴设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
具体到本申请实施例提供的技术方案中,为了实现PPG频域信号的去噪,传感器模块180需包括PPG传感器180A,ACC传感器180B和IR传感器180C。其中,PPG传感器可用于采集PPG信号,ACC传感器可用于采集ACC信号,IR传感器可用于采集IR信号。
继续参见图10,示例性的,由于PPG传感器180A,ACC传感器180B和IR传感器180C均与处理器110通信连接。因此,PPG传感器180A,ACC传感器180B和IR传感器180C采集到的PPG信号、ACC信号和IR信号将交由处理器110按照图8所示实施例中示出的处理流程进行处理,进而得到去噪后的PPG频域信号,实现心率的精准测量。
此外,需要说明的是,在实际应用中,根据业务需要和可穿戴设备适用于的场景,传感器180还可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等,此处不再一一列举,本申请对此不作限制。
此外,还需要说明的是,处理器(CPU)110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。
可理解地,在具体实现中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
此外,还需要说明的是,处理器110中的控制器可以是可穿戴设备100的神经中枢和指挥中心。在实际应用中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
此外,还需要说明的是,处理器110中还可以设置存储器(内存),用于存储指令和数据。在一些实现方式中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110从内部存储器121中读取的刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
具体到本申请实施例提供的技术方案中,针对PPG频域信号的去噪处理,可以由处理器110中的AP 110A实现。
此外,还需要说明的是,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
继续参见图10,示例性的,充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
继续参见图10,示例性的,电源管理模块141(即上述所说的电源管理集成电路PMIC)用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实现方式中,电源管理模块141也可以设置于处理器110中。在另一些实现方式中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
继续参见图10,示例性的,可穿戴设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
需要说明的是,天线1和天线2用于发射和接收电磁波信号。可穿戴设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实现方式中,天线可以和调谐开关结合使用。
继续参见图10,示例性的,移动通信模块150可以提供应用在可穿戴设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实现方式中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实现方式中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
继续参见图10,示例性的,无线通信模块160可以提供应用在可穿戴设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wirelessfidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigationsatellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(nearfield communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
具体到本申请实施例提供的技术方案中,触发可穿戴设备100中实现对PPG频域信号进行去噪的PPG频谱去噪模型可以是由PC等处理能力强大的电子设备构建好后存储到云端服务器。这样,可穿戴设备100就可以通过移动通信模块150或无线通信模块160与云端服务器进行通信,进而获得PPG频谱去噪模型。
示例性的,在另一些可能的实现方式中,由PC等电子设备构建好的PPG频谱去噪模型,也可以通过USB接口130,传输至可穿戴设备100。
应当理解地是,上述说明仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
继续参见图10,示例性的,显示屏194用于显示图像,视频等。在一些实现方式中,可穿戴设备100可以包括1个或N个显示屏194,N为大于1的正整数。
继续参见图10,示例性的,摄像头193用于捕获静态图像或视频。
继续参见图10,示例性的,外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展可穿戴设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
继续参见图10,示例性的,内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。这样,处理器110通过运行存储在内部存储器121的指令,从而执行可穿戴设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储可穿戴设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
具体到本申请实施例提供的技术方案中,PPG频谱去噪模型可以预先下载到内部存储器121中。
此外,还需要说明的是,可穿戴设备100可以通过音频模块170,如扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
继续参见图10,示例性的,按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。
继续参见图10,示例性的,马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。
继续参见图10,示例性的,指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
关于可穿戴设备100的硬件结构就介绍到此,应当理解地是,图10所示可穿戴设备100仅是一个范例,在具体实现中,可穿戴设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图10中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
此外,可以理解地是,电子设备,如可穿戴设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
此外,需要说明的是,在实际的应用场景中由电子设备,如可穿戴设备实现的上述各实施例提供的PPG频域信号的去噪方法,也可以由电子设备中包括的一种芯片系统来执行,其中,该芯片系统可以包括处理器。该芯片系统可以与存储器耦合,使得该芯片系统运行时调用该存储器中存储的计算机程序,实现上述可穿戴设备执行的步骤。其中,该芯片系统中的处理器可以是应用处理器也可以是非应用处理器的处理器。
另外,本申请实施例还提供一种计算机可读存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备,如可穿戴设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的PPG频域信号的去噪方法。
另外,本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在电子设备,如可穿戴设备上运行时,使得电子设备执行上述相关步骤,以实现上述实施例中的PPG频域信号的去噪方法。
另外,本申请的实施例还提供一种芯片(也可以是组件或模块),该芯片可包括一个或多个处理电路和一个或多个收发管脚;其中,所述收发管脚和所述处理电路通过内部连接通路互相通信,所述处理电路执行上述相关方法步骤实现上述实施例中的PPG频域信号的去噪方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
此外,通过上述描述可知,本申请实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
此外,还需要说明的是,本申请实施例仅是以基于PPG频域信号进行心率测量的场景为例,在实际应用中,也可以基于相同的方式,实现对血氧浓度、血压等的测量,本申请对此不作限制。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细地说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种PPG频域信号的去噪方法,其特征在于,所述方法包括:
获取可穿戴设备采集的光电容积脉搏波PPG信号、加速度ACC信号和红外线IR信号;
根据PPG频谱去噪模型、所述ACC信号中的频谱特征、所述IR信号中的频谱特征,对所述PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号;
其中,所述PPG频谱去噪模型是以PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征为输入,PPG频谱金标为监督信号,通过transformerencoder模型训练得到的模型。
2.根据权利要求1所述的方法,其特征在于,所述获取可穿戴设备采集的PPG信号、ACC信号和IR信号,包括:
获取所述可穿戴设备在相同状态、相同周期内采集的所述PPG信号、所述ACC信号和所述IR信号。
3.根据权利要求1或2所述的方法,其特征在于,所述PPG信号、所述ACC信号和所述IR信号为时域下的PPG信号、ACC信号和IR信号;
所述根据PPG频谱去噪模型、所述ACC信号中的频谱特征、所述IR信号中的频谱特征,对所述PPG信号的频谱特征进行去噪处理,得到去噪的PPG频域信号,包括:
将获取到的时域下的所述PPG信号、所述ACC信号和所述IR信号进行时域至频域的转换,得到频域下的PPG频域信号、ACC频域信号和IR频域信号;
对于每一帧所述PPG频域信号,提取所述PPG频域信号中的频谱特征;
对于每一帧所述ACC频域信号,分别提取所述ACC频域信号在x轴、y轴和z轴的频谱特征;
对于每一帧所述IR频域信号,提取所述IR频域信号中的频谱特征;
将所述PPG信号的频谱特征、所述IR频域信号中的频谱特征和所述ACC频域信号在x轴、y轴和z轴的频谱特征输入所述PPG频谱去噪模型;
将所述PPG频谱去噪模型的输出结果,作为所述去噪的PPG频域信号。
4.根据权利要求3所述的方法,其特征在于,所述将获取到的时域下的所述PPG信号、所述ACC信号和所述IR信号进行时域至频域的转换,包括:
对获取到的时域下的所述PPG信号、所述ACC信号和所述IR信号进行加窗切片分帧处理,得到连续的分帧信号,所述分帧信号包括时域下的所述PPG信号、所述ACC信号和所述IR信号;
对于每一帧分帧信号,将所述分帧信号中包括的时域下的所述PPG信号、所述ACC信号和所述IR信号进行时域至频域的转换。
5.根据权利要求4所述的方法,其特征在于,所述对获取到的时域下的所述PPG信号、所述ACC信号和所述IR信号进行加窗切片分帧处理,包括:
以窗口大小为8s,窗口移动步长为1s的加窗设置,对获取到的时域下的所述PPG信号、所述ACC信号和所述IR信号进行加窗切片分帧处理。
6.根据权利要求1至5任一项所述的方法,其特征在于,采集所述PPG样本信号、所述ACC样本信号和所述IR样本信号的可穿戴设备的设备类型、资源配置与采集所述PPG信号、所述ACC信号和所述IR信号的可穿戴设备相同。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述PPG频谱金标根据心率测试仪采集到的心率金标确定;
其中,所述心率金标为所述心率测试仪在所述可穿戴设备采集所述PPG样本信号、所述ACC样本信号和所述IR样本信号时,采集到的具有绝对精准度的心率。
8.根据权利要求7所述的方法,其特征在于,所述PPG频谱金标采用滤波构造方式对心率金标进行处理得到。
9.根据权利要求7所述的方法,其特征在于,所述PPG频谱金标采用启发式构造方式对心率金标进行处理得到。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述PPG频谱去噪模型基于一个transformer encoder模型训练获得。
11.根据权利要求1至9任一项所述的方法,其特征在于,所述PPG频谱去噪模型基于两个transformer encoder模型训练获得;
其中,第一个transformer encoder模型的输入为每一帧PPG样本信号中的频谱特征、ACC样本信号中的频谱特征和IR样本信号中的频谱特征,用于建立多通道特征之间的映射关系;
其中,第二个transformer encoder模型的输入为对第一个transformer encoder模型的输入的输出进行特征平均后的频谱特征,用于建立多帧特征之间的时序映射关系。
12.根据权利要求1至11任一项所述的方法,其特征在于,在所述得到去噪的PPG频域信号之后,所述方法还包括:
基于所述去噪的PPG频域信号,预测佩戴所述可穿戴设备的用户的心率。
13.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述存储器和所述处理器耦合;所述存储器存储有程序指令,所述程序指令由所述处理器执行时,使得所述电子设备执行如权利要求1至12任意一项所述的PPG频域信号的去噪方法。
14.一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至12任意一项所述的PPG频域信号的去噪方法。
CN202311051681.XA 2023-08-17 2023-08-17 Ppg频域信号的去噪方法、设备及存储介质 Pending CN117694857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311051681.XA CN117694857A (zh) 2023-08-17 2023-08-17 Ppg频域信号的去噪方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311051681.XA CN117694857A (zh) 2023-08-17 2023-08-17 Ppg频域信号的去噪方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117694857A true CN117694857A (zh) 2024-03-15

Family

ID=90152187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311051681.XA Pending CN117694857A (zh) 2023-08-17 2023-08-17 Ppg频域信号的去噪方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117694857A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109222948A (zh) * 2018-09-17 2019-01-18 歌尔科技有限公司 消除运动干扰噪声的方法、装置、电子设备和存储介质
CN109222990A (zh) * 2018-08-09 2019-01-18 复旦大学 基于多层时延神经网络去除运动伪迹的ppg监测系统
US20210106281A1 (en) * 2019-10-12 2021-04-15 Bao Q. Tran Implantable medical system
CN114587311A (zh) * 2022-04-02 2022-06-07 杭州华视诺维医疗科技有限公司 一种基于多阶多模态的非袖带式血压测量装置
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法
US20230196567A1 (en) * 2021-12-21 2023-06-22 Hospital on Mobile, Inc. Systems, devices, and methods for vital sign monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109222990A (zh) * 2018-08-09 2019-01-18 复旦大学 基于多层时延神经网络去除运动伪迹的ppg监测系统
CN109222948A (zh) * 2018-09-17 2019-01-18 歌尔科技有限公司 消除运动干扰噪声的方法、装置、电子设备和存储介质
US20210106281A1 (en) * 2019-10-12 2021-04-15 Bao Q. Tran Implantable medical system
US20230196567A1 (en) * 2021-12-21 2023-06-22 Hospital on Mobile, Inc. Systems, devices, and methods for vital sign monitoring
CN114587311A (zh) * 2022-04-02 2022-06-07 杭州华视诺维医疗科技有限公司 一种基于多阶多模态的非袖带式血压测量装置
CN115841594A (zh) * 2022-12-07 2023-03-24 中国矿业大学(北京) 基于注意力机制的煤矸高光谱变图像域数据识别方法

Similar Documents

Publication Publication Date Title
US20220125322A1 (en) Methods and Systems for Determining Abnormal Cardiac Activity
CN113827185B (zh) 穿戴设备佩戴松紧程度的检测方法、装置及穿戴设备
WO2021213337A1 (zh) 可穿戴电子设备的使用监测方法、介质及其电子设备
CN105988588A (zh) 包括触摸面板的电子设备和控制电子设备的方法
EP3310249B1 (en) Robust heart rate estimation
US20240156361A1 (en) Deep learning-based heart rate detection method and wearable device
WO2022088938A1 (zh) 睡眠监测方法、装置、电子设备及计算机可读存储介质
CN108272449A (zh) 非接触式的血压监测方法及系统
WO2023273834A1 (zh) 一种检测方法及相关设备
CN113284585A (zh) 数据展示方法、终端设备及存储介质
CN117694857A (zh) Ppg频域信号的去噪方法、设备及存储介质
WO2021046342A1 (en) Systems and methods for detecting sleep activity
CN113491508A (zh) 电子设备及其房颤预警方法和介质
WO2023273640A1 (zh) 癫痫检测方法和装置
WO2023005318A1 (zh) 生理检测信号质量评估方法、电子设备及存储介质
WO2021253296A1 (zh) 一种运动模型生成方法及相关设备
CN115268921A (zh) 一种编译方法和装置
CN117678988A (zh) 血压测量方法及电子设备
CN115886741B (zh) 睡眠状态监测方法、电子设备和存储介质
CN114073520B (zh) 基于绿光的血氧检测设备及其血氧检测方法和介质
US20240020882A1 (en) Camera-Based Contactless Monitoring of Physiological Parameters
CN116919367A (zh) 一种血压测量方法及装置
CN112102848B (zh) 一种用于识别音乐的方法、芯片和终端
WO2023138660A1 (zh) 一种音频检测的方法及电子设备
US20220383189A1 (en) Methods and systems for predicting cognitive load

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination