CN116058814A - 心率检测方法及电子设备 - Google Patents

心率检测方法及电子设备 Download PDF

Info

Publication number
CN116058814A
CN116058814A CN202111644631.3A CN202111644631A CN116058814A CN 116058814 A CN116058814 A CN 116058814A CN 202111644631 A CN202111644631 A CN 202111644631A CN 116058814 A CN116058814 A CN 116058814A
Authority
CN
China
Prior art keywords
heart rate
data
rate data
motion
ppg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111644631.3A
Other languages
English (en)
Inventor
张晓武
李丹洪
邸皓轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Honor Device Co Ltd
Original Assignee
Beijing Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Honor Device Co Ltd filed Critical Beijing Honor Device Co Ltd
Priority to PCT/CN2022/115913 priority Critical patent/WO2023071501A1/zh
Priority to EP22839971.3A priority patent/EP4197436A4/en
Publication of CN116058814A publication Critical patent/CN116058814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本申请提供了一种心率检测方法及电子设备,涉及通信技术领域。通过本方案,当检测到佩戴智能穿戴设备的用户进行第一运动时,通过智能穿戴设备中的PPG传感器采集PPG信号;基于PPG信号和第一深度序列神经网络模型,得到第一心率数据;基于PPG信号和第一频率追踪算法模型,得到第二心率数据;基于第一心率数据与第二心率数据进行数据融合,得到用户在第一运动时的目标心率值。由于频率跟踪算法能快速跟踪心率变化,可以对深度序列神经网络在心率突变情况下无法及时追踪的场景进行补偿,因此本申请方案通过不同模型得到的心率数据进行融合可以提升心率预测的准确性。

Description

心率检测方法及电子设备
本申请要求于2021年11月1日提交国家知识产权局、申请号为202111284126.2、申请名称为“基于AI双算法引擎决策的心率预测方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及通信技术领域,尤其涉及一种心率检测方法及电子设备。
背景技术
心率是显示健康状况的重要指标。传统的测量方法是基于心电图(electrocardiograph,ECG)的心率分析,这种方法需要专业的设备和知识,不能满足用户的日常测量需求。近年来随着智能穿戴设备(例如智能腕带式设备)的发展与成熟,基于智能穿戴设备的心率检测方案成为主流。
目前,智能穿戴设备可以采用光电容积脉搏波(photoplethysmography,PPG)信号来计算心率。PPG传感器包含发光二极管(light emitting diode,LED)灯和光敏传感器,LED灯不断向皮肤投射光线,光透过皮肤组织被血流吸收,同时光敏传感器接收反射回来的光信号。由于反射光的强度与血流速度相关,同时血流速度受周期性的心律影响,因此PPG信号可以反映心率信息。
然而,在采集PPG心率信号时,由于环境光,基线漂移,运动伪影等因素引入大量噪声,而造成信号失真,导致心率检测准确度低。
发明内容
针对上述技术问题,本申请提供一种心率检测方法及电子设备,以解决由于环境光,基线漂移,运动伪影等因素引入大量噪声而造成信号失真,导致心率检测准确度低的问题。
第一方面,本申请提供一种心率检测方法,该方法包括:
确定佩戴智能穿戴设备的用户进行第一运动,所述佩戴智能穿戴设备中设置有光电容积脉搏波PPG传感器,其中,所述PPG传感器用于采集PPG信号;
基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据;
基于所述PPG信号和第一频率追踪算法模型,得到第二心率数据;
基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值。
通过本申请方案,当检测到佩戴智能穿戴设备的用户进行第一运动时,通过智能穿戴设备中的PPG传感器采集PPG信号;基于PPG信号和第一深度序列神经网络模型,得到第一心率数据;基于PPG信号和第一频率追踪算法模型,得到第二心率数据;基于第一心率数据与第二心率数据进行数据融合,得到用户在第一运动时的目标心率值。由于频率跟踪算法能快速跟踪心率变化,可以对深度序列神经网络在心率突变情况下无法及时追踪的场景进行补偿,因此本申请方案通过不同模型得到的心率数据进行融合可以提升心率预测的准确性。
在一些可能的实现方式中,上述基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:
Y=w1x1+w2x2
其中,x1表示所述第一心率数据,w1表示所述第一心率数据对应的权重值,x2表示所述第二心率数据,w2表示所述第二心率数据对应的权重值。
在一些可能的实现方式中,在所述将所述第一心率数据与所述第二心率数据进行加权求和之前,所述方法还包括:
获取所述第一深度序列神经网络和所述第一频率追踪算法模型各自在不同运动场景下的第一样本数据;
基于下述等式,采用贝叶斯算法对所述第一样本数据进行深度学习:
Y=w1x1+w2x2
训练得到不同场景下w1和w2的取值。
在一些可能的实现方式中,w1+w2=1。
在一些可能的实现方式中,在所述基于所述第一心率数据和所述第二心率数据进行数据融合之前,所述方法还包括:
判断所述第一运动是否为第一类运动,所述第一类运动为根据所述频率追踪算法模型的特性预先设定的一类运动;
当所述第一运动为所述第一类运动时,判断所述PPG信号对应的置信度是否大于可信阈值;
当所述PPG信号对应的置信度大于所述可信阈值时,将所述第二心率数据对应的权重值w2增大为w2’。
在一些可能的实现方式中,所述基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
当所述第一运动是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2’x2;或者,
当所述第一运动不是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2x2
在一些可能的实现方式中,上述第一类运动为步行或者骑行。
在一些可能的实现方式中,在上述基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据之前,所述方法还包括:
基于所述第一频率追踪算法模型提供的数据特征对深度序列神经网络模型进行训练,得到所述第一深度序列神经网络模型。
其中,所述数据特征包括PPG主频数据和加速度ACC主频数据。
在一些可能的实现方式中,所述方法还包括:
基于所述PPG信号和时域间期算法模型,得到第三心率数据;
基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值。
在一些可能的实现方式中,所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
采用下述等式,将所述第一心率数据、所述第二心率数据和所述第三心率数据进行加权求和,得到所述目标心率值:
Y=w1x1+w2x2+w3x3
其中,x3表示所述第三心率数据,w3表示所述第三心率数据对应的权重值。
在一些可能的实现方式中,在上述将所述第一心率数据、所述第二心率数据和所述第三心率数据进行加权求和之前,所述方法还包括:
获取所述第一深度序列神经网络、所述第一频率追踪算法模型和所述时域间期算法模型各自在不同运动场景下的第二样本数据;
基于下述等式,采用贝叶斯算法对所述第二样本数据进行深度学习:
Y=w1x1+w2x2+w3x3
训练得到不同场景下w1、w2和w3的取值。
在一些可能的实现方式中,w1+w2+w3=1。
在一些可能的实现方式中,在所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合之前,所述方法还包括:
判断所述第一运动是否为第二类运动,所述第二类运动为根据所述时域间期算法模型的特性预先设定的一类运动;
当所述第一运动为所述第二类运动时,判断所述PPG时域信号的自相关系数是否大于系数阈值;
当所述PPG时域信号的自相关系数大于所述系数阈值时,将所述第三心率数据对应的权重值w3增大为w3’。
在一些可能的实现方式中,所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
当所述第一运动是所述第二类运动时,采用下述等式进行加权求和,得到所述目标心率值:Y=w1x1+w2x2+w3’x3;或者,
当所述第一运动不是所述第二类运动时,采用下述等式进行加权求和,得到所述目标心率值:Y=w1x1+w2x2+w3x3
在一些可能的实现方式中,所述第二类运动为静息或者睡眠。
在一些可能的实现方式中,在所述基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据之前,所述方法还包括:
基于所述第一频率追踪算法模型提供的第一数据特征和所述时域间期算法模型提供的第二数据特征,对深度序列神经网络模型进行训练,得到所述第一深度序列神经网络模型。
其中,所述第一数据特征包括PPG主频数据和ACC主频数据,所述第二数据特征包括间隔时长和峰值点个数。
在一些可能的实现方式中,在所述得到用户在所述第一运动时的目标心率值之后,所述方法还包括:
在所述智能穿戴设备的屏幕上显示所述目标心率值和所述第一运动的信息。
在一些可能的实现方式中,所述方法还包括:
获取多场景样本集,所述多场景样本集为基于多种运动场景检测得到的数据样本集合;
从所述多场景样本集中提取加速度ACC样本数据、光电容积脉搏波PPG样本数据和心率标签;
以所述ACC样本数据和所述PPG样本数据为输入,所述心率标签和运动场景标签为目标变量,通过深度序列神经网络进行训练;
获得所述第一深度序列神经网络,所述第一深度序列神经网络具有场景识别及心率预测功能。
第二方面,本申请提供一种基于AI双算法引擎决策的心率检测装置,该装置包括用于执行上述第一方面中的方法的单元。该装置可对应于执行上述第一方面中描述的方法,该装置中的单元的相关描述请参照上述第一方面的描述,为了简洁,在此不再赘述。
其中,上述第一方面描述的方法可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,处理模块或单元、显示模块或单元等。
第三方面,本申请提供一种电子设备,所述电子设备包括处理器,处理器与存储器耦合,存储器用于存储计算机程序或指令,处理器用于执行存储器存储的计算机程序或指令,使得第一方面中的方法被执行。
例如,处理器用于执行存储器存储的计算机程序或指令,使得该装置执行第一方面中的方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有用于实现第一方面中的方法的计算机程序(也可称为指令或代码)。
例如,该计算机程序被计算机执行时,使得该计算机可以执行第一方面中的方法。
第五方面,本申请提供一种芯片,包括处理器。处理器用于读取并执行存储器中存储的计算机程序,以执行第一方面及其任意可能的实现方式中的方法。
可选地,所述芯片还包括存储器,存储器与处理器通过电路或电线连接。
第六方面,本申请提供一种芯片系统,包括处理器。处理器用于读取并执行存储器中存储的计算机程序,以执行第一方面及其任意可能的实现方式中的方法。
可选地,所述芯片系统还包括存储器,存储器与处理器通过电路或电线连接。
第七方面,本申请提供一种计算机程序产品,所述计算机程序产品包括计算机程序(也可称为指令或代码),所述计算机程序被计算机执行时使得所述计算机实现第一方面中的方法。
可以理解的是,上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例涉及的应用场景示意图;
图2为本申请实施例提供的智能穿戴设备的结构示意图;
图3为本申请实施例提供的PPG心率检测原理的示意图;
图4示出了本申请实施例涉及到的由于基线漂移、运动伪影等因素引入大量噪声的示意图;
图5示出了本申请实施例中关于静息状态与运动状态的PPG时域及频域信号的示意图;
图6示出了本申请实施例中PPG传感器的结构示意图;
图7示出了本申请实施例中深度序列神经网络心率算法的流程示意图;
图8示出了本申请实施例中频率追踪算法的流程示意图;
图9示出了本申请实施例提供的心率检测算法的流程示意图;
图10示出了本申请实施例中通过深度序列神经网络心率算法和频率追踪算法进行特征融合的流程示意图;
图11示出了本申请一实施例中通过深度序列神经网络心率算法和频率追踪算法进行决策融合的流程示意图;
图12示出了本申请一实施例中通过深度序列神经网络心率算法和频率追踪算法进行基于场景选择的融合的流程示意图;
图13示出了本申请一实施例中根据PPG信号确定置信度的流程示意图;
图14示出了本申请另一实施例中通过深度序列神经网络心率算法和频率追踪算法进行特征融合的流程示意图;
图15示出了本申请另一实施例中通过深度序列神经网络心率算法和频率追踪算法进行决策融合的流程示意图;
图16示出了本申请另一实施例中通过深度序列神经网络心率算法和频率追踪算法进行基于场景选择的融合的流程示意图;
图17示出了本申请实施例提供的将深度序列神经网络心率算法与频率追踪算法融合后的收益示意图;
图18示出了本申请提供的融合方案在应用于跑步场景时的效果示意图;
图19示出了本申请方案应用于智能穿戴设备时的用户界面示意图;
图20示出了本申请实施例提供的技术方案所涉及的软件架构示意图;
图21示出了本申请实施例提供的心率检测装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系,例如A/B表示A或者B。
本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一心率数据和第二心率数据等是用于区别不同的心率数据,而不是用于描述心率数据的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或者两个以上,例如,多个处理单元是指两个或者两个以上的处理单元等;多个元件是指两个或者两个以上的元件等。
为便于理解本申请实施例,以下对本申请实施例的部分用语进行解释说明,以便于本领域技术人员理解。
光电容积脉搏波描记法(PPG):PPG是利用光学原理将人体生物信号转换为电信号的非侵入式检测技术,具体地,将发光二极管(light emitting diode,LED)的光线射向皮肤,用光敏传感器接受经过皮肤组织吸收后被反射回来或透射过去的光,将光敏传感器得到的电信号转化为数字信号即得到PPG信号。由于其无创、简单、便携等优点大量被广泛用于人体的生理心率、血氧、压力等方面的健康监测。其中,心率作为衡量心脏搏动能力的参数之一,对心率的准确检测具有重要的医学意义。
图1示出了本申请的各个示例性实施例所涉及的系统架构示意图。如图1所示,该系统架构包括智能穿戴设备1,该智能穿戴设备1具有PPG传感器。当用户佩戴该智能穿戴设备1且智能穿戴设备处于开启状态时,该智能穿戴设备1可利用PPG技术检测用户各个时刻的心率值,该智能穿戴设备可以显示心率值。其中,心率是指正常人安静状态下每分钟心跳的次数,也叫安静心率,一般为60~100次/分(bpm)。
可以理解,智能穿戴设备1可以是各种能够对用户进行PPG检测的电子设备,如智能手环、智能手表、眼镜、头盔、头带等支持心率检测的可穿戴电子设备。为了便于说明,以下在描述智能穿戴设备1时均以智能手表为例进行示例性说明。
图2为本申请实施例提供的一种智能穿戴设备的硬件结构示意图。如图2所示,智能穿戴设备200可以包括触摸屏201、显示屏202、处理器203、微控制单元(micro controlunit,MCU)204、心率检测传感器205、重力加速度(acceleration,ACC)传感器206、存储器207、麦克风(microphone,MIC)208、蓝牙(blue tooth,BT)芯片209、电源管理系统210、电源211等。下面分别对智能手表的各功能组件进行介绍:
触摸屏201,也称为触控面板,可收集手表用户在其上的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程式驱动响应的连接装置。
显示屏202可用于显示由用户输入的信息或提供给用户的信息以及手表的各种菜单。进一步的,触摸屏201可覆盖显示屏202,当触摸屏201检测到在其上或附近的触摸操作后,传送给处理器203以确定触摸事件的类型,随后处理器203根据触摸事件的类型在显示屏202上提供相应的视觉输出。
处理器203用于系统调度,可以控制显示屏、触摸屏以及MCU 204,并且支持控制麦克风208和蓝牙芯片209等。该处理器203可以与存储器207连接。该存储器207可以用于存储程序代码和数据。在智能穿戴设备200运行时,处理器203可以执行存储器207中的计算机执行指令以执行上述方法的操作步骤。
应理解,在本申请实施例中,该处理器203可以采用中央处理单元(centralprocessing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器203采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
微控制单元204用于控制心率检测传感器205和ACC传感器206等传感器,对传感器数据进行运算,与处理器203通信,例如微控制单元204接收处理器203的指令,或者微控制单元204向处理器203反馈信息等。
微控制单元204还可以通过控制心率检测传感器205中的各个光源(LED)的驱动器来控制各个光源的点亮和熄灭等。同时微控制单元204也可以从心率检测传感器205接收信号并且向其发送信号。
其中,心率检测传感器205可以为PPG传感器,PPG传感器可以检测得到PPG信号,该PPG信号可以反映用户的心率数据。PPG传感器可以包括多个光源和对应光源的光电传感器件,以实现PPG检测。其中,光源可以是绿光光源、红光光源或者红外光光源等。示例性地,该PPG传感器可以包括LED 2051和光敏传感器2052。具体地,LED 2051的光线射向皮肤,光敏传感器2052接受经过皮肤组织吸收后被反射回来或透射过去的光,然后将光敏传感器得到的电信号转化为数字信号,即得到PPG信号。可选地,光敏传感器2052可以为光敏二极管(photo diode,PD),也可以采用其他光电传感元件。
ACC传感器206用于接收微控制单元204发送的信号,也可以向微控制单元204发送信号。ACC传感器206接收的信号可以包括原始传感器和/或经过滤波或经过处理的传感器数据。在本申请的实施例中,ACC传感器206可以用来感测用户的运动状态,进而可以知道用户在佩戴智能穿戴电子设备的时候是否处于安静状态,同时,也可以得到用户的运动信息。基于PPG信号和ACC信号可以检测运动状态下的心率值。
存储器207可以用于存储上述微控制单元204执行的指令和在执行指令时产生的中间数据,可以用于存储PPG传感器、加速度计等检测到的检测数据。此外,在一些实施例中,存储器105还可以用于存储每一种光源的光源信息与受测用户的标识之间的对应关系,其中,光源信息可以包括光源的光强大小与光强感应范围,受测用户的标识可用于指示不同的受测用户。
此外,在一些实施例中,存储器207还可以存储首次使用的受测用户的个人信息(诸如,性别、年龄等)并且存储智能穿戴设备(如手环)历史记录中的用户的房颤负荷数据、心率以及运动信息。存储器207还可以存储设备类型的信息。
可选地,该存储器207可以包括只读存储器和随机存取存储器,并向处理器203提供指令和数据。处理器203的一部分还可以包括非易失性随机存取存储器。
存储器207用于存储软件程序以及数据,处理器203通过运行存储在存储器207的软件程序以及数据,执行智能手表的各种功能应用以及数据处理。
麦克风208,也称为传声器。麦克风206可以将收集的声音信号转换为电信号,由音频电路接收后转换为音频数据;音频电路也可以将音频数据转换为电信号,传输到扬声器,由扬声器转换为声音信号输出。
蓝牙芯片209,智能手表通过蓝牙芯片209可以与其他电子设备(如手机、平板电脑等)交互信息,并通过上述电子设备连接网络后与服务器连接。
电源211(比如电池)可以向各个组件供电。可选地,电源211可以通过电源管理系统210与处理器203逻辑相连,从而通过电源管理系统213实现管理充电、放电、以及功耗管理等功能。
可选地,智能穿戴设备200还可以包括用户接口。用户接口用于在系统和用户之间进行信息交换,可以实现用户注册、登录。通常用户接口指软件接口,可以包括命令接口、程序接口、图形接口三种。即在人机联系的硬件设备接口基础上开发的软件。
可选地,智能穿戴设备200还可以包括无线通信模块。无线通信模块通常可以包括一个或者多个模块,支持设备之间进行无线通信。例如,无线通信模块可以包括无线保真(wireless-fidelity,Wi-Fi)模块、近距离无线通信技术(near field communication,NFC)模块。
需要说明的是,上述智能穿戴设备的硬件功能组件可以根据用户需要进行更改,可以理解的是,上文所介绍的具体实施例仅仅是本申请的一种具体实施方式,其他可以实现本申请方案的方式同样是本申请所要保护的范围,在此不做赘述。
可选地,上述系统架构还可以包括电子设备2,电子设备2可以与智能穿戴设备1建立无线连接并进行数据通信。示例性地,智能穿戴设备1可以通过自身的蓝牙与电子设备2进行匹配,匹配成功后与电子设备2通过蓝牙通信链路进行数据通信。当然,也可以通过其他无线通信方式与手机进行数据通信,比如射频识别技术,近距离无线通信技术等。电子设备2可以接收并显示智能穿戴设备1发送的心率值,供用户查看。
可以理解,电子设备2可以包括但不限于:膝上型计算机、台式计算机、平板计算机、智能手机、智能穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、其中嵌入或耦接有一个或多个处理器的电视机、或能够访问网络的其他电子设备。为了便于说明,以下在描述电子设备2时均以手机为例进行示例性说明。
下面详细介绍采用本申请的技术方案,控制PPG传感器进行PPG测量的具体过程。
图3示出了PPG心率检测原理的示意图。如图3所示,PPG传感器可以包括LED灯和光敏传感器。当PPG传感器与人体皮肤靠近或接触时,微控制单元会调用LED驱动触发LED灯发光。LED灯不断向皮肤投射光线,光线透过皮肤组织(包括表皮和真皮)被血流吸收或反射,同时光敏传感器接收反射回来的光信号,并将光信号转换为电信号,由此可以检测到真皮层动脉血流运动而引起的反射光强度变化信号,如图3中的随时间t变化的光强度数据图。其中,骨骼、静脉和其他组织等对光线的吸收基本不变。由于反射光的强度与血流速度相关,同时血流速度受周期性的心律影响,即所采集的信号是与心脏律动相对应的PPG周期信号,因此PPG信号可以反映心率信息。其中,PPG信号还可以称为PPG心率信号。
进一步地,PPG信号可以通过放大器进行信号放大处理,并通过信号调整器进行信号波形调整,调整后的PPG信号发送给MCU。MCU对调整后的PPG信号进行处理,得到如图3所示的在某一时间段T内变化的PPG信号数据图。
目前,由于环境光,基线漂移,运动伪影等因素引入大量噪声,导致PPG信号失真。
一方面,在佩戴状态下,智能手环可能会与皮肤之间发生位移,此时在采集PPG信号时会连同外界环境光一同采集到,环境光作为噪声信号会影响PPG信号准确性,导致心率检测不准确。
另一方面,基线漂移是指由人体呼吸及皮肤表面与PPG传感器出现相对摩擦而产生的频率在1Hz以下的噪声。含基线漂移影响的PPG信号可以看成是特征波形与基线漂移信号叠加的结果,对其进行适当的滤波处理,即可分离出基线漂移信号。图4中虚线框中示出了受基线漂移信号影响的强度特征波形。受基线漂移影响,强度特征波形变化比较慢,会影响长时间内的波形走势。
再一方面,运动伪影是指,人体时刻处于某种运动状态,步行、跑步等不规则运动导致的高频噪声。如图4所示,高频噪声变化比较快,混叠在心率区间,影响短时间内的波形变化。运动噪声混叠在心率频域范围内,难以区分。
在理想情况下,PPG信号能够精确地检测出人体各时刻的心率值。然而,由于环境光,基线漂移,运动伪影等复杂场景的噪声影响,导致PPG的真实信号失真,使得心率计算的准确率受到了极大的制约。其中影响最大的是运动伪影,它会使得PPG时域信号上出现波峰波谷的缺失或者变形,使得时域计数法精度降低,而频域上则显示为PPG谱峰的异常,无法精准定位当前时刻的PPG信号主频,难以取得准确结果。因此如何自适应的消除PPG信号中的复杂噪声,提升心率检测精度是一个重要问题。
图5中(a)示出了静息状态下的PPG时域信号和频域信号图示,图5中(b)示出了运动状态下的PPG时域信号和频域信号图示。
在PPG时域信号曲线图中,纵坐标代表PPG信号强度值,横坐标代表采样时间。该PPG时域信号曲线图是经过带通滤波之后的时域图。
在PPG频域信号频谱图中,纵坐标代表FFT幅度值,横坐标代表采样个数。该PPG频域信号频谱图是经过带通滤波之后的频谱图。纵坐标代表的FFT幅度值经过归一化,取值范围为[0,20]。横坐标代表的采样个数可以取35个。
其中,假设采样频率为25Hz,相应地FFT的横坐标单位间隔分辨率为25/256=0.097HZ。假设在经过滤波的PPG频谱图中FFT横坐标点范围为[5,35]。由于FFT横坐标单位间隔分辨率为0.097HZ,因此FFT横坐标点范围[5,35]对应的频率区间为[5*0.097HZ,35*0.097HZ],约为[0.5HZ,3.5HZ]。频谱图包括频率范围[0.7Hz,3.5Hz]的频谱数据,此时得到的频域数据认为是有效频谱数据。
结合图5中的(a)和(b)可知,静息状态下PPG时域信号稳定,PPG频域信号能量占比强,用计数法和频域寻峰方法可以准确预测心率;而运动状态下PPG时域信号已失真,且PPG频域信号的能量占比非常低,这是由于运动噪声混叠在心率频域范围内,难以区分,影响心率预测。由此可见,在静息状态时的心率检测结果较为准确,但是由于运动高频噪声干扰,因此在运动状态时心率检测信号可能会发生畸变,因此采用传统心率算法检测的心率值不够精准。
目前传统技术针对信号进行了大量的人工噪声预处理和规则制定,需要大量的领域知识作为支撑,并且需要在特定参数以及特定场景下才能达到良好效果。目前技术无法同时在各种复杂的运动伪影和噪声的作用下寻找到一种自适应消除噪声和补偿信号的技术方案。
鉴于此,本申请提供了对应的解决方案:加强PPG光路信号源的信号质量,通过高精准的算法模型挖掘目标信号,实现高精度预测。
示例性地,如图6所示,本申请实施例中的智能穿戴设备采用8通道PPG心率模组。其中,8通道PPG心率模组中包括光敏传感器A1、光敏传感器A2、…光敏传感器A8,总共8个光敏传感器。这8个光敏传感器分布于一个或更多个光源的周围,这里以两个光源B1和B2为例进行说明。可选地,光源B1可以为绿光光源和/或者蓝光光源,光源B2可以为红光光源和/或者红外光光源。例如,光源B1可以为蓝色LED,第二光源可以为红色LED。这样,两个光源向皮肤投射光线,光线透过皮肤组织被血流吸收或反射,光源周围的8个光敏传感器接收反射回来的光信号,并将光信号转换为电信号,如此可以得到8通道PPG信号,这样可以加强PPG光路信号源的信号质量。
其中,智能穿戴设备可以为智能手表,通过采用8通道PPG心率模组,可以通过8通道数据采集,4通道数据处理,AI融合成1个优质心率信号,有效消除心率信号噪声,抗干扰能力大幅增强,因此可以降低心率信号不稳定风险,提升动态心率准确率。
通过本申请方案,当检测到佩戴智能穿戴设备的用户进行第一运动时,可以通过智能穿戴设备中的PPG传感器采集PPG信号;将PPG信号输入第一深度序列神经网络模型,得到第一心率数据;将PPG信号输入第一频率追踪算法模型,得到第二心率数据;将第一心率数据与第二心率数据进行数据融合,得到用户在第一运动时的目标心率值。由于频率跟踪算法能快速跟踪心率变化,可以对深度序列神经网络在心率突变情况下无法及时追踪的场景进行补偿,因此本申请方案通过不同模型得到的心率数据进行融合可以提升心率预测的准确性。
下面结合第一实施例和第二实施例对本申请实施例提供的心率检测方法进行示例性描述。
第一实施例
在本申请实施例提供的一种方案中,可以同时采用深度序列神经网络心率算法以及谐波频率追踪(frequency tracking,FT)算法,对不同场景下采集的PPG信号进行处理,以加强PPG光路信号源的信号质量,这样可以通过高精准的算法模型挖掘目标信号,实现高精度预测。
示例性地,可以针对上述图6所示的8通道PPG信号,可以采用深度序列神经网络心率算法以及频率追踪算法进行心率信号AI融合,这样通过高精准的算法模型挖掘目标信号,实现高精度预测,从而使得心率准确度大幅提升。
首先介绍深度序列神经网络心率算法。图7示出了通过深度序列神经网路心率算法预测心率的示意性结构框图。如图7所示,将多维特征数据输入到深度序列神经网络后,通过深度序列神经网络心率算法进行心率预测,可以输出目标心率值。其中,多维特征数据可以包括PPG和ACC时域信号以及PPG和ACC频域信号;深度序列神经网络可以包括卷积层、归一化层、循环网络层、残差层和全连接层。可以理解,这里深度序列神经网络的组件为示例性地说明,在实际实现时,深度序列神经网络还可以包括比图7所示更多或更少的组件。
一方面,深度序列神经网络心率算法具有以下优点:第一、人体的心率变化具有很强的时序性和非突变性,基于时间序列的深度学习模型可以有效地对心率的变化规律进行建模;第二、深度序列神经网络不需要大量的专家领域知识做大量数据预处理,可自动学习特征,实现端到端的心率监测流程。第三、信号不稳定,或者短时噪声突变的情况下有较强的抗干扰能力。
另一方面,深度序列神经网络心率算法具有以下缺点:第一、对于心率突变的情况(例如佩戴智能穿戴设备的用户迅速起身的场景)无法及时追踪。第二、需要大量的训练数据。
其次再介绍谐波频率跟踪算法(或者称为自适应滤波算法)。图8示出了谐波频率跟踪算法的示意性结构框图。示例性地,如图8所示,将n时刻采集的信号x[n]分别输入K个时变滤波器,分别得到y1[n]、y2[n]、…yK[n];然后,y1[n]、y2[n]、…yK[n]分别输入自适应模块进行参数调整,分别得到w1[n]、w2[n]、…wK[n];然后,w1[n]、w2[n]、…wK[n]分别乘以权重参数W1[n]、W2[n]、…WK[n],得到三个乘积值进行相加,得到和值。然后,该和值通过反馈路径,分别作为K个时变带通滤波器的输入,循环调整滤波器的K个系数,最后输出目标值w[n]。
上述这种滤波方式称为自适应滤波。在自适应滤波过程中,不需要事先知道输入的PPG信号和噪声的统计特性,滤波器自身能够在工作过程中学习或估计信号的统计特性,并以此为依据调整自身参数,已达到某种准则/代价函数下的最优滤波效果。一旦信号统计特性发生变化,还可以跟踪这种变化,重新调节参数,使滤波性能重新达到最优。因此,自适应滤波是处理非平稳信号的一种有效手段。
一方面,谐波频率跟踪算法具有以下优点:第一、频率跟踪算法能快速跟踪心率变化;第二、不需要大量的数据支持,有很强的数学理论基础。
另一方面,谐波频率跟踪算法具有以下缺点:第一、需要大量的专家知识,无法做到端到端的心率检测;第二、对噪声比较敏感,抗干扰能力不强。
基于上述对深度序列神经网络心率算法和谐波频率跟踪算法的优缺点分析,本申请实施例提出:可以将深度序列神经网络心率算法与谐波频率跟踪算法进行融合应用。具体地,可以利用特征融合和模型融合方式,将两个算法模型的优势进行非线性的深度融合,与此对应的算法可以称为人工智能AI融合算法。
经过实验数据可知,本申请实施例通过将深度序列神经网络与频率追踪算法融合应用,可以具有以下优势:基于频率跟踪算法能快速跟踪心率的变化,这样AI融合算法能对心率趋势进行记忆和学习,具有较强的抗干扰能力和推理能力。而且,AI融合算法通过利用特征融合和模型融合方式,将两个模型的优势进行非线性的深度融合,极大的提升了算法在各种场景下的自适应能力和检测能力。
图9是本申请实施例提供的一种心率检测方法的流程示意图。参照图9所示,该方法包括下述的步骤S101-S106。
S101,确定佩戴智能穿戴设备的用户进行第一运动,该佩戴智能穿戴设备中设置有光电容积脉搏波PPG传感器。
示例性地,第一运动可以为步行、跑步、游泳或者骑车等。其中,骑车还可以分为室内骑车和室外骑车。可选地,第一运动场景还可以是静息或者睡眠等。
示例性地,静息场景可以指用户坐立或站立时,静止不动或者存在小幅度动作时的状态。
S102,通过PPG传感器采集PPG信号。
S103,基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据。
具体地,可以将PPG信号输入第一深度序列神经网络模型,得到第一心率数据。
其中,上述第一深度序列神经网络模型也称为深度序列神经网络心率算法,可简称为深度算法或者深度学习算法。
S104,基于所述PPG信号和第一频率追踪算法模型,得到第二心率数据。
具体地,可以将PPG信号输入第一频率追踪算法模型,得到第二心率数据。
其中,第一频率追踪算法模型指特定的频率追踪算法(谐波频率追踪算法)。示例性地,频率追踪算法(简称为FT算法)可以采用自适应滤波算法,如基于最小均方(leastmean square,LMS)的自适应滤波算法,简称为LMS算法。在LMS算法中,通过找到一组权值向量,使样本预测输出值与实际输出值之差平方的期望值最小。
其中,LMS算法采用自适应滤波器,在滤波过程中不断根据前后结果信息的反馈,调整滤波参数。选择不同的更新参数的方法,结果有所不同。可以选择误差最小的滤波参数更新方式,这种更新参数方式称为代价函数或目标函数。由于目标函数的目的是最优化参数计算,不需要事先了解被过滤信号的频率等特性,因此可以很好地应用于PPG信号去噪。
S105,基于第一心率数据和第二心率数据进行数据融合,得到用户在第一运动场景下的目标心率值。
S106,在智能穿戴设备的屏幕上显示目标心率值和第一运动信息。
需要说明的是,本申请实施例不限定上述S103和S104的先后执行顺序,例如可以先执行S103,后执行S104;也可以先执行S104,后执行S103;还可以同时执行S103和S104。可以理解,图9中以同时执行S103和S104为例进行示意性说明。
下面示例性地说明深度序列神经网络心率算法和频率追踪算法的数据融合方式。可选地,在本申请实施例中,深度算法和FT算法的融合方式可以包括特征融合、决策融合以及基于场景选择的融合。
其中,首先基于FT算法供给特征以及PPG等数据(多种特征融合)对深度序列神经网络进行模型训练,得到优化后的深度序列神经网络。
然后,基于优化后的深度序列神经网络和频率追踪算法模型的大量不同运动场景的样本数据库,利用贝叶斯算法对参数进行学习(决策融合),从而得到不同场景下深度算法对应的权重因数w1,以及FT算法对应的权重因数w2
最后,基于PPG信号和优化后的深度序列神经网络,得到第一心率数据;同时基于该PPG信号和频率追踪算法模型,得到第二心率数据。基于第一心率数据和第二心率数据进行数据加权融合,得到用户在第一运动时的目标心率值。
下面分别对深度算法和FT算法的融合方式进行详细说明。
方式一:特征融合
图10示出了本申请第一实施例提供的特征融合的示意性结构框图。如图10所示,多维特征数据包括PPG和ACC时域信号统计特征(如均值方差等)、PPG和ACC频域信号,以及FT算法供给特征,例如PPG主频和ACC主频等中间结果数据。将该多维特征数据输入深度序列神经网络,以例如心电图(electrocardiograph,ECG)等测试所得的心率值为目标心率值,进行模型训练,通过参数优化并调整,训练得到优化后的深度序列神经网络。
其中,当满足预设心率检测触发条件时,会触发智能穿戴设备进行心率检测,获取PPG信号和ACC信号。例如,智能穿戴设备会接收到心率检测命令,该心率检测命令触发PPG传感器采集PPG信号,并且触发加速度传感器采集ACC信号,从而智能穿戴设备获取到PPG信号和ACC信号。
可选地,在本申请实施例中,上述预设心率检测触发条件可以为以下任一项:智能穿戴设备接收到用户触发开启检测心率功能的操作,智能穿戴设备实时检测心率,智能穿戴设备周期性地检测心率且开始第N周期的心率检测。具体可以根据实际使用需求确定,本申请实施例不作限定。
其中,上述FT算法供给特征可以是通过图8所示的谐波频率跟踪算法得到的PPG主频和ACC主频等中间结果数据。需要说明的是,图8所示的谐波频率跟踪算法为示例性地列举,在实际实现时,本申请实施例还可以采用其他任意满足实际使用需求的频率跟踪算法。
方式二:决策融合
图11示出了本申请第一实施例提供的决策融合的示意性结构框图。如图11所示,在本申请实施例中,假设深度算法当前心率输出为x1,FT算法当前心率输出为x2,那么可以针对深度算法和FT算法进行决策融合,即基于深度算法和FT算法分别得到的大量不同运动场景的样本数据库,利用贝叶斯算法对参数进行学习,从而通过训练得到不同场景下深度算法的权重值和FT算法的权重值。
在本申请实施例中,通过下述等式(1)和等式(2)进行训练:
Y=w1x1+w2x2; (1)
w1+w2=1。 (2)
其中,Y为训练输出的心率值,w1为深度算法对应的权重因数,w2为FT算法对应的权重因数。
需要说明的是,本申请实施例中提及的不同运动场景例如包括步行、跑步、游泳等场景,当然还可以包括静息或睡眠等特定场景,具体可以根据实际使用需求确定。
下面给出了通过训练得到的不同运动场景下的寻优结果示意数据:
示例性地,在睡眠场景中,w1=0.20,w2=0.80;其中,FT算法对应的权重因数w2大于深度算法对应的权重因数w1。在睡眠场景中,以FT算法为主,以深度算法为辅,进行心率检测。
示例性地,在步行场景中,w1=0.40,w2=0.60;其中,FT算法对应的权重因数w2大于深度算法对应的权重因数w1。在步行场景中,以FT算法为主,以深度算法为辅,进行心率检测。
示例性地,在跑步场景中,w1=0.55,w2=0.45;其中,深度算法对应的权重因数w1大于FT算法对应的权重因数w2。在跑步场景中,以深度算法为主,以FT算法为辅,进行心率检测。
示例性地,在游泳场景中,w1=0.62,w2=0.38;其中,深度算法对应的权重因数w1大于FT算法对应的权重因数w2。在游泳场景中,以深度算法为主,以FT算法为辅,进行心率检测。
在本申请实施例中,在不同场景下深度算法和FT算法分别采用与场景对应的权重因数进行决策融合,这样可以更好地抑制不同运动场景中存在的运动伪影噪声,从而可以提升心率检测准确性。
方式三:基于场景选择的融合
图12示出了本申请第一实施例提供的基于场景选择的融合的示意性结构框图。如图12所示,该基于场景选择的融合过程可以包括下述的步骤S301-S306。
S301,智能穿戴设备检测到用户开始运动。
S302,智能穿戴设备判断当前场景是否属于FT强势场景。
可选地,FT强势场景可以为步行、静息、睡眠等状态。可以理解,这里为示例性地列举,具体可以根据实际使用需求确定,本申请实施例不作限定。
若当前场景属于FT强势场景,则继续执行S303。若当前场景不属于FT强势场景,则继续执行S305。
S303,智能穿戴设备判断FT置信度是否大于可信阈值T。
在本申请实施例中,若FT置信度大于可信阈值T,则说明当前场景下FT算法对应的信号质量较优,可以加大FT算法的权重,以提升融合算法在检测心率时的精确性。
下面简单说明如何根据PPG信号得到FT置信度。如图13所示,在采集到PPG信号数据之后,经过去毛刺、带通滤波等信号处理模块,以及对PPG信号进行希尔伯特变换,将PPG信号变为解析信号,再结合ACC陷波消噪,即使用ACC主频对PPG信号进行陷波,可以消除运动噪声。可以通过多个滤波器将PPG信号分成多个倍频谐波信号(即分解谐波)。针对每个谐波信号,求解自适应滤波后PPG信号的相对误差,从而得到谐波权重。通过大数据分析,可以确定各个置信度区间的阈值,得到最后的置信度。
其中,在分解谐波,计算权重的过程中,可以将PPG信号通过多个滤波器,得到多个谐波,计算每个信号相对于理想信号的相对误差,除以各谐波信号的相对误差之和,得到谐波权重。
其中,可以根据大数据统计,得到阈值划分置信度,即采集大量样本数据(例如1万组以上的样本数据),按照四分位数划分四档置信度区间阈值,将权重转换为置信度输出。
若FT置信度大于可信阈值T,则继续执行S304。若FT置信度小于或等于可信阈值T,则继续执行S305。
可选的,本申请实施例也可以采用如神经网络模型等其他方式确认FT的置信度。
S304,智能穿戴设备增大FT算法对应的权重因数w2
也就是说,在当前场景属于FT强势场景,且FT置信度大于可信阈值T的情况下,可以增大FT算法对应的权重因数w2
示例性地,可以通过FT算法对应的权重因数w2乘以一个放大系数,对FT算法对应的权重因数w2进行放大,即加大FT算法的权重。为了便于区别,FT算法对应的增大后的权重因数w2记为w2’。
可选地,上述放大系数可以为1.1,或者为1.3,或者为1.5,还可以为其他任意满足实际使用需求的数值,具体可以根据实际使用需求确定,本申请实施例不作限定。
示例性地,在步行场景中,深度算法对应的权重因数w1为0.4,FT算法对应的权重因数w2为0.6,在判断FT置信度大于可信阈值T之后,可以将FT算法对应的权重因数w2乘以放大系数1.1,即加大FT算法的权重,得到对应的权重因数w2’为0.66。
S305,智能穿戴设备将针对深度算法和FT算法进行决策融合。
需要说明的是,在S302或者S303之后,S305按照Y=w1x1+w2x2进行决策融合,计算得到用户在进行当前运动时的心率值。
在S304之后,S305按照Y=w1x1+x2w2’进行决策融合,计算得到用户在进行当前运动时的心率值。
S306,智能穿戴设备输出通过决策融合得到的当前心率值。
在本申请实施例中,可以通过将频率追踪算法与深度序列神经网络心率算法进行双算法融合,分段合成精准心率。本申请方案结合考虑了用户行为或运动状态,本申请方案可以支持检测用户处于不同运动场景(例如各种运动状态,当然也包括静息状态)时的心率值。并且,可以检测出当前场景以及当前场景下的心率值。通过本申请方案,即便在存在运动噪声干扰的情况下也能够实现连续实时的高精度心率监测。
第二实施例
在本申请实施例提供的另一种方案中,可以同时采用深度序列神经网络心率算法、频率追踪算法以及时域间期计算法,对不同场景下采集的PPG信号进行处理,以加强PPG光路信号源的信号质量,这样可以通过高精准的算法模型挖掘目标信号,实现高精度预测。
其中,时域间期计算法具有如下优点:在噪声小的情况下,能快速追踪心率变化趋势,计算复杂度低,易于实现。可选地,时域间期计算法可以采用PP间期计算法,其中PP间期对应于心电图上显示的相邻两个P波起始点之间的距离。
类似于上述第一实施例中所述的融合方式,第二实施例提供的方案同样可以采用特征融合、决策融合和基于场景选择的融合,对深度序列神经网络心率算法、频率追踪算法以及时域间期计算法进行AI融合应用。
其中,首先基于FT算法供给特征、PP间隔时长及峰值点个数等时域特征数据以及PPG等数据(多种特征融合)对深度序列神经网络进行模型训练,得到优化后的深度序列神经网络。
然后,基于优化后的深度序列神经网络、频率追踪算法模型和时域间期计算法模型的大量不同运动场景的样本数据库,利用贝叶斯算法对参数进行学习(决策融合),从而得到不同场景下深度算法对应的权重因数w1,以及FT算法对应的权重因数w2,以及时域间期计算法对应的w3
最后,基于PPG信号和优化后的深度序列神经网络,得到第一心率数据;同时基于该PPG信号和频率追踪算法模型,得到第二心率数据;同时基于该PPG信号和时域间期计算法模型,得到第三心率数据。基于第一心率数据、第二心率数据和第三心率数据进行数据加权融合,得到用户在第一运动时的目标心率值。
下面分别对深度算法、FT算法和时域间期计算法的融合方式进行详细说明。
方式一:特征融合
图14示出了本申请第二实施例提供的特征融合的示意性结构框图。如图14所示,多维特征数据包括PPG和ACC时域信号统计特征(如均值方差等)、PPG和ACC频域信号、FT算法供给特征(例如PPG主频和ACC主频等中间结果数据),以及PP间隔时长、峰值点个数等特征数据。将该多维特征数据输入深度序列神经网络,以例如心电图等测试所得的心率值为目标心率值,进行模型训练,通过参数优化并调整,训练得到优化后的深度序列神经网络。
与上述第一实施例不同之处在于,第二实施例中采用三种算法的特征数据进行融合,心率检测的准确性更高。
方式二:决策融合
图15示出了本申请第一实施例提供的决策融合的示意性结构框图。如图15所示,在本申请实施例中,假设深度算法当前心率输出为x1,FT算法当前心率输出为x2,时域间期计算法当前心率输出为x3,那么可以针对深度算法和FT算法进行决策融合,即基于深度算法和FT算法分别得到的大量不同运动场景的样本数据库,利用贝叶斯算法对参数进行学习,从而通过训练得到不同场景下深度算法的权重值、FT算法的权重值,以及时域间期计算法对应的权重因数值。
在本申请实施例中,通过下述等式(3)和等式(4)进行训练:
Y=w1x1+w2x2+w3x3; (3)
w1+w2+w3=1。 (4)
其中,Y为训练输出的心率值,w1为深度算法对应的权重因数,w2为FT算法对应的权重因数,w3为时域间期计算法对应的权重因数。
在本申请实施例中,可以基于大量不同运动场景的样本数据库,利用贝叶斯算法对参数进行学习,从而训练得到不同场景下的算法权重w1、w2和w3。对于第二实施例中决策融合的描述,可参见上述第一实施例中对决策融合的相关描述,此处不再赘述。
在本申请实施例中,在不同场景下深度算法、FT算法和时域间期计算法分别采用与场景对应的权重因数进行决策融合,这样可以更好地抑制不同运动场景中存在的运动伪影噪声,从而可以提升心率检测准确性。
方式三:基于场景选择的融合
图16示出了本申请第二实施例提供的基于场景选择的融合的示意性结构框图。如图16所示,该基于场景选择的融合过程可以包括下述的步骤S401-S409。
S401,智能穿戴设备检测到用户开始运动。
S402,智能穿戴设备判断当前场景是否属于FT强势场景。
可选地,FT强势场景可以为步行、骑行等状态。可以理解,这里为示例性地列举,具体可以根据实际使用需求确定,本申请实施例不作限定。
若当前场景属于FT强势场景,则继续执行S403。若当前场景不属于FT强势场景,则继续执行S405。
S403,智能穿戴设备判断FT置信度是否大于可信阈值T1。
在本申请实施例中,若FT置信度大于可信阈值T1,则说明当前场景下FT算法对应的信号质量较优,可以加大FT算法的权重,以提升融合算法在检测心率时的精确性。
在第二实施例中,对于FT置信度的描述,具体可以参见上述第一实施例中对FT置信度的详细描述,此处不再赘述。
若FT置信度大于可信阈值T1,则继续执行S404。若FT置信度小于或等于可信阈值T,则继续执行S405。
S404,智能穿戴设备增大FT算法对应的权重因数w2
示例性地,可以通过FT算法对应的权重因数w2乘以一个放大系数a,对FT算法对应的权重因数w2进行放大,即加大FT算法的权重。为了便于区别,FT算法对应的增大后的权重因数w2记为w2’。
可选地,上述放大系数a可以为1.1,或者为1.3,或者为1.5,还可以为其他任意满足实际使用需求的数值,具体可以根据实际使用需求确定,本申请实施例不作限定。
示例性地,在步行场景中,假设深度算法对应的权重因数w1为0.4,FT算法对应的权重因数w2为0.5,时域间期计算法对应的权重因数w3为0.1,在判断FT置信度大于可信阈值T之后,可以将FT算法对应的权重因数w2乘以放大系数1.3,即加大FT算法的权重,得到对应的权重因数w2’为0.65。
S405,智能穿戴设备判断当前场景是否属于时域间期计算法的强势场景。
示例性地,时域间期计算法的强势场景可以为静息或者睡眠状态等。
若当前场景属于时域间期计算法的强势场景,则继续执行S406。若当前场景不属于时域间期计算法的强势场景,则继续执行S408。
S406,智能穿戴设备判断PPG时域信号的自相关系数是否大于阈值T2。
其中,自相关系数计算可以用于评估当前PPG时域信号周期性的优劣。
需要说明的是,自相关系数度量的是同一事件在两个不同时期之间的相关程度,也就是度量某一对象过去的行为对该对象现在的影响。自相关系数越大,相关性越明显。
示例性地,对于长度一样的两条不同序列,可以使用协方差来刻画它们的相关性。协方差的值越大,说明这两个序列的相关性越强。
其中,阈值T2可以是根据大量实验数据确定得到的自相关系数。
在本申请实施例中,若时域信号的自相关系数大于阈值T2,则说明当前场景下域间期计算法对应的信号质量较优,可以加大域间期计算法的权重,以提升融合算法在检测心率时的精确性。
若时域信号的自相关系数大于阈值T2,则继续执行S407。若时域信号的自相关系数小于或等于阈值T2,则继续执行S408。
S407,智能穿戴设备增大时域间期计算法对应的权重因数w3
也就是说,在当前场景属于时域间期计算法的强势场景,且时域信号的自相关系数大于阈值T2的情况下,可以增大时域间期计算法对应的权重因数w3
示例性地,可以通过时域间期计算法对应的权重因数w3乘以一个放大系数b,对时域间期计算法对应的权重因数w3进行放大,即加大时域间期计算法的权重。为了便于区别,时域间期计算法对应的增大后的权重因数w3记为w3’。
可选地,上述放大系数b可以为1.1,或者为1.3,或者为1.5,还可以为其他任意满足实际使用需求的数值,具体可以根据实际使用需求确定,本申请实施例不作限定。
可选地,放大系数a和放大系数b可以相同,也可以不同。具体可以根据实际使用需求确定,本申请实施例不作限定。示例性地,放大系数a可以取1.3,放大系数b可以取1.1。
示例性地,在睡眠场景中,假设深度算法对应的权重因数w1为0.2,FT算法对应的权重因数w2为0.7,时域间期计算法对应的权重因数w3为0.1,在判断时域信号的自相关系数大于阈值T2之后,可以将时域间期计算法对应的权重因数w3乘以放大系数1.1,即加大FT算法的权重,得到对应的权重因数w3’为0.11。
S408,智能穿戴设备将针对深度算法、FT算法和时域间期计算法进行决策融合。
需要说明的是,在S405(否)或者S406(否)之后,上述S408按照Y=w1x1+w2x2+w3x3进行决策融合,计算得到用户在进行当前运动时的心率值。
在S404之后,上述S408可以按照Y=w1x1+w2x2’+w3x3进行决策融合,计算得到用户在进行当前运动时的心率值。
在S407之后,上述S408可以按照Y=w1x1+x2w2+x3w3’进行决策融合,计算得到用户在进行当前运动时的心率值。
S409,智能穿戴设备输出通过决策融合得到的当前心率值。
本申请方案结合考虑了用户行为或运动状态,本申请方案可以支持检测用户处于不同运动场景(例如各种运动状态,当然也包括静息状态)时的心率值。并且,可以检测出当前场景以及当前场景下的心率值。通过本申请方案,即便在存在运动噪声干扰的情况下也能够实现连续实时的高精度心率监测。
经过实验数据可知,本申请实施例通过将深度序列神经网络与频率追踪算法融合应用,利用特征融合和模型融合方式,将三个算法模型的优势进行非线性的深度融合,极大的提升了算法在各种场景下的自适应能力和检测能力。
图17示出了本申请实施例提供的将深度序列神经网络心率算法与频率追踪算法(FT算法)融合后的收益示意图。如图17所示,在加入FT的中间特征数据后,深度模型的准确度提升了1%,融合后深度模型的准确度继续提升了1%,并且神经网络的收敛速度也有相应提升(例如30%)。
图18示出了本申请提供的融合方案在应用于跑步场景时的效果示意图。如图18所示,实线为定标产品(例如心电图检测)的心率曲线,该心率曲线可以作为标准曲线;虚线为本申请方案检测的心率曲线。可以看出,本申请方案检测的心率曲线基本上贴合标准曲线,即通过本申请方案可以大大提升智能穿戴设备的心率检测准确度。
本申请实施例提供的技术方案在应用于步行场景时的心率测评报告中,通过比对定标产品1(例如心电图检测)的标准心率曲线和本申请产品2检测的心率曲线可知,本申请产品2检测的心率曲线基本上贴合标准心率曲线,即通过本申请产品2可以大大提升智能穿戴设备在步行场景中的心率检测准确度。
本申请实施例提供的方案在应用于跑步场景时的心率测评报告中,通过比对定标产品1(例如心电图检测)的标准心率曲线和本申请产品2检测的心率曲线可知,本申请产品2检测的心率曲线基本上贴合标准心率曲线,即通过本申请产品2可以大大提升智能穿戴设备在跑步场景中的心率检测准确度。
示例性地,定标产品1可以为心率胸带,当然还可以为其他任意可能的心率检测装置。其中,心率胸带是可穿戴式的心电测量装置,由于测量部位的运动幅度小、测量面积大和心电信号与心脏脉搏关联大等优势,心率带在测量心率时非常准确,可以作为定标或标准产品,但缺点为佩戴不方便。本申请产品2可以为智能手表或者智能手环等智能穿戴设备,这一类设备是基于光电式脉搏信号的测量装置,佩戴方便,可以与智能手机等设备结合密切。
图19示出了本申请方案应用于智能穿戴设备时的用户界面示意图。如图19中(a)所示,当用户佩戴智能穿戴设备后,可以不同运动场景中随时触发智能穿戴设备检测心率,其中可以由系统自动触发心率检测,也可以由用户触发心率检测。如图19中(b)所示,智能穿戴设备显示心率检测结果:跑步场景,用户的心率值为117bpm。如图19中(c)所示,智能穿戴设备显示心率检测结果:步行场景,用户的心率值为76bpm。
图20示出了本申请实施例提供的技术方案所涉及的软件架构示意图。如图20所示,本申请方案所涉及的软件架构可以包括用户界面(user interface,UI)应用层、系统服务层(即框架层)、算法库、硬件抽象层(hardware abstraction layer,HAL)、内核层和硬件层。其中,UI应用层可以包括心率检测应用和运动记录应用等。系统服务层可以包括计步服务、心率服务、卡路里计算服务和心脏健康服务等。算法库中可以包括心率算法、调光算法、睡眠算法和佩戴算法等。HAL层可以包括PPG驱动接口、显示接口和触控接口等。内核层中可以包括PPG驱动、显示驱动和触控驱动等。硬件层中可以包括PPG传感器、液晶显示屏(liquid crystal display,LCD)和马达等。
其中,本申请方案中涉及到心率检测应用、心率服务、心率算法、PPG驱动接口、PPG驱动和PPG传感器,这些用于检测心率。当然,本申请方案中还涉及到显示驱动接口、显示驱动以及LCD,这些可以用于显示心率数据。
可以理解,图20所示软件架构为示例性地说明,具体可以根据实际使用需求确定,本申请实施例不作限定。
本申请实施例提供的心率预测算法采用频率跟踪算法和深度学习算法决策融合,通过多模型融合,利用注意力Attention机制搭建动态神经网络进行端到端的场景识别和心率预测,可提升心率预测的准确性。由上所述,本申请实施例提供的技术方案提供了多算法决策融合的新思路,提出传统频率跟踪算法和深度学习算法的三种决策融合方法,提升心率精确度。
也需要说明的是,在本申请实施例中,“大于”可以替换为“大于或等于”,“小于或等于”可以替换为“小于”,或者,“大于或等于”可以替换为“大于”,“小于”可以替换为“小于或等于”。
本文中描述的各个实施例可以为独立的方案,也可以根据内在逻辑进行组合,这些方案都落入本申请的保护范围中。
可以理解的是,上述各个方法实施例中由智能穿戴设备实现的方法和操作,也可以由可用于智能穿戴设备的部件(例如芯片或者电路)实现。
上文描述了本申请提供的方法实施例,下文将描述本申请提供的装置实施例。应理解,装置实施例的描述与方法实施例的描述相互对应,因此,未详细描述的内容可以参见上文方法实施例,为了简洁,这里不再赘述。
上文主要从方法步骤的角度对本申请实施例提供的方案进行了描述。可以理解的是,为了实现上述功能,实施该方法的智能穿戴设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的保护范围。
本申请实施例可以根据上述方法示例,对智能穿戴设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有其它可行的划分方式。下面以采用对应各个功能划分各个功能模块为例进行说明。
图21为本申请实施例提供的基于深度学习的心率检测装置800的示意性框图。该装置800可以用于执行上文方法实施例中智能穿戴设备所执行的动作。该装置800包括检测单元810、信号采集单元820和处理单元830。
检测单元810,用于检测到佩戴智能穿戴设备的用户进行第一运动,该佩戴智能穿戴设备中设置有光电容积脉搏波PPG传感器;
信号采集单元820,用于通过PPG传感器采集PPG信号;
处理单元830,用于基于PPG信号和第一深度序列神经网络模型,得到第一心率数据;以及基于PPG信号和第一频率追踪算法模型,得到第二心率数据;
处理单元830,还用于基于第一心率数据和第二心率数据进行数据融合,得到用户在第一运动时的目标心率值。
通过本申请方案,当检测到佩戴智能穿戴设备的用户进行第一运动时,可以通过智能穿戴设备中的PPG传感器采集PPG信号;将PPG信号输入第一深度序列神经网络模型,得到第一心率数据;将PPG信号输入第一频率追踪算法模型,得到第二心率数据;将第一心率数据与第二心率数据进行数据融合,得到用户在第一运动场景下的目标心率值。由于频率跟踪算法能快速跟踪心率变化,可以对深度序列神经网络在心率突变情况下无法及时追踪的场景进行补偿,因此本申请方案通过不同模型得到的心率数据进行融合可以提升心率预测的准确性。
在一些可能的实现方式中,上述处理单元830,具体用于:
采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:
Y=w1x1+w2x2
其中,x1表示所述第一心率数据,w1表示所述第一心率数据对应的权重值,x2表示所述第二心率数据,w2表示所述第二心率数据对应的权重值。
在一些可能的实现方式中,上述处理单元830,还用于:
获取所述第一深度序列神经网络和所述第一频率追踪算法模型各自在不同运动场景下的第一样本数据;
基于下述等式,采用贝叶斯算法对所述第一样本数据进行深度学习:
Y=w1x1+w2x2
训练得到不同场景下w1和w2的取值。
在一些可能的实现方式中,w1+w2=1。
在一些可能的实现方式中,上述处理单元830,还用于:
判断所述第一运动是否为第一类运动,所述第一类运动为根据所述频率追踪算法模型的特性预先设定的一类运动;
当所述第一运动为所述第一类运动时,判断所述PPG信号对应的置信度是否大于可信阈值;
当所述PPG信号对应的置信度大于所述可信阈值时,将所述第二心率数据对应的权重值w2增大为w2’。
在一些可能的实现方式中,上述处理单元830,具体用于:
当所述第一运动是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2’x2;或者,
当所述第一运动不是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2x2
在一些可能的实现方式中,上述第一类运动为步行或者骑行。
在一些可能的实现方式中,上述处理单元830,还用于:
基于所述第一频率追踪算法模型提供的数据特征对深度序列神经网络模型进行训练,得到所述第一深度序列神经网络模型;
其中,所述数据特征包括PPG主频数据和ACC主频数据。
根据本申请实施例的装置800可对应于执行本申请实施例中描述的方法,并且装置800中的单元的上述和其它操作和/或功能分别为了实现方法的相应流程,为了简洁,在此不再赘述。
应理解,本申请实施例中的装置800可对应于本申请实施例中图2的智能穿戴设备200。装置800中的各个单元的上述和其它操作和/或功能分别用于实现上述方法的相应流程,为了简洁,在此不再赘述。
可选地,在一些实施例中,本申请实施例还提供了一种计算机可读介质,该计算机可读介质存储有程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各方面中的方法。
可选地,在一些实施例中,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行上述各方面中的方法。
在本申请实施例中,智能穿戴设备包括硬件层、运行在硬件层之上的操作系统层,以及运行在操作系统层上的应用层。其中,硬件层可以包括中央处理器(centralprocessing unit,CPU)、内存管理单元(memory management unit,MMU)和内存(也称为主存)等硬件。操作系统层的操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。应用层可以包含浏览器、通讯录、文字处理软件、即时通信软件等应用。
本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构进行特别限定,只要能够通过运行记录有本申请实施例提供的方法的代码的程序,以根据本申请实施例提供的方法进行通信即可。例如,本申请实施例提供的方法的执行主体可以是智能穿戴设备,或者,是智能穿戴设备中能够调用程序并执行程序的功能模块。
本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本文中使用的术语“制品”可以涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如,计算机可读介质可以包括但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,压缩盘(compact disc,CD)、数字通用盘(digital versatile disc,DVD)等),智能卡和闪存器件(例如,可擦写可编程只读存储器(erasable programmableread-only memory,EPROM)、卡、棒或钥匙驱动器等)。
本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于:无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
应理解,本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM)。例如,RAM可以用作外部高速缓存。作为示例而非限定,RAM可以包括如下多种形式:静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)可以集成在处理器中。
还需要说明的是,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的保护范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。此外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上,或者说对现有技术做出贡献的部分,或者该技术方案的部分,可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,该计算机软件产品包括若干指令,该指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。前述的存储介质可以包括但不限于:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种心率检测方法,其特征在于,包括:
确定佩戴智能穿戴设备的用户进行第一运动,所述佩戴智能穿戴设备中设置有光电容积脉搏波PPG传感器,其中,所述PPG传感器用于采集PPG信号;
基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据;
基于所述PPG信号和第一频率追踪算法模型,得到第二心率数据;
基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:
Y=w1x1+w2x2
其中,x1表示所述第一心率数据,w1表示所述第一心率数据对应的权重值,x2表示所述第二心率数据,w2表示所述第二心率数据对应的权重值。
3.根据权利要求2所述的方法,其特征在于,在所述将所述第一心率数据与所述第二心率数据进行加权求和之前,所述方法还包括:
获取所述第一深度序列神经网络和所述第一频率追踪算法模型各自在不同运动场景下的第一样本数据;
基于下述等式,采用贝叶斯算法对所述第一样本数据进行深度学习:
Y=w1x1+w2x2
训练得到不同场景下w1和w2的取值。
4.根据权利要求2或3所述的方法,其特征在于,w1+w2=1。
5.根据权利要求2至4中任一项所述的方法,其特征在于,在所述基于所述第一心率数据和所述第二心率数据进行数据融合之前,所述方法还包括:
判断所述第一运动是否为第一类运动,所述第一类运动为根据所述频率追踪算法模型的特性预先设定的一类运动;
当所述第一运动为所述第一类运动时,判断所述PPG信号对应的置信度是否大于可信阈值;
当所述PPG信号对应的置信度大于所述可信阈值时,将所述第二心率数据对应的权重值w2增大为w2’。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一心率数据和所述第二心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
当所述第一运动是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2’x2;或者,
当所述第一运动不是所述第一类运动时,采用下述等式,将所述第一心率数据与所述第二心率数据进行加权求和,得到所述目标心率值:Y=w1x1+w2x2
7.根据权利要求5或6所述的方法,其特征在于,所述第一类运动为步行或者骑行。
8.根据权利要求1至7中任一项所述的方法,其特征在于,在所述基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据之前,所述方法还包括:
基于所述第一频率追踪算法模型提供的数据特征对深度序列神经网络模型进行训练,得到所述第一深度序列神经网络模型;
其中,所述数据特征包括PPG主频数据和加速度ACC主频数据。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述方法还包括:
基于所述PPG信号和时域间期算法模型,得到第三心率数据;
基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值。
10.根据权利要求9所述的方法,其特征在于,所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
采用下述等式,将所述第一心率数据、所述第二心率数据和所述第三心率数据进行加权求和,得到所述目标心率值:
Y=w1x1+w2x2+w3x3
其中,x3表示所述第三心率数据,w3表示所述第三心率数据对应的权重值。
11.根据权利要求10所述的方法,其特征在于,在所述将所述第一心率数据、所述第二心率数据和所述第三心率数据进行加权求和之前,所述方法还包括:
获取所述第一深度序列神经网络、所述第一频率追踪算法模型和所述时域间期算法模型各自在不同运动场景下的第二样本数据;
基于下述等式,采用贝叶斯算法对所述第二样本数据进行深度学习:
Y=w1x1+w2x2+w3x3
训练得到不同场景下w1、w2和w3的取值。
12.根据权利要求10或11所述的方法,其特征在于,w1+w2+w3=1。
13.根据权利要求9至12中任一项所述的方法,其特征在于,在所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合之前,所述方法还包括:
判断所述第一运动是否为第二类运动,所述第二类运动为根据所述时域间期算法模型的特性预先设定的一类运动;
当所述第一运动为所述第二类运动时,判断所述PPG时域信号的自相关系数是否大于系数阈值;
当所述PPG时域信号的自相关系数大于所述系数阈值时,将所述第三心率数据对应的权重值w3增大为w3’。
14.根据权利要求13所述的方法,其特征在于,所述基于所述第一心率数据、所述第二心率数据和所述第三心率数据进行数据融合,得到用户在所述第一运动时的目标心率值,包括:
当所述第一运动是所述第二类运动时,采用下述等式进行加权求和,得到所述目标心率值:Y=w1x1+w2x2+w3’x3;或者,
当所述第一运动不是所述第二类运动时,采用下述等式进行加权求和,得到所述目标心率值:Y=w1x1+w2x2+w3x3
15.根据权利要求13或14所述的方法,其特征在于,所述第二类运动为静息或者睡眠。
16.根据权利要求9至15中任一项所述的方法,其特征在于,在所述基于所述PPG信号和第一深度序列神经网络模型,得到第一心率数据之前,所述方法还包括:
基于所述第一频率追踪算法模型提供的第一数据特征和所述时域间期算法模型提供的第二数据特征,对深度序列神经网络模型进行训练,得到所述第一深度序列神经网络模型;
其中,所述第一数据特征包括PPG主频数据和ACC主频数据,所述第二数据特征包括间隔时长和峰值点个数。
17.根据权利要求1至16中任一项所述的方法,其特征在于,在所述得到用户在所述第一运动时的目标心率值之后,所述方法还包括:
在所述智能穿戴设备的屏幕上显示所述目标心率值和所述第一运动的信息。
18.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取多场景样本集,所述多场景样本集为基于多种运动场景检测得到的数据样本集合;
从所述多场景样本集中提取加速度ACC样本数据、光电容积脉搏波PPG样本数据和心率标签;
以所述ACC样本数据和所述PPG样本数据为输入,所述心率标签和运动场景标签为目标变量,通过深度序列神经网络进行训练;
获得所述第一深度序列神经网络,所述第一深度序列神经网络具有场景识别及心率预测功能。
19.一种电子设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述处理器用于执行所述存储器中存储的计算机程序或指令,以使得所述电子设备实现如权利要求1至18中任一项所述的方法。
20.一种芯片系统,其特征在于,所述芯片系统与存储器耦合,所述芯片系统用于读取并执行所述存储器中存储的计算机程序,以实现如权利要求1至18中任一项所述的方法。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至18中任一项所述的方法。
22.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至18中任一项所述的方法。
CN202111644631.3A 2021-11-01 2021-12-29 心率检测方法及电子设备 Pending CN116058814A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2022/115913 WO2023071501A1 (zh) 2021-11-01 2022-08-30 心率检测方法及电子设备
EP22839971.3A EP4197436A4 (en) 2021-11-01 2022-08-30 HEART RATE DETECTION METHOD AND ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021112841262 2021-11-01
CN202111284126 2021-11-01

Publications (1)

Publication Number Publication Date
CN116058814A true CN116058814A (zh) 2023-05-05

Family

ID=86180864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111644631.3A Pending CN116058814A (zh) 2021-11-01 2021-12-29 心率检测方法及电子设备

Country Status (1)

Country Link
CN (1) CN116058814A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919373A (zh) * 2023-09-15 2023-10-24 中国地质大学(武汉) 一种基于双通道ppg的非麻醉动物心率监测系统及方法
CN117084644A (zh) * 2023-10-10 2023-11-21 荣耀终端有限公司 一种检测用户生理特征指标的方法、装置及可穿戴设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116919373A (zh) * 2023-09-15 2023-10-24 中国地质大学(武汉) 一种基于双通道ppg的非麻醉动物心率监测系统及方法
CN116919373B (zh) * 2023-09-15 2023-12-19 中国地质大学(武汉) 一种基于双通道ppg的非麻醉动物心率监测系统及方法
CN117084644A (zh) * 2023-10-10 2023-11-21 荣耀终端有限公司 一种检测用户生理特征指标的方法、装置及可穿戴设备
CN117084644B (zh) * 2023-10-10 2024-03-29 荣耀终端有限公司 一种检测用户生理特征指标的方法、装置及可穿戴设备

Similar Documents

Publication Publication Date Title
US11889994B2 (en) Menstrual cycle tracking
CN109843163B (zh) 用于标记睡眠状态的方法和系统
EP3383256B1 (en) Systems and methods for detecting photoplethysmographic device usage
CN107580471B (zh) 可穿戴脉搏感测设备信号质量估计
WO2017040331A1 (en) Determining sleep stages and sleep events using sensor data
US10251571B1 (en) Method for improving accuracy of pulse rate estimation
CN116058814A (zh) 心率检测方法及电子设备
CN104203088A (zh) 利用惯性频率减少生理指标误差
US9826940B1 (en) Optical tracking of heart rate using PLL optimization
CN109480800A (zh) 用于估计生物信息的设备和方法及血压监视装置
EP4282327A1 (en) Deep learning-based heart rate measurement method and wearable device
CN106913326A (zh) 生物生理状况反馈系统及其操作方法
JP2016202347A (ja) 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
US11617545B2 (en) Methods and systems for adaptable presentation of sensor data
Dai et al. Respwatch: Robust measurement of respiratory rate on smartwatches with photoplethysmography
Prabha et al. Intelligent estimation of blood glucose level using wristband PPG signal and physiological parameters
Kumar et al. STSR: spectro-temporal super-resolution analysis of a reference signal less photoplethysmogram for heart rate estimation during physical activity
WO2023071501A1 (zh) 心率检测方法及电子设备
WO2020160058A1 (en) Systems and methods for computationally efficient non-invasive blood quality measurement
Zhang et al. Towards early detection and burden estimation of atrial fibrillation in an ambulatory free-living environment
JP5488135B2 (ja) 生体情報処理装置
GB2600126A (en) Improvements in or relating to wearable sensor apparatus
García-López et al. Artifacts classification and apnea events detection in neck photoplethysmography signals
US20220167931A1 (en) Wearable detection & treating device
EP4157077A1 (en) Systems and methods for hypertension monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination