CN115120217A - 一种运动伪影去除方法、装置、存储介质及电子设备 - Google Patents

一种运动伪影去除方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115120217A
CN115120217A CN202211022189.5A CN202211022189A CN115120217A CN 115120217 A CN115120217 A CN 115120217A CN 202211022189 A CN202211022189 A CN 202211022189A CN 115120217 A CN115120217 A CN 115120217A
Authority
CN
China
Prior art keywords
heart rate
rate information
motion
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211022189.5A
Other languages
English (en)
Other versions
CN115120217B (zh
Inventor
高硕�
陈君亮
赵子贺
刘勇
王嘉琪
张弛
许文隽
康梦田
王宁利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Tongren Hospital
Original Assignee
Beihang University
Beijing Tongren Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Tongren Hospital filed Critical Beihang University
Priority to CN202211022189.5A priority Critical patent/CN115120217B/zh
Publication of CN115120217A publication Critical patent/CN115120217A/zh
Application granted granted Critical
Publication of CN115120217B publication Critical patent/CN115120217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及心率检测技术领域，公开了一种运动伪影去除方法，应用于配置有PPG传感器的可穿戴设备，所述方法包括：获取PPG传感器检测的目标用户的心率信息和运动姿态数据；通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。通过采用无规则运动下的数据对生成对抗网络模型进行训练，可以有效去除不规则运动状况下的运动伪影，在完成前期的深度学习模型的训练后，只需要PPG传感器与惯性检测单元便可对PPG传感器测的心率信息进行运动伪影的滤除。可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。

Description

一种运动伪影去除方法、装置、存储介质及电子设备
技术领域
本申请涉及心率、血氧检测技术领域，特别地涉及一种运动伪影去除方法、装置、存储介质、电子设备以及可穿戴设备。
背景技术
定时检测心率可帮助用户掌握自己的心脏健康情况，并且能够对于识别异常心脏事件、判断锻炼强度等有着重要意义。
光容积技术（Photoplethysmogram，简称PPG技术）是实现长期心率检测的典型方案，其通过LED光源向血管射入处于特定波长区间的光线，并通过光子探测器（PhotonDetector，简称PD）记录经过血管血液反射后的光线强度。由于每次心跳都会从心脏中泵出血液并输送至全身，造成血管内血液浓度的周期性变化，进而导致为血液反射的光强度发生周期性变化。基于上述原理，即可获取心率、血氧等信息。
除了血液会反射光外，由于人体的表层皮肤也会反射光，这就导致了用户运动时PPG检测设备（以腕带式手环或手表为例）与皮肤间发生的相对位移，造成表层皮肤反射光成分发生较大的变化并恶化了PPG信息，进而造成了数据干扰，该现象被称为运动伪影。若不能很好地去除这种运动伪影的干扰，将会导致心率、血氧的检测数据发生较大偏差。
现有技术中常用的方法是，在采集PPG信息时通过利用多组LED与PD相结合病进行冗余检测的方式，选择其中一个受噪声干扰最小的通道，或是利用若干个通道组合以获取组合后的PPG数据。这些方案会使得PPG检测设备的功耗显著上升，而且当用户进行无规律运动时会引起算法性能的急剧下降，无法彻底解决运动伪影的问题。
发明内容
针对上述问题，本申请提出一种运动伪影去除方法、装置、存储介质、电子设备以及可穿戴设备，至少解决了现有可穿戴设备无法有效去除运动伪影的问题。
本申请的第一个方面，提供了一种运动伪影去除方法，所述方法包括：
获取PPG传感器检测的目标用户的心率信息和运动姿态数据；
通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
在一些实施例中，所述深度学习模型，包括：
生成对抗网络模型。
在一些实施例中，所述深度学习模型的训练步骤，包括：
获取多个用户的原始心率信息，所述原始心率信息包括通过PPG传感器检测的心率信息；
在获取多个用户的原始心率信息的同时，分别确定各用户手腕部位的运动姿态数据；
分别获取各用户的去除运动伪影后的基准心率信息；
分别根据各用户的所述原始心率信息、所述运动姿态数据以及所述基准心率信息对所述深度学习模型进行训练，得到所述训练好的深度学习模型。
在一些实施例中，所述分别确定各用户手腕部位的运动姿态数据，包括：
获取用户的三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据；
根据所述三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据，通过预设算法确定所述用户手腕部位的运动姿态数据，其中所述运动姿态数据以四元数的形式表示。
在一些实施例中，所述分别获取各用户的去除运动伪影后的基准心率信息，包括：
获取用户在静止状态下的第一心率信息，所述第一心率信息包括通过PPG传感器检测的心率信息；
获取所述用户在运动状态下的第二心率信息，所述第二心率信息包括通过心率带检测的心率信息；
根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息。
在一些实施例中，所述根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息，包括：
根据所述第二心率信息的频率对所述第一心率信息的频率进行调整，得到频率调整后的第一心率信息；
将所述频率调整后的第一心率信息确定为所述用户的基准心率信息。
在一些实施例中，所述获取多个用户的原始心率信息包括：
获取多个用户在运动状态和/或静止状态下的原始心率信息，其中，每个用户包括一条或多条在运动状态和/或静止状态下的原始心率信息。
本申请的第二个方面，提供了一种运动伪影去除装置，所述装置包括：
获取模块，用于获取目标用户的心率信息和运动姿态数据；
去除模块，用于通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
本申请的第三个方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，可被一个或多个处理器执行，用以实现如上所述的方法。
本申请的第四个方面，提供了一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，该计算机程序被所述一个或多个处理器执行时，实现如上所述的方法。
本申请的第五个方面，提供了一种可穿戴设备，包括：
如上所述的电子设备；
PPG传感器，用于检测的目标用户的心率信息和运动姿态数据。
与现有技术相比，本申请的技术方案具有以下优点或有益效果：
通过采用无规则运动下的数据对生成对抗网络模型进行训练，可以有效去除不规则运动状况下的运动伪影，在完成深度学习模型的训练后，只需要PPG传感器与惯性检测单元（Inertial Measurement Unit简称IMU，主要包括：加速度计、陀螺仪和磁强度计）便可对PPG传感器测的心率信息进行运动伪影的滤除。由于现有的可穿戴设备多带有IMU模块并支持运动检测功能，因此可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于所属领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种运动伪影去除方法的流程图；
图2为本申请实施例提供的一种运动伪影去除装置的结构示意图；
图3为本申请实施例提供的一种GAN网络的结构示意图；
图4为本申请实施例提供的一种GAN网络应用过程示意图；
图5为本申请实施例提供的一种电子设备的连接框图。
具体实施方式
以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突的前提下可以相互结合，所形成的技术方案均在本申请的保护范围之内。
实施例一
本实施例提供一种运动伪影去除方法，图1为本申请实施例提供的一种运动伪影去除方法的流程图，如图1所示，本实施例的方法包括：
S110、获取PPG传感器检测的目标用户的心率信息和运动姿态数据。
可选的，获取用户的心率信息和运动姿态数据，其中所述心率信息和运动姿态数据可通过具备PPG传感器的可穿戴设备获取，比如智能手表、运动手环等。
S120、通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
在一些实施例中，所述深度学习模型，包括：
生成对抗网络模型。
可选的，生成对抗网络模型（Generative Adversarial Networks简称GAN）属于一种深度学习模型，在本实施例子通过GAN网络对PPG传感器检测的数据中的运动伪影进行去除，以获得不包含运动伪影的干净的PPG检测数据。
在一些实施例中，所述深度学习模型的训练步骤，包括：
获取多个用户的原始心率信息，所述原始心率信息包括通过PPG传感器检测的心率信息；
在获取多个用户的原始心率信息的同时，分别确定各用户手腕部位的运动姿态数据；
分别获取各用户的去除运动伪影后的基准心率信息；
分别根据各用户的所述原始心率信息、所述运动姿态数据以及所述基准心率信息对所述深度学习模型进行训练，得到所述训练好的深度学习模型。
在一些实施例中，所述获取多个用户的原始心率信息包括：
获取多个用户在运动状态和/或静止状态下的原始心率信息，其中，每个用户包括一条或多条在运动状态和/或静止状态下的原始心率信息。
可选的，用于深度学习模型的训练数据包括多个用户的数据，其中每个用户又可包括多条数据。
在一些实施例中，所述分别确定各用户手腕部位的运动姿态数据，包括：
获取用户的三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据；
根据所述三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据，通过预设算法确定所述用户手腕部位的运动姿态数据，其中所述运动姿态数据以四元数的形式表示。
可选的，在确定各用户手腕部位的运动姿态数据时，刻通过IMU设备获得的校准后的三轴加速度数据、三轴陀螺仪数据、三轴磁力计数据，并结合九轴姿态跟踪算法获取以四元数（四元数是一种不存在奇异点的姿态表示方案）描述的用户手腕部位处的运动姿态。
在一些实施例中，所述分别获取各用户的去除运动伪影后的基准心率信息，包括：
获取用户在静止状态下的第一心率信息，所述第一心率信息包括通过PPG传感器检测的心率信息；
获取所述用户在运动状态下的第二心率信息，所述第二心率信息包括通过心率带检测的心率信息；
根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息。
在一些实施例中，所述根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息，包括：
根据所述第二心率信息的频率对所述第一心率信息的频率进行调整，得到频率调整后的第一心率信息；
将所述频率调整后的第一心率信息确定为所述用户的基准心率信息。
可选的，以用户在静止状态下的PPG信息为基础（假定是60bpm，一分钟心率为60次），按心率带实际测得的用户在运动状态下的心率信息来调整静止状态下的PPG信息的频率，得到频率调整后的PPG信息，并将此调整后的PPG信息作为基准心率信息。
在对深度学习模型进行训练时，分别根据各用户的所述原始心率信息、所述运动姿态数据以及所述基准心率信息对所述深度学习模型进行训练，得到所述训练好的深度学习模型，所述深度学习模型表征了心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
可选的，图3为本申请实施例提供的一种GAN网络的结构示意图，如图3所示，其关键在于生成网络G与判别网络D。其中，生成网络G的作用为综合PPG信息Praw与用户运动姿态的变化数据qmotion，并利用网络产生一个去除运动伪影后的生成PPG信息PGEN，并送入判别网络D与用户的实时参考PPG信息Pref进行比较得到比较结果，用于更新(Update)生成网络G。最终使得生成的PPG信息PGEN与实时参考PPG信息Pref的差距无法被判别网络D所识别，不再更新生成网络G，即完成整个训练过程。
可选的，图4为本申请实施例提供的一种GAN网络应用过程示意图，如图4所示，在使用过程中，GAN网络中无需再加入判别网络D，只需要将PPG传感器检测到的原始PPG信息Praw与用户运动姿态的变化数据qmotion送入到训练好的生成网络Gtrain，便可自动去除原始PPG信息中的运动伪影干扰，并生成准确、干净的PPG信息PGEN。
在训练完成后，获取用户运动状态下通过PPG传感器检测的心率信息，然后通过训练好的深度学习模型去除所述心率信息中的运动伪影，便能得到去除运动伪影后的目标基准心率信息。鉴于现有的可穿戴设备多带有IMU模块并支持运动检测功能，因此可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。
综上本申请公开了一种基于惯性检测单元（内含加速度计、陀螺仪、磁力计）与生成对抗网络的PPG信息运动伪影滤除方法。相比于目前通过多组LED与PD相结合的运动伪影滤除方式，通过惯性检测单元获得设备的运动姿态与运动姿态的变化过程，并利用生成对抗网络获得所对应的PPG信息上运动伪影的表征，即可做到有针对性地滤除运动伪影，保证心率、血氧的检测精度。
本实施例提供的运动伪影去除方法，通过GAN网络建立了包括由运动姿态数据qmotion到PPG运动伪影的关系模型，并通过训练后的生成网络Gtrain根据运动姿态数据qmotion与PPG原始信息Praw，获得滤除运动伪影后的PPG信息PGEN。具体的：首先，通过训练数据对深度学习模型进行训练得到训练好的深度学习模型；当完成训练后获取PPG传感器检测的目标用户的心率信息和运动姿态数据；通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。通过采用无规则运动下的数据对生成对抗网络模型进行训练，可以有效去除不规则运动状况下的运动伪影，在完成深度学习模型的训练后，只需要PPG传感器与惯性检测单元便可对PPG传感器测的心率信息进行运动伪影的滤除。由于现有的可穿戴设备多带有IMU模块并支持运动检测功能，因此可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。
实施例二
本实施例提供一种运动伪影去除装置，本装置实施例可以用于执行本申请方法实施例，对于本装置实施例中未披露的细节，请参照本申请方法实施例。图2为本申请实施例提供的一种运动伪影去除装置的结构示意图，如图2所示，本实施例提供的装置200包括：
获取模块201，用于获取目标用户的心率信息和运动姿态数据；
去除模块202，用于通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
在一些实施例中，所述深度学习模型，包括：
生成对抗网络模型。
在一些实施例中，去除模块202包括训练单元用于对所述深度学习模型进行训练；其中，训练单元包括：第一获取子单元，确定单元，第二获取单元，训练子单元；
第一获取子单元，用于获取多个用户的原始心率信息，所述原始心率信息包括通过PPG传感器检测的心率信息；
确定单元，用于在获取多个用户的原始心率信息的同时，分别确定各用户手腕部位的运动姿态数据；
第二获取单元，用于分别获取各用户的去除运动伪影后的基准心率信息；
训练子单元，用于分别根据各用户的所述原始心率信息、所述运动姿态数据以及所述基准心率信息对所述深度学习模型进行训练，得到所述训练好的深度学习模型。
在一些实施例中，确定单元包括：获取子单元，确定子单元；其中，
获取子单元，用于获取用户的三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据；
确定子单元，用于根据所述三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据，通过预设算法确定所述用户手腕部位的运动姿态数据，其中所述运动姿态数据以四元数的形式表示。
在一些实施例中，所述第二获取单元包括：第一获取子单元，第二获取子单元，确定子单元；其中，
第一获取子单元，用于获取用户在静止状态下的第一心率信息，所述第一心率信息包括通过PPG传感器检测的心率信息；
第二获取子单元，用于获取所述用户在运动状态下的第二心率信息，所述第二心率信息包括通过心率带检测的心率信息；
确定子单元，用于根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息。
在一些实施例中，所述确定子单元，包括：调整部分，确定部分；
调整部分，用于根据所述第二心率信息的频率对所述第一心率信息的频率进行调整，得到频率调整后的第一心率信息；
确定部分，用于将所述频率调整后的第一心率信息确定为所述用户的基准心率信息。
在一些实施例中，所述第一获取子单元用于获取多个用户在运动状态和/或静止状态下的原始心率信息，其中，每个用户包括一条或多条在运动状态和/或静止状态下的原始心率信息。
本领域技术人员可以理解，图2中示出的结构并不构成对本申请实施例装置的限定，可以包括比图示更多或更少的模块/单元，或者组合某些模块/单元，或者不同的模块/单元布置。
需要说明的是，上述各个模块/单元可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块/单元而言，上述各个模块/单元可以位于同一处理器中；或者上述各个模块/单元还可以按照任意组合的形式分别位于不同的处理器中。
本实施例提供的装置包括：获取模块201，用于获取目标用户的心率信息和运动姿态数据；去除模块202，用于通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。通过采用无规则运动下的数据对生成对抗网络模型进行训练，可以有效去除不规则运动状况下的运动伪影，在完成深度学习模型的训练后，只需要PPG传感器与惯性检测单元便可对PPG传感器测的心率信息进行运动伪影的滤除。由于现有的可穿戴设备多带有IMU模块并支持运动检测功能，因此可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。
实施例三
本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时可以实现如前述方法实施例中的方法步骤，本实施例在此不再重复赘述。
其中，计算机可读存储介质还可单独包括计算机程序、数据文件、数据结构等，或者包括其组合。计算机可读存储介质或计算机程序可被计算机软件领域的技术人员具体设计和理解，或计算机可读存储介质对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读存储介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，CDROM盘和DVD；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行计算机程序，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存；或服务器、app应用商城等。计算机程序的示例包括机器代码（例如，由编译器产生的代码）和包含高级代码的文件，可由计算机通过使用解释器来执行高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行程序代码或计算机程序。
实施例四
图5为本申请实施例提供的一种电子设备的连接框图，如图5所示，该电子设备500可以包括：一个或多个处理器501，存储器502，多媒体组件503，输入/输出（I/O）接口504，以及通信组件505。
其中，一个或多个处理器501用于执行如前述方法实施例中的全部或部分步骤。存储器502用于存储各种类型的数据，这些数据例如可以包括电子设备中的任何应用程序或方法的指令，以及应用程序相关的数据。
一个或多个处理器501可以是专用集成电路（Application Specific IntegratedCircuit，简称ASIC）、数字信号处理器（Digital Signal Processor，简称DSP）、数字信号处理设备（Digital Signal Processing Device，简称DSPD）、可编程逻辑器件（ProgrammableLogic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行如前述方法实施例中的方法。
存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。
多媒体组件503可以包括屏幕和音频组件，该屏幕可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或通过通信组件发送。音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口504为一个或多个处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。有线通信包括通过网口、串口等进行通信；无线通信包括：Wi-Fi、蓝牙、近场通信（Near FieldCommunication，简称NFC）、2G、3G、4G、5G，或它们中的一种或几种的组合。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
综上，本申请提供的一种运动伪影去除方法、装置、计算机可读存储介质、电子设备以及可穿戴设备，该方法包括：首先，通过训练数据对深度学习模型进行训练得到训练好的深度学习模型；当完成训练后获取PPG传感器检测的目标用户的心率信息和运动姿态数据；通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。通过采用无规则运动下的数据对生成对抗网络模型进行训练，可以有效去除不规则运动状况下的运动伪影，在完成深度学习模型的训练后，只需要PPG传感器与惯性检测单元便可对PPG传感器测的心率信息进行运动伪影的滤除。由于现有的可穿戴设备多带有IMU模块并支持运动检测功能，因此可以很方便地应用于现有的可穿戴设备上，具有良好的兼容性。
另外应该理解到，在本申请所提供的实施例中所揭露的方法或系统，也可以通过其它的方式实现。以上所描述的方法或系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、计算机程序段或计算机程序的一部分，模块、计算机程序段或计算机程序的一部分包含一个或多个用于实现规定的逻辑功能的计算机程序。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，实际上也可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、装置或者设备中还存在另外的相同要素；如果有描述到“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系；在本申请的描述中，除非另有说明，术语“多个”、“多”的含义是指至少两个；如果有描述到服务器，需要说明的是，服务器可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是能够提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器；在本申请中如果有描述到智能终端或移动设备，需要说明的是，智能终端或移动设备可以是手机、平板电脑、智能手表、上网本、可穿戴电子设备、个人数字助理（Personal Digital Assistant，PDA）、增强现实技术设备（Augmented Reality，AR）、虚拟现实设备（Virtual Reality，VR）、智能电视、智能音响、个人计算机（Personal Computer，PC）等，但并不局限于此，本申请对智能终端或移动设备的具体形式不做特殊限定。
最后需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式进行结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例都是示例性的，所述的内容只是为了便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属技术领域内的技术人员，在不脱离本申请所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种运动伪影去除方法，其特征在于，应用于配置有PPG传感器的可穿戴设备，所述方法包括：
获取PPG传感器检测的目标用户的心率信息和运动姿态数据；
通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
2.根据权利要求1所述的方法，其特征在于，所述深度学习模型，包括：
生成对抗网络模型。
3.根据权利要求1所述的方法，其特征在于，所述深度学习模型的训练步骤，包括：
获取多个用户的原始心率信息，所述原始心率信息包括通过PPG传感器检测的心率信息；
在获取多个用户的原始心率信息的同时，分别确定各用户手腕部位的运动姿态数据；
分别获取各用户的去除运动伪影后的基准心率信息；
分别根据各用户的所述原始心率信息、所述运动姿态数据以及所述基准心率信息对所述深度学习模型进行训练，得到所述训练好的深度学习模型。
4.根据权利要求3所述的方法，其特征在于，所述分别确定各用户手腕部位的运动姿态数据，包括：
获取用户的三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据；
根据所述三轴加速度数据、三轴陀螺仪数据以及三轴磁力计数据，通过预设算法确定所述用户手腕部位的运动姿态数据，其中所述运动姿态数据以四元数的形式表示。
5.根据权利要求3所述的方法，其特征在于，所述分别获取各用户的去除运动伪影后的基准心率信息，包括：
获取用户在静止状态下的第一心率信息，所述第一心率信息包括通过PPG传感器检测的心率信息；
获取所述用户在运动状态下的第二心率信息，所述第二心率信息包括通过心率带检测的心率信息；
根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一心率信息和所述第二心率信息确定所述用户的基准心率信息，包括：
根据所述第二心率信息的频率对所述第一心率信息的频率进行调整，得到频率调整后的第一心率信息；
将所述频率调整后的第一心率信息确定为所述用户的基准心率信息。
7.根据权利要求3所述的方法，其特征在于，所述获取多个用户的原始心率信息包括：
获取多个用户在运动状态和/或静止状态下的原始心率信息，其中，每个用户包括一条或多条在运动状态和/或静止状态下的原始心率信息。
8.一种运动伪影去除装置，其特征在于，包括：
获取模块，用于获取目标用户的心率信息和运动姿态数据；
去除模块，用于通过训练好的深度学习模型去除所述心率信息中的运动伪影，得到去除运动伪影后的目标基准心率信息，其中，所述深度学习模型表征心率信息、运动姿态数据与去除运动伪影后的基准心率信息之间的关系。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储的计算机程序，当被一个或多个处理器执行时，实现如权利要求1~7中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，当所述计算机程序被所述一个或多个处理器执行时，执行如权利要求1~7中任一项所述的方法。
11.一种可穿戴设备，其特征在于，包括：
权利要求10所述的电子设备；
PPG传感器，用于检测的目标用户的心率信息和运动姿态数据。
CN202211022189.5A 2022-08-25 2022-08-25 一种运动伪影去除方法、装置、存储介质及电子设备 Active CN115120217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211022189.5A CN115120217B (zh) 2022-08-25 2022-08-25 一种运动伪影去除方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211022189.5A CN115120217B (zh) 2022-08-25 2022-08-25 一种运动伪影去除方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN115120217A true CN115120217A (zh) 2022-09-30
CN115120217B CN115120217B (zh) 2022-11-25

Family

ID=83387105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211022189.5A Active CN115120217B (zh) 2022-08-25 2022-08-25 一种运动伪影去除方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115120217B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060084879A1 (en) * 2004-10-15 2006-04-20 Pulsetracer Technologies Inc. Motion cancellation of optical input signals for physiological pulse measurement
CN103781414A (zh) * 2011-09-16 2014-05-07 皇家飞利浦有限公司 用于估计运动期间的心率的设备和方法
CN106691425A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种运动手环的腕部心率监测方法
CN108618280A (zh) * 2017-03-17 2018-10-09 北京嘀嘀无限科技发展有限公司 辅助手环、危险行驶提醒方法、解锁控制方法
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
CN112370036A (zh) * 2020-10-20 2021-02-19 复旦大学 基于级联型rls自适应滤波的ppg心率提取装置和方法
CN112818773A (zh) * 2021-01-19 2021-05-18 青岛歌尔智能传感器有限公司 心率检测方法、设备及存储介质
CN113261932A (zh) * 2021-06-28 2021-08-17 山东大学 基于ppg信号和一维卷积神经网络的心率测量方法及装置
CN113303777A (zh) * 2021-05-27 2021-08-27 维沃移动通信有限公司 心率值确定方法、装置、电子设备及介质
CN113349752A (zh) * 2021-05-08 2021-09-07 电子科技大学 一种基于传感融合的可穿戴设备实时心率监测方法
US11191466B1 (en) * 2019-06-28 2021-12-07 Fitbit Inc. Determining mental health and cognitive state through physiological and other non-invasively obtained data
WO2021246285A1 (ja) * 2020-06-01 2021-12-09 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
US20220008019A1 (en) * 2020-07-08 2022-01-13 Owlet Baby Care Inc. Heart Rate Correction Using External Data
CN113925482A (zh) * 2021-10-26 2022-01-14 西安易朴通讯技术有限公司 心率计算方法、可穿戴电子设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060084879A1 (en) * 2004-10-15 2006-04-20 Pulsetracer Technologies Inc. Motion cancellation of optical input signals for physiological pulse measurement
CN103781414A (zh) * 2011-09-16 2014-05-07 皇家飞利浦有限公司 用于估计运动期间的心率的设备和方法
CN106691425A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种运动手环的腕部心率监测方法
CN108618280A (zh) * 2017-03-17 2018-10-09 北京嘀嘀无限科技发展有限公司 辅助手环、危险行驶提醒方法、解锁控制方法
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
US11191466B1 (en) * 2019-06-28 2021-12-07 Fitbit Inc. Determining mental health and cognitive state through physiological and other non-invasively obtained data
WO2021246285A1 (ja) * 2020-06-01 2021-12-09 株式会社Arblet 情報処理システム、サーバ、情報処理方法及びプログラム
US20220008019A1 (en) * 2020-07-08 2022-01-13 Owlet Baby Care Inc. Heart Rate Correction Using External Data
CN112370036A (zh) * 2020-10-20 2021-02-19 复旦大学 基于级联型rls自适应滤波的ppg心率提取装置和方法
CN112818773A (zh) * 2021-01-19 2021-05-18 青岛歌尔智能传感器有限公司 心率检测方法、设备及存储介质
CN113349752A (zh) * 2021-05-08 2021-09-07 电子科技大学 一种基于传感融合的可穿戴设备实时心率监测方法
CN113303777A (zh) * 2021-05-27 2021-08-27 维沃移动通信有限公司 心率值确定方法、装置、电子设备及介质
CN113261932A (zh) * 2021-06-28 2021-08-17 山东大学 基于ppg信号和一维卷积神经网络的心率测量方法及装置
CN113925482A (zh) * 2021-10-26 2022-01-14 西安易朴通讯技术有限公司 心率计算方法、可穿戴电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐菁: "基于三轴加速度信号的心率修正算法", 《计算机应用与软件》 *

Also Published As

Publication number Publication date
CN115120217B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
EP2652578B1 (en) Correlation of bio-signals with modes of operation of an apparatus
KR101573196B1 (ko) 모바일 디바이스에서의 우도 함수 값들의 결합을 사용하여 사용자 활동을 분류하기 위한 시스템들, 방법들 및 장치들
US10265022B2 (en) Determining biometrics utilizing a display-embedded distance-measuring sensor
US20180060732A1 (en) Personalized intelligent wake-up system and method based on multimodal deep neural network
CN107205640B (zh) 用于去除生理测量结果中的伪像的设备和方法
CN105675048B (zh) 平衡识别精确度与耗电量的无线系统和方法
KR102143499B1 (ko) 휴대 단말 장치를 이용한 수면 품질 측정 방법 및 장치
FR2950713A1 (fr) Systeme et procede de reconnaissance de gestes
KR102490847B1 (ko) 손목에 착용하는 다중 축 만보계
CN108135514B (zh) 心率校正
CN112067015B (zh) 基于卷积神经网络的计步方法、装置及可读存储介质
Fan et al. A new approach for smoking event detection using a variational autoencoder and neural decision forest
EP4098182A1 (en) Machine-learning based gesture recognition with framework for adding user-customized gestures
CN115120217B (zh) 一种运动伪影去除方法、装置、存储介质及电子设备
KR101755242B1 (ko) 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법
US20200178821A1 (en) Method and device for detecting cardiac arrhythmia based on photoplethysmographic signal
FR3037415A1 (fr) Procede de traitement des mesures d'au moins un capteur electronique loge dans un appareil portable
KR101639351B1 (ko) 웨어러블 입력 시스템 및 모션 인식 방법
CN110944085A (zh) 一种晃动智能手机产生音乐的方法
Kalupahana et al. SeRaNDiP: Leveraging Inherent Sensor Random Noise for Differential Privacy Preservation in Wearable Community Sensing Applications
CN111782858A (zh) 音乐匹配的方法和装置
US20220095957A1 (en) Estimating Caloric Expenditure Based on Center of Mass Motion and Heart Rate
Gjoreski A method for combining classical and deep machine learning for mobile health and behavior monitoring
CN109472281A (zh) 运动记录处理方法及系统、终端及可读存储介质
Deng et al. Balancing Sampling Frequencies for Multi-modality IoT Systems: Smart Shoe as an Example

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant