CN112914536B - 运动状态的检测方法、装置、计算机设备和存储介质 - Google Patents
运动状态的检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112914536B CN112914536B CN202110313587.1A CN202110313587A CN112914536B CN 112914536 B CN112914536 B CN 112914536B CN 202110313587 A CN202110313587 A CN 202110313587A CN 112914536 B CN112914536 B CN 112914536B
- Authority
- CN
- China
- Prior art keywords
- hrv
- user
- score
- preset
- reference score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008859 change Effects 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006641 stabilisation Effects 0.000 claims 1
- 238000011105 stabilization Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 6
- 238000003556 assay Methods 0.000 description 5
- 210000003403 autonomic nervous system Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001734 parasympathetic effect Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000000087 stabilizing effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 208000036119 Frailty Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 206010003549 asthenia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请涉及人工智能技术领域，提供了一种运动状态的检测方法、装置、计算机设备和存储介质，基于移动终端采集用户的生理信号；基于所述用户的生理信号，提取所述用户的多项HRV特征；将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。本申请通过回归方程量化HRV评分，从而可以量化出用户运动状态的变化。本申请还可应用于智慧城市领域中，以推动智慧城市的建设。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种运动状态的检测方法、装置、计算机设备和存储介质。
背景技术
随着生活水平的提高，人们越来越重视自身健康状态，运动健身人群日益庞大，在运动过程中，如何根据自身条件进行差异化训练非常重要。运动型疲劳是个人因运动产生的机体疲劳，不同个体在运动中产生运动型疲劳的时间和恢复速度都存在差异。适度的运动性疲劳，施于合理的恢复手段可以促进身体运动机能不断提高，但过度的运动型疲劳不仅会影响运动效果，还可能引起身体损伤。因此，了解自身身体状态与运动疲劳恢复程度对防止运动损伤、提升运动效果至关重要。
近年来，在体育科学学者的努力下，运动疲劳检测方法有了很大的进展。目前常用方法大致可分为四类：生理指标测定法、自我感觉评定法、生化指标测定法和运动生物力学测定法。上述方法虽然从多个侧面、多个角度对运动疲劳诊断进行了有益尝试，也取得了一定成效，然而上述方法的局限性也客观存在。自我感觉评定法存在一定程度的不稳定性与不确定性；生化指标测定法的检测仪器昂贵、操作复杂；运动生物力学是一种新兴测定方法，但实现原理复杂，且需要佩戴非常专业的可穿戴设备；生理指标测定法相对较为成熟、客观，但同样需要多种设备与传感器支持。
同时，上述方法中均无法量化用户的运动状态变化，而且根据用户的当前运动状态，给出对用户的运动建议。
发明内容
本申请的主要目的为提供一种运动状态的检测方法、装置、计算机设备和存储介质，旨在克服目前无法量化用户运动状态变化的缺陷。
为实现上述目的，本申请提供了一种运动状态的检测方法，包括以下步骤：
基于移动终端采集用户的生理信号；
基于所述用户的生理信号，提取所述用户的多项HRV特征；
将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。
进一步地，所述基于移动终端采集用户的生理信号，包括：
在一个新的周期时间内，采集基于移动终端定时采集所述用户的生理信号；
所述将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化的步骤之后，包括：
计算所述用户在新的周期时间内HRV特征的均值或者中值；
将所述均值或者中值输入至所述预设的回归方程中，得到所述用户在所述新的周期时间内的HRV基准分；
根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分，并将所述历史基准分更新为所述新的HRV基准分。
进一步地，所述根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分的步骤之后，包括：
根据所述新的HRV基准分以及所述历史HRV基准分，获取所述用户的HRV基准分的变化；
获取所述用户的历史运动数据，根据预设的所述历史运动数据、HRV基准分的变化与运动建议的映射关系，得到对所述用户的运动建议。
进一步地，所述HRV基准分的变化包括上升、下降以及稳定；
所述根据所述新的HRV基准分以及所述历史HRV基准分，获取所述用户的HRV基准分的变化的步骤包括：
计算所述新的HRV基准分与所述历史HRV基准分的差值；
若所述差值大于第一预设值，则判定所述HRV基准分上升；
若所述差值小于第二预设值，则判定所述HRV基准分下降；其中，所述第二预设值为所述第一预设值的负数；
若所述差值大于第二预设值且小于所述第一预设值，则判定所述HRV基准分稳定。
进一步地，所述生理信号为PPG信号，所述基于移动终端采集用户的生理信号的步骤，包括：
基于移动终端采集所述用户的指尖视频；其中，所述指尖视频为所述移动终端闪光灯开启状态下，所述用户手指遮挡摄像头时拍摄所得；
将所述指尖视频转换为RGBA视频格式，并提取出R通道中的所有像素点的求和，得到所述PPG信号。
进一步地，所述HRV特征包括SDNN参数、RMSSD参数、PNN50参数、TP参数、LF/HF参数；
所述回归方程为：
其中，a1～a5为各项HRV特征的权重系数，f1～f5为HRV特征值与对应评分之间的转换函数，b为常量。
进一步地，所述回归方程中的各个转换函数均包括指数函数、对数函数以及多项式函数中的任意一种；所述回归方程输出的分值为20～100分；
其中，将预设的HRV特征训练数据输入至初始回归方程中进行训练时，采用最优化回归方法进行训练，并调整所述回归方程中的各个参数值，使得所述初始回归方程输出的HRV评分符合以60分为中心的高斯分布，且输出的HRV评分在95-100分以及20-25分的比例小于5％，以得到所述预设的回归方程。
本申请还提供了一种运动状态的检测装置，包括：
采集单元，用于基于移动终端采集用户的生理信号；
提取单元，用于基于所述用户的生理信号，提取所述用户的多项HRV特征；
回归计算单元，用于将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
对比单元，用于将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的运动状态的检测方法、装置、计算机设备和存储介质，基于移动终端采集用户的生理信号；基于所述用户的生理信号，提取所述用户的多项HRV特征；将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化。本申请通过回归方程量化HRV评分，从而可以量化出用户运动状态的变化。
附图说明
图1是本申请一实施例中运动状态的检测方法步骤示意图；
图2是本申请一实施例中运动状态的检测装置结构框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种运动状态的检测方法，包括以下步骤：
步骤S1，基于移动终端采集用户的生理信号；
步骤S2，基于所述用户的生理信号，提取所述用户的多项HRV特征；
步骤S3，将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
步骤S4，将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。
在本实施例中，上述方法应用检测用户的运动状态的场景中，用于基于用户的当前HRV特征量化出当前用户的运动状态变化。本申请还可应用于智慧城市领域中，以推动智慧城市的建设。
如上述步骤S1所述的，目前移动终端上配置各种传感器，例如加速度传感器、图像传感器等，基于上述传感器可以实现用户生理信号的采集。本申请利用移动终端采集用户的生理信号，不仅不需要额外的专业设备，降低采集成本，而且也不需要用户长时间佩戴传感器，减少对用户的束缚感。
如上述步骤S2所述的，用户长期进行运动会对其HRV特征产生影响，目前对HRV特征的研究主要包括时域SDNN与RMSSD参数，频域总能量TP、低频能量LF、高频能量HF、能量比值LF/HF。运动过程中，自主神经系统活性增加，大部分HRV特征都在运动期间显著上升，LF/HF反而下降。运动结束后，交感神经活性急剧减弱，副交感反弹，LF/HF呈下降趋势；运动结束后一段时间内，身体疲劳导致自主神经系统活性下降，TP总能量、LF和HF均下降；而后续身体恢复的过程，即为副交感神经活性逐渐恢复至运动前水平的过程，恢复效果好时，副交感神经活性还会高于原来水平。过度训练和运动会导致身体疲劳，自主神经系统活性下降，时域与频域参数整体呈下降趋势；频域参数HF下降幅度大于LF，导致LF/HF呈上升趋势，提示身体疲劳状态下，交感神经系统主导，副交感受抑制。身体长期过度训练，会导致副交感神经受损，HF持续下降，身体虚弱，短期内难以恢复。长期有效训练可以使HRV指标上升，提升人体自主神经系统活性。因此，基于上述用户的生理信号，从中提取出HRV特征，则便于根据HRV特征识别出该用户的运动状态。
如上述步骤S3所述的，预先训练得到上述回归方程，上述回归方程中包括分别计算各项HRV特征对应打分的函数，将各项HRV特征对应的打分进行加权计算得到上述HRV评分，该HRV评分表达的即是当前该用户的运动状态的量化指标。基于上述回归方程计算得到用户的HRV评分的过程中，综合分析了用户的多项HRV特征，而不是用个别HRV特征评价运动状态，评价结果可靠性更强。
如上述步骤S4所述的，上述预设的历史HRV基准分不是一个固定值，而是针对不同用户时，其值不同。该历史HRV基准分是基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。例如，根据该用户上一周内的采集的所有HRV特征，基于回归方程计算得到。在本实施例中，考虑了不同个体间HRV特征的差异，从而得到不同的HRV基准分。基于上述用户的HRV评分与预设的历史HRV基准分，并进行对比，便可以直观地检测出该用户当前的运动状态变化，例如上述HRV评分明显高于上述历史HRV基准分，则表明该用户当前的运动机能得到提升，根据上述分值的差值，便可以对用户的运动状态变化进行量化。
在一实施例中，上述历史HRV基准分不是一个固定值，其可以在一个采集的周期时间之后进行更新。
所述基于移动终端采集用户的生理信号的步骤S1，包括：
在一个新的周期时间内，采集基于移动终端定时采集所述用户的生理信号；在本实施例中，可以连续在一个周期时间内采集该用户的生理信息。应当注意的是，为了便于检测的客观性，应当在固定的时间点进行采集。例如，每日定时检测，优选地，在早晨身体状态未受外界干扰时采集。且每次采集的时长固定，如40～300s。
所述将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化的步骤S4之后，包括：
步骤S5，计算所述用户在新的周期时间内HRV特征的均值或者中值；
步骤S6，将所述均值或者中值输入至所述预设的回归方程中，得到所述用户在所述新的周期时间内的HRV基准分；
步骤S7，根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分，并将所述历史基准分更新为所述新的HRV基准分。
在本实施例中，上述HRV评分为用户的每一次评分，其表达的是用户的动态改变。而为了表达出用户在一段时间内(如一个周期时间)的改变，则需要根据该用户在一个新的周期时间内采集的所有生理信号，提取出对应的HRV特征，并计算所述用户在新的周期时间内HRV特征的均值或者中值；从而将上述均值或者中值输入至所述预设的回归方程中，得到上述用户在一个新的周期时间内的HRV基准分，该新的周期时间内的HRV基准分表达的即是该用户一段时间的身体状态。进而，将上述新的周期时间内的HRV基准分与预设的历史HRV基准分进行加权计算，则可以重新得到一个新的HRV基准分上述新的HRV基准分即用于上述历史HRV基准分的更新。在一实施例中，上述历史HRV基准分的权重为0.6，上述新的周期时间内的HRV基准分的权重为0.4。
在本实施例中，所述根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分的步骤S7之后，包括：
步骤S8，根据所述新的HRV基准分以及所述历史HRV基准分，获取所述用户的HRV基准分的变化；
步骤S9，获取所述用户的历史运动数据，根据预设的所述历史运动数据、HRV基准分的变化与运动建议的映射关系，得到对所述用户的运动建议。
在本实施例中，上述周期时间以一周为例，上述用户的历史运动数据为用户一周的运动数据汇总。上述用户的HRV基准分的变化表示的是当前周的运动下，对用户的运动状态的影响。在本实施例中，预先设置有历史运动数据、HRV基准分的变化与运动建议的映射关系，如下表：
根据上述映射关系，以及获取到的历史运动数据、用户的HRV基准分的变化，便可以通过查表获取到对该用户在当前的状态下的运动建议。上表“运动类型”根据用户每周运动量更新，“最低运动量”和“有效运动”标准可以预先依据运动时长、运动强度、能量消耗等多项指标制定。
在本实施例中，所述HRV基准分的变化包括上升、下降以及稳定；
所述根据所述新的HRV基准分以及所述历史HRV基准分，获取所述用户的HRV基准分的变化的步骤，包括：
计算所述新的HRV基准分与所述历史HRV基准分的差值；
若所述差值大于第一预设值，则判定所述HRV基准分上升；
若所述差值小于第二预设值，则判定所述HRV基准分下降；其中，所述第二预设值为所述第一预设值的负数；
若所述差值大于第二预设值且小于所述第一预设值，则判定所述HRV基准分稳定。
在本实施例中，只有当上述新的HRV基准分产生时，才会与最近的历史HRV基准分进行比较，根据两次基准分的差值，便可以确定出当前用户HRV基准分的变化，基于该变化，则可以表达出该用户的运动状态变化。
在一实施例中，所述生理信号为PPG信号，所述基于移动终端采集用户的生理信号的步骤，包括：
基于移动终端采集所述用户的指尖视频；其中，所述指尖视频为所述移动终端闪光灯开启状态下，所述用户手指遮挡摄像头时拍摄所得；
将所述指尖视频转换为RGBA视频格式，并提取出R通道中的所有像素点的求和，得到所述PPG信号。
在本实施例中，不需要使用专业的采集设备，只需要使用移动终端(如手机、平板等)进行指尖视频的采集，进而获取到测试用户的PPG信号。具体地，打开移动终端闪光灯，并打开拍摄功能，测试用户用一根手指完全遮挡摄像头录制指尖血流视频，由于指尖血流量会随血管容积变化发生周期性的波动，血液对闪光灯光源的吸收量也随之变化，导致录制视频像素值周期性的变化。将每帧视频转化为RGBA格式，并求出R通道所有像素点求和，可得到离散的PPG信号，即每一帧视频对应PPG信号的一个采样点，如果视频帧率为30fp/s，则PPG采样率为30Hz。
在本实施例中，受移动终端的影响，其设备采样率不同，得到的PPG信号的采样率不同，因此，本方案需通过升采样或降采样方法将PPG信号的采样率转换为指定采样率(如250Hz)，在升采样或降采样过程中，为保证波形形态不发生形变，通常使用样条插值或最小二乘插值方法。
由于信号可能受随机动作或硬件噪声干扰，噪声信号段RR间期无效，所以本实施例中对噪声段RR间期进行了处理(剔除或插值)，避免影响后续HRV特征提取。最后，仅有窦性心博的HRV特征有效，为避免异常心动周期影响HRV特征的计算，本实施例中对相邻差异较大的RR间期(例：差异超过20％或30％)也进行了相同的剔除或插值处理。在得到上述窦性心博的RR间期之后，便可以提取得到测试用户的HRV特征。
在一实施例中，HRV特征是指逐次心跳RR间期的微小差异，HRV特征是通过多种分析方法从RR间期中提取的特征参数。所述HRV特征包括SDNN参数、RMSSD参数、PNN50参数、TP参数、LF/HF参数；除LF/HF外，其余指标均与运动效果成正比。
所述回归方程为：
其中，a1～a5为各项HRV特征的权重系数，f1～f5为HRV特征值与对应评分之间的转换函数，b为常量。上述b为LF/HF的最优值，其中LF/HF的合理范围为1-2.5，在本实施例中，上述b取1.5。
在本实施例中，所述回归方程中的各个转换函数均包括指数函数、对数函数以及多项式函数中的任意一种；所述回归方程输出的分值为20～100分；
其中，将预设的HRV特征训练数据输入至初始回归方程中进行训练时，采用最优化回归方法进行训练，并调整所述回归方程中的各个参数值，使得所述初始回归方程输出的HRV评分符合以60分为中心的高斯分布，且输出的HRV评分在95-100分以及20-25分的比例小于5％，以得到所述预设的回归方程。上述最优化回归方法包括牛顿法，梯度法等方案。
在本实施例中，还可以根据上述用户每日/每周的HRV评分的变化，通过查表法，获取到上述用户当前的运动效果。
具体地，预先设置有HRV评分、历史运动情况、运动目标与运动效果的定义如下：
具体地，运动效果的评估表为：
上表中，His perform具有5种状态，HRV的变化有三种状态，共可输出15种运动评估结果给用户。实际应用中，可以通过增加或减少His perform和HRV的变化的状态数，运动效果评估的State No数目。在本实施例在，仅用前一天的历史运动数据、HRV变化，生成OutPut，实际应用中也可参考多天的His perform或HRV的变化生成OutPut，增加输出状态总数，在次不再进行赘述。
在一实施例中，所述方法还包括：
将所述回归方程、指尖视频以及HRV特征存储至区块链中。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
参照图2，本申请一实施例中还提供了一种运动状态的检测装置，包括：
采集单元10，用于基于移动终端采集用户的生理信号；
提取单元20，用于基于所述用户的生理信号，提取所述用户的多项HRV特征；
回归计算单元30，用于将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
对比单元40，用于将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到。
在一实施例中，所述采集单元10，具体用于：
在一个新的周期时间内，采集基于移动终端定时采集所述用户的生理信号；
上述运动状态的检测装置，还包括：
特征计算单元，用于计算所述用户在新的周期时间内HRV特征的均值或者中值；
基准分计算单元，用于将所述均值或者中值输入至所述预设的回归方程中，得到所述用户在所述新的周期时间内的HRV基准分；
更新单元，用于根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分，并将所述历史基准分更新为所述新的HRV基准分。
在一实施例中，上述运动状态的检测装置，还包括：
变化获取单元，用于根据所述新的HRV基准分以及所述历史HRV基准分，获取所述用户的HRV基准分的变化；
运动建议单元，用于获取所述用户的历史运动数据，根据预设的所述历史运动数据、HRV基准分的变化与运动建议的映射关系，得到对所述用户的运动建议。
在一实施例中，所述HRV基准分的变化包括上升、下降以及稳定；
所述变化获取单元，具体用于：
计算所述新的HRV基准分与所述历史HRV基准分的差值；
若所述差值大于第一预设值，则判定所述HRV基准分上升；
若所述差值小于第二预设值，则判定所述HRV基准分下降；其中，所述第二预设值为所述第一预设值的负数；
若所述差值大于第二预设值且小于所述第一预设值，则判定所述HRV基准分稳定。
在一实施例中，所述生理信号为PPG信号，所述采集单元10，用于：
基于移动终端采集所述用户的指尖视频；其中，所述指尖视频为所述移动终端闪光灯开启状态下，所述用户手指遮挡摄像头时拍摄所得；
将所述指尖视频转换为RGBA视频格式，并提取出R通道中的所有像素点的求和，得到所述PPG信号。
在一实施例中，所述HRV特征包括SDNN参数、RMSSD参数、PNN50参数、TP参数、LF/HF参数；
所述回归方程为：
其中，a1～a5为各项HRV特征的权重系数，f1～f5为HRV特征值与对应评分之间的转换函数，b为常量。
所述回归方程中的各个转换函数均包括指数函数、对数函数以及多项式函数中的任意一种；所述回归方程输出的分值为20～100分；
其中，将预设的HRV特征训练数据输入至初始回归方程中进行训练时，采用最优化回归方法进行训练，并调整所述回归方程中的各个参数值，使得所述初始回归方程输出的HRV评分符合以60分为中心的高斯分布，且输出的HRV评分在95-100分以及20-25分的比例小于5％，以得到所述预设的回归方程。
在本实施例中，上述装置实施例中各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储HRV评分等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种运动状态的检测方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种运动状态的检测方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本申请实施例中提供的运动状态的检测方法、装置、计算机设备和存储介质，基于移动终端采集用户的生理信号；基于所述用户的生理信号，提取所述用户的多项HRV特征；将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化。本申请通过回归方程量化HRV评分，从而可以量化出用户运动状态的变化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (6)
1.一种运动状态的检测方法，其特征在于，包括以下步骤：
基于移动终端采集用户的生理信号；
基于所述用户的生理信号，提取所述用户的多项HRV特征；
将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到；
所述基于移动终端采集用户的生理信号，包括：
在一个新的周期时间内，采集基于移动终端定时采集所述用户的生理信号；
所述将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化的步骤之后，包括：
计算所述用户在新的周期时间内HRV特征的均值或者中值；
将所述均值或者中值输入至所述预设的回归方程中，得到所述用户在所述新的周期时间内的HRV基准分；
根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分，并将所述预设的历史HRV基准分更新为所述新的HRV基准分；
所述根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分的步骤之后，包括：
根据所述新的HRV基准分以及所述预设的历史HRV基准分，获取所述用户的HRV基准分的变化；
获取所述用户的历史运动数据，根据预设的所述历史运动数据、HRV基准分的变化与运动建议的映射关系，得到对所述用户的运动建议；
所述HRV特征包括SDNN参数、RMSSD参数、PNN50参数、TP参数、LF/HF参数；
所述回归方程为：
；
其中，为各项HRV特征的权重系数，/>为HRV特征值与对应评分之间的转换函数，b为常量；
所述回归方程中的各个转换函数均包括指数函数、对数函数以及多项式函数中的任意一种；所述回归方程输出的分值为20~100分；
其中，将预设的HRV特征训练数据输入至初始回归方程中进行训练时，采用最优化回归方法进行训练，并调整所述回归方程中的各个参数值，使得所述初始回归方程输出的HRV评分符合以60分为中心的高斯分布，且输出的HRV评分在95-100分以及20-25分的比例小于5%，以得到所述预设的回归方程。
2.根据权利要求1所述的运动状态的检测方法，其特征在于，所述HRV基准分的变化包括上升、下降以及稳定；
所述根据所述新的HRV基准分以及所述预设的历史HRV基准分，获取所述用户的HRV基准分的变化的步骤，包括：
计算所述新的HRV基准分与所述预设的历史HRV基准分的差值；
若所述差值大于第一预设值，则判定所述HRV基准分上升；
若所述差值小于第二预设值，则判定所述HRV基准分下降；其中，所述第二预设值为所述第一预设值的负数；
若所述差值大于第二预设值且小于所述第一预设值，则判定所述HRV基准分稳定。
3.根据权利要求1所述的运动状态的检测方法，其特征在于，所述生理信号为PPG信号，所述基于移动终端采集用户的生理信号的步骤，包括：
基于移动终端采集所述用户的指尖视频；其中，所述指尖视频为所述移动终端闪光灯开启状态下，所述用户手指遮挡摄像头时拍摄所得；
将所述指尖视频转换为RGBA视频格式，并提取出R通道中的所有像素点的求和，得到所述PPG信号。
4.一种运动状态的检测装置，其特征在于，包括：
采集单元，用于基于移动终端采集用户的生理信号；
提取单元，用于基于所述用户的生理信号，提取所述用户的多项HRV特征；
回归计算单元，用于将多项所述HRV特征输入至预设的回归方程中，得到所述用户的HRV评分；
对比单元，用于将所述用户的HRV评分与预设的历史HRV基准分进行对比，得到所述用户的运动状态变化；其中，所述预设的历史HRV基准分基于所述用户在一个周期时间内的HRV特征，通过所述回归方程计算得到；
所述采集单元，具体用于在一个新的周期时间内，采集基于移动终端定时采集所述用户的生理信号；
特征计算单元，用于计算所述用户在新的周期时间内HRV特征的均值或者中值；
基准分计算单元，用于将所述均值或者中值输入至所述预设的回归方程中，得到所述用户在所述新的周期时间内的HRV基准分；
更新单元，用于根据所述预设的历史HRV基准分与所述新的周期时间内的HRV基准分，加权计算得到新的HRV基准分，并将所述历史基准分更新为所述新的HRV基准分；
所述HRV特征包括SDNN参数、RMSSD参数、PNN50参数、TP参数、LF/HF参数；
所述回归方程为：
；
其中，为各项HRV特征的权重系数，/>为HRV特征值与对应评分之间的转换函数，b为常量；
所述回归方程中的各个转换函数均包括指数函数、对数函数以及多项式函数中的任意一种；所述回归方程输出的分值为20~100分；
其中，将预设的HRV特征训练数据输入至初始回归方程中进行训练时，采用最优化回归方法进行训练，并调整所述回归方程中的各个参数值，使得所述初始回归方程输出的HRV评分符合以60分为中心的高斯分布，且输出的HRV评分在95-100分以及20-25分的比例小于5%，以得到所述预设的回归方程。
5.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110313587.1A CN112914536B (zh) | 2021-03-24 | 2021-03-24 | 运动状态的检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110313587.1A CN112914536B (zh) | 2021-03-24 | 2021-03-24 | 运动状态的检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112914536A CN112914536A (zh) | 2021-06-08 |
| CN112914536B true CN112914536B (zh) | 2023-08-15 |
Family
ID=76175764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110313587.1A Active CN112914536B (zh) | 2021-03-24 | 2021-03-24 | 运动状态的检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112914536B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114145735B (zh) * | 2021-12-03 | 2023-10-20 | 华南师范大学 | 基于bcg信号的运动规划方案生成方法、系统以及设备 |
| CN114237394B (zh) * | 2021-12-13 | 2024-05-24 | 广东乐心医疗电子股份有限公司 | 一种运动识别方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201000736D0 (en) * | 2009-01-08 | 2010-03-03 | Wegerif Simon C | Method,system and software product for the measurement of heart rate variability |
| CN102488501A (zh) * | 2011-11-17 | 2012-06-13 | 深圳市科瑞康实业有限公司 | 身心放松训练的辅助装置及呼吸引导模型显示处理方法 |
| WO2015049644A1 (en) * | 2013-10-02 | 2015-04-09 | Melloni Armelle Sylvie | Device and method for monitoring physiological parameters |
| CN107569226A (zh) * | 2017-09-27 | 2018-01-12 | 广州中科新知科技有限公司 | 基于压电传感获取hrv的方法及应用 |
| CN108209902A (zh) * | 2017-05-25 | 2018-06-29 | 深圳市未来健身衣科技有限公司 | 运动员竞技状态评估方法及系统 |
| CN109529304A (zh) * | 2018-11-09 | 2019-03-29 | 深圳市量子智能科技有限公司 | 一种智能训练方法和系统 |
| CN109998522A (zh) * | 2019-02-27 | 2019-07-12 | 东南大学 | 一种基于穿戴式动态心电的运动负荷检测装置及方法 |
| CN110123299A (zh) * | 2019-04-30 | 2019-08-16 | 新疆农业大学 | 一种对马匹运动性疲劳的评估方法及其应用 |
| CN110495862A (zh) * | 2019-08-27 | 2019-11-26 | 中科宁心电子科技(南京)有限公司 | 一种心肺和谐系列指标评测方法、装置及系统 |
| GB202019777D0 (en) * | 2020-12-15 | 2021-01-27 | Prevayl Ltd | Method and system for performing a recovery test and generating a recovery score for a user |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9775533B2 (en) * | 2013-03-08 | 2017-10-03 | Singapore Health Services Pte Ltd | System and method of determining a risk score for triage |
| US20160058378A1 (en) * | 2013-10-24 | 2016-03-03 | JayBird LLC | System and method for providing an interpreted recovery score |
| US20180296105A1 (en) * | 2015-06-19 | 2018-10-18 | Michael Blake | Wearable physiological monitoring and notification system based on real-time heart rate variability analysis |
-
2021
- 2021-03-24 CN CN202110313587.1A patent/CN112914536B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201000736D0 (en) * | 2009-01-08 | 2010-03-03 | Wegerif Simon C | Method,system and software product for the measurement of heart rate variability |
| CN102488501A (zh) * | 2011-11-17 | 2012-06-13 | 深圳市科瑞康实业有限公司 | 身心放松训练的辅助装置及呼吸引导模型显示处理方法 |
| WO2015049644A1 (en) * | 2013-10-02 | 2015-04-09 | Melloni Armelle Sylvie | Device and method for monitoring physiological parameters |
| CN108209902A (zh) * | 2017-05-25 | 2018-06-29 | 深圳市未来健身衣科技有限公司 | 运动员竞技状态评估方法及系统 |
| CN107569226A (zh) * | 2017-09-27 | 2018-01-12 | 广州中科新知科技有限公司 | 基于压电传感获取hrv的方法及应用 |
| CN109529304A (zh) * | 2018-11-09 | 2019-03-29 | 深圳市量子智能科技有限公司 | 一种智能训练方法和系统 |
| CN109998522A (zh) * | 2019-02-27 | 2019-07-12 | 东南大学 | 一种基于穿戴式动态心电的运动负荷检测装置及方法 |
| CN110123299A (zh) * | 2019-04-30 | 2019-08-16 | 新疆农业大学 | 一种对马匹运动性疲劳的评估方法及其应用 |
| CN110495862A (zh) * | 2019-08-27 | 2019-11-26 | 中科宁心电子科技(南京)有限公司 | 一种心肺和谐系列指标评测方法、装置及系统 |
| GB202019777D0 (en) * | 2020-12-15 | 2021-01-27 | Prevayl Ltd | Method and system for performing a recovery test and generating a recovery score for a user |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112914536A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Azami et al. | Refined composite multiscale dispersion entropy and its application to biomedical signals | |
| US10321871B2 (en) | Determining sleep stages and sleep events using sensor data | |
| US20180260706A1 (en) | Systems and methods of identity analysis of electrocardiograms | |
| CN112914536B (zh) | 运动状态的检测方法、装置、计算机设备和存储介质 | |
| Khowaja et al. | Toward soft real-time stress detection using wrist-worn devices for human workspaces | |
| US11317840B2 (en) | Method for real time analyzing stress using deep neural network algorithm | |
| US20160338640A1 (en) | Psychological acute stress measurement using a wireless sensor | |
| CN106037702A (zh) | 生物体信息处理系统、生物体信息处理装置及终端装置 | |
| CN105981019B (zh) | 计算人的当前昼夜节律的装置、系统、方法和存储介质 | |
| US20160128638A1 (en) | System and method for detecting and quantifying deviations from physiological signals normality | |
| Jiang et al. | Entropy-based method for COP data analysis | |
| JP2021514768A (ja) | 睡眠段階検出のための方法、コンピューティングデバイス、およびウェアラブルデバイス | |
| JP6304050B2 (ja) | 生体状態推定装置 | |
| Park et al. | Prediction of daily mental stress levels using a wearable photoplethysmography sensor | |
| CN114190897B (zh) | 睡眠分期模型的训练方法、睡眠分期方法及装置 | |
| CN112370057A (zh) | 压力评估方法、装置、计算机设备和存储介质 | |
| JPWO2019069417A1 (ja) | 生体情報処理装置、生体情報処理システム、生体情報処理方法、およびプログラム | |
| KR101870630B1 (ko) | 생체/운동 신호 기반의 에너지 소모량 측정 방법 및 장치 | |
| Ahamed et al. | Using machine learning and wearable inertial sensor data for the classification of fractal gait patterns in women and men during load carriage | |
| Legaria-Santiago et al. | Computer models evaluating hand tremors in Parkinson's disease patients | |
| CN117271977B (zh) | 一种hrv数据预处理方法、装置及电子设备 | |
| US20200265949A1 (en) | Anxiety detection in different user states | |
| JP2016202603A (ja) | 生体情報処理システム、プログラム、生体情報処理システムの制御方法 | |
| JP6557489B2 (ja) | 生体状態推定装置及びコンピュータプログラム | |
| Park et al. | A study on the development of a day-to-day mental stress monitoring system using personal physiological data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |