CN114692691A - 运动状态识别方法、装置、电子设备及存储介质 - Google Patents

运动状态识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114692691A
CN114692691A CN202210337791.1A CN202210337791A CN114692691A CN 114692691 A CN114692691 A CN 114692691A CN 202210337791 A CN202210337791 A CN 202210337791A CN 114692691 A CN114692691 A CN 114692691A
Authority
CN
China
Prior art keywords
acceleration
motion state
sub
preset threshold
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210337791.1A
Other languages
English (en)
Inventor
王丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210337791.1A priority Critical patent/CN114692691A/zh
Publication of CN114692691A publication Critical patent/CN114692691A/zh
Priority to PCT/CN2023/084921 priority patent/WO2023185970A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种运动状态识别方法、装置、电子设备及存储介质，属于通信技术领域。包括：在电子设备的加速度大于第一预设阈值的情况下，确定电子设备处于运动状态；获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。

Description

运动状态识别方法、装置、电子设备及存储介质
技术领域
本申请属于通信技术领域，具体涉及一种运动状态识别方法、装置、电子设备及存储介质。
背景技术
随着人们对于健康的重视程度日益提升，大家开始提高体育运动的频率，同时也开始希望借助电子设备来记录运动参数。
相关技术中，识别击球运动的方式，往往是在击球运动的击球目标中设置加速度传感器，从而来判断用户是否在进行击球运动，但是这种方法往往需要借助特定的设备来进行运动，且在击球运动状态中，设置有加速传感器的击球目标还很容易损坏。
因此，如何更好的判断用户是否在进行击球运动已经成为业界亟待解决的问题。
发明内容
本申请实施例的目的是提供一种运动状态识别方法、装置、电子设备及存储介质，能够解决如何更好的判断用户是否在进行击球运动的问题。
第一方面，本申请实施例提供了一种运动状态识别方法，该方法包括：
在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和所述第二子加速度均在三维空间中互相垂直，N为正整数；
在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。第二方面，本申请实施例提供了一种运动状态识别装置，包括：
第一确定模块，用于在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
第一获取模块，用于获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
识别模块，用于在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，在电子设备的加速度大于第一预设阈值的情况下，识别到用户可能处于运动状态的情况下，进一步获取运动状态中的第一加速度，从而根据第一加速度的第一子加速度和第二子加速度判定用户是否在进行击球，有效保证了运动状态识别的便利性和准确性。
附图说明
图1为本申请实施例提供的运动状态识别方法流程示意图；
图2为本申请实施例提供的第二加速度示意图；
图3为本申请实施例提供的加速度变化示意图之一；
图4为本申请实施例提供的加速度变化示意图之二；
图5为本申请实施例提供的运动状态识别装置结构示意图；
图6为本申请实施例提供的电子设备结构示意图；
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的运动状态识别方法、装置、电子设备及存储介质进行详细地说明。
图1为本申请实施例提供的运动状态识别方法流程示意图，如图1所示，包括：
步骤110，在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
具体地，本申请实施例中所描述的电子设备是具备加速度检测功能的电子设备，其具体可以设置有加速度传感器的电子设备，并且在运动状态识别过程中，该电子设备需要由用户携带，且该电子设备往往需要佩戴在用户击球的手臂或手腕上，即该电子设备会随着用户手臂的运动而相应产生加速度变量。
可以理解的是，本申请实施例中所描述的电子设备具体可以是具备加速度传感器的智能手环、智能手表等智能便携设备，还可以是与智能设备相连的，仅仅具备加速度检测功能的手环或者其它可穿戴设备。
另外，该电子设备还可以是具备加速度传感器的手机，该手机可以借助于固定用户手臂或者其它用户身体部位的运动挎包等固定于用户身体上，在用户运动状态中该手机也能够对应检测到用户运动而产生的加速度变量。
本申请实施例中所描述的加速度，具体可以是电子设备在运行过程中，尚未判定用户进入运动状态时检测到的加速度信息，而判定用户进入运动状态后检测到的加速度信息作为第一加速度。
本申请实施例中所描述的第一预设阈值具体可以是预先设定的阈值，例如该第一预设阈值具体可以是10m/s2，在电子设备的加速度不超过第一预设阈值的情况下，则携带有电子设备的用户很可能并未进入运动状态，也不可能是在进行击球运动，对应地，在电子设备的加速度超过第一预设阈值的情况下，则携带有电子设备的用户很可能进入运动状态，也可能是在进行击球运动，此时需要对其运动状态的加速度进行进一步分析。
步骤120，获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
具体地，电子设备在所述运动状态的N个第一加速度是指电子设备处于运动状态下所获取到的加速度信息均为第一加速度，即从确定电子设备进入运动状态开始，到确定电子设备结束运动状态截止的这个时间区段内所获取到的加速度。
具体地，本申请实施例中所描述的第一加速度可以包括在三维空间中的三个加速度分量，其分别为第一子加速度和第二子加速度，还可以包括第三子加速度，且第一子加速度、第二子加速度和第三子加速度在一个三维空间中均存在两两垂直的关系。
例如，在电子设备为用户佩戴的智能手表时，该智能手表检测到第一加速度，图2为本申请实施例提供的第一加速度示意图，如图2所示，第一加速度可以分解为沿手臂方向的X轴，与手臂方向垂直的Y轴，以及同时与X轴和Y轴垂直的Z轴上，即第一加速度会在Z轴存在有第一子加速度，第一加速度会在X轴存在第二子加速度，第一加速度会在Y轴存在有第三子加速度。
步骤130，在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
具体地，本申请实施例中所描述的第二预设阈值、第三预设阈值和第四预设阈值均是可以预先设定的数值。
本申请实施例中的运动状态若为击球，则在击球过程中可能存在两个阶段，一个阶段是挥拍加速的阶段，另一个阶段可能是击球命中的阶段。
在挥拍加速的过程中，手臂向前挥动击球,手臂会对电子设备的第一子加速度方向施加作用力，该第一子加速度方向可以是上述图2实施例中的Z轴方向，具体表现在第一子加速度从零附近减小到一个预设负值，例如-20m/s2，即此时第一加速度的第一子加速度变化量大于第二预设阈值。
同时，在挥拍加速的过程中，电子设备沿着手臂有往外飞出去的趋势，导致手腕的皮肤对电子设备施加了沿着第二子加速度方向的静摩擦力阻止电子设备和手臂的相对运动，该静摩擦力使第二子加速度明显上升,上升的幅度大概在15m/s2以上，具体与挥拍的力度正相关，即此时第二子加速度的变量大于第三预设阈值，并且在挥动到一定程度时，相邻第二子加速度的变化量会超过第四预设阈值，即各个所述第二子加速度的一阶差分中至少会存在一个目标一阶差分的情况，那么此时将用户的运动状态识别为击球。
本申请实施例中所描述的击球具体可以是指羽毛球击球运动或者网球击球运动，也可以是其它满足上述加速度变化规律的击球运动。
在本申请实施例中，通过用户运动过程中携带的电子设备的加速度，识别到用户可能处于运动状态的情况下，进一步获取运动状态中的第一加速度，从而根据第一加速度的特征判定用户是否在进行击球，仅仅需要借助用户在运动过程中携带的电子设备即可以实现，不需要在击球目标中额外添加设备，提高了检测的便利性。
可选地，在识别所述运动状态为击球之后，还包括：
在第一预设时间段内，所述第一子加速度从第一数值更新为第二数值后，再从所述第二数值更新为第三数值的情况下，判定在所述运动状态的过程中击球命中，其中，所述第二数值大于所述第一数值和所述第三数值；
或，在所述第一子加速度均小于第五预设阈值的情况下，判定在所述运动状态的过程中击球未命中。
具体地，本申请实施例中所描述的第一预设时间段具体可以是指预设的连续时间段。本申请实施例所描述的第一数值、第二数值和第三数值均可以是预先设定的数值，且第二数值大于第一数值和第三数值。
具体地，在击球过程中，尚未击中球的情况下，手腕会对电子设备的第一子加速度负方向施加推力，本申请实施例中所描述的第一数值具体可以是在尚未击中球的过程中的第一子加速度的数值，其通常是一个负值，该第一数值具体可以是尚未击中球的过程中第一子加速度的最小值。
在击球过程中，击中球的情况下，在击中的短暂接触瞬间，球对球拍的反作用力会导致球拍对手臂有反作用力，进一步导致佩戴在手臂上的电子设备会在第一子加速度的正方向有短暂的冲击力，体现在第一子加速度上，会表现为第一子加速度从第一数值提升到第二数值，该第二数值是冲击力和手腕对电子设备在第一加速度方向施加推力所对应的加速度。
在击中球后，短暂的冲击力会消失，此时电子设备的第一子加速度会重新恢复负值，此时第三数值是冲击力消失后的第一子加速度，该第三数值是比第二数值更小的数值。
而由于，击球命中所产生的第一子加速度的变化发生在一个很短的时间内，因此，仅在第一预设时间段内，检测到第一子加速度从第一数值更新为第二数值后，再从第二数值更新为第三数值的情况下，才会判定在运动状态中击球命中。
更具体地，在用户佩戴电子设备的手臂，挥拍欲击球但是没有击中球的情况下，此时球不会对球拍和手臂产生反作用力，第一子加速度不会出现明显突增的变化趋势，在一个挥拍的第二预设时间段内，电子设备不会检测到第一子加速度突然增大到一定数值的情况，并且在击球未命中的情况下，在第二预设时间段内，第一加速度的数值应该均小于第五预设阈值。
在本申请实施例中，通过对判定第一运动为击球运动后获取的Z轴加速度和X轴加速度进行分析，从而进一步判断，在该击球运动中是否击球命中，从而实现通过电子设备对于击球命中情况的有效统计。
在本申请实施例中，通过判定运动状态为击球之后，通过对第一子加速度和第二子加速度进行分析，从而进一步判断，在判定该运动状态为击球后是否击球命中，从而实现通过电子设备对于击球命中情况的有效统计。
可选地，在所述判定在所述运动状态的过程中击球命中之后，还包括：
获取目标时段内的P个第一加速度，其中，所述目标时段是第一时刻到第二时刻之间的时段，所述第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，P为正整数；
基于所述P个第一加速度，确定第一加速度波形图；
根据所述第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图，其中，所述波峰相似度信息是基于所述第一加速度波形图中的第一波峰和Q个第二波峰确定的，所述第二波峰是与所述第一波峰相邻的波峰，Q为正整数；
基于所述第二加速度波形图每秒的波峰数量，确定第一运动步数。
具体地，由于在击球运动的过程中，用户的计步特征和常规的步行过程中的计步特征存在很大的区别，特别是在击球命中后，到再次挥拍前的这个时段内，此时用户不存在弯腰捡球的动作，为准备下一次击球，可能需要迅速调整其位置，因此用户可能会出现前后左右随机走路跑步的行为，会导致相邻步伐的周期相似性比较差，按照常规计步方式难以实现准确的计步，因此本申请实施例中需要进一步对P个第一加速度来进行计步分析。
具体地，本申请实施例中所描述的目标时段具体可以是指用户在运动状态中，在判定击球命中后，到再次开始挥拍的这个区间，对应地，若击球的运动状态中，存在多次击球命中的情况，则在击球的运动状态中可能存在多个目标时段，若在运动状态中不存在击球命中的情况，则不会存在目标时段。
本申请实施例中第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，即第二时刻是第一时刻之后，首次检测到用户可能在进行挥拍动作的时刻。
在本申请实施例中会进一步分析目标时段内的P个第一加速度，从而实现目标时段内的计步数据分析，具体地，获取P个第一加速度后，可以将其经过截止频率为4赫兹的低通滤波器进行滤波处理之后，生成第一加速度波形图，进一步分析第一加速波形图中每个第一波峰与该第一波峰相邻的Q个第二波峰的波峰相似度信息，具体将第一波峰与其对应的每个第二波峰进行相似性比较，最终得到整体的波峰相似度信息，例如可以确定每个第一波峰与该第一波峰相邻的4个或者5个第二波峰的周期相似性，Q的数量可以预先设定。
本申请实施例中描述的各个第一波峰对应的第二波峰可以是只指第一加速度波形图中与第一波峰左相邻或者右相邻的波峰。
为了保证步数统计数据的准确性，本申请实施例会通过每个第一波峰的波峰相似度信息，来进一步筛选各个第一波峰中是否可能存在异常数据，具体方式可以是将各个第一波峰的波峰相似度信息与第一相似度阈值来进行比较，波峰相似度信息大于第一相似度阈值的第一波峰，则认为其与周围的波峰相似度较高，为正常数据，而波峰相似度信息低于第一相似度阈值的波峰，则认为其与周围的波峰相似度较低，可能是异常数据，不便于继续保留，因此本申请实施例中仅仅保留第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图。
本申请实施例中所描述的第一相似度阈值可以是预先设定的数值，该第一相似度阈值可以设定的比常规计步算法中的阈值更小，从而可以放宽数据的筛选标准，将快速移动过程中，周期相似性较差的步伐也计入总步数中。
更具体地，在确定第二加速度波形图之后，可以根据第二加速度波形图中每秒内有多少个明显的波峰来计算步数，例如，本申请实施例中在一秒内检测到有3个明显的波峰，则认为用户在这一秒内的计步步数为3步，最终根据该方式，确定在目标时段内的第一运动步数。
可选地，在击球的运动状态中，被判定为击球未命中的情况下，从当前到下次挥拍的时间段内，用户存在一小段时间的弯腰捡球和静止动作的时间，然后用户通过正常步行的方式移动到目标位置继续运动，此时可以通过常规的计步方式来进行计步，确定击球未命中后，到再次挥拍期间的第二运动步数。
在本申请实施例中，通过对目标区段内的P个第一加速度所组成的加速度波形图进行分析，从而确定用户在击球命后到下次挥拍之前的计步步数，能够根据击球命中的运动特征来准确的统计用户的计步步数。
可选地，在所述识别所述运动状态为击球之后，还包括：
在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定所述运动状态结束，M为正整数。
具体地，本申请实施例中，为了避免击球的运动状态中的特殊计步方式对正常计步方式的影响，以及击球的运动状态中卡路里消耗的统计准确性，需要进一步有效判断击球的运动状态什么时候结束。
而在本申请实施例中，在击球的运动状态结束的阶段，此时第一加速度迅速下降并趋近于零，因此在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定运动状态结束。
本申请实施例在判定击球的运动状态完成后，会立刻重新开始检测该电子设备的加速度，若再次检测到电子设备的加速度超过第一预设阈值的情况下，则此时认为电子设备重新进入运动状态。
在本申请实施例中，在判定运动状态为击球之后，会进一步根据第一加速度来判定该运动状态是否结束，从而有效开始检测后续运动状态，有效区分不同运动状态的数据，避免识别错误。
可选地，本申请实施例中还可以记录运动状态中连续被判定为击球命中的次数；
在运动状态被判定为击球未命中的情况下，停止记录所述次数，得到所运动状态的击球连续命中次数。
具体地，对于击球运动，例如羽毛球或者网球，用户往往会比较在意击球连续命中次数，该参数能够较好的反应用户的击球水平，因此本申请实施例中会进一步记录记录运动状态连续被判定为击球命中的次数。
本申请实施例中所描述的运动状中被判定为击球命中的次数具体可以是指，在运动状态中，每次击球判定均被判定为击球命中，即在运动状态中，未出现被判定为击球未命中的情况。
相应地，在运动状态中若出现判定为击球未命中的情况下，停止记录连续被判定为击球命中的次数，记录一次击球未命中，并且获取当前击球运动的击球连续命中次数，重新开始记录击球连续命中次数。
在本申请实施例中，通过记录击球的运动状态中连续的击球命中次数，能够有效统计击球运动的击球连续命中次数，便于用户了解其运动情况。
可选地，在另一实施例中，以用户右手手腕佩戴电子设备，并且右手挥拍进行击球运动为例，将沿用户手臂的方向设定为X轴，垂直于用户手臂的方向为Y轴，Z轴同时与X轴和Y轴垂直，即第一加速度会在Z轴存在有第一子加速度，在X轴存在第二子加速度，在Y轴存在有第三子加速度，其具体可以参考图2中的坐标方向，图3为本申请实施例提供的加速度变化示意图之一，如图3所示，携带矩形符号的线条对应第一子加速度，携带三角符号的线条对应第二子加速度，携带圆形的线条对应第三子加速度，携带五边形符号的线条对应第一加速度，且为了避免线条重叠从而导致混淆，将第一加速度对应的线条在真实值的基础上整体向上平移了5个单位，整个击球的运动状态大致可以分为如下五个阶段：
阶段一310,佩戴电子设备的右手握住球拍,手臂和球拍正常下垂,第二子加速度处于X轴正方向朝上，大约9.8左右,电子设备略微倾斜朝上，z轴的第一子加速度略微大于零；
阶段二320,用户开始准备击球，右手握拍用力抬起,球拍从下垂状态抬起来到球拍呈水平姿态，此时x轴的第二子加速度从9附近逐渐减小到零附近；同时z轴的第一子加速度从略微大于零逐渐增大到9附近；
阶段三330,右手用力抬起球拍,球拍继续从水平姿态抬起来到球拍头朝天的姿态；对应的x轴正方向从水平变化到指向地面，即x轴第二子加速度从零附近减小到-9附近；同时z轴正方向从指向天上逐渐变成水平方向，即z轴的第一子加速度从9附近逐渐减小到零附近；
阶段四340,开始击球，右手向前挥拍,手腕对手表的z轴负方向施加作用力,具体表现在z轴的第一子加速度从零附近减小到-20附近，具体数值因不同的挥拍力度而异；同时因为挥拍时手表沿着手臂有往外飞出去的趋势,导致手腕的皮肤对手表施加了沿着x轴正方向的静摩擦力阻止手表和手臂的相对运动。此静摩擦力使x轴的第二子加速度明显上升,上升的幅度大概在30以上，具体与挥拍的力度正相关；
阶段五350,在击球命中的情况下，当球拍击打到羽毛球的时候,因为球拍对羽毛球有冲击力,羽毛球对球拍施加了反作用力,进而球拍对手腕施加了反作用力,导致手腕对手表施加了沿着z轴正方向的冲击力，z轴加速度瞬间剧烈增大，此时第一子加速度从第一数值更新为第二数值，因为羽毛球对球拍的反作用力只有在接触的一瞬间存在,持续时间很短,如图大概持续了四个采样间隔，具体接触时长与羽毛球和球拍的材质以及挥拍击球的力度有关,如果材质的韧性越强则接触时间越短,则羽毛球对球拍的反作用力就越大；如果挥拍击球的力度越大则接触时间越长,而且羽毛球对球拍的反作用力就越大，而在反作用力消失后，此时第一子加速度会从第二数值更新为第三数值。
与此同时,与阶段四类似,因为阶段五仍然处于挥拍击球动作,手腕带动手表绕着肩膀做类似圆周运动,手表沿着手臂有往外飞出去的趋势,导致手腕的皮肤对手表施加了沿着x轴正方向的静摩擦力(类似于圆周运动的向心力)阻止手表和手臂的相对运动。此静摩擦力使x轴的第二加速度明显上升,上升的幅度大概在30m/s2以上(具体与挥拍的力度正相关),在阶段五内x轴加速度的数值都是大于零的。
可选地，在一些实施例中，用户在击球阶段可能击球未命中，图4为本申请实施例提供的加速度变化示意图之二，如图4所示，包括：
阶段六410，具体可以是用户击球未命中的阶段，如果用户挥拍欲击球但是没有击中羽毛球的时候,因为没有羽毛球对球拍的反作用力,电子设备z轴的第一子加速度没有明显突增,并且在阶段六的整个过程中，z轴的第一子加速度小于零而且均值小于-10,同时x轴大于零而且均值大于10。
本申请实施例提供的运动状态识别方法，执行主体可以为运动状态识别装置。本申请实施例中以运动状态识别装置执行运动状态识别的方法为例，说明本申请实施例提供的运动状态识别的装置。
图5为本申请实施例提供的运动状态识别装置结构示意图，如图5所示，包括：第一确定模块510、第一获取模块520和识别模块530；
其中，第一确定模块510用于在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
其中，第一获取模块520用于获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
其中，识别模块530用于在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
可选地，所述装置还包括：
第一判定模块，用于在第一预设时间段内，所述第一子加速度从第一数值更新为第二数值后，再从所述第二数值更新为第三数值的情况下，判定在所述运动状态的过程中击球命中，其中，所述第二数值大于所述第一数值和所述第三数值；
或，在所述第一子加速度均小于第五预设阈值的情况下，判定在所述运动状态的过程中击球未命中。可选地，
所述装置还包括：
第二获取模块，用于获取目标时段内的P个第一加速度，其中，所述目标时段是第一时刻到第二时刻之间的时段，其中，所述第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，P为正整数；
第二确定模块，用于基于所述P个第一加速度，确定第一加速度波形图；
分析模块，用于根据所述第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图，其中，所述波峰相似度信息是基于所述第一加速度波形图中的第一波峰和Q个第二波峰确定的，所述第二波峰是与所述第一波峰相邻的波峰，Q为正整数；
第三确定模块，用于基于所述第二加速度波形图每秒的波峰数量，确定第一运动步数。
可选地，所述装置还包括：
第二判定模块，用于在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定所述运动状态结束，M为正整数。
在本申请实施例中，通过用户运动过程中携带的电子设备的加速度，识别到用户可能处于运动状态的情况下，进一步获取运动状态中的第一加速度，从而根据第一加速度的特征判定用户是否在进行击球，仅仅需要借助用户在运动过程中携带的电子设备即可以实现，不需要在击球目标中额外添加设备，提高了检测的便利性。
本申请实施例中的运动状态识别装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的运动状态识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的运动状态识别装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，图6为本申请实施例提供的电子设备结构示意图，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述运动状态识别方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器710用于在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
传感器705用于获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
处理器710用于在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
可选地，处理器710用于在第一预设时间段内，所述第一子加速度从第一数值更新为第二数值后，再从所述第二数值更新为第三数值的情况下，判定在所述运动状态的过程中击球命中，其中，所述第二数值大于所述第一数值和所述第三数值；
或，在所述第一子加速度均小于第五预设阈值的情况下，判定在所述运动状态的过程中击球未命中。
可选地，传感器705用于获取目标时段内的P个第一加速度，其中，所述目标时段是第一时刻到第二时刻之间的时段，所述第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，P为正整数；
处理器710用于基于所述P个第一加速度，确定第一加速度波形图；
处理器710用于根据所述第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图，其中，所述波峰相似度信息是基于所述第一加速度波形图中的第一波峰和Q个第二波峰确定的，所述第二波峰是与所述第一波峰相邻的波峰，Q为正整数；
处理器710用于基于所述第二加速度波形图每秒的波峰数量，确定第一运动步数。
可选地，处理器710用于在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定所述运动状态结束，M为正整数。
在本申请实施例中，通过用户运动过程中携带的电子设备的加速度，识别到用户可能处于运动状态的情况下，进一步获取运动过程中的第一加速度，从而根据第一加速度的特征判定用户是否在进行击球，仅仅需要借助用户在运动过程中携带的电子设备即可以实现，不需要在击球目标中额外添加设备，提高了检测的便利性。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述运动状态识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述运动状态识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述运动状态识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种运动状态识别方法，其特征在于，包括：
在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
2.根据权利要求1所述的运动状态识别方法，其特征在于，在识别所述运动状态为击球之后，还包括：
在第一预设时间段内，所述第一子加速度从第一数值更新为第二数值后，再从所述第二数值更新为第三数值的情况下，判定在所述运动状态的过程中击球命中，其中，所述第二数值大于所述第一数值和所述第三数值；
或，在所述第一子加速度均小于第五预设阈值的情况下，判定在所述运动状态的过程中击球未命中。
3.根据权利要求2所述的运动状态识别方法，其特征在于，在所述判定在所述运动状态的过程中击球命中之后，还包括：
获取目标时段内的P个第一加速度，其中，所述目标时段是第一时刻到第二时刻之间的时段，所述第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，P为正整数；
基于所述P个第一加速度，确定第一加速度波形图；
根据所述第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图，其中，所述波峰相似度信息是基于所述第一加速度波形图中的第一波峰和Q个第二波峰确定的，所述第二波峰是与所述第一波峰相邻的波峰，Q为正整数；
基于所述第二加速度波形图每秒的波峰数量，确定第一运动步数。
4.根据权利要求2所述的运动状态识别方法，其特征在于，在所述识别所述运动状态为击球之后，还包括：
在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定所述运动状态结束，M为正整数。
5.一种运动状态识别装置，其特征在于，包括：第一确定模块，用于在电子设备的加速度大于第一预设阈值的情况下，确定所述电子设备处于运动状态；
第一获取模块，用于获取所述电子设备在所述运动状态的N个第一加速度，每个所述第一加速度均包括：第一子加速度和第二子加速度，所述第一子加速度和第二子加速度互相垂直，N为正整数；
识别模块，用于在所述第一加速度的第一子加速度变化量大于第二预设阈值，所述第一加速度的第二子加速度变化量大于第三预设阈值，且每个所述第二子加速度的一阶差分中存在目标一阶差分的情况下，识别所述运动状态为击球；其中，所述目标一阶差分是大于第四预设阈值的一阶差分。
6.根据权利要求5所述的运动状态识别装置，其特征在于，所述装置还包括：
第一判定模块，用于在第一预设时间段内，所述第一子加速度从第一数值更新为第二数值后，再从所述第二数值更新为第三数值的情况下，判定在所述运动状态的过程中击球命中，其中，所述第二数值大于所述第一数值和所述第三数值；
或，在所述第一子加速度均小于第五预设阈值的情况下，判定在所述运动状态的过程中击球未命中。
7.根据权利要求6所述的运动状态识别装置，其特征在于，所述装置还包括：
第二获取模块，用于获取目标时段内的P个第一加速度，其中，所述目标时段是第一时刻到第二时刻之间的时段，其中，所述第一时刻是识别所述运动状态为击球的时刻，所述第二时刻是识别所述运动状态为击球之后，首次检测到所述第一加速度大于所述第一预设阈值的时刻，P为正整数；
第二确定模块，用于基于所述P个第一加速度，确定第一加速度波形图；
分析模块，用于根据所述第一加速度波形图中波峰相似度信息大于第一相似度阈值的第一波峰，得到第二加速度波形图，其中，所述波峰相似度信息是基于所述第一加速度波形图中的第一波峰和Q个第二波峰确定的，所述第二波峰是与所述第一波峰相邻的波峰，Q为正整数；
第三确定模块，用于基于所述第二加速度波形图每秒的波峰数量，确定第一运动步数。
8.根据权利要求6所述的运动状态识别装置，其特征在于，所述装置还包括：
第二判定模块，用于在检测到M个连续的所述第一加速度均小于第六预设阈值的情况下，判定所述运动状态结束，M为正整数。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的运动状态识别方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的运动状态识别方法的步骤。
CN202210337791.1A 2022-03-31 2022-03-31 运动状态识别方法、装置、电子设备及存储介质 Pending CN114692691A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210337791.1A CN114692691A (zh) 2022-03-31 2022-03-31 运动状态识别方法、装置、电子设备及存储介质
PCT/CN2023/084921 WO2023185970A1 (zh) 2022-03-31 2023-03-30 运动状态识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210337791.1A CN114692691A (zh) 2022-03-31 2022-03-31 运动状态识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114692691A true CN114692691A (zh) 2022-07-01

Family

ID=82141320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210337791.1A Pending CN114692691A (zh) 2022-03-31 2022-03-31 运动状态识别方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114692691A (zh)
WO (1) WO2023185970A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185970A1 (zh) * 2022-03-31 2023-10-05 维沃移动通信有限公司 运动状态识别方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012274B (zh) * 2024-04-09 2024-06-11 深圳市晶讯技术股份有限公司 一种基于三轴活跃轴的控制智能手表的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771343B2 (ja) * 2009-06-09 2011-09-14 新世代株式会社 体感ゲーム装置、体感ゲーム方法、及び、記録媒体
US9410979B2 (en) * 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US10097961B2 (en) * 2015-06-08 2018-10-09 Microsoft Technology Licensing, Llc Golf shot detection
CN107252567B (zh) * 2017-06-06 2023-06-30 阳江市智动科技有限公司 一种台球球杆运动状态的检测方法及其存储介质、装置
CN114191799A (zh) * 2020-09-02 2022-03-18 华为技术有限公司 挥杆动作检测方法及可穿戴设备
CN114692691A (zh) * 2022-03-31 2022-07-01 维沃移动通信有限公司 运动状态识别方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185970A1 (zh) * 2022-03-31 2023-10-05 维沃移动通信有限公司 运动状态识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023185970A1 (zh) 2023-10-05

Similar Documents

Publication Publication Date Title
US10545579B2 (en) Remote control with 3D pointing and gesture recognition capabilities
CN114692691A (zh) 运动状态识别方法、装置、电子设备及存储介质
JP6064280B2 (ja) ジェスチャを認識するためのシステムおよび方法
US8269842B2 (en) Camera gestures for user interface control
US8229226B2 (en) Real-time motion recognition method and inertia-sensing and trajectory-reconstruction device using the same
CN109737952B (zh) 跳绳数据处理方法、装置及可穿戴设备
US6944315B1 (en) Method and apparatus for performing scale-invariant gesture recognition
US9753545B2 (en) Input device, input method, and storage medium
EP2816450B1 (en) Information processing apparatus, and information processing method
CN113031840B (zh) 腕戴设备的防误触发方法、装置、电子设备及存储介质
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
CN111288986B (zh) 一种运动识别方法及运动识别装置
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
CN114385012B (zh) 运动的识别方法、装置、电子设备和可读存储介质
CN109758154B (zh) 一种运动状态确定方法、装置、设备及存储介质
Chambers et al. Segmentation of intentional human gestures for sports video annotation
KR20210084444A (ko) 제스처 인식 방법 및 장치, 전자 디바이스 및 기록 매체
CN108491074B (zh) 电子装置、运动辅助方法及相关产品
Shi et al. Utilize smart insole to recognize basketball motions
CN111167105B (zh) 投篮检测方法、装置、设备、系统和存储介质
CN113569776A (zh) 跳绳姿势检测方法、装置、电子设备和介质
TWI796909B (zh) 具有偵測非人為滑鼠事件功能的滑鼠設備與及其偵測方法
KR102346904B1 (ko) 제스처 인식 장치 및 방법
CN116310752A (zh) 运动项目识别方法、装置、电子设备和介质
CN114415929A (zh) 电子设备的控制方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination