CN114783045A - 基于虚拟现实的动作训练检测方法、装置、设备及介质 - Google Patents
基于虚拟现实的动作训练检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114783045A CN114783045A CN202110012024.9A CN202110012024A CN114783045A CN 114783045 A CN114783045 A CN 114783045A CN 202110012024 A CN202110012024 A CN 202110012024A CN 114783045 A CN114783045 A CN 114783045A
- Authority
- CN
- China
- Prior art keywords
- attribute data
- standard
- target
- position attribute
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 88
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 230000033001 locomotion Effects 0.000 title claims description 109
- 230000009471 action Effects 0.000 claims abstract description 103
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 91
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 81
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000003857 wrist joint Anatomy 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000009251 neurologic dysfunction Effects 0.000 description 1
- 208000015015 neurological dysfunction Diseases 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种基于虚拟现实的动作训练检测方法、装置、设备及介质,该方法包括:获取体感视觉传感器采集的目标用户动作图像;根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。可对用户动作标准程度进行检测,提高对用户动作训练进行检测的效率。
Description
技术领域
本发明实施例涉及计算机视觉技术领域及康复训练技术领域,尤其涉及一种基于虚拟现实的动作训练检测方法、装置、设备及介质。
背景技术
中风又称脑卒中,多发于老年人群体,主要指由于脑部血管破裂或阻塞导致的脑组织损伤。该损伤可引起患者神经功能障碍,影响脑卒中幸存者肢体运动能力、语言能力和认知能力。当前的临床研究表明,通过及时、适当的反复训练,能够使神经组织得到部分重建,患者的神经功能得到改善。
在进行肢体康复训练时,一个非常重要的指标是患者的动作标准程度,如果不标准,则需要对患者的动作进行纠正。现有技术中一般采用电磁式自动化设备对用户的动作标准程度进行监测并实时展示给患者,患者就能够据此自行判断动作是否标准,可以实现自主矫正。
但在使用电磁式自动化设备时,配置传感器需要较长时间,使得对用户动作训练进行检测的效率较低。
发明内容
本发明实施例提供一种基于虚拟现实的动作训练检测方法、装置、设备及介质,该方法解决了现有技术中由于在使用电磁式自动化设备时,配置传感器需要较长时间,使得对用户动作训练进行检测的效率较低的技术问题。
第一方面,本发明实施例提供一种基于虚拟现实的动作训练检测方法,包括:
获取体感视觉传感器采集的目标用户动作图像;
根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;
根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;
根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;
根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
可选地,如上所述的方法,所述根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据,包括:
根据所述目标空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一目标位置属性数据。
可选地,如上所述的方法,所述根据所述各待处理相对位置确定第一目标位置属性数据,包括:
对所述各待处理相对位置进行标准化处理;
将所述标准化处理结果确定为第一目标位置属性数据。
可选地,如上所述的方法,所述根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度之前,还包括:
确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据。
可选地,如上所述的方法,所述确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据,包括:
在预设时间段内,获取体感视觉传感器采集的每一帧人体图像中第一预设个数骨骼关节点对应的空间坐标;
计算预设时间段内第一预设个数骨骼关节点对应的空间坐标的平均值,并将所述平均值确定为标准空间坐标;
根据所述标准空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一标准位置属性数据;
根据所述标准空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二标准位置属性数据。
可选地,如上所述的方法,所述根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据,包括:
根据所述目标空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二目标位置属性数据。
可选地,如上所述的方法,所述根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度,包括:
根据所述第一目标位置属性数据和所述第一标准位置属性数据计算位置标准程度;
根据所述第二目标位置属性数据和所述第二标准位置属性数据计算角度标准程度;
根据所述位置标准程度和所述角度标准程度计算动作标准程度。
可选地,如上所述的方法,所述根据所述位置标准程度和所述角度标准程度计算动作标准程度,包括:
计算所述位置标准程度和所述角度标准程度的平均值,并将所述平均值确定为动作标准程度。
第二方面,本发明实施例提供一种基于虚拟现实的动作训练检测装置,包括:
获取模块,用于获取体感视觉传感器采集的目标用户动作图像;根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;
确定模块,根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;
计算模块,根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
可选地,如上所述的装置,所述确定模块,具体用于:
根据所述目标空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一目标位置属性数据。
可选地,如上所述的装置,所述确定模块,在根据所述各待处理相对位置确定第一目标位置属性数据时,具体用于:
对所述各待处理相对位置进行标准化处理;
将所述标准化处理结果确定为第一目标位置属性数据。
可选地,如上所述的装置,所述确定模块,具体用于:
根据所述目标空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二目标位置属性数据。
可选地,如上所述的装置,所述计算模块,具体用于:
根据所述第一目标位置属性数据和所述第一标准位置属性数据计算位置标准程度;
根据所述第二目标位置属性数据和所述第二标准位置属性数据计算角度标准程度;
根据所述位置标准程度和所述角度标准程度计算动作标准程度。
可选地,如上所述的装置,所述计算模块,在根据所述位置标准程度和所述角度标准程度计算动作标准程度时,具体用于:
计算所述位置标准程度和所述角度标准程度的平均值,并将所述平均值确定为动作标准程度。
可选地,如上所述的装置,所述确定模块,还用于:
确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据。
可选地,如上所述的装置,所述确定模块,具体用于:
在预设时间段内,获取体感视觉传感器采集的每一帧人体图像中第一预设个数骨骼关节点对应的空间坐标;
计算预设时间段内第一预设个数骨骼关节点对应的空间坐标的平均值,并将所述平均值确定为标准空间坐标;
根据所述标准空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一标准位置属性数据;
根据所述标准空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二标准位置属性数据。
第三方面,本发明实施例提供一种基于虚拟现实的动作训练检测设备,包括:
存储器,处理器以及体感视觉传感器;
所述处理器、所述存储器与所述体感摄像头通过电路互联;
其中,所述存储器存储计算机指令,所述体感视觉传感器,用于采集目标用户动作图像;
所述处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第一方面中任一项所述的基于虚拟现实的动作训练检测方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如第一方面中任一项所述的基于虚拟现实的动作训练检测方法。
本发明实施例提供一种基于虚拟现实的动作训练检测方法、装置、设备及介质,通过获取体感视觉传感器采集的目标用户动作图像;根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。可利用体感视觉传感器能够根据采集的用户动作图像识别人体骨骼关节点,并能够提供骨骼关节点空间坐标的特点,来获取骨骼关节点的位置属性数据,将目标位置属性数据与标准位置属性数据进行比较,从而得到用户的动作标准程度,以在用户动作不标准时,向用户发出提示信息,供用户进行自主矫正。由于该基于虚拟现实的动作训练检测方法无需进行传感器的配置,因此,可提高对用户动作训练进行检测的效率。
应当理解,上述发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征,亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于虚拟现实的动作训练检测设备的应用场景示意图;
图2为本发明实施一提供的基于虚拟现实的动作训练检测方法的流程图;
图3为本发明提供的Kinect 2.0体感摄像头识别到的人体骨骼关节点的分布图;
图4为本发明实施例二提供的基于虚拟现实的动作训练检测方法的流程图;
图5为本发明实施例一提供的基于虚拟现实的动作训练检测装置的结构示意图;
图6为本发明实施例一提供的基于虚拟现实的动作训练检测设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例,然而应当理解的是,本发明可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是,本发明的附图及实施例仅用于示例性作用,并非用于限制本发明的保护范围。
本发明实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。
现有技术中,在对动作训练进行检测时,采用较多的为电磁式自动化设备。通过在用户手上绑定传感器,采集用户动作信息,并向接收设备发出对应的动作信号,接收设备根据信号的往返时间来检测用户的动作是否标准。
但在用户每次需要进行动作训练检测时,都需要专业人员在用户身上配置传感器。一般如果需要对用户全身进行动作训练检测,则配置时间约为15-20分钟;如果只需检测胳膊或腿部动作,则配置时间约为4-5分钟。这大大降低了动作训练检测的效率。
所以针对现有技术中针对使用电磁式自动化设备时,配置传感器需要较长时间,使得对用户动作训练进行检测的效率较低的技术问题,发明人在研究中发现,可利用体感视觉传感器能够根据采集的用户动作图像识别人体骨骼关节点,并能够提供骨骼关节点空间坐标的特点,来获取骨骼关节点的位置属性数据,将目标位置属性数据与标准位置属性数据进行比较,从而得到用户的动作标准程度,以在用户动作不标准时,向用户发出提示信息,供用户进行自主矫正。由于该基于虚拟现实的动作训练检测方法无需进行传感器的配置,因此,可提高对用户动作训练进行检测的效率。
图1是一种基于虚拟现实的动作训练检测设备的应用场景示意图,如图1所示,包括基于虚拟现实的动作训练检测装置1,体感视觉传感器2及用户3。其中,基于虚拟现实的动作训练检测装置1采用本发明提供的基于虚拟现实的动作训练检测方法,通过获取体感视觉传感器采集的目标用户动作图像;根据目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;根据目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;根据第一目标位置属性数据、第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度,实现对用户动作训练准确度的检测。体感视觉传感器2可为体感摄像头,包括但不限于Kinect 2.0体感摄像头。对于体感视觉传感器2来说,其可以采集用户动作图像,并可以根据采集的用户动作图像确定各骨骼关节点对应的空间坐标。
示例性地,如图1所示,在动作训练检测场景下,体感视觉传感器2可以为Kinect2.0体感摄像头。通过本发明提供的基于虚拟现实的动作训练检测方法,当用户需要进行动作训练时,开启Kinect 2.0体感摄像头,Kinect 2.0体感摄像头即可对用户的动作进行实时采集,并将采集到的用户动作图像及各骨骼关节点对应的空间坐标存入基于虚拟现实的动作训练检测装置1,基于虚拟现实的动作训练检测装置1对各骨骼关节点对应的空间坐标进行数据处理,并将处理后的数据与标准动作数据进行对比,以得到用户动作的准确度,在用户动作不标准时,向用户发出提示信息,供用户进行自主矫正。通过这样的方法,只要提前录制好了标准动作,就可以对用户动作进行实时检测,无需进行传感器的配置,因此,可提高对用户动作训练进行检测的效率。
以下参照附图来具体描述本发明的实施例
实施例一
图2为本发明实施例一提供的基于虚拟现实的动作训练检测方法的流程图,如图2所示,本实施例的执行主体为基于虚拟现实的动作训练检测装置,该基于虚拟现实的动作训练检测装置可以集成在基于虚拟现实的动作训练检测设备中。则本实施例提供的基于虚拟现实的动作训练检测方法包括以下几个步骤。
步骤101,获取体感视觉传感器采集的目标用户动作图像。
可选地,本实施例中,采用的体感视觉传感器为Kinect 2.0体感摄像头。如图3所示为Kinect 2.0体感摄像头识别到的人体骨骼关节点的分布图,从图中可以看出,Kinect2.0体感摄像头能够识别人体25个骨骼关节点,并且还能够提供识别出的各骨骼关节点在Kinect坐标系中的坐标。
其中,体感视觉传感器还可以为其他摄像头,本实施例中对此不作限定。
具体地,本实施例中,体感视觉传感器在开启后,即可实时采集目标用户动作图像。
其中,目标用户动作图像为深度图像。
具体地,本实施例中,体感视觉传感器在采集了目标用户动作图像后,将目标用户动作图像存入基于虚拟现实的动作训练检测装置,基于虚拟现实的动作训练检测装置即获取到了体感视觉传感器采集的目标用户动作图像。
步骤102,根据目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标。
可选地,本实施例中,体感视觉传感器可根据目标用户动作图像,并结合算法提取骨骼关节信息,进而确定目标用户动作图像中第一预设个数骨骼关节点对应的目标空间坐标。
其中,第一预设个数可以为25,或者还可以为其他数值,本实施例中对此不作限定。
具体地,本实施例中,基于虚拟现实的动作训练检测装置可每隔预设时间段获取目标用户动作图像中第一预设个数骨骼关节点对应的目标空间坐标。
步骤103,根据目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据。
可选地,本实施例中,基于虚拟现实的动作训练检测装置对第二预设个数骨骼关节点对应的目标空间坐标进行数据处理,得到第二预设个数骨骼关节点对应的第一目标位置属性数据。
其中,数据处理方式可以为求差或者求比值,或者还可以为求其他值,本实施例中对此不作限定。第二预设个数可以为24,或者还可以为其他数值,本实施例中对此不作限定。
其中,第一目标位置属性数据可以为当前从测得的动作图像数据中得到的相对位置经过标准化处理后的结果数据,或者还可以为其它数据,本实施例中对此不作限定。
步骤104,根据目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据。
其中,第三预设个数可以为10,或者还可以为其他数值,本实施例中对此不作限定。第三预设个数骨骼关节点为动作训练检测目标中的重要关节点,通过检测这些重要关节点,可以确定绝大部分训练动作的准确程度。
可选地,本实施例中,基于虚拟现实的动作训练检测设备对第三预设个数骨骼关节点对应的目标空间坐标进行数据处理,得到第三预设个数骨骼关节点对应的第二目标位置属性数据。
其中,数据处理方式可以为求余弦值,或者求其他值,本实施例中对此不作限定。则第二目标位置属性数据可以为余弦值或者其他值,本实施例中对此不作限定。
步骤105,根据第一目标位置属性数据、第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
其中,第一标准位置属性数据与第一目标位置属性数据相对应,是通过将采集的标准动作数据经过数据处理后得到的;第二标准位置属性数据与第二目标位置属性数据相对应,是通过将采集的标准动作数据经过数据处理后得到的。
可选地,本实施例中,通过将第一标准位置属性数据与第一目标位置属性数据相比较及将第二标准位置属性数据与第二目标位置属性数据相比较,或者还可以包括其他比较方式,可以计算用户的动作标准程度。
本实施例提供的基于虚拟现实的动作训练检测方法,通过获取体感视觉传感器采集的目标用户动作图像;根据目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;根据目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;根据第一目标位置属性数据、第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。可利用体感视觉传感器能够根据采集的用户动作图像识别人体骨骼关节点,并能够提供骨骼关节点空间坐标的特点,来获取骨骼关节点的位置属性数据,将目标位置属性数据与标准位置属性数据进行比较,从而得到用户的动作标准程度,以在用户动作不标准时,向用户发出提示信息,供用户进行自主矫正。由于该基于虚拟现实的动作训练检测方法无需进行传感器的配置,因此,可提高对用户动作训练进行检测的效率。
实施例二
图4为本发明实施例二提供的基于虚拟现实的动作训练检测方法的流程图,如图4所示,本实施例提供的基于虚拟现实的动作训练检测方法,是在本发明基于虚拟现实的动作训练检测方法实施例一的基础上,对步骤101-步骤105的进一步细化,并且还包括了确定标准位置属性数据的步骤。则本实施例提供的基于虚拟现实的动作训练检测方法包括以下步骤。
步骤201,获取体感视觉传感器采集的目标用户动作图像。
可选地,本实施例中,体感视觉传感器在采集了目标用户动作图像后,将目标用户动作图像存入基于虚拟现实的动作训练检测装置,基于虚拟现实的动作训练检测装置即获取到了体感视觉传感器采集的目标用户动作图像。
其中,体感视觉传感器可以为Kinect 2.0体感摄像头,或者还可以为其他摄像头,本实施例中对此不作限定。
步骤202,根据目标空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置。
其中,第二预设个数可以为24,或者还可以为其他数值,本实施例中对此不作限定。预设的基准关节点可以为脊柱中心关节点,或者还可以为其他关节点,本实施例中对此不作限定。
可选地,本实施例中,Kinect 2.0体感摄像头在将目标用户动作图像存入基于虚拟现实的动作训练检测装置的同时,还将各骨骼关节点对应的目标空间坐标进行了存储。
可选地,本实施例中,基于虚拟现实的动作训练检测装置根据存储的目标空间坐标,计算24个骨骼关节点与脊柱中心关节点之间的距离,将各对应距离确定为各待处理相对位置。
步骤203,根据各待处理相对位置确定第一目标位置属性数据。
可选地,步骤203具体包括以下步骤:
步骤2031,对各待处理相对位置进行标准化处理;
步骤2032,将标准化处理结果确定为第一目标位置属性数据。
可选地,本实施例中,对各待处理相对位置进行标准化处理的计算方式如公式(1)(2)所示
其中,Parameter为标准化参数,表示左肘关节点(英文名称:ElbowLeft)与左腕关节点(英文名称:WristLeft)两骨骼关节点之间的空间距离,即小臂长度,或者还可以为其他部分的长度,本实施例中对此不作限定。(xElbowLeft,yElbowLeft,zElbowLeft)表示左肘关节点的空间坐标的平均值,(xWristLeft,yWristLeftt,zWristLeft)表示左腕关节点的空间坐标的平均值。Positioni为标准化处理后的第i个骨骼关节点与脊柱中心关节点之间的相对位置。(xi,yi,zi)表示第二预设个数骨骼关节点中第i个骨骼关节点的空间坐标的平均值,(xSpineBase,ySpineBase,zSpineBase)表示脊柱中心关节点的空间坐标的平均值。由于人的身高各不相同,因此需要对采集到的数据进行标准化处理,本实施例中将各待处理相对位置换算为小臂长度的倍数。
可选地,本实施例中,对各待处理相对位置进行标准化处理后,即得到了第一目标位置属性数据。
其中,第一目标位置属性数据可以为当前从测得的动作图像数据中得到的相对位置经过标准化处理后的结果数据,或者还可以为其它数据,本实施例中对此不作限定。
步骤204,根据目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据。
可选地,步骤204具体包括以下步骤:
步骤2041,根据目标空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
步骤2042,将角度值或余弦值确定为第二目标位置属性数据。
其中,第三预设个数可以为10,或者还可以为其他数值,本实施例中对此不作限定;第三预设个数骨骼关节点可以包括左肘关节点、右肘关节点、左肩关节点、右肩关节点、左髋关节点、右髋关节点、左膝关节点、右膝关节点、左踝关节点和右踝关节点,或者还可以包括其他关节点,本实施例中对此不作限定。第三预设个数骨骼关节点为动作训练检测目标中的重要关节点,通过检测这些重要关节点,可以确定绝大部分训练动作的准确程度。
可选地,本实施例中,第三预设个数骨骼关节点各对应的角度值可利用公式(3)进行计算
可选地,本实施例中,根据目标空间坐标确定第三预设个数各骨骼关节点所连接的两骨骼对应的两个向量的坐标,根据各两个向量坐标计算各对应角度值,并将各对应角度值确定为第二目标位置属性数据。其中,还可以根据各两个向量坐标计算各对应余弦值,并将各对应余弦值确定为第二目标位置属性数据,或者还可以为将角度值和余弦值的组合确定为第二目标位置属性数据,本实施例中对此不作限定。
步骤205,确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据。
可选地,步骤205具体包括以下步骤:
步骤2051,在预设时间段内,获取体感视觉传感器采集的每一帧人体图像中第一预设个数骨骼关节点对应的空间坐标;
步骤2052,计算预设时间段内第一预设个数骨骼关节点对应的空间坐标的平均值,并将平均值确定为标准空间坐标;
步骤2053,根据标准空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
步骤2054,根据各待处理相对位置确定第一标准位置属性数据;
步骤2055,根据标准空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
步骤2056,将角度值或余弦值确定为第二标准位置属性数据。
可选地,本实施例中,在需要录制标准动作时,开启Kinect 2.0体感摄像头,Kinect 2.0体感摄像头在预设时间段内对当前动作进行人体图像采集,并根据每一帧人体图像确定第一预设个数骨骼关节点对应的空间坐标,并将空间坐标存入基于虚拟现实的动作训练检测设备。其中,预设时间段可以为3s,或者还可以为其他时间,本实施例中对此不作限定。
其中,在需要录制标准动作时,需要一人处于Kinect 2.0体感摄像头正前方2m处,并且面对Kinect 2.0体感摄像头保持标准动作3s。
可选地,本实施例中,基于虚拟现实的动作训练检测装置获取第一预设个数骨骼关节点对应的空间坐标,并计算预设时间段内第一预设个数骨骼关节点中每一空间坐标的平均值,并将该平均值确定为标准空间坐标。标准空间坐标可由公式(4)计算获得
其中,(xi,yi,zi)表示第i个骨骼关节点的空间坐标的平均值,F表示3s的总帧数,(xif,yif,zif)表示第f帧时,第i个骨骼关节点的空间坐标。
可以理解的是,确定第一标准位置属性数据的方法与确定第一目标位置属性数据的方法类似,确定第二标准位置属性数据的方法与确定第二目标位置属性数据的方法类似,因此,本实施例中对此不再详细阐述。
其中,第一标准位置属性数据可以为标准动作图像数据经过标准化处理后的结果数据,或者还可以为其它处理方式,本实施例中对此不作限定。第二目标位置属性数据可以为角度值和/或余弦值或者其他值,本实施例中对此不作限定。
步骤206,根据第一目标位置属性数据和第一标准位置属性数据计算位置标准程度。
可选地,本实施例中,由公式(5)可计算位置标准程度
其中,PositionAccuracy表示待测动作与标准动作相比的的骨骼关节点坐标标准程度,Positioni表示标准动作的第i个骨骼关节点的相对位置,Positioni'表示待测动作的第i个骨骼关节点的相对位置,N为骨骼节点个数。
步骤207,根据第二目标位置属性数据和第二标准位置属性数据计算角度标准程度。
可选地,本实施例中,由公式(6)可计算角度标准程度
AngleAccuracy表示待测动作与标准动作相比的角度标准程度,Anglei表示第三预设个数骨骼关节点中的第i个关节点对应的标准角度值,Anglei'表示第三预设个数骨骼关节点中的第i个关节点对应的待测角度值,M表示第三预设个数的数值。
步骤208,根据位置标准程度和角度标准程度计算动作标准程度。
可选地,步骤208具体包括:计算位置标准程度和角度标准程度的平均值,并将平均值确定为动作标准程度。
可选地,本实施例中,动作标准程度可由公式(7)计算获得
其中,Accuracy表示待测动作与标准动作相比的动作标准程度,取值范围为[0,1]。PositionAccuracy表示待测动作与标准动作相比的的骨骼关节点坐标标准程度,AngleAccuracy表示待测动作与标准动作相比的关节标准程度。
本实施例提供的基于虚拟现实的动作训练检测方法,通过确定标准动作对应的第一标准位置属性数据和第二标准位置属性数据,可为确定待测动作的标准程度提供一个位置参考标准,且由于第二标准位置属性数据反映的是重要关节点的位置,根据这些重要关节点,可以确定绝大部分训练动作的准确程度,所以,在检测用户动作标准程度时,在考虑第一标准位置属性数据的基础上,参考第二标准位置属性数据,可以提高检测结果的准确程度。
实施例三
图5为本发明实施例一提供的基于虚拟现实的动作训练检测装置的结构示意图,如图5所示,本实施例提供的装置30包括:获取模块31,确定模块32及计算模块33。
其中,获取模块31,用于获取体感视觉传感器采集的目标用户动作图像;根据目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标。确定模块32,用于根据目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据。计算模块33,用于根据第一目标位置属性数据、第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
本实施例提供的基于虚拟现实的动作训练检测装置可以执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选地,确定模块32,具体用于:
根据目标空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据各待处理相对位置确定第一目标位置属性数据。
可选地,确定模块32,在根据各待处理相对位置确定第一目标位置属性数据时,具体用于:
对各待处理相对位置进行标准化处理;
将标准化处理结果确定为第一目标位置属性数据。
可选地,确定模块32,具体用于:
根据目标空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将角度值或余弦值确定为第二目标位置属性数据。
可选地,计算模块33,具体用于:
根据第一目标位置属性数据和第一标准位置属性数据计算位置标准程度;
根据第二目标位置属性数据和第二标准位置属性数据计算角度标准程度;
根据位置标准程度和角度标准程度计算动作标准程度。
可选地,计算模块33,在根据位置标准程度和角度标准程度计算动作标准程度时,具体用于:
计算位置标准程度和角度标准程度的平均值,并将平均值确定为动作标准程度。
可选地,确定模块32,还用于:
确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据。
可选地,确定模块32,具体用于:
在预设时间段内,获取体感视觉传感器采集的每一帧人体图像中第一预设个数骨骼关节点对应的空间坐标;
计算预设时间段内第一预设个数骨骼关节点对应的空间坐标的平均值,并将平均值确定为标准空间坐标;
根据标准空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据各待处理相对位置确定第一标准位置属性数据;
根据标准空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将角度值或余弦值确定为第二标准位置属性数据。
本实施例提供的基于虚拟现实的动作训练检测装置可以执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
根据本发明的实施例,本发明还提供了一种基于虚拟现实的动作训练检测设备和一种计算机可读存储介质。
如图6所示,是根据本发明实施例提供的基于虚拟现实的动作训练检测设备的结构示意图。该基于虚拟现实的动作训练检测设备包括:存储器401,处理器402及体感视觉传感器403。存储器401、处理器402与体感视觉传感器403通过电路互联。具体地,各个部件利用总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。其中,存储器401即为本发明所提供的计算机可读存储介质,用于存储计算机指令,该计算机指令用于使计算机执行本发明所提供的基于虚拟现实的动作训练检测方法。体感视觉传感器,用于采集目标用户动作图像;处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行本发明所提供的基于虚拟现实的动作训练检测方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明实施例的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种基于虚拟现实的动作训练检测方法,其特征在于,包括:
获取体感视觉传感器采集的目标用户动作图像;
根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;
根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;
根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;
根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据,包括:
根据所述目标空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一目标位置属性数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述各待处理相对位置确定第一目标位置属性数据,包括:
对所述各待处理相对位置进行标准化处理;
将所述标准化处理结果确定为第一目标位置属性数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度之前,还包括:
确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据。
5.根据权利要求4所述的方法,其特征在于,所述确定标准动作对应的第二预设个数骨骼关节点对应的第一标准位置属性数据和第三预设个数骨骼关节点对应的第二标准位置属性数据,包括:
在预设时间段内,获取体感视觉传感器采集的每一帧人体图像中第一预设个数骨骼关节点对应的空间坐标;
计算预设时间段内第一预设个数骨骼关节点对应的空间坐标的平均值,并将所述平均值确定为标准空间坐标;
根据所述标准空间坐标,计算第二预设个数骨骼关节点与预设的基准关节点之间的各待处理相对位置;
根据所述各待处理相对位置确定第一标准位置属性数据;
根据所述标准空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二标准位置属性数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据,包括:
根据所述目标空间坐标确定第三预设个数骨骼关节点各对应的角度值或余弦值;
将所述角度值或所述余弦值确定为第二目标位置属性数据。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度,包括:
根据所述第一目标位置属性数据和所述第一标准位置属性数据计算位置标准程度;
根据所述第二目标位置属性数据和所述第二标准位置属性数据计算角度标准程度;
根据所述位置标准程度和所述角度标准程度计算动作标准程度。
8.一种基于虚拟现实的动作训练检测装置,其特征在于,包括:
获取模块,用于获取体感视觉传感器采集的目标用户动作图像;根据所述目标用户动作图像获取第一预设个数骨骼关节点对应的目标空间坐标;
确定模块,用于根据所述目标空间坐标确定第二预设个数骨骼关节点对应的第一目标位置属性数据;根据所述目标空间坐标确定第三预设个数骨骼关节点对应的第二目标位置属性数据;
计算模块,用于根据所述第一目标位置属性数据、所述第二目标位置属性数据及预先确定的第一标准位置属性数据和第二标准位置属性数据,计算动作标准程度。
9.一种基于虚拟现实的动作训练检测设备,其特征在于,包括:
存储器,处理器及体感视觉传感器;
所述处理器、所述存储器与所述体感视觉传感器通过电路互联;
其中,所述存储器存储计算机指令,所述体感视觉传感器,用于采集目标用户动作图像;
所述处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1-7中任一项所述的基于虚拟现实的动作训练检测方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的基于虚拟现实的动作训练检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110012024.9A CN114783045A (zh) | 2021-01-06 | 2021-01-06 | 基于虚拟现实的动作训练检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110012024.9A CN114783045A (zh) | 2021-01-06 | 2021-01-06 | 基于虚拟现实的动作训练检测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114783045A true CN114783045A (zh) | 2022-07-22 |
Family
ID=82407636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110012024.9A Pending CN114783045A (zh) | 2021-01-06 | 2021-01-06 | 基于虚拟现实的动作训练检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114783045A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102500094A (zh) * | 2011-10-28 | 2012-06-20 | 北京航空航天大学 | 一种基于kinect的动作训练方法 |
CN105469679A (zh) * | 2015-11-14 | 2016-04-06 | 辽宁大学 | 基于Kinect的心肺复苏辅助训练系统及方法 |
CN108853946A (zh) * | 2018-07-10 | 2018-11-23 | 燕山大学 | 一种基于Kinect的健身指导训练系统及方法 |
WO2020177498A1 (zh) * | 2019-03-04 | 2020-09-10 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
CN111652078A (zh) * | 2020-05-11 | 2020-09-11 | 浙江大学 | 一种基于计算机视觉的瑜伽动作指导系统和方法 |
CN111914643A (zh) * | 2020-06-30 | 2020-11-10 | 西安理工大学 | 一种基于骨骼关键点检测的人体动作识别方法 |
CN112016497A (zh) * | 2020-09-04 | 2020-12-01 | 王海 | 基于人工智能的单视角太极拳动作分析及考核系统 |
-
2021
- 2021-01-06 CN CN202110012024.9A patent/CN114783045A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102500094A (zh) * | 2011-10-28 | 2012-06-20 | 北京航空航天大学 | 一种基于kinect的动作训练方法 |
CN105469679A (zh) * | 2015-11-14 | 2016-04-06 | 辽宁大学 | 基于Kinect的心肺复苏辅助训练系统及方法 |
CN108853946A (zh) * | 2018-07-10 | 2018-11-23 | 燕山大学 | 一种基于Kinect的健身指导训练系统及方法 |
WO2020177498A1 (zh) * | 2019-03-04 | 2020-09-10 | 南京邮电大学 | 一种基于姿态估计的非侵入式人体热舒适检测方法及系统 |
CN111652078A (zh) * | 2020-05-11 | 2020-09-11 | 浙江大学 | 一种基于计算机视觉的瑜伽动作指导系统和方法 |
CN111914643A (zh) * | 2020-06-30 | 2020-11-10 | 西安理工大学 | 一种基于骨骼关键点检测的人体动作识别方法 |
CN112016497A (zh) * | 2020-09-04 | 2020-12-01 | 王海 | 基于人工智能的单视角太极拳动作分析及考核系统 |
Non-Patent Citations (4)
Title |
---|
SHUWEI CHEN等: "Lower Limb Balance Rehabilitation of Post-stroke Patients Using an Evaluating and Training Combined Augmented Reality System", 2020 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY ADJUNCT (ISMAR-ADJUNCT), 16 December 2020 (2020-12-16) * |
胡新荣等: "基于Kinect 的人体三维动作实时动态识别", 科学技术与工程, vol. 20, no. 34, 31 December 2020 (2020-12-31), pages 1 - 2 * |
赵玉婷等: "卷积神经网络用于关节角度识别与姿势评估", 计算机工程与应用, vol. 55, no. 16, 3 April 2019 (2019-04-03) * |
黄健: "基于Kinect系统运动采集的康复训练平台的研究与设计", CNKI中国知网 信息科技, no. 1, 15 January 2014 (2014-01-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110495889B (zh) | 体态评估方法、电子装置、计算机设备及存储介质 | |
JP5534607B2 (ja) | 医用画像処理装置及び、そのプログラム | |
WO2015162158A1 (en) | Human motion tracking | |
Matthew et al. | Kinematic and kinetic validation of an improved depth camera motion assessment system using rigid bodies | |
US11138746B2 (en) | Diagnostic support system and diagnostic support method | |
JP6930995B2 (ja) | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム | |
CN107115102A (zh) | 一种骨关节功能评估方法与装置 | |
WO2013086009A1 (en) | Quantified injury diagnostics | |
JP7107264B2 (ja) | 人等の身体動作推定システム | |
JP2022544793A (ja) | 身体活動のコンテキストにおいて対象者に関する生体力学的活動及び生体力学的リスク因子への曝露を解析するための方法及びシステム | |
CN115346670A (zh) | 基于姿态识别的帕金森病评级方法、电子设备及介质 | |
Gastaldi et al. | Evaluation of functional methods for human movement modelling | |
EP3438601B1 (en) | Measurement device, measurement method, and computer program | |
WO2021211236A1 (en) | Device for mapping a sensor's baseline coordinate reference frames to anatomical landmarks | |
CN114783045A (zh) | 基于虚拟现实的动作训练检测方法、装置、设备及介质 | |
Zebin et al. | Inertial sensing for gait analysis and the scope for sensor fusion | |
CN115937969A (zh) | 仰卧起坐考核中目标人物的确定方法、装置、设备及介质 | |
CN114053679A (zh) | 运动训练方法及其系统 | |
Norden et al. | Real-time joint axes estimation of the hip and knee joint during gait using inertial sensors | |
CN111079597A (zh) | 三维信息检测方法及电子设备 | |
CN111435535A (zh) | 一种关节点信息的获取方法及装置 | |
EP4321101A1 (en) | Patient motion detection in diagnostic imaging | |
EP4187546A1 (en) | Assisting subject positioning in medical imaging | |
Far et al. | Evaluating the hip range of motion using the goniometer, the Nintendo Wiimote and video tracking methods | |
Uesaka et al. | Analysis of Patella Movement and Posture During Knee Flexion Using a Depth Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |