CN117011945B - 动作能力评估方法、装置、计算机设备及可读存储介质 - Google Patents
动作能力评估方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN117011945B CN117011945B CN202311278527.6A CN202311278527A CN117011945B CN 117011945 B CN117011945 B CN 117011945B CN 202311278527 A CN202311278527 A CN 202311278527A CN 117011945 B CN117011945 B CN 117011945B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- action
- identified
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 230000005477 standard model Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种动作能力评估方法、装置、计算机设备及可读存储介质。所述方法包括:获取待识别图像;基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。本申请一方面能够提高身份识别的准确度,另一方面,可以实现同时对多个对象进行动作能力评估,避免了人工测评存在的效率较低和主观性较高的问题,有效提高了动作能力评估的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种动作能力评估方法、装置、计算机设备及可读存储介质。
背景技术
动作能力是指个体在四肢和躯干等部位的神经肌肉控制下完成特定任务的能力。动作能力通常包括粗大动作能力和精细动作能力两类,对粗大动作能力进行评估可以确定评估对象的身体机能、运动素质等,对精细动作能力进行评估可以确定评估对象的协调能力、空间认知能力等。
传统技术中的动作能力评估主要依赖于人工进行测评,例如以相应的发展能力评估量表为依据,结合专门的测评工具,由专业的测评师一对一进行动作能力的评估测试等。然而,人工测评一方面在面对较多的评估对象时效率较低,且需要对测评人员进行专业的培训,成本较高;另一方面人工测评的主观性较强,尤其对于精细动作的能力评估而言,人工测评难以捕捉到所有的精细动作形成客观有效的测量指标,评估结果准确度较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高动作能力评估效率和准确度的动作能力评估方法、装置、计算机设备及可读存储介质。
第一方面,本申请提供了一种动作能力评估方法。所述方法包括:
获取待识别图像;
基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;
基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;
基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。
在其中一个实施例中,所述基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息包括:
对所述第一人脸梯度特征以及第一人脸深度特征进行加权平均,确定融合特征;
将所述融合特征与预设特征进行匹配,确定所述待识别对象的身份信息。
在其中一个实施例中,在所述将所述融合特征与预设特征进行匹配之前,还包括:
获取全景图像;
基于所述全景图像确定所述待识别对象的第二人脸梯度特征以及第二人脸深度特征,对所述第二人脸梯度特征以及第二人脸深度特征进行加权平均,确定所述预设特征;
将所述预设特征与人脸特征数据库进行匹配,确定所述待识别对象的身份信息。
在其中一个实施例中,还包括:
基于所述全景图像确定所述待识别对象的第二人体特征;
在所述待识别图像不包括人脸特征的情况下,基于所述待识别图像确定所述待识别对象的第一人体特征;
将所述第一人体特征与第二人体特征进行匹配,确定所述待识别对象的身份信息。
在其中一个实施例中,所述基于所述动作图像确定动作评估结果包括:
将所述动作图像输入训练好的动作识别模型,得到所述动作数据,所述动作数据至少包括位置信息、运动频率以及运动幅度;
基于所述动作数据确定所述动作评估结果。
在其中一个实施例中,所述动作识别模型通过如下方式训练得到:
基于预设参数对卷积神经网络进行初始化;
基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型,所述标准模型基于残差网络训练得到。
在其中一个实施例中,所述基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型包括:
将动作图像样本输入至所述标准模型中,确定标准特征,其中,所述标准特征包括动作图像整体特征、基于卷积核尺寸确定的动作图像部分特征、基于注意力尺寸确定的精细动作图像特征以及目标部位检测框特征;
将所述动作图像样本输入至所述卷积神经网络,确定预测特征,并基于所述预测特征与所述标准特征之间的差异,对所述卷积神经网络中相应训练参数进行迭代调整,直至所述差异满足预设要求。
第二方面,本申请还提供了一种动作能力评估装置。所述装置包括:
图像获取模块,用于获取待识别图像;
特征提取模块,用于基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;
身份识别模块,用于基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;
动作识别评估模块,用于基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一动作能力评估方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一动作能力评估方法的步骤。
上述动作能力评估方法、装置、计算机设备及可读存储介质,通过获取待识别图像,基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征,基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息,基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。一方面,基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的身份信息,能够提高身份识别的准确度;另一方面,基于身份信息确定待识别对象的动作图像,并基于动作图像确定动作评估结果,可以实现同时对多个对象进行动作能力评估,避免了人工测评存在的效率较低和主观性较高的问题,有效提高了动作能力评估的效率和准确度。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中动作能力评估方法的应用环境图;
图2为一个实施例中动作能力评估方法的流程示意图;
图3为一个实施例中标准模型对卷积神经网络进行监督训练的示意图;
图4为一个实施例中动作能力评估装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
以下所使用的术语“模块”、“单元”等为可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以硬件来实现,但是软件,或者软件和硬件的组合的实现也是可能并被构想的。
本申请实施例提供的动作能力评估方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。在一个实施例中,终端102获取待识别图像,并基于待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征后,将特征数据发送至服务器104,服务器104基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的身份信息,基于身份信息确定待识别对象的动作图像,并基于动作图像确定动作评估结果。可以理解的,上述确定待识别对象身份信息、确定待识别对象的动作图像以及确定动作评估结果的步骤也可以由终端102执行,本申请对此不作限制。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
传统技术中,动作能力评估主要依赖于人工进行测评,例如以相应的发展能力评估量表为依据,结合专门的测评工具,由专业的测评师一对一进行动作能力的评估测试等。然而,人工测评一方面在面对较多的评估对象时效率较低,且需要对测评人员进行专业的培训,成本较高;另一方面人工测评的主观性较强,尤其对于精细动作的能力评估而言,人工测评难以捕捉到所有的精细动作形成客观有效的测量指标,评估结果准确度较低。例如,通过人工测评的方式对儿童精细动作能力进行评估时,在观察儿童进行按钮插孔、夹取小物品、细密图案填色任务过程中的手臂、手腕、手指、手掌的运动能力判断时,难以形成客观、有效的测量指标。
基于此,本申请实施例中,如图2所示,提供了一种动作能力评估方法,以该方法应用于图1中的应用场景为例进行说明,包括以下步骤:
S201:获取待识别图像。
本申请实施例中,待识别图像可以包括基于图像采集设备采集到的图像,也可以包括视频采集设备采集到的视频影像中获取到的图像。在一些具体实施例中,以本申请的动作能力评估方法应用在儿童精细动作能力评估中为例,视频采集设备可以包括设置在教室前端的摄像头视频采集终端设备,也可以包括设置在教师周围的视频采集终端设备。在其他一些实施例中,为更准确地捕捉待识别对象的动作信息,可以基于特写摄像设备获取待识别图像。
S203:基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征。
本申请实施例中,待识别对象可以包括至少一个待评估动作能力的个体,也即,待识别图像中可以包括至少一个待评估动作能力个体的图像信息。在一些实施例中,基于待识别图像可以根据式(1)确定待识别对象的第一人脸梯度特征。
(1)
式(1)中,L(x,y,σ)为待识别图像的二维尺度空间用于表示第一人脸梯度特征,G(x,y,σ)表示高斯尺度可变函数,x和y分别表示待识别图像像素点的横坐标和纵坐标,σ表示尺度,表示卷积运算。其中,高斯尺度可变函数G(x,y,σ)可以根据式(2)确定。
(2)
式(2)中,x和y分别表示待识别图像像素点的横坐标和纵坐标,σ表示尺度,σ与图像的分辨率成反比并影响图像整体平滑的程度,σ越大则图像越模糊,σ越小则图像越清晰。在对待识别图像进行图像梯度提取后,可以得到第一人脸梯度特征Feature_1=[L1,L2,L3,…Ln],其中,n表示待识别对象的总数。
本申请实施例中,基于待识别图像确定第一人脸深度特征可以包括,基于残差网络对待识别图像中的人脸特征进行提取,并提取残差网络的第三层和第四层融合输出得到第一人脸梯度特征Feature_2=[f1,f2,f3,…fn]。在一些具体实施例中,可以通过对残差网络的第三层输出和第四层输出进行加权平均得到第一人脸梯度特征Feature_2。
S205:基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息。
本申请实施例中,基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的身份信息可以包括,基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的融合特征,并将所述融合特征与预设特征进行匹配确定待识别对象的身份信息。
在一些实施例中,所述基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息包括:
S2051:对所述第一人脸梯度特征以及第一人脸深度特征进行加权平均,确定融合特征。
S2053:将所述融合特征与预设特征进行匹配,确定所述待识别对象的身份信息。
在一些实施例中,基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的融合特征可以包括,对第一人脸梯度特征以及第一人脸深度特征进行加权平均后输入残差网络的卷积层、池化层后输出得到融合特征。
在一些实施例中,预设特征可以包括人脸特征数据库中的人脸特征。在其他实施例中,预设特征还可以包括,已确定身份信息的当天人脸特征。所述已确定身份信息的当天人脸特征包括,获取待识别对象的当天人脸特征,并将当天人脸特征与人脸特征数据库进行匹配确定待识别对象的身份信息。人脸特征数据库包括待识别对象的人脸特征和身份信息,将人脸特征作为预设特征。在其他实施例中,人脸特征数据库中也可以包括待识别对象的图像信息和身份信息,参考本申请上述步骤S203-S205对人脸特征数据库中的图像信息进行人脸特征提取,得到预设特征。
本申请实施例中,基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息,在残差网络中的浅层特征中将第一人脸梯度特征与第一人脸深度特征相结合,相比于直接通过深度学习网络进行训练而言,能够更有效地提取待识别图像中的人脸特征信息,有效提高了待识别对象身份识别的准确度和识别效率。
S207:基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。
本申请实施例中,在确定身份信息后,可以基于身份信息跟踪获取待识别对象的动作图像,并基于动作图像确定动作评估结果。在一些实施例中,基于身份信息确定待识别对象的动作图像可以包括,设置多个特写摄像设备分别获取不同待识别对象的动作图像,也可以包括设置一个特写摄像设备依次获取不同待识别对象的动作图像,还可以将上述获取方式进行结合,设置多个特写摄像设备分别依次获取不同待识别对象的动作图像。在其他实施例中,还可以通过设置一个或多个摄像设备同时获取多个不同待识别对象的图像,再分别对每个待识别对象的图像进行放大处理后获取不同待识别对象的动作图像。在一些具体的实施例中,可以通过向特写摄像设备发送PASCAL协议指令,控制特写摄像设备对已识别身份的待识别对象的目标框进行放大和追踪,以确定待识别对象的动作图像。
在一些实施例中,所述动作图像可以包括待识别对象的上肢图像,包括但不限于手臂图像、手腕图像、手指图像、手掌图像等,也可以采集待识别对象的上肢图像后,在上肢图像中获取手臂图像、手腕图像、手指图像、手掌图像等。
在一些实施例中,基于动作图像确定动作评估结果可以包括,基于预设评估标准确定动作图像在预设评估任务中的任务评估结果,并基于任务评估结果确定动作评估结果。在一些具体实施例中,精细动作能力的预设评估任务可以包括但不限于按钮插孔、夹取小物品、细密图案填色等,每种预设任务对应设置预设评估标准,基于动作图像确定动作数据后与预设评估标准进行比较确定评估数值作为动作评估结果。其中,所述动作数据可以包括但不限于位置信息、运动频率以及运动幅度。对儿童精细动作能力的客观评估,能够帮助家长了解儿童相关能力的发展程度,辅助家长有针对性的对儿童进行培养和干预,保障儿童全面正常发展。
本申请实施例中,通过获取待识别图像,基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征,基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息,基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。一方面,基于第一人脸梯度特征以及第一人脸深度特征确定待识别对象的身份信息,能够提高身份识别的准确度;另一方面,基于身份信息确定待识别对象的动作图像,并基于动作图像确定动作评估结果,可以实现同时对多个对象进行动作能力评估,避免了人工测评存在的效率较低和主观性较高的问题,有效提高了动作能力评估的效率和准确度。
下面通过本申请实施例说明一种预设特征的确定方法。在所述将所述融合特征与预设特征进行匹配之前,还包括:
S301:获取全景图像。
S303:基于所述全景图像确定所述待识别对象的第二人脸梯度特征以及第二人脸深度特征,对所述第二人脸梯度特征以及第二人脸深度特征进行加权平均,确定所述预设特征。
S305:将所述预设特征与人脸特征数据库进行匹配,确定所述待识别对象的身份信息。
本申请实施例中,全景图像中包括待识别图像的人脸图像信息。在一些具体实施例中,可以通过全景摄像设备获取全景图像,全景图像中包括待识别对象中所有待评估动作能力的个体的图像。基于全景图像确定待识别对象的第二人脸梯度特征以及第二人脸深度特征,对第二人脸梯度特征以及第二人脸深度特征进行加权平均,确定预设特征的过程可以参考上述实施例中S203-S205的步骤,此处不再赘述。将预设特征与人脸特征数据库进行匹配,可以确定待识别对象的身份信息。通过获取全景图像,并提取、融合全景图像中的第二人脸梯度特征以及第二人脸深度特征确定预设特征,能够将待识别对象在正常活动状态下的人脸特征作为已识别身份的预设特征,与融合特征的确定过程较为接近,因此能够提高融合特征与预设特征的匹配效率,进而可以有效提高身份识别的效率以及身份识别的准确度。
在获取待识别对象的图像时,若待识别对象处于活动状态而未捕捉到人脸信息则需要持续获取待识别对象的图像。为进一步提高身份识别过程的效率,本申请实施例的动作能力评估方法还包括:
S401:基于所述全景图像确定所述待识别对象的第二人体特征。
S403:在所述待识别图像不包括人脸特征的情况下,基于所述待识别图像确定所述待识别对象的第一人体特征。
S405:将所述第一人体特征与第二人体特征进行匹配,确定所述待识别对象的身份信息。
本申请实施例中,在基于全景图像确定预设特征以及待识别对象的身份信息后,可以基于全景图像确定待识别对象的第二人体特征。其中,第二人体特征可以包括待识别对象的身体特征、服装特征。可以理解的,基于全景图像确定的预设特征、第二人体特征以及待识别对象的身份信息三者之间具有关联性。在待识别图像不包括人脸特征的情况下,基于待识别图像确定待识别对象的第一人体特征,再将第一人体特征与第二人体特征进行匹配,即能够确定待识别对象的身份信息。
下面通过一个具体实施例说明待识别对象身份信息的确定过程。通过设置全景摄像设备采集当天的全景图像得到全景图像信息库,全景图像信息库包括待识别对象中所有待评估动作能力的个体的人脸特征信息、人体特征信息。将全景图像信息库与人脸特征数据库进行匹配,确定全景图像信息库中待识别对象的身份信息,也即完成全景图像信息库的身份识别过程。通过设置特写摄像设备采集当天的特写图像,特写图像可能包括待识别对象中至少一个待评估动作能力的个体的人脸特征信息或人体特征信息。若特写图像中包括人脸图像信息,则与全景图像信息库中的人脸特征信息进行匹配,确定待识别对象的身份信息;若特写图像中包括人体图像信息但不包括人脸图像信息,则与全景图像信息库中的人体特征信息进行匹配,确定待识别对象的身份信息。在提取全景图像和特写图像中的人脸特征信息、人体特征信息时,可以参考本申请上述实施例中S203-S205的步骤提取相应的融合特征,以提高特征提取的效率和有效性,此处不再赘述。在另一些实施例中,若基于待识别图像进行人脸特征匹配失败的情况下,也可以通过获取待识别图像中的第一人体特征与全景图像中提取的第二人体特征进行匹配,实现待识别对象的身份识别。当然,在其他实施例中,也可以仅通过获取待识别图像中的第一人体特征与全景图像中提取的第二人体特征进行匹配,实现待识别对象的身份识别。
本申请实施例中,通过上述实施例确定待识别对象的身份信息,能够解决采集图像时人脸被遮挡或待识别对象背对摄像头的问题,尤其对于活跃状态的儿童而言,通常较难以稳定捕捉包含人脸特征信息的图像,通过本申请上述实施例可以更精确地获取待识别对象的身份信息,提高身份识别的效率和准确度。
本申请实施例中,所述基于所述动作图像确定动作评估结果包括:
S501:将所述动作图像输入训练好的动作识别模型,得到动作数据,所述动作数据至少包括位置信息、运动频率以及运动幅度。
S503:基于所述动作数据确定所述动作评估结果。
本申请实施例中,确定待识别对象的动作图像后,可以将动作图像输入训练好的动作识别模型,得到动作数据,其中,动作数据至少包括位置信息、运动频率以及运动幅度。基于动作数据确定动作评估结果。在一些实施例中,位置信息可以包括骨骼位置信息、关节角度信息。在一些具体实施例中,通过在预设评估任务中将手臂、手腕、手指、手掌等上肢部位的动作数据与预设评估标准进行比较,可以更加客观、全面地评估待识别对象的动作能力,提高动作能力评估结果的准确度。
为提高对动作数据的提取效率,在一些实施例中,所述动作识别模型通过如下方式训练得到:
S601:基于预设参数对卷积神经网络进行初始化。
S603:基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型,所述标准模型基于残差网络训练得到。
在一些实施例中,预设参数可以包括标准模型预设层数的参数。基于预设参数对卷积神经网络进行初始化可以包括,将标准模型第(2i+1)层的参数赋值给卷积神经网络的第i层。在一些具体实施例中,卷积神经网络的层数为标准模型层数的一半。
由于动作图像中包含的动作图像信息较为复杂,尤其对于精细动作图像而言,会包含大量的动作细节图像信息,因此算力消耗较大,一定程度上影响了系统的响应速度,进而影响运动数据的提取效率以及动作能力评估的整体效率。本申请实施例中,标准模型基于动作图像样本以及相应的动作数据样本对残差网络进行训练得到,基于残差网络确定动作数据可以解决退化问题,有效提高运动数据的有效性。基于标准模型对所述卷积神经网络进行监督训练得到动作识别模型,能够使卷积神经网络充分学习残差网络的特征提取能力,可以在保证提取动作数据有效性的前提下,进一步提高运动数据的提取效率。
在一些实施例中,所述基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型包括:
S701:将动作图像样本输入至所述标准模型中,确定标准特征,其中,所述标准特征包括动作图像整体特征、基于卷积核尺寸确定的动作图像部分特征、基于注意力尺寸确定的精细动作图像特征以及目标部位检测框特征。
S703:将所述动作图像样本输入至所述卷积神经网络,确定预测特征,并基于所述预测特征与所述标准特征之间的差异,对所述卷积神经网络中相应训练参数进行迭代调整,直至所述差异满足预设要求。
本申请实施例中,可以将动作图像样本输入至标准模型中,确定标准特征后,通过标准特征训练卷积神经网络得到动作识别模型。所述标准特征包括动作图像整体特征、基于卷积核尺寸确定的动作图像部分特征、基于注意力尺寸确定的精细动作图像特征以及目标部位检测框特征。
在一些实施例中,如图3所示,在标准模型和卷积神经网络的浅层,通过卷积神经网络对动作图像样本进行特征提取,基于标准模型的图像整体特征对卷积神经网络进行监督训练,以使卷积神经网络提高对手臂、手腕、手指、手掌等部位的精细动作图像的边缘特征、纹理特征等特征的学习能力。在标准模型和卷积神经网络的中间层,基于标准模型的卷积核尺寸的部分图像特征对卷积神经网络进行监督训练,使卷积神经网络提高对部分图像特征的学习能力。进一步的,基于残差网络的Attention(注意力)尺寸确定的精细动作图像特征对卷积神经网络进行监督训练,所述精细动作图像特征可以包括手臂、手腕、手指、手掌精细动作图像中的的运动幅度特征、频率特征以及运动角度的high-light(关注度)图像特征。在目标部位检测框提取阶段,通过卷积神经网络对候选目标框进行提取后映射回动作图像样本的特征提取,对每一个候选目标框的提取过程都基于标准模型对卷积神经网络进行监督训练,所述候选目标框可以包括手臂、手腕、手指、手掌等目标部位检测框。在卷积神经网络的分类层也基于标准模型对卷积神经网络进行监督训练。本申请实施例中,上述基于标准模型对卷积神经网络的监督训练过程,可以包括基于EuclideanLoss(欧几里得损失函数)对卷积神经网络进行Mimic监督训练。
本申请实施例中,通过标准模型得到的标准特征对卷积神经网络进行监督训练得到动作识别模型,可以在保证动作识别模型能够有效提取图像中动作特征图像信息的前提下,也即在保证提取的动作数据准确度的前提下,有效提高动作数据的提取效率,进而可以提高动作能力评估的效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的动作能力评估方法的动作能力评估装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个动作能力评估装置实施例中的具体限定可以参见上文中对于动作能力评估方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种动作能力评估装置900,包括:
图像获取模块901,用于获取待识别图像;
特征提取模块902,用于基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;
身份识别模块903,用于基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;
动作识别评估模块904,用于基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果。
上述动作能力评估装置900中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种动作能力评估方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述任一实施例中动作能力评估方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中动作能力评估方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一实施例中动作能力评估方法的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (7)
1.一种动作能力评估方法,其特征在于,所述方法包括:
获取待识别图像;
基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;
基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;
基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果;
所述基于所述动作图像确定动作评估结果包括:
将所述动作图像输入训练好的动作识别模型,得到动作数据,所述动作数据至少包括位置信息、运动频率以及运动幅度;
基于所述动作数据确定所述动作评估结果;
所述动作识别模型通过如下方式训练得到:
基于预设参数对卷积神经网络进行初始化;
基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型,所述标准模型基于残差网络训练得到;
所述基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型包括:
将动作图像样本输入至所述标准模型中,确定标准特征,其中,所述标准特征包括动作图像整体特征、基于卷积核尺寸确定的动作图像部分特征、基于注意力尺寸确定的精细动作图像特征以及目标部位检测框特征;
将所述动作图像样本输入至所述卷积神经网络,确定预测特征,并基于所述预测特征与所述标准特征之间的差异,对所述卷积神经网络中相应训练参数进行迭代调整,直至所述差异满足预设要求。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息包括:
对所述第一人脸梯度特征以及第一人脸深度特征进行加权平均,确定融合特征;
将所述融合特征与预设特征进行匹配,确定所述待识别对象的身份信息。
3.根据权利要求2所述的方法,其特征在于,在所述将所述融合特征与预设特征进行匹配之前,还包括:
获取全景图像;
基于所述全景图像确定所述待识别对象的第二人脸梯度特征以及第二人脸深度特征,对所述第二人脸梯度特征以及第二人脸深度特征进行加权平均,确定所述预设特征;
将所述预设特征与人脸特征数据库进行匹配,确定所述待识别对象的身份信息。
4.根据权利要求3所述的方法,其特征在于,还包括:
基于所述全景图像确定所述待识别对象的第二人体特征;
在所述待识别图像不包括人脸特征的情况下,基于所述待识别图像确定所述待识别对象的第一人体特征;
将所述第一人体特征与第二人体特征进行匹配,确定所述待识别对象的身份信息。
5.一种动作能力评估装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别图像;
特征提取模块,用于基于所述待识别图像确定待识别对象的第一人脸梯度特征以及第一人脸深度特征;
身份识别模块,用于基于所述第一人脸梯度特征以及第一人脸深度特征确定所述待识别对象的身份信息;
动作识别评估模块,用于基于所述身份信息确定所述待识别对象的动作图像,并基于所述动作图像确定动作评估结果;
所述动作识别评估模块,还用于将所述动作图像输入训练好的动作识别模型,得到动作数据,所述动作数据至少包括位置信息、运动频率以及运动幅度;基于所述动作数据确定所述动作评估结果;
所述动作能力评估装置,还用于基于预设参数对卷积神经网络进行初始化;基于标准模型对所述卷积神经网络进行监督训练,得到所述动作识别模型,所述标准模型基于残差网络训练得到;
所述动作能力评估装置,还用于将动作图像样本输入至所述标准模型中,确定标准特征,其中,所述标准特征包括动作图像整体特征、基于卷积核尺寸确定的动作图像部分特征、基于注意力尺寸确定的精细动作图像特征以及目标部位检测框特征;将所述动作图像样本输入至所述卷积神经网络,确定预测特征,并基于所述预测特征与所述标准特征之间的差异,对所述卷积神经网络中相应训练参数进行迭代调整,直至所述差异满足预设要求。
6.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至权利要求4中任一项所述的方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311278527.6A CN117011945B (zh) | 2023-10-07 | 2023-10-07 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311278527.6A CN117011945B (zh) | 2023-10-07 | 2023-10-07 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117011945A CN117011945A (zh) | 2023-11-07 |
CN117011945B true CN117011945B (zh) | 2024-03-19 |
Family
ID=88565785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311278527.6A Active CN117011945B (zh) | 2023-10-07 | 2023-10-07 | 动作能力评估方法、装置、计算机设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011945B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046652A (zh) * | 2019-03-18 | 2019-07-23 | 深圳神目信息技术有限公司 | 人脸质量评估方法、装置、终端及可读介质 |
CN111242097A (zh) * | 2020-02-27 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种人脸识别方法、装置、计算机可读介质及电子设备 |
CN113111844A (zh) * | 2021-04-28 | 2021-07-13 | 中德(珠海)人工智能研究院有限公司 | 一种作业姿态评估方法、装置、本地终端及可读存储介质 |
WO2022206498A1 (zh) * | 2021-03-31 | 2022-10-06 | 华为技术有限公司 | 一种基于联邦迁移学习的模型训练方法及计算节点 |
CN115965839A (zh) * | 2021-10-11 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及设备 |
CN116629381A (zh) * | 2023-05-26 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 一种联邦迁移学习方法、装置、存储介质及电子设备 |
-
2023
- 2023-10-07 CN CN202311278527.6A patent/CN117011945B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046652A (zh) * | 2019-03-18 | 2019-07-23 | 深圳神目信息技术有限公司 | 人脸质量评估方法、装置、终端及可读介质 |
CN111242097A (zh) * | 2020-02-27 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种人脸识别方法、装置、计算机可读介质及电子设备 |
WO2022206498A1 (zh) * | 2021-03-31 | 2022-10-06 | 华为技术有限公司 | 一种基于联邦迁移学习的模型训练方法及计算节点 |
CN113111844A (zh) * | 2021-04-28 | 2021-07-13 | 中德(珠海)人工智能研究院有限公司 | 一种作业姿态评估方法、装置、本地终端及可读存储介质 |
CN115965839A (zh) * | 2021-10-11 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 图像识别方法、存储介质及设备 |
CN116629381A (zh) * | 2023-05-26 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 一种联邦迁移学习方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
Monocular Human Action Recognition Utilizing Silhouette Feature Extraction and Skin Color Detection;Junjie Zhang;《2012 13th International Conference on Parallel and Distributed Computing, Applications and Technologies》;全文 * |
联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版)(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117011945A (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222611B (zh) | 基于图卷积网络的人体骨架行为识别方法、系统、装置 | |
CN109359539B (zh) | 注意力评估方法、装置、终端设备及计算机可读存储介质 | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN106874826A (zh) | 人脸关键点跟踪方法和装置 | |
TWI511056B (zh) | 特徵資料壓縮裝置、多方向人臉偵測系統及其偵測方法 | |
CN111666922A (zh) | 视频匹配方法、装置、计算机设备和存储介质 | |
US20240169518A1 (en) | Method and apparatus for identifying body constitution in traditional chinese medicine, electronic device, storage medium and program | |
WO2019041660A1 (zh) | 人脸去模糊方法及装置 | |
CN111507288A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN110163221A (zh) | 在图像中进行物体检测的方法、装置、车辆、机器人 | |
Chang et al. | Salgaze: Personalizing gaze estimation using visual saliency | |
JP5746550B2 (ja) | 画像処理装置、画像処理方法 | |
CN108647562A (zh) | 识别图像中物体和温度的装置和相应的方法 | |
CN108875500A (zh) | 行人再识别方法、装置、系统及存储介质 | |
CN114332927A (zh) | 课堂举手行为检测方法、系统、计算机设备和存储介质 | |
CN109711287A (zh) | 人脸采集方法及相关产品 | |
CN117011945B (zh) | 动作能力评估方法、装置、计算机设备及可读存储介质 | |
CN117352126A (zh) | 肌肉受力可视化方法、装置、计算机设备以及存储介质 | |
CN110910478B (zh) | Gif图生成方法、装置、电子设备及存储介质 | |
CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 | |
CN110807423B (zh) | 屏下指纹图像的处理方法、装置和电子设备 | |
CN114445676A (zh) | 一种手势图像处理方法、存储介质及设备 | |
CN113256556A (zh) | 一种图像选择方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |