CN111723688B - 人体动作识别结果的评价方法、装置和电子设备 - Google Patents

人体动作识别结果的评价方法、装置和电子设备 Download PDF

Info

Publication number
CN111723688B
CN111723688B CN202010491566.4A CN202010491566A CN111723688B CN 111723688 B CN111723688 B CN 111723688B CN 202010491566 A CN202010491566 A CN 202010491566A CN 111723688 B CN111723688 B CN 111723688B
Authority
CN
China
Prior art keywords
human body
standard
rgb
recognition result
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010491566.4A
Other languages
English (en)
Other versions
CN111723688A (zh
Inventor
户磊
李廷照
石彪
闫祥
张举勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202010491566.4A priority Critical patent/CN111723688B/zh
Publication of CN111723688A publication Critical patent/CN111723688A/zh
Application granted granted Critical
Publication of CN111723688B publication Critical patent/CN111723688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明实施例提供一种人体动作识别结果的评价方法、装置和电子设备，该方法包括：将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；将所述人体动作识别结果对应的待检测人体动作的RGB‑D图像进行处理得到与所述特征信息对应的标准特征信息；确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB‑D图像进行处理得到的。本发明实施例提供的方法、装置和电子设备，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。

Description

人体动作识别结果的评价方法、装置和电子设备
技术领域
本发明涉及人体动作识别技术领域，尤其涉及一种人体动作识别结果的评价方法、装置和电子设备。
背景技术
三维人体的重建与属性识别一直是机器视觉领域的重要研究方向，目前学术界基于深度学习的人体重建相关工作大致可以分为两大类，参数化模型重建和非参数化模型重建。通常都是通过采集待识别人体的RGB-D图像，然后对RGB-D图像进行处理，识别出对应RGB-D图像的人体动作。而识别出对应RGB-D图像的人体动作通常通过不同的识别结果来表达，例如识别结果可以是RGB-D图像中人体的3D关键点坐标，也可以是RGB-D图像中人体的点云三维坐标，还可以是RGB-D图像中人体的姿态参数、形态参数和位移参数，等等。上述三种识别结果实质是等效的表达识别人体动作结果的方式，它们之间可以相互转换。
目前对于人体动作识别结果的评价指标使用的是PCK(Percentage of correctkeypoint)，最常用是PCK@0.2，该指标的计算方法是计算检测关键点与参考标准(groundtruth)的欧式距离小于0.2×躯干直径的比例。其中，躯干直径为头部参考标准关键点(head ground truth)到臀部参考标准关键点(hip ground truth)的欧式距离。PCK指标在评估人体重建效果时，会忽略Z维度(即深度信息)，不适用于评价人体动作捕捉。
因此，如何避免现有的PCK指标评价人体动作识别结果时缺乏对深度信息的考虑，无法适用于评价人体动作捕捉的情况，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种人体动作识别结果的评价方法、装置和电子设备，用以解决现有的PCK指标评价人体动作识别结果时缺乏对深度信息的考虑，无法适用于评价人体动作捕捉的问题。
第一方面，本发明实施例提供一种人体动作识别结果的评价方法，包括：
将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
确定所述特征信息与所述标准特征信息之间的误差度；
其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
优选地，该方法中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。
优选地，该方法中，所述特征信息为预测的3D关键点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:
其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数。
优选地，该方法中，所述特征信息为预测的点云数据集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标注算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数据集合P；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的点云数据集合与所述标准的点云数据集合P之间的误差度err:
其中，norm为归一化因子。
优选地，该方法中，所述标准算法为alphapose的2D关键点检测算法。
优选地，该方法中，所述特征信息为预测的人体轮廓点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成标准的人体轮廓点集合S；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的人体轮廓点集合与所述标准的人体轮廓点集合S之间的误差度err:
其中，norm为归一化因子。
第二方面，本发明实施例提供一种人体动作识别结果的评价装置，包括：
预测单元，用于将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
标准单元，用于将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
误差单元，用于确定所述特征信息与所述标准特征信息之间的误差度；
其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
优选地，该装置中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的人体动作识别结果的评价方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面所提供的人体动作识别结果的评价方法的步骤。
本发明实施例提供的方法、装置和电子设备，通过提取人体动作识别结果中的包含深度信息的3D关键点信息、点云数据或人体轮廓信息作为特征信息，然后再对人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，计算所述特征信息与所述标准特征信息之间的误差值，用该误差值作为人体动作识别结果的评价指标。由于使用了包含深度信息的特征信息进行计算，使得人体动作识别结果与标准值之间的比较考虑了Z维度，更适用于评价人体动作捕捉。因此，本发明实施例提供的方法、装置和电子设备，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人体动作识别结果的评价方法的流程示意图；
图2为本发明实施例提供的人体动作识别结果的评价装置的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的PCK指标评价人体动作识别结果普遍存在缺乏对深度信息的考虑，无法适用于评价人体动作捕捉的问题。对此，本发明实施例提供了一种人体动作识别结果的评价方法。图1为本发明实施例提供的人体动作识别结果的评价方法的流程示意图，如图1所示，该方法包括：
步骤110，将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息。
具体地，人体动作是别结果的表达方式有多种，可以是RGB-D图像中人体的3D关键点坐标，也可以是RGB-D图像中人体的点云三维坐标，还可以是RGB-D图像中人体的姿态参数、形态参数和位移参数，等等。这些表达人体动作识别结果的方式多种多样，但是他们之间是等效的可以互相转换的。从人体动作识别结果中提取包含有深度信息的特征信息，该特征信息可以是3D关键点信息、点云数据或人体轮廓信息。
步骤120，将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息。
具体地，对于前一步骤从人体动作识别结果中提取的包含深度信息的特征信息，需要确定对应于所述特征信息的标准特征信息，即参考标准(ground truth)。通常标准特征信息都是从所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理获取，所述处理可以采用人工标准的方式提取标准特征信息，也可以用第三方算法对RGB-D图像进行处理以提取标准特征信息，所述第三方算法即标注算法，为常用的提取关键点准确性比较高的算法。
步骤130，确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
具体地，然后计算上述步骤中确定的特征信息与标准特征信息之间的误差度，将该误差度作为评价人体动作识别结果的指标。不同于现有PCK指标的值越大则人体动作识别越准确，本发明实施例提供的误差度指标是值越小则人体动作识别越准确。同时，定义人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。因此，确定人体动作识别结果得到的特征信息与标准特征信息之间的误差值，即确定人体动作识别结果对应的识别算法与计算标准特征的标注算法或者人工标注方法之间的差距。
本发明实施例提供的方法，通过提取人体动作识别结果中的包含深度信息的3D关键点信息、点云数据或人体轮廓信息作为特征信息，然后再对人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，计算所述特征信息与所述标准特征信息之间的误差值，用该误差值作为人体动作识别结果的评价指标。由于使用了包含深度信息的特征信息进行计算，使得人体动作识别结果与标准值之间的比较考虑了Z维度，更适用于评价人体动作捕捉。因此，本发明实施例提供的方法，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。
基于上述实施例，该方法中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。
具体地，此处具体介绍了一种人体动作识别的方法，因此，人体动作识别结果的评价即评价该方法的人体动作捕捉效果。该方法中，所述预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签是通过将所述样本无背景像素干扰的RGB图像输入标注算法得到2D关键点坐标，再将所述2D关键点坐标转换为3D关键点坐标得到的；对应地，所述预先确定的对应于各样本无背景像素干扰的RGB图像的三维点云标签是通过将所述样本无背景像素干扰的RGB图像对应的深度图像基于采集图像的相机内参转换成三维点云得到的。而标注算法通常是提取关键点准确性比较高的第三方算法，例如alphapose的2D关键点检测算法。所述将待检测的人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图，具体包括：待检测的人体动作的RGB-D图像包括彩色图像、深度图像和人体mask图像；使用所述人体mask图像对所述彩色图像进行掩膜处理，得到无背景像素干扰的RGB图像；对所述彩色图像和所述深度图像进行基于采集所述RGB-D图像的深度相机内参的转换，得到无背景像素干扰的点云三维坐标图。
基于上述任一实施例，该方法中，所述特征信息为预测的3D关键点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:
其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数。
具体地，从人体动作识别结果中提取的包含深度信息的特征信息为3D关键点信息，即人体动作识别结果得到的预测的3D关键点集合对应于预测的3D关键点集合的标准特征信息为标准的3D关键点集合K，而标准的3D关键点集合K是通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注得到，标注过程中，还需要人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V，对于向量V中的第i个元素，若其对应的人体关键点有自身遮挡，则第i个元素取值为0，若其对应的人体关键点没有自身遮挡，则第i个元素取值为1，其中，i＝1,2,3,…,NV，NV为向量V中元素的个数。然后，通过如下公式求预测的3D关键点集合/>与标准的3D关键点集合K之间的误差度err：
其中，norm为归一化因子。
基于上述任一实施例，该方法中，所述特征信息为预测的点云数据集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标注算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数据集合P；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的点云数据集合与所述标准的点云数据集合P之间的误差度err:
其中，norm为归一化因子。
具体地，从人体动作识别结果中提取的包含深度信息的特征信息为点云数据，即人体动作识别结果得到的预测的点云数据集合对应于预测的点云数据集合的标准特征信息为标准的点云数据集合P，而标准的点云数据集合P是通过将人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标注算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标，再将所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出得到。其中，采用的标准算法即第三方算法，为提取关键点准确性比较高的算法，该算法有多种，此处不作具体限定。然后，通过如下公式求预测的点云数据集合/>与标准的点云数据集合P之间的误差度err：
其中，norm为归一化因子。
基于上述任一实施例，该方法中，所述标准算法为alphapose的2D关键点检测算法。
具体地，此处选用提取关键点准确性很高的alphapose的2D关键点检测算法作为标注算法，为了提高评价的准确性。
基于上述任一实施例，该方法中，所述特征信息为预测的人体轮廓点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成标准的人体轮廓点集合S；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的人体轮廓点集合与所述标准的人体轮廓点集合S之间的误差度err:
其中，norm为归一化因子。
具体地，从人体动作识别结果中提取的包含深度信息的特征信息为人体轮廓信息，即人体动作识别结果得到的预测的人体轮廓点集合对应于预测的点云数据集合的标准特征信息为标准的人体轮廓点集合S，而标准的人体轮廓点集合S是通过调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成人体轮廓点集合得到。然后，通过如下公式求预测的人体轮廓点集合/>与标准的人体轮廓点集合S之间的误差度err：
其中，norm为归一化因子。
基于上述任一实施例，本发明实施例提供一种人体动作识别结果的评价装置，图2为本发明实施例提供的人体动作识别结果的评价装置的结构示意图。如图2所示，该装置包括预测单元210、标准单元220和误差单元230，其中，
所述预测单元210，用于将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
所述标准单元220，用于将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
所述误差单元230，用于确定所述特征信息与所述标准特征信息之间的误差度；
其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
本发明实施例提供的装置，通过提取人体动作识别结果中的包含深度信息的3D关键点信息、点云数据或人体轮廓信息作为特征信息，然后再对人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，计算所述特征信息与所述标准特征信息之间的误差值，用该误差值作为人体动作识别结果的评价指标。由于使用了包含深度信息的特征信息进行计算，使得人体动作识别结果与标准值之间的比较考虑了Z维度，更适用于评价人体动作捕捉。因此，本发明实施例提供的装置，实现了评价人体动作识别结果时考虑深度信息，更适用于评价人体动作捕捉。
基于上述任一实施例，该装置中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果。
基于上述任一实施例，该装置中，所述特征信息为预测的3D关键点集合，记作
对应地，所述标准单元，具体用于，
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:
其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数。
基于上述任一实施例，该装置中，所述特征信息为预测的点云数据集合，记作
对应地，所述标准单元，具体用于，
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标注算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数据集合P；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的点云数据集合与所述标准的点云数据集合P之间的误差度err:
其中，norm为归一化因子。
基于上述任一实施例，该装置中，所述标准算法为alphapose的2D关键点检测算法。
基于上述任一实施例，该装置中，所述特征信息为预测的人体轮廓点集合，记作
对应地，所述标准单元，具体用于，
调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成标准的人体轮廓点集合S；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的人体轮廓点集合与所述标准的人体轮廓点集合S之间的误差度err:
其中，norm为归一化因子。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的人体动作识别结果的评价方法，例如包括：将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的人体动作识别结果的评价方法，例如包括：将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；确定所述特征信息与所述标准特征信息之间的误差度；其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种人体动作识别结果的评价方法，其特征在于，包括：
将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
确定所述特征信息与所述标准特征信息之间的误差度；其中，所述误差度为人体动作识别结果的评价指标，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的；
其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果；
所述特征信息为预测的3D关键点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:
其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数；
或者，所述特征信息为预测的点云数据集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标准算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数据集合P；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的点云数据集合与所述标准的点云数据集合P之间的误差度err:
其中，norm为归一化因子；
或者，所述特征信息为预测的人体轮廓点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成标准的人体轮廓点集合S；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的人体轮廓点集合与所述标准的人体轮廓点集合S之间的误差度err:
其中，norm为归一化因子。
2.根据权利要求1所述的人体动作识别结果的评价方法，其特征在于，所述标准算法为alphapose的2D关键点检测算法。
3.一种人体动作识别结果的评价装置，其特征在于，包括：
预测单元，用于将人体动作识别结果转换成特征信息，所述特征信息为3D关键点信息、点云数据或人体轮廓信息；
标准单元，用于将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息；
误差单元，用于确定所述特征信息与所述标准特征信息之间的误差度；
其中，所述误差度为人体动作识别结果的评价指标；所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的；
其中，所述人体动作识别结果是对所述待检测人体动作的RGB-D图像进行处理得到的，具体包括：
将待检测人体动作的RGB-D图像进行预处理，得到无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图；
将所述无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图输入姿态参数识别模型，输出所述待检测人体动作的姿态参数、形态参数和位移参数；
其中，所述姿态参数识别模型是基于样本无背景像素干扰的RGB图像和无背景像素干扰的点云三维坐标图以及预先确定的对应于各样本无背景像素干扰的RGB图像的3D关键点坐标标签和三维点云标签进行训练后得到的，所述姿态参数识别模型训练时的损失函数基于关键点损失、平滑损失和点云损失构成；
将所述待检测人体动作的姿态参数、形态参数和位移参数输入参数化模型，输出人体动作识别结果；
所述特征信息为预测的3D关键点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
通过人工手动方式将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行人体关键点的标注，得到标准的3D关键点集合，记作K，并人工判断所述人体关键点是否有自身遮挡，根据遮挡结果形成由0和1构成的one-hot向量V；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的3D关键点集合与所述标准的3D关键点集合K之间的误差度err:
其中，norm为归一化因子，V为所述one-hot向量，当所述one-hot向量中第i个元素对应的人体关键点有自身遮挡，则所述第i个元素取值为0，否则，所述第i个元素取值为1，i＝1,2,3,…,NV，NV为向量V中元素的个数；
或者，所述特征信息为预测的点云数据集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
将所述人体动作识别结果对应的待检测人体动作的RGB-D图像中的RGB图像输入标准算法得到标准的2D关键点坐标，再将所述标准的2D关键点坐标转换为标准的3D关键点坐标；
基于所述标准的3D关键点坐标和所述RGB-D图像中的深度图，通过Ceres优化，得到姿态参数，将所述姿态参数输入预设参数化模型，输出标准的点云数据集合P；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的点云数据集合与所述标准的点云数据集合P之间的误差度err:
其中，norm为归一化因子；
或者，所述特征信息为预测的人体轮廓点集合，记作
对应地，所述将所述人体动作识别结果对应的待检测人体动作的RGB-D图像进行处理得到与所述特征信息对应的标准特征信息，具体包括：
调用采集所述人体动作识别结果对应的待检测人体动作的RGB-D图像的深度相机的SDK，获取所述RGB-D图像对应的人体mask图像，将所述人体mask图像转换成标准的人体轮廓点集合S；
所述确定所述特征信息与所述标准特征信息之间的误差度，具体包括：
通过如下公式计算所述预测的人体轮廓点集合与所述标准的人体轮廓点集合S之间的误差度err:
其中，norm为归一化因子。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述的人体动作识别结果的评价方法的步骤。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1或2所述的人体动作识别结果的评价方法的步骤。
CN202010491566.4A 2020-06-02 2020-06-02 人体动作识别结果的评价方法、装置和电子设备 Active CN111723688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010491566.4A CN111723688B (zh) 2020-06-02 2020-06-02 人体动作识别结果的评价方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010491566.4A CN111723688B (zh) 2020-06-02 2020-06-02 人体动作识别结果的评价方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111723688A CN111723688A (zh) 2020-09-29
CN111723688B true CN111723688B (zh) 2024-03-12

Family

ID=72565558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010491566.4A Active CN111723688B (zh) 2020-06-02 2020-06-02 人体动作识别结果的评价方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111723688B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801064A (zh) * 2021-04-12 2021-05-14 北京的卢深视科技有限公司 一种模型训练方法、电子设备及存储介质
CN115797559A (zh) * 2022-11-24 2023-03-14 广州美术学院 基于虚拟现实的非物质文化遗产模拟体验交互方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003222514A (ja) * 2002-01-30 2003-08-08 Nippon Telegr & Teleph Corp <Ntt> センサ構成決定装置，センサ構成決定方法，センサ構成決定用プログラムおよびそのプログラムの記録媒体
JP2007004396A (ja) * 2005-06-22 2007-01-11 Sony Corp 演技評価装置及び方法
JP2010205095A (ja) * 2009-03-05 2010-09-16 3D Media Co Ltd ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
CN102622603A (zh) * 2011-01-31 2012-08-01 索尼公司 用于评价人体姿势识别技术的方法和装置
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN110717385A (zh) * 2019-08-30 2020-01-21 西安文理学院 一种动态手势识别方法
CN111127632A (zh) * 2019-12-20 2020-05-08 北京奇艺世纪科技有限公司 人体建模模型获取方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764284B2 (en) * 2004-05-24 2010-07-27 Simactive Inc. Method and system for detecting and evaluating 3D changes from images and a 3D reference model
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
US10726248B2 (en) * 2018-02-01 2020-07-28 Ford Global Technologies, Llc Validating gesture recognition capabilities of automated systems
CN110189397A (zh) * 2019-03-29 2019-08-30 北京市商汤科技开发有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN110222665B (zh) * 2019-06-14 2023-02-24 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法
CN110348524B (zh) * 2019-07-15 2022-03-04 深圳市商汤科技有限公司 一种人体关键点检测方法及装置、电子设备和存储介质
CN110427917B (zh) * 2019-08-14 2022-03-22 北京百度网讯科技有限公司 用于检测关键点的方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003222514A (ja) * 2002-01-30 2003-08-08 Nippon Telegr & Teleph Corp <Ntt> センサ構成決定装置，センサ構成決定方法，センサ構成決定用プログラムおよびそのプログラムの記録媒体
JP2007004396A (ja) * 2005-06-22 2007-01-11 Sony Corp 演技評価装置及び方法
JP2010205095A (ja) * 2009-03-05 2010-09-16 3D Media Co Ltd ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
CN102622603A (zh) * 2011-01-31 2012-08-01 索尼公司 用于评价人体姿势识别技术的方法和装置
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110188633A (zh) * 2019-05-14 2019-08-30 广州虎牙信息科技有限公司 人体体态指标预测方法、装置、电子设备及存储介质
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110334599A (zh) * 2019-05-31 2019-10-15 北京奇艺世纪科技有限公司 深度学习网络的训练方法、装置、设备和存储介质
CN110717385A (zh) * 2019-08-30 2020-01-21 西安文理学院 一种动态手势识别方法
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN111127632A (zh) * 2019-12-20 2020-05-08 北京奇艺世纪科技有限公司 人体建模模型获取方法、装置、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Simultaneous 3D Object Recognition and Pose Estimation Based on RGB-D Images;Chi-Yi Tsai et al.;《IEEE Access》;20180619;第6卷;第28859-28869页 *
一种基于深度摄像机的3D人体步态建模和识别方法;罗坚等;《光学技术》;20191130;第45卷(第6期);第737-743页 *
毛峡等.一种基于RGB-D特征融合的人体行为识别框架.《计算机科学》.2018,第45卷(第8期),第22-27页. *
深度学习行人再识别研究综述;卢健等;《激光与光电子学进展》;20200114;第57卷(第16期);第1-23页 *
融合多姿势估计特征的动作识别;罗会兰等;《中国图象图形学报》;20151231;第20卷(第11期);第1462-1472页 *

Also Published As

Publication number Publication date
CN111723688A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN104680144B (zh) 基于投影极速学习机的唇语识别方法和装置
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN110909618B (zh) 一种宠物身份的识别方法及装置
KR20060097074A (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN113095333B (zh) 无监督特征点检测方法及装置
CN108549836A (zh) 照片的翻拍检测方法、装置、设备及可读存储介质
CN112488067B (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113554742A (zh) 一种三维图像的重建方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN113591763A (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN116912604B (zh) 模型训练方法、图像识别方法、装置以及计算机存储介质
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN115147904A (zh) 人脸识别方法、装置、处理设备及存储介质
CN115131853A (zh) 人脸关键点定位方法、装置、电子设备及存储介质
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220630

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant