CN111291749A - 手势识别方法、装置及机器人 - Google Patents
手势识别方法、装置及机器人 Download PDFInfo
- Publication number
- CN111291749A CN111291749A CN202010067504.0A CN202010067504A CN111291749A CN 111291749 A CN111291749 A CN 111291749A CN 202010067504 A CN202010067504 A CN 202010067504A CN 111291749 A CN111291749 A CN 111291749A
- Authority
- CN
- China
- Prior art keywords
- gesture recognition
- hand
- recognition result
- frame
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于手势识别技术领域，提供了手势识别方法、装置及机器人，包括：提取图像帧的肤色区域；采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果；根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；根据预测的所述特征点位置生成手部形状的遮罩图像；将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。通过上述方法，能够得到更准确的手势识别结果。
Description
技术领域
本申请属于手势识别技术领域，尤其涉及手势识别方法、装置、机器人及计算机可读存储介质。
背景技术
目前，人机交互主要通过手势实现，比如，机器人通过识别用户的手势实现与用户的交互。
当前的主流手势交互方法主要有两种：(1)基于深度图分割手部区域，估计手关节运动，进而识别手势。该方法由于需要获取深度信息，因此需要特定相机进行获取，该特定相机如双目摄像机或结构光或ToF(Time-of-Flight)相机等，但由于该类相机成本较高，因此会提高机器人的生产成本。(2)基于深度学习：通过采集各手势的数据训练手部检测深度模型和手势分类深度模型等。但由于深度模型一般要求较高的计算力，即需要特定计算芯片的支持，因此采用该方法也会提高机器人的生产成本。
故，需要提供一种新的方法以解决上述技术问题。
发明内容
本申请实施例提供了手势识别方法，可以解决现有方法难以在控制生产成本的基础上实现手势的准确识别的问题。
第一方面，本申请实施例提供了一种手势识别方法，包括：
获取图像帧；
提取所述图像帧的肤色区域；
采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
根据预测的所述特征点位置生成手部形状的遮罩图像；
将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
第二方面，本申请实施例提供了一种手势识别装置，包括：
图像帧获取单元，用于获取图像帧；
肤色区域提取单元，用于提取所述图像帧的肤色区域；
手部区域检测单元，用于采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
特征点位置预测单元，用于根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
遮罩图像生成单元，用于根据预测的所述特征点位置生成手部形状的遮罩图像；
第二手势识别结果确定单元，用于将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
最终手势识别结果确定单元，用于根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
第三方面，本申请实施例提供了一种机器人，包括指示灯、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在机器人上运行时，使得机器人执行上述第一方面中所述的方法。
本申请实施例与现有技术相比存在的有益效果是：由于手部区域是通过包括分类器的训练后的人手检测模型从肤色区域检测得到，手部的特征点位置是根据预设的特征点检测回归模型预测得到，而分类器的算法复杂度以及预设的特征点检测回归模型的算法复杂度都低于深度学习模型的复杂度，因此，该人手检测模型和该预设的特征点检测回归模型所需的计算力将低与深度学习模型所需的计算力，从而无需采用特定计算芯片支持。另外，由于人手检测模型在肤色区域检测出手部区域后，直接确定第一手势识别结果，且再根据预设的特征点检测回归模型从上述的手部区域确定手部形状的遮罩图像，根据该遮罩图像与预设的参考手势图像进行比较，又确定第二手势识别结果，而图像帧的最终手势识别结果是通过第一手势识别结果和第二手势识别结果进行比较确定的，即图像帧的最终手势识别结果是经过手势重验证之后确定，因此能够提高确定的最终手势识别结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例一提供的一种手势识别方法的流程图；
图2A是本申请实施例一提供的包括手部图像的一个图像帧的示意图；
图2B是本申请实施例一提供的从图像2A中提取的肤色区域的示意图；
图3A～图3D是本申请实施例一提供的生成不同手势的框的示意图；
图4是本申请实施例一提供的从框内得到预测的特征点位置的示意图；
图5是本申请实施例二提供的一种手势识别方法的流程图；
图6是本申请实施例二提供的跟踪图像帧失败和跟踪图像帧成功的示意图；
图7是本申请实施例三提供的手势识别装置的结构示意图；
图8是本申请实施例四提供的机器人的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一：
图1示出了本申请实施例一提供的一种手势识别方法的流程图，本申请实施例提供的手势识别方法应用于机器人(如人形机器人)，详述如下：
步骤S11，获取图像帧；
具体地，在机器人上设置相机，当机器人启动后，将通过相机拍摄相机前方的用户，得到对应的图像帧；
步骤S12，提取所述图像帧的肤色区域；
这里的肤色区域是指具备用户(人类)正常肤色所对应的区域。参见图2A和图2B，其中，图2B是从图2A的图像帧中提取的肤色区域。
步骤S13，采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
其中，这里的分类器可以为cascade classifier分类器，该CascadeClassifier是一个级联分类器。该人手检测模型可通过以下方式进行训练：采集每个手势的图像帧，并标注所述图像帧中的手部区域，比如，通过框选出手部区域实现手部区域的标注，同时保存手部区域对应的框的左上角以及长和宽对应的数据，从图像帧提取fhog特征，结合cascadeclassifier分类器对人手检测模型(hand detector)进行训练。
其中，图3A～图3D示出了在检测出手部区域后，生成的手部区域的框。
步骤S14，根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
其中，特征点检测回归模型通过以下方式训练：如图4所示，标注手部的特征点，标注的特征点应能明显区分出手部轮廓，再基于Ensemble of Regression Tress算法对特征点检测回归模型进行训练，并将训练后的特征点检测回归模型作为预设的特征点检测回归模型。其中，特征点的编号可个性化设置，但由于手部轮廓是通过特征点的编号顺序连接特征点得到，因此，为了提高分割的手部轮廓的准确性，则设置特征点的编号是按照顺时针的顺序编号，或者，按照逆时针的顺序编号。
步骤S15，根据预测的所述特征点位置生成手部形状的遮罩图像；
具体地，通过顺序连通特征点位置上的各个特征点，得到一连通区域，根据该连通区域的形状生成一遮罩图像，由于连通区域的各个特征点为手部的各个特征点，因此，生成的遮罩图像的形状为手部形状。
步骤S16，将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
其中，预设的参考手势图像包括不同类型的手势所对应的图像，比如，假设参考手势图像为图3B，且判断出遮罩图像中的手部形状与图3B中的手部形状的相似度大于或等于预设的相似度阈值，则判定该遮罩图像对应的手部形状如图3B中的手部形状，即第二手势识别结果可以为“剪刀手”。
步骤S17，根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
具体地，若第一手势识别结果和第二手势识别结果相同，则判定最终手势识别结果为第一手势识别结果(或第二手势识别结果)。
本申请实施例中，由于手部区域是通过包括分类器的训练后的人手检测模型从肤色区域检测得到，手部的特征点位置是根据预设的特征点检测回归模型预测得到，而分类器的算法复杂度以及预设的特征点检测回归模型的算法复杂度都低于深度学习模型的复杂度，因此，该人手检测模型和该预设的特征点检测回归模型所需的计算力将低与深度学习模型所需的计算力，从而无需采用特定计算芯片支持。另外，由于人手检测模型在肤色区域检测出手部区域后，直接确定第一手势识别结果，且再根据预设的特征点检测回归模型从上述的手部区域确定手部形状的遮罩图像，根据该遮罩图像与预设的参考手势图像进行比较，又确定第二手势识别结果，而图像帧的最终手势识别结果是通过第一手势识别结果和第二手势识别结果进行比较确定的，即图像帧的最终手势识别结果是经过手势重验证之后确定，因此能够提高确定的最终手势识别结果的准确性。
实施例二：
在一些实施例中，为了能够提取出更准确的肤色区域，则将图像帧转换为预设的颜色空间下，再从转换后的颜色空间提取图像帧的肤色区域。其中，该预设的颜色空间的颜色区分要明显，比如，可以为HSV颜色空间，也可以为YCbCr颜色空间。
在一些实施例中，为了进一步提高确定的肤色区域的准确度，则可以分别在两个不同颜色空间中提取出肤色区域，再从其他的2个肤色区域中确定最终的肤色区域。具体地，图5示出了本申请实施例二提供的一种手势识别方法的流程图，其中，步骤S51与实施例一的步骤S11相同，步骤S55～步骤S59与实施例一的步骤S13～步骤S17相同，此处不再赘述：
步骤S51，获取图像帧；
步骤S52，将所述图像帧分别转换为预设的第一颜色空间下的第一图像帧和预设的第二颜色空间下的第二图像帧；
其中，这里的第一颜色空间和第二颜色空间分别为HSV颜色空间和YCbCr颜色空间。
步骤S53，从所述第一图像帧提取出所述第一肤色区域，以及，从所述第二图像帧提取出第二肤色区域；
步骤S54，根据所述第一肤色区域和所述第二肤色区域确定所述图像帧的肤色区域。
具体地，为了得到更完备的肤色区域，则对第一肤色区域和第二肤色区域执行“或操作”，比如，若从HSV颜色空间分割的第一肤色区域中没有包括M区域，而YCbCr颜色空间分割的第二肤色区域中包括该M区域，则第一肤色区域和第二肤色区域执行“或操作”后，得到的最终的肤色区域将包括该M区域。同理，若从HSV颜色空间分割的第一肤色区域中包括N区域，而YCbCr颜色空间分割的第二肤色区域中没有包括该N区域，则第一肤色区域和第二肤色区域执行“或操作”后，得到的最终的肤色区域将包括该N区域。即通过第一肤色区域和第二肤色区域执行“或操作”后，将得到更完备的肤色区域，从而弥补HSV颜色空间和YCbCr颜色空间的不足。
在另一些实施例中，为了降低后续的计算量，则对第一肤色区域和第二肤色区域执行“并操作”，这样，能够保证得到的图像帧的最终的肤色区域小于或等于第一肤色区域，也小于或等于第二肤色区域，即通过减少肤色区域的大小来提高后续的计算量。
步骤S55，采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
步骤S56，根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
步骤S57，根据预测的所述特征点位置生成手部形状的遮罩图像；
步骤S58，将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
步骤S59，根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
本实施例中，由于图像帧的肤色区域是根据第一肤色区域和第二肤色区域确定的，而第一肤色区域是从第一颜色空间提取得到，第二肤色区域是从第二颜色空间提取得到，因此，最终确定的图像帧的肤色区域将比从单一颜色空间确定的肤色区域更准确。
在一些实施例中，所述步骤S55(或步骤S13)，包括：
A1、采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的至少2个框，以及所述至少2个框对应的置信度；
A2、确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
本实施例中，手部区域的框为长方形，每个手部区域的框都对应一个置信度，置信度越高表明该框内的物体为手部的概率越高，此时确定置信度最高的框的长和宽的比值。由于在训练人手检测模型时已确定框的某个长和宽的比值所对应的手势，即预先确定框选不同手势的框的长宽比与该不同手势的映射关系，因此，在确定置信度最高的框的长宽比之后，结合预设的长宽比与手势的映射关系，能够确定该长宽比对应的第一手势识别结果。
在一些实施例中，由于保持一段时间的手势才可能是用户希望发出的手势，因此，为了保证识别的手势为用户希望发出的手势，则只识别维持预设时长的手势，此时，在所述步骤A2之前，包括：
跟踪置信度最高的框；
对应地，所述步骤A2，具体为：
若在预设时长内跟踪所述置信度最高的框成功，则确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
本实施例中，为了减少对每一个图像帧的手部区域进行检测所带来的计算量，则跟踪置信度最高的框(而不分别跟踪整个手部区域)，若在预设时长内跟踪该置信度最高的框成功，则执行后续的步骤。其中，预设时长根据实际应用设定，一般不宜过长，以免影响识别准确度及鲁棒性。优选地，预设时长(单位为帧数)＝(1～2)秒/相机帧率。其中，跟踪成功是指：如果当前帧得到的框与上一帧的框的重叠度大于或等于重叠阈值，且，长宽比的变化小于或等于变化阈值。
在一些实施例中，所述手势识别方法还包括：
若在预设时长内跟踪所述置信度最高的框失败，则识别处于跟踪失败和跟踪成功之间的图像帧的手势，根据识别的手势确定对应的抓取动作。
其中，跟踪失败是指：如果当前帧得到的框与上一帧的框的重叠度小于重叠阈值，或，长宽比的变化大于变化阈值。
如图6所示，若在预设时长内跟踪所述置信度最高的框失败，表明当前手势不是静态手势，而是动态手势，此时，识别跟踪失败和跟踪成功之间的图像帧的手势，如图6中“跟踪失败”对应的箭头左右两个图像帧中的手势，根据该两个手势确定对应的抓取动作。通过这样设置，能够保证静态手势和动态手势都能识别。
在一些实施例中，为了能够得到更准确的手势识别结果，则所述步骤S29(或步骤S17)，包括：
B1、若所述第一手势识别结果与所述第二手势识别结果相同，则将所述第一手势识别结果确定为所述图像帧中的最终手势识别结果；
B2、若所述第一手势识别结果与所述第二手势识别结果不同，则返回获取图像帧的步骤。
本实施例中，只有在第一手势识别结果和第二手势识别结果相同时，才输出图像帧的最终手势识别结果，即通过二次比较，从而提高确定的图像帧的最终手势识别结果的准确性。
在一些实施例中，为了能够快速识别手势，则所述手势识别方法还包括：
若在所述图像帧中未检测到肤色区域，则发出提示。
本实施例中，可通过在机器人上设置指示灯发出提示，比如，通过指示灯发出红色光进行提示。
在一些实施例中，若未得到手势识别结果，比如未得到第一手势识别结果，或未得到第二手势识别结果，则通过指示灯发出黄色光进行提示。
在一些实施例中，若确定出图像帧中的最终手势识别结果，则通过指示灯发出绿色光进行提示。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三：
对应于上文实施例所述的手势识别方法，图7示出了本申请实施例提供的手势识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该手势识别装置7包括：图像帧获取单元71、肤色区域提取单元72、手部区域检测单元73、特征点位置预测单元74、遮罩图像生成单元75、第二手势识别结果确定单元76、最终手势识别结果确定单元77。其中：
图像帧获取单元71，用于获取图像帧；
肤色区域提取单元72，用于提取所述图像帧的肤色区域；
手部区域检测单元73，用于采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
特征点位置预测单元74，用于根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
遮罩图像生成单元75，用于根据预测的所述特征点位置生成手部形状的遮罩图像；
第二手势识别结果确定单元76，用于将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
最终手势识别结果确定单元77，用于根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
本申请实施例中，由于手部区域是通过包括分类器的训练后的人手检测模型从肤色区域检测得到，手部的特征点位置是根据预设的特征点检测回归模型预测得到，而分类器的算法复杂度以及预设的特征点检测回归模型的算法复杂度都低于深度学习模型的复杂度，因此，该人手检测模型和该预设的特征点检测回归模型所需的计算力将低与深度学习模型所需的计算力，从而无需采用特定计算芯片支持。另外，由于人手检测模型在肤色区域检测出手部区域后，直接确定第一手势识别结果，且再根据预设的特征点检测回归模型从上述的手部区域确定手部形状的遮罩图像，根据该遮罩图像与预设的参考手势图像进行比较，又确定第二手势识别结果，而图像帧的最终手势识别结果是通过第一手势识别结果和第二手势识别结果进行比较确定的，即图像帧的最终手势识别结果是经过手势重验证之后确定，因此能够提高确定的最终手势识别结果的准确性。
在一些实施例中，所述肤色区域提取单元72，包括：
颜色空间转换模块，用于将所述图像帧分别转换为预设的第一颜色空间下的第一图像帧和预设的第二颜色空间下的第二图像帧；
不同肤色区域提取模块，用于从所述第一图像帧提取出所述第一肤色区域，以及，从所述第二图像帧提取出第二肤色区域；
图像帧的肤色区域确定模块，用于根据所述第一肤色区域和所述第二肤色区域确定所述图像帧的肤色区域。
在一些实施例中，所述手部区域检测单元73，包括：
手部区域的框确定模块，用于采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的至少2个框，以及所述至少2个框对应的置信度；
长宽比确定模块，用于确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
在一些实施例中，所述手势识别装置7包括：
跟踪单元，用于跟踪置信度最高的框；
对应地，所述长宽比确定模块，具体为：
若在预设时长内跟踪所述置信度最高的框成功，则确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
在一些实施例中，所述手势识别装置7还包括：
抓取动作确定单元，用于若在预设时长内跟踪所述置信度最高的框失败，则识别处于跟踪失败和跟踪成功之间的图像帧的手势，根据识别的手势确定对应的抓取动作。
在一些实施例中，所述最终手势识别结果确定单元77，具体用于：
若所述第一手势识别结果与所述第二手势识别结果相同，则将所述第一手势识别结果确定为所述图像帧中的最终手势识别结果；若所述第一手势识别结果与所述第二手势识别结果不同，则返回获取图像帧的步骤。
在一些实施例中，所述手势识别装置7还包括：
提示单元，用于若在所述图像帧中未检测到肤色区域，则发出提示。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例四：
图8为本申请实施例四提供的机器人的结构示意图。如图8所示，该实施例的机器人8包括：至少一个处理器80(图8中仅示出一个处理器)、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，该机器人8还可以包括指示灯83，所述处理器80执行所述计算机程序82时实现上述任意各个方法实施例中的步骤。
本领域技术人员可以理解，图8仅仅是机器人8的举例，并不构成对机器人8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述机器人8的内部存储单元，例如机器人8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述机器人8的外部存储设备，例如所述机器人8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述机器人8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/机器人的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种手势识别方法，其特征在于，包括：
获取图像帧；
提取所述图像帧的肤色区域；
采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
根据预测的所述特征点位置生成手部形状的遮罩图像；
将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
2.如权利要求1所述的手势识别方法，其特征在于，所述提取所述图像帧的肤色区域，包括：
将所述图像帧分别转换为预设的第一颜色空间下的第一图像帧和预设的第二颜色空间下的第二图像帧；
从所述第一图像帧提取出所述第一肤色区域，以及，从所述第二图像帧提取出第二肤色区域；
根据所述第一肤色区域和所述第二肤色区域确定所述图像帧的肤色区域。
3.如权利要求1所述的手势识别方法，其特征在于，所述采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，包括：
采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的至少2个框，以及所述至少2个框对应的置信度；
确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
4.如权利要求3所述的手势识别方法，其特征在于，在所述确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果之前，包括：
跟踪置信度最高的框；
对应地，所述确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果，具体为：
若在预设时长内跟踪所述置信度最高的框成功，则确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。
5.如权利要求4所述的手势识别方法，其特征在于，所述手势识别方法还包括：
若在预设时长内跟踪所述置信度最高的框失败，则识别处于跟踪失败和跟踪成功之间的图像帧的手势，根据识别的手势确定对应的抓取动作。
6.如权利要求1至5任一项所述的手势识别方法，其特征在于，所述根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果，包括：
若所述第一手势识别结果与所述第二手势识别结果相同，则将所述第一手势识别结果确定为所述图像帧中的最终手势识别结果；
若所述第一手势识别结果与所述第二手势识别结果不同，则返回获取图像帧的步骤。
7.如权利要求1至5任一项所述的手势识别方法，其特征在于，所述手势识别方法还包括：
若在所述图像帧中未检测到肤色区域，则发出提示。
8.一种手势识别装置，其特征在于，包括：
图像帧获取单元，用于获取图像帧；
肤色区域提取单元，用于提取所述图像帧的肤色区域；
手部区域检测单元，用于采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；
特征点位置预测单元，用于根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；
遮罩图像生成单元，用于根据预测的所述特征点位置生成手部形状的遮罩图像；
第二手势识别结果确定单元，用于将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；
最终手势识别结果确定单元，用于根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。
9.一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067504.0A CN111291749B (zh) | 2020-01-20 | 2020-01-20 | 手势识别方法、装置及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067504.0A CN111291749B (zh) | 2020-01-20 | 2020-01-20 | 手势识别方法、装置及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291749A true CN111291749A (zh) | 2020-06-16 |
| CN111291749B CN111291749B (zh) | 2024-04-23 |
Family
ID=71018155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010067504.0A Active CN111291749B (zh) | 2020-01-20 | 2020-01-20 | 手势识别方法、装置及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291749B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860196A (zh) * | 2020-06-24 | 2020-10-30 | 富泰华工业（深圳）有限公司 | 手部作业动作评分装置、方法及计算机可读存储介质 |
| CN112446291A (zh) * | 2020-10-26 | 2021-03-05 | 杭州易现先进科技有限公司 | 手势识别的方法、装置、电子装置和存储介质 |
| CN113378770A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 手势识别方法、装置、设备、存储介质以及程序产品 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| CN102508547A (zh) * | 2011-11-04 | 2012-06-20 | 哈尔滨工业大学深圳研究生院 | 基于计算机视觉的手势输入法构建方法及系统 |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
| WO2017161778A1 (zh) * | 2016-03-25 | 2017-09-28 | 乐视控股（北京）有限公司 | 手掌的掌心位置定位、手势识别方法、装置及智能终端 |
| CN107239727A (zh) * | 2016-12-07 | 2017-10-10 | 北京深鉴智能科技有限公司 | 手势识别方法和系统 |
| CN107247934A (zh) * | 2017-05-27 | 2017-10-13 | 湖北天业云商网络科技有限公司 | 一种基于快速特征点定位的全天候哈欠检测方法及系统 |
| CN107330354A (zh) * | 2017-03-20 | 2017-11-07 | 长沙理工大学 | 一种自然手势识别方法 |
| CN108345387A (zh) * | 2018-03-14 | 2018-07-31 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN207946727U (zh) * | 2018-01-29 | 2018-10-09 | 苏州麦迪斯顿医疗科技股份有限公司 | 一种基于手势识别的一体机 |
| CN109272473A (zh) * | 2018-10-26 | 2019-01-25 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及移动终端 |
| CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
| CN110059645A (zh) * | 2019-04-23 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种人脸识别方法、系统及电子设备和存储介质 |
| CN110674873A (zh) * | 2019-09-24 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像分类方法、装置、移动终端及存储介质 |
| CN110688914A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 一种手势识别的方法、智能设备、存储介质和电子设备 |
-
2020
- 2020-01-20 CN CN202010067504.0A patent/CN111291749B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
| CN102508547A (zh) * | 2011-11-04 | 2012-06-20 | 哈尔滨工业大学深圳研究生院 | 基于计算机视觉的手势输入法构建方法及系统 |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
| WO2017161778A1 (zh) * | 2016-03-25 | 2017-09-28 | 乐视控股（北京）有限公司 | 手掌的掌心位置定位、手势识别方法、装置及智能终端 |
| CN107239727A (zh) * | 2016-12-07 | 2017-10-10 | 北京深鉴智能科技有限公司 | 手势识别方法和系统 |
| CN107330354A (zh) * | 2017-03-20 | 2017-11-07 | 长沙理工大学 | 一种自然手势识别方法 |
| CN107247934A (zh) * | 2017-05-27 | 2017-10-13 | 湖北天业云商网络科技有限公司 | 一种基于快速特征点定位的全天候哈欠检测方法及系统 |
| CN207946727U (zh) * | 2018-01-29 | 2018-10-09 | 苏州麦迪斯顿医疗科技股份有限公司 | 一种基于手势识别的一体机 |
| CN108345387A (zh) * | 2018-03-14 | 2018-07-31 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN109272473A (zh) * | 2018-10-26 | 2019-01-25 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及移动终端 |
| CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
| CN110059645A (zh) * | 2019-04-23 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种人脸识别方法、系统及电子设备和存储介质 |
| CN110688914A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 一种手势识别的方法、智能设备、存储介质和电子设备 |
| CN110674873A (zh) * | 2019-09-24 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像分类方法、装置、移动终端及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860196A (zh) * | 2020-06-24 | 2020-10-30 | 富泰华工业（深圳）有限公司 | 手部作业动作评分装置、方法及计算机可读存储介质 |
| CN111860196B (zh) * | 2020-06-24 | 2023-06-20 | 富泰华工业（深圳）有限公司 | 手部作业动作评分装置、方法及计算机可读存储介质 |
| CN112446291A (zh) * | 2020-10-26 | 2021-03-05 | 杭州易现先进科技有限公司 | 手势识别的方法、装置、电子装置和存储介质 |
| CN113378770A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 手势识别方法、装置、设备、存储介质以及程序产品 |
| CN113378770B (zh) * | 2021-06-28 | 2023-06-27 | 北京百度网讯科技有限公司 | 手势识别方法、装置、设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291749B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344793B (zh) | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 | |
| US11600008B2 (en) | Human-tracking methods, systems, and storage media | |
| US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
| CN111291749B (zh) | 手势识别方法、装置及机器人 | |
| CN111145214A (zh) | 目标跟踪方法、装置、终端设备及介质 | |
| CN111327949B (zh) | 一种视频的时序动作检测方法、装置、设备及存储介质 | |
| KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
| CN112487886A (zh) | 一种有遮挡的人脸识别方法、装置、存储介质及终端 | |
| CN112380981A (zh) | 人脸关键点的检测方法、装置、存储介质及电子设备 | |
| US11734954B2 (en) | Face recognition method, device and electronic equipment, and computer non-volatile readable storage medium | |
| CN112633159B (zh) | 人-物交互关系识别方法、模型训练方法及对应装置 | |
| US10945888B2 (en) | Intelligent blind guide method and apparatus | |
| CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
| CN112949578B (zh) | 车灯状态识别方法、装置、设备及存储介质 | |
| CN115546488B (zh) | 信息分割方法、信息提取方法和信息分割模型的训练方法 | |
| CN113780243A (zh) | 行人图像识别模型的训练方法、装置、设备以及存储介质 | |
| CN111753923A (zh) | 基于人脸的智能相册聚类方法、系统、设备及存储介质 | |
| JP2019220014A (ja) | 画像解析装置、画像解析方法及びプログラム | |
| CN110795975A (zh) | 人脸误检优化方法及装置 | |
| US20210019547A1 (en) | System and a method for efficient image recognition | |
| CN113780040A (zh) | 唇部关键点的定位方法及装置、存储介质、电子设备 | |
| JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
| CN114387600A (zh) | 文本特征识别方法、装置、计算机设备和存储介质 | |
| CN114596638A (zh) | 人脸活体检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |