CN112613382A - 对象完整性的确定方法及装置、存储介质、电子装置 - Google Patents

对象完整性的确定方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN112613382A
CN112613382A CN202011497719.2A CN202011497719A CN112613382A CN 112613382 A CN112613382 A CN 112613382A CN 202011497719 A CN202011497719 A CN 202011497719A CN 112613382 A CN112613382 A CN 112613382A
Authority
CN
China
Prior art keywords
target object
target
determining
feature points
keypoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011497719.2A
Other languages
English (en)
Other versions
CN112613382B (zh
Inventor
胡海波
张兴明
潘华东
唐邦杰
刘忠耿
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011497719.2A priority Critical patent/CN112613382B/zh
Publication of CN112613382A publication Critical patent/CN112613382A/zh
Application granted granted Critical
Publication of CN112613382B publication Critical patent/CN112613382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明实施例提供了一种对象完整性的确定方法及装置、存储介质、电子装置，该方法包括：利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合；基于目标关键点集合和参考关键点集合之间的关系确定目标对象的置信度；利用置信度确定目标对象的完整性。通过本发明，解决了相关技术中对对象的完整性判断不准确的问题，达到准确的确定对象的完整性的效果。

Description

对象完整性的确定方法及装置、存储介质、电子装置
技术领域
本发明实施例涉及图像领域，具体而言，涉及一种对象完整性的确定方法及装置、存储介质、电子装置。
背景技术
视频结构化技术一直以来都是计算机视觉中的研究和应用热点。而对视频中的目标进行有效的结构化属性提取所依赖的前提条件就是在输入的视频帧中，目标各个部位轮廓清晰完整。因此，对目标进行完整性的判定，筛选出关键部位完整可见的目标能够有效减少计算资源的需求，提高属性识别的准确率和效率。
当前人体上半身完整性的主要判断方法为收集大量的标注数据训练相关的分类网络模型，输出目标完整与否或者给出遮挡分数。然而实际场景中环境往往比较复杂、目标的姿态多种多样。人体上半身的完整性在连续多帧图像内会不断变化，这种连续的变化对于分类网络来说较为细微，往往造成网络对于遮挡的判断不够准确。
针对上述技术问题，相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象完整性的确定方法及装置、存储介质、电子装置，以至少解决相关技术中对对象的完整性判断不准确的问题。
根据本发明的一个实施例，提供了一种对象完整性的确定方法，包括：利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合，其中，上述目标关键点集合中包括上述目标对象的M个特征点，上述判别关键点集合中包括上述目标对象的N个预设姿态对应的K个特征点，上述M、上述N以及上述K均是大于或等于1的自然数；基于上述目标关键点集合和上述参考关键点集合之间的关系确定上述目标对象的置信度；利用上述置信度确定上述目标对象的完整性。
根据本发明的另一个实施例，提供了一种对象完整性的确定装置，包括：第一确定模块，用于利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合，其中，上述目标关键点集合中包括上述目标对象的M个特征点，上述判别关键点集合中包括上述目标对象的N个预设姿态对应的K个特征点，上述M、上述N以及上述K均是大于或等于1的自然数；第二确定模块，用于基于上述目标关键点集合和上述参考关键点集合之间的关系确定上述目标对象的置信度；第三确定模块，用于利用上述置信度确定上述目标对象的完整性。
在一个示例性实施例中，上述装置还包括：第四确定模块，用于在利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合之前，确定上述目标对象的目标关键点集合，其中，上述第四确定模块包括：第一获取单元，用于通过摄像设备获取上述目标对象的目标图像；第一输入单元，用于将上述目标图像输入至目标网络模型中，以得到上述目标网络模型输出的上述目标对象的M个特征点；第一确定单元，用于将上述M个特征点确定为上述目标关键点集合。
在一个示例性实施例中，上述装置还包括：第五确定模块，用于在利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合之前，确定上述目标对象的参考关键点集合，其中，上述第四确定模块包括：第一穷举单元，用于穷举上述目标对象在上述N个预设姿态中的每个预设姿态中的关键点，得到上述参考关键点集合。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第二确定单元，用于在上述目标对象处于正向姿态，且上述M个特征点等于上述K个特征点中的正向特征点，或者，上述M个特征点包含于上述K个特征点中的正向特征点的情况下，将上述正向特征点确定为上述参考关键点集合；第三确定单元，用于在上述目标对象处于正向姿态，且上述M个特征点未包含于上述K个特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第四确定单元，用于在上述目标对象处于侧向姿态，且上述M个特征点属于上述K个特征点中的侧向特征点集合的情况下，将上述侧向特征点集合中的目标侧向特征点确定为上述参考关键点集合，其中，上述K个特征点等于上述目标侧向特征点；第一处理单元，用于在上述目标对象处于侧向姿态，上述M个特征点属于上述K个特征点中的侧向特征点集合，且上述K个特征点不等于上述侧向特征点集合中的任一侧向特征点的情况下，遍历上述侧向特征点集合；将上述侧向特征点集合中与上述M个特征点之间特征相差最少的侧向特征点确定为上述参考关键点集合；在上述侧向特征点集合中未包括上述M个特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第五确定单元，用于在上述目标对象处于背向姿态，且上述M个特征点等于上述K个特征点中的背向特征点，或者，上述M个特征点包含于上述K个特征点中的背向特征点的情况下，将上述背向特征点确定为上述参考关键点集合；第六确定单元，用于在上述目标对象处于背向姿态，且上述M个特征点未包含于上述K个特征点中的背向特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第二确定模块，包括：通过以下公式确定上述目标对象在每个预设姿态下的置信度：
Figure BDA0002842668980000031
Figure BDA0002842668980000032
其中，上述ykp用于表示上述目标对象在每个预设姿态下的置信度，上述n用于表示上述目标对象的M个特征点，上述Ckpi用于表示上述目标对象的每个关键点对应的置信度，上述Lkp用于表示上述目标关键点集合，上述Skp用于表示上述参考关键点集合，上述m用于表示上述Lkp与上述Skp之间相差的关键点数目，上述Coj用于表示上述目标对象所处的预设姿态对应的置信度，上述k用于表示上述N个预设姿态；第一加权单元，用于加权上述ykp，得到上述目标对象的置信度。
在一个示例性实施例中，上述第三确定模块，包括：第七确定单元，用于利用上述置信度和预设置信度确定构建上述目标对象的隶属度矩阵，其中，上述隶属度矩阵中包括上述目标对象的完整置信度和不完整置信度；第一合成单元，用于合成上述隶属度矩阵，以从合成的隶属度矩阵中确定上述目标对象的完整性。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，其中，目标关键点集合中包括目标对象的M个特征点，判别关键点集合中包括目标对象的N个预设姿态对应的K个特征点，M、N以及K均是大于或等于1的自然数；基于目标关键点集合和参考关键点集合之间的关系确定目标对象的置信度；利用置信度确定目标对象的完整性。因此，可以解决相关技术中对对象的完整性判断不准确的问题，达到准确的确定对象的完整性的效果。
附图说明
图1是本发明实施例的一种对象完整性的确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的对象完整性的确定方法的流程图；
图3是根据本发明实施例的判断流程示意图；
图4是根据本发明实施例的正向姿态的示意图；
图5是根据本发明实施例的侧向姿态的示意图；
图6是根据本发明实施例的目标对象的上半身完整置信度的结构示意图(一)；
图7是根据本发明实施例的目标对象的上半身完整置信度的结构示意图(二)；
图8是根据本发明实施例的融合关键点和神经网络分类信息的完整性分类方法的流程图；
图9是根据本发明实施例的对象完整性的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象完整性的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对象完整性的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种对象完整性的确定方法，图2是根据本发明实施例的对象完整性的确定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，其中，所述目标关键点集合中包括所述目标对象的M个特征点，所述判别关键点集合中包括所述目标对象的N个预设姿态对应的K个特征点，所述M、所述N以及所述K均是大于或等于1的自然数；
步骤S204，基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度；
步骤S206，利用所述置信度确定所述目标对象的完整性。
其中，上述步骤的执行主体可以为服务器等，但不限于此。
本实施例包括但不限于应用于工服检测、行人属性识别等对人体上半身完整性要求较高的场景中。在该场景中，从目标对象的图像中获取目标对象的特征点。图像的选取会考虑图像质量、人体姿态、人体被遮挡程度等方面的因素。
通过上述步骤，通过利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，其中，目标关键点集合中包括目标对象的M个特征点，判别关键点集合中包括目标对象的N个预设姿态对应的K个特征点，M、N以及K均是大于或等于1的自然数；基于目标关键点集合和参考关键点集合之间的关系确定目标对象的置信度；利用置信度确定目标对象的完整性。因此，可以解决相关技术中对对象的完整性判断不准确的问题，达到准确的确定对象的完整性的效果。
在一个示例性实施例中，利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合之前，方法还包括：确定目标对象的目标关键点集合，其中，确定目标对象的目标关键点集合包括：
S1，通过摄像设备获取目标对象的目标图像；
S2，将目标图像输入至目标网络模型中，以得到目标网络模型输出的目标对象的M个特征点；
S3，将M个特征点确定为目标关键点集合。
在本实施例中，网络模型包括但不限于是神经网络模型。目标模型是经过训练后的模型。
在一个示例性实施例中，利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合之前，方法还包括：确定目标对象的参考关键点集合，其中，确定目标对象的参考关键点集合包括：
S1，穷举目标对象在N个预设姿态中的每个预设姿态中的关键点，得到参考关键点集合。
在本实施例中，N个预设姿态包括以下至少之一：正向姿态、侧向姿态和背向姿态。参考关键点集合中包括目标对象对应的姿态的所有特征点。
在一个示例性实施例中，利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，包括以下之一：
S1，在目标对象处于正向姿态，且M个特征点等于K个特征点中的正向特征点，或者，M个特征点包含于K个特征点中的正向特征点的情况下，将正向特征点确定为参考关键点集合；
S2，在目标对象处于正向姿态，且M个特征点未包含于K个特征点的情况下，将目标对象的参考关键点集合确定为空集。
在本实施例中，目标关键点集合Lkp，首先与正向姿态时目标完整的关键点集合S1进行对比。若Lkp＝S1则正向姿态时的参考关键点集合Skp＝S1；若Lkp≠S1但
Figure BDA0002842668980000081
此时的参考关键点集合Skp＝S1；若Lkp≠S1但Lkp不包含于S1，此时正向姿态的参考关键点集合为空集Φ(由于正向判别关键点集合包含所有可能检测出来的关键点，故正向参考关键点集合为空集的情况在上述上半身完整性判别场景中不存在，该情况但可推广到其他优选场景)。
在一个示例性实施例中，利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，包括以下之一：
S1，在目标对象处于侧向姿态，且M个特征点属于K个特征点中的侧向特征点集合的情况下，将侧向特征点集合中的目标侧向特征点确定为参考关键点集合，其中，K个特征点等于目标侧向特征点；
S2，在目标对象处于侧向姿态，M个特征点属于K个特征点中的侧向特征点集合，且K个特征点不等于侧向特征点集合中的任一侧向特征点的情况下，遍历侧向特征点集合；将侧向特征点集合中与M个特征点之间特征相差最少的侧向特征点确定为参考关键点集合；在侧向特征点集合中未包括M个特征点的情况下，将目标对象的参考关键点集合确定为空集。
在本实施例中，在侧向姿态时对应的判别关键点集合包括S2、S3、S4和S5四种情况的情况下，要遍历这4个集合进行对比，若Lkp与这四个集合中的某一个集合相等，即Lkp∈{S2，S3，S4，S5}，则侧向姿态的参考关键点集合Skp＝Sk＝Lkp(这里Sk指{S2，S3，S4，S5}中与Lkp相等的那一个)；若Lkp与这四个集合中的任意一个都不相等，但存在
Figure BDA0002842668980000092
(这里Sk指{S2，S3，S4，S5}中的一个)，则从所有满足
Figure BDA0002842668980000093
的判别集合Sk中选择与Lkp关键点数目相差最小(即Lkp和Sk之间的距离最小)的Sk作为侧向姿态的参考关键点集合Skp＝Sk；若Lkp与这四个集合中的任意一个都不相等，且对于任意Sk(这里Sk指{S2，S3，S4，S5}中的一个)，Lkp都不包含于Sk，则侧向姿态的参考关键点集合Skp＝Φ(Φ表示空集)。
在一个示例性实施例中，利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，包括以下之一：
在目标对象处于背向姿态，且M个特征点等于K个特征点中的背向特征点，或者，M个特征点包含于K个特征点中的背向特征点的情况下，将背向特征点确定为参考关键点集合；
在目标对象处于背向姿态，且M个特征点未包含于K个特征点中的背向特征点的情况下，将目标对象的参考关键点集合确定为空集。
在本实施例中，背向姿态与正向姿态的参考关键点集合类似(在本实施例场景中存在背向姿态参考关键点集合为空的情况)。
在一个示例性实施例中，基于目标关键点集合和参考关键点集合之间的关系确定目标对象的置信度，包括：
通过以下公式确定目标对象在每个预设姿态下的置信度：
Figure BDA0002842668980000091
Figure BDA0002842668980000101
Figure BDA0002842668980000102
其中，ykp用于表示目标对象在每个预设姿态下的置信度，n用于表示目标对象的M个特征点，Ckpi用于表示目标对象的每个关键点对应的置信度，Lkp用于表示目标关键点集合，Skp用于表示参考关键点集合，m用于表示Lkp与Skp之间相差的关键点数目，Coj用于表示目标对象所处的预设姿态对应的置信度，k用于表示N个预设姿态；
加权ykp，得到目标对象的置信度。
在本实施例中，在上述公式中，当目标关键点集合与参考关键点集合一致时，对应的置信度为每个关键点的置信度的加权平均数
Figure BDA0002842668980000103
当目标关键点集合少于参考关键点集合时，此时上半身完整置信度为
Figure BDA0002842668980000104
最终，根据上述公式综合方向的置信度进行加权得到最终完整性置信度为
Figure BDA0002842668980000105
这里引入方向的置信度进行加权是为了解决人体方向处于某些临界状态时网络对方向的判断不够准确的情况。
在一个示例性实施例中，利用置信度确定目标对象的完整性，包括：
S1，利用置信度和预设置信度确定构建目标对象的隶属度矩阵，其中，隶属度矩阵中包括目标对象的完整置信度和不完整置信度；
S2，合成隶属度矩阵，以从合成的隶属度矩阵中确定目标对象的完整性。
在本实施例中，隶属度矩阵可以按照Dempster合成公式进行合成。
Figure BDA0002842668980000106
其中，归一化系数K如公式计算得到：
Figure BDA0002842668980000107
在上述公式中，y就是待求的融合后的完整性置信度。其中，K为归一化系数，B和C为每个mass函数下独立的完整性事件(完整与不完整)。
下面结合具体实施例对本发明进行说明：
本实施例提出了基于人体关键点和神经网络分类信息进行上半身完整性分类的方法。一是为优选中的目标的完整性划分提供解决方案，二是通过结合人体关键点解决传统分类网络对于场景复杂，目标姿态多样的图像完整性分类准确度不高的问题。为了解决图像优选的完整性分类算法中，对目标遮挡情况下的完整性分类不准确的问题，本实施例结合人体关键点检测算法，提出了一种融合关键点和神经网络分类信息的完整性分类方法。如图8所示，包括以下步骤：
S1，根据完整性分类网络输出目标的完整性类别及置信度；采用完整性分类网络对输入的图像进行前向推理，并得到目标完整性的分类以及对应类别的softmax置信度，完整与不完整的置信度分别如公式(1)和公式(2)所示。
Figure BDA0002842668980000111
Figure BDA0002842668980000112
S2，根据关键点检测网络输出目标的关键点位置及关键点置信度；该步骤首先联合训练一个包含颈部、左肩、右肩、左胸、右胸、左腰和右腰七个关键点和包含正向、背向和侧向三种人体朝向的多任务网络。然后根据人体方向和关键点信息列举出如下表1所示的目标上半身完整判别依据；
表1完整判别依据表格
Figure BDA0002842668980000113
Figure BDA0002842668980000121
本实施例定义的目标关键点集合为输入图像经过神经网络检测得到的关键点所构成的集合；判别关键点集合为某一特定方向上目标上半身完整时，穷举出的目标所有姿态对应的关键点集合；参考关键点集合为计算上半身完整置信度时选择的关键点参考标准，具体值为判别关键点集合或者空集。同时定义两个关键点集合Lkp和Skp之间的距离为，当
Figure BDA0002842668980000122
时，集合Skp中关键点数目减去Lkp中关键点数目。
本实施例结合目标关键点集合和表1中判别关键点集合进行判断，得到目标正向，侧向和背向对应的参考关键点集合，其判断流程如图3所示：
图3中的符号L_kp、S_1、S_2、S_3、S_4、S_5、S_6、S_kp和S_k分别对应下文中的Lkp、S1、S2、S3、S4、S5、S6、Skp和Sk。
具体地，输入图像的目标关键点集合Lkp，首先与正向时目标完整的关键点集合S1进行对比。若Lkp＝S1则正向时的参考关键点集合Skp＝S1；若Lkp≠S1但
Figure BDA0002842668980000123
此时的参考关键点集合Skp＝S1；若Lkp≠S1但Lkp不包含于S1，此时正向的参考关键点集合为空集Φ(由于正向判别关键点集合包含所有可能检测出来的关键点，故正向参考关键点集合为空集的情况在上述上半身完整性判别场景中不存在，该情况可推广到其他优选场景)。同样地，背向与正向的参考关键点集合类似(在本实施例场景中存在背向参考关键点集合为空的情况)。对于侧向的参考关键点集合，由于侧向时对应的判别关键点集合存在S2、S3、S4和S5四种情况，所以要遍历这4个集合进行对比，若Lkp与这四个集合中的某一个集合相等，即Lkp∈{S2，S3，S4，S5}，则侧向的参考关键点集合Skp＝Sk＝Lkp(这里Sk指{S2，S3，S4，S5}中与Lkp相等的那一个)；若Lkp与这四个集合中的任意一个都不相等，但存在
Figure BDA0002842668980000124
(这里Sk指{S2，S3，S4，S5}中的一个)，则从所有满足
Figure BDA0002842668980000131
的判别集合Sk中选择与Lkp关键点数目相差最小(即Lkp和Sk之间的距离最小)的Sk作为侧向的参考关键点集合Skp＝Sk；若Lkp与这四个集合中的任意一个都不相等，且对于任意Sk(这里Sk指{S2，S3，S4，S5}中的一个)，Lkp都不包含于Sk，则侧向的参考关键点集合Skp＝Φ(Φ表示空集)。这里，对目标的正、侧和背向都选取参考关键点集合是为了后续对每一个方向对应的完整置信度进行线性加权，而加权的作用是为了避免对于某些特定的人体方向，神经网络识别不够准确(如下图4的正向与侧向界限比较模糊、下图5的侧向与背向界限比较模糊和某些情况下的正背向容易分类错误)。
这里以下图4为例，图4中目标的关键点集合为{颈部、左肩、右肩、左胸和右胸}，与正向的判别关键点集合S1对比时，满足条件Lkp≠S1，且
Figure BDA0002842668980000132
则正向的参考关键点集合Skp＝S1；对于侧向的情况，Lkp与这四个集合中的任意一个都不相等但存在
Figure BDA0002842668980000133
且在满足包含关系的前提下，S4与Lkp相差的关键点数最少(只有S4满足包含关系)，所以侧向参考关键点集合Skp＝S4；对于背向的情况，由于Lkp≠S6，且Lkp不包含于S6，所以背向参考关键点集合为空集。
在确定了目标的正、侧和背向参考关键点集合后，根据目标关键点集合和参考关键点集合之间的关系计算每个方向对应的上半身完整置信度。具体计算公式为：
Figure BDA0002842668980000134
Figure BDA0002842668980000135
上述公式中，n为目标图像输入后检测的关键点数量，Ckpi为每个关键点对应的置信度，Lkp为目标关键点集合，Skp为对应方向的参考关键点集合，m为Lkp与Skp相差的关键点数目。Coj为对应方向的置信度，k为人体方向种类总数，这里为3。公式(3)中，当目标关键点集合与参考关键点集合一致时，对应的置信度为每个关键点的置信度的加权平均数
Figure BDA0002842668980000141
当目标关键点集合少于参考关键点集合时，此时上半身完整置信度为
Figure BDA0002842668980000142
最终，根据公式(4)综合方向的置信度进行加权得到最终完整性置信度为
Figure BDA0002842668980000143
这里引入方向的置信度进行加权是为了解决人体方向处于某些临界状态时(如图4处于正向和侧向的临界状态)网络对方向的判断不够准确的情况。
这里同样以上图4为例，在图4中，正向的置信度为0.4，由上文可知参考关键点集合为表1的S1，且满足公式(3)中的条件Lkp≠Skp且
Figure BDA0002842668980000144
Figure BDA0002842668980000145
所以对应地，正向情况下，目标完整性置信度为
Figure BDA0002842668980000146
其中n＝5，m＝2，计算得到目标完整置信度为0.292；侧向的置信度为0.5，参考关键点集合为表1的S4，且满足公式(3)中的条件Lkp≠Skp且
Figure BDA0002842668980000147
通过计算可以得到目标完整置信度为0.292；背向的置信度为0.1，参考坐标系为空集，满足公式(3)中的条件Skp＝Φ，此时置信度为0。最后综合3个方向求得的目标完整置信度，按照公式(4)计算得到最终的置信度为0.264。
同理按照图4计算方式，可以求得图5、图6和图7的目标上半身完整置信度分别为0.761、0.72和0.695。
S3，融合分类网络输出和关键点网络输出进行决策；该步骤基于步骤1和步骤2中的置信度进行基于D-S证据理论的融合，如上述公式所示，根据分类网络给出的完整性的softmax置信度和由关键点所得到的完整性置信度构造mass函数和隶属度矩阵，如表2所示。
表2，隶属度矩阵：
分类m<sub>1</sub> 关键点m<sub>2</sub>
完整置信度 y<sub>CNN</sub> y<sub>kp</sub>
不完整置信度 1-y<sub>CNN</sub> 1-y<sub>kp</sub>
并按照Dempster合成公式进行合成。
Figure BDA0002842668980000151
其中，归一化系数K如公式计算得到：
Figure BDA0002842668980000152
在上述公式中，y就是待求的融合后的完整性置信度。其中，K为归一化系数，B和C为每个mass函数下独立的完整性事件(完整与不完整)。
本实施例通过关键点的有无、关键点检测的置信度和人体的方向信息，提出了基于人体关键点的上半身完整性度量公式，通过人为设计的策略对目标进行了完整性的判断；本实施例结合人为设计的策略获得的完整性信息和神经网络自发输出的完整性信息的融合识别框架，通过融合判决提高了完整性分类的准确性和鲁棒性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种对象完整性的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的对象完整性的确定装置的结构框图，如图9所示，该装置包括：
第一确定模块92，用于利用确定的目标对象的目标关键点集合和判别关键点集合确定目标对象的参考关键点集合，其中，目标关键点集合中包括目标对象的M个特征点，判别关键点集合中包括目标对象的N个预设姿态对应的K个特征点，M、N以及K均是大于或等于1的自然数；
第二确定模块94，用于基于目标关键点集合和参考关键点集合之间的关系确定目标对象的置信度；
第三确定模块96，用于利用置信度确定目标对象的完整性。
在一个示例性实施例中，上述装置还包括：第四确定模块，用于在利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合之前，确定上述目标对象的目标关键点集合，其中，上述第四确定模块包括：第一获取单元，用于通过摄像设备获取上述目标对象的目标图像；第一输入单元，用于将上述目标图像输入至目标网络模型中，以得到上述目标网络模型输出的上述目标对象的M个特征点；第一确定单元，用于将上述M个特征点确定为上述目标关键点集合。
在一个示例性实施例中，上述装置还包括：第五确定模块，用于在利用确定的目标对象的目标关键点集合和判别关键点集合确定上述目标对象的参考关键点集合之前，确定上述目标对象的参考关键点集合，其中，上述第四确定模块包括：第一穷举单元，用于穷举上述目标对象在上述N个预设姿态中的每个预设姿态中的关键点，得到上述参考关键点集合。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第二确定单元，用于在上述目标对象处于正向姿态，且上述M个特征点等于上述K个特征点中的正向特征点，或者，上述M个特征点包含于上述K个特征点中的正向特征点的情况下，将上述正向特征点确定为上述参考关键点集合；第三确定单元，用于在上述目标对象处于正向姿态，且上述M个特征点未包含于上述K个特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第四确定单元，用于在上述目标对象处于侧向姿态，且上述M个特征点属于上述K个特征点中的侧向特征点集合的情况下，将上述侧向特征点集合中的目标侧向特征点确定为上述参考关键点集合，其中，上述K个特征点等于上述目标侧向特征点；第一处理单元，用于在上述目标对象处于侧向姿态，上述M个特征点属于上述K个特征点中的侧向特征点集合，且上述K个特征点不等于上述侧向特征点集合中的任一侧向特征点的情况下，遍历上述侧向特征点集合；将上述侧向特征点集合中与上述M个特征点之间特征相差最少的侧向特征点确定为上述参考关键点集合；在上述侧向特征点集合中未包括上述M个特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第一确定模块，包括以下之一：第五确定单元，用于在上述目标对象处于背向姿态，且上述M个特征点等于上述K个特征点中的背向特征点，或者，上述M个特征点包含于上述K个特征点中的背向特征点的情况下，将上述背向特征点确定为上述参考关键点集合；第六确定单元，用于在上述目标对象处于背向姿态，且上述M个特征点未包含于上述K个特征点中的背向特征点的情况下，将上述目标对象的参考关键点集合确定为空集。
在一个示例性实施例中，上述第二确定模块，包括：通过以下公式确定上述目标对象在每个预设姿态下的置信度：
Figure BDA0002842668980000181
Figure BDA0002842668980000182
其中，上述ykp用于表示上述目标对象在每个预设姿态下的置信度，上述n用于表示上述目标对象的M个特征点，上述Ckpi用于表示上述目标对象的每个关键点对应的置信度，上述Lkp用于表示上述目标关键点集合，上述Skp用于表示上述参考关键点集合，上述m用于表示上述Lkp与上述Skp之间相差的关键点数目，上述Coj用于表示上述目标对象所处的预设姿态对应的置信度，上述k用于表示上述N个预设姿态；第一加权单元，用于加权上述ykp，得到上述目标对象的置信度。
在一个示例性实施例中，上述第三确定模块，包括：七确定单元，用于利用上述置信度和预设置信度确定构建上述目标对象的隶属度矩阵，其中，上述隶属度矩阵中包括上述目标对象的完整置信度和不完整置信度；第一合成单元，用于合成上述隶属度矩阵，以从合成的隶属度矩阵中确定上述目标对象的完整性。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，其中，所述目标关键点集合中包括所述目标对象的M个特征点，所述判别关键点集合中包括所述目标对象的N个预设姿态对应的K个特征点，所述M、所述N以及所述K均是大于或等于1的自然数；
S2，基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度；
S3，利用所述置信度确定所述目标对象的完整性。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，其中，所述目标关键点集合中包括所述目标对象的M个特征点，所述判别关键点集合中包括所述目标对象的N个预设姿态对应的K个特征点，所述M、所述N以及所述K均是大于或等于1的自然数；
S2，基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度；
S3，利用所述置信度确定所述目标对象的完整性。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种对象完整性的确定方法，其特征在于，包括：
利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，其中，所述目标关键点集合中包括所述目标对象的M个特征点，所述判别关键点集合中包括所述目标对象的N个预设姿态对应的K个特征点，所述M、所述N以及所述K均是大于或等于1的自然数；
基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度；
利用所述置信度确定所述目标对象的完整性。
2.根据权利要求1所述的方法，其特征在于，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合之前，所述方法还包括：确定所述目标对象的目标关键点集合，其中，确定所述目标对象的目标关键点集合包括：
通过摄像设备获取所述目标对象的目标图像；
将所述目标图像输入至目标网络模型中，以得到所述目标网络模型输出的所述目标对象的M个特征点；
将所述M个特征点确定为所述目标关键点集合。
3.根据权利要求1所述的方法，其特征在于，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合之前，所述方法还包括：确定所述目标对象的参考关键点集合，其中，确定所述目标对象的参考关键点集合包括：
穷举所述目标对象在所述N个预设姿态中的每个预设姿态中的关键点，得到所述参考关键点集合。
4.根据权利要求1所述的方法，其特征在于，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，包括以下之一：
在所述目标对象处于正向姿态，且所述M个特征点等于所述K个特征点中的正向特征点，或者，所述M个特征点包含于所述K个特征点中的正向特征点的情况下，将所述正向特征点确定为所述参考关键点集合；
在所述目标对象处于正向姿态，且所述M个特征点未包含于所述K个特征点的情况下，将所述目标对象的参考关键点集合确定为空集。
5.根据权利要求1所述的方法，其特征在于，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，包括以下之一：
在所述目标对象处于侧向姿态，且所述M个特征点属于所述K个特征点中的侧向特征点集合的情况下，将所述侧向特征点集合中的目标侧向特征点确定为所述参考关键点集合，其中，所述K个特征点等于所述目标侧向特征点；
在所述目标对象处于侧向姿态，所述M个特征点属于所述K个特征点中的侧向特征点集合，且所述K个特征点不等于所述侧向特征点集合中的任一侧向特征点的情况下，遍历所述侧向特征点集合；将所述侧向特征点集合中与所述M个特征点之间特征相差最少的侧向特征点确定为所述参考关键点集合；在所述侧向特征点集合中未包括所述M个特征点的情况下，将所述目标对象的参考关键点集合确定为空集。
6.根据权利要求1所述的方法，其特征在于，利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，包括以下之一：
在所述目标对象处于背向姿态，且所述M个特征点等于所述K个特征点中的背向特征点，或者，所述M个特征点包含于所述K个特征点中的背向特征点的情况下，将所述背向特征点确定为所述参考关键点集合；
在所述目标对象处于背向姿态，且所述M个特征点未包含于所述K个特征点中的背向特征点的情况下，将所述目标对象的参考关键点集合确定为空集。
7.根据权利要求1所述的方法，其特征在于，基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度，包括：
通过以下公式确定所述目标对象在每个预设姿态下的置信度：
Figure FDA0002842668970000031
Figure FDA0002842668970000032
其中，所述ykp用于表示所述目标对象在每个预设姿态下的置信度，所述n用于表示所述目标对象的M个特征点，所述Ckpi用于表示所述目标对象的每个关键点对应的置信度，所述Lkp用于表示所述目标关键点集合，所述Skp用于表示所述参考关键点集合，所述m用于表示所述Lkp与所述Skp之间相差的关键点数目，所述Coj用于表示所述目标对象所处的预设姿态对应的置信度，所述k用于表示所述N个预设姿态；
加权所述ykp，得到所述目标对象的置信度。
8.根据权利要求1所述的方法，其特征在于，利用所述置信度确定所述目标对象的完整性，包括：
利用所述置信度和预设置信度确定构建所述目标对象的隶属度矩阵，其中，所述隶属度矩阵中包括所述目标对象的完整置信度和不完整置信度；
合成所述隶属度矩阵，以从合成的隶属度矩阵中确定所述目标对象的完整性。
9.一种对象完整性的确定装置，其特征在于，包括：
第一确定模块，用于利用确定的目标对象的目标关键点集合和判别关键点集合确定所述目标对象的参考关键点集合，其中，所述目标关键点集合中包括所述目标对象的M个特征点，所述判别关键点集合中包括所述目标对象的N个预设姿态对应的K个特征点，所述M、所述N以及所述K均是大于或等于1的自然数；
第二确定模块，用于基于所述目标关键点集合和所述参考关键点集合之间的关系确定所述目标对象的置信度；
第三确定模块，用于利用所述置信度确定所述目标对象的完整性。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN202011497719.2A 2020-12-17 2020-12-17 对象完整性的确定方法及装置、存储介质、电子装置 Active CN112613382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011497719.2A CN112613382B (zh) 2020-12-17 2020-12-17 对象完整性的确定方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011497719.2A CN112613382B (zh) 2020-12-17 2020-12-17 对象完整性的确定方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN112613382A true CN112613382A (zh) 2021-04-06
CN112613382B CN112613382B (zh) 2024-04-30

Family

ID=75240295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011497719.2A Active CN112613382B (zh) 2020-12-17 2020-12-17 对象完整性的确定方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN112613382B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009466A (zh) * 2016-10-28 2018-05-08 北京旷视科技有限公司 行人检测方法和装置
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN109977791A (zh) * 2019-03-04 2019-07-05 山东海博科技信息系统股份有限公司 一种手部生理信息检测方法
CN110046600A (zh) * 2019-04-24 2019-07-23 北京京东尚科信息技术有限公司 用于人体检测的方法和装置
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111126257A (zh) * 2019-12-23 2020-05-08 上海商汤智能科技有限公司 行为检测方法及装置
CN111814749A (zh) * 2020-08-12 2020-10-23 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009466A (zh) * 2016-10-28 2018-05-08 北京旷视科技有限公司 行人检测方法和装置
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN109977791A (zh) * 2019-03-04 2019-07-05 山东海博科技信息系统股份有限公司 一种手部生理信息检测方法
CN110046600A (zh) * 2019-04-24 2019-07-23 北京京东尚科信息技术有限公司 用于人体检测的方法和装置
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质
CN111126257A (zh) * 2019-12-23 2020-05-08 上海商汤智能科技有限公司 行为检测方法及装置
CN111814749A (zh) * 2020-08-12 2020-10-23 Oppo广东移动通信有限公司 人体特征点的筛选方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN112613382B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN111144284B (zh) 深度人脸图像的生成方法、装置、电子设备及介质
CN110222718B (zh) 图像处理的方法及装置
CN110321761B (zh) 一种行为识别方法、终端设备及计算机可读存储介质
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN110619316A (zh) 人体关键点检测方法、装置和电子设备
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN112200020A (zh) 一种行人重识别方法、装置、电子设备及可读存储介质
Avola et al. A shape comparison reinforcement method based on feature extractors and f1-score
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
CN114743273A (zh) 基于多尺度残差图卷积网络的人体骨骼行为识别方法及系统
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN111382638A (zh) 一种图像检测方法、装置、设备和存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113627334A (zh) 对象的行为识别方法及装置
CN113298158A (zh) 数据检测方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN112613382A (zh) 对象完整性的确定方法及装置、存储介质、电子装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN112446355B (zh) 一种公共场所行人识别方法及人流统计系统
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN112528847A (zh) 一种目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant