CN111783584B - 图像目标检测方法、装置、电子设备及可读存储介质 - Google Patents

图像目标检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111783584B
CN111783584B CN202010574298.2A CN202010574298A CN111783584B CN 111783584 B CN111783584 B CN 111783584B CN 202010574298 A CN202010574298 A CN 202010574298A CN 111783584 B CN111783584 B CN 111783584B
Authority
CN
China
Prior art keywords
detection result
group
detection
detection results
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010574298.2A
Other languages
English (en)
Other versions
CN111783584A (zh
Inventor
刘子立
郑途
徐国栋
钱炜
杨政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN202010574298.2A priority Critical patent/CN111783584B/zh
Publication of CN111783584A publication Critical patent/CN111783584A/zh
Application granted granted Critical
Publication of CN111783584B publication Critical patent/CN111783584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像目标检测方法、装置、电子设备及可读存储介质，先获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；然后确定相邻的两组检测结果之间的冗余信息，根据该冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，该保留集合和暂留集合中的值用于确定各组检测结果中的目标检测结果；根据各组检测结果对应的保留集合和暂留集合，确定待检测图像对应的目标检测结果。本申请实施例通过同时对多组检测结果进行相邻组间的非极大值抑制，可有效降低图像目标检测过程中总的时间开销。

Description

图像目标检测方法、装置、电子设备及可读存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像目标检测方法、装置、电子设备及可读存储介质。
背景技术
非极大值抑制(Non-maximum suppression，简称NMS)作为一种获取局部最大值的有效方法，目前已经广泛应用于图像目标检测领域。
图像目标检测任务的输入为图像数据，输出为预测结果，该预测结果为用户希望从输入的图像数据中检测到的所有物体，包括它们的类别、边框坐标、预测置信度等。
然而，在图像目标检测中，传统的NMS方法通常只是针对一张图像对应的一组预测结果进行NMS，总的时间开销较大。
发明内容
本申请实施例提供一种图像目标检测方法、装置、电子设备及可读存储介质，可以解决目前的图像目标检测方式时间开销较大的技术问题。
第一方面，本申请实施例提供一种图像目标检测方法，该方法包括：
获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；
确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，所述各组检测结果对应的保留集合和暂留集合中的值用于确定所述各组检测结果中的目标检测结果；
根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果。
第二方面，本申请实施例提供一种图像目标检测装置，该装置包括：
获取模块，用于获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；
冗余确定模块，用于确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
处理模块，用于根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，所述各组检测结果对应的保留集合和暂留集合中的值用于确定所述各组检测结果中的目标检测结果；
所述处理模块，还用于根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面提供的图像目标检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面提供的图像目标检测方法。
本申请实施例所提供的图像目标检测方法、装置、电子设备及可读存储介质，先获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；然后确定相邻的两组检测结果之间的冗余信息，根据该冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，该保留集合和暂留集合中的值用于确定各组检测结果中的目标检测结果；根据各组检测结果对应的保留集合和暂留集合，确定待检测图像对应的目标检测结果。本申请实施例中，通过同时对多组检测结果进行相邻组间的非极大值抑制，可有效降低图像目标检测过程中总的时间开销。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对本申请实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例中提供的图像目标检测方法的流程示意图；
图2为本申请实施例中待检测图像对应的多组检测结果的示意图；
图3为本申请实施例中提供的图像目标检测装置的程序模块示意图；
图4为本申请实施例中提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割技术，将目标的分割和识别合二为一。在现有的目标检测中，主要是通过分类器确定某类物体的位置并以检测框的形式呈现物体的位置。
在图像目标检测过程中，需要依据目标的种类分别生成边界框。对于同一类别的边界框，非极大值抑制NMS方法需要将本类别中所有边界框的得分进行排序，首先选择最高分及其对应的框，然后遍历其余的框，如果和当前最高分框的重叠面积大于一定阈值，就将该框删除。然后从下一类别中继续选一个得分最高的边界框，重复上述过程，最终得到所有类别的检测结果。
在图像目标检测中，传统的NMS方法通常针对一张图像对应的一批检测结果进行NMS，通常具有较大的时间开销。为了减少时间开销，本申请提出了一种目标检测中针对多组检测结果进行相邻组间NMS的方案，在总的时间开销上相比传统NMS方法少数倍。下面采用详细的实施例进行详细说明。
参照图1，图1为本申请实施例中提供的图像目标检测方法的流程示意图，在本申请一种可行的实施方式中，上述图像目标检测方法包括：
S101、获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余。
本申请实施例中，首先对待检测图像进行目标检测，获得待检测图像对应的至少两组检测结果，每一组检测结果中包括至少一个检测结果。其中，属于同一组内的各个检测结果之间无冗余。
为了更好的理解本申请实施例，参照图2，图2为本申请实施例中待检测图像对应的多组检测结果的示意图。在图2中，对待检测图像10进行目标检测后，获得三组检测结果，分别为第1组检测结果11、第2组检测结果12、第3组检测结果13。其中，第1组检测结果11中包括3个检测结果，分别用编号1、2、3表示；第2组检测结果12中包括5个检测结果，分别用编号1、2、3、4、5表示；第3组检测结果13中包括2个检测结果，分别用编号1、2表示。
S102、确定上述至少两组检测结果中相邻的两组检测结果之间的冗余信息。
S103、根据上述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，各组检测结果对应的保留集合和暂留集合中的值用于确定各组检测结果中的目标检测结果。
本申请实施例中，通过遍历相邻的两组检测结果，先确定相邻的两组检测结果之间的冗余信息，然后根据相邻的两组检测结果之间的冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，该保留集合和暂留集合中的值可以用于确定各组检测结果中的目标检测结果。
S104、根据各组检测结果对应的保留集合和暂留集合，确定待检测图像对应的目标检测结果。
本申请实施例中，各组检测结果对应的保留集合和暂留集合，即可确定出各组检测结果中的目标检测结果，然后根据各组检测结果中的目标检测结果，即可确定出待检测图像对应的目标检测结果。
本申请实施例所提供的图像目标检测方法，通过同时对多组检测结果进行相邻组间的非极大值抑制，可有效降低图像目标检测过程中总的时间开销。
基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，上述S102中确定上述至少两组检测结果中相邻的两组检测结果之间的冗余信息，具体包括以下步骤：
a、确定每一组检测结果中的各个检测结果对应的预测类别与边框坐标。
本申请实施例中，可以通过图像识别方法，先确定每一组检测结果中的各个检测结果对应的预测类别，例如，以图2所示，第1组检测结果11中的第1、3个检测结果的预测类别为“人物”，第2个检测结果的预测类别为“汽车”；第2组检测结果12中的第1、2、4、5个检测结果的预测类别为“人物”，第3个检测结果的预测类别为“汽车”；第3组检测结果13中的第1个检测结果的预测类别为“人物”，第2个检测结果的预测类别为“汽车”。
同时，确定每一组检测结果中的各个检测结果的边框坐标。
b、根据第i组检测结果中的各个检测结果对应的预测类别与第i+1组检测结果中的各个检测结果对应的预测类别，确定第i组检测结果与第i+1组检测结果之间的相同类别矩阵，该相同类别矩阵的第n行、第m列的元素的值用于表示第i组检测结果中的第n个检测结果对应的预测类别与第i+1组检测结果中的第m个检测结果对应的预测类别是否相同；其中，i、n、m均为正整数。
本申请实施例中，以图2所示为例，可以得到第1组检测结果与第2组检测结果之间的相同类别矩阵K1：
以及第2组检测结果与第3组检测结果之间的相同类别矩阵K2：
其中，当第1组检测结果中的第n个检测结果对应的预测类别与第2组检测结果中的第m个检测结果对应的预测类别相同时，上述相同类别矩阵K1中的第n行、第m列的元素的值为1；当第1组检测结果中的第n个检测结果对应的预测类别与第2组检测结果中的第m个检测结果对应的预测类别不相同时，上述相同类别矩阵K1中的第n行、第m列的元素的值为0。
例如，在图2中，第1组检测结果中的第1个检测结果对应的预测类别为“人物”、第2组检测结果中的第1个检测结果对应的预测类别也为“人物”，因此上述相同类别矩阵K1中的第1行、第1列的元素的值为1；而第1组检测结果中的第1个检测结果对应的预测类别为“人物”、第2组检测结果中的第3个检测结果对应的预测类别为“汽车”，因此上述相同类别矩阵K1中的第1行、第3列的元素的值为0。
c、根据第i组检测结果中的各个检测结果对应的边框坐标与第i+1组检测结果中的各个检测结果对应的边框坐标，确定第i组检测结果与第i+1组检测结果之间的重叠度矩阵，该重叠度矩阵的第n行、第m列的元素的值用于表示第i组检测结果中的第n个检测结果与第i+1组检测结果中的第m个检测结果的交并比。
本申请实施例中，以图2所示为例，可以得到第1组检测结果与第2组检测结果之间的重叠度矩阵Q1：
以及第2组检测结果与第3组检测结果之间的重叠度矩阵Q2：
示例性的，重叠度矩阵Q1的第1行、第1列的元素的值0.9用于表示第1组检测结果中的第1个检测结果与第2组检测结果中的第1个检测结果的交并比为0.9。
d、根据上述相同类别矩阵与重叠度矩阵确定所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，该冗余矩阵的第n行、第m列的元素的值用于表示第i组检测结果中的第n个检测结果与第i+1组检测结果中的第m个检测结果是否存在冗余。
本申请实施例中，若相邻两组检测结果中的两个检测结果属于同一预测类别，且交并比大于一定的交并比阈值，那么可以认为这两个检测结果之间存在冗余，否则不存在冗余。
以图2所示为例，假设交并比阈值为0.6，可以得到第1组检测结果与第2组检测结果之间的冗余矩阵N1：
以及第2组检测结果与第3组检测结果之间的冗余矩阵N2：
其中，上述冗余矩阵的第n行、第m列的元素的值为1时，表示第i组检测结果中的第n个检测结果与第i+1组检测结果中的第m个检测结果之间存在冗余，当为0时，表示第i组检测结果中的第n个检测结果与第i+1组检测结果中的第m个检测结果之间不存在冗余。
示例性，在图2中，由于第1组检测结果中的第1个检测结果与第2组检测结果中的第1个检测结果对应的预测类别相同，且这两个检测结果之间的交并比(0.9)大于交并比阈值(0.6)，因此上述冗余矩阵N1中的第1行、第1列的元素的值为1。
进一步的，基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，上述S103中根据冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，具体包括以下步骤：
a、确定每一组检测结果中的各个检测结果对应的预测置信度。
b、根据上述第i组检测结果与第i+1组检测结果之间的冗余矩阵Ni，确定含冗余向量Hi与含冗余向量Hi’；该含冗余向量Hi中的第n个值用于表示第i组检测结果中的第n个检测结果是否与第i+1组检测结果中的其中一个检测结果冗余；含冗余向量Hi’中的第n个值用于表示第i+1组检测结果中的第n个检测结果是否与第i组检测结果中的其中一个检测结果冗余。
以图2所示为例，可以得到含冗余向量H1与含冗余向量H1’：
H1＝[1 1 1]
H1'＝[1 1 0 1 1]
其中，含冗余向量H1中的第n个值为1时，表示第1组检测结果中的第n个检测结果与第2组检测结果中的其中一个检测结果冗余，为0时，表示第1组检测结果中的第n个检测结果与第i+1组检测结果中的各个检测结果均不存在冗余。
例如，由于第1组检测结果中的第2个检测结果与第2组检测结果中的第4个检测结果冗余，因此，含冗余向量H1中的第2个值为1。
c、根据第i组检测结果中的各个检测结果对应的预测置信度、第i+1组检测结果中的各个检测结果对应的预测置信度以及上述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵Ni，确定最大得分向量Li与最大得分向量Li’；最大得分向量Li中的第n个值用于表示第i组检测结果中的第n个检测结果的预测置信度是否大于所述第i+1组检测结果中与其冗余的所有检测结果的预测置信度；最大得分向量Li’中的第n个值用于表示第i+1组检测结果中的第n个检测结果的预测置信度是否大于第i组检测结果中与其冗余的所有检测结果的预测置信度。
例如，以图2所示，假设第1组检测结果对应的预测置信度为S1，第2组检测结果对应的预测置信度为S2，第3组检测结果对应的预测置信度为S3：
S1＝[0.98 0.44 0.89]
S2＝[0.77 0.11 0.38 0.57 0.71]
S3＝[0.81 0.49]
可以得到最大得分向量L1与最大得分向量L1’：
L1＝[1 0 1]
L1'＝[0 0 1 1 0]
其中，最大得分向量L1中的第n个值为1时，表示第1组检测结果中的第n个检测结果的预测置信度大于第2组检测结果中与其冗余的所有检测结果的预测置信度，为0时，则表示第1组检测结果中的第n个检测结果的预测置信度不大于第2组检测结果中与其冗余的所有检测结果的预测置信度。
示例性的，由于第1组检测结果中的第1个检测结果的预测置信度0.98，大于第2组检测结果中与其冗余的第1、2个检测结果的预测置信度0.77、0.11，因此最大得分向量L1中的第1个值为1。
d、根据含冗余向量Hi、含冗余向量Hi’、最大得分向量Li、最大得分向量Li’，确定第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’。
可选的，将含冗余向量Hi和最大得分向量Li中同时为真的结果确定为第一保留集Ri，将含冗余向量Hi中为假而最大得分向量Li中为真的结果确定为第一暂留集T1；将含冗余向量Hi’和最大得分向量Li’中同时为真的结果确定为第二保留集Ri’，将含冗余向量Hi’中为假而最大得分向量Li’中为真的结果确定为第二暂留集Ti’。
例如，以图2所示，可以得到第1组第一保留集R1、第一暂留集T1第二保留集R1’、第二暂留集T1’为：
R1＝[1 0 1]
T1＝[0 0 0]
R1'＝[0 0 0 1 0]
T1'＝[0 0 1 0 0]
进一步的，基于上述实施例中所描述的内容，在本申请一种可行的实施方式中，上述S104中根据各组检测结果对应的保留集合和暂留集合，确定待检测图像对应的目标检测结果，具体包括以下步骤：
在i＝1时，基于第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri或第一暂留集Ti中的值，确定第i组检测结果中的目标检测结果。
在1＜i＜d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’，或第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri中的值，确定第i组检测结果中的目标检测结果；或者基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二暂留集Ti-1’，与第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一暂留集Ti中相同的值，确定第i组检测结果中的目标检测结果；其中，待检测图像对应d组检测结果，d≥2，且d为正整数。
本申请实施例中，假设待检测图像对应d组检测结果，则可以得到d-1组第一保留集、第一暂留集、第二保留集、第二暂留集。
在i＝d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’或第二暂留集Ti-1’中的值，确定第i组检测结果中的目标检测结果。
示例性的，以图2所示，对于第1组检测结果，可以根据第一保留集R1，将第1组检测结果中第1、3个检测结果确定为第1组检测结果中的目标检测结果。对于第2组检测结果，可以根据第二保留集R2，将第2组检测结果中第4个检测结果确定为第2组检测结果中的目标检测结果。
在确定出各组检测结果对应的目标检测结果之后，即可根据各组检测结果对应的目标检测结果，确定出待检测图像对应的目标检测结果。
基于上述实施例中所描述的内容，本申请实施例中还提供一种图像目标检测装置。参照图3，图3为本申请实施例中提供的图像目标检测装置的程序模块示意图，该图像目标检测装置30包括：
获取模块301，用于获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余。
冗余确定模块302，用于确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息。
处理模块303，用于根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，所述各组检测结果对应的保留集合和暂留集合中的值用于确定所述各组检测结果中的目标检测结果。
处理模块303，还用于根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果。
本申请实施例所提供的图像目标检测装置30，通过同时对多组检测结果进行相邻组间的非极大值抑制，可有效降低图像目标检测过程中总的时间开销。
在一种可行的实施方式中，冗余确定模块302具体用于：
确定每一组检测结果中的各个检测结果对应的预测类别与边框坐标；
根据第i组检测结果中的各个检测结果对应的预测类别与第i+1组检测结果中的各个检测结果对应的预测类别，确定第i组检测结果与第i+1组检测结果之间的相同类别矩阵，所述相同类别矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果对应的预测类别与所述第i+1组检测结果中的第m个检测结果对应的预测类别是否相同；其中，i、n、m均为正整数；
根据第i组检测结果中的各个检测结果对应的边框坐标与第i+1组检测结果中的各个检测结果对应的边框坐标，确定第i组检测结果与第i+1组检测结果之间的重叠度矩阵，所述重叠度矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果的交并比；
根据所述相同类别矩阵与所述重叠度矩阵确定所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，所述冗余矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果是否存在冗余。
在一种可行的实施方式中，处理模块303，具体用于：
确定每一组检测结果中的各个检测结果对应的预测置信度；
根据所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定含冗余向量Hi与含冗余向量Hi’；所述含冗余向量Hi中的第n个值用于表示所述第i组检测结果中的第n个检测结果是否与所述第i+1组检测结果中的其中一个检测结果冗余；所述含冗余向量Hi’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果是否与所述第i组检测结果中的其中一个检测结果冗余；
根据所述第i组检测结果中的各个检测结果对应的预测置信度、所述第i+1组检测结果中的各个检测结果对应的预测置信度以及所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定最大得分向量Li与最大得分向量Li’；所述最大得分向量Li中的第n个值用于表示所述第i组检测结果中的第n个检测结果的预测置信度是否大于所述第i+1组检测结果中与其冗余的所有检测结果的预测置信度；所述最大得分向量Li’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果的预测置信度是否大于所述第i组检测结果中与其冗余的所有检测结果的预测置信度；
根据所述含冗余向量Hi、所述含冗余向量Hi’、所述最大得分向量Li、所述最大得分向量Li’，确定第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’；
基于所述第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’，确定所述第i组检测结果的保留集合和暂留集合。
在一种可行的实施方式中，处理模块303，具体还用于：
将所述含冗余向量Hi和所述最大得分向量Li中同时为真的结果确定为所述第一保留集Ri，将所述含冗余向量Hi中为假而所述最大得分向量Li中为真的结果确定为所述第一暂留集Ti；
将所述含冗余向量Hi’和所述最大得分向量Li’中同时为真的结果确定为所述第二保留集Ri’，将所述含冗余向量Hi’中为假而所述最大得分向量Li’中为真的结果确定为所述第二暂留集Ti’。
在一种可行的实施方式中，处理模块303，具体还用于：
在i＝1时，基于第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri或第一暂留集Ti中的值，确定第i组检测结果中的目标检测结果；
在1＜i＜d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’，或第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri中的值，确定第i组检测结果中的目标检测结果；或者基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二暂留集Ti-1’，与第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一暂留集Ti中相同的值，确定第i组检测结果中的目标检测结果；所述待检测图像对应d组检测结果，d≥2，且d为正整数；
在i＝d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’或第二暂留集Ti-1’中的值，确定第i组检测结果中的目标检测结果；
根据所述各组检测结果对应的目标检测结果，确定所述待检测图像对应的目标检测结果。
需要说明的是，本申请实施例中获取模块301、冗余确定模块302、处理模块303具体执行的内容可以参阅上述图像目标检测方法所示实施例中的相关内容，此处不做赘述。
进一步的，基于上述实施例中所描述的内容，本申请实施例中还提供了一种电子设备，该电子设备包括至少一个处理器和存储器；其中，存储器存储计算机执行指令；上述至少一个处理器执行存储器存储的计算机执行指令，以实现如上述实施例中所描述的图像目标检测方法中的各个步骤，本实施例此处不再赘述。
为了更好的理解本申请实施例，参照图4，图4为本申请实施例提供的一种电子设备的硬件结构示意图。
如图4所示，本实施例的电子设备40包括：处理器401以及存储器402；其中：
存储器402，用于存储计算机执行指令；
处理器401，用于执行存储器存储的计算机执行指令，以实现上述实施例中所描述的图像目标检测方法中的各个步骤，具体可以参见前述方法实施例中的相关描述。
可选地，存储器402既可以是独立的，也可以跟处理器401集成在一起。
当存储器402独立设置时，该设备还包括总线403，用于连接所述存储器402和处理器401。
进一步的，基于上述实施例中所描述的内容，本申请实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，以实现如上述实施例中所描述的图像目标检测方法中的各个步骤，具体可以参见前述方法实施例中的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像目标检测方法，其特征在于，所述方法包括：
获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；
确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，所述各组检测结果对应的保留集合和暂留集合中的值用于确定所述各组检测结果中的目标检测结果；
根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果；
所述确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息，包括：
确定每一组检测结果中的各个检测结果对应的预测类别与边框坐标；
根据各组检测结果中的各个检测结果对应的预测类别与边框坐标，确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
所述根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，包括：
确定每一组检测结果中的各个检测结果对应的预测置信度；
根据每一组检测结果中的各个检测结果对应的预测置信度、所述至少两组检测结果中相邻的两组检测结果之间的冗余矩阵，分别确定各组检测结果对应的保留集合和暂留集合。
2.根据权利要求1所述的方法，其特征在于，所述根据各组检测结果中的各个检测结果对应的预测类别与边框坐标，确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息，包括：
根据第i组检测结果中的各个检测结果对应的预测类别与第i+1组检测结果中的各个检测结果对应的预测类别，确定第i组检测结果与第i+1组检测结果之间的相同类别矩阵，所述相同类别矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果对应的预测类别与所述第i+1组检测结果中的第m个检测结果对应的预测类别是否相同；其中，i、n、m均为正整数；
根据第i组检测结果中的各个检测结果对应的边框坐标与第i+1组检测结果中的各个检测结果对应的边框坐标，确定第i组检测结果与第i+1组检测结果之间的重叠度矩阵，所述重叠度矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果的交并比；
根据所述相同类别矩阵与所述重叠度矩阵确定所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，所述冗余矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果是否存在冗余。
3.根据权利要求2所述的方法，其特征在于，所述根据每一组检测结果中的各个检测结果对应的预测置信度、所述至少两组检测结果中相邻的两组检测结果之间的冗余矩阵，分别确定各组检测结果对应的保留集合和暂留集合，包括：
根据所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定含冗余向量Hi与含冗余向量Hi’；所述含冗余向量Hi中的第n个值用于表示所述第i组检测结果中的第n个检测结果是否与所述第i+1组检测结果中的其中一个检测结果冗余；所述含冗余向量Hi’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果是否与所述第i组检测结果中的其中一个检测结果冗余；
根据所述第i组检测结果中的各个检测结果对应的预测置信度、所述第i+1组检测结果中的各个检测结果对应的预测置信度以及所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定最大得分向量Li与最大得分向量Li’；所述最大得分向量Li中的第n个值用于表示所述第i组检测结果中的第n个检测结果的预测置信度是否大于所述第i+1组检测结果中与其冗余的所有检测结果的预测置信度；所述最大得分向量Li’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果的预测置信度是否大于所述第i组检测结果中与其冗余的所有检测结果的预测置信度；
根据所述含冗余向量Hi、所述含冗余向量Hi’、所述最大得分向量Li、所述最大得分向量Li’，确定第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’；
基于所述第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’，确定所述第i组检测结果的保留集合和暂留集合。
4.根据权利要求3所述的方法，其特征在于，所述根据所述含冗余向量Hi、所述含冗余向量Hi’、所述最大得分向量Li、所述最大得分向量Li’，确定第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’，包括：
将所述含冗余向量Hi和所述最大得分向量Li中同时为真的结果确定为所述第一保留集Ri，将所述含冗余向量Hi中为假而所述最大得分向量Li中为真的结果确定为所述第一暂留集Ti；
将所述含冗余向量Hi’和所述最大得分向量Li’中同时为真的结果确定为所述第二保留集Ri’，将所述含冗余向量Hi’中为假而所述最大得分向量Li’中为真的结果确定为所述第二暂留集Ti’。
5.根据权利要求4所述的方法，其特征在于，所述根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果，包括：
在i＝1时，基于第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri或第一暂留集Ti中的值，确定第i组检测结果中的目标检测结果；
在1＜i＜d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’，或第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri中的值，确定第i组检测结果中的目标检测结果；或者基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二暂留集Ti-1’，与第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一暂留集Ti中相同的值，确定第i组检测结果中的目标检测结果；所述待检测图像对应d组检测结果，d≥2，且d为正整数；
在i＝d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’或第二暂留集Ti-1’中的值，确定第i组检测结果中的目标检测结果；
根据所述各组检测结果对应的目标检测结果，确定所述待检测图像对应的目标检测结果。
6.一种图像目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像对应的至少两组检测结果，其中，属于同一组内的各个检测结果之间无冗余；
冗余确定模块，用于确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
处理模块，用于根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，所述各组检测结果对应的保留集合和暂留集合中的值用于确定所述各组检测结果中的目标检测结果；
所述处理模块，还用于根据所述各组检测结果对应的保留集合和暂留集合，确定所述待检测图像对应的目标检测结果；
所述确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息，包括：
确定每一组检测结果中的各个检测结果对应的预测类别与边框坐标；
根据各组检测结果中的各个检测结果对应的预测类别与边框坐标，确定所述至少两组检测结果中相邻的两组检测结果之间的冗余信息；
所述根据所述冗余信息，分别确定各组检测结果对应的保留集合和暂留集合，包括：
确定每一组检测结果中的各个检测结果对应的预测置信度；
根据每一组检测结果中的各个检测结果对应的预测置信度、所述至少两组检测结果中相邻的两组检测结果之间的冗余矩阵，分别确定各组检测结果对应的保留集合和暂留集合。
7.根据权利要求6所述的装置，其特征在于，所述冗余确定模块具体用于：
根据第i组检测结果中的各个检测结果对应的预测类别与第i+1组检测结果中的各个检测结果对应的预测类别，确定第i组检测结果与第i+1组检测结果之间的相同类别矩阵，所述相同类别矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果对应的预测类别与所述第i+1组检测结果中的第m个检测结果对应的预测类别是否相同；其中，i、n、m均为正整数；
根据第i组检测结果中的各个检测结果对应的边框坐标与第i+1组检测结果中的各个检测结果对应的边框坐标，确定第i组检测结果与第i+1组检测结果之间的重叠度矩阵，所述重叠度矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果的交并比；
根据所述相同类别矩阵与所述重叠度矩阵确定所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，所述冗余矩阵的第n行、第m列的元素的值用于表示所述第i组检测结果中的第n个检测结果与所述第i+1组检测结果中的第m个检测结果是否存在冗余。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，具体用于：
根据所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定含冗余向量Hi与含冗余向量Hi’；所述含冗余向量Hi中的第n个值用于表示所述第i组检测结果中的第n个检测结果是否与所述第i+1组检测结果中的其中一个检测结果冗余；所述含冗余向量Hi’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果是否与所述第i组检测结果中的其中一个检测结果冗余；
根据所述第i组检测结果中的各个检测结果对应的预测置信度、所述第i+1组检测结果中的各个检测结果对应的预测置信度以及所述第i组检测结果与所述第i+1组检测结果之间的冗余矩阵，确定最大得分向量Li与最大得分向量Li’；所述最大得分向量Li中的第n个值用于表示所述第i组检测结果中的第n个检测结果的预测置信度是否大于所述第i+1组检测结果中与其冗余的所有检测结果的预测置信度；所述最大得分向量Li’中的第n个值用于表示所述第i+1组检测结果中的第n个检测结果的预测置信度是否大于所述第i组检测结果中与其冗余的所有检测结果的预测置信度；
根据所述含冗余向量Hi、所述含冗余向量Hi’、所述最大得分向量Li、所述最大得分向量Li’，确定第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’；
基于所述第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’和第二暂留集Ti’，确定所述第i组检测结果的保留集合和暂留集合；
所述处理模块，具体还用于：
在i＝1时，基于第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri或第一暂留集Ti中的值，确定第i组检测结果中的目标检测结果；
在1＜i＜d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’，或第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一保留集Ri中的值，确定第i组检测结果中的目标检测结果；或者基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二暂留集Ti-1’，与第i组第一保留集Ri、第一暂留集Ti、第二保留集Ri’、第二暂留集Ti’中的第一暂留集Ti中相同的值，确定第i组检测结果中的目标检测结果；所述待检测图像对应d组检测结果，d≥2，且d为正整数；
在i＝d时，基于第i-1组第一保留集Ri-1、第一暂留集Ti-1、第二保留集Ri-1’、第二暂留集Ti-1’中的第二保留集Ri-1’或第二暂留集Ti-1’中的值，确定第i组检测结果中的目标检测结果；
根据所述各组检测结果对应的目标检测结果，确定所述待检测图像对应的目标检测结果。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的图像目标检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的图像目标检测方法。
CN202010574298.2A 2020-06-22 2020-06-22 图像目标检测方法、装置、电子设备及可读存储介质 Active CN111783584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010574298.2A CN111783584B (zh) 2020-06-22 2020-06-22 图像目标检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010574298.2A CN111783584B (zh) 2020-06-22 2020-06-22 图像目标检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111783584A CN111783584A (zh) 2020-10-16
CN111783584B true CN111783584B (zh) 2023-08-08

Family

ID=72756099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010574298.2A Active CN111783584B (zh) 2020-06-22 2020-06-22 图像目标检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111783584B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120038A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN108509876A (zh) * 2018-03-16 2018-09-07 深圳市商汤科技有限公司 针对视频的物体检测方法、装置、设备、存储介质及程序
CN109478311A (zh) * 2016-07-30 2019-03-15 华为技术有限公司 一种图像识别方法及终端
CN109858476A (zh) * 2019-01-30 2019-06-07 中兴飞流信息科技有限公司 标签的扩充方法和电子设备
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478311A (zh) * 2016-07-30 2019-03-15 华为技术有限公司 一种图像识别方法及终端
WO2018120038A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN108509876A (zh) * 2018-03-16 2018-09-07 深圳市商汤科技有限公司 针对视频的物体检测方法、装置、设备、存储介质及程序
CN109858476A (zh) * 2019-01-30 2019-06-07 中兴飞流信息科技有限公司 标签的扩充方法和电子设备
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向对象的土地覆被变化检测研究;夏朝旭;何政伟;于欢;王东辉;叶娇珑;;遥感技术与应用(01);第106-113页 *

Also Published As

Publication number Publication date
CN111783584A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US9208374B2 (en) Information processing apparatus, control method therefor, and electronic device
US20220207889A1 (en) Method for recognizing vehicle license plate, electronic device and computer readable storage medium
CN112085701B (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN111027412B (zh) 一种人体关键点识别方法、装置及电子设备
WO2019201029A1 (zh) 备选框更新方法及装置
US20230161811A1 (en) Image search system, method, and apparatus
CN111783584B (zh) 图像目标检测方法、装置、电子设备及可读存储介质
US9858293B2 (en) Image processing apparatus and image processing method
US8843681B2 (en) Techniques for accessing memory, system and bus arbitration
CN111553847B (zh) 图像处理方法及装置
JPH0628247A (ja) 動的に再配置されるメモリバンク待ち行列
CN108446602B (zh) 一种用于人脸检测的装置和方法
CN111459937A (zh) 数据表关联方法、装置、服务器及存储介质
US7206917B2 (en) Address decoding method and related apparatus by comparing mutually exclusive bit-patterns of addresses
US20230245421A1 (en) Face clustering method and apparatus, classification storage method, medium and electronic device
CN114529965A (zh) 人物图像聚类方法、装置、计算机设备及存储介质
CN113168573B (zh) 一种模型的训练方法、装置、终端设备及存储介质
CN111783876A (zh) 自适应智能检测电路及图像智能检测方法
US5542091A (en) Device for selecting and rearranging data based on arithmetic operation
CN110674690B (zh) 检测方法、检测装置与检测设备
CN113449814B (zh) 一种图片层级分类方法及系统
CN112819095B (zh) 特征点匹配方法、装置、智能终端及计算机可读存储介质
CN111597375B (zh) 基于相似图片组代表特征向量的图片检索方法及相关设备
JP3215598B2 (ja) 最小誤差記憶装置
CN110991296B (zh) 视频标注方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant