CN112329892A - 一种目标检测算法的评估方法、装置、设备及存储介质 - Google Patents
一种目标检测算法的评估方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112329892A CN112329892A CN202011411317.6A CN202011411317A CN112329892A CN 112329892 A CN112329892 A CN 112329892A CN 202011411317 A CN202011411317 A CN 202011411317A CN 112329892 A CN112329892 A CN 112329892A
- Authority
- CN
- China
- Prior art keywords
- candidate
- target data
- target
- category
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标检测算法的评估方法、装置、设备及存储介质。该方法包括：获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种目标检测算法的评估方法、装置、设备及存储介质。
背景技术
目标检测是自动驾驶领域中备受关注的方向，目标检测算法的准确性直接影响着自动驾驶车辆的安全性。
现有的目标检测算法评估方法有很多，常见的是判断检测目标与真实目标的交并比是否大于设定阈值来确定目标检测算法的准确性。例如，将检测目标与真实目标的交并比大于等于0.5的检测样本作为正例，交并比小于0.5的检测样本作为负例，通过全部检测样本中正例和负例的数量确定目标检测算法的准确性。在另一种计算方法中，可以设置不同的交并比阈值，对应每个交并比阈值计算出一个准确率，在根据各准确率确定目标检测算法的准确性，如，分别将交并比阈值设置为0.5、0.7和0.9，分别计算出交并比阈值是0.5、0.7和0.9的检测准确率，取三个准确率的平均值作为目标检测算法的准确性。
对于自动驾驶车辆中使用的不同目标检测装置，厂家或供应商都使用不同的方法对其产品进行评估，在业界没有统一的评估指标和步骤。并且，常用的方法也并没有结合车辆驾驶场景进行评估，对自动驾驶中目标检测算法的评估准确性不高。
发明内容
本发明提供一种目标检测结果的评估方法、装置、设备及存储介质，以实现对目标检测算法的检测效果进行合理准确的评估。
第一方面，本发明实施例提供了一种目标检测算法的评估方法，包括：
获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；
基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；
根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
可选的，所述标准目标数据包括标准目标类别和标准目标区域；
所述候选目标数据包括候选目标类别、候选目标区域和候选置信度；
相应的，所述根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，包括：
根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集；
根据各所述候选样例对应的候选目标类别，将所述候选样例集划分成至少一个目标类别对应的候选样例子集；
针对每个候选样例子集，基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，将所述平均准确率确定为对应的目标类别的类别评估参数。
可选的，所述根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集，包括：
针对所述候选目标数据集中的每个候选目标数据，根据所述候选目标数据的候选目标区域与各所述标准目标数据的标准目标区域，分别确定所述候选目标数据与各所述标准目标数据的预备交并比；
将取值最大的预备交并比确定为目标交并比，并将所述目标交并比对应的标准目标数据与所述候选目标数据建立匹配关系；
获取预先设置的评估阈值映射表，确定与所述候选目标数据的候选目标类别对应的类别阈值；
如果所述目标交并比大于所述类别阈值，且所述候选目标数据的候选目标类别与匹配的标准目标数据的标准目标类别一致时，确定所述候选目标数据为候选样例，并将所述候选样例添加至候选样例集。
可选的，所述基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，包括：
根据所述候选样例子集中各所述候选样例对应的候选置信度，选取第一预设数量的置信度阈值，并确定各所述置信度阈值对应的类别精确率和类别召回率；
基于各所述类别精确率和各所述类别召回率，确定类别评估拟合函数；
选取第二预设数量的拟合召回率，结合所述类别评估拟合函数，确定各所述拟合召回率对应的各拟合精确率，并将各拟合精确率的平均值作为所述候选样例子集对应的平均准确率。
可选的，所述确定各所述置信度阈值对应的类别精确率和类别召回率，包括：
针对每个置信度阈值，将所述候选样例子集中候选置信度大于等于所述置信度阈值的候选样例确定为候选正样例；
将所述候选样例子集中候选正样例的正样例数量与候选样例的样例总数量之比作为所述置信度阈值对应的类别精确率；
将所述正样例数量与标准类别数据总量之比作为所述置信度阈值对应的类别召回率，所述标准类别数据总量为与所述候选样例同一目标类别的标准目标数据的数据个数。
可选的，所述通过各所述类别评估参数确定所述待评估算法的评估结果，包括：
获取预先设置的类别权重，并基于所述类别权重对各所述类别评估参数加权求和，得到所述待评估算法的评估结果。
可选的，所述通过各所述类别评估参数确定所述待评估算法的评估结果，包括：
利用待评估算法检测各所述图像样本中的障碍物，当所述障碍物的尺寸大于预设尺寸阈值时，形成相应的候选目标数据，并将所述候选目标数据添加至候选目标数据集。
第二方面，本发明实施例还提供了一种目标检测算法的评估装置，该装置包括：
标准数据集确定模块，用于获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；
候选数据集确定模块，用于基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；
评估结果确定模块，用于根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的目标检测算法的评估方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的目标检测算法的评估方法。
本发明通过获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，同时，基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集，根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果，本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
附图说明
图1是本发明实施例一提供的一种目标检测算法的评估方法的流程图；
图2是本发明实施例二提供的一种目标检测算法的评估方法的流程图；
图3是本发明实施例二提供的一种目标检测算法的评估方法中确定候选样例集的流程图；
图4是本发明实施例二提供的一种目标检测算法的评估方法中确定候选样例子集对应的平均准确率的流程图；
图5是本发明实施例三提供的一种目标检测算法的评估装置的结构框图；
图6是本发明实施例四提供的一种计算机设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种目标检测算法的评估方法的流程图，本实施例可适用于对目标检测算法的检测效果进行评估的情况，该方法可以由目标检测算法的评估装置来执行，该装置可以通过软件和/或硬件实现。
如图1所示，该方法具体包括如下步骤：
步骤110、获取预设数量的图像样本，对各图像样本进行目标标注，形成包含标准目标数据的标准目标数据集。
其中，图像样本可以理解为用于评估目标检测算法的原始样本图像。图像样本的数量可以人为设定，一般情况下，采用越多的图像样本进行检测评估，得到的评估结果就越准确，可以选取1000张不同场景的道路图像作为图像样本，也可以选取2000张或者更多的图像样本。标准目标数据可以理解为图像样本中实际存在的障碍物目标的相关数据信息。标准目标数据集可以理解为由各标准目标数据组成的数据集合。
具体的，可以预先采集一定数量的道路图像作为图像样本，采集这些图像的场景可以尽可能的不同，这样可以更加全面准确的评估待评估算法的检测效果。在获取了图像样本后，可以对所有图像样本中的障碍物目标都进行标注，应该形成对应的标准目标数据，所有标准目标数据就构成了标准目标数据集。可以理解的是，一张图像样本中可以包括一个或多个障碍物目标，一个障碍物目标就对应形成一个标准目标数据。
步骤120、基于待评估算法对各图像样本进行目标检测，形成包含候选目标数据的候选目标数据集。
其中，待评估算法可以理解为需要对算法性能进行评估的目标检测算法，本实施例中，待评估算法可以是用于自动驾驶领域中的目标检测算法。候选目标数据可以理解为运用待评估算法对图像样本进行目标检测得到的障碍物目标的相关数据信息。候选目标数据集可以理解为由各候选目标数据组成的数据集合。
具体的，可以控制运行待评估算法对各图像样本中的障碍物进行目标检测，如果检测到障碍物目标，形成对应的候选目标数据，在对所有的图像样本都进行目标检测后得到的候选目标数据构成候选目标数据集。可以理解的是，对一张图像样本进行目标检测时，可以检测出一个或多个障碍物目标，那么检测出的一个障碍物目标就对应形成一个候选目标数据。
步骤130、根据标准目标数据集和候选目标数据集确定不同目标类别对应的类别评估参数，并通过各类别评估参数确定待评估算法的评估结果。
其中，目标类别可以理解为障碍物目标的类别信息，在本实施例中，图像样本中的目标可以有小汽车、行人、卡车和非机动车等，因此，目标类别就可以包括小汽车类别、行人类别、卡车类别和非机动车类别等。类别评估参数可以理解为对目标检测算法在检测某一目标类别的障碍物目标时的效果评估值，相应的，评估结果可以理解为对目标检测算法检测各种目标类别的障碍物目标的综合效果评估值。
具体的，可以分别将所有标准目标数据和所有候选目标数据都根据目标类别进行划分，对于同一目标类别对应的各标准目标数据和各候选目标数据进行比较分析，得到该目标类别的类别评估参数。在对所有目标类别对应的数据都进行分析评估后，就可以得到每个目标类别对应的类别评估参数，将这些类别评估参数进行汇总融合，可以得到待评估算法的评估结果。
本实施例的技术方案，通过获取预设数量的图像样本，对各图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，同时，基于待评估算法对各图像样本进行目标检测，形成包含候选目标数据的候选目标数据集，根据标准目标数据集和候选目标数据集确定不同目标类别对应的类别评估参数，并通过各类别评估参数确定待评估算法的评估结果，本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
实施例二
图2为本发明实施例二提供的一种目标检测算法的评估方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述目标检测算法的评估方法。
如图2所示，该方法具体包括：
步骤210、获取预设数量的图像样本，对各图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，其中，标准目标数据包括标准目标类别和标准目标区域。
具体的，可以预先采集一定数量的道路图像作为图像样本，对所有图像样本中的障碍物目标都进行标注，将障碍物目标的所在区域确定为标准目标区域，将障碍物目标的目标类别确定为标准目标类别，一个障碍物目标的标准目标区域和标准目标类别形成该目标障碍物的标准目标数据，所有标准目标数据就构成了标准目标数据集。在对图像样本中的障碍物目标进行标注时，还可以对图像样本中的障碍物进行筛选，例如只标注图像样本中长和宽都大于25个像素值的障碍物目标。
步骤220、利用待评估算法检测各图像样本中的障碍物，当障碍物的尺寸大于预设尺寸阈值时，形成相应的候选目标数据，并将候选目标数据添加至候选目标数据集，其中，候选目标数据包括候选目标类别、候选目标区域和候选置信度。
具体的，可以控制运行待评估算法对各图像样本中的障碍物进行目标检测，如果检测到障碍物目标，可以判断该障碍物目标的大小尺寸是否达到预设的尺寸阈值，例如，如果预设尺寸阈值为长和宽都为25个像素值，那么就要判断障碍物目标在图像中的长和宽是否都大于25个像素值。在设置预设尺寸阈值时，可以与步骤210中对图像样本中的障碍物目标进行标注时选取的尺寸阈值一致。如果障碍物目标的大小尺寸大于预设尺寸阈值，则将检测到的障碍物目标的所在区域确定为候选目标区域，将检测到的障碍物目标的目标类别确定为候选目标类别，将检测到的障碍物目标时待评估算法返回的置信度确定为候选置信度，一个障碍物目标的候选目标区域和候选目标类别形成对应的候选目标数据，在对所有的图像样本都进行目标检测后得到的候选目标数据构成候选目标数据集。
步骤230、根据各标准目标数据的标准目标区域和各候选目标数据的候选目标区域，以及各标准目标数据的标准目标类别和各候选目标数据的候选目标类别，从候选目标数据集中筛选出包含候选样例的候选样例集。
具体的，可以对各标准目标数据的标准目标区域和各候选目标数据的候选目标区域进行分析计算，确定每个候选目标数据所代表的障碍物目标是否在标准目标数据集中有对应的标准目标数据，也就是说，可以通过比较候选目标区域和各标准目标区域，判断图像样本中检测到的障碍物目标所在区域是否真实存在障碍物，如果某个候选目标数据所代表的障碍物目标是实际存在的，那么可以对比该候选目标数据的候选目标类别和对应的标准目标数据的标准目标类别是否一致，如果一致，就可以确定该候选目标数据为候选样例，所有候选样例就构成了候选样例集。
可选的，图3是本发明实施例二提供的一种目标检测算法的评估方法中确定候选样例集的流程图。如图3所示，步骤230可以通过以下步骤来实现：
步骤2301、针对候选目标数据集中的每个候选目标数据，根据候选目标数据的候选目标区域与各标准目标数据的标准目标区域，分别确定候选目标数据与各标准目标数据的预备交并比。
具体的，对于每个候选目标数据，可以根据候选目标区域和各标准目标数据的标准目标区域，分别计算该候选目标数据与各标准目标数据的交并比，将计算出的交并比确定为对应的预备交并比，也就是说，候选目标数据与每个标准目标数据都会对应一个预备交并比。
步骤2302、将取值最大的预备交并比确定为目标交并比，并将目标交并比对应的标准目标数据与候选目标数据建立匹配关系。
具体的，候选目标数据与每个标准目标数据都会对应一个预备交并比，而预备交并比越大，就可以认为候选目标数据的候选目标区域与该标准目标数据的标准目标区域重叠指数越高，也就是说候选目标数据所代表的障碍物目标与该标准目标数据所代表的障碍物目标是同一目标的可能性就越大，因此，可以将取值最大的预备交并比确定为目标交并比，将目标交并比对应的标准目标数据与候选目标数据建立匹配关系。
步骤2303、获取预先设置的评估阈值映射表，确定与候选目标数据的候选目标类别对应的类别阈值。
具体的，在本实施例中，不同的目标类别对应着不同的交并比阈值，如表1所示的评估阈值映射表，如果候选目标数据的候选目标类别为小汽车，那么获取到的类别阈值就为0.7，而候选目标数据的候选目标类别若为非机动车，则类别阈值为0.5。
表1不同目标类别障碍物检测结果与真值IOU交并比的建议阈值
| 类别 | 阈值 |
| 小汽车 | 0.7 |
| 行人 | 0.5 |
| 卡车 | 0.7 |
| 非机动车 | 0.5 |
步骤2304、如果目标交并比大于类别阈值，且候选目标数据的候选目标类别与匹配的标准目标数据的标准目标类别一致时，确定候选目标数据为候选样例，并将候选样例添加至候选样例集。
具体的，如果目标交并比大于候选目标数据对应的类别阈值，可以认为待评估算法检测到的该障碍物目标所在的区域是基本准确的，此时需要再对检测的目标类别进行确认，如果候选目标数据的候选目标类别与匹配的标准目标数据的标准目标类别一致时，就可以认为待评估算法检测到的该障碍物目标的类别信息也是正确的，那么就可以将该候选目标数据确定为一个候选样例添加至候选样例集中。
步骤240、根据各候选样例对应的候选目标类别，将候选样例集划分成至少一个目标类别对应的候选样例子集。
具体的，在对所有候选目标数据进行筛选得到候选样例集后，可以将候选样例集中的候选样例根据各自对应的候选目标类别进行划分，将候选目标类别一样的候选样例划分到一个候选样例子集中，候选样例中有多少种不同的目标类别，就形成多少个对应的候选样例子集。
步骤250、针对每个候选样例子集，基于候选样例子集中各候选样例对应的候选置信度，确定候选样例子集对应的平均准确率，将平均准确率确定为对应的目标类别的类别评估参数。
具体的，对于每个候选样例子集，可以将其中的候选样例根据对应的候选置信度进行排序，按比例选取其中几个不同的置信度阈值，针对每个置信度，都进行一次评估，最终得到一个平均准确率，用该平均准确率作为该候选样例子集的类别评估参数，也就是该候选样例子集对应的目标类别的类别评估参数。
可选的，图4是本发明实施例二提供的一种目标检测算法的评估方法中确定候选样例子集对应的平均准确率的流程图。如图4所示，确定候选样例子集对应的平均准确率可以通过以下步骤来实现：
步骤2501、根据候选样例子集中各候选样例对应的候选置信度，选取第一预设数量的置信度阈值，并确定各置信度阈值对应的类别精确率和类别召回率。
具体的，可以将候选样例子集中各候选样例根据其对应的候选置信度进行排序，按一定比例选取第一预设数量个置信度阈值，例如，某个候选样例子集中有50个候选样例，可以根据各候选置信度将这50个候选样例从大到小排序，分别取第5个、第15个、第25个、第35个和第45个候选样例对应的候选置信度取值作为5个置信度阈值。对于确定好的每个置信度阈值，都要计算一次对应的类别精确率和类别召回率。
进一步的，确定各置信度阈值对应的类别精确率和类别召回率可以通过以下方法来实现：针对每个置信度阈值，将候选样例子集中候选置信度大于等于置信度阈值的候选样例确定为候选正样例；将候选样例子集中候选正样例的正样例数量与候选样例的样例总数量之比作为置信度阈值对应的类别精确率；将正样例数量与标准类别数据总量之比作为置信度阈值对应的类别召回率，标准类别数据总量为与候选样例同一目标类别的标准目标数据的数据个数。
示例性的，小汽车类别对应的候选样例子集中包括50个候选样例，小汽车类别对应的标准目标数据的数据个数为60个。当取第35个候选样例的候选置信度为置信度阈值时，候选正样例的正样例数量就为35，那么对应的类别精确率就为35/50，类别召回率就为35/60。根据同样的方法，可以分别计算出每个置信度阈值对应的类别精确率和类别召回率。
步骤2502、基于各类别精确率和各类别召回率，确定类别评估拟合函数。
具体的，在确定了第一预设数量的置信度阈值分别对应的类别精确率和类别召回率后，可以根据这些类别精确率和类别召回率拟合出一条类别精确率和类别召回率相关的函数，可以将该拟合确定为类别评估拟合函数。
步骤2503、选取第二预设数量的拟合召回率，结合类别评估拟合函数，确定各拟合召回率对应的各拟合精确率，并将各拟合精确率的平均值作为候选样例子集对应的平均准确率。
具体的，在确定了类别精确率和类别召回率相关的类别评估拟合函数后，可以选取第二预设数量的拟合召回率，也就对应得到了相同数量的拟合精确率，计算这些拟合精确率的平均值，得到的拟合精确率平均值就可以确定为候选样例子集对应的平均准确率。例如，选取11个拟合召回率，取值分别为0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9和1，根据类别评估拟合函数，计算11个拟合召回率对应的11个拟合精确率，计算11个拟合精确率的平均值，将该平均值作为候选样例子集对应的平均准确率，也就是该候选样例子集对应的目标类别的平均准确率。
步骤260、获取预先设置的类别权重，并基于类别权重对各类别评估参数加权求和，得到待评估算法的评估结果。
其中，类别权重可以理解为表示目标检测中对不同类别障碍物检测的重要程度的参数值。
具体的，可以根据自动驾驶领域中对不同障碍物类别进行目标检测的重要程度，预先设置各目标类别对应的类别权重，例如，在自动驾驶领域中，对小汽车、行人和卡车的检测较为重要，那么可以将小汽车类别、行人类别和卡车类别对应的类别权重都设置成0.3，将非机动类别对应的类别权重设置成0.1。在得到不同目标类别的类别评估参数后，将各类别评估参数与相应的类别权重相乘后相加，即可得到待评估算法的评估结果。
本实施例的技术方案，通过获取预设数量的图像样本，对各图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，同时，基于待评估算法对各图像样本进行目标检测，筛选其中符合预设尺寸阈值的目标形成候选目标数据，构成候选目标数据集，再根据各标准目标数据的标准目标区域和各候选目标数据的候选目标区域，以及各标准目标数据的标准目标类别和各候选目标数据的候选目标类别，从候选目标数据集中筛选出包含候选样例的候选样例集，将候选样例集划分成不同目标类别对应的候选样例子集，针对每个候选样例子集，结合各候选样例对应的候选置信度，确定对应的类别评估参数，最后基于类别权重对各类别评估参数加权求和，得到待评估算法的评估结果，本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
实施例三
本发明实施例所提供的目标检测算法的评估装置可执行本发明任意实施例所提供的目标检测算法的评估方法，具备执行方法相应的功能模块和有益效果。图5是本发明实施例三提供的一种目标检测算法的评估装置的结构框图，如图5所示，该装置包括：标准数据集确定模块310、候选数据集确定模块320和评估结果确定模块330。
标准数据集确定模块310，用于获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集。
候选数据集确定模块320，用于基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集。
评估结果确定模块330，用于根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
本实施例的技术方案，通过获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，同时，基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集，根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果，本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
可选的，所述标准目标数据包括标准目标类别和标准目标区域；
所述候选目标数据包括候选目标类别、候选目标区域和候选置信度；
相应的，所述根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，包括：
根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集；
根据各所述候选样例对应的候选目标类别，将所述候选样例集划分成至少一个目标类别对应的候选样例子集；
针对每个候选样例子集，基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，将所述平均准确率确定为对应的目标类别的类别评估参数。
可选的，所述根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集，包括：
针对所述候选目标数据集中的每个候选目标数据，根据所述候选目标数据的候选目标区域与各所述标准目标数据的标准目标区域，分别确定所述候选目标数据与各所述标准目标数据的预备交并比；
将取值最大的预备交并比确定为目标交并比，并将所述目标交并比对应的标准目标数据与所述候选目标数据建立匹配关系；
获取预先设置的评估阈值映射表，确定与所述候选目标数据的候选目标类别对应的类别阈值；
如果所述目标交并比大于所述类别阈值，且所述候选目标数据的候选目标类别与匹配的标准目标数据的标准目标类别一致时，确定所述候选目标数据为候选样例，并将所述候选样例添加至候选样例集。
可选的，所述基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，包括：
根据所述候选样例子集中各所述候选样例对应的候选置信度，选取第一预设数量的置信度阈值，并确定各所述置信度阈值对应的类别精确率和类别召回率；
基于各所述类别精确率和各所述类别召回率，确定类别评估拟合函数；
选取第二预设数量的拟合召回率，结合所述类别评估拟合函数，确定各所述拟合召回率对应的各拟合精确率，并将各拟合精确率的平均值作为所述候选样例子集对应的平均准确率。
可选的，所述确定各所述置信度阈值对应的类别精确率和类别召回率，包括：
针对每个置信度阈值，将所述候选样例子集中候选置信度大于等于所述置信度阈值的候选样例确定为候选正样例；
将所述候选样例子集中候选正样例的正样例数量与候选样例的样例总数量之比作为所述置信度阈值对应的类别精确率；
将所述正样例数量与标准类别数据总量之比作为所述置信度阈值对应的类别召回率，所述标准类别数据总量为与所述候选样例同一目标类别的标准目标数据的数据个数。
可选的，所述通过各所述类别评估参数确定所述待评估算法的评估结果，包括：
获取预先设置的类别权重，并基于所述类别权重对各所述类别评估参数加权求和，得到所述待评估算法的评估结果。
可选的，所述候选数据集确定模块，具体用于：
利用待评估算法检测各所述图像样本中的障碍物，当所述障碍物的尺寸大于预设尺寸阈值时，形成相应的候选目标数据，并将所述候选目标数据添加至候选目标数据集。
本实施例的技术方案，通过获取预设数量的图像样本，对各图像样本进行目标标注，形成包含标准目标数据的标准目标数据集，同时，基于待评估算法对各图像样本进行目标检测，筛选其中符合预设尺寸阈值的目标形成候选目标数据，构成候选目标数据集，再根据各标准目标数据的标准目标区域和各候选目标数据的候选目标区域，以及各标准目标数据的标准目标类别和各候选目标数据的候选目标类别，从候选目标数据集中筛选出包含候选样例的候选样例集，将候选样例集划分成不同目标类别对应的候选样例子集，针对每个候选样例子集，结合各候选样例对应的候选置信度，确定对应的类别评估参数，最后基于类别权重对各类别评估参数加权求和，得到待评估算法的评估结果，本发明结合车辆驾驶场景，对目标检测中的障碍物目标进行类别区分，通过对不同类别的检测准确性进行具体分析，从而实现对目标检测算法的合理评估，提高了评估的准确性。
实施例四
图6为本发明实施例四提供的一种计算机设备的结构框图，如图6所示，该计算机设备包括处理器410、存储器420、输入装置430和输出装置440；计算机设备中处理器410的数量可以是一个或多个，图6中以一个处理器410为例；计算机设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的目标检测算法的评估方法对应的程序指令/模块(例如，目标检测算法的评估装置中的标准数据集确定模块310、候选数据集确定模块320和评估结果确定模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的目标检测算法的评估方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标检测算法的评估方法，该方法包括：
获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；
基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；
根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的目标检测算法的评估方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述目标检测算法的评估装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种目标检测算法的评估方法，其特征在于，包括：
获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；
基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；
根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
2.根据权利要求1所述的目标检测算法的评估方法，其特征在于，
所述标准目标数据包括标准目标类别和标准目标区域；
所述候选目标数据包括候选目标类别、候选目标区域和候选置信度；
相应的，所述根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，包括：
根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集；
根据各所述候选样例对应的候选目标类别，将所述候选样例集划分成至少一个目标类别对应的候选样例子集；
针对每个候选样例子集，基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，将所述平均准确率确定为对应的目标类别的类别评估参数。
3.根据权利要求2所述的目标检测算法的评估方法，其特征在于，所述根据各所述标准目标数据的标准目标区域和各所述候选目标数据的候选目标区域，以及各所述标准目标数据的标准目标类别和各所述候选目标数据的候选目标类别，从所述候选目标数据集中筛选出包含候选样例的候选样例集，包括：
针对所述候选目标数据集中的每个候选目标数据，根据所述候选目标数据的候选目标区域与各所述标准目标数据的标准目标区域，分别确定所述候选目标数据与各所述标准目标数据的预备交并比；
将取值最大的预备交并比确定为目标交并比，并将所述目标交并比对应的标准目标数据与所述候选目标数据建立匹配关系；
获取预先设置的评估阈值映射表，确定与所述候选目标数据的候选目标类别对应的类别阈值；
如果所述目标交并比大于所述类别阈值，且所述候选目标数据的候选目标类别与匹配的标准目标数据的标准目标类别一致时，确定所述候选目标数据为候选样例，并将所述候选样例添加至候选样例集。
4.根据权利要求2所述的目标检测算法的评估方法，其特征在于，所述基于所述候选样例子集中各所述候选样例对应的候选置信度，确定所述候选样例子集对应的平均准确率，包括：
根据所述候选样例子集中各所述候选样例对应的候选置信度，选取第一预设数量的置信度阈值，并确定各所述置信度阈值对应的类别精确率和类别召回率；
基于各所述类别精确率和各所述类别召回率，确定类别评估拟合函数；
选取第二预设数量的拟合召回率，结合所述类别评估拟合函数，确定各所述拟合召回率对应的各拟合精确率，并将各拟合精确率的平均值作为所述候选样例子集对应的平均准确率。
5.根据权利要求4所述的目标检测算法的评估方法，其特征在于，所述确定各所述置信度阈值对应的类别精确率和类别召回率，包括：
针对每个置信度阈值，将所述候选样例子集中候选置信度大于等于所述置信度阈值的候选样例确定为候选正样例；
将所述候选样例子集中候选正样例的正样例数量与候选样例的样例总数量之比作为所述置信度阈值对应的类别精确率；
将所述正样例数量与标准类别数据总量之比作为所述置信度阈值对应的类别召回率，所述标准类别数据总量为与所述候选样例同一目标类别的标准目标数据的数据个数。
6.根据权利要求1所述的目标检测算法的评估方法，其特征在于，所述通过各所述类别评估参数确定所述待评估算法的评估结果，包括：
获取预先设置的类别权重，并基于所述类别权重对各所述类别评估参数加权求和，得到所述待评估算法的评估结果。
7.根据权利要求1所述的目标检测算法的评估方法，其特征在于，所述基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集，包括：
利用待评估算法检测各所述图像样本中的障碍物，当所述障碍物的尺寸大于预设尺寸阈值时，形成相应的候选目标数据，并将所述候选目标数据添加至候选目标数据集。
8.一种目标检测算法的评估装置，其特征在于，包括：
标准数据集确定模块，用于获取预设数量的图像样本，对各所述图像样本进行目标标注，形成包含标准目标数据的标准目标数据集；
候选数据集确定模块，用于基于待评估算法对各所述图像样本进行目标检测，形成包含候选目标数据的候选目标数据集；
评估结果确定模块，用于根据所述标准目标数据集和所述候选目标数据集确定不同目标类别对应的类别评估参数，并通过各所述类别评估参数确定所述待评估算法的评估结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的目标检测算法的评估方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的目标检测算法的评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411317.6A CN112329892A (zh) | 2020-12-03 | 2020-12-03 | 一种目标检测算法的评估方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411317.6A CN112329892A (zh) | 2020-12-03 | 2020-12-03 | 一种目标检测算法的评估方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329892A true CN112329892A (zh) | 2021-02-05 |
Family
ID=74302412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011411317.6A Pending CN112329892A (zh) | 2020-12-03 | 2020-12-03 | 一种目标检测算法的评估方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329892A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801070A (zh) * | 2021-04-14 | 2021-05-14 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN113034486A (zh) * | 2021-04-09 | 2021-06-25 | 北京美医医学技术研究院有限公司 | 一种测肤算法结果评估方法和系统 |
| CN115147796A (zh) * | 2022-07-14 | 2022-10-04 | 小米汽车科技有限公司 | 评测目标识别算法的方法、装置、存储介质及车辆 |
| WO2023273895A1 (zh) * | 2021-06-29 | 2023-01-05 | 苏州一径科技有限公司 | 一种基于聚类的目标检测模型的评估方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409517A (zh) * | 2018-09-30 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
| US20190392351A1 (en) * | 2018-06-22 | 2019-12-26 | Amadeus S.A.S. | System and method for evaluating and deploying unsupervised or semi-supervised machine learning models |
| CN110751012A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 目标检测评估方法、装置、电子设备及存储介质 |
| CN110781785A (zh) * | 2019-10-18 | 2020-02-11 | 上海理工大学 | 基于Faster RCNN算法改进的交通场景下行人检测方法 |
| CN110991485A (zh) * | 2019-11-07 | 2020-04-10 | 成都傅立叶电子科技有限公司 | 一种目标检测算法的性能评估方法及系统 |
| CN111709455A (zh) * | 2020-05-22 | 2020-09-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN111709452A (zh) * | 2020-05-21 | 2020-09-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN112001453A (zh) * | 2020-08-31 | 2020-11-27 | 北京易华录信息技术股份有限公司 | 一种视频事件检测算法的准确率计算方法及装置 |
-
2020
- 2020-12-03 CN CN202011411317.6A patent/CN112329892A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190392351A1 (en) * | 2018-06-22 | 2019-12-26 | Amadeus S.A.S. | System and method for evaluating and deploying unsupervised or semi-supervised machine learning models |
| CN109409517A (zh) * | 2018-09-30 | 2019-03-01 | 北京字节跳动网络技术有限公司 | 物体检测网络的训练方法和装置 |
| CN110751012A (zh) * | 2019-05-23 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 目标检测评估方法、装置、电子设备及存储介质 |
| CN110781785A (zh) * | 2019-10-18 | 2020-02-11 | 上海理工大学 | 基于Faster RCNN算法改进的交通场景下行人检测方法 |
| CN110991485A (zh) * | 2019-11-07 | 2020-04-10 | 成都傅立叶电子科技有限公司 | 一种目标检测算法的性能评估方法及系统 |
| CN111709452A (zh) * | 2020-05-21 | 2020-09-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN111709455A (zh) * | 2020-05-22 | 2020-09-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN112001453A (zh) * | 2020-08-31 | 2020-11-27 | 北京易华录信息技术股份有限公司 | 一种视频事件检测算法的准确率计算方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ELMAR HAUSSMANN 等: "Scalable Active Learning for Object Detection", 《2020 IEEE INTELLIGENT VEHICLE SYMPOSIUM》 * |
| 张超: "P-R曲线与模型评估问题研究", 《现代信息科技》 * |
| 计算机视觉字幕组: "目标检测评价指标 mAP", 《HTTPS://WWW.YANXISHE.COM/TEXTTRANSLATION/2458》 * |
| 饭后吃西瓜: "理解目标检测当中的mAP", 《HTTPS://BLOG.CSDN.NET/HSQYC/ARTICLE/DETAILS/81702437》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034486A (zh) * | 2021-04-09 | 2021-06-25 | 北京美医医学技术研究院有限公司 | 一种测肤算法结果评估方法和系统 |
| CN113034486B (zh) * | 2021-04-09 | 2024-07-19 | 北京美医医学技术研究院有限公司 | 一种测肤算法结果评估方法和系统 |
| CN112801070A (zh) * | 2021-04-14 | 2021-05-14 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN112801070B (zh) * | 2021-04-14 | 2021-09-21 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| WO2023273895A1 (zh) * | 2021-06-29 | 2023-01-05 | 苏州一径科技有限公司 | 一种基于聚类的目标检测模型的评估方法 |
| CN115147796A (zh) * | 2022-07-14 | 2022-10-04 | 小米汽车科技有限公司 | 评测目标识别算法的方法、装置、存储介质及车辆 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329892A (zh) | 一种目标检测算法的评估方法、装置、设备及存储介质 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN111460312A (zh) | 空壳企业识别方法、装置及计算机设备 | |
| CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
| CN112784724A (zh) | 一种车辆变道检测方法、装置、设备及存储介质 | |
| CN113688957A (zh) | 一种基于多模型融合的目标检测方法、装置、设备及介质 | |
| CN111753623A (zh) | 一种运动物体的检测方法、装置、设备及存储介质 | |
| CN112863187B (zh) | 感知模型的检测方法、电子设备、路侧设备和云控平台 | |
| CN112434717B (zh) | 一种模型训练方法及装置 | |
| CN110866428A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN113543117A (zh) | 携号转网用户的预测方法、装置及计算设备 | |
| CN110880117A (zh) | 虚假业务识别方法、装置、设备和存储介质 | |
| CN110807493A (zh) | 一种车辆分类模型的优化方法及设备 | |
| CN112801070B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN113297939A (zh) | 障碍物检测方法、系统、终端设备及存储介质 | |
| CN111860623A (zh) | 基于改进ssd神经网络的统计树木数量的方法及系统 | |
| CN112598007B (zh) | 图片训练集的筛选方法、装置、设备和可读存储介质 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN117130010A (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
| CN113902999A (zh) | 一种跟踪方法、装置、设备及介质 | |
| CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN114328174A (zh) | 一种基于对抗学习的多视图软件缺陷预测方法及系统 | |
| CN113989774A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 | |
| CN113537087A (zh) | 一种智慧交通信息处理方法、装置及服务器 | |
| CN113673583A (zh) | 一种图像识别方法、识别网络的训练方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |
|
| RJ01 | Rejection of invention patent application after publication |