CN113688957A - 一种基于多模型融合的目标检测方法、装置、设备及介质 - Google Patents

一种基于多模型融合的目标检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN113688957A
CN113688957A CN202111244219.2A CN202111244219A CN113688957A CN 113688957 A CN113688957 A CN 113688957A CN 202111244219 A CN202111244219 A CN 202111244219A CN 113688957 A CN113688957 A CN 113688957A
Authority
CN
China
Prior art keywords
target detection
model
image
detected
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111244219.2A
Other languages
English (en)
Inventor
金良
李仁刚
赵雅倩
郭振华
范宝余
徐聪
胡克坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111244219.2A priority Critical patent/CN113688957A/zh
Publication of CN113688957A publication Critical patent/CN113688957A/zh
Priority to PCT/CN2022/090233 priority patent/WO2023071121A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多模型融合的目标检测方法、装置、设备及介质,包括:获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;分别利用每个所述目标检测模型对待检测图像集中的待检测图像进行检测,得到与多个目标检测模型对应的多组初始目标检测结果;分别对每组初始目标检测结果中的所有初始目标检测结果进行加权,得到每个所述目标检测模型各自对应的初次加权目标检测结果;基于预先利用验证集确定的每个目标检测模型的权重,对多个目标检测模型对应的多个初次加权目标检测结果进行加权,得到与待检测原始图像对应的最终目标检测结果。本申请能够充分发挥模型的多样性,提高目标检测的精度。

Description

一种基于多模型融合的目标检测方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域,特别涉及一种基于多模型融合的目标检测方法、装置、设备及介质。
背景技术
目前,随着大数据和人工智能的蓬勃发展,基于深度学习的计算机视觉也在各个领域得到了广泛的应用,如自主车辆的视觉导航、医学图像分析和人脸识别等领域。目标检测是计算机视觉的一个重要分支,也是视觉感知的第一步。目标检测不仅要确定出图像中有什么,还需确定出目标在图像中的什么位置。
当前,关于目标检测的网络模型和算法层出不穷。通常情况下,仅使用一种算法无法获取到更精确的结果,因此需要将多种学习算法组合起来得到一个较为准确的结果。在目标检测领域中,通常采用的模型集成算法有:多模型直接平均法、单模型多个快照集成(即Snapshots Ensemble)平均融合及AABBFI算法(Axis-Aligned Bounding Box FuzzyIntegral,轴对齐包围盒模糊积分)。在上述三种模型集成算法中,多模型直接平均法是直接对多个模型的输出结果做平均,并未考虑不同模型之间的差异,使得检测精度有限;单模型多个快照集成平均融合是对单个网络模型的集成,由于也未考虑不同模型之间的差异,使得模型多样性不足;AABBFI算法由于仅在单模型中针对检测结果中的检测框(即Bounding Box)位置做融合,并未考虑模型中的其他因素及其他模型,因此,导致此融合算法精度提升有限。
综上所述,如何提高目标检测的精度是本领域有待解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种基于多模型融合的目标检测方法、装置、设备及介质,能够提高目标检测的精度。其具体方案如下:
第一方面,本申请公开了一种基于多模型融合的目标检测方法,包括:
获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;
分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果;
分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果;
基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
可选的,所述获取已训练好的多个目标检测模型之前,还包括:
利用基于模型结构差异构建的筛选条件,筛选出多个待训练目标检测模型;其中,不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件;
利用对历史原始图像集进行图像增强后得到的训练集,对多个所述待训练目标检测模型进行训练,以得到已训练好的多个所述目标检测模型。
可选的,所述获取对待检测原始图像进行图像增强处理后得到的待检测图像集,包括:
根据每个所述目标检测模型的模型类别,确定每个所述目标检测模型对应的图像增强算法;
利用每个所述目标检测模型对应的图像增强算法,对所述待检测原始图像进行相应的图像增强处理,以得到与每个所述目标检测模型对应的待检测图像集。
可选的,对任一组所述初始目标检测结果中的所有初始目标检测结果进行加权,包括:
对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类,以得到与该组所述初始目标检测结果对应的第一聚类结果;
根据所述第一聚类结果,并基于轴对齐包围盒模糊积分算法和非极大值抑制算法,确定各个所述初始目标检测结果的权重;
基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,以得到相应所述目标检测模型对应的初次加权目标检测结果。
可选的,所述的基于多模型融合的目标检测方法,还包括:
基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标;
对所有所述目标检测模型对应的均值平均精度评价指标进行求和,以得到相应的评价指标总和;
基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和,确定出每个所述目标检测模型的权重。
可选的,基于所述验证集确定出已训练好的任一所述目标检测模型对应的均值平均精度评价指标,包括:
利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果;
基于所述预测结果与所述验证集中对应的真实标注结果之间的差异,确定出所述目标检测模型的均值平均精度评价指标。
可选的,所述利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,包括:
分别对验证集中的每张图像进行图像增强,得到所述验证集中每张图像对应的多个增强后图像;
利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测,以得到与所述验证集中每张图像对应的多个初始预测结果;
分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理,以得到与所述验证集中每张图像对应的预测结果。
第二方面,本申请公开了一种基于多模型融合的目标检测装置,包括:
获取模块,用于获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;
图像检测模块,用于分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果;
单模型加权模块,用于分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果;
多模型加权模块,用于基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
第三方面,本申请公开了一种电子设备,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现前述的基于多模型融合的目标检测方法。
第四方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述的基于多模型融合的目标检测方法。
可见,本申请先从获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集,然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果,再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果,最后基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。可见,本申请通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理,降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异,提升了模型的鲁棒性,通过基于训练集将不同模型赋予不同的权重,能够充分发挥模型的多样性,提高目标检测的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种基于多模型融合的目标检测方法流程图;
图2为本申请公开的一种具体的基于多模型权重计算方法流程图;
图3为本申请公开的一种单模型单张图像进行目标检测结构示意图;
图4为本申请公开的一种具体的基于多模型融合的目标检测方法流程图;
图5为本申请公开的一种基于多模型融合的目标检测装置结构示意图;
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种基于多模型融合的目标检测方法,参见图1所示,该方法包括:
步骤S11:获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集。
本实施例中,首先需要获取预先对多个待训练目标检测模型进行训练后确定出的多个目标检测模型,然后利用与已训练好的上述多个目标检测模型对应的图像增强算法对待检测原始图像进行图像增强处理,得到待检测图像集。其中,所述目标检测模型包括但不限于单步(One-stage)、两步(Two-stage)及无锚(Anchor-free)3类模型;所述One-stage类模型包括但不限于RetinaNet 、YOLOV2/V3(YOLO,即You Only Look Once)等;Two-stage类模型包括但不限于Faster R-CNN等;Anchor-free类模型包括但不限于CornerNet、ExtremeNet、CenterNet、FCOS(即Fully Convolutional One-Stage Object Detection,一阶全卷积目标检测)等。
本实施例中,在所述获取已训练好的多个目标检测模型之前,具体还可以包括:利用基于模型结构差异构建的筛选条件,筛选出多个待训练目标检测模型;其中,不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件;利用对历史原始图像集进行图像增强后得到的训练集,对多个所述待训练目标检测模型进行训练,以得到已训练好的多个所述目标检测模型。可以理解的是,为了提升多个目标检测模型融合之后的检测结果,保证模型的多样性,在对多个目标检测模型进行训练之前,可以基于模型结构差异的大小满足预设差异条件的规则对多个初始目标检测模型进行筛选,得到多个待训练目标检测模型。例如,从上述One-stage、Two-stage及Anchor-free这3类模型中挑选出模型之间结构差异较大的YOLOV3、RetinaNet、Faster R-CNN、CenterNet和FCOS这5个目标检测模型。
进一步的,在筛选出多个上述待训练目标检测模型之后,为了提升模型的泛化能力以及样本的多样性,可以对历史原始图像进行图像增强处理得到训练集,并利用上述训练集对筛选出的上述多个待训练目标检测模型进行训练,得到已训练好的多个所述目标检测模型。
本实施例中,所述获取对待检测原始图像进行图像增强处理后得到的待检测图像集,具体可以包括:根据每个所述目标检测模型的模型类别,确定每个所述目标检测模型对应的图像增强算法;利用每个所述目标检测模型对应的图像增强算法,对所述待检测原始图像进行相应的图像增强处理,以得到与每个所述目标检测模型对应的待检测图像集。上述图像增强算法包括但不限于基于几何变换和颜色变换对应的图像增强算法;其中,基于几何变换的图像增强算法包括但不限于随机剪切(即Random Cropping)、随机扩展(即Random Expansion)、随机水平翻转 (即Random Horizontal Flip)、随机缩放 (即RandomResize)等;基于颜色变换的图像增强算法包括但不限于颜色抖动、Fancy PCA(PCA,即Principal Component Analysis,主成分分析)等。在对上述多个待训练目标检测模型进行训练之前,还需要从上述图像增强算法中筛选出目标图像增强算法,并将筛选出的上述目标图像增强算法添加至上述多个待训练目标检测模型中,作为数据的预处理阶段。
需要指出的是,在将所述目标图像增强算法添加至上述多个待训练目标检测模型的过程中,应根据所述待训练目标检测模型的功能进行选择性添加,将具有重复功能的图像增强算法进行剔除。例如在Two-stage类模型中剔除筛选出的图像增强算法RandomCropping,因为Two-stage中的RPN(即Region Proposal Network,区域生成网络)网络与Random Cropping具有相似的功能。可以理解的是,由于目标检测模型在进行训练之前,已将筛选出的目标图像增强算法添加到了对应的目标检测模型中,因此,根据每个目标检测模型的模型类别,便可以确定出与每个所述目标检测模型对应的图像增强算法,并利用每个目标检测模型对应的图像增强算法,对待检测原始图像进行相应的图像增强处理,得到与每个所述目标检测模型对应的待检测图像集。
步骤S12:分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果。
本实施例中,在获取到已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集之后,分别利用每个所述目标检测模型对上述待检测图像集中的所有待检测图像进行检测,得到每个所述目标检测模型输出的与多个所述目标检测模型对应的多组初始目标检测结果。其中,每组初始目标检测结果的数目与经过图像增强处理后的所述待检测图像集中包含的图像数目相同。
步骤S13:分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果。
本实施例中,在分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,得到与所述多个目标检测模型对应的多组初始目标检测结果之后,需要将每个所述目标检测模型对应的所有初始目标检测结果进行加权处理,即进行单模型内部检测结果的加权,得到每个所述目标检测模型各自对应的初次加权目标检测结果。
步骤S14:基于预先利用验证集确定的每个目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
本实施例中,在分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,得到每个所述目标检测模型各自对应的初次加权目标检测结果之后,获取预先利用验证集对每个所述目标检测模型进行训练之后确定的与每个所述目标检测模型对应的权重,并利用上述权重对多个上述目标检测模型对应的多个所述初次加权目标检测结果进行加权处理,即为多个目标检测模型对应的检测结果赋予不同的权重值,进而得到与所述待检测原始图像对应的最终目标检测结果。
可见,本申请实施例先从获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集,然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果,再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果,最后基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。可见,本申请实施例通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理,降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异,提升了模型的鲁棒性,通过基于训练集将不同模型赋予不同的权重,能够充分发挥模型的多样性,提高目标检测的精确度。
本申请实施例公开了一种具体的基于多模型融合的目标检测方法,参见图2所示,该方法包括:
步骤S21:获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集。
步骤S22:分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果。
步骤S23:对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类,以得到与该组所述初始目标检测结果对应的第一聚类结果。
本实施例中,在分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,得到与多个所述目标检测模型对应的多组初始目标检测结果之后,进一步的基于预设聚类算法对多个上述目标检测模型对应的多组初始目标检测结果中的任意一组所述初始目标检测结果中的所有初始目标检测结果进行聚类处理,得到与该组所述初始目标检测结果对应的第一聚类结果。其中,上述预设聚类算法包括但不限于K-means算法(即K-means Clustering Algorithm,k均值聚类算法)等。
步骤S24:根据所述第一聚类结果,并基于轴对齐包围盒模糊积分算法和非极大值抑制算法,确定各个所述初始目标检测结果的权重。
本实施例中,在对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类,得到与该组所述初始目标检测结果对应的第一聚类结果之后,基于非极大值抑制(即NMS,Non Maximum Suppression)算法对上述第一聚类结果中的非极大值进行抑制,得到第一聚类抑制结果,并基于轴对齐包围盒模糊积分算法对上述第一聚类抑制结果进行运算,得到各个所述初始目标检测结果对应的权重。其中,上述基于非极大值抑制算法对上述第一聚类结果中的非极大值进行抑制的具体处理过程如下:获取所述第一聚类结果中最大值对应的索引,并将与上述最大值对应的索引的聚类结果从所述第一聚类结果中剔除,得到目标聚类结果,并分别计算上述目标聚类结果中所有检测框与上述最大值对应的索引的聚类结果中检测框的交并比,并根据所述交并比确定各个初始目标检测结果对应的权重。
步骤S25:基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,以得到相应所述目标检测模型对应的初次加权目标检测结果。
本实施例中,根据所述第一聚类结果,并基于轴对齐包围盒模糊积分算法和非极大值抑制算法,确定出各个所述初始目标检测结果的权重之后,可以利用各个上述初始目标检测结果的权重值,对该组所述初始目标检测结果中的所有上述初始目标检测结果进行相应的加权处理,得到相应的与所述目标检测模型对应的初次加权目标检测结果。具体的,上述获取与所述目标检测模型对应的初次加权目标检测结果的过程主要基于AABBFI算法实现的,其中AABBFI算法的具体实现过程参见图3所示,首先将输入的单张待检测原始图像进行数据增强处理,得到待检测图像集,然后利用已训练好的单个目标检测模型并基于AABB(Axis-Aligned Bounding Box,轴对齐包围盒)算法对上述待检测图像集中的图像进行推理,得到多个推理结果,并基于FI(即Fuzzy Integral,模糊积分)算法对上述推理结果进行模糊运算,得到目标检测结果。
步骤S26:基于预先利用验证集确定的每个目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
本实施例中,在基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,得到相应所述目标检测模型对应的初次加权目标检测结果之后,获取基于预先利用验证集确定出的每个所述目标检测模型对应的权重值,并利用上述目标检测模型对应的权重值对多个上述目标检测模型对应的多个所述初次加权目标检测结果进行加权处理,得到与上述待检测原始图像对应的最终目标检测结果。
本实施例中,参见图4所示,所述基于多模型融合的目标检测方法,具体还可以包括:
步骤S31:基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标;
步骤S32:对所有所述目标检测模型对应的均值平均精度评价指标进行求和,以得到相应的评价指标总和;
步骤S33:基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和,确定出每个所述目标检测模型的权重。
本实施例中,在对获取已训练好的多个目标检测模型之前,可以利用验证集确定出每个上述目标检测模型对应的用于衡量目标检测识别精度的指标,即均值平均精度评价指标(mAP,mean Average Precision)。进一步的,计算所有上述目标检测模型对应的均值平均精度评价指标的总和,得到相应的评价指标总和。然后基于每个所述目标检测模型对应的均值平均精度评价指标与上述评价指标总和的比值,便可以确定出每个所述目标检测模型对应的权重。
本实施例中,基于所述验证集确定出已训练好的任一所述目标检测模型对应的均值平均精度评价指标,具体可以包括:利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果;基于所述预测结果与所述验证集中对应的真实标注结果之间的差异,确定出所述目标检测模型的均值平均精度评价指标。本实施例中,利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,可以得到上述目标检测模型输出的与上述验证集中每张图像对应的预测结果,进一步的,基于上述预测结果与所述验证集中对应的真实标注结果(即Ground Truth)之间的差异程度,可以确定出与上述目标检测模型对应的均值平均精度评价指标。
具体的,所述利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,可以包括:分别对验证集中的每张图像进行图像增强,得到所述验证集中每张图像对应的多个增强后图像;利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测,以得到与所述验证集中每张图像对应的多个初始预测结果;分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理,以得到与所述验证集中每张图像对应的预测结果。本实施例中,在利用已训练好的所述目标检测模型对验证集中的每张图像进行预测的过程中,可以先分别对验证集中的每张图像进行图像增强处理,得到与上述验证集中每张图像对应的多个增强后图像,然后利用已训练好的上述目标检测模型对上述验证集中每张图像对应的多个增强后图像进行预测,进而得到与上述验证集中每张图像对应的多个初始预测结果,再基于轴对齐包围盒模糊积分算法和非极大值抑制算法分别对上述验证集中的每张图像对应的多个初始预测结果进行加权处理,得到与上述验证集中每张图像对应的预测结果。
其中,关于上述步骤S21、S22更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本申请实施例通过对任一组初始目标检测结果中的所有初始目标检测结果进行聚类,得到与该组所述初始目标检测结果对应的第一聚类结果,然后根据所述第一聚类结果中不同聚类中心对应的检测框重叠程度,确定每个聚类中心对应的各个所述初始目标检测结果的权重,并基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,得到相应所述目标检测模型对应的初次加权目标检测结果。通过对每一组初始目标检测结果中的所有初始目标检测结果进行聚类及加权处理,能够降低由于对原始图像进行图像增强而导致的检测结果的差异,提升单个目标检测模型的鲁棒性。
相应的,本申请实施例还公开了一种基于多模型融合的目标检测装置,参见图5所示,该装置包括:
获取模块11,用于获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;
图像检测模块12,用于分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果;
单模型加权模块13,用于分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果;
多模型加权模块14,用于基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
其中,关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本申请实施例中,先从获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集,然后分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果,再分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果,最后基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。可见,本申请实施例通过对每组初始目标检测结果中的所有初始目标检测结果进行加权处理,降低了由于对原始图像进行图像增强处理而导致的单模型检测结果差异,提升了模型的鲁棒性,通过基于训练集将不同模型赋予不同的权重,能够充分发挥模型的多样性,提高目标检测的精确度。
在一些具体实施例中,所述获取模块11之前,还可以包括:
模型筛选单元,用于利用基于模型结构差异构建的筛选条件,筛选出多个待训练目标检测模型;其中,不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件;
第一训练单元,用于利用对历史原始图像集进行图像增强后得到的训练集,对多个所述待训练目标检测模型进行训练,以得到已训练好的多个所述目标检测模型。
在一些具体实施例中,所述获取模块11,具体可以包括:
算法确定单元,用于根据每个所述目标检测模型的模型类别,确定每个所述目标检测模型对应的图像增强算法;
第一图像增强单元,用于利用每个所述目标检测模型对应的图像增强算法,对所述待检测原始图像进行相应的图像增强处理,以得到与每个所述目标检测模型对应的待检测图像集。
在一些具体实施例中,所述对任一组所述初始目标检测结果中的所有初始目标检测结果进行加权,具体可以包括:
第一聚类单元,用于对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类,以得到与该组所述初始目标检测结果对应的第一聚类结果;
第一权重确定单元,用于根据所述第一聚类结果,并基于轴对齐包围盒模糊积分算法和非极大值抑制算法,确定各个所述初始目标检测结果的权重;
第一加权单元,用于基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,以得到相应所述目标检测模型对应的初次加权目标检测结果。
在一些具体实施例中,所述基于多模型融合的目标检测装置,还可以包括:
第一评价指标确定单元,用于基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标;
求和单元,用于对所有所述目标检测模型对应的均值平均精度评价指标进行求和,以得到相应的评价指标总和;
第二权重确定单元,用于基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和,确定出每个所述目标检测模型的权重。
在一些具体实施例中,所述第一评价指标确定单元,具体可以包括:
第一预测单元,用于利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果;
第二评价指标确定单元,用于基于所述预测结果与所述验证集中对应的真实标注结果之间的差异,确定出所述目标检测模型的均值平均精度评价指标。
在一些具体实施例中,所述第一预测单元,具体可以包括:
第二图像增强单元,用于分别对验证集中的每张图像进行图像增强,得到所述验证集中每张图像对应的多个增强后图像;
第二预测单元,用于利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测,以得到与所述验证集中每张图像对应的多个初始预测结果;
第二加权单元,用于分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理,以得到与所述验证集中每张图像对应的预测结果。
进一步的,本申请实施例还公开了一种电子设备,图6是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的基于多模型融合的目标检测方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于多模型融合的目标检测方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的基于多模型融合的目标检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种基于多模型融合的目标检测方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于多模型融合的目标检测方法,其特征在于,包括:
获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;
分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果;
分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果;
基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
2.根据权利要求1所述的基于多模型融合的目标检测方法,其特征在于,所述获取已训练好的多个目标检测模型之前,还包括:
利用基于模型结构差异构建的筛选条件,筛选出多个待训练目标检测模型;其中,不同所述待训练目标检测模型之间的模型结构差异均满足预设差异条件;
利用对历史原始图像集进行图像增强后得到的训练集,对多个所述待训练目标检测模型进行训练,以得到已训练好的多个所述目标检测模型。
3.根据权利要求1所述的基于多模型融合的目标检测方法,其特征在于,所述获取对待检测原始图像进行图像增强处理后得到的待检测图像集,包括:
根据每个所述目标检测模型的模型类别,确定每个所述目标检测模型对应的图像增强算法;
利用每个所述目标检测模型对应的图像增强算法,对所述待检测原始图像进行相应的图像增强处理,以得到与每个所述目标检测模型对应的待检测图像集。
4.根据权利要求1所述的基于多模型融合的目标检测方法,其特征在于,对任一组所述初始目标检测结果中的所有初始目标检测结果进行加权,包括:
对任一组所述初始目标检测结果中的所有初始目标检测结果进行聚类,以得到与该组所述初始目标检测结果对应的第一聚类结果;
根据所述第一聚类结果,并基于轴对齐包围盒模糊积分算法和非极大值抑制算法,确定各个所述初始目标检测结果的权重;
基于各个所述初始目标检测结果的权重,对该组所述初始目标检测结果中的所有所述初始目标检测结果进行加权,以得到相应所述目标检测模型对应的初次加权目标检测结果。
5.根据权利要求1至4任一项所述的基于多模型融合的目标检测方法,其特征在于,还包括:
基于验证集确定出已训练好的每个所述目标检测模型对应的均值平均精度评价指标;
对所有所述目标检测模型对应的均值平均精度评价指标进行求和,以得到相应的评价指标总和;
基于每个所述目标检测模型对应的均值平均精度评价指标以及所述评价指标总和,确定出每个所述目标检测模型的权重。
6.根据权利要求5所述的基于多模型融合的目标检测方法,其特征在于,基于所述验证集确定出已训练好的任一所述目标检测模型对应的均值平均精度评价指标,包括:
利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,以得到所述目标检测模型输出的与所述验证集中每张图像对应的预测结果;
基于所述预测结果与所述验证集中对应的真实标注结果之间的差异,确定出所述目标检测模型的均值平均精度评价指标。
7.根据权利要求6所述的基于多模型融合的目标检测方法,其特征在于,所述利用已训练好的所述目标检测模型对验证集中的每张图像进行预测,包括:
分别对验证集中的每张图像进行图像增强,得到所述验证集中每张图像对应的多个增强后图像;
利用已训练好的所述目标检测模型对所述验证集中每张图像对应的多个增强后图像进行预测,以得到与所述验证集中每张图像对应的多个初始预测结果;
分别对所述验证集中每张图像对应的多个初始预测结果进行加权处理,以得到与所述验证集中每张图像对应的预测结果。
8.一种基于多模型融合的目标检测装置,其特征在于,包括:
获取模块,用于获取已训练好的多个目标检测模型,并获取对待检测原始图像进行图像增强处理后得到的待检测图像集;
图像检测模块,用于分别利用每个所述目标检测模型对所述待检测图像集中的待检测图像进行检测,以得到与多个所述目标检测模型对应的多组初始目标检测结果;
单模型加权模块,用于分别对每组所述初始目标检测结果中的所有初始目标检测结果进行加权,以得到每个所述目标检测模型各自对应的初次加权目标检测结果;
多模型加权模块,用于基于预先利用验证集确定的每个所述目标检测模型的权重,对多个所述目标检测模型对应的多个所述初次加权目标检测结果进行加权,得到与所述待检测原始图像对应的最终目标检测结果。
9.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的基于多模型融合的目标检测方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模型融合的目标检测方法。
CN202111244219.2A 2021-10-26 2021-10-26 一种基于多模型融合的目标检测方法、装置、设备及介质 Pending CN113688957A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111244219.2A CN113688957A (zh) 2021-10-26 2021-10-26 一种基于多模型融合的目标检测方法、装置、设备及介质
PCT/CN2022/090233 WO2023071121A1 (zh) 2021-10-26 2022-04-29 一种基于多模型融合的目标检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111244219.2A CN113688957A (zh) 2021-10-26 2021-10-26 一种基于多模型融合的目标检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113688957A true CN113688957A (zh) 2021-11-23

Family

ID=78587953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111244219.2A Pending CN113688957A (zh) 2021-10-26 2021-10-26 一种基于多模型融合的目标检测方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113688957A (zh)
WO (1) WO2023071121A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693612A (zh) * 2022-03-16 2022-07-01 深圳大学 一种基于深度学习的膝关节骨肿瘤检测方法及相关装置
CN115223166A (zh) * 2022-09-20 2022-10-21 整数智能信息技术(杭州)有限责任公司 图片预标注方法、图片标注方法及装置、电子设备
CN115376054A (zh) * 2022-10-26 2022-11-22 浪潮电子信息产业股份有限公司 一种目标检测方法、装置、设备及存储介质
WO2023071121A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质
WO2024022149A1 (zh) * 2022-07-29 2024-02-01 马上消费金融股份有限公司 数据增强方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116777913B (zh) * 2023-08-22 2023-11-03 青岛市勘察测绘研究院 一种三维模型的套合精度检测方法、装置、设备及介质
CN116935290B (zh) * 2023-09-14 2023-12-12 南京邮电大学 机场场景下高分辨率阵列摄像机异构目标检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189307A (zh) * 2019-05-14 2019-08-30 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN111461784A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于多模型融合的欺诈行为检测方法
CN111680675A (zh) * 2020-08-14 2020-09-18 腾讯科技(深圳)有限公司 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN113255607A (zh) * 2021-06-30 2021-08-13 北京道达天际科技有限公司 基于多模型融合的遥感房屋检测方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569808B (zh) * 2019-09-11 2024-08-09 腾讯科技(深圳)有限公司 活体检测方法、装置及计算机设备
CN111178405A (zh) * 2019-12-18 2020-05-19 浙江工业大学 一种融合多种神经网络的相似物体识别方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN112528908B (zh) * 2020-12-18 2024-06-28 平安科技(深圳)有限公司 活体检测方法、装置、电子设备及存储介质
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN113313058B (zh) * 2021-06-16 2022-08-02 北京航空航天大学 一种基于自适应模型集成的无人机航拍图像目标检测方法
CN113688957A (zh) * 2021-10-26 2021-11-23 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189307A (zh) * 2019-05-14 2019-08-30 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN111461784A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于多模型融合的欺诈行为检测方法
CN111680675A (zh) * 2020-08-14 2020-09-18 腾讯科技(深圳)有限公司 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN113255607A (zh) * 2021-06-30 2021-08-13 北京道达天际科技有限公司 基于多模型融合的遥感房屋检测方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071121A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质
CN114693612A (zh) * 2022-03-16 2022-07-01 深圳大学 一种基于深度学习的膝关节骨肿瘤检测方法及相关装置
WO2024022149A1 (zh) * 2022-07-29 2024-02-01 马上消费金融股份有限公司 数据增强方法、装置及电子设备
CN115223166A (zh) * 2022-09-20 2022-10-21 整数智能信息技术(杭州)有限责任公司 图片预标注方法、图片标注方法及装置、电子设备
CN115376054A (zh) * 2022-10-26 2022-11-22 浪潮电子信息产业股份有限公司 一种目标检测方法、装置、设备及存储介质
WO2024087358A1 (zh) * 2022-10-26 2024-05-02 浪潮电子信息产业股份有限公司 一种目标检测方法、装置、设备及非易失性可读存储介质

Also Published As

Publication number Publication date
WO2023071121A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN113688957A (zh) 一种基于多模型融合的目标检测方法、装置、设备及介质
CN109922032B (zh) 用于确定登录账户的风险的方法、装置、设备及存储介质
CN113011973B (zh) 基于智能合约数据湖的金融交易监管模型的方法及设备
CN110232524A (zh) 社交网络欺诈模型的构建方法、防欺诈方法和装置
CN111860568B (zh) 数据样本的均衡分布方法、装置及存储介质
CN110362814A (zh) 一种基于改进损失函数的命名实体识别方法及装置
CN108256454B (zh) 一种基于cnn模型的训练方法、人脸姿态估测方法及装置
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN109873790A (zh) 网络安全检测方法、装置以及计算机可读存储介质
CN112766402A (zh) 算法选择方法、装置和电子设备
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN113516144A (zh) 目标检测方法及装置、计算设备
CN114418189A (zh) 水质等级预测方法、系统、终端设备及存储介质
CN111881706B (zh) 活体检测、图像分类和模型训练方法、装置、设备及介质
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
CN114186646A (zh) 区块链异常交易识别方法及装置、存储介质及电子设备
CN114328821A (zh) 基于控制槽位和业务数据槽位的多轮对话控制方法及装置
CN117132169A (zh) 电力人工智能模型调用评价方法及系统
CN115600818A (zh) 多维评分方法、装置、电子设备和存储介质
CN111882135B (zh) 一种物联网设备入侵检测方法及相关装置
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备
CN115115680A (zh) 图像处理方法、装置、设备以及存储介质
CN113158743B (zh) 基于先验知识的小目标实时检测与定位方法、系统、设备
CN113836915B (zh) 数据处理方法、装置、设备及可读存储介质
CN116739395A (zh) 一种企业外迁预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211123