CN114863221A - 检测模型的训练方法、装置、系统、设备及存储介质 - Google Patents

检测模型的训练方法、装置、系统、设备及存储介质 Download PDF

Info

Publication number
CN114863221A
CN114863221A CN202210613357.1A CN202210613357A CN114863221A CN 114863221 A CN114863221 A CN 114863221A CN 202210613357 A CN202210613357 A CN 202210613357A CN 114863221 A CN114863221 A CN 114863221A
Authority
CN
China
Prior art keywords
defect
sample set
detection model
classifier
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210613357.1A
Other languages
English (en)
Other versions
CN114863221B (zh
Inventor
林汇丰
暴天鹏
吴立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Original Assignee
Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shangtang Artificial Intelligence Research Center Shenzhen Co ltd filed Critical Shangtang Artificial Intelligence Research Center Shenzhen Co ltd
Priority to CN202210613357.1A priority Critical patent/CN114863221B/zh
Publication of CN114863221A publication Critical patent/CN114863221A/zh
Application granted granted Critical
Publication of CN114863221B publication Critical patent/CN114863221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种检测模型的训练方法、装置、系统、设备及存储介质，其中，所述方法包括：获取已标注的第一样本集、未标注的第二样本集以及利用第一样本集训练的初始检测模型；初始检测模型包括特征提取网络、缺陷分类器和域分类器；分别利用缺陷分类器和域分类器对第二样本集进行分类，得到第二样本集的缺陷分类结果和域分类结果；基于第二样本集的缺陷分类结果和域分类结果，平衡第二样本集中缺陷分类结果和域分类结果的样本的数量，得到带有伪标签的第三样本集；基于已标注的第一样本集和第三样本集，调整特征提取网络、缺陷分类器和域分类器的参数，得到目标检测模型；目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。

Description

检测模型的训练方法、装置、系统、设备及存储介质
技术领域
本公开涉及但不限于计算机视觉技术领域，尤其涉及一种检测模型的训练方法、装置、系统、设备及存储介质。
背景技术
目前，各种缺陷检测方法在深度学习技术的加持下，精度有了较大的提高。例如：采集某一铁路线路上接触网的数据，基于已标注的数据训练检测模型，从而可以利用该检测模型对该铁路线路上接触网进行缺陷检测。由于不同铁路线路存在差异，该检测模型在其他铁路线路上的表现较差。相关技术中，需要采集不同铁路线路上接触网的图像，并举行标注，训练不同的检测模型，利用不同的检测模型对不同铁路线路上接触网进行缺陷检测，但效率低、数据标注成本较高。
发明内容
有鉴于此，本公开实施例至少提供一种检测模型的训练方法、装置、系统、设备及存储介质。
本公开实施例的技术方案是这样实现的：
一方面，本公开实施例提供一种检测模型的训练方法，所述方法包括：
获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型；其中，所述第一样本集包括对第一线路上的接触网所采集的图像，所述第二样本集包括对第二线路上的接触网所采集的图像；所述初始检测模型包括特征提取网络、缺陷分类器和域分类器；
分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果；
基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集；其中，所述第三样本集中所述缺陷分类结果和所述域分类结果的样本的数量满足预设条件；
基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型；其中，所述目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。
另一方面，本公开实施例提供一种检测模型的训练装置，包括：
获取模块，用于获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型；其中，所述第一样本集包括对第一线路上的接触网所采集的图像，所述第二样本集包括对第二线路上的接触网所采集的图像；所述初始检测模型包括特征提取网络、缺陷分类器和域分类器；
分类模块，用于分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果；
第一平衡模块，用于基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集；其中，所述第三样本集中所述缺陷分类结果和所述域分类结果的样本的数量满足预设条件；
调整模块，用于基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型；其中，所述目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。
再一方面，本公开实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
又一方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
又一方面，本公开实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
又一方面，本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
本公开实施例中，首先，对第一线路上的接触网进行图像采集得到第一样本集，以及对于第二线路上的接触网进行图像采集得到第二样本集。然后，可以利用已标注的第一样本集作为训练样本，训练包含特征提取网络、缺陷分类器和域分类器的初始检测模型，并利用初始检测模型对未标注的第二样本集进行分类，得到第二样本集多种类型的缺陷分类结果和域分类结果。其次，基于多种类型的缺陷分类结果和域分类结果，平衡第二样本集中两种类型的样本之间的数量，在不进行标注的情况下，简单快速地得到带有伪标签的第三样本集。最后，基于已标注的第一样本集、第三样本集，调整初始检测模型的参数，快速准确地得到包含特征提取网络和缺陷分类器的目标检测模型，目标检测模型在检测第一线路上的样本具有较高精度，同时，对于检测第二线路上的样本，也具有较高的精度。相比于相关技术中，需要对第二样本集进行标注，利用已标注的第二样本集重新训练用于检测第二线路上样本的检测模型。这样，有助于减少样本的标注成本，提高检测模型的训练效率，以及减少训练检测模型的数量等。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例提供的一种检测模型的训练方法的实现流程示意图；
图2为本公开实施例提供的一种检测模型的训练方法的实现流程示意图；
图3为本公开实施例提供的一种检测模型的训练方法的实现流程示意图；
图4为本公开实施例提供的一种初始检测模型的调整方法的实现流程示意图；
图5为本公开实施例提供的一种检测模型的训练方法的实现流程示意图；
图6A为本公开实施例提供的一种管帽松脱的示意图；
图6B为本公开实施例提供的一种管帽正常的示意图；
图6C为本公开实施例提供的一种管帽松脱的示意图；
图6D为本公开实施例提供的一种管帽正常的示意图；
图7为本公开实施例提供的一种初始检测模型的调整示意图；
图8为本公开实施例提供的一种检测模型的训练装置的组成结构示意图；
图9为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的，不是旨在限制本公开。
本公开实施例提供一种检测模型的训练方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备检测模型的训练能力的设备。图1为本公开实施例提供的一种检测模型的训练方法的实现流程示意图，如图1所示，该方法包括如下步骤S101至步骤S104：
步骤S101，获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型。
这里，线路可以为铁路线路，如，高铁等。接触网可以是指在电气化铁道线路中，沿钢轨架设的高压输电结构。接触网可以由接触悬挂、支持装置、定位装置、支柱与基础等多个部分组成。为了提高铁路线路运行的安全性和稳定性，需要对线路上的接触网进行检测，确定是否存在缺陷。例如：可以利用多个摄像头，分别采集线路上接触网中不同装置的图像，基于采集的图像进行缺陷检测。第一样本集可以包括对第一线路上的接触网所采集的图像，第二样本集可以包括对第二线路上的接触网所采集的图像。例如：在第一列车顶部安装多个不同拍摄角度的摄像头，当第一列车在第一线路上运行的过程中，按照预设的第一采样频率采集第一线路上接触网的多张图像，以形成第一样本集；在第二列车顶部安装多个不同拍摄角度的摄像头，当第二列车在第二线路上运行的过程中，按照预设的第二采样频率采集第二线路上接触网的多张图像，以形成第二样本集。
在一些实施例中，第二线路与第一线路之间可以存在差异，该差异可以为线路上接触网结构之间的差异，如，第一线路上接触网的结构为刚性悬挂结构，第二线路上接触网的结构为柔性悬挂结构；也可以为线路上所处场景之间的差异，如，第一线路所处的场景为平原场景，第二线路所处的场景为山林场景；也可以为线路上接触网的零部件的制式之间的差异，如，第一线路上的接触悬挂采用的是凸形管帽，第二线路上的接触悬挂采用的是锥壳管帽；还可以为采集线路上接触网的图像时所确定的采集方式之间的差异，这里，可以采用不同型号的相机或不同的拍摄角度进行采集，实现不同的采集方式。如，利用长焦相机采集第一线路上的接触网的图像，利用短焦相机采集第二线路上的接触网的图像等；采用30度的拍摄角度采集第一线路上的接触网的图像，采用45度的拍摄角度采集第二线路上的接触网的图像等。对于第一线路和第二线路之间差异的表现形式，这里并不限定。
由于第一线路和第二线路之间存在的差异，导致第一样本集中的图像和第二样本集中的图像存在差异，如，第一线路处于平原场景时，采集的图像较清晰，背景对象(接触网之外的其他对象)较简单；第二线路处于山林场景时，采集的图像较模糊，背景对象较复杂，图像较模糊等。若利用第一样本集训练检测模型，然后，利用该检测模型对第二样本集中的第二样本进行缺陷检测，存在准确率较低的情况。
获取第一样本集后，可以对第一样本集中的第一样本(也即图像)进行缺陷标注，得到第一样本的标注信息，标注信息包括否存在对象、对象的类型及对象的位置等信息。对象可以是指接触网上的零部件，如，螺栓、螺母等。例如：可以利用拉框工具，采用人工方式对第一样本集中的第一图像进行标注，确定第一图像上所包含的零部件不存在缺陷，第二图像上所包含的零部件存在缺陷，缺陷的类型为螺母松动，缺陷的位置位于定位装置上。或者，也可以利用标注工具(如，LabelImg或Labelme等)，对第一样本集中的样本进行标注，得到零部件是否存在缺陷的标注信息。
初始检测模型可以包括特征提取网络、缺陷分类器和域分类器等。特征提取网络可以用于对样本集新特征提取，得到样本的特征。缺陷分类器可以基于样本的特征进行缺陷检测，确定样本是否存在缺陷。域分类器可以理解为预先设置的机器学习模型，如，神经网络模型可以基于图像的特征得到图像的域分类结果。例如：对当前样本进行分类处理，确定当前样本属于第一样本集(也即可以称为源域)；或者对当前样本进行分类处理，确定当前样本属于第二样本集(也即可以称为目标域)。域分类器可以用于辅助调整初始检测模型的参数，得到目标检测模型。例如：通过初始化神经网络模型的参数，将初始化的神经网络作为域分类模型。
初始检测模型可以理解为利用已标注的第一样本集训练的机器学习模型，如，神经网络模型，用于执行缺陷检测。例如：预先初始化未训练的初始检测模型的参数(如，权重系数)，利用带标注信息的第一样本集对未训练的初始检测模型进行训练，更新参数，得到已训练的初始检测模型。也即，初始检测模型对第一线路上的接触网所采集的图像进行缺陷检测的准确率较高。由于第一线路和第二线路存在差异，初始检测模型对第二线路上的接触网所采集的图像进行缺陷检测的准确率较低。这里，初始检测模型的特征提取网络、缺陷分类器可以利用已标注的第一样本集训练进行训练，初始检测模型的域分类器可随机初始化得到。
步骤S102，分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果。
这里，可以利用初始检测模型对第二样本集中的第二样本进行分类，得到第二样本对应的缺陷分类结果和域分类结果，缺陷分类结果和域分类结果可以包括多种类型，如，缺陷分类模型包括缺陷结果(也即存在缺陷)和正常结果(也即不存在缺陷)等；域分类模型包括属于第一样本集或属于第二样本集。以第二样本为图像为例，将第二样本输入初始检测模型，得到的缺陷分类结果为存在缺陷或不存缺陷等类型。可以基于每一第二样本的缺陷分类结果，对第二样本集中所有的第二样本进行分类，得到不同类型的第二样本。如：利用初始检测模型对第二样本集中的图像进行分类，缺陷分类结果包括50张存在缺陷的图像，450张不存在缺陷的图像等。
在一些实施例中，也可以利用缺陷分类器对第二样本进行分类，得到第二样本的缺陷分类结果，如，存在缺陷。同时，利用域分类器对第二样本进行分类，得到第二样本的域分类结果，如，当前第二样本属于第一样本集。这里，也可以将缺陷分类结果和域分类结果确定为不同类型的分类结果。
步骤S103，基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集。
这里，标签可以是指用于表征样本分类情况的信息，如，利用人工标注方式对第一样本集进行标注，标注信息包括存在缺陷和不存在缺陷，将得到的第一样本集的标注信息作为第一样本集的标准标签，这里，标准标签的精度较高。伪标签可以是指基于初始检测模型的分类结果而确定的标签，也即分类结果可以用于表征不同类型样本的伪标签，伪标签的精度并不限定。如，缺陷分类结果为部分图像存在缺陷以及其余图像不存在缺陷，将缺陷分类结果作为第二样本集中每一第二样本对应的伪标签。
可以基于域分类结果，确定不同类型的第二样本的数量，从而确定不同类型的第二样本之间的数量是否平衡。例如：当存在缺陷的第二样本的数量(如，50)与不存在缺陷的第二样本的数量(如，500)之间的比值不属于第一比值范围(如，0.5至2)，则确定存在缺陷的第二样本的数量与不存在缺陷的第二样本的数量不平衡。在确定不平衡的情况下，可以增加或者减少某一类型的第二样本的数量，来达到第二样本集中缺陷分类结果和域分类结果的样本的数量的平衡，得到第三样本集，以使得第三样本集中不同类型的样本的数量满足预设条件(如，不同类型的数量比值满足预设比值范围)。也即，第三样本集为不同类型的第二样本的数量平衡的第二样本集。以存在缺陷的第二样本的数量为50，不存在缺陷的第二样本的数量为500为例，复制存在缺陷的第二样本，使得存在缺陷的第二样本数量为500；或者，从500个不存在缺陷的第二样本中随机采集50个不存在缺陷的第二样本等。
步骤S104，基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型。
这里，目标检测模型可以理解为基于已标注的第一样本集和带有伪标签的第三样本集训练得到的机器学习模型，如，神经网络模型，用于执行对第一线路上和第二线路上的接触网所采集的图像的缺陷检测。这里，目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。在获得初始检测模型的基础上，可以进一步地对初始检测模型中的参数进行调整，使得调整后的初始检测模型不仅对检测第一线路上接触网的图像具有较高的精度，对检测第二线路上接触网的图像也可以具有较高的精度。例如：利用初始检测模型对第一样本和第三样本进行分类，得到当前的缺陷分类结果，基于当前的缺陷分类结果和已标注的第一样本集的标注信息或带有伪标签的第三样本集的缺陷分类结果之间的差异；确定初始样本所对应的当前损失，从而基于该当前损失调整初始检测模型的参数，得到调整后的初始检测模型；在调整后的初始检测模型对检测第一线路上接触网的图像的精度和第三线路上接触网的图像的精度满足预设精度范围的情况下，将调整后的初始检测模型确定为目标检测模型。
在调整初始检测模型，得到目标检测模型的过程中，可以利用初始检测模型中的域分类器进行辅助调整。例如：利用域分类器对每一样本进行分类，得到域分类结果，进而基于域分类结果与每一样本标准的域分类结果(也即第一样本属于第一样本集、第三样本属于第三样本集)，确定辅助损失。基于辅助损失和当前损失，确定初始检测模型的总损失，基于总损失，调整初始检测模型的参数。
本公开实施例中，首先，对第一线路上的接触网进行图像采集得到第一样本集，以及对于第二线路上的接触网进行图像采集得到第二样本集。然后，可以利用已标注的第一样本集作为训练样本，训练初始检测模型，并利用初始检测模型对未标注的第二样本集进行分类，得到第二样本集多种类型的缺陷分类结果和域分类结果。其次，基于多种类型的缺陷分类结果和域分类结果，平衡第二样本集中多种类型的样本之间的数量，在不进行标注的情况下，简单快速地得到带有伪标签的第三样本集。最后，基于已标注的第一样本集和第三样本集，调整初始检测模型的参数，快速准确地得到目标检测模型，目标检测模型在检测第一线路上的样本具有较高精度，同时，对于检测第二线路上的样本，也具有较高的精度。相比于相关技术中，需要对第二样本集进行标注，利用已标注的第二样本集重新训练用于检测第二线路上样本的检测模型。这样，有助于减少样本的标注成本，提高检测模型的训练效率，以及减少训练检测模型的数量等。
以第一样本集中第一样本的标注信息至少可以包括存在缺陷和不存在缺陷为例，该方法还可以包括如下步骤S111：
步骤S111，在所述正常标注的第一样本与所述缺陷标注的第一样本的数量不相等的情况下，平衡所述正常标注的第一样本和所述缺陷标注的第一样本的数量，得到调整后的第一样本集。
这里，在利用已标注的第一样本集训练初始检测模型之前，可以先确定第一样本集中标注的不同类型的第一样本之间的数量是否平衡。在确定标注的不同类型的第一样本的数量之间的比值不属于第二比值范围的情况下，可以确定不同类型的第一样本之间的数量不平衡，进而可以平衡不同类型的第一样本的数量。例如：第二比值范围为[0.3,3]，第一样本集中包括两个类型的第一样本，存在缺陷的第一样本的数量为200，不存在缺陷的第一样本的数量为400，确定不同类型的第一样本的数量之间的比值为0.5或者2，从而确定不平衡。如，复制存在缺陷的第一样本，使得存在缺陷的第一样本的数量为400；或者，随机采集200个不存在缺陷的第二样本等。然后，利用平衡出来后的第一样本集，训练初始检测模型。
本公开实施例中，通过平衡第一样本集中不同类型的样本，利用平衡后的第一样本集训练初始检测模型，可以减少不同类型的样本不平衡的问题，提高初始样本训练模型的鲁棒性。
在一些实施例中，上述步骤S102可以包括如下步骤S1021至步骤S1023：
步骤S1021，利用所述缺陷分类器对所述第二样本集中的第二样本进行分类，得到每一所述第二样本的缺陷概率。
这里，缺陷概率可以是指利用初始检测模型确定的第二样本存在缺陷的可能程度，缺陷概率可以作为初始检测模型的输出。例如：将每一第二样本分别输入初始检测模型，得到每一第二样本的缺陷概率分别为0.3、0.7、0.6、0.5、0.9等。其中，初始检测模型的输出还可以为正常概率，如，第二样本的缺陷概率为0.3，那么该第二样本的正常概率为0.7。
步骤S1022，在所述缺陷概率大于概率阈值的情况下，确定所述缺陷分类结果为缺陷结果。
这里，可以预先设置概率阈值，通过比较第二样本的缺陷概率与概率阈值之间的大小，确定缺陷分类结果，缺陷分类结果可以包括缺陷结果(也即存在缺陷)和正常结果(也即不存在缺陷)等。例如：预设的概率阈值为0.8，第二样本的缺陷概率为0.85，确定该第二样本的缺陷分类结果为缺陷结果。
步骤S1023，在所述缺陷概率小于或等于所述概率阈值的情况下，确定所述缺陷分类结果为正常结果。
这里，如，预设的概率阈值为0.8，第二样本的缺陷概率为0.6，确定该第二样本的缺陷分类结果为正常结果。
在一些实施例中，利用域分类器对第二样本进行域分类处理，得到域分类结果的方式，与确定缺陷分类结果的方法可以相同，这里并不限定。
本公开实施例中，基于初始检测模型输出的概率阈值，可以自适应地将第二样本集划分为具有不同类型的缺陷分类结果和域分类结果的样本集，从而可以基于缺陷分类结果和域分类结果在后续过程中确定伪标签。
本公开实施例提供一种检测模型的训练方法，该方法包括如下步骤S201至步骤S206：
步骤S201至步骤S202分别对应于前述步骤S101至步骤S102，在实施时可以参照前述步骤S101至步骤S102的具体实施方式；步骤S206对应于前述步骤S104，在实施时可以参照前述步骤S104的具体实施方式。
步骤S203，基于第二样本集的缺陷分类结果和域分类结果，确定每一类型的样本的数量。
这里，在确定每一第二样本的缺陷分类结果和域分类结果后，可以确定每一类型的缺陷分类结果和域分类结果的第二样本的数量。例如：缺陷分类结果包括缺陷结果和正常结果，确定缺陷结果的第二样本的数量为100，确定正常结果的第二样本的数量为900等。
步骤S204，基于每一所述类型的样本的数量，将数量较少的类型确定为目标类型。
这里，目标类型可以理解为数量较少的第二样本的类型。若包括两种的不同的类型，目标类型可以理解为数量较少的一种类型。步骤S204实施时可以对不同类型的第二样本的数量进行比较，确定目标类型，如，确定缺陷结果的第二样本的数量小于正常结果的第二样本的数量，将缺陷结果作为目标类型。
若至少包括三种以上的不同的类型，那么可以将数量较少的一种或两种以上类型作为目标类型，举例来说，如，第一类型的第二样本的数量为50，第二类型的第二样本的数量为100，第三类型的第二样本的数量为1000，可以将第一类型确定为目标类型，也可以将第一类型和第二类型都确定为目标类型。
步骤S205，增加所述目标类型的样本的数量，得到带有伪标签的所述第三样本集。
实施S205时，增加目标类型的样本的数量可以是复制目标类型的样本，从而达到增加目标类型的样本的数量的效果。举例来说，实施步骤S203，缺陷结果的第二样本的数量为100，确定正常结果的第二样本的数量为900；然后实施步骤204，确定目标类型为缺陷结果；实施步骤205，对缺陷结果的第二样本进行复制，使得复制后的缺陷结果的第二样本为900。
实施S205时，增加目标类型的样本的数量可以是获取与目标类型的样本相似的其他样本作为目标类型的第二样本。例如：也可以提取每一缺陷结果的第二样本的特征，确定所有缺陷结果的第二样本的均值特征，采用爬虫技术从互联网中获取与该均值特征之间的相似度属于预设相似度范围的多张第一图像，将多张第一图像作为缺陷结果的第二样本；
或者，实施S205时，增加目标类型的样本的数量可以是获取具有相同零部件的图像作为目标类型的第二样本。例如：还可以确定缺陷结果的第二样本在第二线路上接触网的位置，按照不同的拍摄角度重复多次采集该位置上零部件的第二图像，将第二图像作为缺陷结果的第二样本。
对不同类型的第二样本的数量进行平衡处理后，可以得到第三样本集，也即第三样本集中每一类型的样本(也即第二样本)的数量平衡(如，相等)，如，第三样本集中包括900个缺陷结果的第三样本(也即缺陷结果的第二样本)，900个正常结果的第三样本(也即正常结果的第二样本)。缺陷分类结果和域分类结果可以用于表征不同类型的样本的伪标签，如，将存在缺陷或不存在缺陷的缺陷结果确定为对应样本的伪标签。
继续以步骤S204中的若至少包括三种不同类型的缺陷分类结果和域分类结果为例，若第一类型和第二类型为目标类型，第三类型的数量为1000，增加第一类型的第二样本的数量至1000，增加第二类型的第二样本的数量至1000，从而平衡不同类型样本的数量。
本公开实施例中，通过增加数量较少的目标类型的第二样本，可以平衡第二样本集中不同类型的第二样本，同时，也可以增加第三样本集中第三样本的数量，有助于更加精确地后续调整初始检测模型的参数，得到目标检测模型，提高目标检测模型的稳定性等。
在一些实施例中，上述步骤S205可以包括如下步骤S2051：
步骤S2051，在所述目标类型为缺陷结果的情况下，对所述第二样本集中所述缺陷结果的样本进行过采样处理，得到带有所述伪标签的所述第三样本集。
这里，可以利用初始检测模型对第二样本进行缺陷检测，缺陷分类结果包括缺陷结果和正常结果。由于一般情况下是缺陷结果的第二样本的数量较少，可以直接对缺陷结果的第二样本进行过采样处理，使得缺陷结果的第二样本的数量与正常结果的第二样本的数量平衡，以形成第三样本集。
本公开实施例中，通过直接对缺陷结果的第二样本进行过采样处理，可以平衡缺陷结果的第二样本的数量与正常结果的第二样本的数量，这样，可以省略确定不同类型的第二样本的数量的步骤，提高第三样本集的确定效率。同时，也可以增加第三样本集中第三样本的数量，有助于后续更加精确地调整初始检测模型的参数，得到目标检测模型，提高目标检测模型的稳定性等。
本公开实施例提供一种检测模型的训练方法，初始检测模型可以包括特征提取网络、缺陷分类器和域分类器，如图3所示，该方法包括如下步骤S301至步骤S308：
步骤S301至步骤S303分别对应于前述步骤S101至步骤S103，在实施时可以参照前述步骤S101至步骤S103的具体实施方式。
步骤S304，利用所述特征提取网络和所述域分类器对所述第一样本集中的第一样本和所述第三样本集中的第三样本进行分类，得到域分类结果。
这里，特征提取网络可以理解为预先设置的第一机器学习模型，如，已训练的第一神经网络模型，用于提取图像(如，第一样本、第二样本或第三样本等)的特征。缺陷分类器可以理解为预先设置的第二机器学习模型，如，已训练的第二神经网络模型，可以基于图像的特征，对图像进行缺陷检测。也即初始检测模型可以包括特征提取网络和缺陷分类器两个部分，不同部分实现不同的功能，有助于提高初始检测模型的可读性和可维护性。
域分类器可以理解为预先设置的第三机器学习模型，如，已训练的第三神经网络模型可以基于图像的特征得到图像的域分类结果。域分类器可以用于辅助调整初始检测模型的参数，得到目标检测模型。域分类结果可以用于表征不同样本与不同线路之间的所属概率，所属概率可以理解为样本源于对任一线路上的接触网所采集的概率。例如：将样本输入域分类器，输出该样本属于是对某一线路上的接触网所采集的所属概率。如，以包括两种不同的线路为例，域分类阈值为0.5，所属概率为0.9，确定该样本是对第一线路上的接触网进行采集得到的；所属概率为0.4，确定该样本是对第二线路上的接触网进行采集得到的。
步骤S305，基于所述域分类结果与所述第一样本集和所述第三样本集标准的域分类结果，确定第一损失。
这里，样本的域分类结果与样本标准的域分类结果可以相同，也可以不同，如，第一样本标准的域分类结果是指第一样本对第一线路上的接触网所采集的，第一样本的域分类结果可以是指第一样本对第二线路上的接触网所采集的。可以预先设置每一样本标准的域分类信息，存储至预设存储空间，在确定样本的域分类结果的情况下，从该存储空间，获取样本标准的域分类信息。
在一些实施例中，可以将第一样本集中所有的第一样本和第三样本集中所有的第三样本输入域分类器，得到每一第一样本的域分类结果和每一第三样本域分类结果。可以采用数值或者矩阵的形式表示域分类结果和标准的域分类结果，可以确定域分类结果和标准的域分类结果之间的数值差异或矩阵差异，将数值差异或矩阵差异确定为第一损失。第一损失可以用于使得初始检测模型中的特征提取网络提取的特征不包括第一线路或第二线路等有关于线路的信息。
步骤S306，利用所述特征提取网络和所述缺陷分类器对所述第一样本集中的第一样本进行分类，得到所述第一样本的缺陷分类结果。
这里，如，判断输入初始检测模型的样本为第一样本还是第三样本，在确定输入的样本为第一样本的情况下，利用特征提取网络提取第一样本的特征，利用缺陷分类器对第一样本的特征进行分类，得到第一样本存在缺陷或者不存在缺陷；在确定输入的样本为第三样本的情况下，不需要利用初始检测模型对第三样本集中的第三样本进行分类。
步骤S307，基于所述第一样本集中第一样本的缺陷分类结果和对应第一样本的标注信息，确定第二损失。
这里，第一样本的缺陷分类结果与第一样本的标注信息可以相同也可以不同，如，第一样本的缺陷分类结果为不存在缺陷，第一样本的标注信息为存在缺陷。可以采用数值或者矩阵的形式表示第一样本的缺陷分类结果和对应第一样本的标注信息，确定第一样本的缺陷分类结果和标注信息之间的数值差异或矩阵差异，将数值差异或矩阵差异确定为第二损失。第二损失用于使得初始检测模型中的缺陷分类器的缺陷分类结果不受第一线路或第二线路等有关于线路的信息的影响。
步骤S308，基于所述第一损失和所述第二损失，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到所述目标检测模型。
这里，可以基于第一损失和第二损失，确定总损失，如，将第一损失和第二损失相加，得到总损失。基于总损失，确定初始检测模型的当前梯度，基于当前梯度调整初始检测模型的参数，从而得到目标检测模型。也可以基于第一损失对缺陷检测模型进行第一次调整，基于第二损失对缺陷检测模型进行第二次调整。第一次调整和第二次调整的策略可以不同，如，第一次调整为增大一部分参数，第二次调整为减小其余部分的参数。
本公开实施例中，根据第一样本集和第三样本集的域分类结果与标准的分类结果，确定第一损失，根据第一样本的缺陷分类结果和标注信息，确定第二损失，从而可以基于第一损失和第二损失，共同调整初始检测模型的参数，相比于根据一个损失进行一次调整初始检测模型的所有参数，有助于更加准确快速地得到目标检测模型。
本公开实施例提供一种初始检测模型的调整方法，如图4所示，该方法包括如下步骤S401至步骤S402：
步骤S401，基于所述第一损失，对所述初始检测模型的参数进行第一次调整，得到第一次调整后的初始检测模型。
这里，第一次调整可以为对初始检测模型中的部分参数进行的调整，以初始检测模型为多层深度学习网络为例，第一次调整为调整前三层网络的参数。第一次调整也可以为对初始检测模型中的参数按照第一预设方向(如，增大方向)进行的调整，如，第一次调整为增大参数。
步骤S402，基于所述第二损失，对所述第一次调整后的初始检测模型的参数进行第二次调整，得到所述目标检测模型。
这里，第二次调整可以为对初始检测模型中的除部分参数外的其余参数进行的调整，以初始检测模型为多层深度学习网络为例，第二次调整为调整除前三层外的其余网络层的参数。第二次调整可以为对初始检测模型中的参数按照第二预设方向(如，减小方向)进行的调整，如，第二次调整为减小参数。
本公开实施例中，基于第一损失，对初始检测模型的参数进行第一次调整，得到第一次调整后的初始检测模型；基于第二损失，对第一次调整后的初始检测模型的参数进行第二次调整，得到目标检测模型。这样通过多个损失和多次调整，使得对初始检测模型的调整更加准确、快速。
在一些实施例中，上述步骤S401可以包括如下步骤S4011至步骤S4012：
步骤S4011，分别确定所述第一损失对所述域分类器的第一梯度和所述特征提取网络的第二梯度。
这里，可以利用梯度下降算法，分别确定第一损失对域分类器中每一参数的第一梯度，以及第一损失对特征提取网络中每一参数的第二梯度。
步骤S4012，基于所述域分类器的第一梯度调整所述域分类器的参数，以及基于所述特征提取网络的第二梯度的相反数调整所述特征提取网络的参数，得到所述第一次调整后的初始检测模型。
这里，第一步长可以理解成为了使得第一损失收敛，域分类器和特征提取网络的参数调整的大小。以第一次调整为调整特征提取网络和域分类器的参数为例，对于域分类器的调整：可以根据第一梯度和预设的第一步长，确定针对域分类器的当前调整数值，从而根据该当前调整数值和域分类器当前的参数，确定域分类器调整后的参数。例如：将第一梯度和第一步长之间的乘积确定为该当前调整数值，将域分类器当前的参数与该当前调整数值之间的和值确定为域分类器调整后的参数等。
对于特征提取网络的调整：可以根据第二梯度和预设的第一步长，确定针对特征提取网络的当前调整数值，从而根据该当前调整数值和特征提取网络当前的参数，确定特征提取网络调整后的参数。例如：将第二梯度和第一步长之间的乘积确定为该当前调整数值，将特征提取网络当前的参数与该当前调整数值之间的差值确定为特征提取网络调整后的参数等。相对于基于第一梯度和第一步长来确定域分类器的当前调整数值，确定特征提取网络的当前调整数值时，可以基于第二梯度的相反数和第一步长来确定，通过减小特征提取网络参数，有助于使得特征提取网络提取的特征不包括第一线路或第二线路等有关于线路的信息。
在一些实施例中，可以设置初始的第一步长，在迭代过程中，可以根据迭代次数和初始的第一步长，确定当前的步长，基于当前的步长和梯度确定当前调整数值。迭代次数为基于第一损失更新初始检测模型的过程中，初始检测模型的参数迭代的次数，例如：初始的第一步长为5，初始检测模型的参数对应的迭代次数为0，预设的学习率衰减指数为0.01或0.001，确定当前的步长为5。对于根据初始的第一步长，确定当前的步长的方式并不限定。
本公开实施例中，分别确定第一损失对域分类器和特征提取网络的第一梯度和第二梯度，从而基于第一梯度和第一步长准确地调整域分类器的参数，以及基于第二梯度的相反数和第一步长准确地调整特征提取网络的参数，通过不同方式分别调整域分类器和特征提取网络，可以快速准确地得到第一次调整后的初始检测模型。
在一些实施例中，上述步骤S402可以包括如下步骤S4021至步骤S4022：
步骤S4021，分别确定所述第二损失对所述缺陷分类器的第三梯度和所述特征提取网络的第四梯度。
这里，可以利用梯度下降算法，分别确定第二损失对缺陷分类器中每一参数的第三梯度，以及第二损失对特征提取网络中每一参数的第四梯度。
步骤S4022，基于所述缺陷分类器的第三梯度、所述特征提取网络的第四梯度，调整所述缺陷分类器和所述特征提取网络的参数，得到所述目标检测模型。
这里，第二步长可以理解成为了使得第二损失收敛，缺陷分类器和特征提取网络的参数调整的大小。第二步长可以是固定的，也可以是变化的。
以第二次调整为调整特征提取网络和缺陷分类器的参数为例，对于缺陷分类器的调整：可以根据第三梯度和预设的第二步长，确定针对缺陷分类器的当前调整数值，从而根据该当前调整数值和缺陷分类器当前的参数，确定缺陷分类器调整后的参数。例如：将第三梯度和第二步长之间的乘积确定为该当前调整数值，将缺陷分类器当前的参数与该当前调整数值之间的和值确定为缺陷分类器调整后的参数等。
对于特征提取网络的调整：如，将第四梯度和第二步长之间的乘积确定为针对特征提取网络的当前调整数值，将特征提取网络当前的参数与该当前调整数值之间的和值确定为特征提取网络调整后的参数等。
本公开实施例中，分别确定第二损失对缺陷分类器和特征提取网络的第三梯度和第四梯度，从而基于第三梯度和第二步长准确地调整缺陷分类器的参数，使得缺陷分类器的缺陷分类结果不受第一线路或第二线路等有关于线路的信息的影响。以及基于第四梯度和第二步长准确地调整特征提取网络的参数，通过不同方式分别调整缺陷分类器和特征提取网络，可以快速准确地得到第二次调整后的初始检测模型。
下面说明本公开实施例提供的检测模型的训练方法在实际场景中的应用，以检测模型用于对不高铁线路上接触网所采集的图像进行缺陷检测的场景为例进行说明。
本公开实施例提供了一种检测模型的训练方法，如图5所示，所述方法可以包括如下步骤S501至S504：
步骤S501，获取利用已标注的第一高铁线路上接触网所采集的图像训练的初始检测模型，以及未标注的第二高铁线上接触网所采集的图像。
这里，初始检测模型可以包括特征提取网络、缺陷分类器和域分类器。首先，对于初始检测模型的域分类器，可以通过初始化神经网络模型的参数，得到初始化的域分类器。然后，可以获取对第一高铁线路上和第二线路上接触网所采集的图像。例如：通过多个拍摄角度对第一高铁线路上和第二高铁线路上的接触网进行拍摄，得到第一高铁线路上接触网所采集的图像，以及第二高铁线路上接触网所采集的图像。由于第一高铁线路上的接触网的结构和第二高铁线路上接触网的结构存在不同，导致第一高铁线路上接触网所采集的图像的缺陷与第二高铁线路上接触网所采集的图像的缺陷表现情况存在差异。例如，图6A和图6B分别示出了第一高铁线路上接触网所采集的图像中管帽松脱的情况和管帽正常的情况，而图6C和图6D分别示出了第二高铁线路上接触网所采集的图像中管帽松脱的情况和管帽正常的情况。
其次，采用人工方式标注出第一高铁线路上接触网所采集的图像中的缺陷位置，得到存在缺陷的样本和不存在缺陷的样本。缺陷可以是指接触网上的零部件出现异常，如，心型环损伤、管帽松脱、管帽缺失等。一般采集的缺陷样本的数量较少，可以对缺陷样本进行过采样处理，使得第一线路上缺陷样本和正常样本的数量平衡，有助于更加准确地训练出初始检测模型的特征提取网络和缺陷分类器。这样，可以得到包含域分类器、特征提取网络和缺陷分类器的初始检测模型。
步骤S502，利用初始检测模型对未标注的第二高铁线上接触网所采集的图像进行分类，得到缺陷分类结果和域分类结果。
这里，利用初始检测模型中的特征提取网络和缺陷分类器对第二高铁线上接触网所采集的图像进行分类，确定第二高铁线上接触网所采集的图像上是否存在缺陷，确定缺陷样本和正常样本，以及利用检测框标注出缺陷样本的缺陷位置。例如：初始检测模型输出缺陷概率，缺陷概率用于表征图像存在缺陷的可能程度。在缺陷概率大于预设的概率阈值的情况下，确定存在缺陷，对应的伪标签为缺陷样本；在缺陷概率小于或等于预设的概率阈值的情况下，确定不存在缺陷，对应的伪标签为正常样本。
步骤S503，基于缺陷分类结果和域分类结果，平衡缺陷结果和正常结果的第二高铁线上接触网所采集的图像之间的数量。
这里，若第二高铁线上的缺陷样本的数量较少，可以对第二高铁线上的缺陷样本进行过采样处理，使得第二线路上缺陷样本和正常样本的数量平衡。
步骤S504，基于已标注的第一高铁线路上接触网所采集的图像以及平衡处理后的未标注的第二高铁线上接触网所采集的图像，对初始检测模型进行调整，得到缺陷检测模型。
这里，如图7所示，初始检测模型中包括用于提取特征的特征提取网络702、基于特征进行缺陷分类的缺陷分类器704，以及缺陷分类器704。利用特征提取网络702提取输入图像的特征703。输入图像可以为已标注的第一高铁线路上接触网所采集的图像，如，第一高铁线路上缺陷样本7011和正常样本7012，以及未标注的第二高铁线上接触网所采集的图像，如，第二高铁线路上缺陷样本7013和正常样本7014。利用缺陷分类器704对第一高铁线路上的所有样本进行分类，确定第一高铁线路上的缺陷分类结果705，缺陷分类结果705包括正常结果和缺陷结果。利用域分类器706对第一高铁线路上和第二高铁线路上的所有样本进行分类，得到域分类结果707，域分类结果用于表征不同样本与不同高铁线路之间的所属概率。域分类器706可以用于实现缺陷结果和正常结果两个不同域之间的域对抗训练，使得初始检测模型中的特征提取网络提取的特征不包括第一高铁线路或第二高铁线路等有关于线路的信息。
最后，可以基于域分类结果707与第一高铁线路上和第二高铁线路上样本的标准的域分类结果，确定第一损失。基于第一高铁线路上样本的缺陷分类结果705和对应的标注信息，确定第二损失。基于第一损失调整特征提取网络702和域分类器706的参数，基于第二损失调整特征提取网络702和缺陷分类器704的参数，得到缺陷检测模型。也即该缺陷检测模型包括调整后的特征提取网络和缺陷分类器，该缺陷检测模型对于检测第一高铁线路上接触网所采集的图像和第二高铁线路上接触网所采集的图像都具有较高的准确率。
相关技术中，由于不同高铁线路之间存在差异，若利用第一高铁线路上接触网所采集的图像训练的初始检测网络，对第二高铁线路上接触网所采集的图像进行分类，导致缺陷分类结果的精度较差。若利用第二高铁线路上接触网所采集的图像重新训练新的检测模型，标注成本高、模型训练效率低。若用户希望在控制标注成本的情况下进行新场景的适配，可以采用本公开中检测模型的训练方式充分利用新线路或新场景的无标注样本，来进行初始检测模型对新线路或者新场景的适配。
也即，可以利用已标注的原线路上接触网所采集的图像训练初始检测模型，可以仅利用未标注的新线路上接触网所采集的图像调整初始检测模型，得到目标检测模型，目标检测模型对于检测原线路和新线路上接触网所采集的图像都具有较高的准确率。同时，通过平衡新线路中缺陷样本和正常样本之间的数量，有助于提高目标检测模型对于检测新线路的样本的精度。对于新线路的数量这里并不限量，也即目标检测模型可以用于检测至少两个线路上接触网所采集的图像。
本公开实施例中检测模型的训练方法不仅可以应用于高铁线路上接触网巡检的场景，也可以应用于零部件的工业质检等场景，这里并不限定。
基于前述的实施例，本公开实施例提供一种检测模型的训练装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CentralProcessing Unit，CPU)、微处理器(Microprocessor Unit，MPU)、数字信号处理器(DigitalSignal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
图8为本公开实施例提供的一种检测模型的训练装置的组成结构示意图，如图8所示，检测模型的训练装置800包括：获取模块810、分类模块820、第一平衡模块830和调整模块840，其中：
获取模块810，用于获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型；其中，所述第一样本集包括对第一线路上的接触网所采集的图像，所述第二样本集包括对第二线路上的接触网所采集的图像；所述初始检测模型包括特征提取网络、缺陷分类器和域分类器；分类模块820，用于分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果；第一平衡模块830，用于基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集；其中，所述第三样本集中所述缺陷分类结果和所述域分类结果的样本的数量满足预设条件；调整模块840，用于基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型；其中，所述目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。
在一些实施例中，所述第一平衡模块，还用于：基于所述第二样本集的缺陷分类结果和域分类结果，确定每一类型的样本的数量；基于每一所述类型的样本的数量，将数量较少的类型确定为目标类型；增加所述目标类型的样本的数量，得到带有伪标签的所述第三样本集；其中，所述第三样本集中每一所述类型的样本的数量相等。
在一些实施例中，所述初始检测模型包括特征提取网络和缺陷分类器；所述调整模块，还用于：利用所述特征提取网络和所述域分类器对所述第一样本集中的第一样本和所述第三样本集中的第三样本进行分类，得到域分类结果；所述域分类结果用于表征不同样本与不同线路之间的所属概率；基于所述域分类结果与所述第一样本集和所述第三样本集标准的域分类结果，确定第一损失；利用所述特征提取网络和所述缺陷分类器对所述第一样本集中的第一样本进行分类，得到所述第一样本的缺陷分类结果；其中，所述缺陷分类结果至少包括正常结果和缺陷结果；基于所述第一样本集中第一样本的缺陷分类结果和对应第一样本的标注信息，确定第二损失；基于所述第一损失和所述第二损失，调整所述初始检测模型的参数，得到所述目标检测模型。
在一些实施例中，所述调整模块，还用于：基于所述第一损失，对所述初始检测模型的参数进行第一次调整，得到第一次调整后的初始检测模型；基于所述第二损失，对所述第一次调整后的初始检测模型的参数进行第二次调整，得到所述目标检测模型。
在一些实施例中，所述调整模块，还用于：分别确定所述第一损失对所述域分类器的第一梯度和所述特征提取网络的第二梯度；基于所述域分类器的第一梯度调整所述域分类器的参数，以及基于所述特征提取网络的第二梯度的相反数调整所述特征提取网络的参数，得到所述第一次调整后的初始检测模型。
在一些实施例中，所述调整模块，还用于：分别确定所述第二损失对所述缺陷分类器的第三梯度和所述特征提取网络的第四梯度；基于所述缺陷分类器的第三梯度、所述特征提取网络的第四梯度，调整所述缺陷分类器和所述特征提取网络的参数，得到所述目标检测模型。
在一些实施例中，所述第一样本集中第一样本的标注信息至少包括正常标注和缺陷标注；所述装置还包括：第二平衡模块，用于在所述正常标注的第一样本与所述缺陷标注的第一样本的数量不相等的情况下，平衡所述正常标注的第一样本和所述缺陷标注的第一样本的数量，得到调整后的第一样本集；所述调整后的第一样本集用于训练得到所述初始检测模型。
在一些实施例中，所述分类模块，还用于：利用所述初始检测模型对所述第二样本集中的第二样本进行分类，得到每一所述第二样本的缺陷概率；在所述缺陷概率大于概率阈值的情况下，确定所述缺陷分类结果为缺陷结果；在所述缺陷概率小于或等于所述概率阈值的情况下，确定所述缺陷分类结果为正常结果。
在一些实施例中，所述第一平衡模块，还用于：在所述目标类型为缺陷结果的情况下，对所述第二样本集中所述缺陷结果的样本进行过采样处理，得到带有所述伪标签的所述第三样本集；其中，所述第三样本集中所述缺陷结果的样本的数量与正常结果的样本的数量相等。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的检测模型的训练方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本公开实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本公开实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，图9为本公开实施例中计算机设备的一种硬件实体示意图，如图9所示，该计算机设备900的硬件实体包括：处理器901、通信接口902和存储器903，其中：
处理器901通常控制计算机设备900的总体操作。
通信接口902可以使计算机设备通过网络与其他终端或服务器通信。
存储器903配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器901以及计算机设备900中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器901、通信接口902和存储器903之间可以通过总线904进行数据传输。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本公开所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
若本公开实施例涉及个人信息，应用本公开实施例的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本公开实施例涉及敏感个人信息，应用本公开实施例的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。

Claims (12)

1.一种检测模型的训练方法，其特征在于，所述方法包括：
获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型；其中，所述第一样本集包括对第一线路上的接触网所采集的图像，所述第二样本集包括对第二线路上的接触网所采集的图像；所述初始检测模型包括特征提取网络、缺陷分类器和域分类器；
分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果；
基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集；其中，所述第三样本集中所述缺陷分类结果和所述域分类结果的数量满足预设条件；
基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型；其中，所述目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集，包括：
基于所述第二样本集的缺陷分类结果和域分类结果，确定每一类型的样本的数量；
基于每一所述类型的样本的数量，将数量较少的类型确定为目标类型；
增加所述目标类型的样本的数量，得到带有伪标签的所述第三样本集；其中，所述第三样本集中每一所述类型的样本的数量相等。
3.根据权利要求1或2所述的方法，其特征在于，所述基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型，包括：
利用所述特征提取网络和所述域分类器对所述第一样本集中的第一样本和所述第三样本集中的第三样本进行分类，得到域分类结果；所述域分类结果用于表征不同样本与不同线路之间的所属概率；
基于所述域分类结果与所述第一样本集和所述第三样本集标准的域分类结果，确定第一损失；
利用所述特征提取网络和所述缺陷分类器对所述第一样本集中的第一样本进行分类，得到所述第一样本的缺陷分类结果；其中，所述缺陷分类结果至少包括正常结果和缺陷结果；
基于所述第一样本集中第一样本的缺陷分类结果和对应第一样本的标注信息，确定第二损失；
基于所述第一损失和所述第二损失，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到所述目标检测模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一损失和所述第二损失，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到所述目标检测模型，包括：
基于所述第一损失，对所述初始检测模型的参数进行第一次调整，得到第一次调整后的初始检测模型；
基于所述第二损失，对所述第一次调整后的初始检测模型的参数进行第二次调整，得到所述目标检测模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失，对所述初始检测模型的参数进行第一次调整，得到第一次调整后的初始检测模型，包括：
分别确定所述第一损失对所述域分类器的第一梯度和所述特征提取网络的第二梯度；
基于所述域分类器的第一梯度调整所述域分类器的参数，以及基于所述特征提取网络的第二梯度的相反数调整所述特征提取网络的参数，得到所述第一次调整后的初始检测模型。
6.根据权利要求4或5所述的方法，其特征在于，所述基于所述第二损失，对所述第一次调整后的初始检测模型的参数进行第二次调整，得到所述目标检测模型，包括：
分别确定所述第二损失对所述缺陷分类器的第三梯度和所述特征提取网络的第四梯度；
基于所述缺陷分类器的第三梯度、所述特征提取网络的第四梯度，调整所述缺陷分类器和所述特征提取网络的参数，得到所述目标检测模型。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一样本集中第一样本的标注信息至少包括正常标注和缺陷标注；所述方法还包括：
在所述正常标注的第一样本与所述缺陷标注的第一样本的数量不相等的情况下，平衡所述正常标注的第一样本和所述缺陷标注的第一样本的数量，得到调整后的第一样本集；所述调整后的第一样本集用于训练得到所述初始检测模型。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述利用所述缺陷分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果，包括：
利用所述缺陷分类器对所述第二样本集中的第二样本进行分类，得到每一所述第二样本的缺陷概率；
在所述缺陷概率大于概率阈值的情况下，确定所述缺陷分类结果为缺陷结果；
在所述缺陷概率小于或等于所述概率阈值的情况下，确定所述缺陷分类结果为正常结果。
9.根据权利要求2所述的方法，其特征在于，所述增加所述目标类型的样本的数量，得到带有伪标签的所述第三样本集，包括：
在所述目标类型为缺陷结果的情况下，对所述第二样本集中所述缺陷结果的样本进行过采样处理，得到带有所述伪标签的所述第三样本集；其中，所述第三样本集中所述缺陷结果的样本的数量与正常结果的样本的数量相等。
10.一种检测模型的训练装置，其特征在于，包括：
获取模块，用于获取已标注的第一样本集、未标注的第二样本集以及利用所述第一样本集训练的初始检测模型；其中，所述第一样本集包括对第一线路上的接触网所采集的图像，所述第二样本集包括对第二线路上的接触网所采集的图像；所述初始检测模型包括特征提取网络、缺陷分类器和域分类器；
分类模块，用于分别利用所述缺陷分类器和所述域分类器对所述第二样本集进行分类，得到所述第二样本集的缺陷分类结果和域分类结果；
第一平衡模块，用于基于所述第二样本集的缺陷分类结果和域分类结果，平衡所述第二样本集中所述缺陷分类结果和所述域分类结果的样本的数量，得到带有伪标签的第三样本集；其中，所述第三样本集中所述缺陷分类结果和所述域分类结果的样本的数量满足预设条件；
调整模块，用于基于已标注的所述第一样本集和所述第三样本集，调整所述特征提取网络、所述缺陷分类器和所述域分类器的参数，得到目标检测模型；其中，所述目标检测模型包括训练完成的特征提取网络和训练完成的缺陷分类器。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述方法中的步骤。
CN202210613357.1A 2022-05-31 2022-05-31 检测模型的训练方法、装置、系统、设备及存储介质 Active CN114863221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210613357.1A CN114863221B (zh) 2022-05-31 2022-05-31 检测模型的训练方法、装置、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210613357.1A CN114863221B (zh) 2022-05-31 2022-05-31 检测模型的训练方法、装置、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114863221A true CN114863221A (zh) 2022-08-05
CN114863221B CN114863221B (zh) 2024-05-24

Family

ID=82642110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210613357.1A Active CN114863221B (zh) 2022-05-31 2022-05-31 检测模型的训练方法、装置、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114863221B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330594A (zh) * 2020-10-13 2021-02-05 浙江华睿科技有限公司 一种纸筒缺陷检测方法、装置、电子设备及存储介质
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN116524339A (zh) * 2023-07-05 2023-08-01 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN117333493A (zh) * 2023-12-01 2024-01-02 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082748A1 (zh) * 2018-10-25 2020-04-30 腾讯科技（深圳）有限公司 一种检测模型的训练方法、装置及终端设备
CN113205176A (zh) * 2021-04-19 2021-08-03 重庆创通联达智能技术有限公司 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN114187505A (zh) * 2021-11-15 2022-03-15 南方电网科学研究院有限责任公司 输电线路防振锤脱落的检测方法、装置、介质及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082748A1 (zh) * 2018-10-25 2020-04-30 腾讯科技（深圳）有限公司 一种检测模型的训练方法、装置及终端设备
CN113205176A (zh) * 2021-04-19 2021-08-03 重庆创通联达智能技术有限公司 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN114187505A (zh) * 2021-11-15 2022-03-15 南方电网科学研究院有限责任公司 输电线路防振锤脱落的检测方法、装置、介质及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王泽霞;陈革;陈振中;: "基于改进卷积神经网络的化纤丝饼表面缺陷识别", 纺织学报, no. 04, 30 April 2020 (2020-04-30), pages 39 - 44 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330594A (zh) * 2020-10-13 2021-02-05 浙江华睿科技有限公司 一种纸筒缺陷检测方法、装置、电子设备及存储介质
CN112330594B (zh) * 2020-10-13 2024-01-30 浙江华睿科技股份有限公司 一种纸筒缺陷检测方法、装置、电子设备及存储介质
CN115311273A (zh) * 2022-10-11 2022-11-08 富联裕展科技(深圳)有限公司 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN116524339A (zh) * 2023-07-05 2023-08-01 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN116524339B (zh) * 2023-07-05 2023-10-13 宁德时代新能源科技股份有限公司 目标检测方法、装置、计算机设备、存储介质和程序产品
CN117333493A (zh) * 2023-12-01 2024-01-02 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法
CN117333493B (zh) * 2023-12-01 2024-03-15 深圳市志达精密科技有限公司 一种基于机器视觉的显示器底座生产用检测系统以及方法

Also Published As

Publication number Publication date
CN114863221B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN114863221B (zh) 检测模型的训练方法、装置、系统、设备及存储介质
US11138903B2 (en) Method, apparatus, device and system for sign language translation
CN110990631A (zh) 视频筛选方法、装置、电子设备和存储介质
CN112597864B (zh) 一种监控视频异常检测方法及装置
CN106778910B (zh) 基于本地训练的深度学习系统和方法
CN104951791A (zh) 数据分类方法和装置
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
US9875386B2 (en) System and method for randomized point set geometry verification for image identification
CN115131695B (zh) 视频检测模型的训练方法、视频检测方法及装置
CN115828889A (zh) 文本分析方法、情感分类模型、装置、介质、终端及产品
CN112084887A (zh) 一种基于注意力机制的自适应视频分类方法及系统
CN116935889B (zh) 一种音频类别的确定方法、装置、电子设备及存储介质
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
CN117407875A (zh) 一种恶意代码分类方法、系统及电子设备
CN111093140A (zh) 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN116503670A (zh) 图像分类及模型训练方法、装置和设备、存储介质
CN114511715A (zh) 一种驾驶场景数据挖掘方法
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
CN118521586B (zh) 基于机器视觉的产品视觉检测装置及方法
CN116630840B (zh) 分类信息生成方法、装置、电子设备和计算机可读介质
CN114897901B (zh) 基于样本扩充的电池质量检测方法、装置和电子设备
CN117059078A (zh) 关键词的检测方法、装置、存储介质以及电子设备
CN117591856A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN116503734A (zh) 电力设备缺陷检测方法、装置、计算机设备和存储介质
CN117475136A (zh) 目标对象的图像确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant