CN115359062B - 通过半监督实例分割标定监控目标的方法及系统 - Google Patents

通过半监督实例分割标定监控目标的方法及系统 Download PDF

Info

Publication number
CN115359062B
CN115359062B CN202211298566.8A CN202211298566A CN115359062B CN 115359062 B CN115359062 B CN 115359062B CN 202211298566 A CN202211298566 A CN 202211298566A CN 115359062 B CN115359062 B CN 115359062B
Authority
CN
China
Prior art keywords
iteration
target
picture
iterative
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211298566.8A
Other languages
English (en)
Other versions
CN115359062A (zh
Inventor
吴显德
于超
陈江海
温志伟
徐登峰
宋春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202211298566.8A priority Critical patent/CN115359062B/zh
Publication of CN115359062A publication Critical patent/CN115359062A/zh
Application granted granted Critical
Publication of CN115359062B publication Critical patent/CN115359062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种通过半监督实例分割标定监控目标的方法及系统。其中，该方法包括：获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；将训练集中每张图片随机进行全监督实例分割训练或自监督实例分割训练，得到目标学生模型和目标教师模型；将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别。通过该方法代替原先的目标检测方法，减少目标框的噪音影响，降低误检率；采用全监督实例分割训练或自监督实例分割训练，减少人工因素导致的误检；教师模型和学生模型同时训练减少训练时间。

Description

通过半监督实例分割标定监控目标的方法及系统
技术领域
本发明涉及变电站目标检测技术领域，具体而言，涉及一种通过半监督实例分割标定监控目标的方法及系统。
背景技术
变电站是容易发生事故的场所，因此变电站的安全极其重要，采用人为监控现场，需要花费大量的人力成本。目前常用的变电站安全监控是目标检测检测方法，由于1）变电站环境复杂，目标容易被遮挡，容易产生漏检；2）目标框含有较多背景噪音，容易产生误检；3）人为因素影响，训练集中人工标定目标框存在误标现象，将会对模型产生副作用影响。
针对现有技术中采用常规的目标检测方法监控变电站中目标，造成的误检、准确率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种通过半监督实例分割标定监控目标的方法，以解决现有技术中采用常规的目标检测方法监控变电站中目标，造成的误检、准确率低的问题。
为达到上述目的，一方面，本发明提供了一种通过半监督实例分割标定监控目标的方法，该方法包括：步骤S101，获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；步骤S102，从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；所述全监督实例分割训练包括：将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；所述自监督实例分割训练包括：将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；步骤S103，重复所述步骤S102直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；步骤S104，重复步骤S102、步骤S103，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；步骤S105，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别。
可选的，所述根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值包括：根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算得到迭代人工标定分类损失值、迭代人工标定回归损失值和迭代人工标定掩膜损失值；根据以下公式计算所述迭代人工标定总损失值：
Figure 441080DEST_PATH_IMAGE001
其中，所述
Figure 828199DEST_PATH_IMAGE002
表示迭代人工标定总损失值；所述
Figure 73367DEST_PATH_IMAGE003
表示迭代人工标定分类损失值；所述
Figure 963962DEST_PATH_IMAGE004
表示迭代人工标定回归损失值；所述
Figure 636383DEST_PATH_IMAGE005
表示迭代人工标定掩膜损失值。
可选的，所述将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中根据以下公式计算：
Figure 120586DEST_PATH_IMAGE006
Figure 294078DEST_PATH_IMAGE007
其中，所述
Figure 180125DEST_PATH_IMAGE008
表示当前迭代教师模型的权重；所述
Figure 23448DEST_PATH_IMAGE009
表示当前迭代学生模型权重的占比；
Figure 994946DEST_PATH_IMAGE010
表示当前迭代学生模型的权重；
Figure 706550DEST_PATH_IMAGE011
表示上一迭代教师模型的权重；n表示当前迭代；s表示学生模型；t表示教师模型；max表示求最大值；min表示求最小值；step表示当前迭代步数；warm_step表示预设迭代步数。
可选的，所述将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果包括：将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到初始迭代教师模型以及每张迭代图片检测目标的初始预测结果；所述初始预测结果包括：类别得分、目标框、像素点类别；将所述每张迭代图片中的目标框随机多次扩展预设范围内倍数，得到每张迭代图片的多个第一更新目标框；将所述每张迭代图片的多个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的当前预测结果；所述当前预测结果包括：分别与所述多个第一更新目标框对应的当前类别得分及当前像素点类别；将所述每张迭代图片的第一更新目标框中，类别得分大于或等于预设类别得分的第一更新目标框保留为第二更新目标框；计算所述每张迭代图片的全部第二更新目标框的波动差值，当判定该波动差值不在预设波动差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；计算所述每张迭代图片的全部第二更新目标框的掩膜差值，当判定该掩膜差值不在预设掩膜差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；保留所述每张迭代图片中类别得分最高的第二更新目标框，并将其作为最终目标框；将所述最终目标框及该最终目标框对应的所述当前类别得分及当前像素点类别作为每张迭代图片检测目标的推理标定结果。
可选的，根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值包括：根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定分类损失值、迭代推理标定回归损失值、迭代推理标定掩膜损失值；根据以下公式计算所述迭代推理标定总损失值：
Figure 447104DEST_PATH_IMAGE012
其中，所述
Figure 461327DEST_PATH_IMAGE013
表示迭代推理标定总损失值；所述
Figure 44756DEST_PATH_IMAGE014
表示迭代推理标定分类损失值；所述
Figure 169837DEST_PATH_IMAGE015
表示迭代推理标定回归损失值；所述
Figure 155111DEST_PATH_IMAGE016
表示迭代推理标定掩膜损失值。
可选的，所述迭代推理标定分类损失值根据以下公式计算：
Figure 215602DEST_PATH_IMAGE017
Figure 286326DEST_PATH_IMAGE018
其中，所述
Figure 215099DEST_PATH_IMAGE014
为迭代推理标定分类损失值；所述
Figure 54879DEST_PATH_IMAGE019
为每张迭代图片检测目标的预测结果匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；
Figure 410905DEST_PATH_IMAGE020
表示每张迭代图片检测目标的预测结果的目标框的概率；
Figure 703346DEST_PATH_IMAGE021
表示每张迭代图片检测目标的推理标定结果匹配上每张迭代图片检测目标的预测结果的目标框的概率；
Figure 435810DEST_PATH_IMAGE022
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；
Figure 130097DEST_PATH_IMAGE023
表示每张迭代图片检测目标的推理标定结果未匹配上每张迭代图片检测目标的预测结果的目标框的概率；
Figure 657024DEST_PATH_IMAGE024
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的权重；
Figure 577707DEST_PATH_IMAGE025
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第j个目标框的得分，
Figure 972916DEST_PATH_IMAGE026
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第k个目标框的得分。
可选的，所述每张迭代图片的全部第二更新目标框的波动差值根据以下公式计算
Figure 521709DEST_PATH_IMAGE027
其中，
Figure 485117DEST_PATH_IMAGE028
表示当前迭代图片的全部第二更新目标框的波动差值，n表示当前迭代图片的第二更新目标框的数量；
Figure 752150DEST_PATH_IMAGE029
表示第i个第二更新目标框第j个坐标的值，其中，第j个坐标的值为当前第二更新目标框的左上、右下两个坐标中的四个坐标值中的任一坐标值，z表示第z个第二更新目标框；
可选的，所述每张迭代图片的全部第二更新目标框的掩膜差值根据以下公式计算：
Figure 826416DEST_PATH_IMAGE030
Figure 229716DEST_PATH_IMAGE031
其中，
Figure 364025DEST_PATH_IMAGE032
表示当前迭代图片的全部第二更新目标框的均值；n表示当前迭代图片的第二更新目标框的数量；
Figure 118355DEST_PATH_IMAGE033
表示当前迭代图片的当前第二更新目标框的掩膜像素点数量；
Figure 606099DEST_PATH_IMAGE034
表示当前迭代图片的第j个第二更新目标框的第i个掩膜像素点的类别概率；
Figure 129484DEST_PATH_IMAGE035
为当前迭代图片的全部第二更新目标框的掩膜差值。
另一方面，本发明提供了一种通过半监督实例分割标定监控目标的系统，该系统包括：赋值单元，用于获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；训练单元，用于从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；所述全监督实例分割训练包括：将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；所述自监督实例分割训练包括：将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；第一重复训练单元，用于重复所述训练单元直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；第二重复训练单元，用于重复所述训练单元、所述第一重复训练单元，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；检测单元，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别。
可选的，所述根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值包括：根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算得到迭代人工标定分类损失值、迭代人工标定回归损失值和迭代人工标定掩膜损失值；根据以下公式计算所述迭代人工标定总损失值：
Figure 434695DEST_PATH_IMAGE001
其中，所述
Figure 410741DEST_PATH_IMAGE002
表示迭代人工标定总损失值；所述
Figure 826810DEST_PATH_IMAGE003
表示迭代人工标定分类损失值；所述
Figure 470281DEST_PATH_IMAGE004
表示迭代人工标定回归损失值；所述
Figure 680813DEST_PATH_IMAGE005
表示迭代人工标定掩膜损失值。
本发明的有益效果：
本发明提供了一种通过半监督实例分割标定监控目标的方法及系统，该方法通过实例分割标定监控目标来代替原先的目标检测方法，减少目标框的噪音影响，降低误检率；采用全监督实例分割训练或自监督实例分割训练，减少人工因素导致的误检；教师模型和学生模型同时训练减少训练时间；对目标框依次进行类别得分筛选、波动差值筛选、掩膜差值筛选，修正人为标定结果，提高检测目标的准确率；对迭代推理标定分类损失设置权重，降低误检和漏检的作用，提高正检的作用。
附图说明
图1是本发明实施例提供的一种通过半监督实例分割标定监控目标的方法的流程图；
图2是本发明实施例提供的得到每张迭代图片检测目标的推理标定结果的流程图；
图3是本发明实施例提供的一种通过半监督实例分割标定监控目标的系统的结构示意图；
图4是本发明实施例提供的得到每张迭代图片检测目标的推理标定结果的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
变电站是容易发生事故的场所，因此变电站的安全极其重要，采用人为监控现场，需要花费大量的人力成本。目前常用的变电站安全监控是目标检测检测方法，由于1）变电站环境复杂，目标容易被遮挡，容易产生漏检；2）目标框含有较多背景噪音，容易产生误检；3）人为因素影响，训练集中人工标定目标框存在误标现象，将会对模型产生副作用影响。
因而，本发明提供了一种通过半监督实例分割标定监控目标的方法，可减少目标框的噪音影响，降低误检率。图1是本发明实施例提供的一种通过半监督实例分割标定监控目标的方法的流程图，如图1所示，该方法包括：
步骤S101，获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；
本发明中，初始学生模型和初始教师模型保持同一种网络结构。首先使用ImageNet预训练模型的权重初始化初始学生模型的权重（参数），得到更新的学生模型；初始教师模型的权重由更新的学生模型的权重进行赋值，得到更新的教师模型；冻结更新的教师模型的权重，使更新的教师模型不进行反向传播。
步骤S102，从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；
所述全监督实例分割训练包括：
将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；
具体的，将每张迭代图片进行数据强预处理（例如：图片混合、拷贝和拼图等方法）；将进行数据强预处理后的每张迭代图片输入到所述更新的学生模型中进行模型训练（即依次进行主干网络、瓶颈层和预测分支前向传播；所述预测分支前向传播包括预测类别分支、预测框分支、预测掩膜分支），得到每张迭代图片检测目标的预测结果（类别得分、目标框、像素点类别）；
根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；
具体的，其包括：根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算得到迭代人工标定分类损失值、迭代人工标定回归损失值和迭代人工标定掩膜损失值；
根据以下公式计算所述迭代人工标定总损失值：
Figure 409735DEST_PATH_IMAGE001
其中，所述
Figure 363916DEST_PATH_IMAGE002
表示迭代人工标定总损失值；所述
Figure 861893DEST_PATH_IMAGE003
表示迭代人工标定分类损失值；所述
Figure 243327DEST_PATH_IMAGE004
表示迭代人工标定回归损失值；所述
Figure 459545DEST_PATH_IMAGE005
表示迭代人工标定掩膜损失值。
根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；
具体的，将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中根据以下公式计算：
Figure 217416DEST_PATH_IMAGE006
Figure 569900DEST_PATH_IMAGE007
其中，所述
Figure 387815DEST_PATH_IMAGE008
表示当前迭代教师模型的权重；所述
Figure 825749DEST_PATH_IMAGE009
表示当前迭代学生模型权重的占比；
Figure 98295DEST_PATH_IMAGE010
表示当前迭代学生模型的权重；
Figure 570865DEST_PATH_IMAGE011
表示上一迭代教师模型的权重；n表示当前迭代；s表示学生模型；t表示教师模型；max表示求最大值；min表示求最小值；step表示当前迭代步数；warm_step表示预设迭代步数。
模型训练前期，更新的学生模型的参数学习效果好，因此前期，当前迭代教师模型的权重大部分由当前迭代学生模型的权重赋值（ration比较大），到后期，当前迭代学生模型趋于稳定，当前迭代学生模型容易出现波动，因此，当前迭代教师模型的权重大部分来自上一迭代教师模型的权重（ration比较小），少部分由当前迭代学生模型的权重赋值（即当前迭代学生模型对当前迭代教师模型起到微调作用）。
所述自监督实例分割训练包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；
具体的，将每张迭代图片进行数据弱预处理（例如按比例改变尺寸等轻微改变图片信息），将进行数据弱预处理的每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；
图2是本发明实施例提供的得到每张迭代图片检测目标的推理标定结果的流程图，如图2所示，
所述将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果包括：
步骤S1021，将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到初始迭代教师模型以及每张迭代图片检测目标的初始预测结果；所述初始预测结果包括：类别得分、目标框、像素点类别；
步骤S1022，将所述每张迭代图片中的目标框随机多次扩展预设范围内倍数，得到每张迭代图片的多个第一更新目标框；
本发明中，预设范围内倍数为1~4倍；以一张迭代图片为例，该张迭代图片中有一个目标框（假设该目标框中的目标为人），将该张迭代图片中的一个目标框随机扩展1.2倍、1.5倍、1.8倍、2倍、3倍得到5个第一更新目标框。
步骤S1023，将所述每张迭代图片的多个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的当前预测结果；所述当前预测结果包括：分别与所述多个第一更新目标框对应的当前类别得分及当前像素点类别；
将上述的5个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到该张迭代图片检测目标的当前预测结果，所述当前预测结果包括：分别与所述5个第一更新目标框对应的当前类别得分及当前像素点类别。
步骤S1024，将所述每张迭代图片的第一更新目标框中，类别得分大于或等于预设类别得分的第一更新目标框保留为第二更新目标框；
将上述一张迭代图片的5个第一更新目标框中，类别得分大于或等于预设类别得分（本发明中设置为0.85）的第一更新目标框保留为第二更新目标框；即假设5个第一更新目标框中，有1个第一更新目标框的类别得分小于0.85，则将该第一更新目标框删除，剩余的4个第一更新目标框保留为第二更新目标框（即4个第二更新目标框）。
步骤S1025，计算所述每张迭代图片的全部第二更新目标框的波动差值，当判定该波动差值不在预设波动差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
计算上述一张迭代图片的4个第二更新目标框的波动差值；所述每张迭代图片的全部第二更新目标框的波动差值根据以下公式计算：
Figure 294101DEST_PATH_IMAGE027
其中，
Figure 219332DEST_PATH_IMAGE028
表示当前迭代图片的全部第二更新目标框的波动差值，n表示当前迭代图片的第二更新目标框的数量；
Figure 319006DEST_PATH_IMAGE029
表示第i个第二更新目标框第j个坐标的值，其中，第j个坐标的值为当前第二更新目标框的左上、右下两个坐标中的四个坐标值中的任一坐标值，z表示第z个第二更新目标框。
当判定该波动差值不在预设波动差值范围（本发明中设置为1.0）内时，将该4个第二更新目标框均删除，反之，则全部保留，进入步骤S1026。
步骤S1026，计算所述每张迭代图片的全部第二更新目标框的掩膜差值，当判定该掩膜差值不在预设掩膜差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
计算上述一张迭代图片的4个第二更新目标框的掩膜差值；所述每张迭代图片的全部第二更新目标框的掩膜差值根据以下公式计算：
Figure 646082DEST_PATH_IMAGE030
Figure 805799DEST_PATH_IMAGE031
其中，
Figure 218326DEST_PATH_IMAGE032
表示当前迭代图片的全部第二更新目标框的均值；n表示当前迭代图片的第二更新目标框的数量；
Figure 856112DEST_PATH_IMAGE033
表示当前迭代图片的当前第二更新目标框的掩膜像素点数量（例如：当前迭代图片的当前第二更新目标框中的人的像素点数量）；
Figure 37694DEST_PATH_IMAGE034
表示当前迭代图片的第j个第二更新目标框的第i个掩膜像素点的类别概率；
Figure 368313DEST_PATH_IMAGE035
为当前迭代图片的全部第二更新目标框的掩膜差值。
当判定该掩膜差值不在预设掩膜差值范围（本发明中设置为0.9）内时，将该4个第二更新目标框均删除，反之，则全部保留，进入步骤S1027。
步骤S1027，保留所述每张迭代图片中类别得分最高的第二更新目标框，并将其作为最终目标框；
将上述一张迭代图片的4个第二更新目标框中，类别得分最高的第二更新目标框保留，并将其作为最终目标框。
步骤S1028，将所述最终目标框及该最终目标框对应的所述当前类别得分及当前像素点类别作为每张迭代图片检测目标的推理标定结果。
将每张迭代图片进行数据强预处理（例如进行翻转、拷贝等操作），将进行数据强预处理后的每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果（类别得分、目标框、像素点类别）；
根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；
具体的，其包括：根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定分类损失值、迭代推理标定回归损失值、迭代推理标定掩膜损失值；
根据以下公式计算所述迭代推理标定总损失值：
Figure 143502DEST_PATH_IMAGE012
其中，所述
Figure 584979DEST_PATH_IMAGE013
表示迭代推理标定总损失值；所述
Figure 621068DEST_PATH_IMAGE014
表示迭代推理标定分类损失值；所述
Figure 122587DEST_PATH_IMAGE015
表示迭代推理标定回归损失值；所述
Figure 385073DEST_PATH_IMAGE016
表示迭代推理标定掩膜损失值。
具体的，所述迭代推理标定分类损失值根据以下公式计算：
Figure 489295DEST_PATH_IMAGE017
Figure 520836DEST_PATH_IMAGE018
其中，所述
Figure 193257DEST_PATH_IMAGE014
为迭代推理标定分类损失值；所述
Figure 677459DEST_PATH_IMAGE019
为每张迭代图片检测目标的预测结果匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；
Figure 850951DEST_PATH_IMAGE020
表示每张迭代图片检测目标的预测结果的目标框的概率；
Figure 861633DEST_PATH_IMAGE021
表示每张迭代图片检测目标的推理标定结果匹配上每张迭代图片检测目标的预测结果的目标框的概率；
Figure 704955DEST_PATH_IMAGE022
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；
Figure 801087DEST_PATH_IMAGE023
表示每张迭代图片检测目标的推理标定结果未匹配上每张迭代图片检测目标的预测结果的目标框的概率；
Figure 122478DEST_PATH_IMAGE024
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的权重；
Figure 253245DEST_PATH_IMAGE025
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第j个目标框的得分，
Figure 267468DEST_PATH_IMAGE026
表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第k个目标框的得分。
本发明中，由于每张迭代图片检测目标的预测结果的类别得分偏高，因此更新的学生模型对每张迭代图片误检的目标框含有大量准确目标，所以对每个误检的目标框（即每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框）增加权重，减少类别得分高的目标框的作用。即降低误检和漏检的作用，提高正检的作用。
该自监督实例分割训练采用更新的教师模型来预测并标定每张迭代图片的目标框，减少人工因素导致的误检；教师模型和学生模型同时训练减少训练时间；对目标框依次进行类别得分筛选、波动差值筛选、掩膜差值筛选，修正人为标定结果，提高检测目标的准确率。
根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型。
步骤S103，重复所述步骤S102直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；
步骤S104，重复步骤S102、步骤S103，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；
步骤S105，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别。
图3是本发明实施例提供的一种通过半监督实例分割标定监控目标的系统的结构示意图，如图3所示，该系统包括：
赋值单元201，用于获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；
本发明中，初始学生模型和初始教师模型保持同一种网络结构。首先使用ImageNet预训练模型的权重初始化初始学生模型的权重（参数），得到更新的学生模型；初始教师模型的权重由更新的学生模型的权重进行赋值，得到更新的教师模型；冻结更新的教师模型的权重，使更新的教师模型不进行反向传播。
训练单元202，用于从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；
所述全监督实例分割训练包括：
将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；
所述自监督实例分割训练包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；
具体的，图4是本发明实施例提供的得到每张迭代图片检测目标的推理标定结果的结构示意图，如图4所示：
所述将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果包括：
初始训练子单元2021，用于将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到初始迭代教师模型以及每张迭代图片检测目标的初始预测结果；所述初始预测结果包括：类别得分、目标框、像素点类别；
扩展子单元2022，用于将所述每张迭代图片中的目标框随机多次扩展预设范围内倍数，得到每张迭代图片的多个第一更新目标框；
扩展训练子单元2023，用于将所述每张迭代图片的多个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的当前预测结果；所述当前预测结果包括：分别与所述多个第一更新目标框对应的当前类别得分及当前像素点类别；
第一筛选子单元2024，用于将所述每张迭代图片的第一更新目标框中，类别得分大于或等于预设类别得分的第一更新目标框保留为第二更新目标框；
第二筛选子单元2025，用于计算所述每张迭代图片的全部第二更新目标框的波动差值，当判定该波动差值不在预设波动差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
第三筛选子单元2026，用于计算所述每张迭代图片的全部第二更新目标框的掩膜差值，当判定该掩膜差值不在预设掩膜差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
第四筛选子单元2027，用于保留所述每张迭代图片中类别得分最高的第二更新目标框，并将其作为最终目标框；
合并子单元2028，用于将所述最终目标框及该最终目标框对应的所述当前类别得分及当前像素点类别作为每张迭代图片检测目标的推理标定结果。
第一重复训练单元203，用于重复所述训练单元直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；
第二重复训练单元204，用于重复所述训练单元、所述第一重复训练单元，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；
检测单元205，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别。
本发明的有益效果：
本发明提供了一种通过半监督实例分割标定监控目标的方法及系统，该方法通过实例分割标定监控目标来代替原先的目标检测方法，减少目标框的噪音影响，降低误检率；采用全监督实例分割训练或自监督实例分割训练，减少人工因素导致的误检；教师模型和学生模型同时训练减少训练时间；对目标框依次进行类别得分筛选、波动差值筛选、掩膜差值筛选，修正人为标定结果，提高检测目标的准确率；对迭代推理标定分类损失设置权重，降低误检和漏检的作用，提高正检的作用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种通过半监督实例分割标定监控目标的方法，其特征在于，包括：
步骤S101，获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；
步骤S102，从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；
所述全监督实例分割训练包括：
将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；
所述自监督实例分割训练包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；
步骤S103，重复所述步骤S102直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；
步骤S104，重复步骤S102、步骤S103，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；
步骤S105，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别；
所述将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中根据以下公式计算：
Figure FDA0003980153060000021
Figure FDA0003980153060000022
其中，所述
Figure FDA0003980153060000023
表示当前迭代教师模型的权重；所述ration表示当前迭代学生模型权重的占比；
Figure FDA0003980153060000024
表示当前迭代学生模型的权重；
Figure FDA0003980153060000025
表示上一迭代教师模型的权重；n表示当前迭代；s表示学生模型；t表示教师模型；max表示求最大值；min表示求最小值；step表示当前迭代步数；warm_step表示预设迭代步数；
所述将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到初始迭代教师模型以及每张迭代图片检测目标的初始预测结果；所述初始预测结果包括：类别得分、目标框、像素点类别；
将所述每张迭代图片中的目标框随机多次扩展预设范围内倍数，得到每张迭代图片的多个第一更新目标框；
将所述每张迭代图片的多个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的当前预测结果；所述当前预测结果包括：分别与所述多个第一更新目标框对应的当前类别得分及当前像素点类别；
将所述每张迭代图片的第一更新目标框中，类别得分大于或等于预设类别得分的第一更新目标框保留为第二更新目标框；
计算所述每张迭代图片的全部第二更新目标框的波动差值，当判定该波动差值不在预设波动差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
计算所述每张迭代图片的全部第二更新目标框的掩膜差值，当判定该掩膜差值不在预设掩膜差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
保留所述每张迭代图片中类别得分最高的第二更新目标框，并将其作为最终目标框；
将所述最终目标框及该最终目标框对应的所述当前类别得分及当前像素点类别作为每张迭代图片检测目标的推理标定结果；
所述每张迭代图片的全部第二更新目标框的波动差值根据以下公式计算
Figure FDA0003980153060000031
其中，Disbbox表示当前迭代图片的全部第二更新目标框的波动差值，n表示当前迭代图片的第二更新目标框的数量；
Figure FDA0003980153060000032
表示第i个第二更新目标框第j个坐标的值，其中，第j个坐标的值为当前第二更新目标框的左上、右下两个坐标中的四个坐标值中的任一坐标值，z表示第z个第二更新目标框；
所述每张迭代图片的全部第二更新目标框的掩膜差值根据以下公式计算：
Figure FDA0003980153060000033
Figure FDA0003980153060000034
其中，AVEmask表示当前迭代图片的全部第二更新目标框的均值；n表示当前迭代图片的第二更新目标框的数量；mask_num表示当前迭代图片的当前第二更新目标框的掩膜像素点数量；
Figure FDA0003980153060000035
表示当前迭代图片的第j个第二更新目标框的第i个掩膜像素点的类别概率；Dismask为当前迭代图片的全部第二更新目标框的掩膜差值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值包括：
根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算得到迭代人工标定分类损失值、迭代人工标定回归损失值和迭代人工标定掩膜损失值；
根据以下公式计算所述迭代人工标定总损失值：
Loss人工标定＝Losscls+Lossbbox+Lossmask
其中，所述Loss人工标定表示迭代人工标定总损失值；所述Losscls表示迭代人工标定分类损失值；所述Lossbbox表示迭代人工标定回归损失值；所述Lossmask表示迭代人工标定掩膜损失值。
3.根据权利要求1所述的方法，其特征在于，根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值包括：
根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定分类损失值、迭代推理标定回归损失值、迭代推理标定掩膜损失值；
根据以下公式计算所述迭代推理标定总损失值：
loss推理标定＝losslabel_伪+lossbbox_伪+lossmask_伪
其中，所述Loss推理标定表示迭代推理标定总损失值；所述losslabel_伪表示迭代推理标定分类损失值；所述lossbbox_伪表示迭代推理标定回归损失值；所述lossmask_伪表示迭代推理标定掩膜损失值。
4.根据权利要求3所述的方法，其特征在于，所述迭代推理标定分类损失值根据以下公式计算：
Figure FDA0003980153060000041
Figure FDA0003980153060000042
其中，所述losslabel_伪为迭代推理标定分类损失值；所述fg_num为每张迭代图片检测目标的预测结果匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；
Figure FDA0003980153060000043
表示每张迭代图片检测目标的预测结果的目标框的概率；f(x)1表示每张迭代图片检测目标的推理标定结果匹配上每张迭代图片检测目标的预测结果的目标框的概率；bg_num表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的数量；f(x)k表示每张迭代图片检测目标的推理标定结果未匹配上每张迭代图片检测目标的预测结果的目标框的概率；wk表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的目标框的权重；score0表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第j个目标框的得分，scorek表示每张迭代图片检测目标的预测结果未匹配上每张迭代图片检测目标的推理标定结果的第k个目标框的得分。
5.一种通过半监督实例分割标定监控目标的系统，其特征在于，包括：
赋值单元，用于获取预训练模型，将所述预训练模型的权重赋值到初始学生模型的权重中，得到更新的学生模型；将所述更新的学生模型的权重赋值到初始教师模型的权重中，得到更新的教师模型；
训练单元，用于从训练集选取预设数量的图片作为迭代图片；将每张迭代图片随机进行全监督实例分割训练或自监督实例分割训练；
所述全监督实例分割训练包括：
将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值；根据所述迭代人工标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中，得到当前迭代教师模型；
所述自监督实例分割训练包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果；将每张迭代图片输入到所述更新的学生模型中进行模型训练，得到每张迭代图片检测目标的预测结果；根据所述每张迭代图片检测目标的预测结果与所述每张迭代图片检测目标的推理标定结果计算迭代推理标定总损失值；根据所述迭代推理标定总损失值对所述更新的学生模型进行反向传播，得到当前迭代学生模型；
第一重复训练单元，用于重复所述训练单元直至将训练集中全部图片训练完，得到当前轮学生模型、当前轮教师模型、当前轮人工标定总损失值或当前轮推理标定总损失值；
第二重复训练单元，用于重复所述训练单元、所述第一重复训练单元，直至当前轮人工标定总损失值或当前轮推理标定总损失值在第一预设范围内波动，得到目标学生模型、目标教师模型；
检测单元，将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测，得到目标位置和类别；
所述将所述当前迭代学生模型的权重赋值到所述更新的教师模型的权重中根据以下公式计算：
Figure FDA0003980153060000061
Figure FDA0003980153060000062
其中，所述
Figure FDA0003980153060000063
表示当前迭代教师模型的权重；所述ration表示当前迭代学生模型权重的占比；
Figure FDA0003980153060000064
表示当前迭代学生模型的权重；
Figure FDA0003980153060000065
表示上一迭代教师模型的权重；n表示当前迭代；s表示学生模型；t表示教师模型；max表示求最大值；min表示求最小值；step表示当前迭代步数；warm_step表示预设迭代步数；
所述将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的推理标定结果包括：
将每张迭代图片输入到所述更新的教师模型中进行模型训练，得到初始迭代教师模型以及每张迭代图片检测目标的初始预测结果；所述初始预测结果包括：类别得分、目标框、像素点类别；
将所述每张迭代图片中的目标框随机多次扩展预设范围内倍数，得到每张迭代图片的多个第一更新目标框；
将所述每张迭代图片的多个第一更新目标框输入到所述初始迭代教师模型中进行模型训练，得到当前迭代教师模型以及每张迭代图片检测目标的当前预测结果；所述当前预测结果包括：分别与所述多个第一更新目标框对应的当前类别得分及当前像素点类别；
将所述每张迭代图片的第一更新目标框中，类别得分大于或等于预设类别得分的第一更新目标框保留为第二更新目标框；
计算所述每张迭代图片的全部第二更新目标框的波动差值，当判定该波动差值不在预设波动差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
计算所述每张迭代图片的全部第二更新目标框的掩膜差值，当判定该掩膜差值不在预设掩膜差值范围内时，将所述每张迭代图片的全部第二更新目标框删除；反之，进入下一步；
保留所述每张迭代图片中类别得分最高的第二更新目标框，并将其作为最终目标框；
将所述最终目标框及该最终目标框对应的所述当前类别得分及当前像素点类别作为每张迭代图片检测目标的推理标定结果；
所述每张迭代图片的全部第二更新目标框的波动差值根据以下公式计算
Figure FDA0003980153060000071
其中，Disbbox表示当前迭代图片的全部第二更新目标框的波动差值，n表示当前迭代图片的第二更新目标框的数量；
Figure FDA0003980153060000072
表示第i个第二更新目标框第j个坐标的值，其中，第j个坐标的值为当前第二更新目标框的左上、右下两个坐标中的四个坐标值中的任一坐标值，z表示第z个第二更新目标框；
所述每张迭代图片的全部第二更新目标框的掩膜差值根据以下公式计算：
Figure FDA0003980153060000073
Figure FDA0003980153060000074
其中，AVEmask表示当前迭代图片的全部第二更新目标框的均值；n表示当前迭代图片的第二更新目标框的数量；mask_num表示当前迭代图片的当前第二更新目标框的掩膜像素点数量；
Figure FDA0003980153060000081
表示当前迭代图片的第j个第二更新目标框的第i个掩膜像素点的类别概率；Dismask为当前迭代图片的全部第二更新目标框的掩膜差值。
6.根据权利要求5所述的系统，其特征在于，所述根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算迭代人工标定总损失值包括：
根据所述每张迭代图片检测目标的预测结果与每张迭代图片检测目标的人工标定结果计算得到迭代人工标定分类损失值、迭代人工标定回归损失值和迭代人工标定掩膜损失值；
根据以下公式计算所述迭代人工标定总损失值：
Loss人工标定＝Losscls+Lossbbox+Lossmask
其中，所述Loss人工标定表示迭代人工标定总损失值；所述Losscls表示迭代人工标定分类损失值；所述Lossbbox表示迭代人工标定回归损失值；所述Lossmask表示迭代人工标定掩膜损失值。
CN202211298566.8A 2022-10-24 2022-10-24 通过半监督实例分割标定监控目标的方法及系统 Active CN115359062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211298566.8A CN115359062B (zh) 2022-10-24 2022-10-24 通过半监督实例分割标定监控目标的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211298566.8A CN115359062B (zh) 2022-10-24 2022-10-24 通过半监督实例分割标定监控目标的方法及系统

Publications (2)

Publication Number Publication Date
CN115359062A CN115359062A (zh) 2022-11-18
CN115359062B true CN115359062B (zh) 2023-01-24

Family

ID=84008112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211298566.8A Active CN115359062B (zh) 2022-10-24 2022-10-24 通过半监督实例分割标定监控目标的方法及系统

Country Status (1)

Country Link
CN (1) CN115359062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620155B (zh) * 2022-12-19 2023-03-10 浙江华是科技股份有限公司 一种变电站目标检测方法、系统及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法
CN114639021A (zh) * 2022-03-25 2022-06-17 合肥工业大学 一种目标检测模型的训练方法及目标划分方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443235B2 (en) * 2019-11-14 2022-09-13 International Business Machines Corporation Identifying optimal weights to improve prediction accuracy in machine learning techniques
CN111291836B (zh) * 2020-03-31 2023-09-08 中国科学院计算技术研究所 一种生成学生网络模型的方法
US20220156593A1 (en) * 2020-11-16 2022-05-19 Salesforce.Com, Inc. Systems and methods for video representation learning with a weak teacher
CN113792606B (zh) * 2021-08-18 2024-04-26 清华大学 基于多目标追踪的低成本自监督行人重识别模型构建方法
CN114547300A (zh) * 2022-02-18 2022-05-27 南京大学 一种结合远程监督和有监督的关系分类方法
CN115170898A (zh) * 2022-05-20 2022-10-11 武汉大学 一种高效的遥感图像自监督学习训练方法
CN114998691B (zh) * 2022-06-24 2023-04-18 浙江华是科技股份有限公司 半监督船舶分类模型训练方法及装置
CN115115608A (zh) * 2022-07-20 2022-09-27 南京工业大学 基于半监督语义分割的航空发动机损伤检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445488A (zh) * 2020-04-22 2020-07-24 南京大学 一种弱监督学习自动识别和分割盐体的方法
CN114639021A (zh) * 2022-03-25 2022-06-17 合肥工业大学 一种目标检测模型的训练方法及目标划分方法

Also Published As

Publication number Publication date
CN115359062A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN108090558B (zh) 一种基于长短期记忆网络的时间序列缺失值自动填补方法
KR101688458B1 (ko) 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
US20230418250A1 (en) Operational inspection system and method for domain adaptive device
CN109508634B (zh) 基于迁移学习的船舶类型识别方法及系统
CN115359062B (zh) 通过半监督实例分割标定监控目标的方法及系统
CN110991220B (zh) 禽蛋检测、图像处理方法，装置、电子设备及存储介质
CN110335466B (zh) 交通流量预测方法和设备
CN112288700A (zh) 一种铁轨缺陷检测方法
CN115511069A (zh) 神经网络的训练方法、数据处理方法、设备及存储介质
CN114758199A (zh) 检测模型的训练方法、装置、设备和存储介质
CN114841412A (zh) 一种海参生长水质中酸碱度的预测方法
DE112021004118T5 (de) Adaptives system und verfahren zur inspektion von abgebildeten gegenständen
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
CN115310732B (zh) 航班延误预测方法及系统
WO2019180868A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
CN109977030B (zh) 一种深度随机森林程序的测试方法及设备
CN111260056A (zh) 一种网络模型蒸馏方法及装置
JP7214672B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
GB2589478A (en) Segmenting irregular shapes in images using deep region growing
CN115631184A (zh) 基于决策树的输电线路故障分析方法、装置、设备及存储介质
CN112949590B (zh) 一种跨域行人重识别模型构建方法及构建系统
US11561326B1 (en) System and method for generating accurate hyperlocal nowcasts
CN113094504A (zh) 基于自动机器学习的自适应文本分类方法及装置
DE102020213176A1 (de) Vorrichtung und Verfahren zum Befüllen eines Knowledge-Graphen, Trainingsverfahren dafür
CN110807480A (zh) 一种卷积神经网络中的卷积核存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant