CN114022811A - 基于持续学习的水面漂浮物监测方法与系统 - Google Patents

基于持续学习的水面漂浮物监测方法与系统 Download PDF

Info

Publication number
CN114022811A
CN114022811A CN202111273604.XA CN202111273604A CN114022811A CN 114022811 A CN114022811 A CN 114022811A CN 202111273604 A CN202111273604 A CN 202111273604A CN 114022811 A CN114022811 A CN 114022811A
Authority
CN
China
Prior art keywords
model
floater
monitoring
loss
water surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111273604.XA
Other languages
English (en)
Inventor
全绍军
林格
陈小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longse Technology Co ltd
Original Assignee
Longse Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longse Technology Co ltd filed Critical Longse Technology Co ltd
Priority to CN202111273604.XA priority Critical patent/CN114022811A/zh
Publication of CN114022811A publication Critical patent/CN114022811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于持续学习的水面漂浮物监测方法。包括：利用漂浮物图像与目标边界框和分类类别构造训练集；利用训练数据集的一个子集训练得到教师模型T；设定学生模型S的输出通道参数为新目标类别数；设计网络知识蒸馏采样策略，利用所述网络知识蒸馏采样策略，计算总损失函数更新学生模型和教师模型，教师模型为漂浮物监测模型；输入待处理水面漂浮物视频到模型中，得到监测结果。本发明还公开了一种基于持续学习的水面漂浮物监测系统。本发明通过边缘服务器实现数据采集和分析处理，提高监测的效率，基于持续学习的方式，利用知识蒸馏和采样策略，弥补现有深度神经网络的灾难性遗忘问题，减低水面漂浮物的漏检率，提高了监测的准确度。

Description

基于持续学习的水面漂浮物监测方法与系统
技术领域
本发明涉及计算机视觉、图像处理领域，具体涉及一种基于持续学习的水面漂浮物监测的方法与系统。
背景技术
近年来，水面漂浮物监测的技术由传统图像处理算法发展到深度神经网络学习算法，传统的图像处理算法，其受光照和环境的影响，前后背景难以分离，使得目标监测漏检率大；神经网络算法的泛化性能更好，使得目标监测的准确率大大提高。然而，神经网络具有灾难性遗忘问题，使得训练后的模型无法很好地拟合新的数据分布，这就需要神经网络具有持续学习的能力。
目前的现有技术之一，一种基于深度学习的水面漂浮物目标监测评估方法，制作小型的水面漂浮物数据集，该数据集主要包括漂浮水草和漂浮落叶。通过将预训练模型在水面漂浮物数据集上进行迁移学习，实现了对于水面漂浮物区域的目标监测。该技术的缺点是数据集种类有限，在数据量不足的小型数据集上，利用现有的目标监测模型进行迁移学习，模型容易产生灾难性遗忘问题，导致在新的场景下无法识别新的漂浮物类别。
目前的现有技术之二，一种基于改进Faster R-CNN的水面漂浮物识别与定位方法，采用Faster R-CNN算法对水面漂浮物进行初次识别和定位，对输出的识别结果与定位框采用类别激活网络去除边界框，运用像素点来标注目标位置，用于水面漂浮物识别和定位。该方法的缺点是当应用场景和漂浮物发生变化，模型难以对新场景的水面进行建模，会使得监测遗忘率高，精确度下降。
目前的现有技术之三，一种水面漂浮物监测及估算系统开发与建设方法，从系统建设方案、软件平台、功能设计等方面阐述了智能分析、报警、音视频实时画面监测、电视墙管理等功能于一体的系统建设过程，实现了水面漂浮物信息的数据采集、处理和资源共享。该方法的缺点是监控系统仅能对漂浮物的大小和数量进行监测，难以对漂浮物进一步进行分类处理。
发明内容
本发明的目的是克服现有方法的不足，提出了基于持续学习的水面漂浮物监测方法与系统。本发明解决的主要问题，一是现有基于深度学习的水面漂浮物目标监测评估方法容易产生的灾难性遗忘问题，导致在新场景下无法识别新的漂浮物类别。二是现有基于改进Faster R-CNN的水面漂浮物识别与定位方法在应用场景和漂浮物发生变化时，模型难以对新场景进行建模，精确度有所下降。三是现有水面漂浮物监测及估算系统与建设方法难以对漂浮物进一步进行分类处理。
为了解决上述问题，本发明提出了一种基于持续学习的水面漂浮物监测方法，所述方法包括：
获取监测视频中各类水面漂浮物图像，使用数据标注工具进行标注目标边界框和分类类别，构建漂浮物训练数据集，划分新旧目标类别，使用旧目标类别数据训练FasterR-CNN模型从而构建教师模型T；
以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数；
网络知识蒸馏采样策略设计，蒸馏区域候选网络RPN子网络和选择ROI锚点，再用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能；
利用所述网络知识蒸馏采样策略，分别对学生模型S和教师模型T的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，之后计算总损失以训练教师模型T和学生模型S，得到更新后的教师模型T，即为漂浮物监测模型；
输入待处理视频到所述训练后的模型中，利用其对水面上的各类漂浮物进行定位和分类，实现对漂浮物目标的监测。
优选地，所述对漂浮物图像进行预处理，并标定漂浮物图像对应的目标边界框和分类类别，得到漂浮物训练数据集，将数据集划分新旧目标类别，利用旧目标类别训练Faster R-CNN模型从而构建教师模型T，具体为：
从输入的监测视频中获取各类水面漂浮物图像，使用数据标注工具进行标注目标边界框和分类类别，构造训练数据集，训练数据集包括原始视频帧和目标标注文件；
选择训练数据集中一个子集类别作为旧目标类别Cold，利用旧目标类别训练Faster R-CNN模型，该模型即为教师模型T。
优选地，以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数，具体为：
使用教师模型T的参数作为学生模型S的初始化值，在新目标类别Cnew上训练学生模型S；
分别增加区域卷积神经网络R-CNN的分类和回归数目至|Cnew|和4×|Cnew|，直接扩展网络的输出通道，以随机初始化新增加通道所示的权重矩阵W|Cnew|。
优选地，所述设计网络知识蒸馏采样策略，蒸馏区域候选网络RPN子网络和选择ROI锚点，再用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能，具体为：
定义教师模型T得分概率大于0.5的输出边界框为“伪正例框”，定义学生模型S的输出边界框大于0.5的为“伪正例锚”和“伪正例ROI”，为防止旧目标类别被视为背景，排除“伪正例锚”被选为反例锚点，排除“伪正例ROI”被选中为反例ROI；
在采样过滤候选框之后，从教师模型T中目标得分前512个锚点中选出256个候选锚点，来蒸馏RPN子网络；通过从背景得分最低的256个RoI中选取128个候选RoI，来蒸馏R-CNN子网络。
优选地，所述利用所述网络知识蒸馏采样策略，分别对学生模型S和教师模型T的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，之后计算总损失以训练教师模型T和学生模型S，得到更新后的教师模型T，即为漂浮物监测模型，具体为：
RPN的监督损失：
Figure BDA0003328632480000041
分类损失
Figure BDA0003328632480000042
是两个通道(如背景-目标对象)的二进制交叉熵损失，回归损失
Figure BDA0003328632480000043
是一个平滑L1损失，为了蒸馏RPN，需要对T和S的RPN子网络的分类和回归输出，在选出相同N个锚点上进行比较，因此成对的RPN蒸馏损失为：
Figure BDA0003328632480000044
其中，pS和pT为S和T的RPN子网络的分类层的Softmax输出，而tS和tT是候选区域的精细化输出，fcls和freg分别是交叉熵和平滑L1损失，当目标得分
Figure BDA0003328632480000045
时，指示函数
Figure BDA0003328632480000046
输出值为1，否则为0；
R-CNN监测的监督损失定义为：
Figure BDA0003328632480000047
分类损失
Figure BDA0003328632480000048
是包含背景的所有目标类别的交叉熵，而边界框的回归损失
Figure BDA0003328632480000049
是一个平滑L1损失，仅用于正例RoIs，R-CNN的蒸馏损失可计算为：
Figure BDA0003328632480000051
其中gcls是L2损失，
Figure BDA0003328632480000052
和
Figure BDA0003328632480000053
为旧的类别Cold中均衡化的二进制值，它们分别在学生模型S和教师模型T的R-CNN子网络的Softmax层中算得，τS和τT是边界框的回归输出，
Figure BDA0003328632480000054
是在教师模型T的R-CNN中的Softmax层的旧目标类别(不包括背景类别)的最大概率，为了能在回归损失中参与计算，教师网络T需要将边界框预测为一个目标的概率需要大于0.5；‘
计算总损失作为损失函数对教师模型T和学生模型S进行训练，直到损失函数的结果达到收敛，总的损失函数如下：
Figure BDA0003328632480000055
其中，超参数λ1,λ2和λ3设置为1.0以平衡监督和蒸馏损失的各个组成部分。
相应地，本发明还提供了一种基于持续学习的水面漂浮物监测系统，包括：
教师模型构造单元，构建漂浮物训练数据集，划分新旧目标类别，利用旧目标类别训练Faster R-CNN模型从而构建教师模型T；
学生模型单元，以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数；
模型训练单元，用于设计网络知识蒸馏采样策略，运用蒸馏区域候选网络RPN子网络和选择ROI锚点，用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能，分别对模型中的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，计算总损失以更新学生模型S和教师模型T，得到教师模型T即为漂浮物监测模型；
监测显示单元，运用边缘服务器采集水面漂浮物视频，使用漂浮物监测模型得到输出结果，对水面漂浮物进行实时监测。
实施本发明，具有如下有益效果：
本发明设计的水面漂浮物监测装置，使用边缘服务器上进行数据采集和分析处理，节省了网络传输处理的开销，能高效实行监控；本发明基于持续学习方式，弥补了现有深度神经网络的灾难性遗忘问题，能够减低水面漂浮物的漏检率；本发明使用知识蒸馏和采样策略，使得监测模型能够较为实时地监测，提高了监测的准确度。
附图说明
图1是本发明实施例的基于持续学习的水面漂浮物监测方法的总体流程图；
图2是本发明实施例的基于持续学习的水面漂浮物监测装置工作流程图；
图3是本发明实施例的基于持续学习的水面漂浮物系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于持续学习的水面漂浮物监测方法的总体流程图，如图1所示，该方法包括：
S1，构建漂浮物数据集，划分新旧目标类别，并构建教师模型；
S2，以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数；
S3，设计网络知识蒸馏采样策略，蒸馏区域候选网络RPN子网络和选择ROI的锚点，用R-CNN子网络蒸馏；
S4，利用所述网络知识蒸馏采样策略，分别对学生模型S和教师模型T的RPN和R-CNN子网络计算蒸馏损失和监督损失，计算总损失以训练教师模型T和学生模型S，得到更新后的教师模型T即为漂浮物监测模型；
S5，使用以上得到的漂浮物监测模型，对水面漂浮物视频进行实时监测。
步骤S1，具体如下：
S1-1，从监测视频中获取各类水面漂浮物图片，采用数据标注工具进行标注，标注包括目标边界框和分类类别，训练数据集包括原始视频帧和目标标注文件；
S1-2，选择训练数据集中一个子集的类别作为旧目标类别Cold。在Cold中的部分类别数据上训练Faster R-CNN模型，即为教师模型T。其余部分的类别为新目标类别Cnew，在新目标类别数据训练时，不提供先前任务的标注边界框，不包括先前任务的漂浮物的图像，以顺序方式输入模型进行训练。
步骤S2，具体如下：
S2-1，学生模型S以教师模型T的参数作为初始化值，在新目标类别Cnew上训练学生模型S；
S2-2，分别增加区域卷积神经网络R-CNN的分类和回归数目至|Cnew|和4×|Cnew|，扩展网络的输出通道数目，随机初始化新增加通道所示的权重矩阵。
步骤S3，具体如下：
S3-1，输入图像中，除了背景之外的任何类，教师模型T的输出边界框都具有大于0.5的概率得分，则将其视为“伪正例框”。定义学生模型中的边界框为“伪正例锚”和“伪正例RoI”；
S3-2，为了避免更新模型忘记旧目标类别知识，需要在采样反例锚点和ROI时意识到“伪正例框”，排除“伪正例锚”被选为反例锚点，其次排除“伪正例RoI”被选中为反例RoI，以训练新目标类别上的学生模型S。
S3-3，在采样过滤候选框之后，从教师模型T中目标得分前512个锚点中选出256个候选锚点，来蒸馏RPN子网络；通过从背景得分最低的256个RoI中选取128个候选RoI，来蒸馏R-CNN子网络。
步骤S4，具体如下：
S4-1，计算RPN子网络的蒸馏损失，Cnew类别的漂浮物图像最先输入教师模型T，收集该网络中包括RPN的输出用作知识蒸馏，选定前2000个候选RoI，R-CNN在候选区域上的输出，将所有输出用作蒸馏教师网络T，Cnew类别的漂浮物图像输入到学生网络S，得到如等式(1)所示RPN的监督损失：
Figure BDA0003328632480000081
其中分类损失
Figure BDA0003328632480000082
是两个通道(如背景-目标对象)的二进制交叉熵损失，回归损失
Figure BDA0003328632480000083
是一个平滑L1损失。为了蒸馏RPN，需要对T和S的RPN子网络的分类和回归输出，在选出相同N个锚点上进行比较。因此，成对的RPN蒸馏损失为：
Figure BDA0003328632480000084
其中，pS和pT为S和T的RPN子网络的分类层的Softmax输出，而tS和tT是候选区域的精细化输出。fccls和freg分别是交叉熵和平滑L1损失。当目标得分
Figure BDA0003328632480000085
≥0.5时，指示函数
Figure BDA0003328632480000086
输出值为1，否则为0。这里选择选择N＝256个锚点。
S4-2，计算R-CNN子网络的蒸馏损失。首先从教师模型T的RPN子网络产生的2000个候选RoI中选择M个候选区域，此处设定M＝128。然后，学生模型S的R-CNN子网络根据这些候选区域来计算监测输出。R-CNN监测的监督损失定义为：
Figure BDA0003328632480000087
同样地，分类损失
Figure BDA0003328632480000091
是包含背景的所有目标类别的交叉熵，而边界框的回归损失
Figure BDA0003328632480000092
是一个平滑L1损失，但仅用于正例RoIs。因此，R-CNN的蒸馏损失可计算为：
Figure BDA0003328632480000093
其中gcls是L2损失，
Figure BDA0003328632480000094
和
Figure BDA0003328632480000095
为旧的类别Cold中均衡化的二进制值，它们分别在学生模型S和教师模型T的R-CNN子网络的Softmax层中算得。而τS和τT是边界框的回归输出。回归损失类似于等式(2)中的，但具有不同的指标函数。
Figure BDA0003328632480000096
是在教师模型T的R-CNN中的Softmax层的旧目标类别(不包括背景类别)的最大概率。即为了能在回归损失中参与计算，教师网络T需要将边界框预测为一个目标的概率需要大于0.5。
持续学习的监测模型的总训练函数，结合了对新目标类别的监督损失和旧目标类别的蒸馏损失，总损失函数如式(5)，利用该损失函数对教师模型T和学生模型S进行更新，直到损失函数的结果达到收敛，得到更新后的教师模型T即为漂浮物监测模型。
Figure BDA0003328632480000097
其中，超参数λ1，λ2和λ3设置为1.0以平衡监督和蒸馏损失的各个组成部分。
步骤S5，如图2所示，具体如下：
S5-1，使用边缘服务器对水面进行监测，并采集水面漂浮物视频。视频数据主要利用边缘服务器中的网络摄像头采集，采集获得的图像无需经视频编码后再联网传输，而直接在边缘服务器中进行计算处理。而仅需将处理结果的视频帧传输到监控中心，为保证边缘服务器中内存容量充足而正常运行，需要设定采集视频帧数量为50帧，作为视频缓冲区的大小，可以在兼顾系统实时性要求的同时，保证监测效果。
S5-2，对采集的视频帧进行预处理，并馈入监测模型中得到结果输出。首先对采集到的视频按一定采样率取出视频帧，并对视频帧进行去噪等处理，以便后续更好地使用模型监测漂浮物目标。之后，利用训练好的监测模型，对水面上可能存在的各类漂浮物进行定位和分类，实现对漂浮物目标的监测。
S5-3，将监测结果输出到数据日志中，并将监控信息在系统终端上实时展示。显示终端上既要显示当前的视频图像信息，又要显示漂浮物目标的分类统计结果。当出现警戒漂浮物，或者漂浮物数量超过一定阈值时，向监测中心发出警告，并将监测信息写入监控日志。
相应地，本发明还提供了一种基于持续学习的水面漂浮物监测系统，如图3所示，包括：
教师模型构造单元1，构建漂浮物训练数据集，划分新旧目标类别，训练构建教师模型。
具体地，对监测视频中获取各类水面漂浮物图像，使用数据标注工具进行标注目标边界框和分类类别，构造训练数据集，训练数据集包括原始视频帧和目标标注文件，将数据集划分新旧目标类别，利用旧目标类别Cold训练Faster R-CNN模型，所述模型即为教师模型T。
学生模型单元2，以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数。
具体地，使用教师模型T的参数作为学生模型S的初始化值，在新目标类别Cnew上训练学生模型S，分别增加区域卷积神经网络R-CNN的分类和回归数目至|Cnew|和4×|Cnew|，直接扩展网络的输出通道，以随机初始化新增加通道所示的权重矩阵W|Cnew|。
模型训练单元3，用于设计网络知识蒸馏采样策略，运用蒸馏区域候选网络RPN子网络和选择ROI锚点，用R-CNN子网络蒸馏，分别对模型中的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，计算总损失以更新学生模型S和教师模型T，得到教师模型T即为漂浮物监测模型；
具体地，定义教师模型T得分概率大于0.5的输出边界框为“伪正例框”，定义学生模型S的输出边界框大于0.5的为“伪正例锚”和“伪正例ROI”，为防止旧目标类别被视为背景，排除“伪正例锚”被选为反例锚点，排除“伪正例ROI”被选中为反例ROI，在采样过滤候选框之后，从教师模型T中目标得分前512个锚点中选出256个候选锚点，来蒸馏RPN子网络；通过从背景得分最低的256个RoI中选取128个候选RoI，来蒸馏R-CNN子网络。
将新目标类别Cnew的图像输入教师模型，收集网络输出用作知识蒸馏，再将Cnew输入到学生网络，得到RPN的监督损失
Figure BDA0003328632480000111
对T和S的RPN子网络的分类和回归输出，选出相同N个锚点上进行比较，得到成对的RPN蒸馏损失
Figure BDA0003328632480000112
从教师模型T的RPN子网络产生的候选RoI中选择128个候选区域，然后，学生模型S的R-CNN子网络根据所述候选区域计算监测输出。R-CNN监测的监督损失定义为：
Figure BDA0003328632480000113
R-CNN蒸馏损失为
Figure BDA0003328632480000114
计算总损失以训练教师模型T和学生模型S，直至损失函数结果达到收敛，更新学生模型S和教师模型T，教师模型T即为漂浮物的监测模型。
监测显示单元5，运用边缘服务器采集水面漂浮物视频，使用所述漂浮物监测模型得到输出结果，对水面漂浮物进行实时监测。
因此，本发明设计的水面漂浮物监测装置，使用边缘服务器上进行数据采集和分析处理，节省了网络传输处理的开销，能高效实行监控；本发明基于持续学习方式，弥补了现有深度神经网络的灾难性遗忘问题，能够减低水面漂浮物的漏检率；本发明使用知识蒸馏和采样策略，使得监测模型能够较为实时地监测，提高了监测的准确度。
以上对本发明实施例所提供的基于持续学习的水面漂浮物监测方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于持续学习的水面漂浮物监测方法，其特征在于，所述方法包括：
从监测视频中获取漂浮物图像，并标定漂浮物图像对应的目标边界框和分类类别，得到漂浮物训练数据集，将数据集划分新旧目标类别，利用旧目标类别训练Faster R-CNN模型从而构建教师模型T；
以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数；
网络知识蒸馏采样策略设计，蒸馏区域候选网络RPN子网络和选择ROI锚点，再用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能；
利用所述网络知识蒸馏采样策略，分别对学生模型S和教师模型T的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，之后计算总损失以训练教师模型T和学生模型S，得到更新后的教师模型T，即为漂浮物监测模型；
运用边缘服务器采集水面漂浮物视频，使用所述漂浮物监测模型得到输出结果，对水面漂浮物进行实时监测。
2.如权利要求1所述的基于持续学习的水面漂浮物监测方法，其特征在于，所述对漂浮物图像进行预处理，并标定漂浮物图像对应的目标边界框和分类类别，得到漂浮物训练数据集，将数据集划分新旧目标类别，利用旧目标类别训练Faster R-CNN模型从而构建教师模型T，具体为：
从输入的监测视频中获取各类水面漂浮物图像，使用数据标注工具进行标注目标边界框和分类类别，构造训练数据集，训练数据集包括原始视频帧和目标标注文件；
选择训练数据集中一个子集类别作为旧目标类别Cold，利用旧目标类别Cold训练FasterR-CNN模型从而构建，该模型即为教师模型T。
3.如权利要求2所述的基于持续学习的水面漂浮物监测方法，其特征在于，所述以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数，具体为：
使用教师模型T的输出参数作为学生模型S的初始化值，在新目标类别Cnew上训练学生模型S；
分别增加区域卷积神经网络R-CNN的分类和回归数目至|Cnew|和4×|Cnew|，直接扩展网络的输出通道，以随机初始化新增加通道所示的权重矩阵W|Cnew|。
4.如权利要求1所述的基于持续学习的水面漂浮物监测方法，其特征在于，所述网络知识蒸馏采样策略设计，蒸馏区域候选网络RPN子网络和选择ROI锚点，再用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能，具体为：
定义教师模型T得分概率大于0.5的输出边界框为“伪正例框”，定义学生模型S的输出边界框大于0.5的为“伪正例锚”和“伪正例ROI”，为防止旧目标类别被视为背景，排除“伪正例锚”被选为反例锚点，排除“伪正例ROI”被选中为反例ROI；
在采样过滤候选框之后，从教师模型T中目标得分前512个锚点中选出256个候选锚点，来蒸馏RPN子网络，通过从背景得分最低的256个RoI中选取128个候选RoI，来蒸馏R-CNN子网络。
5.如权利要求1所述的基于持续学习的水面漂浮物监测方法，其特征在于，所述利用所述网络知识蒸馏采样策略，分别对学生模型S和教师模型T的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，之后计算总损失以训练教师模型T和学生模型S，得到更新后的教师模型T，即为漂浮物监测模型，具体为：
RPN的监督损失：
Figure FDA0003328632470000031
分类损失
Figure FDA0003328632470000032
是两个通道(如背景-目标对象)的二进制交叉熵损失，回归损失
Figure FDA0003328632470000033
是一个平滑L1损失，为了蒸馏RPN，需要对T和S的RPN子网络的分类和回归输出，在选出相同N个锚点上进行比较，因此成对的RPN蒸馏损失为：
Figure FDA0003328632470000034
其中，ps和pT为S和T的RPN子网络的分类层的Softmax输出，而ts和tT是候选区域的精细化输出，fcls和freg分别是交叉熵和平滑L1损失，当目标得分
Figure FDA0003328632470000035
时，指示函数
Figure FDA0003328632470000036
输出值为1，否则为0；
R-CNN监测的监督损失定义为：
Figure FDA0003328632470000037
分类损失
Figure FDA0003328632470000038
是包含背景的所有目标类别的交叉熵，而边界框的回归损失
Figure FDA0003328632470000039
是一个平滑L1损失，仅用于正例RoIs，R-CNN的蒸馏损失可计算为：
Figure FDA00033286324700000310
其中gcls是L2损失，
Figure FDA00033286324700000311
和
Figure FDA00033286324700000312
为旧的类别Cold中均衡化的二进制值，它们分别在学生模型S和教师模型T的R-CNN子网络的Softmax层中算得，τS和τT是边界框的回归输出，
Figure FDA00033286324700000313
是在教师模型T的R-CNN中的Softmax层的旧目标类别(不包括背景类别)的最大概率，为了能在回归损失中参与计算，教师网络T需要将边界框预测为一个目标的概率需要大于0.5；
计算总损失作为损失函数对学生模型S和教师模型T进行训练，直到损失函数的结果达到收敛，更新学生模型和教师模型，更新后的教师模型T即为漂浮物监测模型，总损失函数如下：
Figure FDA0003328632470000041
其中，超参数λ1，λ2和λ3设置为1.0以平衡监督和蒸馏损失的各个组成部分。
6.一种基于持续学习的水面漂浮物监测系统，其特征在于，所述系统包括：
教师模型构造单元，用于构建漂浮物训练数据集，划分新、旧目标类别，训练构建教师模型T；
学生模型单元，以所述教师模型T的参数初始化学生模型S，之后在新目标类别上训练学生模型S，并设定学生模型S的输出通道参数为新目标类别数；
模型训练单元，用于设计网络知识蒸馏采样策略，运用蒸馏区域候选网络RPN子网络和选择ROI锚点，用R-CNN子网络蒸馏，以保留对旧目标类别的监测性能，分别对模型中的RPN和R-CNN子网络计算蒸馏损失和监督损失，以监测新的漂浮物类别，计算总损失以更新学生模型S和教师模型T，得到教师模型T即为漂浮物监测模型；
监测显示单元，用于运用边缘服务器采集水面漂浮物视频，使用漂浮物监测模型得到输出结果，对水面漂浮物进行实时监测。
7.如权利要求6所述的基于持续学习的水面漂浮物监测系统，其特征在于，所述教师模型构造单元，需要对监测视频中获取各类水面漂浮物图像，使用数据标注工具进行标注目标边界框和分类类别，构造漂浮物训练数据集，将数据集划分为新、旧目标类别，利用旧目标类别Cold训练Faster R-CNN模型从而构建教师模型T。
8.如权利要求6所述的基于持续学习的水面漂浮物监测系统，其特征在于，所述学生模型单元，在新目标类别Cnew上训练学生模型S，分别增加区域卷积神经网络R-CNN的分类和回归数目至|Cnew|和4×|Cnew|，直接扩展网络的输出通道，以随机初始化新增加通道所示的权重矩阵W|Cnew|。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202111273604.XA 2021-10-29 2021-10-29 基于持续学习的水面漂浮物监测方法与系统 Pending CN114022811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111273604.XA CN114022811A (zh) 2021-10-29 2021-10-29 基于持续学习的水面漂浮物监测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111273604.XA CN114022811A (zh) 2021-10-29 2021-10-29 基于持续学习的水面漂浮物监测方法与系统

Publications (1)

Publication Number Publication Date
CN114022811A true CN114022811A (zh) 2022-02-08

Family

ID=80059030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111273604.XA Pending CN114022811A (zh) 2021-10-29 2021-10-29 基于持续学习的水面漂浮物监测方法与系统

Country Status (1)

Country Link
CN (1) CN114022811A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法
CN116310999B (zh) * 2023-05-05 2023-07-21 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法

Similar Documents

Publication Publication Date Title
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
Huang et al. Highly accurate moving object detection in variable bit rate video-based traffic monitoring systems
CN112966691B (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN114022811A (zh) 基于持续学习的水面漂浮物监测方法与系统
CN111506773B (zh) 一种基于无监督深度孪生网络的视频去重方法
CN110532911B (zh) 协方差度量驱动小样本gif短视频情感识别方法及系统
CN111709497A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN113052150B (zh) 活体检测方法、装置、电子设备和计算机可读存储介质
TWI780567B (zh) 對象再識別方法、儲存介質及電腦設備
CN110555420A (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN112819065A (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN114528479B (zh) 一种基于多尺度异构图嵌入算法的事件检测方法
CN109740527B (zh) 一种视频帧中图像处理方法
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN112150750A (zh) 一种基于边缘计算的森林火警监测系统
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN115661450A (zh) 一种基于对比知识蒸馏的类别增量语义分割方法
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
CN115240271A (zh) 基于时空建模的视频行为识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination