CN114743074B - 一种基于强弱对抗训练的船舶检测模型训练方法及系统 - Google Patents

一种基于强弱对抗训练的船舶检测模型训练方法及系统 Download PDF

Info

Publication number
CN114743074B
CN114743074B CN202210658893.3A CN202210658893A CN114743074B CN 114743074 B CN114743074 B CN 114743074B CN 202210658893 A CN202210658893 A CN 202210658893A CN 114743074 B CN114743074 B CN 114743074B
Authority
CN
China
Prior art keywords
training set
current
training
model
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210658893.3A
Other languages
English (en)
Other versions
CN114743074A (zh
Inventor
吴显德
叶海珍
邹凡
李玲飞
张进虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202210658893.3A priority Critical patent/CN114743074B/zh
Publication of CN114743074A publication Critical patent/CN114743074A/zh
Application granted granted Critical
Publication of CN114743074B publication Critical patent/CN114743074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于强弱对抗训练的船舶检测模型训练方法及系统。其中，该方法通过将训练集中全部图片根据对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据对抗系数从大到小进行排序得到倒序列；每次迭代训练集分别从正序列和倒序列中取出预设数量张图片；这样可以减少船舶检测模型训练过程中受训练集复杂程度不一，导致损失值不稳定的问题，提高模型训练速度，又可以避免一次迭代数据复杂过大或过小对反向传播造成的不良反应。通过修改损失函数，即通过对抗系数计算损失权重，根据损失权重计算迭代训练集的损失值，加大对复杂样本的学习，降低对简单样本的学习，从而实现模型减少对简单样本的误检，提高复杂样本的检出率。

Description

一种基于强弱对抗训练的船舶检测模型训练方法及系统
技术领域
本发明涉及船舶检测技术领域，具体而言，涉及一种基于强弱对抗训练的船舶检测模型训练方法及系统。
背景技术
随着深度学习不断发展，深度学习算法在各个工业领域广泛的应用，其中利用深度学习算法实现船舶自动检测在近几年快速发展。基于深度学习算法实现的船舶目标检测其训练原理为船舶检测网络通过对训练集的图片特征提取，依据提取特征预测图片中船舶的位置，然后跟实际训练集图片中船舶的位置进行对比得到误差，船舶检测模型依据这个误差更新模型对船舶特征的认知，最终实现基于深度学习的船舶目标检测方法能够准确判断船舶的类型和位置。目前已存在的深度学习船舶目标检测方法是对船舶训练集随机采样，进行船舶检测模型学习，但训练集随机采样会出现以下问题：
1)训练集的每张图片船舶信息和背景信息各不相同。有些训练集的背景信息和船舶信息比较简单，船舶检测模型容易学习，有些训练集的背景信息和船舶信息较为复杂，采用随机采样，导致每次迭代的数据具有随机性，导致每一次迭代的训练集数据复杂不一，导致损失值波动偏大，模型难以收敛。
2)随机采样无法高效实现模型性能，随机采样船舶检测模型训练每次迭代训练集可能出现都为简单或都为复杂。每次迭代都为简单数据时，模型损失值很小趋近于0，反向传播得到偏导太小，船舶检测网络参数基本不变；都为复杂数据集时，模型损失值偏大，反向传播得到偏导太大，船舶检测网络参数更正过大，无法正常学习。
3)随机采样无法知道每次迭代的数据集是否为简单或复杂图片，导致船舶检测模型对所有训练集学习权重一样，极有可能出现船舶检测模型：①对简单数据集特征值过于敏感，导致假阳增加；②对复杂数据集特征不敏感，无法拟合，导致假阴增加。
针对现有技术中船舶检测模型对简单数据集过于敏感，对复杂数据集不敏感造成误检的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种基于强弱对抗训练的船舶检测模型训练方法及系统，以解决现有技术中船舶检测模型对简单数据集过于敏感，对复杂数据集不敏感造成误检的问题。
为达到上述目的，一方面，本发明提供了一种基于强弱对抗训练的船舶检测模型训练方法，该方法包括：步骤S101，将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入步骤S102；步骤S102，计算训练集中每张图片在当前轮模型训练中的对抗系数；步骤S103，将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；步骤S104，从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到所述当前迭代训练集的损失值；步骤S105，从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复步骤S104直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；步骤S106，将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复步骤S1012、步骤S103、步骤S104、步骤S105直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
可选的，在得到所述当前迭代训练集的损失值之后包括：根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
可选的，所述对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure GDA0003762033860000031
Figure GDA0003762033860000032
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
可选的，所述当前迭代训练集的损失值的计算公式为：
Figure GDA0003762033860000033
Figure GDA0003762033860000034
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure GDA0003762033860000035
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
可选的，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：从所述正序列中抽取预设数量张图片，得到第一训练集；从所述倒序列中抽取预设数量张图片，得到第二训练集；将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
另一方面，本发明提供了一种基于强弱对抗训练的船舶检测模型训练系统，该系统包括：当前轮训练单元，用于将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入计算单元；计算单元，用于计算训练集中每张图片在当前轮模型训练中的对抗系数；排序单元，用于将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；下一轮训练单元，用于从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到所述当前迭代训练集的损失值；第一重复训练单元，用于从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复所述下一轮训练单元直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；第二重复训练单元，用于将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复所述计算单元、排序单元、下一轮训练单元、第一重复训练单元直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
可选的，在得到所述当前迭代训练集的损失值之后包括：根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
可选的，所述对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure GDA0003762033860000051
Figure GDA0003762033860000052
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
可选的，所述当前迭代训练集的损失值的计算公式为：
Figure GDA0003762033860000053
Figure GDA0003762033860000054
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure GDA0003762033860000055
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
可选的，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：第一抽取子单元，用于从所述正序列中抽取预设数量张图片，得到第一训练集；第二抽取子单元，用于从所述倒序列中抽取预设数量张图片，得到第二训练集；组合子单元，用于将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
本发明的有益效果：
本发明提供了一种基于强弱对抗训练的船舶检测模型训练方法及系统，通过对训练集中全部图片根据对抗系数从小到大进行排序得到正序列以及从大到小进行排序得到倒序列；每次迭代训练集依次从正序列和倒序列中取出，组合成一次迭代训练集；这样做可以减少船舶检测模型训练过程中受训练集复杂程度不一，导致损失值不稳定的问题，提高模型训练速度，又可以避免一次迭代数据复杂过大或过小对反向传播造成的不良反应。通过修改损失函数，即通过对抗系数计算损失权重，根据损失权重计算迭代训练集的损失值，加大对复杂样本的学习，降低对简单样本的学习，从而实现模型减少对简单样本的误检，提高复杂样本的检出率。
附图说明
图1是本发明实施例提供的一种基于强弱对抗训练的船舶检测模型训练方法的流程图；
图2是本发明实施例提供的一种基于强弱对抗训练的船舶检测模型训练系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
目前已存在的深度学习船舶目标检测方法是对船舶训练集随机采样，进行船舶检测模型训练，但训练集随机采样会出现以下问题：
1)训练集的每张图片船舶信息和背景信息各不相同。有些训练集的背景信息和船舶信息比较简单，船舶检测模型容易学习，有些训练集的背景信息和船舶信息较为复杂，采用随机采样，导致每次迭代的数据具有随机性，导致每一次迭代的训练集数据复杂不一，导致损失值波动偏大，模型难以收敛。
2)随机采样无法高效实现模型性能，随机采样船舶检测模型训练每次迭代训练集可能出现都为简单或都为复杂。每次迭代都为简单数据时，模型损失值很小趋近于0，反向传播得到偏导太小，船舶检测网络参数基本不变；都为复杂数据集时，模型损失值偏大，反向传播得到偏导太大，船舶检测网络参数更正过大，无法正常学习。
3)随机采样无法知道每次迭代的数据集是否为简单或复杂图片，导致船舶检测模型对所有训练集学习权重一样，极有可能出现船舶检测模型：①对简单数据集特征值过于敏感，导致假阳增加；②对复杂数据集特征不敏感，无法拟合，导致假阴增加。
因而，本发明提供了一种基于强弱对抗训练的船舶检测模型训练方法，图1是本发明实施例提供的一种基于强弱对抗训练的船舶检测模型训练方法的流程图，如图1所示，该方法包括：
步骤S101，将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入步骤S102；
在一个可选的实施方式中，假设第一轮模型训练时，将训练集中全部图片进行模型训练，得到第一轮船舶检测模型；通过第一轮船舶检测模型对测试集进行测试，得到第一轮测试集的准确率，若第一轮测试集的准确率小于预设阈值(本申请为0.35)，则进行第二轮模型训练，将训练集中全部图片进行模型训练，得到第二轮船舶检测模型；通过第二轮船舶检测模型对测试集进行测试，得到第二轮测试集的准确率，若第二轮测试集的准确率大于预设阈值(本申请为0.35)，则进入步骤S102(即开启对抗训练方法)。
步骤S102，计算训练集中每张图片在当前轮模型训练中的对抗系数；
在一个可选的实施方式中，在对训练集中全部图片进行第二轮模型训练时，就会得到每张图片的对抗系数。
具体的，对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure GDA0003762033860000081
Figure GDA0003762033860000082
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
需要说明的是，训练集中的当前张图片在当前轮模型训练时会生成多个预测框和标定框；例如：一张图片有4个目标，则一定有4个标定框，但是该张图片会生成的预测框的数量不确定，有可能为3个，4个、5个或者0个等等。
步骤S103，将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；
具体的，将第二轮模型训练时训练集中全部图片根据计算的对抗系数从小到大进行排序得到正序列；以及将第二轮模型训练时训练集中全部图片根据计算的对抗系数从大到小进行排序得到倒序列。
步骤S104，从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到所述当前迭代训练集的损失值；
在一个可选的实施方式中，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：
从所述正序列中抽取预设数量张图片，得到第一训练集；从所述倒序列中抽取预设数量张图片，得到第二训练集；将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
具体的，例如：将所述正序列中第一个位置的图片和第三个位置的图片抽取得到第一训练集，则对应的在所述倒序列中第一个位置的图片和第三个位置的图片抽取得到第二训练集；将第一训练集和第二训练集组合得到第三轮的当前迭代训练集；对当前迭代训练集进行模型训练，得到第三轮的当前迭代船舶检测模型，以及得到第三轮的当前迭代训练集的损失值；
所述当前迭代训练集的损失值的计算公式为：
Figure GDA0003762033860000091
Figure GDA0003762033860000092
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure GDA0003762033860000093
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
需要说明的是，公式(5)中的对抗系数是第二轮模型训练时计算得到的每张图片的对抗系数，loss是第三轮模型训练时当前迭代训练集的损失值，N表示第三轮模型训练时当前迭代训练集中图片的个数；Wf是第三轮模型训练时当前迭代训练集中当前张图片的损失权重；lossf是第三轮模型训练时当前迭代训练集中当前张图片的损失值；Wk是第三轮模型训练时当前迭代训练集中第k张图片的损失权重。
本申请中，通过Wf(当前迭代训练集中当前张图片的损失权重)，可以加大模型对不敏感的数据进行学习，减少对对抗系数少的数据集的学习。
在一个可选的实施方式中，在得到所述当前迭代训练集的损失值之后包括：根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
步骤S105，从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复步骤S104直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；
具体的，例如：将所述正序列中(没有进行模型训练的)第二个位置的图片和第四个位置的图片抽取得到第一训练集，则对应的在所述倒序列中第二个位置的图片和第四个位置的图片抽取得到第二训练集；将第一训练集和第二训练集组合得到第三轮的下次迭代训练集；将所述下次迭代训练集作为所述当前迭代训练集，重复上述步骤S104直至将正序列、倒序列中的图片全部模型训练完，得到第三轮船舶检测模型。
步骤S106，将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复步骤S102、步骤S103、步骤S104、步骤S105直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
在一个可选的实施方式中，本申请中，在将正序列和倒序列中的图片进行第三轮模型后，只需计算正序列中的每张图片的对抗系数即可，倒序列中的每张图片与正序列中的每张图片是相同的，当计算出正序列中的每张图片的对抗系数，自然也就得到了倒序列中的每张图片的对抗系数。因此，只需计算一个序列(正序列)中的每张图片的对抗系数即可。
进一步的，本申请需要在正序列和倒序列中的全部图片模型训练完后，计算出一个序列(正序列)中的每张图片的对抗系数，这样才能得到另一个序列(倒序列)中每张图片的对抗系数。
根据第三轮船舶检测模型得到的每张图片的对抗系数从小到大进行排序得到更新的正序列，以及根据第三轮船舶检测模型得到的每张图片的对抗系数从大到小进行排序得到更新的倒序列；根据所述更新的正序列和更新的倒序列重复步骤S104和步骤S105，得到第四轮船舶检测模型，当进行到第m轮船舶检测模型训练时，此时船舶检测模型的损失值在预设范围内(±0.1％)波动，不再进行模型训练，得到目标船舶检测模型。
本申请中，利用对抗采样方法(即从正序列和倒序列中分别抽取预设数量张图片)得到每次迭代训练集，降低每次迭代训练集损失值的差异，提高模型训练的稳定；利用对抗采样的方法不会使迭代训练集得到的损失值过大或过小，提高模型训练精度；每次迭代训练集的损失值的计算方法(即损失函数计算方法)使船舶监测模型依据对抗系数得到迭代训练集每张图片的损失权重，加大对抗系数大的数据集检出率，降低对抗系数低的数据集误检率。
图2是本发明实施例提供的一种基于强弱对抗训练的船舶检测模型训练系统的结构示意图，如图2所示，该系统包括：
当前轮训练单元201，用于将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入计算单元；
在一个可选的实施方式中，假设第一轮模型训练时，将训练集中全部图片进行模型训练，得到第一轮船舶检测模型；通过第一轮船舶检测模型对测试集进行测试，得到第一轮测试集的准确率，若第一轮测试集的准确率小于预设阈值(本申请为0.35)，则进行第二轮模型训练，将训练集中全部图片进行模型训练，得到第二轮船舶检测模型；通过第二轮船舶检测模型对测试集进行测试，得到第二轮测试集的准确率，若第二轮测试集的准确率大于预设阈值(本申请为0.35)，则进入计算单元202(即开启对抗训练方法)。
计算单元202，用于计算训练集中每张图片在当前轮模型训练中的对抗系数；
在一个可选的实施方式中，在对训练集中全部图片进行第二轮模型训练时，就会得到每张图片的对抗系数。
具体的，对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure GDA0003762033860000121
Figure GDA0003762033860000122
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
需要说明的是，训练集中的当前张图片在当前轮模型训练时会生成多个预测框和标定框；例如：一张图片有4个目标，则一定有4个标定框，但是该张图片会生成的预测框的数量不确定，有可能为3个，4个、5个或者0个等等。
排序单元203，用于将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；
具体的，将第二轮模型训练时训练集中全部图片根据计算的对抗系数从小到大进行排序得到正序列；以及将第二轮模型训练时训练集中全部图片根据计算的对抗系数从大到小进行排序得到倒序列。
下一轮训练单元204，用于从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到所述当前迭代训练集的损失值；
在一个可选的实施方式中，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：
从所述正序列中抽取预设数量张图片，得到第一训练集；从所述倒序列中抽取预设数量张图片，得到第二训练集；将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
具体的，例如：将所述正序列中第一个位置的图片和第三个位置的图片抽取得到第一训练集，则对应的在所述倒序列中第一个位置的图片和第三个位置的图片抽取得到第二训练集；将第一训练集和第二训练集组合得到第三轮的当前迭代训练集；对当前迭代训练集进行模型训练，得到第三轮的当前迭代船舶检测模型，以及得到第三轮的当前迭代训练集的损失值；
所述当前迭代训练集的损失值的计算公式为：
Figure GDA0003762033860000131
Figure GDA0003762033860000132
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure GDA0003762033860000141
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
需要说明的是，公式(5)中的对抗系数是第二轮模型训练时计算得到的每张图片的对抗系数，loss是第三轮模型训练时当前迭代训练集的损失值，N表示第三轮模型训练时当前迭代训练集中图片的个数；Wf是第三轮模型训练时当前迭代训练集中当前张图片的损失权重；lossf是第三轮模型训练时当前迭代训练集中当前张图片的损失值；Wk是第三轮模型训练时当前迭代训练集中第k张图片的损失权重。
本申请中，通过Wf(当前迭代训练集中当前张图片的损失权重)，可以加大模型对不敏感的数据进行学习，减少对对抗系数少的数据集的学习。
在一个可选的实施方式中，在得到所述当前迭代训练集的损失值之后包括：根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
第一重复训练单元205，用于从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复所述下一轮训练单元直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；
具体的，例如：将所述正序列中(没有进行模型训练的)第二个位置的图片和第四个位置的图片抽取得到第一训练集，则对应的在所述倒序列中第二个位置的图片和第四个位置的图片抽取得到第二训练集；将第一训练集和第二训练集组合得到第三轮的下次迭代训练集；将所述下次迭代训练集作为所述当前迭代训练集，重复上述下一轮训练单元204直至将正序列、倒序列中的图片全部模型训练完，得到第三轮船舶检测模型。
第二重复训练单元206，用于将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复所述计算单元202、排序单元203、下一轮训练单元204、第一重复训练单元205直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
在一个可选的实施方式中，本申请中，在将正序列和倒序列中的图片进行第三轮模型后，只需计算正序列中的每张图片的对抗系数即可，倒序列中的每张图片与正序列中的每张图片是相同的，当计算出正序列中的每张图片的对抗系数，自然也就得到了倒序列中的每张图片的对抗系数。因此，只需计算一个序列(正序列)中的每张图片的对抗系数即可。
进一步的，本申请需要在正序列和倒序列中的全部图片模型训练完后，计算出一个序列(正序列)中的每张图片的对抗系数，这样才能得到另一个序列(倒序列)中每张图片的对抗系数。
根据第三轮船舶检测模型得到的每张图片的对抗系数从小到大进行排序得到更新的正序列，以及根据第三轮船舶检测模型得到的每张图片的对抗系数从大到小进行排序得到更新的倒序列；根据所述更新的正序列和更新的倒序列重复下一轮训练单元204和第一重复训练单元205，得到第四轮船舶检测模型，当进行到第m轮船舶检测模型训练时，此时船舶检测模型的损失值在预设范围内(±0.1％)波动，不再进行模型训练，得到目标船舶检测模型。
本申请中，利用对抗采样方法(即从正序列和倒序列中分别抽取预设数量张图片)得到每次迭代训练集，降低每次迭代训练集损失值的差异，提高模型训练的稳定；利用对抗采样的方法不会使迭代训练集得到的损失值过大或过小，提高模型训练精度；每次迭代训练集的损失值的计算方法(即损失函数计算方法)使船舶监测模型依据对抗系数得到迭代训练集每张图片的损失权重，加大对抗系数大的数据集检出率，降低对抗系数低的数据集误检率。
本发明的有益效果：
本发明提供了一种基于强弱对抗训练的船舶检测模型训练方法及系统，通过对训练集中全部图片根据对抗系数从小到大进行排序得到正序列以及从大到小进行排序得到倒序列；每次迭代训练集依次从正序列和倒序列中取出，组合成一次迭代训练集；这样做可以减少船舶检测模型训练过程中受训练集复杂程度不一，导致损失值不稳定的问题，提高模型训练速度，又可以避免一次迭代数据复杂过大或过小对反向传播造成的不良反应。通过修改损失函数，即通过对抗系数计算损失权重，根据损失权重计算迭代训练集的损失值，加大对复杂样本的学习，降低对简单样本的学习，从而实现模型减少对简单样本的误检，提高复杂样本的检出率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于强弱对抗训练的船舶检测模型训练方法，其特征在于，包括：
步骤S101，将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入步骤S102；
步骤S102，计算训练集中每张图片在当前轮模型训练中的对抗系数；
步骤S103，将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；
步骤S104，从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到当前迭代训练集的损失值；
步骤S105，从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复步骤S104直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；
步骤S106，将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复步骤S102、步骤S103、步骤S104、步骤S105直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
2.根据权利要求1所述的方法，其特征在于，在得到所述当前迭代训练集的损失值之后包括：
根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
3.根据权利要求1所述的方法，其特征在于，所述对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure FDA0003762033850000021
Figure FDA0003762033850000022
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
4.根据权利要求1所述的方法，其特征在于，所述当前迭代训练集的损失值的计算公式为：
Figure FDA0003762033850000023
Figure FDA0003762033850000024
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure FDA0003762033850000025
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
5.根据权利要求1所述的方法，其特征在于，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：
从所述正序列中抽取预设数量张图片，得到第一训练集；
从所述倒序列中抽取预设数量张图片，得到第二训练集；
将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；
其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
6.一种基于强弱对抗训练的船舶检测模型训练系统，其特征在于，包括：
当前轮训练单元，用于将训练集中全部图片进行模型训练，得到当前轮船舶检测模型；通过所述当前轮船舶检测模型对测试集进行测试，得到当前轮测试集的准确率；判断所述准确率是否大于预设阈值，若是，进入计算单元；
计算单元，用于计算训练集中每张图片在当前轮模型训练中的对抗系数；
排序单元，用于将训练集中全部图片根据所述对抗系数从小到大进行排序得到正序列；以及将训练集中全部图片根据所述对抗系数从大到小进行排序得到倒序列；
下一轮训练单元，用于从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集；根据所述当前轮船舶检测模型对所述当前迭代训练集进行模型训练，得到当前迭代船舶检测模型，以及得到所述当前迭代训练集的损失值；
第一重复训练单元，用于从所述正序列、倒序列中分别抽取没有进行模型训练的预设数量张图片作为下次迭代训练集，将所述下次迭代训练集作为所述当前迭代训练集，重复所述下一轮训练单元直至将正序列、倒序列中的图片全部模型训练完，得到下一轮船舶检测模型；
第二重复训练单元，用于将所述下一轮船舶检测模型作为所述当前轮船舶检测模型，重复所述计算单元、排序单元、下一轮训练单元、第一重复训练单元直至船舶检测模型的损失值在预设范围内波动，得到目标船舶检测模型。
7.根据权利要求6所述的系统，其特征在于，在得到所述当前迭代训练集的损失值之后包括：
根据所述损失值进行反向传播，更新所述当前迭代船舶检测模型。
8.根据权利要求6所述的系统，其特征在于，所述对抗系数的计算公式为：
T＝Tp+wTq (1)
Figure FDA0003762033850000041
Figure FDA0003762033850000042
其中，T为训练集中当前张图片在当前轮模型训练中的对抗系数；Tp为训练集中当前张图片在当前轮模型训练中正检的对抗系数；Tq为训练集中当前张图片在当前轮模型训练中误检的对抗系数；w为超参，本申请中为0.8；Ci表示训练集中当前张图片在当前轮模型训练中生成的一个预测框正检的置信度；Ii表示训练集中当前张图片在当前轮模型训练中生成的一个预测框和标定框中心点的距离与所述预测框和标定框最远点距离的比值；n表示当前张图片预测框的数量；Cj表示训练集中当前张图片在当前轮模型训练中生成的一个预测框误检的置信度。
9.根据权利要求6所述的系统，其特征在于，所述当前迭代训练集的损失值的计算公式为：
Figure FDA0003762033850000043
Figure FDA0003762033850000044
其中，loss是当前迭代训练集的损失值，N表示当前迭代训练集中图片的个数；Wf是当前迭代训练集中当前张图片的损失权重；lossf是当前迭代训练集中当前张图片的损失值；Wk是当前迭代训练集中第k张图片的损失权重；Tk是当前迭代训练集中第k张图片的对抗系数；
Figure FDA0003762033850000051
是当前迭代训练集中所有图片的对抗系数总和；所述对抗系数是当前轮模型训练时计算得到的每张图片的对抗系数；所述Wk是下一轮模型训练时当前迭代训练集中第k张图片的损失权重。
10.根据权利要求6所述的系统，其特征在于，所述从所述正序列、倒序列中分别抽取预设数量张图片并组成当前迭代训练集包括：
第一抽取子单元，用于从所述正序列中抽取预设数量张图片，得到第一训练集；
第二抽取子单元，用于从所述倒序列中抽取预设数量张图片，得到第二训练集；
组合子单元，用于将所述第一训练集和所述第二训练集组合得到所述当前迭代训练集；
其中，所述倒序列中抽取的图片与所述正序列中抽取的图片位置一一对应。
CN202210658893.3A 2022-06-13 2022-06-13 一种基于强弱对抗训练的船舶检测模型训练方法及系统 Active CN114743074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210658893.3A CN114743074B (zh) 2022-06-13 2022-06-13 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658893.3A CN114743074B (zh) 2022-06-13 2022-06-13 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN114743074A CN114743074A (zh) 2022-07-12
CN114743074B true CN114743074B (zh) 2022-09-09

Family

ID=82288095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658893.3A Active CN114743074B (zh) 2022-06-13 2022-06-13 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN114743074B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052096B (zh) * 2023-03-31 2023-06-13 浙江华是科技股份有限公司 一种压缩数据船舶检测方法、系统及计算机存储介质
CN117152587B (zh) * 2023-10-27 2024-01-26 浙江华是科技股份有限公司 一种基于对抗学习的半监督船舶检测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612708A (zh) * 2020-05-06 2020-09-01 长沙理工大学 一种基于对抗生成网络的图像修复方法
CN111738373A (zh) * 2020-08-28 2020-10-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111783551A (zh) * 2020-06-04 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 基于贝叶斯卷积神经网络的对抗样本防御方法
CN111862036A (zh) * 2020-07-17 2020-10-30 中山大学 一种基于双指标度量学习的工具异常放置检测方法及系统
CN112786030A (zh) * 2020-12-30 2021-05-11 中山大学 一种基于元学习的对抗采样训练方法及装置
CN113744262A (zh) * 2021-09-17 2021-12-03 浙江工业大学 一种基于GAN和YOLO-v5的目标分割检测方法
CN113935396A (zh) * 2021-09-09 2022-01-14 哈尔滨工业大学（深圳） 基于流形理论的对抗样本攻击方法及相关装置
CN114186615A (zh) * 2021-11-22 2022-03-15 浙江华是科技股份有限公司 船舶检测半监督在线训练方法、装置及计算机存储介质
CN114462486A (zh) * 2021-12-28 2022-05-10 浙江大华技术股份有限公司 图像处理模型的训练方法、图像处理方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839265B2 (en) * 2018-11-12 2020-11-17 Sap Se Platform for preventing adversarial attacks on image-based machine learning models
CN110674938B (zh) * 2019-08-21 2021-12-21 浙江工业大学 基于协同多任务训练的对抗攻击防御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612708A (zh) * 2020-05-06 2020-09-01 长沙理工大学 一种基于对抗生成网络的图像修复方法
CN111783551A (zh) * 2020-06-04 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 基于贝叶斯卷积神经网络的对抗样本防御方法
CN111862036A (zh) * 2020-07-17 2020-10-30 中山大学 一种基于双指标度量学习的工具异常放置检测方法及系统
CN111738373A (zh) * 2020-08-28 2020-10-02 北京瑞莱智慧科技有限公司 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN112786030A (zh) * 2020-12-30 2021-05-11 中山大学 一种基于元学习的对抗采样训练方法及装置
CN113935396A (zh) * 2021-09-09 2022-01-14 哈尔滨工业大学（深圳） 基于流形理论的对抗样本攻击方法及相关装置
CN113744262A (zh) * 2021-09-17 2021-12-03 浙江工业大学 一种基于GAN和YOLO-v5的目标分割检测方法
CN114186615A (zh) * 2021-11-22 2022-03-15 浙江华是科技股份有限公司 船舶检测半监督在线训练方法、装置及计算机存储介质
CN114462486A (zh) * 2021-12-28 2022-05-10 浙江大华技术股份有限公司 图像处理模型的训练方法、图像处理方法及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel Multiscale Lightweight Fault Diagnosis Model Based on the Idea of Adversarial Learning;Ping Zhang 等;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20211231;第70卷;第1-15页 *
基于迁移权重的条件对抗领域适应;王进 等;《电子与信息学报》;20191130;第41卷(第11期);第2729-2735页 *
基于高斯增强和迭代攻击的对抗训练防御方法;王丹妮 等;《计算机科学》;20210630;第48卷(第6A期);第509-513、537页 *

Also Published As

Publication number Publication date
CN114743074A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN114743074B (zh) 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN109190446A (zh) 基于三元组聚焦损失函数的行人再识别方法
CN111783551B (zh) 基于贝叶斯卷积神经网络的对抗样本防御方法
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN112949493A (zh) 一种结合语义分割和注意力机制的车道线检测方法及系统
CN115588030B (zh) 基于孪生网络的视觉目标跟踪方法及设备
CN111931601A (zh) 齿轮箱错误类别标签修正系统及方法
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN111915595A (zh) 图像质量评价方法、图像质量评价模型的训练方法和装置
CN111539456A (zh) 一种目标识别方法及设备
CN113516713A (zh) 一种基于伪孪生网络的无人机自适应目标跟踪方法
CN116343007A (zh) 目标检测方法、装置、设备和存储介质
CN112084936A (zh) 一种人脸图像预处理方法、装置、设备及存储介质
CN115690100A (zh) 半监督信号点检测模型训练方法、信号点检测方法和装置
CN115718830A (zh) 训练信息抽取模型的方法、信息抽取方法及对应装置
CN115760908A (zh) 基于胶囊网络感知特征的绝缘子跟踪方法和装置
CN115049851A (zh) 基于YOLOv5网络的目标检测方法、装置和设备终端
CN115147684A (zh) 基于深度学习的目标打击效果评估方法
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN113902044A (zh) 一种基于轻量级yolov3的图像目标提取方法
CN112233071A (zh) 基于复杂环境下输电网图片的多粒度隐患检测方法及系统
CN113658217A (zh) 一种自适应目标跟踪方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wu Xiande

Inventor after: Ye Haizhen

Inventor after: Zou Fan

Inventor after: Li Lingfei

Inventor after: Zhang Jinhu

Inventor before: Wu Xiande

Inventor before: Ye Haizhen

Inventor before: Zou Fan

Inventor before: Li Lingfei

Inventor before: Zhang Jinhu

CB03 Change of inventor or designer information