CN113378830B - 一种基于域适应的可自主学习数据标签生成方法 - Google Patents
一种基于域适应的可自主学习数据标签生成方法 Download PDFInfo
- Publication number
- CN113378830B CN113378830B CN202110488161.XA CN202110488161A CN113378830B CN 113378830 B CN113378830 B CN 113378830B CN 202110488161 A CN202110488161 A CN 202110488161A CN 113378830 B CN113378830 B CN 113378830B
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- data set
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000006978 adaptation Effects 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 134
- 238000002372 labelling Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 13
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 20
- 238000003786 synthesis reaction Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于域适应的可自主学习数据标签生成方法,合源域数据集标签数据构建已标注中间域合成数据集;利用已标注中间域合成数据集训练目标检测网络,并输入无标注目标域数据集中图像数据获取对应的图像检测框结果;对当前目标检测网络置信度阈值参数值进行动态更新操作,对检测框结果进行噪声滤除、循环更新操作,将检测框结果转换为图像标签数据格式。输出图像标签数据,并结合相应的目标域图像数据构建已标注目标域数据集,实现目标域数据集的自动标注功能。本发明应用于多种不同目标场景或者类别的数据集自动标注工作,从而无需对不同应用场景下的图像数据集重新进行大量的人工数据集标注工作,节约劳动力成本并提高工作效率。
Description
技术领域
本发明属于计算机视觉和图像处理领域,具体涉及一种基于域适应的可自主学习数据标签生成方法。
背景技术
近年来,随着现代信息技术的飞速发展,计算机技术在各领域中的应用需求也日益增长。在视觉检测应用方面,现有的基于深度学习的目标检测技术精度高、鲁棒性好等优点,已逐渐替代传统视觉检测技术,被广泛应用于各领域的检测工作中。而基于深度学习的目标检测技术在使用过程中通常需要制作带有标注信息的图像数据集,提供监督学习信号支撑模型的训练学习。而在实际应用场景中,当待检测目标对象场景或者类别发生更改时(包括目标对象外观、背景、光照等方面),使得训练集和测试集中图像数据分布存在差异,导致通过训练集得到的深度学习检测模型在实际场景应用中精度出现大幅度下降;因此,通常需要更换相应目标场景或者类别下的图像数据集,并重新开始深度学习检测模型的训练学习,且每次数据集的重新制作需要大量昂贵的人工劳动标注数据标签,整个过程耗时耗力。
目前,在现阶段深度学习模型主要采用强监督标签标注的方法,以绘制边界框的方式对图像中每个可见的目标对象的位置和类别信息进行标记,提供模型较强的监督学习信号,获取高精度的深度学习检测模型,但数据标注形式较为复杂易导致标注耗时长。部分学者提出,可采用弱监督标签标注的方法,比如图像级标签(仅提供图像中目标对象类别信息,无具体位置信息)、点标签(仅通过绘制点的形式,标注出目标对象位置信息),通过减少单个数据标注时间来降低整体数据集标注成本,但该方法仍然存在一定的数据标注工作量。另外,有研究者提出可应用无监督深度学习检测模型,从而无需任何的数据标注工作;而在实际应用工作中,由于场景中背景的复杂性及目标多样性等因素,无监督深度学习检测模型方法往往达不到监督深度学习检测模型的准确性和有效性。因此,深度学习在目标检测实际应用工作中,如何减少数据集标注是一个关键问题。
现有代表性技术1项:
(1)专利名称:一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法(申请号:202010540046.8)
本发明提供了一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,能够解决两个域之间由于存在分布差异而导致目标检测出现域漂移的问题,具体实施步骤如图2所示,包括:数据读取模块,用于读取已标注源域数据集和无标注目标域数据集中相关图像数据和标签数据;图像转换模块,利用CycleGAN网络将源域数据集图像数据转换为接近目标域数据集图像数据的中间域合成数据集图像数据;中间域合成数据集生成模块,用于结合源域数据集标签数据和中间域数据集图像数据,构建已标注中间域合成数据集;目标检测网络模块,该模块首先将中间域合成数据集输入到Faster R-CNN深度学习模型进行训练并获取初步域自适应模型,然后将无标注目标域数据集图像数据输入域自适应模型,手动设置相关置信度阈值超参数并输出目标域数据集图像检测结果;伪标签循环更新模块,该模块接收无标注目标域数据集中图像的检测框结果,并将其转换成数据集标签格式,并对无标注目标域数据集中标签数据进行更新;已标注目标域数据集生成模块,该模块接收目标域数据集图像数据和更新后的图像标签数据,构建已标注目标域数据集;中间域合成数据集和已标注目标域数据集叠加模块,该模块接收中间域合成数据集和已标注目标域数据集,构建模型训练集并输入到目标检测网络,进行网络模型的迭代更新与优化;最后,将迭代更新完毕的目标检测网络进行输出。
但该专利方法需要手动设置置信度阈值超参数来获取目标域数据集伪标签,而域自适应模型在迭代更新和优化过程中,模型不断学习到目标域图像特征信息且检测性能得到不断提升,固定的置信度阈值超参数无法很好的衡量获取得到的伪标签质量好坏,造成部分正样本伪标签的损失和部分负样本标签噪声的保留;另外,当源域数据集与目标域数据集图像分布存在较大差异时,无法保证CycleGAN网络获取得到的中间域合成数据集图像质量,而该方法在模型迭代更新与优化时,将中间域合成数据集和已标注目标域数据集轮流输入到域自适应模型中,造成训练得到的域自适应模型在实际目标域检测任务中检测性能下降。
发明内容
本发明要解决的技术问题为:在当前目标检测任务中,基于深度学习的目标检测技术在实际应用过程中,多数需要采集实际应用场景下图像数据并进行大量的数据标注工作,提供监督学习信号支撑模型的训练学习。而当实际检测任务中目标场景或者类别发生更改时,(包括目标对象外观、背景、光照等方面),通常需要重新采集图像数据进行标注和训练模型,从而耗费大量的人工标注劳动力,整体工作效率低下。
针对以上问题,本发明实现了一种基于域适应的可自主学习数据标签生成方法。该方法首先利用生成对抗网络,实现源域图像到目标域图像之间的图像转换,并结合源域数据集标签数据构建已标注中间域合成数据集。然后,利用已标注中间域合成数据集训练目标检测网络,并输入无标注目标域数据集中图像数据获取对应的图像检测框结果。接着,对当前目标检测网络置信度阈值参数值进行动态更新操作,同时对检测框结果进行噪声滤除、循环更新操作,并将检测框结果转换为图像标签数据格式。最后,输出图像标签数据,并结合相应的目标域图像数据构建已标注目标域数据集,实现目标域数据集的自动标注功能。
本发明代表图如附图1所示,方法包括数据读取模块步骤S10、图像转换模块步骤S20、中间域合成数据集生成模块步骤S30、目标检测网络模块步骤S40、伪标签生成模块步骤S50、已标注目标域数据集生成模块步骤S60和输出已标注目标域数据集步骤S70。
各模块的具体功能如下:
数据集读取模块步骤S10:本发明图像数据集库由已标注源域数据集和无标注目标域数据集构成,该模块步骤实现数据读取功能。首先,读取所述已标注源域数据集,分别将源域图像数据和标签数据输出到图像转换模块步骤S20和中间域合成数据集生成模块步骤S30;其次,读取所述无标注目标域数据集,将目标域图像数据分别输出到图像转换模块步骤S20和目标检测网络模块步骤S40。
图像转换模块步骤S20:该模块步骤利用生成对抗网络,实现不同目标场景或者类别间的图像转换功能。首先,从所述数据读取模块S10读取已标注源域数据集图像数据和无标注目标域数据集图像数据,构建图像训练集输入到生成对抗网络比如DiscaoAGN,DualGAN,CycleGAN等;其次,训练生成对抗网络学习两个图像域(源域和目标域)之间图像分布的域映射关系,实现不同目标场景或者类别间的图像转换操作;接着,读取所述数据读取模块步骤S120输出的已标注源域数据集中图像数据,输入到训练好的生成对抗网络获取中间域合成图像数据;最后,将所述的中间域合成图像数据输出到中间域合成数据集生成模块步骤S30。
中间域合成数据集生成模块步骤S30:该模块步骤实现已标注中间域合成数据集的构建。首先,从所述数据读取模块步骤S10和图像转换模块步骤S20分别读取已标注源域数据集中标签数据和中间域合成图像数据,构建已标注中间域合成数据集,并将所述的已标注中间域合成数据集输出到目标检测网络模块步骤S40。
目标检测网络模块步骤S40:该模块步骤通过应用深度学习检测模型,获取无标注目标域图像检测框结果。首先,从所述中间域合成数据集生成模块步骤S30获取已标注中间域合成数据集,将其输入到深度学习模型比如SSD,Faster R-CNN或Yolov3等进行模型的训练学习;接着,从所述数据读取模块步骤S120获取无标注目标域数据集中图像数据,输入深度学习模型进行测试,获取无标注目标域数据集中图像数据的检测框结果;最后,将目标域图像检测框结果输出到伪标签生成模块步骤S50。
伪标签生成模块步骤S50:该模块步骤实现对模型置信度阈值参数的自动更新操作,同时对无标注目标域图像检测框结果进行噪声滤除,获取无标注目标域数据集中图像相应的标签数据。首先,从目标检测网络步骤S40获取无标注目标域数据集中图像检测框结果,统计所有检测框置信度得分总和并计算每个检测框置信度平均得分,将置信度平均得分设置并更新为后续模型迭代更新的置信度阈值超参数;其次,将当前计算得到的图像检测框置信度平均得分值设置为过滤阈值,对置信度得分低于过滤阈值的图像检测框进行滤除操作;最后,将滤除得到的图像检测框结果,转换为对应图像的标签数据格式,更新当前目标域数据集标签数据,并将其输出到已标注目标域数据集生成模块步骤S60。
已标注目标域数据集生成模块步骤S60:首先,从所述伪标签生成模块步骤S50和数据读取模块步骤S10分别获取目标域数据集标签数据和目标域数据集图像数据,构建已标注目标域数据集;然后,将获取得到的已标注目标域数据集输入到目标检测网络步骤S40进行迭代更新与优化,重新更新已标注目标域数据集中标签数据;最后,当模型达到循环更新次数,则停止模型的迭代更新,并对已标注目标域数据集进行输出。
输出已标注目标域数据集步骤S70:从所述伪标签生成模块步骤S60获取已标注目标域数据集,实现目标域数据集图像的自动标注功能。
本发明原理:
首先,利用生成对抗网络比如DiscoGAN,DualGAN,CycleGAN等,以对抗学习的方式训练网络学习不同目标场景或者类别间图像域之间的域映射关系,实现源域图像和目标域图像间的图像转换操作,生成与目标域图像具有相似特征的中间域合成图像,并结合源域数据集标签数据,构建已标注中间域合成数据集。
其次,利用中间域合成数据集训练深度学习模型比如SSD,Faster R-CNN或Yolov3等获取目标域图像检测能力,输入目标域图像获取检测框结果并将检测框信息转换成对应目标域图像标签信息,实现对目标域图像标签数据的自动获取。
最后,利用获取的目标域图像标签数据构建已标注目标域数据集,对深度学习模型进行迭代更新与优化,同时对获取的目标域图像进行噪声标签的滤除,获取更精确的目标域图像检测框结果,实现高质量的目标域图像标签数据。
与现有技术相比,本发明提出的一种基于域适应的可自主学习数据标签生成方法可在已有的已标注源域数据集基础上,应用于多种不同目标场景或者类别的数据集自动标注工作,从而无需对不同应用场景下的图像数据集重新进行大量的人工数据集标注工作,节约劳动力成本并提高工作效率。并且本发明对获取的数据集标签数据集进一步采用了噪声去除和循环更新操作,有效提高数据集标注质量,生成更高质量数据集标签数据。
附图说明
图1本专利提供的一种基于域适应的可自主学习数据标签生成方法的代表图。
图2相关专利提供的一种基于CycleGAN与伪标签的目标检测自适应模型的流程图。
图3本专利实施例提供的一种图像转换模块的流程图。
图4本专利实施例提供的一种目标检测网络模块的流程图。
图5本专利实施例提供的一种置信度阈值自动更新子模块的流程图。
图6本专利实施例提供的一种伪标签噪声去除子模块的流程图。
图7本专利实施例提供的一种已标注目标域数据集生成模块的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。下面通过具体实施例对本发明进行详细说明。
本发明实施例提供的方法示意图如图1所示,包括如下步骤:
步骤S10:数据读取模块
步骤S20:图像转换模块
步骤S30:中间域合成数据集生成模块
步骤S40:目标检测网络模块
步骤S50:伪标签生成模块
步骤S60:已标注目标域数据集生成模块
步骤S70:输出已标注目标域数据集
在本实施例中,已标注源域数据集记为IS和lS分别表示源域数据集图像数据和对应的标签数据,NS表示源域数据集图片数量;无标注目标域数据集记为/>IT和NT分别表示无标注目标域数据集图像数据和图片数量。其中,源域数据集和目标域数据集可以表示不同目标场景或者不同目标类别的图像数据集,比如晴天和雾天情况下车辆数据集、果园中不同类别的果实数据集等。
本实施方式中数据读取模块步骤S10:从已标注源域数据集DS和无标注目标域数据集DT获取相关图像数据和标签数据,具体包括以下步骤:
步骤S110:从所述已标注源域数据集DS进行读取,将已标注源域数据集DS的图像数据和标签数据/>分别输出到图像转换模块步骤S20和中间域合成数据集生成模块步骤S30。
步骤S120:从所述无标注目标域数据集DT进行读取,将无标注目标域数据集DT的图像数据分别输出到图像转换模块步骤S20、目标检测网络模块步骤S40和已标注目标域数据集生成模块步骤S60。
本实施方式中图像转换模块步骤S20:利用已标注源域数据集Ds的图像数据和无标注目标域数据集DT的图像数据/>联合输入生成对抗网络模型比如DiscoGAN,DualGAN,CycleGAN训练学习不同图像域之间的域映射关系,实现不同类别图像转换操作。实施步骤如图3所示,具体包括以下步骤:
步骤S210:从所述步骤S110获取已标注源域数据集中图像数据将其输出到步骤S230。
步骤S220:从所述步骤S120获取无标注目标域数据集中图像数据将其输出到步骤S230。
步骤S230:从所述步骤S210和步骤S220中分别获取源域图像数据和目标域图像数据/>联合构建图像训练集;然后,调整并设置生成对抗网络CycleGAN相关参数信息并将图像训练集输入CycleGAN网络,训练学习源域图像和目标域图像间图像分布映射关系,记CycleGAN网络为M1,训练得到的相关网络权重参数为w1。
步骤S240:从所述步骤S110获取已标注源域数据集Ds中图像数据将其输入到步骤S230训练得到的CycleGAN网络M1,进行源域图像到目标域图像的图像转换操作。
步骤S250:利用CycleGAN网络M1,根据公式 获取与目标域图像具有相似特征的中间域合成图像数据/>
步骤S260:从所述步骤S250获取中间域合成图像数据将其输出到中间域合成数据集生成模块步骤S30。
本实施方式中中间域合成数据集生成模块步骤S30:首先,从所述的步骤S110和步骤S260分别获取已标注源域数据集Ds中图像标签数据和中间域合成图像数据然后,由于源域图像与合成图像之间的转换主要是目标果实颜色、纹理等低级特征发生了转换,位置信息和轮廓特征未发生变化;因此,可利用已标注源域数据集Ds中图像标签数据构建已标注中间域合成数据集/> 最后,将中间域合成数据集DSyn输出到目标检测网络模块步骤S40。
本实施方式中目标检测网络模块步骤S40:利用中间域合成数据集DSyn或者已标注目标域数据集作为目标检测网络训练集,训练或者微调目标检测网络Yolov3,获取无标注目标域数据集中图像检测能力。实施步骤如图4所示,具体包括以下步骤:
步骤S410:从所述中间域合成数据集生成模块步骤S30获取中间域合成数据集DSyn,或者从所述步骤S660获取已标注目标域数据集将其输出到步骤S420。
步骤S420:从所述步骤S410获取图像数据集并输入目标检测网络Yolov3,设置Yolov3网络训练迭代次数并调整网络进行训练,获取无标注目标域数据集DT中目标域图像检测能力,记目标检测模型Yolov3为M2,训练得到的相关网络权重参数为w2。
步骤S430:从所述步骤S120获取无标注目标域数据集DT的图像数据将其输入到步骤S420训练得到的目标检测网络Yolov3。
步骤S440:调整目标检测网络Yolov3,设置初始或者动态更新后的置信度阈值参数θ值,其中0≤θ≤1。
步骤S450:测试目标检测网络Yolov3,根据公式 获取无标注目标域数据集DT中目标检测框信息,其中,Ni表示第i张目标域图像得到的检测框数量,/>表示第i张目标域图像的第j个目标检测框结果,b=(xmin,ymin,xmax,ymax,Conf),xmin,ymin,xmax,ymax分别表示目标检测框在对应图像像素坐标系中左上角点横坐标、左上角点纵坐标、右下角点横坐标和右下角点纵坐标,Conf表示目标检测框置信度得分,即检测框中包含正样本目标的可能性概率,得分值范围在0≤conf≤1。
步骤S460:从所述步骤S450获取无标注目标域数据集DT中目标域图像检测结果将其输入到步骤S510-1。
本实施方式中伪标签生成模块步骤S50:首先,对步骤S460输出的无标注目标域数据集DT中目标域图像检测结果进行置信度得分分析,并动态更新当前目标检测网络置信度阈值参数;然后,根据获取的置信度阈值参数值,对无标注目标域数据集DT中整体图像检测框结果/>进行噪声滤除操作;最后,将滤除后的目标域图像检测框结果转换为图像标签格式,获取对应目标域图像标签数据。其中,该步骤包含置信度阈值自动更新子模块步骤S510、伪标签噪声去除子模块步骤S520和伪标签循环更新子模块步骤S530,具体包括以下步骤:
置信度阈值自动更新子模块步骤S510:对所述步骤S460输出的无标注目标域数据集DT中图像检测框结果进行置信度得分分析,并动态更新当前目标检测网络置信度阈值参数值。实施步骤如图5所示,具体包括以下步骤:
步骤S510-1:接收所述步骤S460输出的无标注目标域数据集DT中图像检测结果
步骤S510-2:根据公式统计无标注目标域数据集DT中所有图像数据检测框置信度得分总和,其中Score()函数表示对所有目标域图像检测框置信度得分进行统计总和。
步骤S510-3:根据公式计算无标注目标域数据集DT中目标域图像检测框置信度平均得分Saver。
步骤S510-4:从所述步骤S510-3获取无标注目标域数据集DT中目标域图像检测框置信度平均得分Saver,动态更新为当前目标检测网络置信度阈值参数θ,应用于后续目标检测网络的迭代更新与优化。
步骤S510-5:从所述步骤S510-4获取更新后的目标检测网络置信度阈值参数值θ,将其输出到步骤S520-1。
伪标签噪声去除子模块S520:对所述无标注目标域数据集Dt的图像检测框结果进行噪声滤除操作,获取更高质量的图像检测框结果。实施步骤如图6所示,具体包括以下步骤:
步骤S520-1:从所述步骤S510-5获取当前目标检测网络置信度阈值参数值θ。
步骤S520-2:对无标注目标域数据集Dt中所有图像检测框结果进行遍历操作,将各个图像检测框结果输入步骤S520-3进行条件判断,并进行后续操作。
步骤S520-3:从所述步骤S520-2获取无标注目标域数据集DT中所有图像的检测框结果,依次对各个图像检测框结果进行条件判断操作;当图像中检测框置信度得分值高于当前置信度阈值参数值,则执行步骤S520-4;否则,则执行步骤S520-5。
步骤S520-4:对满足步骤S520-3判断条件的无标注目标域数据集DT中图像检测框结果进行保存操作。
步骤S520-5:对不满足步骤S520-3判断条件的无标注目标域数据集DT中图像检测框结果进行滤除操作。
步骤S520-6:从所述步骤S520-4获取滤除后的无标注目标域数据集DT的图像检测信息,将其输入到步骤S530。
伪标签循环更新子模块步骤S530:首先,从所述步骤S520-6获取滤除后的无标注目标域数据集DT的图像检测框信息;然后,将图像检测框信息格式b=(xmin,ymin,xmax,ymax,Conf)转换为目标域图像数据标签格式lT=(xMIn,ymin,xmax,ymax),记获得的无标注目标域数据集DT的标签数据为最后,将获得的目标域图像标签数据/>输出到已标注目标域数据集生成模块步骤S60。
本实施方式中已标注目标域数据集生成模块步骤S60:该模块通过接收无标注目标域数据集DT中图像数据和相应标签数据/>构建已标注目标域数据集/>并对目标检测网络Yolov3进行迭代更新操作,提高目标域图像标签质量。实施步骤如图7所示,具体包括以下步骤:
步骤S610:从所述步骤S530获取无标注目标域数据集DT的图像标签数据将其输出到步骤S630中。
步骤S620:从所述步骤S120获取无标注目标域数据集DT的图像数据将其输出到步骤S630中。
步骤S630:从所述步骤S610和步骤S620分别获取无标注目标域数据集Dt的图像标签数据和图像数据/>构建已标注目标域数据集/>
步骤S640:判断目标检测网络微调次数,当网络达到微调次数,则执行步骤S650;否则,执行步骤S660。
步骤S650:从所述步骤S630获取已标注目标域数据集将其输出到步骤S70。
步骤S660:从所述步骤S630获取已标注目标域数据集将其输出到步骤S40,微调更新目标检测网络,并进一步执行目标域数据集中图像标签数据的更新操作。
输出已标注目标域数据集步骤S70:从所述步骤S650获取已标注目标域数据集并输出,实现无标注目标域数据集的自动标注功能。
以上所述仅为本发明的较佳实例,并不用以限制本发明,凡在本发明的精神和原则之内,所做的修改、等同替换、改进等,均应包含在发明的保护范围之内。
Claims (4)
1.一种基于域适应的可自主学习数据标签生成方法,其特征在于:该方法首先利用生成对抗网络,实现源域图像到目标域图像之间的图像转换,并结合源域数据集标签数据构建已标注中间域合成数据集;然后,利用已标注中间域合成数据集训练目标检测网络,并输入无标注目标域数据集中图像数据获取对应的图像检测框结果;接着,对当前目标检测网络置信度阈值参数值进行动态更新操作,同时对检测框结果进行噪声滤除、循环更新操作,并将检测框结果转换为图像标签数据格式;最后,输出图像标签数据,并结合相应的目标域图像数据构建已标注目标域数据集,实现目标域数据集的自动标注功能;
方法包括数据读取模块步骤S10、图像转换模块步骤S20、中间域合成数据集生成模块步骤S30、目标检测网络模块步骤S40、伪标签生成模块步骤S50、已标注目标域数据集生成模块步骤S60和输出已标注目标域数据集步骤S70;
各模块的具体功能如下:
数据集读取模块步骤S10:图像数据集库由已标注源域数据集和无标注目标域数据集构成,该模块步骤实现数据读取功能;读取所述已标注源域数据集,分别将源域图像数据和标签数据输出到图像转换模块步骤S20和中间域合成数据集生成模块步骤S30;读取所述无标注目标域数据集,将目标域图像数据分别输出到图像转换模块步骤S20和目标检测网络模块步骤S40;
图像转换模块步骤S20:该模块步骤利用生成对抗网络,实现不同目标场景或者类别间的图像转换功能;首先,从所述数据读取模块S10读取已标注源域数据集图像数据和无标注目标域数据集图像数据,构建图像训练集输入到生成对抗网络;其次,训练生成对抗网络学习两个图像域即源域和目标域之间图像分布的域映射关系,实现不同目标场景或者类别间的图像转换操作;接着,读取所述数据读取模块步骤S120输出的已标注源域数据集中图像数据,输入到训练好的生成对抗网络获取中间域合成图像数据;最后,将所述的中间域合成图像数据输出到中间域合成数据集生成模块步骤S30;
中间域合成数据集生成模块步骤S30:该模块步骤实现已标注中间域合成数据集的构建;首先,从所述数据读取模块步骤S10和图像转换模块步骤S20分别读取已标注源域数据集中标签数据和中间域合成图像数据,构建已标注中间域合成数据集,并将所述的已标注中间域合成数据集输出到目标检测网络模块步骤S40;
目标检测网络模块步骤S40: 该模块步骤通过应用深度学习检测模型,获取无标注目标域图像检测框结果;首先,从所述中间域合成数据集生成模块步骤S30获取已标注中间域合成数据集,将其输入到深度学习模型进行模型的训练学习;接着,从所述数据读取模块步骤S120获取无标注目标域数据集中图像数据,输入深度学习模型进行测试,获取无标注目标域数据集中图像数据的检测框结果;最后,将目标域图像检测框结果输出到伪标签生成模块步骤S50;
伪标签生成模块步骤S50:该模块步骤实现对模型置信度阈值参数的自动更新操作,同时对无标注目标域图像检测框结果进行噪声滤除,获取无标注目标域数据集中图像相应的标签数据;首先,从目标检测网络步骤S40获取无标注目标域数据集中图像检测框结果,统计所有检测框置信度得分总和并计算每个检测框置信度平均得分,将置信度平均得分设置并更新为后续模型迭代更新的置信度阈值超参数;其次,将当前计算得到的图像检测框置信度平均得分值设置为过滤阈值,对置信度得分低于过滤阈值的图像检测框进行滤除操作;最后,将滤除得到的图像检测框结果,转换为对应图像的标签数据格式,更新当前目标域数据集标签数据,并将其输出到已标注目标域数据集生成模块步骤S60;
已标注目标域数据集生成模块步骤S60:首先,从所述伪标签生成模块步骤S50和数据读取模块步骤S10分别获取目标域数据集标签数据和目标域数据集图像数据,构建已标注目标域数据集;然后,将获取得到的已标注目标域数据集输入到目标检测网络步骤S40进行迭代更新与优化,重新更新已标注目标域数据集中标签数据;最后,当模型达到循环更新次数,则停止模型的迭代更新,并对已标注目标域数据集进行输出;
输出已标注目标域数据集步骤S70:从所述伪标签生成模块步骤S60获取已标注目标域数据集,实现目标域数据集图像的自动标注功能。
2.根据权利要求1所述的一种基于域适应的可自主学习数据标签生成方法,其特征在于:生成对抗网络包括DiscoGAN, DualGAN, CycleGAN,以对抗学习的方式训练网络学习不同目标场景或者类别间图像域之间的域映射关系,实现源域图像和目标域图像间的图像转换操作,生成与目标域图像具有相似特征的中间域合成图像,并结合源域数据集标签数据,构建已标注中间域合成数据集。
3.根据权利要求1所述的一种基于域适应的可自主学习数据标签生成方法,其特征在于:中间域合成数据集训练深度学习模型包括SSD, Faster R-CNN或Yolov3获取目标域图像检测能力,输入目标域图像获取检测框结果并将检测框信息转换成对应目标域图像标签信息,实现对目标域图像标签数据的自动获取。
4.根据权利要求1所述的一种基于域适应的可自主学习数据标签生成方法,其特征在于:利用获取的目标域图像标签数据构建已标注目标域数据集,对深度学习模型进行迭代更新与优化,同时对获取的目标域图像进行噪声标签的滤除,获取更精确的目标域图像检测框结果,实现高质量的目标域图像标签数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110488161.XA CN113378830B (zh) | 2021-05-06 | 2021-05-06 | 一种基于域适应的可自主学习数据标签生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110488161.XA CN113378830B (zh) | 2021-05-06 | 2021-05-06 | 一种基于域适应的可自主学习数据标签生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113378830A CN113378830A (zh) | 2021-09-10 |
CN113378830B true CN113378830B (zh) | 2024-05-28 |
Family
ID=77570555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110488161.XA Active CN113378830B (zh) | 2021-05-06 | 2021-05-06 | 一种基于域适应的可自主学习数据标签生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113378830B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113869307A (zh) * | 2021-09-16 | 2021-12-31 | 中国农业科学院农业资源与农业区划研究所 | 一种跨类别果实数据集自动标注系统和方法 |
CN114612744A (zh) * | 2022-03-10 | 2022-06-10 | 平安科技(深圳)有限公司 | 一种检测模型训练方法、车辆损伤检测方法及终端设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034125A (zh) * | 2018-08-30 | 2018-12-18 | 北京工业大学 | 基于场景复杂度的行人检测方法与系统 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
CN111882055A (zh) * | 2020-06-15 | 2020-11-03 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
CN112489076A (zh) * | 2020-12-06 | 2021-03-12 | 北京工业大学 | 一种多目标跟踪方法与系统 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11176477B2 (en) * | 2018-02-06 | 2021-11-16 | Hrl Laboratories, Llc | System and method for unsupervised domain adaptation via sliced-wasserstein distance |
-
2021
- 2021-05-06 CN CN202110488161.XA patent/CN113378830B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034125A (zh) * | 2018-08-30 | 2018-12-18 | 北京工业大学 | 基于场景复杂度的行人检测方法与系统 |
CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
CN111882055A (zh) * | 2020-06-15 | 2020-11-03 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
CN112489076A (zh) * | 2020-12-06 | 2021-03-12 | 北京工业大学 | 一种多目标跟踪方法与系统 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
Non-Patent Citations (1)
Title |
---|
基于主动学习的半监督领域自适应方法研究;姚明海;黄展聪;;高技术通讯;20200815(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113378830A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
JP6866495B2 (ja) | 画像品質の評価方法及び画像品質の評価システム | |
CN113378830B (zh) | 一种基于域适应的可自主学习数据标签生成方法 | |
CN109522900B (zh) | 自然场景文字识别方法及装置 | |
CN112215822B (zh) | 一种基于轻量级回归网络的人脸图像质量评估方法 | |
CN110796143A (zh) | 一种基于人机协同的场景文本识别方法 | |
CN115861738A (zh) | 一种类别语义信息引导的遥感目标检测主动采样方法 | |
CN115861229A (zh) | 一种基于YOLOv5s元器件封装缺陷X射线检测方法 | |
CN111291705A (zh) | 一种跨多目标域行人重识别方法 | |
CN113743203A (zh) | 基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备 | |
CN116912673A (zh) | 一种基于水下光学图像的目标检测方法 | |
CN117173223A (zh) | 电表断码屏的标准模板生成方法、装置、设备及介质 | |
CN115471773B (zh) | 一种面向智慧教室的学生跟踪方法及系统 | |
CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
CN116310293A (zh) | 一种基于弱监督学习的生成高质量候选框目标检测方法 | |
CN114067359B (zh) | 融合人体关键点与可见部位注意力特征的行人检测方法 | |
CN115359468A (zh) | 一种目标网站识别方法、装置、设备及介质 | |
CN113807173A (zh) | 一种车道线数据集的构建标注方法及应用系统 | |
Meena Deshpande | License Plate Detection and Recognition using YOLO v4 | |
CN113869307A (zh) | 一种跨类别果实数据集自动标注系统和方法 | |
CN110930519A (zh) | 基于环境理解的语义orb-slam感知方法及装置 | |
CN112614142B (zh) | 一种基于多通道图像融合的细胞弱标签制作方法及系统 | |
CN113656644B (zh) | 手势语识别方法、装置、电子设备及存储介质 | |
CN111259843B (zh) | 基于视觉稳定特征分类配准的多媒体导航仪测试方法 | |
CN113642500B (zh) | 一种基于多阶段域自适应的低照度目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |