CN112183274A - 泥头车检测方法和计算机可读存储介质 - Google Patents
泥头车检测方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112183274A CN112183274A CN202010993906.3A CN202010993906A CN112183274A CN 112183274 A CN112183274 A CN 112183274A CN 202010993906 A CN202010993906 A CN 202010993906A CN 112183274 A CN112183274 A CN 112183274A
- Authority
- CN
- China
- Prior art keywords
- domain
- source domain
- mud head
- target
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 230000006978 adaptation Effects 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 15
- 238000005192 partition Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004927 clay Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种泥头车检测方法和计算机可读存储介质。一种泥头车检测方法，包括：采集源域下的泥头车图像以及目标域下的泥头车图像；将源域下两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；根据正样本和负样本对预设源域模型进行域适应，得到目标检测模型。本发明提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过使现有标签去适应目标测试数据，通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种泥头车检测方法，一种计算机可读存储介质。
背景技术
在迁移学习中，当源域和目标域的数据分布不同，但两个任务相同时，这种特殊的迁移学习叫做域适应(Domain Adaptation)。源域由充足的带标签数据组成，目标域由不充足的带标签数据组成。域适应的目标是从源域学习一个函数f用来适应目标域中的新数据。
目标检测是一项重要的计算机视觉任务，它旨在对图像中的目标进行定位和分类。最新的神经网络方法已大大提高了目标检测的性能。但是，这样的深度神经网络模型通常需要大规模的带标注的数据集以进行监督学习，并且当训练集和测试集不同时，不能很好地泛化。例如，两个域可能在场景，天气，光照条件和相机设置方面有所不同。此类域差异或域转移(domain-shift)会引起模型泛化问题。尽管增加同属于一个目标域的其他训练数据可以提高性能，但是收集不同天、光照条件及相机设定条件下的泥头车图片是比较困难的，且对收集的图片进行标注是耗时耗力的。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个方面在于提出了一种泥头车检测方法。
本发明的另一个方面在于提出了一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种泥头车检测方法，包括：采集源域下的泥头车图像以及目标域下的泥头车图像；将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；根据正样本和负样本对预设源域模型进行域适应，得到目标检测模型。
本发明提供的泥头车检测方法，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。本发明提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过使现有标签去适应目标测试数据，通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。
其中，预设源域模型的网络结构为Faster-RCNN-FPN网络结构，其中，FPN(FeaturePyramid Network)就是所谓的金字塔结构的检测器，把FPN融合到Faster-RCNN中，即得到Faster-RCNN-FPN。源域和目标域下的泥头车图像可能在场景，天气，光照条件和相机设置方面有所不同，但不限于此。
根据本发明的上述泥头车检测方法，还可以具有以下技术特征：
在上述技术方案中，根据正样本和负样本对预设源域模型进行域适应的步骤，具体包括：基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应。
在该技术方案中，对根据正样本和负样本对预设源域模型进行域适应的方法进行了限定。具体地，在VGG-16网络relu5_3特征层上设置三种尺寸(256×256，160×160，96×96)和三种比率的(1:2，1:1，2:1)的栅格窗口，利用分割池(split pooling)提取局部特征，源域的特征图(图像级)切分成若干小块(patch)，同样目标域的特征图(图像级)切分成若干小块(patch)，即得到若干图像级别的源域特征块和目标域特征块。采用成对采样机制，按照两种方式组对，两个不同的源域特征块组成第一正样本，源域特征块和目标域特征块组成第一负样本。根据第一正样本和第一负样本在图像级别上对预设源域模型进行域适应。通过本发明的技术方案，采用基于分割池采样的特征配对机制，在图像级别上对成对的特征进行域适配，实现全局级别的域适应。
其中，VGG-16网络是一种深度卷积神经网络，这个数字16，就是指在这个网络中包含16个卷积层和全连接层。
在上述任一技术方案中，根据正样本和负样本对预设源域模型进行域适应的步骤，具体还包括：对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；根据第二正样本和第二负样本对预设源域模型进行实例级别的域适应。
在该技术方案中，为了缓解目标实例的域偏移，实现在图像级别上成对的域适应之后，采用基于实例的感兴趣区域ROI(Region of Interest)采样的特征配对机制，在目标实例级别上对成对的特征进行域适应。具体地，利用Faster R-CNN网络对所有的正样本和所有的负样本进行预设感兴趣区域ROI的获取，这里预设感兴趣区域ROI代表一个物体，即泥头车。获得ROI特征之后，根据ROI的label类别进行分组，得到源域特征集Ois和目标域特征集Oit。采用成对采样的机制，将源域特征集Ois中两个不同的源域特征nis成对组成第二正样本，即Ni1＝{(nis,nis)}；将源域特征集Ois中的一个源域特征nis与目标域特征集Oit中的另一个目标域特征nit成对组成第二负样本，即Ni2＝{(nis,nit)}。根据第二正样本和第二负样本在实例级别上对预设源域模型进行域适应。通过本发明的技术方案，采用基于实例的ROI采样的特征配对机制，在目标实例级别上对成对的特征进行域适配，从而得到目标检测模型，目标检测模型能很好地检测目标域下的泥头车。
需要说明的是，跟Faster R-CNN中不同的是：foreground(前景)ROI设置更高的交并比IOU(Intersection over Union)阈值为0.7，Faster R-CNN IOU阈值是0.5。
Faster R-CNN(其中R对应“Region(区域)”)是基于深度学习R-CNN的目标检测算法。
在上述任一技术方案中，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应的步骤，具体包括：根据第一正样本和第一负样本，采用生成式对抗网络GAN对预设源域模型进行训练。
在该技术方案中，使用GAN(Generative Adversarial Networks)的网络结构对预设源域模型进行优化，达到判别器(Discriminator)和生成器(Generator)的动态平衡，判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器。
在上述任一技术方案中，根据第二正样本和第二负样本对预设源域模型进行图像级别的域适应的步骤，具体包括：根据第二正样本和第二负样本，采用生成式对抗网络GAN对预设源域模型进行训练。
在该技术方案中，采用GAN的网络结构进行优化训练，达到判别器和生成器的动态平衡。判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器，可实现在语义上对齐目标外观，同时避免了类之间的混淆。从而训练出一个新的目标检测函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。
在上述任一技术方案中，泥头车检测方法还包括：对预设源域模型的特征进行正则化。
在该技术方案中，为解决训练不稳定的问题，为使目标检测模型避免过度拟合，并从少量的目标数据样本中获益。对预设源域模型进行特征正则化，目的使得源域样本经过域适应之后的特征提取器ft和初始时拥有的仅有源域样本训练的特征提取器fs要尽可能一致，采用L2正则，即：；
因为我们的任务是目标检测，更关注的是图像的前景目标本身，所以要求源域样本xs经过特征提取器ft之后的前景部分变化不大，故Lreg修正为：
其中，Lreg为正则化损失函数，E表示求期望，xs表示单个源域样本，Xs表示源域样本集合，w表示feature map(特征图)的宽，h表示featuremap(特征图)的高，fs为源域样本特征提取器，ft为目标域样本特征提取器，M为前景的mask，k为正例掩码位置的个数。
在上述任一技术方案中，还包括：根据源域下的泥头车图像对待训练模型进行训练，得到预设源域模型。
在该技术方案中，源域包括大量带标签的数据，通过源域样本对待训练模型进行训练得到预设源域模型，然后利用源域图像下的数据和少量的目标域数据，对预设源域模型进行域适应，从而从源域学习一个新的函数，即目标检测模型，这个模型能够很好的检测目标域下的泥头车。
在上述任一技术方案中，源域下的泥头车图像为正常天气下的泥头车图像；目标域下的泥头车图像为恶劣天气下的泥头车图像。
在该技术方案中，采集大量正常天气下的泥头车图像，如2万张，作为源域样本，采集少量恶劣天气下的泥头车图像，如100张，作为目标域样本。
在上述任一技术方案中，泥头车检测方法还包括：将目标检测模型部署成服务以供工程调用。
在该技术方案中，将采用域适应训练好的目标检测模型部署成服务供工程调用，约定好服务接口，传入图像url(uniform resource locator)地址，即网络地址，返回检测结果。
根据本发明的另一个方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案的泥头车检测方法。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一技术方案的泥头车检测方法的步骤，因此该计算机可读存储介质包括上述任一技术方案的泥头车检测方法的全部有益效果。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的一个实施例的泥头车检测方法的流程示意图；
图2示出了本发明的另一个实施例的泥头车检测方法的流程示意图；
图3示出了本发明的再一个实施例的泥头车检测方法的流程示意图；
图4示出了本发明的又一个实施例的泥头车检测方法的流程示意图；
图5示出了本发明的又一个实施例的泥头车检测方法的流程示意图；
图6示出了本发明的一个实施例的泥头车检测方法的逻辑示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
根据本发明的一个方面的实施例，提出了一种泥头车检测方法。
图1示出了本发明的一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：
步骤102，采集源域下的泥头车图像以及目标域下的泥头车图像；
步骤104，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；
步骤106，根据正样本和负样本对预设源域模型进行域适应，得到目标检测模型；
步骤108，采用目标检测模型对泥头车进行检测。
本发明实施例提供的泥头车检测方法，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。本发明提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。
其中，预设源域模型的网络结构为Faster-RCNN-FPN网络结构。源域和目标域下的泥头车图像可能在场景，天气，光照条件和相机设置方面有所不同，但不限于此。
图2示出了本发明的另一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：
步骤202，采集源域下的泥头车图像以及目标域下的泥头车图像；
步骤204，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；
步骤206，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；
步骤208，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；
步骤210，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应。
在该实施例中，对根据正样本和负样本对预设源域模型进行域适应的方法进行了限定。具体地，在VGG-16网络relu5_3特征层上设置三种尺寸(256×256，160×160，96×96)和三种比率的(1:2，1:1，2:1)的栅格窗口，利用分割池(split pooling)提取局部特征，源域的特征图(图像级)切分成若干小块(patch)，同样目标域的特征图(图像级)切分成若干小块(patch)，即得到若干图像级别的源域特征块和目标域特征块。采用成对采样机制，按照两种方式组对，两个不同的源域特征块组成第一正样本，源域特征块和目标域特征块组成第一负样本。根据第一正样本和第一负样本在图像级别上对预设源域模型进行域适应。通过本发明的实施例，采用基于分割池采样的特征配对机制，在图像级别上对成对的特征进行域适配，实现全局级别的域适应。
其中，VGG-16网络是一种深度卷积神经网络，这个数字16，就是指在这个网络中包含16个卷积层和全连接层。
图3示出了本发明的再一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：
步骤302，采集源域下的泥头车图像以及目标域下的泥头车图像；
步骤304，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；
步骤306，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；
步骤308，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；
步骤310，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应；
步骤312，对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；
步骤314，将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；
步骤316，根据第二正样本和第二负样本对预设源域模型进行实例级别的域适应。
在该实施例中，为了缓解目标实例的域偏移，实现在图像级别上成对的域适应之后，采用基于实例的感兴趣区域ROI采样的特征配对机制，在目标实例级别上对成对的特征进行域适应。具体地，利用Faster R-CNN网络对所有的正样本和所有的负样本进行预设感兴趣区域ROI的获取，这里预设感兴趣区域ROI代表一个物体，即泥头车。获得ROI特征之后，根据ROI的label类别进行分组，得到源域特征集Ois和目标域特征集Oit。采用成对采样的机制，将源域特征集Ois中两个不同的源域特征nis成对组成第二正样本，即Ni1＝{(nis,nis)}；将源域特征集Ois中的一个源域特征nis与目标域特征集Oit中的另一个目标域特征nit成对组成第二负样本，即Ni2＝{(nis,nit)}。根据第二正样本和第二负样本在实例级别上对预设源域模型进行域适应。通过本发明的实施例，采用基于实例的ROI采样的特征配对机制，在目标实例级别上对成对的特征进行域适配，从而得到目标检测模型，目标检测模型能很好地检测目标域下的泥头车。
需要说明的是，跟Faster R-CNN中不同的是：foreground(前景)ROI设置更高的交并比IOU(Intersection over Union)阈值为0.7，Faster R-CNN IOU阈值是0.5。
Faster R-CNN(其中R对应“Region(区域)”)是基于深度学习R-CNN的目标检测算法。
图4示出了本发明的又一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：
步骤402，采集源域下的泥头车图像以及目标域下的泥头车图像；
步骤404，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；
步骤406，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；
步骤408，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；
步骤410，根据第一正样本和第一负样本，采用生成式对抗网络GAN对预设源域模型进行训练；
步骤412，对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；
步骤414，将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；
步骤416，根据第二正样本和第二负样本，采用生成式对抗网络GAN对预设源域模型进行训练。
在该实施例中，对采集到的泥头车图像采用成对训练的方式利用GAN结构分别进行图像级别和实例级别域适应。达到判别器和生成器的动态平衡，判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器，可实现在语义上对齐目标外观，同时避免了类之间的混淆。从而训练出一个新的目标检测函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。
在上述任一实施例中，泥头车检测方法还包括：对预设源域模型的特征进行正则化。
在该实施例中，为解决训练不稳定的问题，为使目标检测模型避免过度拟合，并从少量的目标数据样本中获益。对预设源域模型进行特征正则化，目的使得源域样本经过域适应之后的特征提取器(记做ft)和初始时拥有的仅有源域样本训练的特征提取器fs要尽可能一致，采用Lreg正则，即：
因为我们的任务是目标检测，更关注的是图像的前景目标本身，所以要求源域样本xs经过特征提取器ft之后的前景部分变化不大，故Lreg修正为：
其中，Lreg为正则化损失函数，E表示求期望，xs表示单个源域样本，Xs表示源域样本集合，w表示feature map(特征图)的宽，h表示featuremap(特征图)的高，fs为源域样本特征提取器，ft为目标域样本特征提取器，M为前景的mask，k为正例掩码位置的个数。
在上述任一实施例中，还包括：根据源域下的泥头车图像对待训练模型进行训练，得到预设源域模型。
在该实施例中，源域包括大量带标签的数据，通过源域样本对待训练模型进行训练得到预设源域模型，利用源域图像下的数据和少量的目标域数据，对预设源域模型进行域适应，从而从源域学习一个新的函数，即目标检测模型，这个模型能够很好的检测目标域下的泥头车。
在上述任一实施例中，源域下的泥头车图像为正常天气下的泥头车图像；目标域下的泥头车图像为恶劣天气下的泥头车图像。
在该实施例中，采集大量正常天气下的泥头车图像，如2万张，作为源域样本，采集少量恶劣天气下的泥头车图像，如100张，作为目标域样本。
图5示出了本发明的又一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：
步骤502，采集源域下的泥头车图像以及目标域下的泥头车图像；
步骤504，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；
步骤506，根据正样本和负样本对预设源域模型进行域适应，并且在域适应过程中对预设源域模型的特征进行正则化，得到目标检测模型；
步骤508，将目标检测模型部署成服务以供工程调用，以对泥头车检测。
在该实施例中，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，并在域适应过程中，对预设源域模型的特征进行正则化，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。将目标检测模型部署成服务供工程调用，约定好服务接口，传入图像地址，如url地址，返回检测结果。通过本实施例提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。
图6示出了本发明的一个实施例的泥头车检测方法的逻辑示意图。其中，该泥头车检测方法主要分为以下几步骤：
1、数据收集：收集正常环境和恶劣天气下的泥头车图片；
2、图像级别域适应：实现在图像级别上成对的特征域适应；
3、实例级别域适应：实现在实例级别上成对的特征域适应；
4、源域模型特征正则化：针对图片的前景目标进行正则化；
5、工程应用：将域适应训练好的模型部署成服务供工程调用。
其中，模型即目标检测模型。
本发明各实施例提供的泥头车检测方法，对采集到的泥头车图像采用成对训练的方式，利用GAN结构分别进行图像级别和实例级别域适应，且在训练过程中运用源域模型特征正则化策略来获得小样本域适应下的目标检测模型。成对训练方法如下：将采集到的正常环境(具体为正常天气)和恶劣环境(具体为恶劣天气)下的泥头车图像进行配对：源域对Gs1＝(Dumpers,Dumpers)，即正样本，和源域-目标域对Gs2＝(Dumpers,Dumpert)，即负样本。其中Dumpers是正常环境下的泥头车图像，Dumpert是恶劣环境下的泥头车图像。如果源域(正常环境)样本Dumpers有n个，目标域(恶劣环境)样本Dumpert有m个(n>m)，那么现有技术中，采用GAN的结构进行域适应模型训练，将正常环境下的泥头车图片作为正样本、恶劣环境下的图片作为负样本，由于恶劣环境下泥头车数量少(收集困难)，最后负样本的个数仅仅只有m个，因为是小样本，训练出来的效果也会十分的差。但是如果成对训练(pairing-sampling)，正样本为(Dumpers，Dumpers)理论上正样本数量为n2个，负样本(Dumpers，Dumpert)，理论上样本数量为n×m个，虽然经过这样笛卡尔积之后的正负样本比没有变，但是负样本数量却是增多了。通过本发明实施例提供的泥头车检测方法，针对大量正常场景下的数据，少数恶劣环境下的数据情形，利用源域图像下的数据和少量的目标域数据，通过使现有标签去适应目标测试数据，通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射。利用该方案进行模型训练可针对目标域样本不足的问题、解决雨天、雾天、雪天泥头车样本少的问题。大大降低了数据采集成本，可以显著减少人工标注的时间。
其中，源域模型为通过源域下的泥头车样本训练得到，源域下的泥头车样本具体为正常天气下的泥头车图片。
根据本发明的另一个方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的泥头车检测方法。
本发明实施例提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一实施例的泥头车检测方法的步骤，因此该计算机可读存储介质包括上述任一实施例的泥头车检测方法的全部有益效果。
在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种泥头车检测方法，其特征在于，包括：
采集源域下的泥头车图像以及目标域下的泥头车图像；
将所述源域下两个不同的泥头车图像成对组成正样本，以及将所述源域下的一个泥头车图像与所述目标域下的另一个泥头车图像成对组成负样本；
根据所述正样本和所述负样本对预设源域模型进行域适应，得到目标检测模型；
采用所述目标检测模型对泥头车进行检测。
2.根据权利要求1所述的泥头车检测方法，其特征在于，所述根据所述正样本和所述负样本对预设源域模型进行域适应的步骤，具体包括：
基于分割池采样的方式对所述正样本和所述负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；
将两个不同的所述图像级别的源域特征块成对组成第一正样本，将一个所述图像级别的源域特征块和另一个所述图像级别的目标域特征块成对组成第一负样本；
根据所述第一正样本和所述第一负样本对所述预设源域模型进行图像级别的域适应。
3.根据权利要求2所述的泥头车检测方法，其特征在于，所述根据所述正样本和所述负样本对预设源域模型进行域适应的步骤，具体还包括：
对所有所述正样本和所有所述负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；
将所述源域特征集中两个不同的源域特征成对组成第二正样本，将所述源域特征集中一个所述源域特征和所述目标域特征集中另一个目标域特征成对组成第二负样本；
根据所述第二正样本和所述第二负样本对所述预设源域模型进行实例级别的域适应。
4.根据权利要求2所述的泥头车检测方法，其特征在于，所述根据所述第一正样本和所述第一负样本对所述预设源域模型进行图像级别的域适应的步骤，具体包括：
根据所述第一正样本和所述第一负样本，采用生成式对抗网络GAN对所述预设源域模型进行训练。
5.根据权利要求3所述的泥头车检测方法，其特征在于，所述根据所述第二正样本和所述第二负样本对所述预设源域模型进行实例级别的域适应的步骤，具体包括：
根据所述第二正样本和所述第二负样本，采用生成式对抗网络GAN对所述预设源域模型进行训练。
6.根据权利要求1至5中任一项所述的泥头车检测方法，其特征在于，还包括：
对所述预设源域模型的特征进行正则化。
7.根据权利要求6所述的泥头车检测方法，其特征在于，还包括：
根据所述源域下的泥头车图像对待训练模型进行训练，得到所述预设源域模型。
8.根据权利要求7所述的泥头车检测方法，其特征在于，
所述源域下的泥头车图像为正常天气下的泥头车图像；
所述目标域下的泥头车图像为恶劣天气下的泥头车图像。
9.根据权利要求8所述的泥头车检测方法，其特征在于，还包括：
将所述目标检测模型部署成服务以供工程调用。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的泥头车检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010993906.3A CN112183274A (zh) | 2020-09-21 | 2020-09-21 | 泥头车检测方法和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010993906.3A CN112183274A (zh) | 2020-09-21 | 2020-09-21 | 泥头车检测方法和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183274A true CN112183274A (zh) | 2021-01-05 |
Family
ID=73955610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010993906.3A Pending CN112183274A (zh) | 2020-09-21 | 2020-09-21 | 泥头车检测方法和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183274A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191449A (zh) * | 2021-05-18 | 2021-07-30 | 哈尔滨理工大学 | 一种基于对抗性域适应的雾天目标检测方法 |
| CN116070696A (zh) * | 2023-01-10 | 2023-05-05 | 中国兵器装备集团自动化研究所有限公司 | 一种跨域数据深度迁移方法、装置、设备及存储介质 |
| WO2023092582A1 (en) * | 2021-11-25 | 2023-06-01 | Hangzhou Innovation Institute, Beihang University | A scene adaptive target detection method based on motion foreground |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
-
2020
- 2020-09-21 CN CN202010993906.3A patent/CN112183274A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110555060A (zh) * | 2019-09-09 | 2019-12-10 | 山东省计算中心（国家超级计算济南中心） | 基于成对样本匹配的迁移学习方法 |
Non-Patent Citations (1)
| Title |
|---|
| TAO WANG 等: "Few-Shot Adaptive Faster R-CNN", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 1 - 11 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191449A (zh) * | 2021-05-18 | 2021-07-30 | 哈尔滨理工大学 | 一种基于对抗性域适应的雾天目标检测方法 |
| WO2023092582A1 (en) * | 2021-11-25 | 2023-06-01 | Hangzhou Innovation Institute, Beihang University | A scene adaptive target detection method based on motion foreground |
| CN116070696A (zh) * | 2023-01-10 | 2023-05-05 | 中国兵器装备集团自动化研究所有限公司 | 一种跨域数据深度迁移方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183274A (zh) | 泥头车检测方法和计算机可读存储介质 | |
| CN109409263B (zh) | 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法 | |
| CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
| WO2020163455A1 (en) | Automatic optimization of machine learning algorithms in the presence of target datasets | |
| CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
| KR102320985B1 (ko) | 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
| EP3690744B1 (en) | Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same | |
| US9904868B2 (en) | Visual attention detector and visual attention detection method | |
| CN111914720B (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
| CN113052184B (zh) | 一种基于两阶段局部特征对齐的目标检测方法 | |
| US20190332894A1 (en) | Method for Processing Automobile Image Data, Apparatus, and Readable Storage Medium | |
| CN109816684A (zh) | 一种基于新一代静止卫星数据的中尺度对流动态追踪方法 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| Maggiolo et al. | Improving maps from CNNs trained with sparse, scribbled ground truths using fully connected CRFs | |
| CN107274374B (zh) | 一种基于计算机视觉技术的烟雾监测方法 | |
| CN115100497A (zh) | 基于机器人的通道异常物体巡检方法、装置、设备及介质 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN113505653B (zh) | 目标检测方法、装置、设备、介质及程序产品 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| JP7078295B2 (ja) | 変状検出装置、変状検出方法、及びプログラム | |
| CN116824330A (zh) | 一种基于深度学习的小样本跨域目标检测方法 | |
| Li et al. | Multiple linear regression haze-removal model based on dark channel prior | |
| Li et al. | Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze | |
| CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN113869395A (zh) | 基于特征融合及神经网络搜索的轻量型水下目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |