CN116524339A - 目标检测方法、装置、计算机设备、存储介质和程序产品 - Google Patents
目标检测方法、装置、计算机设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116524339A CN116524339A CN202310814570.3A CN202310814570A CN116524339A CN 116524339 A CN116524339 A CN 116524339A CN 202310814570 A CN202310814570 A CN 202310814570A CN 116524339 A CN116524339 A CN 116524339A
- Authority
- CN
- China
- Prior art keywords
- network
- detection
- feature map
- training
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 592
- 238000012549 training Methods 0.000 claims abstract description 345
- 230000006978 adaptation Effects 0.000 claims abstract description 133
- 108091023037 Aptamer Proteins 0.000 claims description 126
- 238000000605 extraction Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 53
- 238000010586 diagram Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013101 initial test Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标检测方法、装置、计算机设备、存储介质和程序产品。通过获取待检物体的检测图像,根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。由于本申请实施例不再采用传统的域对抗网络进行跨域检测,而是利用目标检测模型进行跨域检测,并且,在训练阶段,检测网络采用非对抗训练得到,从而将检测网络与适配网络的训练进行解耦,使得检测网络得到的第一特征图不受干扰,提高了检测网络提取检测图像得到的第一特征图的准确性,从而提高了目标检测模型目标检测的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种目标检测方法、装置、计算机设备、存储介质和程序产品。
背景技术
随着计算机视觉的不断发展,基于神经网络的目标检测方法在无人驾驶、人脸识别、缺陷检测等领域得到了广泛的应用。其中,由于域对抗网络的迁移性较强,因此大多采用域对抗网络进行跨域目标检测。
由于域对抗网络中域判别器和梯度反转层的引入,导致域对抗网络进行跨域目标检测得到的检测结果的准确性较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高跨域目标检测的准确性的目标检测方法、装置、计算机设备、存储介质和程序产品。
第一方面,本申请提供了一种目标检测方法,该方法包括:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
本申请实施例的技术方案中,通过获取待检物体的检测图像,根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。由于本申请实施例不再采用传统的域对抗网络进行跨域检测,而是利用目标检测模型进行跨域检测,并且,在训练阶段,目标检测模型中的检测网络采用非对抗训练得到,从而将检测网络与适配网络的训练进行解耦,使得检测网络得到的第一特征图不受干扰,提高了检测网络提取检测图像得到的第一特征图的准确性,从而提高了目标检测模型目标检测的准确性。
在其中一个实施例中,适配网络包括分类适配子网络和回归适配子网络;根据检测图像和目标检测模型,确定检测图像的检测结果;包括:
将检测图像输入到检测网络中,得到第一特征图;
将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
本申请实施例的技术方案中,通过将检测图像输入到检测网络中,得到第一特征图,将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。本申请实施例中,分别采用分类适配子网络对待检物体的类型进行识别,以及利用回归适配子网络对待检物体的位置进行识别,弥补了域对抗神经网络未考虑回归的问题,使得目标检测模型在对待检物体进行类型识别的同时,还可以对待检物体进行更加准确地定位。
在其中一个实施例中,分类适配子网络包括第一特征提取模块和分类模块;将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果,包括:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
本申请实施例的技术方案中,通过将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图,将第二特征图输入到分类模块,得到待检物体的分类类型。本申请实施例中,由于第一特征图基于检测网络得到,检测网络未采用对抗训练得到,得到的第一特征图不会损失分类信息,从而基于第一特征图和第一特征提取模块进一步进行特征提取得到的第二特征图更为准确,从而使得基于分类模块和第二特征图得到的分类类型更加准确。
在其中一个实施例中,回归适配子网络包括第二特征提取模块和回归模块,将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果,包括:
将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图;
将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
本申请实施例的技术方案中,通过将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图,将第三特征图输入到回归模块,得到待检物体的位置信息。本申请实施例中,由于第一特征图基于检测网络得到,检测网络未采用对抗训练得到,得到的第一特征图不会损失回归信息,从而利用第二特征提取模块提取第一特征图的特征得到的第三特征图更为准确,从而使得基于回归模块和第三特征图得到的位置信息更加准确。
在其中一个实施例中,适配网络的训练方法包括:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络。
本申请实施例的技术方案中,通过获取训练样本集,利用初始检测网络提取训练样本集的特征得到第一样本特征图,采用第一样本特征图对初始适配网络进行训练,得到适配网络。本申请实施例中,利用第一样本特征图对初始适配网络进行对抗训练,通过对抗学习有条件地将源域样本特征图和目标域样本特征图的特征进行对齐,从而使得适配网络学习到域不变的特征,提高目标检测模型目标检测的准确性。
在其中一个实施例中,初始适配网络包括初始分类适配子网络,初始分类适配子网络包括第一初始特征提取模块、初始分类模块和第一初始判别模块;采用第一样本特征图对初始适配网络进行训练,得到适配网络,包括:
将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图;
将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果;
将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果;
根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
本申请实施例的技术方案中,将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图,将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果,以及将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果,从而根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。本申请实施例中,分类适配子网络采用对抗训练得到,可以提取到域不变特征,提高了目标检测的准确性。
在其中一个实施例中,预测分类结果包括预测分类类型和类型置信度;将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果,包括:
根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图;
将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
本申请实施例的技术方案中,根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图,将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。本申请实施例中,通过第一预设置信度从目标域样本特征图中确定第三样本特征图,可以有效减少既不是待检物体又不是背景的目标域样本特征图参与训练,改进输入空间在概率意义上的离散性,从而为基于第一判别结果得到预测精度更高的分类适配子网络奠定基础。
在其中一个实施例中,初始适配网络还包括初始回归适配子网络,初始回归适配子网络包括第二初始特征提取模块、初始回归模块和第二初始判别模块;该方法还包括:
根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图;
将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图;
将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息;
将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络;
根据中间回归适配子网络得到回归适配子网络。
本申请实施例的技术方案中,根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图,将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图,将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息,将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络,根据中间回归适配子网络得到回归适配子网络。本申请实施例中根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图,从而根据第四样本特征图得到回归适配子网络,利用分类适配子网络获得的类型置信度,从第一样本特征图中选择更适应回归适配子网络的第四样本特征图,以规避不同分类、回归不同任务之间的相互干扰,并且可以为分类、回归任务提供其特定域自适应所需的输入数据分布,提高目标检测的准确性。
在其中一个实施例中,检测网络的训练方法包括:
根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络;
根据中间检测网络得到检测网络。
本申请实施例的技术方案中,根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络,根据中间检测网络得到检测网络。本申请实施例中,利用预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练的过程不涉及对抗训练,对抗训练只在适配网络,使得检测网络与适配网络之间形成一种良好的自反馈关系,得到的检测网络具有较好的分类和定位能力。
在其中一个实施例中,根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络,包括:
确定第一训练样本集中与各实际分类类型对应的训练样本的数量;
根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重;
根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值;
根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
本申请实施例的技术方案中,确定第一训练样本集中与各实际分类类型对应的训练样本的数量,根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重,根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值,根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。本实施例中,通过赋予权重的方法,对训练样本集中训练样本数量较少的分类类型的损失值,同时适当缩小训练样本数量较多的分类类型的损失值,在损失函数层面对样本数量差异进行平衡实现损失均衡,降低了训练样本集中分类类型上的长尾分布造成的训练样本上的分类类型分布不一致的可能。
在其中一个实施例中,该方法还包括:
根据类型置信度从训练样本集中确定第五训练样本集;
根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
本申请实施例的技术方案中,根据类型置信度从训练样本集中确定第五训练样本集,根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。本申请实施例中,通过第五样本训练集对中间检测模型进一步训练,得到目标检测模型,提高了目标检测模型的鲁棒性。
第二方面,本申请还提供了一种检测模型训练方法,该方法包括:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;
根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
第三方面,本申请还提供了一种目标检测装置,装置包括:
第一获取模块,用于获取待检物体的检测图像;
第一确定模块,用于根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
第四方面,本申请还提供了一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
第五方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
第六方面,本申请还提供了一种计算机程序产品,计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1是本申请实施例提供的目标检测方法的应用环境图;
图2是本申请实施例提供的目标检测方法的流程示意图;
图3是本申请实施例提供的检测结果确定方法的流程示意图;
图4是本申请实施例提供的目标检测模型的结构框图;
图5是本申请另一实施例提供的检测结果确定方法的流程示意图;
图6是本申请另一实施例提供的检测结果确定方法的流程示意图;
图7是本申请实施例提供的适配网络的训练方法的流程示意图;
图8是本申请另一实施例提供的适配网络的训练方法的流程示意图;
图9是本申请实施例提供的第一判别结果确定方法的流程示意图;
图10是本申请实施例提供的回归适配子网络训练方法的流程示意图;
图11是本申请实施例提供的检测网络训练方法的流程示意图;
图12是本申请实施例提供的中间检测网络训练方法的流程示意图;
图13是本申请实施例提供的检测模型训练方法的流程示意图;
图14为一个实施例中目标检测装置的结构框图;
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案,因此只作为示例,而不能以此来限制本申请的保护范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。
在本申请实施例的描述中,技术术语“第一”“第二”等仅用于区别不同对象,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本申请实施例的描述中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,示例性的A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请实施例的描述中,术语“多个”指的是两个以上(包括两个),同理,“多组”指的是两组以上(包括两组),“多片”指的是两片以上(包括两片)。
在本申请实施例的描述中,除非另有明确的规定和限定,技术术语“安装”“相连”“连接”“固定”等术语应做广义理解,示例性的,可以是固定连接,也可以是可拆卸连接,或成一体;也可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请实施例中的具体含义。
随着计算机视觉的不断发展,基于神经网络的目标检测方法在无人驾驶、人脸识别、缺陷检测等领域得到了广泛的应用。其中,由于域对抗网络的迁移性较强,因此大多采用域对抗网络进行跨域目标检测。
域对抗网络包括特征提取器、分类器、梯度反转层和域判别器,由于域对抗网络中,梯度反转层的引入,使得特征提取器的目标是最大化分类器的分类精确度,且最小化域判别器的域分类精确度,而域判别器的目标是最大化域分类精确度,所以特征提取器和域判别器是通过对抗训练得到的网络。在实际应用场景中,由于特征提取器是通过对抗训练得到的网络,使得经过特征提取器得到的特征图损失了判别性信息,从而影响分类器基于特征图的分类效果,导致域对抗网络进行跨域目标检测得到的检测结果的准确性较低。
为了解决上述问题,本申请提供了一种目标检测方法,通过获取待检物体的检测图像,根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。由于本申请实施例不再采用传统的域对抗网络进行跨域检测,而是利用目标检测模型进行跨域检测,并且,在训练阶段,目标检测模型中的检测网络采用非对抗训练得到,从而将检测网络与适配网络的训练进行解耦,使得检测网络得到的第一特征图不受干扰,提高了检测网络提取检测图像得到的第一特征图的准确性,从而提高了目标检测模型目标检测的准确性。
本申请实施例提供的目标检测方法,可以应用于如图1所示的应用环境中。其中,该应用环境中包括一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示,图1是本申请实施例提供的目标检测方法的应用环境图。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标检测相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现一种目标检测方法。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为了对本申请实施例进行更清楚的介绍,在此结合图2进行说明。在一个实施例中,图2是本申请实施例提供的目标检测方法的流程示意图,如图2所示,提供了一种目标检测方法,以该方法应用于图1中的计算机设备为例进行说明,可以包括以下步骤:
S201,获取待检物体的检测图像。
在本申请实施例中,可以利用图像采集装置拍摄待检物体的检测图像,将检测图像存储至计算机设备,计算机设备可以在获取到用户触发指令后,获取待检物体的检测图像。或者,计算机设备可以周期性获取存储至计算机设备中的待检物体的检测图像。
可选的,待检物体的检测图像可以包括但不限于为电池的检测图像、车辆的检测图像。
S202,根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
在本申请实施例中,目标检测模型包括检测网络和适配网络,将检测图像输入至目标检测模型的检测网络中,得到检测图像对应的第一特征图,进一步,将第一特征图输入到适配网络中得到检测图像的检测结果。
可选的,检测结果可以包括待检物体的分类类型,或者检测结果可以包括待检物体的位置信息,或者检测结果可以包括待检物体的分类类型和待检物体的位置信息。
可选的,检测网络可以包括卷积神经网络等,也可以包括主成分分析、支持向量机算法等。示例性的,检测网络可以是FAST CNN网络。
本申请实施例中,通过仅在适配网络进行对抗学习训练,而检测网络为采用非对抗学习训练得到的,检测网络的判别性信息不会被干扰,从而提高目标检测模型目标检测的准确性。
本申请实施例的技术方案中,通过获取待检物体的检测图像,根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。由于本申请实施例不再采用传统的域对抗网络进行跨域检测,而是利用目标检测模型进行跨域检测,并且,在训练阶段,目标检测模型中的检测网络采用非对抗训练得到,从而将检测网络与适配网络的训练进行解耦,使得检测网络得到的第一特征图不受干扰,提高了检测网络提取检测图像得到的第一特征图的准确性,从而提高了目标检测模型目标检测的准确性。
图3是本申请实施例提供的检测结果确定方法的流程示意图,如图3所示,本申请实施例涉及的是如何根据检测图像和目标检测模型,确定检测图像的检测结果,上述的S202可以包括以下步骤:
S301,将检测图像输入到检测网络中,得到第一特征图。
为了对本实施例进行更清楚地介绍,在此结合图4进行说明,如图4所示,图4是本申请实施例提供的目标检测模型的结构框图。将检测图像输入到检测网络中,利用检测网络对检测图像进行特征提取,得到第一特征图。示例性的,检测网络包括多个卷积层、池化层,将检测图像输入到多个卷积层中,利用卷积算子对检测图像进行卷积,得到卷积后的特征图,再将卷积后的特征图输入到池化层,利用池化层对卷积后的特征图进行最大池化或平均池化等,得到第一特征图。
S302,将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
在本实施例中,将第一特征图输入到分类适配子网络中得到检测图像中待检物体的分类类型。示例性的,将第一特征图输入到回归适配子网络,利用回归适配子网络对缺陷位置进行识别,得到缺陷位置1的检测框和缺陷位置2的检测框,即得到缺陷位置在检测图像中的位置信息。将检测图像对应的第一特征图输入到分类适配子网络中,得到待检物体在缺陷位置1的缺陷分类类型1的概率,以及待检物体在缺陷位置2的缺陷分类类型2的概率。
示例性的,将第一特征图输入到回归适配子网络,利用回归适配子网络对物体位置进行识别,得到待检物体1的检测框和待检物体2的检测框,即得到待检物体1和待检物体2在检测图像中的位置信息。将检测图像对应的第一特征图输入到分类适配子网络中,得到待检物体1是分类类型1的概率,以及待检物体2是分类类型2的概率。若待检物体1实际为桌子,待检物体2实际为椅子,则可以得到待检物体1的检测框1以及检测框1中的物体为桌子的概率,以及得到待检物体2的检测框2以及检测框2中的物体为椅子的概率。
本申请实施例的技术方案中,通过将检测图像输入到检测网络中,得到第一特征图,将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。本申请实施例中,分别采用分类适配子网络对待检物体的类型进行识别,以及利用回归适配子网络对待检物体的位置进行识别,弥补了域对抗神经网络未考虑回归的问题,使得目标检测模型在对待检物体进行类型识别的同时,还可以对待检物体进行更加准确地定位。
图5是本申请另一实施例提供的检测结果确定方法的流程示意图,如图5所示,本申请实施例涉及的是如何将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果,上述的S302可以包括以下步骤:
S501,将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图。
在本申请实施例中,具体实施方式可参见上述S301,本申请实施例对此不做赘述。
S502,将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
可选的,分类模块可以包括全连接层和softmax组成的分类层,也可以包括随机森林、决策树等分类器。
在本申请实施例中,示例性的,分类网络为三分类网络,将第二特征图输入至全连接层和softmax,softmax将全连接层的输出映射至0-1之间的实数,得到待检物体在三个分类类型的概率,三个分类类型的概率之和为1。
本申请实施例的技术方案中,通过将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图,将第二特征图输入到分类模块,得到待检物体的分类类型。本申请实施例中,由于第一特征图基于检测网络得到,检测网络未采用对抗训练得到,得到的第一特征图不会损失分类信息,从而基于第一特征图和第一特征提取模块进一步进行特征提取得到的第二特征图更为准确,从而使得基于分类模块和第二特征图得到的分类类型更加准确。
图6是本申请另一实施例提供的检测结果确定方法的流程示意图,如图6所示,本申请实施例涉及的是如何将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果的另一种可能的实现方式,上述的S302还包括以下步骤:
S601,将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图。
在本申请实施例中,具体实施方式可参见上述S301,本申请实施例对此不做赘述。
S602,将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
可选的,回归模块可以包括目标检测网络(You Only Look Once,YOLO)网络、循环神经网络等,也可以包括交并比算法等。
在本申请实施例中,示例性的,将第三特征图输入至YOLO3网络,得到待检物体的检测框的左上角的坐标信息、宽度和高度,即待检物体的位置信息。
本申请实施例的技术方案中,通过将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图,将第三特征图输入到回归模块,得到待检物体的位置信息。本申请实施例中,由于第一特征图基于检测网络得到,检测网络未采用对抗训练得到,得到的第一特征图不会损失回归信息,从而利用第二特征提取模块提取第一特征图的特征得到第三特征,得到的第三特征图更为准确,从而使得基于回归模块和第三特征图得到的位置信息更加准确。
图7是本申请实施例提供的适配网络的训练方法的流程示意图,如图7所示,包括以下步骤:
S701,获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集。
可选的,训练样本集包括源域的第一训练样本集和目标域的第二训练样本集,第一样本集有目标物的实际分类类型和实际位置信息,第二训练样本集没有目标物的实际分类类型和实际位置信息。其中,实际位置信息指的实际检测框。
在本申请实施例中,计算机设备在获取到用户触发指令后,可以从计算机设备存储器中获取训练样本集。也可以是从网页上下载训练样本集。
S702,通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图。
在本申请实施例中,利用初始检测网络对训练样本集进行特征提取,得到第一样本特征图,第一样本特征图包括源域样本特征图和目标域样本特征图,源域样本特征图也对应有实际位置信息、实际分类类型,源域样本特征图的表现形可以包括前景建议(Proposal),前景建议包括训练样本的部分图像裁切、边界框等。
S703,采用第一样本特征图对初始适配网络进行训练,得到适配网络。
在本实施例中,利用第一特征样本特征图对初始适配网络进行对抗训练,得到适配网络。示例性的,将源域样本特征图输入至初始适配网络进行训练,得到第一样本训练集对应的第一预测检测结果,将目标域样本特征图输入至初始适配网络,得到第二训练样本集对应的第二预测检测结果,根据源域样本特征图、目标域样本特征图、第一预测检测结果、第二预测检测结果对初始适配网络进行对抗训练,得到适配网络。
本申请实施例的技术方案中,通过获取训练样本集,利用初始检测网络提取训练样本集的特征得到第一样本特征图,采用第一样本特征图对初始适配网络进行训练,得到适配网络。本申请实施例中,利用第一样本特征图对初始适配网络进行对抗训练,通过对抗学习有条件地将源域样本特征图和目标域样本特征图的特征进行对齐,从而使得适配网络学习到域不变的特征,提高目标检测模型目标检测的准确性。
图8是本申请另一实施例提供的适配网络的训练方法的流程示意图,如图8所示,本申请实施例涉及的是如何采用第一样本特征图对初始适配网络进行训练,得到适配网络的一种可能的实现方式,上述的S703可以包括以下步骤:
S801,将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图。
在本申请实施例中,具体实施方式可参见上述S301,本申请实施例对此不做赘述。
S802,将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果。
可选的,预测分类结果可以包括预测分类类型和预测类型置信度。
在本申请实施例中,示例性的,从第二样本特征图中确定源域的第二样本特征图,根据源域的第二样本特征图对初始分类模块进行训练,得到分类模块和源域的第二样本特征图对应的预测分类结果。再将第二样本特征图中目标域的第二样本特征图输入至分类模块,得到目标域的第二样本特征图的预测分类结果。即得到源域和目标域中每一个第二样本特征图的预测分类结果。
S803,将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果。
可选的,第一初始判别模块包括梯度反转层和域判别器,由于梯度反转层的引入,经过第一特征提取模块进行特征提取后的第二样本特征图,可以使得域判别器无法基于第二特征样本特征图,识别训练样本是来自于源域还是目标域。而域判别器需要根据输入的第二样本特征图来识别训练样本是来自于源域还是目标域,第一特征提取模块和域判别器形成对抗训练,使得第一特征提取模块最终可以区分源域上的不同的分类类型,且能够学会提取域不变的特征来迷惑域判别器。
在本申请实施例中,将第二样本特征图和第二样本特征图的预测分类结果,输入到第一初始判别模块,得到第一判别结果。第一判别结果用于表征对应的检测图像属于源域或目标域的概率,示例性的,第一判别结果等于0.2,意味着该第一判别结果对应的检测图像属于源域的概率为0.2,或者,第一判别结果对应的检测图像属于目标域的概率为0.2。
S804,根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
本申请实施例中,训练过程中的理想判别结果可以设置为0.5或接近0.5的数值,第一判别结果与理想判别结果的差异越小,则意味着第一特征提取模块提取到的第二特征图可以区分源域上的不同的分类类型,且提取到域不变的特征,使得第一判别模块难以区分出是源域或目标域。第一判别结果与理想判别结果的差异越大,则意味着第一特征提取模块提取到的第二特征图未提取到域不变的特征,第一判别模块可以正确区分出是源域或目标域。
示例性的,若第一判别结果在0.5附近,则停止对初始分类适配子网络进行训练。若第一判别结果为0.1,则证明分类适配子网络可以区分出第二样本特征图来自于源域还是目标域,需要根据第一判别结果训练初始分类适配子网络,对第一初始特征提取模块和第一初始判别模块中的参数进行更新,在参数更新的过程中通过对抗学习地将源域样本特征图和目标域样本特征图中的特征进行对齐,使得多数的目标域样本特征图尽可能不对齐到源域样本特征图的主导类别上,从而使得得到的第一判别结果更接近于0.5。
根据中间分类适配子网络得到分类适配子网络,可以将中间分类适配子网络作为分类适配子网络,还可以对中间分类适配子网络进一步训练,得到分类适配子网络。
本申请实施例的技术方案中,将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图,将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果,以及将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果,从而根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。本申请实施例中,分类适配子网络采用对抗训练得到,可以提取到域不变特征,提高了目标检测的准确性。
图9是本申请实施例提供的第一判别结果确定方法的流程示意图,如图9所示,本申请实施例涉及的是如何将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果的一种可能的实现方式,上述S803可以包括以下步骤:
S901,根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图。
可选的,第一预设置信度可以包括0.8、0.9等。
在本申请实施例中,根据类型置信度和第一预设置信度,将大于第一预设置信度的目标域样本特征图作为第三样本特征图,其中,第三样本特征图包括目标域样本特征图的检测框中待检物体占比更多,或目标域样本特征图背景占比更多。
S902,将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
在本申请实施例中,将预测分类类型、源域样本特征图和第三样本特征图输入至第一初始判别模块,利用激活函数对预测分类类型、源域样本特征图和第三样本特征图进行计算得到第一判别结果,可选的,第一判别结果可以包括0.2、0.5、0.7等。
本申请实施例的技术方案中,根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图,将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。本申请实施例中,通过第一预设置信度从目标域样本特征图中确定第三样本特征图,可以减少既不是待检物体又不是背景的目标域样本特征图参与训练,改进输入空间在概率意义上的离散性,从而为基于第一判别结果得到预测精度更高的分类适配子网络奠定基础。
图10是本申请实施例提供的回归适配子网络训练方法的流程示意图,如图10所示,本申请实施例涉及的是如何采用第一样本特征图对初始适配网络进行训练,得到适配网络的另一种可能的实现方式,上述S803可以包括以下步骤:
S1001,根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图。
在本申请实施例中,将类型置信度大于第二预设置信度的第一样本特征图作为第四样本特征图,第四样本特征图即为可以实现更好分类效果的第一样本特征图。
S1002,将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图。
在本申请实施例中,具体实施方式可参见上述S301,本申请实施例对此不做赘述。
S1003,将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息。
在本申请实施例中,示例性的,首先从第五样本特征图中确定源域的第五样本特征图,使用基于RCNN的包围框回归算法在源域的第五样本特征图上训练初始回归模块,得到回归模块和源域的第五样本特征图的预测位置信息。再将目标域的第五样本特征图输入到回归模块,得到目标域的预测位置信息,即得到源域和目标域中每一个第五样本特征图对应的预测位置信息。
S1004,将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络。
可选的,第二初始判别模块包括梯度反转层和域判别器。域判别器的作用是最大化回归模块在目标域上的差异,同时最小化回归模块在源域上的差异以此来刻画跨域的差异性,通过设置在第二初始判别模块上的梯度反转层使得第二初始特征提取模块的学习目标为通过使两个预测位置信息尽可能重叠来最小化目标域差异,以此提取域不变的特征。
在本申请实施例中,第二初始判别模块根据第五样本特征图和预测位置信息计算第二判别结果,根据第二判别结果通过对抗学习,训练初始回归适配子网络,在第二判别结果在0.5的附近时,说明第二初始特征提取模块提取到域不变的特征,初始回归适配子网络迭代停止,得到中间回归适配子网络。
S1005,根据中间回归适配子网络得到回归适配子网络。
在本申请实施例中,根据中间回归适配子网络得到回归适配子网络,可以将中间回归适配子网络作为回归适配子网络,还可以重新获取训练样本集对中间回归适配子网络进一步训练,对中间回归适配子网络的参数进行微调,得到回归适配子网络。
本申请实施例的技术方案中,根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图,将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图,将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息,将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络,根据中间回归适配子网络得到回归适配子网络。本申请实施例中根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图,从而根据第四样本特征图得到回归适配子网络,根据分类适配子网络获得的类型置信度,从第一样本特征图中选择更适应回归适配子网络的第四样本特征图,以降低不同分类、回归不同任务之间的相互干扰的可能性,并且可以为分类、回归任务提供其特定域自适应所需的输入数据分布,提高目标检测的准确性。
图11是本申请实施例提供的检测网络训练方法的流程示意图,如图11所示,可以包括以下步骤:
S1101,根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络。
在本申请实施例中,根据预测分类类型和实际分类类型,根据损失函数确定初始检测网络的第一损失值,根据预测位置信息和实际位置信息,根据损失函数确定初始检测网络的第二损失值,将第一损失值和第二损失值进行求和,得到总损失值,通过最小化总损失值,对初始检测网络进行训练,得到中间检测网络。
S1102,根据中间检测网络得到检测网络。
在本申请实施例中,根据中间检测网络得到检测网络,可以将中间检测网络作为检测网络,还可以重新获取训练样本集对中间检测网络进一步训练,对中间检测网络的参数进行微调,得到检测网络。
本申请实施例的技术方案中,根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络,根据中间检测网络得到检测网络。本申请实施例中,利用预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练的过程不涉及对抗训练,对抗训练只在适配网络,使得检测网络与适配网络之间形成一种良好的自反馈关系,得到的检测网络具有较好的分类和定位能力。
图12是本申请实施例提供的中间检测网络训练方法的流程示意图,如图12所示,本申请实施例涉及的是如何据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络的一种可能的实现方式,上述S1101可以包括以下步骤:
S1201,确定第一训练样本集中与各实际分类类型对应的训练样本的数量。
在本申请实施例中,确定第一训练样本集中与各实际分类类型对应的训练样本的数量。示例性的,第一训练样本集的数量为100个,共包括5种实际分类类型,A类型的数量为10个,B类型的数量为20个,C类型的数量为20个,D类型的数量为30个,E类型的数量为20个。
S1202,根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重。
在本申请实施例中,根据各实际分类类型对应的训练样本的数量,将样本数量少的分类类型对应更高的权重,从而确定各实际分类类型对应的权重。示例性的,上述A类型的数量为10个,A类型对应的权重为0.6,B类型的数量为20个,B类型对应的权重为0.3,C类型的数量为20个,B类型对应的权重为0.3,D类型的数量为30个,B类型对应的权重为0.2,E类型的数量为20个,B类型对应的权重为0.3。
S1203,根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值。
在本申请实施例中,根据预测分类类型和实际分类类型,根据损失函数确定初始检测网络的第一损失值,根据预测位置信息和实际位置信息,根据损失函数确定初始检测网络的第二损失值。示例性的,第一损失值包括A类型的训练样本对应的损失值a、B类型的训练样本对应的损失值b、C类型的训练样本对应的损失值c、D类型的训练样本对应的损失值d、E类型的训练样本对应的损失值e。
同样的,第二损失值也包括5种分类类型对应的损失值。
S1204,根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
在本申请实施例中,根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练。以第一损失值为例,A类型的训练样本对应的损失值a与对应的权重0.6相乘,得到A类型的损失值a1,B类型的训练样本对应的损失值b与对应的权重0.3相乘,得到B类型的损失值b1,C类型的训练样本对应的损失值c与对应的权重0.3相乘,得到C类型的损失值c1,D类型的训练样本对应的损失值d与对应的权重0.2相乘,得到D类型的损失值d1,E类型的训练样本对应的损失值e与对应的权重0.3相乘,得到E类型的损失值e1。
同样的,对第二损失值也采取将各类型的损失值与对应的权重进行相乘,得到对应的损失值,将所有与权重相乘后的损失值进行相加,得到总损失值,通过最小化总损失值,对初始化检测网络进行训练,得到检测网路。
本申请实施例的技术方案中,确定第一训练样本集中与各实际分类类型对应的训练样本的数量,根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重,根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值,根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。本实施例中,通过赋予权重的方法,对训练样本集中训练样本数量较少的分类类型的损失值,同时适当缩小训练样本数量较多的分类类型的损失值,在损失函数层面对样本数量差异进行平衡实现损失均衡,降低了训练样本集中分类类型上的长尾分布造成的训练样本上的分类类型分布不一致的可能。
图13是本申请实施例提供的检测模型训练方法的流程示意图,如图13所示,可以包括以下步骤:
S1301,根据类型置信度从训练样本集中确定第五训练样本集。
其中,第五训练样本集包括困难样本,即容易将负样本看成正样本的训练样本。示例性的,训练样本的检测框中存在1/2的目标物,对应的标签为负样本,但是分类模块容易将负样本识别为不存在目标物的正样本类型。
在本申请实施例中,可以将类型置信度与预设类型置信度0.5进行比较,若类型置信度在0.5的附近,则将该类型置信度对应的训练样本作为困难样本,根据困难样本确定第五训练样本集。
在一个可能的实现方式中,还可以根据训练样本的损失值确定困难样本,若损失值大于预设损失值,则将该损失值对应的训练样本作为困难样本,根据困难样本确定第五训练样本集。
S1302,根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
在本申请实施例中,将第五训练样本集按照上述实施例的训练方式对中间检测模型进行训练,得到目标检测模型。
本申请实施例的技术方案中,根据类型置信度从训练样本集中确定第五训练样本集,根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。本申请实施例中,通过第五训练样本集对中间检测模型进一步训练,得到目标检测模型,提高了目标检测模型的鲁棒性。
在一个实施例中,检测模型的训练方法可以包括以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
在本申请实施例中,具体实现方式可参见上述图7-图13的实现方式,本申请实施例对此不做赘述。
本申请实施例的技术方案中,通过获取训练样本集,利用初始检测网络提取训练样本集的特征得到第一样本特征图,采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。本申请实施例中,利用第一样本特征图对初始适配网络进行对抗训练,通过对抗学习有条件地将源域样本特征图和目标域样本特征图的特征进行对齐,从而使得适配网络学习到域不变的特征,根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络,不会损坏检测网络的判别性信息,提高目标检测模型目标检测的准确性。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的目标检测方法的目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个目标检测装置实施例中的具体限定可以参见上文中对于目标检测方法的限定,在此不再赘述。
在一个实施例中,如图14所示,提供了一种目标检测装置,包括:第一获取模块11和第一确定模块12,其中:
第一获取模块11,用于获取待检物体的检测图像;
第一确定模块12,用于根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
在一个实施例中,第一确定模块还包括:
第一确定单元,用于将检测图像输入到检测网络中,得到第一特征图;
第二确定单元,用于将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
在一个实施例中,第二确定单元还用于将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
在一个实施例中,第二确定单元还用于将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图;将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
在一个实施例中,目标检测装置还包括:
第二获取模块,用于获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
第三确定模块,用于通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
第四确定模块,用于采用第一样本特征图对初始适配网络进行训练,得到适配网络。
在一个实施例中,第四确定模块包括:
第三确定单元,用于将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图;
第四确定单元,用于将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果;
第五确定单元,用于将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果;
第六确定单元,用于根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
在一个实施例中,第五确定单元还用于根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图;将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
在一个实施例中,第四确定模块还包括:
第七确定单元,用于根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图;
第八确定单元,用于将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图;
第九确定单元,用于将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息;
第十确定单元,用于将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络;
第十一确定单元,用于根据中间回归适配子网络得到回归适配子网络。
在一个实施例中,第三确定模块包括:
第十二确定单元,用于根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络;
第十三确定单元,用于根据中间检测网络得到检测网络。
在一个实施例中,第十二确定单元还用于确定第一训练样本集中与各实际分类类型对应的训练样本的数量;根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重;根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值;根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
在一个实施例中,目标检测装置还包括:
第五确定模块,用于根据类型置信度从训练样本集中确定第五训练样本集;
第六确定模块,用于根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
在一个实施例中,提供了一种检测模型训练装置,该装置包括:
第三获取模块,用于获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
第七确定模块,用于通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
第八确定模块,用于采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;
第九确定模块,用于根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将检测图像输入到检测网络中,得到第一特征图;
将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图;
将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图;
将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果;
将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果;
根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图;
将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图;
将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图;
将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息;
将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络;
根据中间回归适配子网络得到回归适配子网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络;
根据中间检测网络得到检测网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定第一训练样本集中与各实际分类类型对应的训练样本的数量;
根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重;
根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值;
根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据类型置信度从训练样本集中确定第五训练样本集;
根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;
根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将检测图像输入到检测网络中,得到第一特征图;
将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图;
将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图;
将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果;
将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果;
根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图;
将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图;
将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图;
将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息;
将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络;
根据中间回归适配子网络得到回归适配子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络;
根据中间检测网络得到检测网络。
确定第一训练样本集中与各实际分类类型对应的训练样本的数量;
根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重;
根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值;
根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据类型置信度从训练样本集中确定第五训练样本集;
根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;
根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待检物体的检测图像;
根据检测图像和目标检测模型,确定检测图像的检测结果;目标检测模型包括检测网络和适配网络,检测网络用于提取检测图像的第一特征图,适配网络用于根据第一特征图确定检测结果;检测网络为采用非对抗学习训练得到的。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将检测图像输入到检测网络中,得到第一特征图;
将第一特征图输入到分类适配子网络中进行类型识别,以及将第一特征图输入到回归适配子网络中进行位置识别,得到检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一特征图输入到第一特征提取模块进行特征提取,得到第二特征图;
将第二特征图输入到分类模块,得到待检物体的分类类型;检测结果包括分类类型。
将第一特征图输入到第二特征提取模块进行特征提取,得到第三特征图;
将第三特征图输入到回归模块,得到待检物体的位置信息;检测结果包括位置信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一样本特征图输入到第一初始特征提取模块,得到第二样本特征图;
将第二样本特征图输入到初始分类模块,得到训练样本集对应的预测分类结果;
将预测分类结果和第二样本特征图输入到第一初始判别模块,得到第一判别结果;
根据第一判别结果训练初始分类适配子网络,得到中间分类适配子网络,并根据中间分类适配子网络得到分类适配子网络。
根据类型置信度和第一预设置信度,从目标域样本特征图中确定第三样本特征图;
将预测分类类型、源域样本特征图和第三样本特征图输入到第一初始判别模块,得到第一判别结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据类型置信度和第二预设置信度,从第一样本特征图确定第四样本特征图;
将第四样本特征图输入到第二初始特征提取模块,得到第五样本特征图;
将第五样本特征图输入到初始回归模块,得到第五样本特征图对应的预测位置信息;
将第五样本特征图和预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据第二判别结果训练初始回归适配子网络,得到中间回归适配子网络;
根据中间回归适配子网络得到回归适配子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对初始检测网络进行训练,得到中间检测网络;
根据中间检测网络得到检测网络。
确定第一训练样本集中与各实际分类类型对应的训练样本的数量;
根据各实际分类类型对应的训练样本的数量,确定各实际分类类型对应的权重;
根据预测分类类型、实际分类类型、预测位置信息和实际位置信息,确定损失值;
根据损失值、各实际分类类型对应的权重,对初始检测网络进行训练,得到中间检测网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据类型置信度从训练样本集中确定第五训练样本集;
根据第五训练样本集对中间检测模型进行训练,得到目标检测模型;中间检测模型包括中间检测网络、中间分类适配子网络和中间回归适配子网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本集;训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取训练样本集的特征得到第一样本特征图;第一样本特征图包括源域样本特征图和目标域样本特征图;
采用第一样本特征图对初始适配网络进行训练,得到适配网络以及第一训练样本集的预测检测结果;
根据预测检测结果和第一训练样本集的实际检测结果,对初始检测网络进行训练,得到检测网络。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种目标检测方法,其特征在于,所述方法包括:
获取待检物体的检测图像;
根据所述检测图像和目标检测模型,确定所述检测图像的检测结果;所述目标检测模型包括检测网络和适配网络,所述检测网络用于提取所述检测图像的第一特征图,所述适配网络用于根据所述第一特征图确定所述检测结果;所述检测网络为采用非对抗学习训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述适配网络包括分类适配子网络和回归适配子网络;所述根据所述检测图像和目标检测模型,确定所述检测图像的检测结果;包括:
将所述检测图像输入到所述检测网络中,得到所述第一特征图;
将所述第一特征图输入到分类适配子网络中进行类型识别,以及将所述第一特征图输入到回归适配子网络中进行位置识别,得到所述检测结果。
3.根据权利要求2所述的方法,其特征在于,所述分类适配子网络包括第一特征提取模块和分类模块;所述将所述第一特征图输入到分类适配子网络中进行类型识别,以及将所述第一特征图输入到回归适配子网络中进行位置识别,得到所述检测结果,包括:
将所述第一特征图输入到所述第一特征提取模块进行特征提取,得到第二特征图;
将所述第二特征图输入到所述分类模块,得到所述待检物体的分类类型;所述检测结果包括所述分类类型。
4.根据权利要求2或3所述的方法,其特征在于,所述回归适配子网络包括第二特征提取模块和回归模块,所述将所述第一特征图输入到分类适配子网络中进行类型识别,以及将所述第一特征图输入到回归适配子网络中进行位置识别,得到所述检测结果,包括:
将所述第一特征图输入到所述第二特征提取模块进行特征提取,得到第三特征图;
将所述第三特征图输入到所述回归模块,得到所述待检物体的位置信息;所述检测结果包括所述位置信息。
5.根据权利要求2所述的方法,其特征在于,所述适配网络的训练方法包括:
获取训练样本集;所述训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过初始检测网络提取所述训练样本集的特征得到第一样本特征图;所述第一样本特征图包括源域样本特征图和目标域样本特征图;
采用所述第一样本特征图对初始适配网络进行训练,得到所述适配网络。
6.根据权利要求5所述的方法,其特征在于,所述初始适配网络包括初始分类适配子网络,所述初始分类适配子网络包括第一初始特征提取模块、初始分类模块和第一初始判别模块;所述采用所述第一样本特征图对初始适配网络进行训练,得到所述适配网络,包括:
将所述第一样本特征图输入到所述第一初始特征提取模块,得到第二样本特征图;
将所述第二样本特征图输入到所述初始分类模块,得到所述训练样本集对应的预测分类结果;
将所述预测分类结果和所述第二样本特征图输入到所述第一初始判别模块,得到第一判别结果;
根据所述第一判别结果训练所述初始分类适配子网络,得到中间分类适配子网络,并根据所述中间分类适配子网络得到所述分类适配子网络。
7.根据权利要求6所述的方法,其特征在于,所述预测分类结果包括预测分类类型和类型置信度;所述将所述预测分类结果和所述第二样本特征图输入到所述第一初始判别模块,得到第一判别结果,包括:
根据所述类型置信度和第一预设置信度,从所述目标域样本特征图中确定第三样本特征图;
将所述预测分类类型、所述源域样本特征图和所述第三样本特征图输入到所述第一初始判别模块,得到所述第一判别结果。
8.根据权利要求7所述的方法,其特征在于,所述初始适配网络还包括初始回归适配子网络,所述初始回归适配子网络包括第二初始特征提取模块、初始回归模块和第二初始判别模块;所述方法还包括:
根据所述类型置信度和第二预设置信度,从所述第一样本特征图确定第四样本特征图;
将所述第四样本特征图输入到所述第二初始特征提取模块,得到第五样本特征图;
将所述第五样本特征图输入到所述初始回归模块,得到所述第五样本特征图对应的预测位置信息;
将所述第五样本特征图和所述预测位置信息输入到第二初始判别模块,得到第二判别结果,并根据所述第二判别结果训练所述初始回归适配子网络,得到中间回归适配子网络;
根据所述中间回归适配子网络得到所述回归适配子网络。
9.根据权利要求8所述的方法,其特征在于,所述检测网络的训练方法包括:
根据所述源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对所述初始检测网络进行训练,得到中间检测网络;
根据所述中间检测网络得到所述检测网络。
10.根据权利要求9所述的方法,其特征在于,所述根据所述源域样本特征图对应的预测分类类型、实际分类类型、预测位置信息和实际位置信息,对所述初始检测网络进行训练,得到中间检测网络,包括:
确定所述第一训练样本集中与各所述实际分类类型对应的训练样本的数量;
根据各所述实际分类类型对应的训练样本的数量,确定各所述实际分类类型对应的权重;
根据所述预测分类类型、所述实际分类类型、所述预测位置信息和所述实际位置信息,确定损失值;
根据所述损失值、所述各所述实际分类类型对应的权重,对所述初始检测网络进行训练,得到所述中间检测网络。
11.根据权利要求7-10任一项所述的方法,其特征在于,所述方法还包括:
根据所述类型置信度从所述训练样本集中确定第五训练样本集;
根据所述第五训练样本集对中间检测模型进行训练,得到所述目标检测模型;所述中间检测模型包括中间检测网络、所述中间分类适配子网络和中间回归适配子网络。
12.一种检测模型训练方法,其特征在于,所述检测模型包括初始检测网络和初始适配网络;所述方法包括:
获取训练样本集;所述训练样本集包括源域的第一训练样本集和目标域的第二训练样本集;
通过所述初始检测网络提取所述训练样本集的特征得到第一样本特征图;所述第一样本特征图包括源域样本特征图和目标域样本特征图;
采用所述第一样本特征图对所述初始适配网络进行训练,得到所述适配网络以及所述第一训练样本集的预测检测结果;
根据所述预测检测结果和所述第一训练样本集的实际检测结果,对所述初始检测网络进行训练,得到检测网络。
13.一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取待检物体的检测图像;
第一确定模块,用于根据所述检测图像和目标检测模型,确定所述检测图像的检测结果;所述目标检测模型包括检测网络和适配网络,所述检测网络用于提取所述检测图像的第一特征图,所述适配网络用于根据所述第一特征图确定所述检测结果;所述检测网络为采用非对抗学习训练得到的。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310814570.3A CN116524339B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、装置、计算机设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310814570.3A CN116524339B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、装置、计算机设备、存储介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116524339A true CN116524339A (zh) | 2023-08-01 |
CN116524339B CN116524339B (zh) | 2023-10-13 |
Family
ID=87403343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310814570.3A Active CN116524339B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、装置、计算机设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116524339B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
CN110084313A (zh) * | 2019-05-05 | 2019-08-02 | 厦门美图之家科技有限公司 | 一种生成物体检测模型的方法 |
CN111860573A (zh) * | 2020-06-04 | 2020-10-30 | 北京迈格威科技有限公司 | 模型训练方法、图像类别检测方法、装置和电子设备 |
CN112102237A (zh) * | 2020-08-10 | 2020-12-18 | 清华大学 | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 |
CN112560999A (zh) * | 2021-02-18 | 2021-03-26 | 成都睿沿科技有限公司 | 一种目标检测模型训练方法、装置、电子设备及存储介质 |
CN112673381A (zh) * | 2020-11-17 | 2021-04-16 | 华为技术有限公司 | 一种对抗样本的识别方法及相关装置 |
CN112801164A (zh) * | 2021-01-22 | 2021-05-14 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备及存储介质 |
CN113705425A (zh) * | 2021-08-25 | 2021-11-26 | 北京百度网讯科技有限公司 | 活体检测模型的训练方法和活体检测的方法、装置、设备 |
US20210374532A1 (en) * | 2020-06-02 | 2021-12-02 | Bull Sas | Learning method for a neural network, computer program implementing such a method, and neural network trained by such a method |
CN114548230A (zh) * | 2022-01-25 | 2022-05-27 | 西安电子科技大学广州研究院 | 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法 |
CN114821149A (zh) * | 2022-03-08 | 2022-07-29 | 天津科技大学 | 一种基于深度森林迁移学习的高光谱遥感图像识别方法 |
CN114863221A (zh) * | 2022-05-31 | 2022-08-05 | 商汤人工智能研究中心(深圳)有限公司 | 检测模型的训练方法、装置、系统、设备及存储介质 |
CN114972964A (zh) * | 2022-04-15 | 2022-08-30 | 中国科学院信息工程研究所 | 一种基于对比学习的域适应物体检测方法及装置 |
CN115795406A (zh) * | 2022-12-19 | 2023-03-14 | 重庆邮电大学 | 一种可逆的人脸匿名化处理系统 |
-
2023
- 2023-07-05 CN CN202310814570.3A patent/CN116524339B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610113A (zh) * | 2017-09-13 | 2018-01-19 | 北京邮电大学 | 一种图像中基于深度学习的小目标的检测方法及装置 |
CN110084313A (zh) * | 2019-05-05 | 2019-08-02 | 厦门美图之家科技有限公司 | 一种生成物体检测模型的方法 |
US20210374532A1 (en) * | 2020-06-02 | 2021-12-02 | Bull Sas | Learning method for a neural network, computer program implementing such a method, and neural network trained by such a method |
CN111860573A (zh) * | 2020-06-04 | 2020-10-30 | 北京迈格威科技有限公司 | 模型训练方法、图像类别检测方法、装置和电子设备 |
CN112102237A (zh) * | 2020-08-10 | 2020-12-18 | 清华大学 | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 |
WO2022104503A1 (zh) * | 2020-11-17 | 2022-05-27 | 华为技术有限公司 | 一种对抗样本的识别方法及相关装置 |
CN112673381A (zh) * | 2020-11-17 | 2021-04-16 | 华为技术有限公司 | 一种对抗样本的识别方法及相关装置 |
CN112801164A (zh) * | 2021-01-22 | 2021-05-14 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备及存储介质 |
CN112560999A (zh) * | 2021-02-18 | 2021-03-26 | 成都睿沿科技有限公司 | 一种目标检测模型训练方法、装置、电子设备及存储介质 |
CN113705425A (zh) * | 2021-08-25 | 2021-11-26 | 北京百度网讯科技有限公司 | 活体检测模型的训练方法和活体检测的方法、装置、设备 |
CN114548230A (zh) * | 2022-01-25 | 2022-05-27 | 西安电子科技大学广州研究院 | 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法 |
CN114821149A (zh) * | 2022-03-08 | 2022-07-29 | 天津科技大学 | 一种基于深度森林迁移学习的高光谱遥感图像识别方法 |
CN114972964A (zh) * | 2022-04-15 | 2022-08-30 | 中国科学院信息工程研究所 | 一种基于对比学习的域适应物体检测方法及装置 |
CN114863221A (zh) * | 2022-05-31 | 2022-08-05 | 商汤人工智能研究中心(深圳)有限公司 | 检测模型的训练方法、装置、系统、设备及存储介质 |
CN115795406A (zh) * | 2022-12-19 | 2023-03-14 | 重庆邮电大学 | 一种可逆的人脸匿名化处理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116524339B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vo et al. | Revisiting im2gps in the deep learning era | |
CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
Wang et al. | ProClusEnsem: predicting membrane protein types by fusing different modes of pseudo amino acid composition | |
CN108596053A (zh) | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 | |
CN109522908A (zh) | 基于区域标签融合的图像显著性检测方法 | |
CN113255915B (zh) | 基于结构化实例图的知识蒸馏方法、装置、设备和介质 | |
CN110020592A (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
CN102136073B (zh) | 学习装置及方法、识别装置及方法、和信息处理系统 | |
CN110705489B (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
Zhang et al. | Research on mine vehicle tracking and detection technology based on YOLOv5 | |
CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
CN113177559B (zh) | 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质 | |
Yang et al. | Piecewise linear regression based on plane clustering | |
CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
CN113469158B (zh) | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 | |
CN114445684A (zh) | 车道线分割模型的训练方法、装置、设备及存储介质 | |
CN116524339B (zh) | 目标检测方法、装置、计算机设备、存储介质和程序产品 | |
CN116630630A (zh) | 语义分割方法、装置、计算机设备及计算机可读存储介质 | |
CN112084876A (zh) | 一种目标对象追踪方法、系统、装置及介质 | |
CN116977271A (zh) | 缺陷检测方法、模型训练方法、装置及电子设备 | |
Wang et al. | Unsupervised learning from noisy networks with applications to hi-c data | |
Meghdadi et al. | Perceptual tolerance neighborhood‐based similarity in content‐based image retrieval and classification | |
CN116933103B (zh) | 触摸事件检测方法、装置、计算机设备及可读存储介质 | |
Jiang | Feature extraction method of students’ ideological and political learning behavior based on convolutional neural network | |
CN113869516B (zh) | 知识图谱嵌入模型训练方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |