CN115205855A - 融合多尺度语义信息的车辆目标识别方法、装置及设备 - Google Patents
融合多尺度语义信息的车辆目标识别方法、装置及设备 Download PDFInfo
- Publication number
- CN115205855A CN115205855A CN202210801940.5A CN202210801940A CN115205855A CN 115205855 A CN115205855 A CN 115205855A CN 202210801940 A CN202210801940 A CN 202210801940A CN 115205855 A CN115205855 A CN 115205855A
- Authority
- CN
- China
- Prior art keywords
- feature
- remote sensing
- vehicle
- sensing image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 66
- 230000004927 fusion Effects 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 32
- 238000010276 construction Methods 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000000137 annealing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 41
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 230000005764 inhibitory process Effects 0.000 abstract description 6
- 230000008030 elimination Effects 0.000 abstract description 4
- 238000003379 elimination reaction Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请涉及一种融合多尺度语义信息的车辆目标识别方法、装置和设备。所述方法在残差结构的卷积神经网络模型中，引入改进的具有多尺度多层次的特征金字塔结构，通过对不同网络层的特征图进行紧密连接以及在其基础上进行融合，并加入横向连接，有效地融合高分辨低层语义特征和低分辨高层语义特征，解决了通用检测网络在不同分辨率影像中对不同尺度车辆目标的检测出错的问题。同时在网络中提取旋转框候选特征，实现了角度回归，避免了通用检测框架在非极大值抑制过程中对某些排列紧密的车辆的排除。本方法有效提高了遥感影像中车辆的检测精度，适用于大范围的车辆检测应用。
Description
技术领域
本申请涉及目标识别技术领域，特别是涉及一种融合多尺度语义信息的车辆目标识别方法、装置及设备。
背景技术
随着人工智能和卫星遥感技术的快速发展，车辆目标识别越来越依赖于自动化处理的手段，基于专家判读和人工解译的传统方法正在被人工交互半自动和基于人工智能技术的自动化技术所取代，卫星遥感技术和人工智能技术融合的车辆目标识别技术具有越来越广阔的应用前景。
目前，常用的车辆目标识别方法有两种：一种是基于传统图像处理算法的识别方法，该方法利用Haar特征等方法提取图像中车辆的特征来检测，提取出的信息经处理后得到检测结果。另一种是基于深度学习的识别方法，该方法主要是利用卷积神经网络来提取图像中车辆的特征，经过分类后得到识别结果。目前常用的深度学习目标识别算法有Faster R-CNN、YOLO、SSD等。上述两种都是基于传统图像处理算法的识别方法，存在的问题是无法适应不同场景下的车辆识别，车辆提取能力弱。
基于深度学习的识别方法特征提取能力强、适应性强，是目前目标识别领域内的研究热点。能在改进上述两种方法存在的弊端。但是在遥感领域中，深度学习的研究才刚刚起步，大量工作仅仅是从传统计算机视觉领域中迁移过来的，还没有形成符合遥感数据特点的专用深度学习网络模型。对于车辆等典型的点状目标，由于遥感影像的特殊性，较大的空间距离使得许多典型的点状目标在影像中变得很小，同时车辆在遥感影像上分布任意、尺寸不一、且可获取的样本数据量较少，导致在车辆识别中出现了对小目标的漏检。此外，由于遥感影像具有远距离拍摄的特性，所需要检测的目标与周围的背景中其他地物在特征上区分度变小。遥感影像的难例样本更多，常规目标识别方法在识别结果上出现了更多的负例，其结果导致网络的查准率大大降低。
发明内容
基于此，有必要针对上述技术问题，提供一种融合多尺度语义信息的车辆目标识别方法、装置及设备。该方法能够有效解决大范围下的车辆有效检测问题，减弱密集场景对车辆检测的影响，利用深度学习的识别方法提高车辆正确检测率同时降低误检率。
一种融合多尺度语义信息的车辆目标识别方法，所述方法包括：
获取车辆目标的遥感影像，并对所述遥感影像进行标注。
对标注后的遥感影像进行数据增强处理，得到训练样本。
将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；所述特征提取网络为ResNet网络结构。
将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；所述改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征。
将所述多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；所述级联检测器用于通过ROI Align将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果。
根据所述预测车辆类别、所述预测位置回归结果以及所述训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；所述车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成。
将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
一种融合多尺度语义信息的车辆目标识别装置，所述装置包括：
训练样本确定模块，用于获取车辆目标的遥感影像，并对所述遥感影像进行标注；对标注后的遥感影像进行数据增强处理，得到训练样本；
特征提取网络构建模块，用于将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；所述特征提取网络为ResNet网络结构；
改进的特征金字塔网络构建模块，用于将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；所述改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征；
级联检测器构建模块，用于将所述多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；所述级联检测器用于通过ROI Align将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果；
车辆目标识别模型训练模块，用于根据所述预测车辆类别、所述预测位置回归结果以及所述训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；所述车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成；
车辆目标识别结果和位置回归结果确定模块，用于将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
上述融合多尺度语义信息的车辆目标识别方法、装置和设备，所述方法在残差结构的卷积神经网络模型中，引入改进的具有多尺度多层次的特征金字塔结构，通过对不同网络层的特征图进行紧密连接以及在其基础上进行融合，并加入横向连接，有效地融合高分辨低层语义特征和低分辨高层语义特征，解决了通用检测网络在不同分辨率影像中对不同尺度车辆目标的检测出错的问题。同时在网络中提取旋转框候选特征，实现了角度回归，避免了通用检测框架在非极大值抑制过程中对某些排列紧密的车辆的排除。本方法有效提高了遥感影像中车辆的检测精度，适用于大范围的车辆检测应用；本方法通过对车辆的计数和识别，可实现道路交通车辆的自动化分析与检测，为交通管理与交通流动态监测提供了新的数据，在智能交通、自动驾驶、国防安全等领域具有重要的现实意义与应用场景。
附图说明
图1为一个实施例中融合多尺度语义信息的车辆目标识别方法的流程示意图；
图2为另一个实施例中车辆目标识别模型结构图；
图3为另一个实施例中残差结构图；
图4为另一个实施例中部分样本标注结果；
图5为另一个实施例中融合多尺度语义信息的车辆目标识别装置的结构框图；
图6为一个实施例中设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种融合多尺度语义信息的车辆目标识别方法，该方法包括以下步骤：
步骤100：获取车辆目标的遥感影像，并对遥感影像进行标注。
具体的，首先将获取车辆目标的大幅遥感影像进行滑窗，然后进行标注。
步骤102：对标注后的遥感影像进行数据增强处理，得到训练样本。
遥感影像中车辆目标具有分布任意、尺寸不一、数据量少等特点，为了从有限的数据集中学习到有效且鲁棒的特征表达，将标注好的数据集，通过填加随机噪声，做空间色彩变换，和尺度缩放等方式生成新的样本集。
步骤104：将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；特征提取网络为ResNet网络结构；
步骤106：将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征；
具体的，在通用的卷积神经网络模型中，引入改进的具有多尺度多层次的特征金字塔结构，通过对不同网络层的特征图进行紧密连接以及在其基础上进行融合，并加入横向连接，有效地融合高分辨低层语义特征和低分辨高层语义特征，解决了通用检测网络在不同分辨率影像中对不同尺度车辆目标的检测出错的问题
步骤108：将多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；级联检测器用于通过ROI Align将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果。
具体的，在网络中提取旋转框候选特征，实现了角度回归，避免了通用检测框架在非极大值抑制过程中对某些排列紧密的车辆的排除。
步骤110：根据预测车辆类别、预测位置回归结果以及训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成。
具体的，车辆目标识别模型构建完成后利用训练样本来对模型进行训练，利用模型的推理结果和对应影像的标注构建损失函数，利用随机梯度下降法(SGD)反向传播的特点不断更新模型权重参数，以实现模型的优化，完成模型的训练。车辆目标识别模型的结构如图2所示。
车辆目标识别模型具有充分融合不同尺度特征信息的能力，该能力使神经网络模型具有较好的识别速度和目标检测精准度，针对车辆的识别正确率可达到93％，误检率低至10％，有效提高了遥感影像中车辆的检测精度，适用于大范围的车辆检测应用
步骤112：将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
上述融合多尺度语义信息的车辆目标识别方法中，所述方法在残差结构的卷积神经网络模型中，引入改进的具有多尺度多层次的特征金字塔结构，通过对不同网络层的特征图进行紧密连接以及在其基础上进行融合，并加入横向连接，有效地融合高分辨低层语义特征和低分辨高层语义特征，解决了通用检测网络在不同分辨率影像中对不同尺度车辆目标的检测出错的问题。同时在网络中提取旋转框候选特征，实现了角度回归，避免了通用检测框架在非极大值抑制过程中对某些排列紧密的车辆的排除。本方法有效提高了遥感影像中车辆的检测精度，适用于大范围的车辆检测应用；本方法通过对车辆的计数和识别，可实现道路交通车辆的自动化分析与检测，为交通管理与交通流动态监测提供了新的数据，在智能交通、自动驾驶、国防安全等领域具有重要的现实意义与应用场景。
在其中一个实施例中，步骤102包括：对标注后的遥感影像进行按照预设比例进行缩放，得到缩放图像；采用高斯模糊和色彩变换数据增强方式对缩放图像进行处理，并对得到的处理结果加入随机噪声，得到训练样本。
在其中一个实施例中，特征提取网络包括五个不同尺度的采样层，分别为：Conv1、Conv2、Conv3、Conv4以及Conv5；步骤104包括：将训练样本输入到ResNet网络中，得到第二层次抽象特征、第三层次抽象特征、第四层次抽象特征以及第五层次抽象特征。作为优选，特征提取网络选用ResNet网络。ResNet网络中的残差结构如图3所示。
在其中一个实施例中，步骤106包括：将第二层次抽象特征、第三层次抽象特征以及第四层次抽象特征分别采用1×1卷积核卷积；将第五层次抽象特征作为第五融合特征；将第五融合特征和第四层次抽象特征的卷积结果相加得到第四融合特征，将第四层次抽象特征的卷积结果和第三层次抽象特征的卷积结果相加融合后进行卷积得到第一中间特征；将第一中间特征与第四融合特征相加融合得到第三融合特征；将第三层次抽象特征的卷积结果和第二层次抽象特征的卷积结果相加融合后进行卷积得到第二中间特征；将第二中间特征与第一中间特征加和融合后的结果进行卷积后与第三融合特征加和融合得到第二融合特征。
在其中一个实施例中，级联检测器包括RPN模块、3个级联的检测器，检测器包括：ROI Align模块和全连接层；步骤108包括：将第二融合特征、第三融合特征、第四融合特征以及第五融合特征通过RPN模块生成水平锚框；将第五融合特征和水平锚框输入到第一个检测器中，通过ROI Align模块进行处理后得到旋转锚框，并将旋转锚框通过全连接层处理后得到第一预测车辆类别和第一预测位置回归结果；将第一预测位置回归结果和水平锚框输入到第二个检测器中，得到第二预测车辆类别和第二预测位置回归结果；将第二预测位置回归结果和水平锚框输入到第三个检测器中，得到预测车辆类别和预测位置回归结果。
在其中一个实施例中，步骤110包括：构建总损失函数，总损失函数包括：位置损失函数、角度损失函数以及类别损失函数；位置损失函数和角度损失函数均为L1-Smooth损失函数；类别损失为交叉熵损失函数；根据预测车辆类别、预测位置回归结果、训练样本的标注以及总损失函数，采用随机梯度下降法和余弦退火的学习率衰减方式对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型。
在其中一个实施例中，该方法还包括：大图推理步骤；大图推理步骤具体包括：对输入的车辆目标的遥感影像采用滑动窗口处理，并记录滑窗的位置；将滑窗的位置转换为在原遥感影像的大图中的位置，最后采用非极大值抑制，完成最终目标位置的确定。
在实际的推理解译过程中，模型输入的影像大小远远大于训练所用到的影像大小，在该步骤中，首先对输入的影像采用一定大小的滑动窗口的进行滑动，并记录滑窗的位置，每次将滑窗的结果送入网络中，计算出目标在滑窗上的位置，之后转换为在大图的位置。最后采用非极大值抑制，即完成最终目标位置的确定。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体的实施例中，测试样本来源中卫星或航拍数据，如word_view和航拍数据。为了体现本专利的优势，测试车辆样本覆盖多种场景之下。具体实施步骤如下。
步骤1，车辆样本库构建，在实际场景中，0.5米以上的影像已经不具备明显的视觉特征。为了保证车辆识别的有效性，样本影像分辨率的构建都在0.5米以下。为了适应网络模型的大小，以800*800的滑动窗口对影像进行裁剪。裁剪之后，每个实例的位置由四边形边界框注释，可以表示为“x1，y1，x2，y2，x3，y3，x4，y4”，其中(xi，yi)表示图像中定向边界框顶点的位置，标注的可视化结果如图4所示。
步骤2，数据增强，由于训练样本有限，往往无法覆盖到所有的场景，为了增强模型的泛化能力，避免模型训练过程出现过拟合的情况，使得模型能够检测多种场景下的车辆需要做多种数据增强。本发明采用了3种数据增强方式。(1)样本尺度增强，为了适应不同分辨率影像中的车辆检测，对样本进行在0.5～1.5倍的区间进行了缩放。(2)高斯模糊和色彩变换数据增强，为了提高检测器对不同空间分辨率和不同曝光的影像的适应能力，引入了高斯模糊和色彩变换数据增强。(3)随机噪声，为了使样本适应由于天气，季节等引发的遥感影像的变化，考虑加入了随机噪声这一样本增强方式。
步骤3，多尺度语义信息模型构建，模型构建是本专利的关键部分。分为3个主要部分，特征提取网络、改进的特征金字塔网络、级联检测器。模型总体结构如图2所示。
步骤3.1特征提取，模型在特征提取阶段采用的ResNet网络结构。
为了从背景复杂的高分遥感影像中学习到车辆的高层次特征表达，采用基于深度卷积网络的层次化特征学习模型在训练数据上进行特征提取。骨干网络引入ResNet50，该网络在常规卷积网络中引入了残差结构(如下图3所示)，使得网络层数增加时，网络性能也不会显著下降，可以有效缓解深度网络训练时的退化问题。
步骤3.2多尺度融合
为了保证网络对不同尺度的点状目标均有较好的检测能力，在ResNet50的基础上加入了改进的特征金字塔网络(Feature Pyramid Network，FPN)，通过对不同网络层进行密集连接，并在连接处加入横向连接，有效地融合高分辨低层语义特征和低分辨高层语义特征，保障了后续检测网络在不同分辨率影像中对不同尺度目标的检测能力。
改进的特征金字塔结构具有更加丰富且不同层级的语义信息，并且对不同层级的语义特征进行密集连接，不仅避免了网络下采样过程中因小目标信息的丢失而导致小目标的漏检，而且网络可获取更加丰富的不同尺度语义信息。从上而下的路径是骨干网络特征的前向计算，它计算一个特征层次结构，其包含缩放步长为2的多尺度的特征图。通常有许多网络层产生同样尺寸的输出图，并且这些网络层处于同样的网络stage。针对改进的特征金字塔，为每一个阶段定义一个金字塔等级。选择每个阶段最后一层的输出作为我们的参考特征图集，将丰富它们创建我们的金字塔。因为每个阶段的最深的层应该有最健壮的特征。
步骤3.3位置回归和类别预测
在检测阶段，使用级联检测器的方式进检测，每个检测器包含ROI Align、全连接层FC、分类得分C和边框回归B。检测时每个阶段采用递进方式，前一个检测器的输出作为后一个检测器的输入，从而为下阶段提供更好的正样本，逐步提升IOU阈值训练得到新的分类得分C和边框回归B，最终提升样本质量和网络训练效果。
为了应对车辆检测中的密集型排布场景，本发明引入了旋转参数预测，在位置回归和类别预测模块中，为了获取到更加准确候选框特征，采用ROI Align模块从水平特征图HRoIs中学习RRoIs。假设我们得到了n个由(x,y,w,h)表示的HRoI,x,y表示HRoI中心点的位置，w表示宽度，h表示高度。理想情况下每个HRoI都是RRoI的外接矩形。利用全连接层从每个HRoI推测RRoI的几何形状。
步骤4，模型训练，基于标注样本和模型对模型进行训练，使得模型能够实现理想的预测能力。训练的第一步是构建损失函数，首先对标注样本的矩形框进行编码，编码公式如下：
其中，(xr,yr,wr,hr,θr)表征RRoI，xr,yr表示RRoI中心点的位置，wr表示宽度，hr表示高度，θr表示旋转角度，(x*,y*,w*,h*,θ*)表征方向包围盒(Oriented Bounding Box，简称OBB)。
分别表示回归的目标的坐标x，y，长宽w,h以及旋转角度θ。
位置和角度损失采用L1-Smooth loss，损失函数如下：
类别损失采用的交叉熵损失公式如下：
其中,
表示样本i预测为正类的概率，yi为符号函数，样本i为正类时取1，否则取0。
在训练的过程中，采用随机梯度下降法，为了控制学习率采用了余弦退火的衰减方式。该学习率衰减方式能够让学习率随着训练的轮数增加而衰减。保证了loss能在初始的阶段较快的收敛，并且在训练后期不至于出现较大的波动。
步骤5，大图推理
在大图推理的过程中，我们采用滑窗的方式，滑动的窗口的大小设为800*800步长设为400*400，之所以采用了一定的重叠率，是为了保证在某些车辆在一张图上被截断，而在另一张图上仍然保持完整。而在车辆识别的过程中，考虑滑窗有一定的重合度，在最终合并的整幅的遥感影像中对于同一位置可能出现多个检测框，因此需要采用非极大值抑制来实现目标的筛选。
在一个实施例中，如图5所示，提供了一种融合多尺度语义信息的车辆目标识别装置，包括：训练样本确定模块、特征提取网络构建模块、改进的特征金字塔网络构建模块、级联检测器构建模块、车辆目标识别模型训练模块和车辆目标识别结果和位置回归结果确定模块，其中：
训练样本确定模块，用于获取车辆目标的遥感影像，并对遥感影像进行标注；对标注后的遥感影像进行数据增强处理，得到训练样本。
特征提取网络构建模块，用于将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；特征提取网络为ResNet网络结构。
改进的特征金字塔网络构建模块，用于将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征。
级联检测器构建模块，用于将多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；级联检测器用于通过ROI Align将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果。
车辆目标识别模型训练模块，用于根据预测车辆类别、预测位置回归结果以及训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成。
车辆目标识别结果和位置回归结果确定模块，用于将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
在其中一个实施例中，训练样本确定模块，还用于对标注后的遥感影像进行按照预设比例进行缩放，得到缩放图像；采用高斯模糊和色彩变换数据增强方式对缩放图像进行处理，并对得到的处理结果加入随机噪声，得到训练样本。
在其中一个实施例中，特征提取网络包括五个不同尺度的采样层，分别为：Conv1、Conv2、Conv3、Conv4以及Conv5；特征提取网络构建模块，还用于将训练样本输入到ResNet网络中，得到第二层次抽象特征、第三层次抽象特征、第四层次抽象特征以及第五层次抽象特征。
在其中一个实施例中，改进的特征金字塔网络构建模块，还用于将第二层次抽象特征、第三层次抽象特征以及第四层次抽象特征分别采用1×1卷积核卷积；将第五层次抽象特征作为第五融合特征；将第五融合特征和第四层次抽象特征的卷积结果相加得到第四融合特征，将第四层次抽象特征的卷积结果和第三层次抽象特征的卷积结果相加融合后进行卷积得到第一中间特征；将第一中间特征与第四融合特征相加融合得到第三融合特征；将第三层次抽象特征的卷积结果和第二层次抽象特征的卷积结果相加融合后进行卷积得到第二中间特征；将第二中间特征与第一中间特征加和融合后的结果进行卷积后与第三融合特征加和融合得到第二融合特征。
在其中一个实施例中，级联检测器包括RPN模块、3个级联的检测器，检测器包括：ROI Align模块和全连接层；级联检测器构建模块，还用于将第二融合特征、第三融合特征、第四融合特征以及第五融合特征通过RPN模块生成水平锚框；将第五融合特征和水平锚框输入到第一个检测器中，通过ROI Align模块进行处理后得到旋转锚框，并将旋转锚框通过全连接层处理后得到第一预测车辆类别和第一预测位置回归结果；将第一预测位置回归结果和水平锚框输入到第二个检测器中，得到第二预测车辆类别和第二预测位置回归结果；将第二预测位置回归结果和水平锚框输入到第三个检测器中，得到预测车辆类别和预测位置回归结果。
在其中一个实施例中，车辆目标识别模型训练模块，还用于构建总损失函数，总损失函数包括：位置损失函数、角度损失函数以及类别损失函数；位置损失函数和角度损失函数均为L1-Smooth损失函数；类别损失为交叉熵损失函数；根据预测车辆类别、预测位置回归结果、训练样本的标注以及总损失函数，采用随机梯度下降法和余弦退火的学习率衰减方式对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型。
在其中一个实施例中，该装置还包括：大图推理模块；用于对输入的车辆目标的遥感影像采用滑动窗口处理，并记录滑窗的位置；将滑窗的位置转换为在原遥感影像的大图中的位置，最后采用非极大值抑制，完成最终目标位置的确定。
关于融合多尺度语义信息的车辆目标识别装置的具体限定可以参见上文中对于融合多尺度语义信息的车辆目标识别方法的限定，在此不再赘述。上述融合多尺度语义信息的车辆目标识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种融合多尺度语义信息的车辆目标识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种融合多尺度语义信息的车辆目标识别方法，其特征在于，所述方法包括：
获取车辆目标的遥感影像，并对所述遥感影像进行标注；
对标注后的遥感影像进行数据增强处理，得到训练样本；
将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；所述特征提取网络为ResNet网络结构；
将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；所述改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征；
将所述多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；所述级联检测器用于通过ROIAlign将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果；
根据所述预测车辆类别、所述预测位置回归结果以及所述训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；所述车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成；
将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
2.根据权利要求1所述的方法，其特征在于，对标注后的遥感影像进行数据增强处理，得到训练样本，包括：
对标注后的遥感影像进行按照预设比例进行缩放，得到缩放图像；
采用高斯模糊和色彩变换数据增强方式对所述缩放图像进行处理，并对得到的处理结果加入随机噪声，得到训练样本。
3.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括五个不同尺度的采样层，分别为：Conv1、Conv2、Conv3、Conv4以及Conv5；
将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征，包括：
将所述训练样本输入到ResNet网络中，得到第二层次抽象特征、第三层次抽象特征、第四层次抽象特征以及第五层次抽象特征。
4.根据权利要求3所述的方法，其特征在于，将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征，包括：
将第二层次抽象特征、第三层次抽象特征以及第四层次抽象特征分别采用1×1卷积核卷积；将第五层次抽象特征作为第五融合特征；
将第五融合特征和第四层次抽象特征的卷积结果相加得到第四融合特征，
将第四层次抽象特征的卷积结果和第三层次抽象特征的卷积结果相加融合后进行卷积得到第一中间特征；
将第一中间特征与第四融合特征相加融合得到第三融合特征；
将第三层次抽象特征的卷积结果和第二层次抽象特征的卷积结果相加融合后进行卷积得到第二中间特征；
将第二中间特征与第一中间特征加和融合后的结果进行卷积后与第三融合特征加和融合得到第二融合特征。
5.根据权利要求4所述的方法，其特征在于，所述级联检测器包括RPN模块、3个级联的检测器，所述检测器包括：ROIAlign模块和全连接层；
将所述多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果，包括：
将所述第二融合特征、所述第三融合特征、所述第四融合特征以及所述第五融合特征通过所述RPN模块生成水平锚框；
将所述第五融合特征和所述水平锚框输入到第一个所述检测器中，通过ROI Align模块进行处理后得到旋转锚框，并将所述旋转锚框通过全连接层处理后得到第一预测车辆类别和第一预测位置回归结果；
将所述第一预测位置回归结果和所述水平锚框输入到第二个所述检测器中，得到第二预测车辆类别和第二预测位置回归结果；
将所述第二预测位置回归结果和所述水平锚框输入到第三个所述检测器中，得到预测车辆类别和预测位置回归结果。
6.根据权利要求1所述的方法，其特征在于，根据所述预测车辆类别、所述预测位置回归结果以及所述训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型，包括：
构建总损失函数，所述总损失函数包括：位置损失函数、角度损失函数以及类别损失函数；所述位置损失函数和角度损失函数均为L1-Smooth损失函数；所述类别损失为交叉熵损失函数；
根据所述预测车辆类别、所述预测位置回归结果、所述训练样本的标注以及所述总损失函数，采用SGD优化器和余弦退火的学习率衰减方式对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：大图推理步骤；所述大图推理步骤具体包括：
对输入的车辆目标的遥感影像采用滑动窗口处理，并记录滑窗的位置；
将滑窗的位置转换为在原遥感影像的大图中的位置，最后采用非极大值抑制，完成最终目标位置的确定。
8.一种融合多尺度语义信息的车辆目标识别装置，其特征在于，所述装置包括：
训练样本确定模块，用于获取车辆目标的遥感影像，并对所述遥感影像进行标注；对标注后的遥感影像进行数据增强处理，得到训练样本；
特征提取网络构建模块，用于将训练样本输入到特征提取网络中，得到各个层次的遥感影像特征；所述特征提取网络为ResNet网络结构；
改进的特征金字塔网络构建模块，用于将各个层次的遥感影像特征输入到改进的特征金字塔网络中，得到多尺度融合特征；所述改进的特征金字塔网络用于通过对不同层次的遥感影像特征进行密集连接，并在连接处加入横向连接，融合各个层次的遥感影像特征的高分辨低层语义特征和低分辨高层语义特征；
级联检测器构建模块，用于将所述多尺度融合特征输入到级联检测器中，得到预测车辆类别和预测位置回归结果；所述级联检测器用于通过ROI Align将将多尺度融合特征通过RPN模块生成的水平锚框进行回归得到旋转锚框，并将旋转锚框通过全连接层处理后得到预测车辆类别和预测位置回归结果；
车辆目标识别模型训练模块，用于根据所述预测车辆类别、所述预测位置回归结果以及所述训练样本的标注，对车辆目标识别模型进行反向训练，得到训练好的车辆目标识别模型；所述车辆目标识别模型由特征提取网络、改进的特征金字塔网络以及级联检测器组成；
车辆目标识别结果和位置回归结果确定模块，用于将车辆目标的待测遥感影像输入到训练好的车辆目标识别模型中，得到车辆目标识别结果和位置回归结果。
9.根据权利要求8所述的装置，其特征在于，训练样本确定模块，还用于对标注后的遥感影像进行按照预设比例进行缩放，得到缩放图像；采用高斯模糊和色彩变换数据增强方式对所述缩放图像进行处理，并对得到的处理结果加入随机噪声，得到训练样本。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210801940.5A CN115205855B (zh) | 2022-07-08 | 2022-07-08 | 融合多尺度语义信息的车辆目标识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210801940.5A CN115205855B (zh) | 2022-07-08 | 2022-07-08 | 融合多尺度语义信息的车辆目标识别方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115205855A true CN115205855A (zh) | 2022-10-18 |
| CN115205855B CN115205855B (zh) | 2023-10-27 |
Family
ID=83580938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210801940.5A Active CN115205855B (zh) | 2022-07-08 | 2022-07-08 | 融合多尺度语义信息的车辆目标识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205855B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189115A (zh) * | 2023-04-24 | 2023-05-30 | 青岛创新奇智科技集团股份有限公司 | 车型识别方法、电子设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN111680655A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的视频目标检测方法 |
| CN111899172A (zh) * | 2020-07-16 | 2020-11-06 | 武汉大学 | 一种面向遥感应用场景的车辆目标检测方法 |
| CN112529005A (zh) * | 2020-12-11 | 2021-03-19 | 西安电子科技大学 | 基于语义特征一致性监督金字塔网络的目标检测方法 |
| CN114596274A (zh) * | 2022-03-03 | 2022-06-07 | 安徽大学 | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 |
-
2022
- 2022-07-08 CN CN202210801940.5A patent/CN115205855B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN111680655A (zh) * | 2020-06-15 | 2020-09-18 | 深延科技(北京)有限公司 | 一种面向无人机航拍影像的视频目标检测方法 |
| CN111899172A (zh) * | 2020-07-16 | 2020-11-06 | 武汉大学 | 一种面向遥感应用场景的车辆目标检测方法 |
| CN112529005A (zh) * | 2020-12-11 | 2021-03-19 | 西安电子科技大学 | 基于语义特征一致性监督金字塔网络的目标检测方法 |
| CN114596274A (zh) * | 2022-03-03 | 2022-06-07 | 安徽大学 | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| XUE YANG等: ""SCRDet++: Detecting Small, Cluttered and Rotated Objects via Instance-Level Feature Denoising and Rotation Loss Smoothing"", 《AXXIV》, pages 1 - 15 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189115A (zh) * | 2023-04-24 | 2023-05-30 | 青岛创新奇智科技集团股份有限公司 | 车型识别方法、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115205855B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11475660B2 (en) | Method and system for facilitating recognition of vehicle parts based on a neural network | |
| Chen et al. | Multi-scale spatial and channel-wise attention for improving object detection in remote sensing imagery | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN112288770A (zh) | 基于深度学习的视频实时多目标检测与跟踪方法和装置 | |
| CN111597961B (zh) | 面向智能驾驶的移动目标轨迹预测方法、系统、装置 | |
| CN111582175A (zh) | 一种共享多尺度对抗特征的高分遥感影像语义分割方法 | |
| CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
| CN113159120A (zh) | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 | |
| CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN111753682A (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
| CN113344826A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN115205855B (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| Zhao et al. | Vehicle counting in very low-resolution aerial images via cross-resolution spatial consistency and Intraresolution time continuity | |
| CN117079276B (zh) | 一种基于知识蒸馏的语义分割方法、系统、设备及介质 | |
| CN112883807A (zh) | 车道线检测方法和系统 | |
| House et al. | Using deep learning to identify potential roof spaces for solar panels | |
| Zhou et al. | Ship detection based on multi-scale weighted fusion | |
| CN114494999B (zh) | 一种双分支联合型目标密集预测方法及系统 | |
| CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
| CN115331254A (zh) | 一种免锚框的实例人像语义解析方法 | |
| CN113902744A (zh) | 基于轻量级网络的图像检测方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |