CN115965831A - 一种车辆检测模型训练方法和车辆检测方法 - Google Patents
一种车辆检测模型训练方法和车辆检测方法 Download PDFInfo
- Publication number
- CN115965831A CN115965831A CN202211619141.2A CN202211619141A CN115965831A CN 115965831 A CN115965831 A CN 115965831A CN 202211619141 A CN202211619141 A CN 202211619141A CN 115965831 A CN115965831 A CN 115965831A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- vehicle detection
- gray
- detection model
- different sizes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆检测模型训练方法和车辆检测方法,该车辆检测模型训练方法包括:获取训练数据集,训练数据集包括预定数量相同尺寸的车辆灰度图,车辆灰度图中包含车辆位置标注信息;将车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的HOG特征图;将车辆灰度图和不同尺寸的HOG特征图输入预先构建的车辆检测模型中进行迭代训练,对训练后的车辆检测模型进行重参数化得到用于预测的车辆检测模型。本方案能够同时提高车辆检测的实时性和精度,适用于轻量化的车辆监控系统中。
Description
技术领域
本发明涉及目标检测技术领域,具体涉及一种车辆检测模型训练方法和车辆检测方法、计算设备及存储介质。
背景技术
车辆检测在智能交通和无人驾驶领域都有重要的意义,而且随着计算机视觉技术在交通领域的广泛应用,智能识别设备也朝着小型化、集成化方向发展,这对车辆检测算法的性能和效率提出了更高的要求。
现有技术中车辆检测方法包括:直接基于改进的YOLO等深度学习模型对车辆进行检测;使用深度学习模型结合激光雷达和深度相机获取的三维点云数据进行车辆检测;使用额外特征结合图像信息对深度学习模型进行优化后再进行车辆检测。上述方法大多依赖于算力较高的NPU或GPU设备,而单纯使用轻量化神经网络进行车辆检测往往检测效率和准确性较低。
因此,需要一种车辆检测模型训练方法和车辆检测方法,能够提高在低算力的轻量化设备中车辆检测的准确性和实时性,以解决以上现有技术中存在的问题。
发明内容
鉴于上述问题,为了提高在低算力设备上进行车辆检测的精度,本方案提出了一种车辆检测模型训练方法、车辆检测方法、计算设备及存储介质,通过设计轻量化车辆检测网络,能够在提高网络检测性能的同时降低对设备算力的依赖,可以满足常规卡口、收费站、停车场出入口等场景的车辆检测需求。
根据本发明的第一方面,提供一种车辆检测模型训练方法,首先,获取训练数据集,训练数据集包括预定数量相同尺寸的车辆灰度图,车辆灰度图中包含车辆位置标注信息;然后,将车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的HOG特征图;随后,将车辆灰度图和不同尺寸的HOG特征图输入预先构建的车辆检测模型中进行迭代训练;最后,对训练后的车辆检测模型进行重参数化得到用于预测的车辆检测模型。
通过本方案提供的车辆检测模型训练方法,能够将HOG特征图作为先验特征加入模型中进行训练,可以降低参数不足对模型性能造成的影响,能够显著提高模型的检测性能;并且通过对训练后的模型进行压缩,从而降低模型预测时的计算量和参数量,提升模型检测速度。
可选地,在上述车辆检测模型训练方法中,可以获取不同场景下不同类型的车辆图像,对车辆图像中的车辆位置和类型进行标注;将获取的车辆图像转换为灰度图,并将灰度图调整为相同尺寸;对相同尺寸的灰度图进行高斯滤波,得到预设数量相同尺寸的车辆灰度图。
可选地,在上述车辆检测模型训练方法中,将相同尺寸的灰度图调整为不同尺寸的灰度图;对不同尺寸的灰度图分别提取HOG特征,得到HOG特征数据;将HOG特征数据进行特征图可视化,得到不同尺寸的HOG特征图。
可选地,在上述车辆检测模型训练方法中,预先构建的车辆检测模型包括级联的特征提取网络和预测网络,特征提取网络包括多个由3*3卷积层、1*1卷积层并行组成的分支结构和3*3池化层,分支结构用于对通道合并后的车辆灰度图进行特征提取,池化层用于对特征提取后的特征图进行下采样;预测网络包括由反卷积模块和分别用于输出热力图、中心点偏置和预测框尺寸的三个分支卷积网络,反卷积模块包括3*3卷积层、2*2上采样层和add层,热力图的通道数等于要检测的目标类别数。
通过构建轻量化的车辆检测网络,能够通过分支结构提高特征提取的准确性,基于无锚点预测网络的损失函数对模型进行训练,不需要提前设定锚点,大大减少了网络参数量和计算量。
可选地,在上述车辆检测模型训练方法中,将车辆灰度图和下采样后得到的不同尺寸的灰度图分别与对应尺寸的HOG特征图进行通道合并;基于预测网络输出的目标预测类别、中心点偏置和预测框尺寸与真实值之间的误差计算损失函数;当损失函数的损失值小于预设阈值或者迭代次数达到预设迭代周期时训练结束,得到训练后的车辆检测模型。
可选地,在上述车辆检测模型训练方法中,将每个分支结构中的3*3卷积核和1*1卷积核填充后进行合并,得到用于预测的车辆检测模型。
通过将分支结构的模型转换为单路模型,可以减少实际部署时模型的计算量,使车辆检测模型在低算力设备上满足实时性的要求。
根据本发明的第二方面,提供了一种车辆检测方法,包括:获取待检测车辆图片;对待检测车辆图片进行预处理,得到预设尺寸的待检测车辆灰度图;将预设尺寸的待检测车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的待检测HOG特征图;将预设尺寸的待检测车辆灰度图和不同尺寸的待检测HOG特征图输入如上的车辆检测模型训练方法得到的用于预测的车辆检测模型中进行预测和特征解码,得到车辆位置信息和类型。
可选地,在上述车辆检测方法中,可以将预设尺寸的待检测车辆灰度图依次按比例缩小,得到不同尺寸的金字塔灰度图;计算金字塔灰度图的HOG特征向量,对HOG特征向量进行可视化处理得到金字塔灰度图对应的HOG特征图。
根据本发明的第三方面,提供一种计算设备,包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序,处理器执行如第一方面所述的车辆检测模型训练方法和第二方面中所述的车辆检测方法。
根据本发明的第四方面,提供一种计算机可读存储介质,包括存储有能够被处理器加载并执行如第一方面所述的车辆检测模型训练方法和第二方面中所述的车辆检测方法的计算机程序。
根据本发明的方案,通过将不同尺寸的HOG特征图作为先验特征加入模型中进行训练,可以降低参数不足对模型性能造成的影响,能够显著提高模型的检测性能;并且通过对训练后的模型进行压缩,将多分支结构转换为单路结构,从而降低模型预测时的计算量和参数量,提升模型检测速度,能够适用于轻量化的车辆检测场景。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的车辆检测模型训练方法001的流程示意图;
图2示出了根据本发明一个实施例的预先构建的车辆检测模型的网络结构示意图;
图3示出了根据本发明一个实施例的车辆检测方法300的流程示意图;
图4示出了根据本发明一个实施例的用于检测的车辆检测模型的网络结构图;
图5示出了根据本发明一个实施例的计算设备500的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
基于深度学习的目标检测算法已成为主流,但深度网络模型往往涉及大量的参数计算,以至于不能满足实时检测的需求,如何在保证高检测精度的同时,提高模型检测速度,减少对设备算力的依赖,成为目标检测算法优化的关键。
为了实现车辆检测模型的轻量化同时提高模型的检测精度,本方案提出一种车辆检测模型训练方法和车辆检测方法,通过构建超轻量化的车辆检测模型,在训练时,使用一个基于RepVGG的多分支特征提取网络和一个基于无锚点Centernet预测网络进行训练,在模型推理时通过重参数化将多分支模型转换为单路模型,能够使部署在终端的车辆检测模型具有较高的检测速度;通过加入图片的HOG特征作为先验特征,可以降低参数不足对模型检测精度的影响,本方案能够同时提高车辆检测模型的检测速度和检测精度,满足轻量化设备对车辆的实时检测需求。
图1示出了根据本发明一个实施例车辆检测模型训练方法001的流程示意图。如图1所示,该方法始于步骤S010,获取训练数据集,训练数据集包括预定数量相同尺寸的车辆灰度图,车辆灰度图中包含车辆位置标注信息。
为了对预先构建的车辆检测模型进行训练,需要准备好训练数据集,可以收集预定数量的各个不同应用场景中包含车辆的图片,例如,可以收集在停车场出入口、高速收费口、城市路网、车辆监控视频等交通场景下,多种类型(货车、卡车、大巴、轿车等)、多种颜色、多种型号的车辆图片10000张。然后使用矩形框、关键点、点云、3D立体框等任一种标注方法在车辆图像中标注车辆的位置信息。
由于获取的原始车辆图像大多是RGB格式,为了简化矩阵,提高模型的运算速度,需要对获取的原始车辆图像进行灰度化和尺寸缩放,以获得相同尺寸的灰度图片,例如,将所有的车辆灰度图调整为同一预设尺寸96*96,然后对灰度图进行高斯滤波处理,消除图像中的高斯噪声,最终得到预设数量相同尺寸的车辆灰度图。
可以将收集的训练数据集按照一定的比例划分为训练集和测试集对模型进行训练,例如可以从收集的10000张训练数据集中随机选择2000张作为测试集,以便测试训练好的模型的准确度。
随后执行步骤S020,将车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的HOG特征图。
其中,HOG特征即方向梯度直方图,是用来进行物体检测的特征描述子,通过计算和统计图像局部区域的梯度方向直方图来提取。由于HOG是在图像局部方格单元上操作,所以对图像几何和光学形变都能保持较好的不变性,因此HOG特征适用于图像中的目标检测。
具体地,可以先将相同尺寸的灰度图调整为不同尺寸的灰度图。例如,将96x96的车辆灰度图依次缩放得到48x48、24x24、12x12的金字塔图片数据集。
然后,对不同尺寸的灰度图分别提取HOG特征,得到HOG特征数据。其中,首先计算灰度图的X方向梯度dx与Y方向梯度dy,并根据方向梯度计算角度;然后将灰度图分割为4*4像素块和4*4单元,每个单元根据角度和权重建立直方图,每20度为一个bin(直方图区间),每个单元得到9个值;接着使用像素块在滑动窗口内移动,得到HOG特征向量。
最后,将HOG特征数据进行特征图可视化处理,得到不同尺寸的HOG特征图。其中HOG特征图就是根据一个单元内的bin投票结果实现可视化。
随后执行步骤S030,将车辆灰度图和不同尺寸的HOG特征图输入预先构建的车辆检测模型中进行迭代训练。
图2示出了根据本发明一个实施例的预先构建的车辆检测模型的网络结构示意图。如图2所示,预先构建的车辆检测模型包括级联的特征提取网络和预测网络。
特征提取网络包括多个由3*3卷积层、1*1卷积层并行组成的分支结构和3*3池化层,分支结构用于对通道合并后的车辆灰度图进行特征提取,池化层用于对特征提取后的特征图进行下采样。
预测网络包括由反卷积模块和分别用于输出目标预测类别、中心点偏置和预测框尺寸的三个分支卷积网络,反卷积模块包括3*3卷积层、2*2上采样层和add层。也就是说,在训练时特征提取网络的分支结构中并行了两个分支:一个卷积核大小为3x3的主分支,一个卷积核大小为1x1的shortcut分支,通过并行多个分支能够增加模型的表征能力。
参照图2,特征提取网络包括三个级联的分支结构,每个分支结构包括并行的3*3卷积层和1*1卷积层,第一个分支结构中卷积层步幅为1,填充为4,第二个分支结构中卷积层步幅为1,填充为8,第三个分支结构中卷积层步幅为1,填充为16。
车辆灰度图和不同尺寸的HOG特征图输入模型后,首先基于concatenate方法将车辆灰度图和对应尺寸的HOG特征图进行通道合并,也就是说,将96*96*1的车辆灰度图和96*96*1的HOG特征图进行通道拼接后得到96*96*2的特征图作为模型的输入图片。然后通过一个3*3卷积层(步长为2,填充为8)进行特征提取,得到48*48*9的特征图。
将48*48*1的HOG特征图和48*48*9的特征图通过concat层进行通道合并后输入第一个分支结构中,得到48*48*8的特征图,经过一个3*3池化层(步长为2),可以将48*48*8的特征图下采样为24*24*9的特征图。
继续将24*24*1的HOG特征图和24*24*9的特征图通过concat层进行通道合并后输入第二个分支结构中,得到24*24*16的特征图,经过一个3*3池化层(步长为2),可以将24*24*16的特征图下采样为12*12*17的特征图。
继续将12*12*1的HOG特征图和12*12*17的特征图通过concat层进行通道合并后输入第三个分支结构中,得到12*12*32的特征图,经过一个3*3池化层(步长为2),可以将12*12*32的特征图下采样为6*6*12的特征图。
随后经过反卷积模块,即3*3卷积层(步长为1,填充为32)、2*2上采样层,经add层进行图像拼接后得到12*12*32的特征图,最后经过3*3卷积层(步长为1,填充为16)以及三个分支卷积网络得到输出预测结果,分别输出预测的热力图(12*12*3)、中心点偏移量(12*12*2)和预测框尺寸(12*12*2)。其中,热力图的通道数等于要检测的目标的类别数,通过设定一个阈值对热力图的峰值进行筛选可以得到最终的目标中心点。
在计算损失函数时,需要分别考虑三个分支卷积网络输出预测结果与真实值之间的偏差,即对预测框尺寸损失值(采用L1损失)、中心点偏置损失值(采用L1损失)和预测热力图损失值(focal loss)加权求和,当损失函数的损失值小于预设阈值或者迭代训练次数达到预设迭代周期(例如100次)时训练结束。
最后执行步骤S040,对训练后的车辆检测模型进行重参数化得到用于预测的车辆检测模型。
为了简化模型结构减少部署时的模型计算量,还需要对训练好的模型进行重参数化,即,将每个分支结构中的3*3卷积核和1*1卷积核填充后进行合并,得到用于预测的车辆检测模型。将模型中原有的分支结构转换为单路结构后,很多算子进行了融合(比如Conv和BN融合),使得计算量变小了,而且算子减少后启动卷积的次数也减少了(比如在GPU中,每次执行一个算子就要启动一次卷积),转成单路模型后采用的都是3x3卷积,这样也能进一步加速推理。
在得到用于预测的车辆检测模型后,就可以将车辆检测模型部署在轻量化计算设备上进行车辆检测。图3示出了根据本发明一个实施例的车辆检测方法300的流程示意图。如图3所示,该车辆检测方法300始于步骤S310,获取待检测车辆图片。
待检测车辆图片中可以包括多个车辆,各个车辆的类型可以不同,例如待检测车辆图片中包括一辆卡车和一辆轿车。待检测的车辆图片一般为RGB彩色图,图片尺寸也可能不符合模型要求的尺寸,因此还需要对待检测车辆图片进行预处理。
随后执行步骤S320,对待检测车辆图片进行预处理,得到预设尺寸的待检测车辆灰度图。
其中,图片预处理可以包括灰度变换、亮度校正、几何变换、平滑处理、边缘检测等,目的是消除原始图片中的噪声、形变、模糊等问题,以便提高后续模型预测的精度。
根据本发明的一个实施例,可以将原始待检测车辆图片首先灰度化,然后调整图片尺寸为96*96,同时进行高斯滤波处理,得到96*96的灰度图片。
接着执行步骤S330,将预设尺寸的待检测车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的待检测HOG特征图。
具体地,可以先将预设尺寸的待检测车辆灰度图依次按比例缩小,得到不同尺寸的金字塔灰度图;然后计算金字塔灰度图的HOG特征向量,对HOG特征向量进行可视化处理得到金字塔灰度图对应的HOG特征图。
根据本发明的一个实施例,可以将96*96的待检测车辆灰度图依次缩小为48*48、24*24、12*12,然后使用参数orientations=9, pixels_per_cell=(4,4), cells_per_block=(4,4))分别进行HOG算子提取,得到不同尺寸的待检测HOG特征图。
最后执行步骤S340,将预设尺寸的待检测车辆灰度图和不同尺寸的待检测HOG特征图输入如上所述的车辆检测模型训练方法得到的用于预测的车辆检测模型中进行预测和特征解码,得到车辆位置信息和类型。
图4示出了根据本发明一个实施例的用于预测的车辆检测模型的结构示意图。如图4所示,用于预测的车辆检测模型包括特征提取网络和预测网络,特征提取网络包括多个3*3卷积层和3*3池化层;预测网络包括由反卷积模块和分别用于输出目标预测类别、中心点偏置和预测框尺寸的三个分支卷积网络,反卷积模块包括3*3卷积层、2*2上采样层和add层。
具体地,96*96的待检测车辆灰度图和对应的96*96待检测HOG特征图进行通道合并后经3*3卷积和池化后得到48*48的特征图,随后将48*48的特征图与对应的48*48的HOG特征图进行通道合并,再经3*3卷积和池化后得到24*24的特征图,继续将24*24的特征图与对应的24*24的HOG特征图进行通道合并,再经3*3卷积和池化后得到12*12的特征图,将12*12的特征图与对应的12*12的HOG特征图进行通道合并,再经3*3卷积和池化后得到6*6的特征图。
经过反卷积模块,即经过卷积、上采样后得到12*12特征图,将特征提取网络得到的12*12特征图和上采样后得到的12*12特征图进行图像融合,最后经预测网络的三个分支,分别得到预测的分别标识车辆类别、中心点偏置和预测框尺寸的预测结果图。
最后对得到的预测结果图进行特征解码,得到预测的车辆位置信息和分类信息。例如得到车辆在待检测车辆图片中的位置坐标和车辆类型,如卡车。
基于同一技术构思,本申请实施例公开一种计算设备,包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序,处理器执行如上所述的车辆检测模型训练方法001和车辆检测方法300。需要说明的是,计算设备可以是部署在停车场出入口、道路监控系统、高速收费口等场景的低算力设备。
图5示出了根据本发明一个实施例的计算设备500的结构图。如图5所示,在基本配置102中,计算设备500典型地包括存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理器,包括但不限于:微处理器(µP)、微控制器(µC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM,磁盘中的数据需要加载至物理内存中才能够被处理器104读取。存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等,其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令,应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等,但不限于此。当应用122被安装到计算设备500中时,可以向操作系统120添加驱动模块。
在计算设备500启动运行时,处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上,利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时,应用122会加载至存储器106中,处理器104从存储器106中读取并执行应用122的程序指令。
计算设备500还包括储存设备132,储存设备132包括可移除储存器136和不可移除储存器138,可移除储存器136和不可移除储存器138均与储存接口总线134连接。
计算设备500还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信接口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在根据本发明的计算设备500中,应用122包括用于执行本发明的车辆检测模型训练方法001和车辆检测方法300的指令。
本申请实施例公开一种计算机可读存储介质,包括存储有能够被处理器加载并执行如上述车辆检测模型训练方法001和车辆检测方法300的计算机程序。
其中,该计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用;计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
通过本发明技术方案,一方面,将不同尺寸的HOG特征图作为先验特征加入模型中进行训练,可以降低参数不足对模型性能造成的影响,能够显著提高模型的检测性能;另一方面,使用无锚点目标检测网络(centernet)的损失函数,结合HOG特征图,通过结构重参数化思想,让训练时享受多分支训练的高性能优势,同时可以在部署时享受速度快、省内存的优势。通过对训练后的模型进行压缩,将多分支结构转换为单路结构,从而降低模型预测时的计算量和参数量,提升模型检测速度,能够适用于轻量化的车辆检测场景。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种车辆检测模型训练方法,适于在计算设备中执行,其特征在于,包括:
获取训练数据集,所述训练数据集包括预定数量相同尺寸的车辆灰度图,所述车辆灰度图中包含车辆位置标注信息;
将所述车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的HOG特征图;
将所述车辆灰度图和不同尺寸的HOG特征图输入预先构建的车辆检测模型中进行迭代训练;以及
对训练后的车辆检测模型进行重参数化得到用于预测的车辆检测模型。
2.根据权利要求1所述的车辆检测模型训练方法,其特征在于,所述获取训练数据集,所述训练数据集包括预定数量相同尺寸的车辆灰度图,所述车辆灰度图中包含车辆位置标注信息的步骤包括:
获取不同场景下不同类型的车辆图像,对车辆图像中的车辆位置和类型进行标注;
将获取的车辆图像转换为灰度图,并将灰度图调整为相同尺寸;
对相同尺寸的灰度图进行高斯滤波,得到预设数量相同尺寸的车辆灰度图。
3.根据权利要求1所述的车辆检测模型训练方法,其特征在于,所述将所述车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的HOG特征图的步骤包括:
将相同尺寸的灰度图调整为不同尺寸的灰度图;
对不同尺寸的灰度图分别提取HOG特征,得到HOG特征数据;
将所述HOG特征数据进行特征图可视化,得到不同尺寸的HOG特征图。
4.根据权利要求1所述的车辆检测模型训练方法,其特征在于,所述预先构建的车辆检测模型包括级联的特征提取网络和预测网络,
所述特征提取网络包括多个由3*3卷积层、1*1卷积层并行组成的分支结构和3*3池化层,所述分支结构用于对通道合并后的车辆灰度图进行特征提取,所述池化层用于对特征提取后的特征图进行下采样;
所述预测网络包括由反卷积模块和分别用于输出热力图、中心点偏置和预测框尺寸的三个分支卷积网络,所述反卷积模块包括3*3卷积层、2*2上采样层和add层。
5.根据权利要求4所述的车辆检测模型训练方法,其特征在于,所述将所述车辆灰度图和不同尺寸的HOG特征图输入预先构建的车辆检测模型中进行迭代训练的步骤包括:
将车辆灰度图和下采样后得到的不同尺寸的灰度图分别与对应尺寸的HOG特征图进行通道合并;
基于预测网络输出的目标预测类别、中心点偏置和预测框尺寸与真实值之间的误差计算损失函数;
当所述损失函数的损失值小于预设阈值或者迭代次数达到预设迭代周期时训练结束,得到训练后的车辆检测模型。
6.根据权利要求5所述的车辆检测模型训练方法,其特征在于,所述对训练后的车辆检测模型进行重参数化得到用于预测的车辆检测模型的步骤包括:
将每个分支结构中的3*3卷积核和1*1卷积核填充后进行合并,得到用于预测的车辆检测模型。
7.一种车辆检测方法,适于在计算设备中执行,其特征在于,包括:
获取待检测车辆图片;
对所述待检测车辆图片进行预处理,得到预设尺寸的待检测车辆灰度图;
将所述预设尺寸的待检测车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的待检测HOG特征图;
将预设尺寸的待检测车辆灰度图和不同尺寸的待检测HOG特征图输入如权利要求1-6任意一项中所述的车辆检测模型训练方法得到的用于预测的车辆检测模型中进行预测和特征解码,得到车辆位置信息和类型。
8.根据权利要求7所述的车辆检测方法,其特征在于,所述将所述预设尺寸的待检测车辆灰度图调整为不同尺寸后提取对应的HOG特征,得到不同尺寸的待检测HOG特征图的步骤包括:
将预设尺寸的待检测车辆灰度图依次按比例缩小,得到不同尺寸的金字塔灰度图;
计算金字塔灰度图的HOG特征向量,对HOG特征向量进行可视化处理得到金字塔灰度图对应的HOG特征图。
9.一种计算设备,其特征在于:包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行如权利1-6中任一项所述的车辆检测模型训练方法和如权利要求7-8中任一项所述的车辆检测方法。
10.一种计算机可读存储介质,其特征在于,包括存储有能够被处理器加载并执行如权利1-6中任一项所述的车辆检测模型训练方法和如权利要求7-8中任一项所述的车辆检测方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211619141.2A CN115965831A (zh) | 2022-12-14 | 2022-12-14 | 一种车辆检测模型训练方法和车辆检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211619141.2A CN115965831A (zh) | 2022-12-14 | 2022-12-14 | 一种车辆检测模型训练方法和车辆检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115965831A true CN115965831A (zh) | 2023-04-14 |
Family
ID=87362830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211619141.2A Pending CN115965831A (zh) | 2022-12-14 | 2022-12-14 | 一种车辆检测模型训练方法和车辆检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115965831A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786823A (zh) * | 2024-02-26 | 2024-03-29 | 陕西天润科技股份有限公司 | 一种基于建筑物单体化模型轻量化处理的方法 |
-
2022
- 2022-12-14 CN CN202211619141.2A patent/CN115965831A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117786823A (zh) * | 2024-02-26 | 2024-03-29 | 陕西天润科技股份有限公司 | 一种基于建筑物单体化模型轻量化处理的方法 |
CN117786823B (zh) * | 2024-02-26 | 2024-05-03 | 陕西天润科技股份有限公司 | 一种基于建筑物单体化模型轻量化处理的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
CN109886312B (zh) | 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法 | |
CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN111985451A (zh) | 一种基于YOLOv4的无人机场景检测方法 | |
US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
CN110633718B (zh) | 用于确定环境图像中的行驶区域的方法和装置 | |
CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
CN115147328A (zh) | 三维目标检测方法及装置 | |
CN115965831A (zh) | 一种车辆检测模型训练方法和车辆检测方法 | |
CN116052090A (zh) | 图像质量评估方法、模型训练方法、装置、设备及介质 | |
CN114820463A (zh) | 点云检测和分割方法、装置,以及,电子设备 | |
CN113326734A (zh) | 一种基于YOLOv5的旋转目标检测方法 | |
CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
CN115346206B (zh) | 基于改进超分辨的深度卷积特征识别的车牌检测方法 | |
CN116311137A (zh) | 一种基于多表征集成学习的车道线检测方法 | |
Srikanth et al. | Automatic vehicle number plate detection and recognition systems: Survey and implementation | |
CN113011268A (zh) | 车辆智能导航方法、装置、电子设备及存储介质 | |
CN114332814A (zh) | 一种停车框识别方法、装置、电子设备及存储介质 | |
Farag | A fast and reliable balanced approach for detecting and tracking road vehicles | |
CN116740682B (zh) | 车辆泊入路线信息生成方法、装置、电子设备和可读介质 | |
CN112434591B (zh) | 车道线确定方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |