CN110705338A - 车辆检测方法、装置及监控设备 - Google Patents

车辆检测方法、装置及监控设备 Download PDF

Info

Publication number
CN110705338A
CN110705338A CN201810752103.1A CN201810752103A CN110705338A CN 110705338 A CN110705338 A CN 110705338A CN 201810752103 A CN201810752103 A CN 201810752103A CN 110705338 A CN110705338 A CN 110705338A
Authority
CN
China
Prior art keywords
training
model
sample set
vehicle detection
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810752103.1A
Other languages
English (en)
Inventor
吕梦姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201810752103.1A priority Critical patent/CN110705338A/zh
Publication of CN110705338A publication Critical patent/CN110705338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种车辆检测方法、装置及监控设备。首先,获取训练样本集和测试样本集,并对初始训练模型的网络结构进行配置,得到配置后的初始训练模型。接着,从预先配置的ImageNet数据集中选择预设数量类数据集对配置后的初始训练模型中的分类网络进行预训练,得到预训练结果。而后,从预训练结果中选取分类准确率最高的分类模型作为预训练模型,并基于训练样本集对预训练模型进行训练,得到目标检测模型。由此,本申请能够大大提升车辆检出率,具有较强的场景适应性及鲁棒性,同时大大减小了车辆检测模型大小,减少了检测时间。

Description

车辆检测方法、装置及监控设备
技术领域
本申请涉及车辆检测领域,具体而言,涉及一种车辆检测方法、 装置及监控设备。
背景技术
随着社会经济的迅猛发展,汽车已经成为人们一种重要的出行工 具,地下停车场成了大型商场、医院、写字楼等公共场所的必备设施, 如何快速准确地检测出车位是否有车辆停放,从而有利于提高车位管 理,方便停车诱导,是本领域技术人员亟待解决的技术问题。
发明内容
为了克服现有技术中的上述不足,本申请的目的在于提供一种车 辆检测方法、装置及监控设备,以解决或者改善上述问题。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种车辆检测方法,应用于监控设 备,所述方法包括:
获取经筛选后的样本集,所述样本集包括训练样本集和测试样本 集;
对初始训练模型的网络结构进行配置,得到配置后的初始训练模 型;
从预先配置的ImageNet数据集中选择预设数量类数据集对所述 配置后的初始训练模型中的分类网络进行预训练,得到预训练结果, 所述预训练结果包括基于各类数据集训练得到的对应的分类模型和 对应的分类准确率;
从所述预训练结果中选取分类准确率最高的分类模型作为预训 练模型,并基于所述训练样本集对所述预训练模型进行训练,得到目 标检测模型。
可选地,所述对初始训练模型的网络结构进行配置,得到配置后 的初始训练模型的步骤,包括:
对所述初始训练模型的特征提取网络进行配置,对深度可分离卷 积后的输出特征按对应的通道进行均匀混合排列,并在深度可分离卷 积和点卷积后,当输出的特征图和输入的特征图大小一致时,将深度 可分离卷积的输入层和点卷积的输出层进行连接操作。
可选地,所述对初始训练模型的网络结构进行配置,得到配置后 的初始训练模型的步骤,还包括:
对所述初始训练模型的特征提取网络进行优化,得到优化后的特 征提取网络;
所述对所述初始训练模型的特征提取网络进行优化,得到优化后 的特征提取网络的步骤,包括:
将所述初始训练模型的特征提取网络替换为基于MobileNet的特 征提取网络;
对所述基于MobileNet的特征提取网络进行网络裁剪和特征图数 量缩减,得到优化后的特征提取网络。
可选地,所述方法还包括:
对所述训练样本集进行聚类处理,获取所述训练样本集对应的高 斯混合模型参数;
基于所述高斯混合模型参数对所述配置后的初始训练模型进行 优化,得到优化后的初始训练模型。
可选地,所述对所述训练样本集进行聚类处理,获取所述训练样 本集对应的高斯混合模型参数的步骤,包括:
获取混合的多个高斯分布模型,其中,假设所述经筛选后的训练 样本集服从所述混合的多个高斯分布模型;
初始化高斯混合模型参数,并基于初始化的高斯混合模型参数计 算所述训练样本集由每个所述高斯分布模型生成的概率;
根据所述训练样本集由每个所述高斯分布模型生成的概率估计 并更新高斯混合模型参数;
基于更新后的高斯混合模型参数重复上述步骤,直到似然函数收 敛时,根据计算出的高斯混合模型参数遍历所述训练样本集,将所述 训练样本集中的样本归于概率最大的高斯混合模型中,同时将计算出 的高斯混合模型参数作为所述训练样本集对应的高斯混合模型参数。
可选地,所述基于所述训练样本集对所述预训练模型进行训练, 得到目标检测模型的步骤,包括:
获取所述训练模型的训练参数,其中,所述训练参数包括对所述 训练样本集进行图像缩放的缩放参数、去均值参数、归一化参数、初 始学习率以及已训练网络层的学习率;
基于所述训练参数将所述训练样本集输入到所述预训练模型中 进行训练,得到目标检测模型。
可选地,所述样本集还包括测试样本集,所述基于所述训练样本 集对所述预训练模型进行迁移训练,得到目标检测模型的步骤之后, 所述方法还包括:
基于所述测试样本集对所述目标分类模型进行测试,并根据测试 结果对该目标检测模型进行评估,得到评估结果;
所述基于所述测试样本集对所述目标分类模型进行测试,并根据 测试结果对该目标检测模型进行评估,得到评估结果步骤,包括:
将所述测试样本集输入到所述目标检出模型进行测试;
在测试过程中将检出的置信度大于预设置信度阈值的目标作为 有效目标,并将检出的置信度小于预设置信度阈值的目标进行过滤, 得到测试结果,所述测试结果包括所述目标检测模型的车辆检出率;
判断所述目标检测模型的车辆检出率是否大于预设检出率,若 是,则将车辆检出率最高的目标检测模型作为车辆检测模型。
可选地,在所述基于所述测试样本集对所述目标检测模型进行测 试,并根据测试结果对该目标检测模型进行评估,得到评估结果的步 骤之后,所述方法还包括:
根据所述评估结果通过检出置信度最高的车辆检测模型对监控 区域中的车辆进行检测,得到车辆检测结果。
第二方面,本申请实施例还提供一种车辆检测装置,应用于监控 设备,所述装置包括:
获取模块,用于获取经筛选后的样本集,所述样本集包括训练样 本集和测试样本集;
配置模块,用于对初始训练模型的网络结构进行配置,得到配置 后的初始训练模型;
预训练模块,用于从预先配置的ImageNet数据集中选择预设数 量类数据集对所述配置后的初始训练模型中的分类网络进行预训练, 得到预训练结果,所述预训练结果包括基于各类数据集训练得到的对 应的分类模型和对应的分类准确率;
选取模块,用于从所述预训练结果中选取分类准确率最高的分类 模型作为预训练模型,并基于所述训练样本集对所述预训练模型进行 训练,得到目标检测模型;
测试模块,用于基于所述测试样本集对所述目标检测模型进行测 试,并根据测试结果对该目标检测模型进行评估,得到评估结果。
第三方面,本申请实施例还提供一种监控设备,所述监控设备包 括:
存储介质;
处理器;以及
上述的车辆检测装置,所述车辆检测装置存储于所述存储介质中 并包括由所述处理器执行的软件功能模块。
第四方面,本申请实施例还提供一种可读存储介质,其上存储有 计算机程序,所述计算机程序被执行时实现上述的车辆检测方法。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例提供的车辆检测方法、装置及监控设备,通过对训 练样本集进行筛选,对初始训练模型的网络结构进行改进,大大减小 了车辆检测模型大小,减少了检测时间。同时,在车辆特征被部分遮 挡或者不规范停车的场景下,能够大大提升车辆检出率,具有较强的 场景适应性及鲁棒性。此外,通过预训练之后再进行迁移训练,能够 进一步地提高车辆检测模型的检测精度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中 所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申 请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通 技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图 获得其它相关的附图。
图1为本申请实施例提供的监控设备的结构示意框图;
图2为本申请实施例提供的车辆检测装置的功能模块图;
图3为本申请实施例提供的车辆检测方法的流程示意图;
图4为本申请实施例提供的车辆检测方法的停车位检测示意图;
图5为本申请实施例提供的不同场景下的停车示意图;
图6为本申请实施例提供的训练样本集标定示意图;
图7为本申请实施例提供的配置后的初始训练模型示意图;
图8为本申请实施例提供的正常车位检出示意图;
图9为本申请实施例提供的DPM算法检出率与本申请检出率的 对比示意图;
图10为本申请实施例提供的不同特殊场景下车位检出示意图;
图11为本申请实施例提供的DPM算法与本申请车辆检测方法 在不同场景下的检出率对比示意图。
图标:100-监控设备;110-总线;120-处理器;130-存储介质; 140-总线接口;150-网络适配器;160-用户接口;200-车辆检测装置; 210-获取模块;220-配置模块;230-预训练模块;240-选取模块。
具体实施方式
本申请发明人在实现本申请实施例提供的技术方案过程中,发现 目前对于正常规范的停车,当前传统的图像处理技术或者机器学习方 法基本都能准确地检测出车辆,但是对于工勘不标准或者停车不规范 导致车辆停放过于靠前或者靠后,或者倾斜角度过大只露出一部分车 身等场景下,上述检测方法的检出率大大下降。更常见的一种情况是, 停车位前面的过道有车在排队停车时,遮挡了部分当前车位停着的车 辆,同样上述检测方法对该车位的车辆检出率大大下降,导致检测过 程中误认为该车辆已经驶离。此外,还有部分停车场采用传感器技术 来进行停车位占用情况检测,如超声波、地感线圈、地磁、压力、红 外线等检测方法,但是申请人发现以上几种检测方法前期的设备安装 及后期的设备维护都较为复杂,而且当停车位越来越多时会带来通信 和计算的压力,也易受到环境的干扰导致漏检、误检。
此外,在检测算法中,发现人在研究过程中发现当前利用视频监 控系统的视频图像进行停车位占用情况检测的技术,大部分采用背景 差分、纹理分析、颜色特征、辅助图案、车辆特征检测等方法,但是 这些方法易受遮挡等影响,抗干扰性较差,在实际应用中检测准确率 偏低。
以上现有技术中的方案所存在的缺陷,均是申请人在经过实践并 仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申 请实施例针对上述问题所提出的解决方案,都应该是申请人在本申请 过程中对本申请做出的贡献。
申请人为了解决上述问题,下面将结合本申请实施例中的附图, 对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述 的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处 附图中描述和示出的本申请实施例的组件可以以各种不同的配置来 布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨 在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施 例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性 劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此, 一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行 进一步定义和解释。
进一步地,请参阅图1,为本申请实施例提供的监控设备100的 一种结构示意框图。本实施例中,所述监控设备100可以应用于需要 进行车辆检测的场景下,例如地下停车场、等场景的监控设备100, 或者其它任意终端,例如手机(mobile phone)、平板电脑(Pad)、 虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(industrial control)中的无线终 端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical) 中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的 无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实 施例对应用场景不做限定。
如图1所示,监控设备100可以由总线110作一般性的总线体系 结构来实现。根据监控设备100的具体应用和整体设计约束条件,总 线110可以包括任意数量的互连总线和桥接。总线110将各种电路连 接在一起,这些电路包括处理器120、存储介质130和总线接口140。 可选地,监控设备100可以使用总线接口140将网络适配器150等经 由总线110连接。网络适配器150可用于实现监控设备100中物理层 的信号处理功能,并通过天线实现射频信号的发送和接收。用户接口 160可以连接外部设备,例如:键盘、显示器、鼠标或者操纵杆等。 总线110还可以连接各种其它电路,如定时源、外围设备、电压调节 器或者功率管理电路等,这些电路是本领域所熟知的,因此不再详述。
可以替换的,监控设备100也可配置成通用处理系统,例如通称 为芯片,该通用处理系统包括:提供处理功能的一个或多个微处理器, 以及提供存储介质130的至少一部分的外部存储器,所有这些都通过 外部总线体系结构与其它支持电路连接在一起。
可替换的,监控设备100可以使用下述来实现:具有处理器120、 总线接口140、用户接口160的ASIC(专用集成电路);以及集成在单 个芯片中的存储介质130的至少一部分,或者,监控设备100可以使 用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它 适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任 意组合。
其中,处理器120负责管理总线110和一般处理(包括执行存储 在存储介质130上的软件)。处理器120可以使用一个或多个通用处 理器和/或专用处理器来实现。处理器120的例子包括微处理器、微 控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地 解释为表示指令、数据或其任意组合,而不论是将其称作为软件、固 件、中间件、微代码、硬件描述语言还是其它。
在图1中存储介质130被示为与处理器120分离,然而,本领域 技术人员很容易明白,存储介质130或其任意部分可位于监控设备 100之外。举例来说,存储介质130可以包括传输线、用数据调制的 载波波形、和/或与无线节点分离开的计算机制品,这些介质均可以由处理器120通过总线接口140来访问。可替换地,存储介质130 或其任意部分可以集成到处理器120中,例如,可以是高速缓存和/ 或通用寄存器。
所述处理器120可执行上述实施例,具体地,所述存储介质130 中可以存储有所述车辆检测装置200,所述处理器120可以用于执行 所述车辆检测装置200。
请参阅图2,所述车辆检测装置200可以包括:
获取模块210,用于获取经筛选后的样本集,所述样本集包括训 练样本集和测试样本集。
配置模块220,用于对初始训练模型的网络结构进行配置,得到 配置后的初始训练模型。
预训练模块230,用于从预先配置的ImageNet数据集中选择预 设数量类数据集对所述配置后的初始训练模型中的分类网络进行预 训练,得到预训练结果,所述预训练结果包括基于各类数据集训练得 到的对应的分类模型和对应的分类准确率。
选取模块240,用于从所述预训练结果中选取分类准确率最高的 分类模型作为预训练模型,并基于所述训练样本集对所述预训练模型 进行训练,得到目标检测模型。
请参阅图3,为本申请实施例提供的车辆检测方法的一种流程示 意图。所应说明的是,本申请实施例提供的车辆检测方法不以图3 及以下所述的具体顺序为限制。所述方法的具体流程如下:
步骤S110,获取经筛选后的样本集。在本实施例中,该步骤S110 可以由上述获取模块210执行。
作为一种实施方式,请结合参阅图4,为了保证检测的准确性, 每台监控设备100监控不超过三个停车位,每个监控设备100可对该 车位进行车辆驶入、车辆停稳(车牌识别)、车辆驶离、空车位四个 状态实时检测。由于地下停车位跟露天的停车位不同,它不会受到光 照等天气情况影响,但是不可避免地会受到车辆、行人的遮挡,停车 不规范,工勘不标准等影响,如图5所示,图(a)为人遮挡车辆,图(b) 为过道车辆遮挡该停车位车辆,图(c)为车辆停放不规范(靠后),图 (d)为工勘不标准(车辆正常停放后车牌未露出,且左右辆车车灯被 切割情况严重)。因此,在上述情况下,车辆的稳定检出是确保该监 控设备100准确运行至关重要的一步。
本实施例中,所述样本集包括训练样本集。为了提高在车辆特征 被部分遮挡或者不规范停车的场景下的车辆检出率,所述样本集经过 预先筛选,去除人遮挡严重、车遮挡严重、工勘严重不标准等画面的 图像,对画面基本标准的图像进行车辆标定。例如,如图6所示,左 图为车前脸标定示例,右图为车尾标定示例。标定的输出结果可以为 标准的VOC格式,即一张图像对应一个xml文件,xml文件中包含 了该图像所有目标的类别信息及位置信息。
SSD(SSD:Single Shot MultiBox Detector)是采用深度神经网络模 型来端到端实现目标检测和识别的方法,申请人在研究中发现,由于 SSD网络在多个尺度的特征图(feature map)上同时进行一些目标预 选框(prior box)的softmax分类和smooth L1loss位置回归,一般情 况下,每个尺度下prior box的大小和宽高比是基于用户经验或者预 定的公式手动设置的,而不是通过训练样本集学习自主设置的。但是 由于网络中每一层feature map使用的prior box大小和宽高比都不一 样,这会导致训练中这些参数的调试过程非常依赖经验。例如,常见 的prior box最大值、最小值(也即每个feature map上prior box的尺 度范围)设置如下述所示:
Sk=Smin+(Smax–Smin)/(m-1)*(k–1),k∈[1,m]
其中,m代表进行分类回归的feature map数量,Sk代表每个 feature map对应的prior box的min_size值和max_size值。也即,第 一层feature map对应的min_size=S1,max_size=S2,第二层feature map对应的min_size=S2,max_size=S3,以此类推,根据经验设置 Smin=0.2,Smax=0.9。宽高比参数“aspect_ratio”一般设置为1.0, 2.0,3.0。
但是,对于某一个具体的检测场景来说,prior box大小及宽高比 的设置应该更符合实际情况。例如,检测地下停车位的车辆,一个监 控画面只监控最多三辆车,此时需要检测的车辆一般属于较大目标, 为了更符合实际,prior box的检测尺度可以相应设置稍大一些。又例 如,车头/车尾一般情况下宽高比接近1:1,若宽高比设置为3:1,显 然不合理。
由此,为了在车辆检测模型训练的时候可以自主获取更好的、更 具实际代表性的先验prior box的维度及其宽高比,提高检测准确性, 本实施例提供的车辆检测方法还可以包括如下步骤:
首先,对所述训练样本集进行聚类处理,获取所述训练样本集对 应的高斯混合模型参数。
在本步骤中,首先,获取混合的多个高斯分布模型(Gaussian Mixture Model,GMM),其中,所述经筛选后的样本集服从所述混 合的多个高斯分布模型。
接着,初始化高斯混合模型参数,并基于初始化的高斯混合模型 参数计算所述样本集由每个所述高斯分布模型生成的概率,具体公式 如下:
Figure BDA0001725805630000121
其中,上述πk和Σk是未知高斯混合模型参数,在第一次迭代时需 随机初始化。
接着,根据所述样本集由每个所述高斯分布模型生成的概率估计 并更新高斯混合模型参数,作为一种实施方式,本实施例可以根据 EM算法(Expectation-Maximizationalgorithm)估计并更新GMM模 型参数:
Figure BDA0001725805630000122
Figure BDA0001725805630000123
Figure BDA0001725805630000124
其中πk的估计值为
Figure BDA0001725805630000125
由此可以得到更新后的高斯混合模型参 数πk和Σk
而后,基于更新后的高斯混合模型参数重复上述步骤,直到似然 函数收敛时,根据计算出的高斯混合模型参数遍历所述训练样本集, 将所述训练样本集中的样本归于概率最大的高斯混合模型中,同时将 计算出的高斯混合模型参数作为所述训练样本集对应的高斯混合模 型参数。
由此,本申请通过高斯混合模型聚类算法对训练样本集进行聚 类,获取到先验prior box的维度及其宽高比。这样,在训练的时候 可以自主获取更好的、更具实际代表性的先验prior box的维度及其 宽高比,以提高检测准确性。
步骤S120,对初始训练模型的网络结构进行配置,得到配置后 的初始训练模型。在本实施例中,该步骤S120可以由上述配置模块 220执行。
由于地下停车场的车辆检测对于深度学习来说并不是一项很复 杂的任务,因此,为了减小检测车辆检测模型大小,减少计算量,提 高检测效率,本实施例中,所述步骤S120可以通过如下方式实现:
首先,可选地,可以对所述初始训练模型的特征提取网络进行优 化,得到优化后的特征提取网络。作为一种实施方式,可以将所述初 始训练模型的特征提取网络(例如原始的基于VGG-16的SSD特征 提取网络)替换为基于MobileNet的特征提取网络。接着,对所述基 于MobileNet的特征提取网络进行网络裁剪和特征图数量缩减,得到 优化后的特征提取网络。例如,可以将所述基于MobileNet的特征提 取网络的宽度乘数(WidthMultiplier)设置为0.25,分辨率乘数 (Resolution Multiplier)设置为1.34。也即,训练输入图像大小为 300*300。同时本申请还裁减掉了特征提取网络的conv8、conv9、 conv10三层,让特征提取网络变得“更小、更瘦”。
本实施例中,所述基于MobileNet的特征提取网络是采用深度可 分离卷积(depthwise separable convolution)代替传统的卷积操作, 其可以用group操作实现。也即,若输入feature map为A个,则卷 积核大小为k*k,group为g,输出feature map为B个(即filter个 数为B)。那么在做group卷积操作的时候,第一个group的B/g 个filter和第一个group的A/g个输入feature map进行传统卷积得到 结果,第二个group同理,直到最后一个group。可以看出,传统卷 积需要计算的参数量为A*k*k*B,而group操作后需要计算的参数量为A/g*k*k*B/g*g=A*k*k*B/g。但是申请人发现, 当g较大时,上述group操作可以大大减少参数的计算量,但是其缺 点也很明显,例如,group是独立的操作,输出feature map只和输入 的某些feature map有关,从而导致全局信息流通不畅,网络表达能 力不足。
在上述内容基础上,本实施例还需要对所述优化后的特征提取网 络进行配置,对深度可分离卷积后的输出特征按对应的通道进行均匀 混合排列。
详细地,通过将每次深度可分离卷积后的输出特征按对应的通道 进行均匀混合排列(information regroup),这样不同group之间就会 有一定的信息交流,从而可以更好地获取全局信息。
此外,深度残差结构(ResNet)不仅大幅度降低了训练更深层次 神经网络的难度,也使得准确率得到显著提升,已经显示出其强大的 学习能力,在图像分类(ImageClassification)、目标检测(Object Detection)、语义分割(Semantic Segmentation)等领域的应用中, ResNet都表现出了良好的效果。
因此,在本实施例的网络针对性优化中,还可以在深度可分离卷 积和点卷积后,当输出的特征图和输入的特征图大小一致时,将深度 可分离卷积的输入层和点卷积的输出层进行简单的连接(shoutcut) 操作,使得训练结果的准确率更高。
此外,在不同尺度的feature map检测层中,min_size,max_size 和aspect_ratio的值将直接影响目标检出效果。由此,在本步骤中, 在得到上述的高斯混合模型参数基础上,可以基于所述高斯混合模型 参数对上述配置后的初始训练模型进行优化,来调整、优化初始训练 模型中PriorBox层的min_size值,max_size值和aspect_ratio值,使 其更适合当前具体学习任务,提升后续车辆检测模型的检出率。
由此,完成了所述初始训练模型的配置和优化,配置和优化后的 具体初始训练模型可以如图7所示。
步骤S130,从预先配置的ImageNet数据集中选择预设数量类数 据集对所述配置后的初始训练模型中的分类网络进行预训练,得到预 训练结果。在本实施例中,该步骤S130可以由上述预训练模块230 执行。
详细地,通过大数据进行预训练有利于提升检出率和加快收敛速 度,ImageNet数据集是目前深度学习领域应用最为广泛的数据集之 一,其包括1400多万张图片,涵盖2万多个类别,其中有超过百万 的图片有明确的类别标注和图像中物体位置的标注,关于图像分类、 定位、检测等研究工作大多基于此数据集展开。
因此,对于步骤S120中配置好的初始训练模型,可以从所述 ImageNet数据集中选择预设数量类(例如1000类)数据集对所述配 置后的初始训练模型中的分类网络进行预训练,得到预训练结果,所 述预训练结果包括基于各类数据集训练得到的对应的分类模型和对 应的分类准确率。
步骤S140,从所述预训练结果中选取分类准确率最高的分类模 型作为预训练模型,并基于所述训练样本集对所述预训练模型进行训 练,得到目标检测模型。在本实施例中,该步骤S140可以由上述选 取模块240执行。
本实施例中,可以从所述预训练结果中选取分类准确率最高的预 训练模型进行实际训练样本集的训练。也即,所述预训练模型原有的 结构和初始权重不变,然后在步骤S110中的训练样本集上重新训练。 训练时,获取所述预训练模型的训练参数,其中,所述训练参数包括 对所述训练样本集进行图像缩放的缩放参数、去均值参数、归一化参 数、初始学习率以及已训练网络层的学习率。例如,在训练时原始图 像可以缩放为300*300,并将RGB三通道图像每一通道分别作去均 值、归一化的操作,去均值参数可以为[127.5,127.5,127.5],归一化参 数可以为0.007843,初始学习率base_lr可以为0.001,已训练网络层 的学习率lr_mult可以为0.1。接着,基于所述训练参数将所述训练样 本集输入到所述预训练模型中进行训练,得到目标检测模型。
基于上述设计,本实施例通过对训练样本集进行筛选,对初始训 练模型的网络结构进行改进,大大减小了车辆检测模型大小,减少了 检测时间。同时,在车辆特征被部分遮挡或者不规范停车的场景下, 能够大大提升车辆检出率,具有较强的场景适应性及鲁棒性。此外, 通过预训练之后再进行迁移训练,能够进一步地提高车辆检测模型的 检测精度。
为了进一步地验证所述车辆检测模型的检出率,可选地,在所述 步骤S140之后,所述方法还可以包括如下步骤:
基于所述测试样本集对所述目标检测模型进行测试,并根据测试 结果对该目标检测模型进行评估,得到评估结果。
本实施例中执行测试步骤,可选地,所述样本集还可以包括测试 样本集,在实施时可将所述测试样本集输入到所述目标检测模型进行 测试,在测试过程中将检出的置信度大于预设置信度阈值的目标作为 有效目标,并将检出置信度小于预设置信度阈值的目标进行过滤,得 到测试结果,所述测试结果包括所述目标检测模型的车辆检出率。例 如,在测试过程中可以将预设置信度阈值THR设为0.3,即目标检测 出来的置信度小于THR的都被过滤,大于THR的作为有效检出目标。
而后,根据所述测试结果判断所述目标检测模型的车辆大规模检 出率是否大于预设检出率,若是,则将车辆检出率最高的目标检测模 型作为车辆检测模型。
发明人基于测试样本集测试后的测试结果为:综合场景下,车辆 平均检出率在99.50%以上,误检率低于0.5%,一车位,两车位,三 车位检出结果如图8示。本申请结果与传统的DPM(Deformable Parts Model)检测结果对比如图9所示,从图中可以看出本申请的车辆检 测方法在不同的测试集里表现都优于DPM算法,由此,本申请提供 的车辆检测方法具有较高的场景适应性。
此外,为了对比不同场景下的检出差异,本实施例还将场景分为 以下七类,1-停放靠后,2-停放靠前,3-车牌过曝,4-车灯较亮,5- 行人遮挡,6-车辆遮挡,7-车灯切角,对于每一类场景都标定约2千 张样本,大约4千辆车。上述各个场景下的检出结果如图10所示。 DPM算法与本申请算法的检出率对比如图11所示,从图10和图11 中可以看出本申请的车辆检测方法在不同的场景下表现都优于DPM 算法,特别是当车辆停放靠前/靠后及车灯被切割的场景下。由此, 本申请的车辆检测方法在各种场景下都具有较强的鲁棒性及可靠性。
综上所述,本申请实施例提供的车辆检测方法、装置及监控设备, 通过对训练样本集进行筛选,对初始训练模型的网络结构进行改进, 大大减小了车辆检测模型大小,减少了检测时间。同时,在车辆特征 被部分遮挡或者不规范停车的场景下,能够大大提升车辆检出率,具 有较强的场景适应性及鲁棒性。此外,通过预训练之后再进行迁移训 练,能够进一步地提高车辆检测模型的检测精度。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法, 也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是 示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实 施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和 操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程 序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或 多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作 为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所 标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行, 它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注 意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的 方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统 来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成 一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以 上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任 意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序 产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。 在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按 照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、 专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可 以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向 另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个 网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光 纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式 向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算 机可读存储介质可以是计算机能够存取的任何可用介质或者是包含 一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储 设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、 光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk (SSD))等。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它 变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方 法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其 它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要 素。在没有更多限制的情况下,由语句"包括一个……"限定的要素, 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外 的相同要素。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例 的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其 它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例 看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求 而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和 范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标 记视为限制所涉及的权利要求。

Claims (10)

1.一种车辆检测方法,其特征在于,应用于监控设备,所述方法包括:
获取经筛选后的样本集,所述样本集包括训练样本集;
对初始训练模型的网络结构进行配置,得到配置后的初始训练模型;
从预先配置的ImageNet数据集中选择预设数量类数据集对所述配置后的初始训练模型中的分类网络进行预训练,得到预训练结果,所述预训练结果包括基于各类数据集训练得到的对应的分类模型和对应的分类准确率;
从所述预训练结果中选取分类准确率最高的分类模型作为预训练模型,并基于所述训练样本集对所述预训练模型进行迁移训练,得到目标检测模型。
2.根据权利要求1所述的车辆检测方法,其特征在于,所述对初始训练模型的网络结构进行配置,得到配置后的初始训练模型的步骤,包括:
对所述初始训练模型的特征提取网络进行配置,对深度可分离卷积后的输出特征按对应的通道进行均匀混合排列,并在深度可分离卷积和点卷积后,当输出的特征图和输入的特征图大小一致时,将深度可分离卷积的输入层和点卷积的输出层进行连接操作。
3.根据权利要求1所述的车辆检测方法,其特征在于,所述对初始训练模型的网络结构进行配置,得到配置后的初始训练模型的步骤,还包括:
对所述初始训练模型的特征提取网络进行优化,得到优化后的特征提取网络;
所述对所述初始训练模型的特征提取网络进行优化,得到优化后的特征提取网络的步骤,包括:
将所述初始训练模型的特征提取网络替换为基于MobileNet的特征提取网络;
对所述基于MobileNet的特征提取网络进行网络裁剪和特征图数量缩减,得到优化后的特征提取网络。
4.根据权利要求1所述的车辆检测方法,其特征在于,所述方法还包括:
对所述训练样本集进行聚类处理,获取所述训练样本集对应的高斯混合模型参数;
基于所述高斯混合模型参数对所述配置后的初始训练模型进行优化,得到优化后的初始训练模型。
5.根据权利要求4所述的车辆检测方法,其特征在于,所述对所述训练样本集进行聚类处理,获取所述训练样本集对应的高斯混合模型参数的步骤,包括:
获取混合的多个高斯分布模型,其中,假设所述经筛选后的样本集服从所述混合的多个高斯分布模型;
初始化高斯混合模型参数,并基于初始化的高斯混合模型参数计算所述训练样本集由每个所述高斯分布模型生成的概率;
根据所述训练样本集由每个所述高斯分布模型生成的概率估计并更新高斯混合模型参数;
基于更新后的高斯混合模型参数重复上述步骤,直到似然函数收敛时,根据计算出的高斯混合模型参数遍历所述训练样本集,将所述训练样本集中的样本归于概率最大的高斯混合模型中,同时将计算出的高斯混合模型参数作为所述训练样本集对应的高斯混合模型参数。
6.根据权利要求1所述的车辆检测方法,其特征在于,所述基于所述训练样本集对所述预训练模型进行训练,得到目标检测模型的步骤,包括:
获取所述训练模型的训练参数,其中,所述训练参数包括对所述训练样本集进行图像缩放的缩放参数、去均值参数、归一化参数、初始学习率以及已训练网络层的学习率;
基于所述训练参数将所述训练样本集输入到所述预训练模型中进行训练,得到目标检测模型。
7.根据权利要求1-6中任意一项所述的车辆检测方法,其特征在于,所述样本集还包括测试样本集,所述基于所述训练样本集对所述预训练模型进行迁移训练,得到目标检测模型的步骤之后,所述方法还包括:
基于所述测试样本集对所述目标检测模型进行测试,并根据测试结果对该目标检测模型进行评估,得到评估结果;
其中,所述基于所述测试样本集对所述目标检测模型进行测试,并根据测试结果对该目标检测模型进行评估,得到评估结果的步骤,包括:
将所述测试样本集输入到所述目标检测模型进行测试;
在测试过程中将检出置信度大于预设置信度阈值的目标作为有效目标,并将检出置信度小于预设置信度阈值的目标进行过滤,得到测试结果,所述测试结果包括所述目标检测模型的车辆检出率;
判断所述目标检测模型的车辆检出率是否大于预设检出率,若是,则将车辆检出率最高的目标检测模型作为车辆检测模型。
8.根据权利要求7所述的车辆检测方法,其特征在于,在所述基于所述测试样本集对所述目标检测模型进行测试,并根据测试结果得到对该目标检测模型进行评估,得到评估结果的步骤之后,所述方法还包括:
根据所述评估结果通过检出置信度最高的车辆检测模型对监控区域中的车辆进行检测,得到车辆实际检测结果。
9.一种车辆检测装置,其特征在于,应用于监控设备,所述装置包括:
获取模块,用于获取经筛选后的样本集,所述样本集包括训练样本集和测试样本集;
配置模块,用于对初始训练模型的网络结构进行配置,得到配置后的初始训练模型;
预训练模块,用于从预先配置的ImageNet数据集中选择预设数量类数据集对所述配置后的初始训练模型中的分类网络进行预训练,得到预训练结果,所述预训练结果包括基于各类数据集训练得到的对应的分类模型和对应的分类准确率;
选取模块,用于从所述预训练结果中选取分类准确率最高的分类模型作为预训练模型,并基于所述训练样本集对所述预训练模型进行训练,得到目标检测模型。
10.一种监控设备,其特征在于,所述监控设备包括:
存储介质;
处理器;以及
权利要求9所述的车辆检测装置,所述车辆检测装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块。
CN201810752103.1A 2018-07-10 2018-07-10 车辆检测方法、装置及监控设备 Pending CN110705338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810752103.1A CN110705338A (zh) 2018-07-10 2018-07-10 车辆检测方法、装置及监控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810752103.1A CN110705338A (zh) 2018-07-10 2018-07-10 车辆检测方法、装置及监控设备

Publications (1)

Publication Number Publication Date
CN110705338A true CN110705338A (zh) 2020-01-17

Family

ID=69192415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810752103.1A Pending CN110705338A (zh) 2018-07-10 2018-07-10 车辆检测方法、装置及监控设备

Country Status (1)

Country Link
CN (1) CN110705338A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111709319A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具清点方法及装置
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN113591959A (zh) * 2021-07-21 2021-11-02 特瓦特能源科技有限公司 一种车辆检测方法及相关设备
CN115937837A (zh) * 2022-11-09 2023-04-07 粤丰科盈智能投资(广东)有限公司 一种基于位置编码的车牌检测方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184413A (zh) * 2011-05-16 2011-09-14 浙江大华技术股份有限公司 车辆智能监控系统中车身颜色自动识别方法
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184413A (zh) * 2011-05-16 2011-09-14 浙江大华技术股份有限公司 车辆智能监控系统中车身颜色自动识别方法
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和系统
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARK SANDLER ET AL.: ""MobileNetV2: Inverted Residuals and Linear Bottlenecks"", 《ARXIV》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111339858B (zh) * 2020-02-17 2022-07-29 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111709319A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具清点方法及装置
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN112036236B (zh) * 2020-07-22 2023-07-14 山东浪潮科学研究院有限公司 一种基于GhostNet的图像检测方法、设备及介质
CN113591959A (zh) * 2021-07-21 2021-11-02 特瓦特能源科技有限公司 一种车辆检测方法及相关设备
CN115937837A (zh) * 2022-11-09 2023-04-07 粤丰科盈智能投资(广东)有限公司 一种基于位置编码的车牌检测方法、装置及计算机可读存储介质
CN115937837B (zh) * 2022-11-09 2023-10-27 粤丰科盈智能投资(广东)有限公司 一种基于位置编码的车牌检测方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN110705338A (zh) 车辆检测方法、装置及监控设备
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109087510B (zh) 交通监测方法及装置
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN110210474B (zh) 目标检测方法及装置、设备及存储介质
WO2021031954A1 (zh) 对象数量确定方法、装置、存储介质与电子设备
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN111062400A (zh) 目标匹配方法及装置
CN110853085A (zh) 基于语义slam的建图方法和装置及电子设备
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN110795975A (zh) 人脸误检优化方法及装置
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN116778458A (zh) 车位检测模型构建方法、车位检测方法、设备及存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN111765892B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN112101139A (zh) 人形检测方法、装置、设备及存储介质
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN111881833B (zh) 一种车辆检测方法、装置、设备及存储介质
CN114926454B (zh) 一种停车位检测方法及装置、电子设备
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
CN116935168B (zh) 目标检测的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination