CN114067282A - 一种端到端的车辆位姿检测方法及装置 - Google Patents

一种端到端的车辆位姿检测方法及装置 Download PDF

Info

Publication number
CN114067282A
CN114067282A CN202111299196.5A CN202111299196A CN114067282A CN 114067282 A CN114067282 A CN 114067282A CN 202111299196 A CN202111299196 A CN 202111299196A CN 114067282 A CN114067282 A CN 114067282A
Authority
CN
China
Prior art keywords
vehicle
network
head
end point
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111299196.5A
Other languages
English (en)
Other versions
CN114067282B (zh
Inventor
王闪闪
班华忠
王正
崔凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Icetech Science & Technology Co ltd
Original Assignee
Beijing Icetech Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Icetech Science & Technology Co ltd filed Critical Beijing Icetech Science & Technology Co ltd
Priority to CN202111299196.5A priority Critical patent/CN114067282B/zh
Publication of CN114067282A publication Critical patent/CN114067282A/zh
Application granted granted Critical
Publication of CN114067282B publication Critical patent/CN114067282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种端到端的车辆位姿检测方法，该方法包括：搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向。与现有技术相比，本发明能准确地进行车辆位姿检测。

Description

一种端到端的车辆位姿检测方法及装置
技术领域
本发明涉及图像处理、智慧停车、车辆识别，特别涉及一种端到端的车辆位姿检测方法及装置。
背景技术
随着汽车保有量的日益增多，路内停车也成为亟待解决的问题之一，已经引起了交通管理部门的重视。传统的路侧停车检测主要是是围圈、地感装置和手持机，效率低，无法实现实时监控，极大地浪费了相关部门的人力和财力。
近年来，基于监控视频进行路内停车检测的方法受到了极大的关注，该方法具有准确率高、实时性好、成本低、容易收集证据等优点。按照监控相机安装的位置，有路内低杆方案(相机安装高度0.8～1.8米)和路内高位方案(相机安装高度3.5～7米)。
在路内高位方案中，车辆检测是筛选出有效车辆数据的关键技术。现有的车辆检测方法主要是输出矩形框格式的坐标信息，在车辆正对摄像机时，矩形框的四个边框可以真实表示车辆的左右上下四个边界。但当车辆在出入车过程或在斜照场景下，车检输出的矩形框无法贴合真实的车辆，矩形框的四个边框与车辆边界失去了映射关系，逻辑层无法判断车辆入车出车的比例，也无法更准确分析车辆的运动状态，造成多检漏检等情况。
综上所述，目前迫切需要提出一种能解决上述问题的车辆检测方法。
发明内容
有鉴于此，本发明的主要目的在于快速实现车辆位姿检测。
为达到上述目的，按照本发明的第一个方面，提供了一种端到端的车辆位姿检测方法，该方法包括：
第一步骤，搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
第二步骤，建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
第三步骤，将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
第四步骤，将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向。
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框。
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点。
所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点。
进一步地，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
其中，所述图像预处理包括以下一种或者多种的组合：图像亮度调节、图像角度校正、选定目标随机擦除处理。
进一步地，所述选定目标随机擦除处理步骤包括：对于目标a和目标b，如果目标b的矩形框下边界大于目标a的矩形框下边界，计算目标a与目标b的交并比，将计算的交并比作为目标a的被遮挡率；如果目标a的被遮挡率小于遮挡阈值，则对目标a采用随机擦除方法，擦除遮挡目标a的部分区域，如果目标的被遮挡率不小于遮挡阈值，则不对目标a进行擦除处理。
其中，所述第二步骤中图像输入到主干网络，经过主干网络处理后，获得多尺寸维度下的图像特征，将多尺寸维度下的图像特征输出给车检分支网络和车姿检测分支网络。
其中，所述主干网络采用轻量级网络结构。
进一步地，所述轻量级网络结构包括以下一种网络结构：YOLOV5S、shufflenetv2、mobilenetv2、mobilenetv3等。
进一步地，所述主干网络采用YOLOV5S网络结构。进一步地，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层，RELU表示激活函数。
进一步地，所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度。其中，车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间。
进一步地，所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头。其中，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息。所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向。其中，所述目标车辆的方向包括：车头超前、车尾超前。
进一步地，所述车姿检测分支网络头的卷积模块的卷积核可以设置为3*3或者1*1，通道数设计可以设置为32或者64或者128或者256，同时不同特征层之间不共享权重。
进一步地，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
进一步地，所述车检分支网络车辆定位的权重α1和车姿检测分支网络关键点的权重α4都设为2，车检分支网络车辆置信度的权重α2、车检分支网络车辆中心度偏差的权重α3、车姿检测分支网络车辆方向的权重α5都设为1。
进一步地，所述第三步骤包括：
车检训练步骤，输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练步骤，设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络。
其中，所述锁定网络的方法包括：在每次模型迭代之前，设置锁定网络的权重参数requires_grad＝False，则该锁定网络的权重保持不变。
按照本发明的另一个方面，提供了一种端到端的车辆位姿检测装置，该装置包括：
车辆样本标注和预处理模块，用于搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
车辆位姿检测网络建立模块，用于建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
车辆位姿检测网络训练模块，用于将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
车辆位姿检测模块，用于将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向。
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框。
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点。
所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点。
进一步地，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
进一步地，所述主干网络采用YOLOV5S网络结构。进一步地，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层(Batch Normalization)，RELU表示激活函数。
进一步地，所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度。其中，车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间。
进一步地，所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头。其中，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息。所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向。其中，所述目标车辆的方向包括：车头超前、车尾超前。
进一步地，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
进一步地，所述车辆位姿检测网络训练模块包括：
车检训练模块，用于输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练模块，用于设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络。
与现有的车辆识别技术相比，本发明的一种端到端的车辆位姿检测方法及装置能够准确检测车辆的位姿及方向。
附图说明
图1示出了按照本发明的一种端到端的车辆位姿检测方法的流程图。
图2示出了按照本发明的一种端到端的车辆位姿检测装置的框架图。
具体实施方式
为使本领域的技术人员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的一种端到端的车辆位姿检测方法的流程图。如图1所示，按照本发明的一种端到端的车辆位姿检测方法包括：
第一步骤S1，搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
第二步骤S2，建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
第三步骤S3，将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
第四步骤S4，将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向。
进一步地，所述第一步骤S1中车辆样本图像包括：不同场景、不同姿态、不同车型、不同遮挡和光照情况下的车辆图像。
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框。
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点。
所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点。
进一步地，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
其中，所述图像预处理包括以下一种或者多种的组合：图像亮度调节、图像角度校正、选定目标随机擦除处理。
进一步地，所述选定目标随机擦除处理步骤包括：对于目标a和目标b，如果目标b的矩形框下边界大于目标a的矩形框下边界，计算目标a与目标b的交并比，将计算的交并比作为目标a的被遮挡率；如果目标a的被遮挡率小于遮挡阈值，则对目标a采用随机擦除方法，擦除遮挡目标a的部分区域，如果目标的被遮挡率不小于遮挡阈值，则不对目标a进行擦除处理。
进一步地，所述目标a与目标b的交并比的计算步骤包括：计算目标a与目标b的重叠区域的面积，计算目标a与目标b的合并区域的面积，用重叠区域的面积除以合并区域的面积，得到目标a与目标b的交并比。
其中，所述选定目标随机擦除方法是一种图像增强技术，可以在训练中，对遮挡率低的目标，随机选择目标的矩形区域，并使用随机值擦除其像素，从而生成具有遮挡级别的训练图像，会降低过拟合风险并使得模型对遮挡具有一定的鲁棒性。
进一步地，所述遮挡阈值的取值范围为0.05～0.5。示例性地，所述遮挡阈值选为0.3。
其中，所述第二步骤S2中图像输入到主干网络，经过主干网络处理后，获得多尺寸维度下的图像特征，将多尺寸维度下的图像特征输出给车检分支网络和车姿检测分支网络。
其中，所述主干网络采用轻量级网络结构。
进一步地，所述轻量级网络结构包括以下一种网络结构：YOLOV5S、shufflenetv2、mobilenetv2、mobilenetv3等。
进一步地，所述主干网络采用YOLOV5S网络结构。进一步地，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层(Batch Normalization)，RELU表示激活函数。由于适配前端设备在网络量化时无法转换Focus模块的网络层，将Focus模块修改为CONV+BN+RELU的卷积模块，可以解决该问题。
进一步地，所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度。其中，车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间。
进一步地，所述车检分支网络采用ATSS网络。示例性地，ATSS网络可以参加文献“Bridging the Gap Between Anchor-Based and Anchor-Free Detection via AdaptiveTraining Sample Selection.Shifeng Zhang,Cheng Chi,Yongqiang Yao,Zhen Lei,StanZ.Li.2020IEEE/CVF Conference on CVPR”。
进一步地，所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头。其中，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息。所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向。其中，所述目标车辆的方向包括：车头超前、车尾超前。
进一步地，所述车姿检测分支网络头的卷积模块的卷积核可以设置为3*3或者1*1，通道数设计可以设置为32或者64或者128或者256，同时不同特征层之间不共享权重。
进一步地，所述车辆位姿检测网络的损失为车检分支网络车辆定位的损失、车检分支网络车辆置信度的损失、车检分支网络车辆中心度偏差的损失、车姿检测分支网络关键点的损失、车姿检测分支网络车辆方向的损失的加权和。
进一步地，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
进一步地，所述车检分支网络车辆定位的权重α1和车姿检测分支网络关键点的权重α4都设为2，车检分支网络车辆置信度的权重α2、车检分支网络车辆中心度偏差的权重α3、车姿检测分支网络车辆方向的权重α5都设为1。
进一步地，所述第三步骤S3包括：
车检训练步骤S31，输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练步骤S32，设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络。
其中，所述锁定网络的方法包括：在每次模型迭代之前，设置锁定网络的权重参数requires_grad＝False，则该锁定网络的权重保持不变。示例性地，设置所述车姿检测分支网络的权重参数requires_grad＝False，则所述车姿检测分支网络的权重保持不变；设置所述主干网络及车检分支网络的权重参数requires_grad＝False，则所述主干网络及车检分支网络的权重保持不变。
图2给出了按照本发明的一种端到端的车辆位姿检测装置的框架图。如图2所示，按照本发明的一种端到端的车辆位姿检测装置包括：
车辆样本标注和预处理模块1，用于搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
车辆位姿检测网络建立模块2，用于建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
车辆位姿检测网络训练模块3，用于将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
车辆位姿检测模块4，用于将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向。
进一步地，所述车辆样本标注和预处理模块1中车辆样本图像包括：不同场景、不同姿态、不同车型、不同遮挡和光照情况下的车辆图像。
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框。
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点。
所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点。
进一步地，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
其中，所述图像预处理包括以下一种或者多种的组合：图像亮度调节、图像角度校正、选定目标随机擦除处理。
其中，所述选定目标随机擦除处理通过选定目标随机擦除处理模块实现。
进一步地，所述选定目标随机擦除处理模块包括：用于对于目标a和目标b，如果目标b的矩形框下边界大于目标a的矩形框下边界，计算目标a与目标b的交并比，将计算的交并比作为目标a的被遮挡率；如果目标a的被遮挡率小于遮挡阈值，则对目标a采用随机擦除方法，擦除遮挡目标a的部分区域，如果目标的被遮挡率不小于遮挡阈值，则不对目标a进行擦除处理。
进一步地，所述遮挡阈值的取值范围为0.05～0.5。
其中，所述车辆位姿检测网络建立模块2中图像输入到主干网络，经过主干网络处理后，获得多尺寸维度下的图像特征，将多尺寸维度下的图像特征输出给车检分支网络和车姿检测分支网络。
其中，所述主干网络采用轻量级网络结构。
进一步地，所述轻量级网络结构包括以下一种网络结构：YOLOV5S、shufflenetv2、mobilenetv2、mobilenetv3等。
进一步地，所述主干网络采用YOLOV5S网络结构。进一步地，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层(Batch Normalization)，RELU表示激活函数。
进一步地，所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度。其中，车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间。
进一步地，所述车检分支网络采用ATSS网络。
进一步地，所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头。其中，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息。所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向。其中，所述目标车辆的方向包括：车头超前、车尾超前。
进一步地，所述车辆位姿检测网络的损失为车检分支网络车辆定位的损失、车检分支网络车辆置信度的损失、车检分支网络车辆中心度偏差的损失、车姿检测分支网络关键点的损失、车姿检测分支网络车辆方向的损失的加权和。
进一步地，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
进一步地，所述车检分支网络车辆定位的权重α1和车姿检测分支网络关键点的权重α4都设为2，车检分支网络车辆置信度的权重α2、车检分支网络车辆中心度偏差的权重α3、车姿检测分支网络车辆方向的权重α5都设为1。
进一步地，所述车辆位姿检测网络训练模块3包括：
车检训练模块31，用于输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练模块32，用于设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络。
其中，所述锁定网络的方法包括：在每次模型迭代之前，设置锁定网络的权重参数requires_grad＝False，则该锁定网络的权重保持不变。
与现有的车辆识别技术相比，本发明的一种端到端的车辆位姿检测方法及装置能够准确检测车辆的位姿及方向。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (13)

1.一种端到端的车辆位姿检测方法，其特征在于，该方法包括：
第一步骤，搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
第二步骤，建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
第三步骤，将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
第四步骤，将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向；
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框；
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点；所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点；
其中，所述第二步骤中图像输入到主干网络，经过主干网络处理后，获得多尺寸维度下的图像特征，将多尺寸维度下的图像特征输出给车检分支网络和车姿检测分支网络；
所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度；
所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息；所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向；
其中，所述主干网络采用轻量级网络结构；车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间；所述目标车辆的方向包括：车头超前、车尾超前。
2.如权利要求1所述的方法，其特征在于，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
3.如权利要求1所述的方法，其特征在于，所述图像预处理包括以下一种或者多种的组合：图像亮度调节、图像角度校正、选定目标随机擦除处理；
进一步地，所述选定目标随机擦除处理步骤包括：对于目标a和目标b，如果目标b的矩形框下边界大于目标a的矩形框下边界，计算目标a与目标b的交并比，将计算的交并比作为目标a的被遮挡率；如果目标a的被遮挡率小于遮挡阈值，则对目标a采用随机擦除方法，擦除遮挡目标a的部分区域，如果目标的被遮挡率不小于遮挡阈值，则不对目标a进行擦除处理；
其中，所述遮挡阈值的取值范围为0.05～0.5。
4.如权利要求3所述的方法，其特征在于，所述主干网络采用YOLOV5S网络结构，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层，RELU表示激活函数。
5.如权利要求1所述的方法，其特征在于，所述车姿检测分支网络头的卷积模块的卷积核设置为3*3或者1*1，通道数设计设置为32或者64或者128或者256，同时不同特征层之间不共享权重。
6.如权利要求1所述的方法，其特征在于，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
7.如权利要求6所述的方法，其特征在于，所述车检分支网络车辆定位的权重α1和车姿检测分支网络关键点的权重α4都设为2，车检分支网络车辆置信度的权重α2、车检分支网络车辆中心度偏差的权重α3、车姿检测分支网络车辆方向的权重α5都设为1。
8.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
车检训练步骤，输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练步骤，设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络；
其中，所述锁定网络的方法包括：在每次模型迭代之前，设置锁定网络的权重参数requires_grad＝False，则该锁定网络的权重保持不变。
9.一种端到端的车辆位姿检测装置，其特征在于，该装置包括：
车辆样本标注和预处理模块，用于搜集车辆样本图像，对车辆样本图像内的车辆矩形框位置和车辆底盘的3个关键点进行标定，获取标定的车辆样本图像；对标定的车辆样本进行图像预处理，获取预处理后的车辆样本；
车辆位姿检测网络建立模块，用于建立由主干网络、车检分支网络、车姿检测分支网络组成的车辆位姿检测网络；
车辆位姿检测网络训练模块，用于将预处理后的车辆样本输入车辆位姿检测网络，进行反复训练，直至网络收敛，获得训练好的车辆位姿检测网络；
车辆位姿检测模块，用于将待检测图像输入到训练好的车辆位姿检测网络，进行检测后，输出待检测图像中的车检定位信息、车辆置信度、车辆底盘的3个关键点和车辆方向；
其中，所述车辆样本图像内的车辆矩形框位置为图像中车辆检测的矩形框。
其中，车辆矩形框内有4个车辆位置坐标，其中车头方向的2个位置坐标，按照左、右顺序，记为车头左端点、车头右端点；车尾方向的2个位置坐标，按照左、右顺序，车尾左端点、车尾右端点；所述车辆底盘的3个关键点分别是：车头或者车尾的两个端点、车辆可见侧边的端点；
其中，所述车辆位姿检测网络建立模块中图像输入到主干网络，经过主干网络处理后，获得多尺寸维度下的图像特征，将多尺寸维度下的图像特征输出给车检分支网络和车姿检测分支网络；
所述车检分支网络包括车检分支特征网络和车检分支网络头，其中车检分支特征网络用于接收主干网络输出的多尺寸维度下的图像特征，进行特征细化及融合处理后，输出给车检分支网络头的进行处理，最终输出检测图像中的车辆定位信息、车辆置信度、车辆中心度；
所述车姿检测分支网络包括车姿检测分支特征金字塔网络和车姿检测分支网络头，所述车姿检测分支特征金字塔网络采用特征金字塔网络，从多尺寸维度下的图像特征中，提取与车辆姿态相关的语义信息；所述车姿检测分支网络头由4组CONV+RELU的卷积模块级联而成，所述车姿检测分支网络头的卷积模块输出车姿的关键点分支和方向分支，其中关键点分支是输出通道为6的卷积层，关键点分支的6个输出通道的数值分别表示车辆底盘的3个关键点的水平坐标和垂直坐标；方向分支是输出通道为1的卷积层，方向分支的1个输出通道的数值表示目标车辆的方向；
其中，所述主干网络采用轻量级网络结构；车辆定位信息包括车辆的车辆矩形框的左上端点和右下端点的位置坐标；车辆中心度表示anchor点与中心点的偏离度，取值在0～1之间；所述目标车辆的方向包括：车头超前、车尾超前。
10.如权利要求9所述的装置，其特征在于，所述车辆底盘的3个关键点包括：当车辆的车头在车尾下方时，如果车辆向右倾斜，则选择车头左端点、车头右端点、车尾右端点作为车辆底盘的3个关键点；当车辆的车头在车尾下方时，如果车辆向左倾斜，则选择头左端点、车头右端点、车尾左端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向右倾斜，则选择车尾左端点、车尾右端点、车头右端点作为车辆底盘的3个关键点；当车辆的车尾在车头下方时，如果车辆向左倾斜，则选择车尾左端点、车尾右端点、车头左端点作为车辆底盘的3个关键点。
11.如权利要求9所述的装置，其特征在于，所述主干网络采用YOLOV5S网络结构，将所述YOLOV5S网络结构中的Focus模块修改为CONV+BN+RELU的卷积模块，其中CONV表示卷积层，BN表示归一化层，RELU表示激活函数。
12.如权利要求9所述的装置，其特征在于，所述车辆位姿检测网络的损失函数L的计算公式为L＝α1Lloc+α2Lconf+α3Lcent+α4Lkp+α5Ldir，其中Lloc和α1表示车检分支网络车辆定位的损失和权重，Lconf和α2分别表示车检分支网络车辆置信度的损失和权重，Lcent和α3分别表示车检分支网络车辆中心度偏差的损失和权重，Lkp和α4分别表示车姿检测分支网络关键点的损失和权重，Ldir和α5分别表示车姿检测分支网络车辆方向的损失和权重。
13.如权利要求9所述的装置，其特征在于，所述车辆位姿检测网络训练模块包括：
车检训练模块，用于输入预处理的车辆样本，锁定车姿检测分支网络，设置车检网络分支为高优先级，训练主干网络和车检分支网络，获得车检最优模型；
车姿检测训练模块，用于设置车检最优模型作为预训练模型，锁定主干网络及车检分支网络，训练车姿检测分支网络，直至网络收敛，获得训练后的车辆姿态检测网络；
其中，所述锁定网络的方法包括：在每次模型迭代之前，设置锁定网络的权重参数requires_grad＝False，则该锁定网络的权重保持不变。
CN202111299196.5A 2021-11-04 2021-11-04 一种端到端的车辆位姿检测方法及装置 Active CN114067282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111299196.5A CN114067282B (zh) 2021-11-04 2021-11-04 一种端到端的车辆位姿检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111299196.5A CN114067282B (zh) 2021-11-04 2021-11-04 一种端到端的车辆位姿检测方法及装置

Publications (2)

Publication Number Publication Date
CN114067282A true CN114067282A (zh) 2022-02-18
CN114067282B CN114067282B (zh) 2024-05-07

Family

ID=80273821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111299196.5A Active CN114067282B (zh) 2021-11-04 2021-11-04 一种端到端的车辆位姿检测方法及装置

Country Status (1)

Country Link
CN (1) CN114067282B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223114A (zh) * 2022-09-16 2022-10-21 松立控股集团股份有限公司 一种基于双向融合特征金字塔的端到端车辆姿态估计方法
CN115272992A (zh) * 2022-09-30 2022-11-01 松立控股集团股份有限公司 一种车辆姿态估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303882A (zh) * 2015-11-16 2016-02-03 东南大学 基于时空维度动态停车收费策略的停车管理系统及方法
CN110512923A (zh) * 2019-09-19 2019-11-29 鲁肃 一种泊车平台及使用该泊车平台的停车场
CN111144209A (zh) * 2019-11-25 2020-05-12 浙江工商大学 一种基于异构多分支深度卷积神经网络的监控视频人头检测方法
WO2021175006A1 (zh) * 2020-03-04 2021-09-10 深圳壹账通智能科技有限公司 车辆图像检测方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303882A (zh) * 2015-11-16 2016-02-03 东南大学 基于时空维度动态停车收费策略的停车管理系统及方法
CN110512923A (zh) * 2019-09-19 2019-11-29 鲁肃 一种泊车平台及使用该泊车平台的停车场
CN111144209A (zh) * 2019-11-25 2020-05-12 浙江工商大学 一种基于异构多分支深度卷积神经网络的监控视频人头检测方法
WO2021175006A1 (zh) * 2020-03-04 2021-09-10 深圳壹账通智能科技有限公司 车辆图像检测方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223114A (zh) * 2022-09-16 2022-10-21 松立控股集团股份有限公司 一种基于双向融合特征金字塔的端到端车辆姿态估计方法
CN115272992A (zh) * 2022-09-30 2022-11-01 松立控股集团股份有限公司 一种车辆姿态估计方法

Also Published As

Publication number Publication date
CN114067282B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN111582083B (zh) 一种基于消失点估计与语义分割的车道线检测方法
CN109829400B (zh) 一种快速车辆检测方法
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN114067282A (zh) 一种端到端的车辆位姿检测方法及装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
CN111340151A (zh) 一种用于辅助车辆自动驾驶的天气现象识别系统和方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN113011338A (zh) 一种车道线检测方法及系统
CN112686252A (zh) 一种车牌检测方法和装置
CN111814773A (zh) 一种划线车位识别方法及系统
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
FAN et al. Robust lane detection and tracking based on machine vision
CN113033363A (zh) 一种基于深度学习的车辆稠密目标检测方法
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置
CN111507196A (zh) 一种基于机器视觉和深度学习的车辆类型识别方法
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN112329724B (zh) 机动车变道实时检测与抓拍方法
CN114565597A (zh) 一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant