CN112200834A - 一种基于车辆关键点轨迹的倒车判断方法、系统及介质 - Google Patents

一种基于车辆关键点轨迹的倒车判断方法、系统及介质 Download PDF

Info

Publication number
CN112200834A
CN112200834A CN202010984873.6A CN202010984873A CN112200834A CN 112200834 A CN112200834 A CN 112200834A CN 202010984873 A CN202010984873 A CN 202010984873A CN 112200834 A CN112200834 A CN 112200834A
Authority
CN
China
Prior art keywords
vehicle
key point
lamp
feature
wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010984873.6A
Other languages
English (en)
Inventor
胡海峰
陈弟虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xindun Microelectronics Technology Co ltd
Original Assignee
Guangdong Xindun Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xindun Microelectronics Technology Co ltd filed Critical Guangdong Xindun Microelectronics Technology Co ltd
Priority to CN202010984873.6A priority Critical patent/CN112200834A/zh
Publication of CN112200834A publication Critical patent/CN112200834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于车辆关键点轨迹的倒车判断方法、系统及介质，其中方法包括以下步骤：对连续视频帧进行检测，输出目标车辆检测框；将目标车辆图片输入到车辆关键点提取模型，输出粗特征图、细特征图和车辆方位特征向量；根据车辆方位特征向量判断目标车辆的方位朝向，筛选出可视车辆关键点细特征图，进而获取可视车辆关键点图像坐标；根据可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车。本发明通过获取关键点粗特征图、关键点细特征图和车辆方位特征向量来对倒车进行判断，提高不定角度摄像头拍摄连续视频帧中目标车辆关键点移动轨迹精度，提高判断车辆是否倒车的准确率，可广泛应用于深度学习技术领域。

Description

一种基于车辆关键点轨迹的倒车判断方法、系统及介质
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于车辆关键点轨迹的倒车判断方法、系统及介质。
背景技术
基于车辆关键点轨迹倒车判断是指，对连续视频帧目标车辆关键点及其朝向进行检测，从而获得目标车辆关键点轨迹，进而判断目标车辆在连续视频帧内是否倒车。
车辆由于车头和车尾极度相似，很难从不定角度的摄像头拍摄的连续帧判断目标车辆是否倒车，如果能够判断目标车辆朝向及其可视关键点，那么就能根据可视关键点的移动轨迹判断目标车辆是否倒车。此方法可应用于智能交通、碰撞预警、无人停车场等领域。
倒车判断任务中的判别式方法试图通过使用单个倒车分类器器来区分多种方位朝向的目标车是否倒车。例如，Wei等人提出倒车卷积网络模型(Backed CarConvolutional Neural Network，BC-CNN)来判断当前目标车辆是否倒车，Xu等人利用长短期记忆模型(Long Short-Term Memory，LSTM)来提取时序视频帧内目标车辆时序特征，进而判断当前车辆是否倒车，Liu等人采用卷积神经网络(Convolutional Neural Networks,CNN)判断车辆朝向方位，结合光流法判断当前车辆是否倒车。然而，这些判别方法对摄像头拍摄角度非常敏感，对目标车辆朝向不具鲁棒性，很难根据从不定角度的摄像头拍摄的连续帧中判断目标车辆是否倒车。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于：一种基于车辆关键点轨迹的倒车判断方法、系统及介质。
本发明所采用的技术方案是：
一种基于车辆关键点轨迹的倒车判断方法，包括以下步骤：
获取包含目标车辆的连续视频帧；
将所述连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；
将所述车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；
根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；
根据所述n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；
其中，n为正整数。
进一步，所述车辆关键点提取模型包括关键点提取网络和车辆方位判断网络，所述关键点提取网络包括关键点粗提取网络和关键点细提取网络，所述车辆关键点提取模型由关键点粗提取网络、关键点细提取网络、车辆方位判断网络根据相关损失函数进行交替更新后获得。
进一步，所述基于车辆关键点轨迹的倒车判断方法还包括建立所述车辆关键点提取模型的训练步骤，所述车辆关键点提取模型的训练步骤包括对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练的步骤，所述对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练这一步骤，包括以下步骤：
将带有关键点和方位标签的数据集输入至所述关键点粗提取网络后，获得车辆关键点粗特征图；
将所述车辆关键点粗特征图输入至所述车辆方位判断网络后，获得车辆方位特征向量；
将所述车辆关键点粗特征图输入至所述关键点细提取网络后，获得车辆关键点细特征图；
根据所述车辆关键点粗特征图、所述车辆关键点细特征图、所述车辆方位特征向量计算相关损失函数；
采用所述相关损失函数对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练。
进一步，所述相关损失函数包括关键点特征图相关性损失函数和方位特征向量相关性损失函数，所述采用所述相关损失函数对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练这一步骤，包括以下步骤：
采用所述关键点特征图相关性损失函数对所述关键点粗提取网络和关键点细提取网络进行训练；
采用所述方位特征向量相关性损失函数对所述车辆方位判断网络进行训练。
进一步，所述车辆关键点粗特征图和所述车辆关键点细特征图分别包含20个车辆关键点特征图，所述20个车辆关键点特征图包含车辆左前轮、左后轮、右前轮、右后轮、左雾灯、右雾灯、左前灯、右前灯、前车标、前车牌、左后视镜、右后视镜、左前顶角、右前顶角、左后顶角、右后顶角、左后灯、右后灯、后车标、后车牌的关键点特征图，所述的车辆20个车辆关键点特征图的最大特征值位于对应车辆关键点的图像坐标。
进一步，所述目标车辆方位特征向量包括8个方向特征值，所述8个方向特征值包含正前、左前、正左、左后、正后、右后、正右、右前特征值，特征向量最大特征值对应的朝向为车辆真实方向。
进一步，所述n为7，所述根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标，包括：
根据所述目标车辆方位特征向量中最大方向特征值对应的朝向，获取目标车辆预测方位朝向；
根据所述目标车辆预测方位朝向，从所述20个车辆关键点细特征图中筛选出对应7个可视车辆关键点细特征图；
根据所述7个可视车辆关键点细特征图，获取7个可视车辆关键点图像坐标；
其中，目标车辆预测方位朝向与7个可视车辆关键点细特征图对应关系包括:
正前方向对应左后视镜、右后视镜、左前灯、右前灯、前车标、左前顶角、右前顶角车辆关键点细特征图；
左前方向对应前车标、左前顶角、左雾灯、左前灯、左后顶角、左前轮、左后顶角车辆关键点细特征图；
正左方向对应左前灯、左前轮、左后视镜、左前顶角、左后顶角、左后轮、左后灯车辆关键点细特征图；
左后方向对应左后轮、左后灯、左后顶点、左后视镜、左前顶角、后车标、左前轮车辆关键点细特征图；
正后方向对应右后灯、右后顶角、左后顶角、后车标、左后灯、左后视镜、左后视镜车辆关键点细特征图；
右后方向对应右前轮、右后轮、右后视镜、右后顶角、右后灯、后车标、右前顶角车辆关键点细特征图；
正右方向对应右前灯、右前轮、右后视镜、右前顶角、右后顶角、右后轮、右后灯车辆关键点细特征图；
右前方向对应前车标、右前顶角、右雾灯、右前灯、右后顶角、右前轮、右后顶角车辆关键点细特征图。
进一步，所述判断规则包括：
对于左前轮、左后轮或者右前轮、右后轮关键点同时可视的方向正左、左前、左后、正右、右前、右后方向，通过判断连续帧的首帧前轮关键点到首帧后轮关键点的像素距离是否小于末帧前轮关键点到首帧后轮关键点的像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正前方向，通过判断连续帧的首帧左前灯关键点到首帧右前灯关键点像素距离是否小于末帧左前灯关键点到末帧右前灯关键点像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正后方向，通过判断连续帧的首帧左后灯关键点到首帧右后灯关键点像素距离是否大于末帧左后灯关键点到末帧右后灯关键点像素距离，如果是则当前车辆正在倒车。
本发明所采用的另一技术方案是：
一种基于车辆关键点轨迹的倒车判断系统，包括：
数据获取模块，用于获取包含目标车辆的连续视频帧；
车辆检测模块，用于将所述连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；
特征提取模块，用于将所述车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；
方向确认模块，用于根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；
倒车判断模块，用于根据所述n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；
其中，n为正整数。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过获取关键点粗特征图、关键点细特征图和车辆方位特征向量来对倒车进行判断，提高了不定角度摄像头拍摄连续视频帧中目标车辆关键点移动轨迹精度，进而提高判断车辆是否倒车的准确率。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本方明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明实施例的一种基于车辆关键点轨迹的倒车判断方法的步骤流程图；
图2为本发明实施例的车辆关键点提取网络和车辆方位判断网络模型框架图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供了一种基于车辆关键点轨迹的倒车判断方法，包括但不限于以下步骤：
S1、训练车辆关键点检测模型。该车辆关键点检测模型包括关键点粗提取网络、关键点细提取网络和车辆方位判断网络，在训练过程中，该车辆关键点检测模型由关键点粗提取网络、关键点细提取网络和车辆方位判断网络根据相关损失进行交替更新后获得。
具体地，关键点粗提取网络用于提取输入至车辆关键点检测模型的目标车辆的关键点粗特征图(也可称为车辆关键点粗特征图)，该关键点粗特征图包括车辆20个关键点大致图像坐标信息，关键点细提取网络用于根据关键点粗特征图提取目标车辆关键点细特征图，该关键点细特征图(也可称为车辆关键点细特征图)包括车辆20个关键点具体图像坐标信息，车辆方位判断网络用于根据关键点粗特征图提取目标车辆方位特征向量，该特征向量包含目标车辆方位朝向信息。本实施例通过损失函数对关键点粗提取网络、关键点细提取网络、车辆方位判断网络进行优化更新，不仅提高关键点提取网络对不定角度摄像头拍摄视频帧中目标车辆关键点提取能力，而且提高车辆方位判断网络对不定角度摄像头拍摄视频帧中目标车辆方位判断抗干扰能力，从而提高了不定角度摄像头拍摄连续视频帧中目标车辆关键点移动轨迹精度，进而提高判断车辆是否倒车的准确率。其中，车辆关键点细特征图为：以关键点粗特征图作为输出，关键点细提取网络输出的20个特征图为车辆关键点细特征图。可视车辆关键点细特征图为：20个车辆关键点细特征图对应于车辆20个关键点，当车辆方位确定时，从该车辆图片能够观察到的关键点为可视关键点，由于遮挡不能够观察到的关键点为不可视关键点，可视关键点对应的关键点细特征图为可视车辆关键点细特征图。“可视”的意思为：当车辆相对摄像头的方位确定时，能够从摄像头拍摄该车辆图片中观察到的部分为可视。
进一步作为可选的实施方式，步骤S1包括以下步骤S11-S13：
S11、对关键点粗提取网络进行训练；
S12、对关键点细提取网络进行训练；
S13、对车辆方位判断网络进行训练。
具体地，参照图2，本实施例提供了一种车辆关键点检测模型，车辆关键点检测模型包括关键点粗提取网络、关键点细提取网络、车辆方位判断网络，为了获得有效的车辆关键点检测模型，需要利用相关损失对关键点粗提取网络、关键点细提取网络、车辆方位判断网络进行交替更新。
进一步作为可选的实施方式，步骤S11包括以下步骤S111-S113：
S111、将带有车辆关键点标签的车辆数据集输入至关键点粗提取网络后，获取输出关键点粗特征图；
S112、根据输出关键点粗特征图和车辆关键点标签计算参考损失函数；
S113、利用参考损失函数对关键点粗提取网络进行训练。
具体地，构建关键点粗提取网络，是为了通过预训练学习的方式，更快捷、高效地建立关键点粗提取网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对关键点粗提取网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。
如图2所示，本实施例的关键点粗提取网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加关键点粗提取网络的非线性表达能力，使得输入的目标车辆图像关键点更具有可分性，同时减少网络卷积层参数的个数。
每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。
最后一层卷积层，将深度特征维度映射到62720维，进而组成20×56×56维度特征图，该特征图表示20个维度为56×56关键点粗特征图。
用于训练关键点粗提取网络的车辆图像可来自于自公共车辆数据库，该公共车辆数据库主要包括VeRi776，VeRi-Wild等。对带有关键点标签的车辆图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准车辆图像，该标准车辆图像构成带关键点标签的数据集。
将带有关键点标签的数据集输入到关键点粗提取网络，设定初始的学习率为0.1，每个输入块(Batch)的车辆图像数量为64，预计最大训练的迭代次数为100万次。
通过计算标准车辆图像所带的关键点标签与关键点粗提取网络的输出关键点粗特征图之间的交叉熵损失函数作为关键点粗提取网络的参考损失函数，该交叉熵损失函数的公式如下：
Figure BDA0002688816620000071
其中，N表示每个输入块(Batch)的车辆图像数目，即64。H、W表示关键点粗特征图的长、宽，即56、56。xi,j表示20个关键点粗特征图在坐标(i,j)特征值组成的特征向量，t* i,j表示原图中坐标(i,j)像素真实类别，N1表示关键点粗特征图数目，即20。损失函数L的目的是使得在坐标(i,j)对应特征向量xi,j最大的特征值对应类别为该坐标真实类别。
根据损失函数的值，利用随机梯度下降的方法对关键点粗提取网络进行训练，对关键点粗提取网络中所有层的参数进行调整，得到最佳的关键点粗提取网络。
进一步作为可选的实施方式，步骤S12包括以下步骤S121-S124：
S121、将带有关键点标签的数据集输入至关键点粗提取网络，得到带标签的关键点粗特征图；
S122、将带标签的关键点粗特征图输入至关键点细提取网络，得到关键点细特征图；
S123、根据输出关键点细特征图和车辆关键点标签计算参考损失函数；
S124、利用参考损失函数对关键点细提取网络进行训练。
具体地，构建关键点细提取网络，是为了通过预训练学习的方式，更快捷、高效地建立关键点细提取网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对关键点粗提取网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。
如图2所示，本实施例的关键点细提取网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加关键点细提取网络的非线性表达能力，使得输入的关键点粗特征图更具有可分性，同时减少网络卷积层参数的个数。
每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。
最后一层卷积层，将深度特征维度映射到62720维度，进而组成20×56×56，表示20个维度为56×56关键点细特征图。
用于训练参考网络的车辆图像可来自于自公共车辆数据库，该公共车辆数据库主要包括VeRi776，VeRi-Wild等。对带有关键点标签的车辆图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准车辆图像，将3×224×224的标准车辆图像输入到训练后的关键点粗提取网络，获得20×56×56关键点粗特征图，该关键点粗特征图构成带关键点标签的数据集。
将带有关键点标签的数据集输入到关键点细提取网络，设定初始的学习率为0.1，每个输入块(Batch)的关键点粗特征图数量为64，预计最大训练的迭代次数为100万次。
通过计算标准车辆图像所带的关键点标签与关键点细提取网络的输出关键点细特征图之间的回归损失函数作为关键点细提取网络的参考损失函数，该回归损失函数的公式如下：
Figure BDA0002688816620000081
其中，N表示每个输入块(Batch)的车辆图像数目，即64。H、W表示关键点粗特征图的长、宽，即56、56。N2表示关键点粗特征图数目，即20。hk(i,j)表示第k个细特征图在坐标(i,j)特征值。h* k(i,j)表示第k个标签图在坐标(i,j)特征值，其中标签图是根据标签生成，在该标签图对应关键点坐标值为1，其余坐标值为0。损失函数L的目的是使得关键点细特征图更加精准表达关键点坐标位置。
根据损失函数的值，利用随机梯度下降的方法对关键点细提取网络进行训练，对关键点细提取网络中所有层的参数进行调整，得到最佳的关键点细提取网络。
进一步作为可选的实施方式，步骤S13包括以下步骤S131-S134：
S131、将带有车辆朝向标签的数据集输入至关键点粗提取网络，得到带标签的关键点粗特征图；
S132、将带标签的关键点粗特征图输入至车辆方位判断网络，得到方位特征向量；
S133、根据输出方位特征向量和车辆朝向标签计算参考损失函数；
S134、利用参考损失函数对车辆方位判断网络进行训练。
具体地，构建车辆方位判断网络，是为了通过预训练学习的方式，更快捷、高效地建立车辆方位判断网络。因为通常这些预先训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，预训练学习可以将已习得的强大技能迁移到相关的问题上。通过预训练学习的方式对车辆方位判断网络进行训练，能够减少模型训练的时间和训练难度，而且减少了对训练数据的要求。
如图2所示，本发明的车辆方位判断网络的网络结构采用多个卷积核为3×3的卷积层搭建而成，目的是增加车辆方位判断网络的非线性表达能力，使得输入的关键点粗特征图更具有可分性，同时减少网络卷积层参数的个数。
每个卷积层后面增加有BN(Batch Normalization)操作、ReLU线性激活函数和最大池化层，该最大池化层使得图像的深度特征维数变为原来的二分之一。
最后一层卷积层，将深度特征维度映射到8，表示目标车辆8个方向的概率。
用于训练参考网络的车辆图像可来自于自公共车辆数据库，该公共车辆数据库主要包括VeRi776，VeRi-Wild等。对带有车辆朝向标签的车辆图像进行预处理，预处理包括图像增强、图像伸缩等，最终得到规格为3×224×224的标准车辆图像，将3×224×224的标准车辆图像输入到训练后的关键点粗提取网络，获得20×56×56关键点粗特征图，该关键点粗特征图构成带车辆朝向标签的数据集。
将带有车辆朝向标签的数据集输入到车辆方位判断网络，设定初始的学习率为0.1，每个输入块(Batch)的关键点粗特征图数量为64，预计最大训练的迭代次数为100万次。
通过计算标准车辆图像所带的车辆朝向标签与车辆方位判断网络的输出车辆方位特征向量之间的交叉熵损失函数作为车辆方位判断网络的参考损失函数，该交叉熵损失函数的公式如下：
Figure BDA0002688816620000091
其中，N表示每个输入块(Batch)的车辆图像数目，即64。Np为方向类别数，即8。v(p*)表示真值朝向向量，其中，该真值朝向向量维度为8，对应真值方向维度的向量值为1，其余维度向量值为0。v(i)表示预测朝向向量，其中，该预测朝向向量维度为8。损失函数L的目的是使得预测朝向与真值朝向保持一致。
模型训练完毕，将车辆图像对输入至该车辆关键点检测模型中即可进行车辆可视关键点检测。
S2、获取目标车辆可视关键点在连续视频帧中移动轨迹。
其中，步骤S2包括以下步骤S21-S22：
S21、获取连续帧同一目标车辆图片；
S22、将连续帧同一目标车辆图片输入关键点检测模型，获得连续帧中每帧图片对应可视关键点图像坐标，进而获取可视关键点在连续帧中移动轨迹；
具体地，连续帧内同一目标车辆图片输入车辆关键点检测模型，获取每帧对应20个关键点细特征图和车辆方位朝向，根据车辆方位朝向从20个关键点细特征图筛选7个可视关键点细特征图，根据7个可视关键点细特征图，获取7个可视关键点图像坐标，根据每帧7个可视关键点图像坐标，获取目标车辆在连续帧内可视关键点轨迹。
进一步作为可选的实施方式，步骤S21包括以下步骤S211-S212：
S211、使用YOLO检测模型获取连续帧内目标车辆检测框；
S212、将连续帧内目标车辆检测框内图片进行预处理。
具体地，使用YOLO检测模型获取连续帧内目标检测框，将连续帧检测框内图像裁剪出来，将裁剪出来图片进行图像增强、图像伸缩预处理，最终得到规格为3×224×224的标准车辆图像。
进一步作为可选的实施方式，步骤S22包括以下步骤S221-S223：
S221、将标准车辆图像输入关键点检测模型；
S222、获取图像对应可视关键点特征图；
S223、获取图像对应可视关键点坐标。
具体地，将标准车辆图像输入关键点检测模型，获取图像对应的20个关键点细特征图和车辆方位朝向。根据车辆方位朝向和以下筛选规则，筛选出7个可视关键点细特征图，筛选规则：
正前方向对应左后视镜、右后视镜、左前灯、右前灯、前车标、左前顶角、右前顶角车辆关键点细特征图；
左前方向对应前车标、左前顶角、左雾灯、左前灯、左后顶角、左前轮、左后顶角车辆关键点细特征图；
正左方向对应左前灯、左前轮、左后视镜、左前顶角、左后顶角、左后轮、左后灯车辆关键点细特征图；
左后方向对应左后轮、左后灯、左后顶点、左后视镜、左前顶角、后车标、左前轮车辆关键点细特征图；
正后方向对应右后灯、右后顶角、左后顶角、后车标、左后灯、左后视镜、左后视镜车辆关键点细特征图；
右后方向对应右前轮、右后轮、右后视镜、右后顶角、右后灯、后车标、右前顶角车辆关键点细特征图；
正右方向对应右前灯、右前轮、右后视镜、右前顶角、右后顶角、右后轮、右后灯车辆关键点细特征图；
右前方向对应前车标、右前顶角、右雾灯、右前灯、右后顶角、右前轮、右后顶角车辆关键点细特征图。
在筛选出的关键点细特征图中，对于每个特征图，选择特征值最大的特征点对应图像坐标作为该关键点坐标，共获得7个可视关键点坐标。
S3、根据目标车辆可视关键点移动轨迹和判断规则，判断目标车辆是否倒车。
其中，步骤S3包括以下步骤S31-S32：
S31、根据车辆方位朝向，选择对应判断规则是否倒车规则；
S32、根据车辆关键点轨迹和判断规则，判断目标车辆在连续视频帧中是否倒车。
具体地，根据车辆方位朝向，选择对应判断规则是否倒车规则，车辆朝向与判断规则对应关系如下：
对于左前轮、左后轮或者右前轮、右后轮关键点同时可视的方向正左、左前、左后、正右、右前、右后方向，通过判断连续帧的首帧前轮关键点到首帧后轮关键点的像素距离是否小于末帧前轮关键点到首帧后轮关键点的像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正前方向，通过判断连续帧的首帧左前灯关键点到首帧右前灯关键点像素距离是否小于末帧左前灯关键点到末帧右前灯关键点像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正后方向，通过判断连续帧的首帧左后灯关键点到首帧右后灯关键点像素距离是否大于末帧左后灯关键点到末帧右后灯关键点像素距离，如果是则当前车辆正在倒车。
综上所述，本实施例的方法至少具有以下有益效果：
(1)、相较于直接从车辆图像预测车辆可视关键点达到车辆可视关键点检测目的，本实施例通过损失函数对关键点粗提取网络、关键点细提取网络、车辆方位判断网络进行优化更新，不仅提高关键点提取网络对不定角度摄像头拍摄视频帧中目标车辆关键点提取能力，而且提高车辆方位判断网络对不定角度摄像头拍摄视频帧中目标车辆方位判断抗干扰能力，从而提高了不定角度摄像头拍摄连续视频帧中目标车辆关键点移动轨迹精度，进而提高判断车辆是否倒车的准确率。
(2)、本实施例通过预训练学习的方式，关键点粗提取网络、关键点细提取网络、车辆方位判断网络特征提取的能力，能够有效降低训练成本。
本实施例还提供了一种基于车辆关键点轨迹的倒车判断系统，包括：
数据获取模块，用于获取包含目标车辆的连续视频帧；
车辆检测模块，用于将连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；
特征提取模块，用于将车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；
方向确认模块，用于根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；
倒车判断模块，用于根据n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；
其中，n为正整数。
本实施例的一种基于车辆关键点轨迹的倒车判断系统，可执行本发明方法实施例所提供的一种基于车辆关键点轨迹的倒车判断方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于车辆关键点轨迹的倒车判断方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于车辆关键点轨迹的倒车判断方法，其特征在于，包括以下步骤：
获取包含目标车辆的连续视频帧；
将所述连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；
将所述车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；
根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；
根据所述n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；
其中，n为正整数。
2.根据权利要求1所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述车辆关键点提取模型包括关键点提取网络和车辆方位判断网络，所述关键点提取网络包括关键点粗提取网络和关键点细提取网络，所述车辆关键点提取模型由关键点粗提取网络、关键点细提取网络、车辆方位判断网络根据相关损失函数进行交替更新后获得。
3.根据权利要求2所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述基于车辆关键点轨迹的倒车判断方法还包括建立所述车辆关键点提取模型的训练步骤，所述车辆关键点提取模型的训练步骤包括对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练的步骤，所述对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练这一步骤，包括以下步骤：
将带有关键点和方位标签的数据集输入至所述关键点粗提取网络后，获得车辆关键点粗特征图；
将所述车辆关键点粗特征图输入至所述车辆方位判断网络后，获得车辆方位特征向量；
将所述车辆关键点粗特征图输入至所述关键点细提取网络后，获得车辆关键点细特征图；
根据所述车辆关键点粗特征图、所述车辆关键点细特征图、所述车辆方位特征向量计算相关损失函数；
采用所述相关损失函数对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练。
4.根据权利要求3所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述相关损失函数包括关键点特征图相关性损失函数和方位特征向量相关性损失函数，所述采用所述相关损失函数对所述关键点粗提取网络、所述关键点细提取网络、所述车辆方位判断网络进行训练这一步骤，包括以下步骤：
采用所述关键点特征图相关性损失函数对所述关键点粗提取网络和关键点细提取网络进行训练；
采用所述方位特征向量相关性损失函数对所述车辆方位判断网络进行训练。
5.根据权利要求1所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述车辆关键点粗特征图和所述车辆关键点细特征图分别包含20个车辆关键点特征图，所述20个车辆关键点特征图包含车辆左前轮、左后轮、右前轮、右后轮、左雾灯、右雾灯、左前灯、右前灯、前车标、前车牌、左后视镜、右后视镜、左前顶角、右前顶角、左后顶角、右后顶角、左后灯、右后灯、后车标、后车牌的关键点特征图，所述的车辆20个车辆关键点特征图的最大特征值位于对应车辆关键点的图像坐标。
6.根据权利要求1所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述目标车辆方位特征向量包括8个方向特征值，所述8个方向特征值包含正前、左前、正左、左后、正后、右后、正右、右前特征值，特征向量最大特征值对应的朝向为车辆真实方向。
7.根据权利要求5所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述n为7，所述根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标，包括：
根据所述目标车辆方位特征向量中最大方向特征值对应的朝向，获取目标车辆预测方位朝向；
根据所述目标车辆预测方位朝向，从所述20个车辆关键点细特征图中筛选出对应7个可视车辆关键点细特征图；
根据所述7个可视车辆关键点细特征图，获取7个可视车辆关键点图像坐标；
其中，目标车辆预测方位朝向与7个可视车辆关键点细特征图对应关系包括:
正前方向对应左后视镜、右后视镜、左前灯、右前灯、前车标、左前顶角、右前顶角车辆关键点细特征图；
左前方向对应前车标、左前顶角、左雾灯、左前灯、左后顶角、左前轮、左后顶角车辆关键点细特征图；
正左方向对应左前灯、左前轮、左后视镜、左前顶角、左后顶角、左后轮、左后灯车辆关键点细特征图；
左后方向对应左后轮、左后灯、左后顶点、左后视镜、左前顶角、后车标、左前轮车辆关键点细特征图；
正后方向对应右后灯、右后顶角、左后顶角、后车标、左后灯、左后视镜、左后视镜车辆关键点细特征图；
右后方向对应右前轮、右后轮、右后视镜、右后顶角、右后灯、后车标、右前顶角车辆关键点细特征图；
正右方向对应右前灯、右前轮、右后视镜、右前顶角、右后顶角、右后轮、右后灯车辆关键点细特征图；
右前方向对应前车标、右前顶角、右雾灯、右前灯、右后顶角、右前轮、右后顶角车辆关键点细特征图。
8.根据权利要求1所述的一种基于车辆关键点轨迹的倒车判断方法，其特征在于，所述判断规则包括：
对于左前轮、左后轮或者右前轮、右后轮关键点同时可视的方向正左、左前、左后、正右、右前、右后方向，通过判断连续帧的首帧前轮关键点到首帧后轮关键点的像素距离是否小于末帧前轮关键点到首帧后轮关键点的像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正前方向，通过判断连续帧的首帧左前灯关键点到首帧右前灯关键点像素距离是否小于末帧左前灯关键点到末帧右前灯关键点像素距离，如果是则当前车辆正在倒车；
对于左前轮、左后轮或者右前轮、右后轮关键点没同时可视的方向正后方向，通过判断连续帧的首帧左后灯关键点到首帧右后灯关键点像素距离是否大于末帧左后灯关键点到末帧右后灯关键点像素距离，如果是则当前车辆正在倒车。
9.一种基于车辆关键点轨迹的倒车判断系统，其特征在于，包括：
数据获取模块，用于获取包含目标车辆的连续视频帧；
车辆检测模块，用于将所述连续视频帧输入到YOLO目标检测模型，输出目标车辆检测框；
特征提取模块，用于将所述车辆检测框内目标车辆图片输入到车辆关键点提取模型，输出车辆关键点粗特征图、车辆关键点细特征图和车辆方位特征向量；
方向确认模块，用于根据目标车辆方位特征向量判断目标车辆的方位朝向，并筛选出n个可视车辆关键点细特征图，进而获取n个可视车辆关键点图像坐标；
倒车判断模块，用于根据所述n个可视车辆关键点图像坐标在连续视频帧的移动轨迹及相应判断规则，判断车辆是否倒车；
其中，n为正整数。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
CN202010984873.6A 2020-09-18 2020-09-18 一种基于车辆关键点轨迹的倒车判断方法、系统及介质 Pending CN112200834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010984873.6A CN112200834A (zh) 2020-09-18 2020-09-18 一种基于车辆关键点轨迹的倒车判断方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010984873.6A CN112200834A (zh) 2020-09-18 2020-09-18 一种基于车辆关键点轨迹的倒车判断方法、系统及介质

Publications (1)

Publication Number Publication Date
CN112200834A true CN112200834A (zh) 2021-01-08

Family

ID=74015463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010984873.6A Pending CN112200834A (zh) 2020-09-18 2020-09-18 一种基于车辆关键点轨迹的倒车判断方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112200834A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109747638A (zh) * 2018-12-25 2019-05-14 东软睿驰汽车技术（沈阳）有限公司 一种车辆行驶意图识别方法及装置
CN110287936A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质
US20190389474A1 (en) * 2018-06-26 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for acquiring control amount for performance test of unmanned vehicle
CN111435421A (zh) * 2019-01-11 2020-07-21 北京邮电大学 一种面向交通目标的车辆重识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190389474A1 (en) * 2018-06-26 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for acquiring control amount for performance test of unmanned vehicle
CN109747638A (zh) * 2018-12-25 2019-05-14 东软睿驰汽车技术（沈阳）有限公司 一种车辆行驶意图识别方法及装置
CN111435421A (zh) * 2019-01-11 2020-07-21 北京邮电大学 一种面向交通目标的车辆重识别方法和装置
CN110287936A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108725440B (zh) 前向碰撞控制方法和装置、电子设备、程序和介质
WO2019228211A1 (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
US20190122059A1 (en) Signal light detection
JP4723582B2 (ja) 交通標識検出方法
US20210237774A1 (en) Self-supervised 3d keypoint learning for monocular visual odometry
CN110869559A (zh) 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统
CN110753953A (zh) 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN113409361B (zh) 一种多目标跟踪方法、装置、计算机及存储介质
Johansson et al. Combining shadow detection and simulation for estimation of vehicle size and position
Chao et al. Multi-lane detection based on deep convolutional neural network
Franke et al. From door to door—Principles and applications of computer vision for driver assistant systems
Liu et al. Vehicle detection and ranging using two different focal length cameras
US20230252796A1 (en) Self-supervised compositional feature representation for video understanding
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
Gao et al. On‐line vehicle detection at nighttime‐based tail‐light pairing with saliency detection in the multi‐lane intersection
CN111126327B (zh) 车道线检测方法、系统、车载系统及车辆
CN110533692B (zh) 一种面向无人机航拍视频中移动目标的自动跟踪方法
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Ashraf et al. HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation
CN108256444B (zh) 一种用于车载视觉系统的目标检测方法
US20220383510A1 (en) Method For Training A Neural Network For Semantic Image Segmentation
Tourani et al. Challenges of video-based vehicle detection and tracking in intelligent transportation systems
CN112200834A (zh) 一种基于车辆关键点轨迹的倒车判断方法、系统及介质
Bernuy et al. Adaptive and real-time unpaved road segmentation using color histograms and RANSAC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination