CN111797684B - 一种运动车辆双目视觉测距方法 - Google Patents

一种运动车辆双目视觉测距方法 Download PDF

Info

Publication number
CN111797684B
CN111797684B CN202010447672.2A CN202010447672A CN111797684B CN 111797684 B CN111797684 B CN 111797684B CN 202010447672 A CN202010447672 A CN 202010447672A CN 111797684 B CN111797684 B CN 111797684B
Authority
CN
China
Prior art keywords
target
detection
frame
camera
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010447672.2A
Other languages
English (en)
Other versions
CN111797684A (zh
Inventor
郑可尧
蔡鑫军
郑红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vison Vision Danyang Co ltd
Original Assignee
Vison Vision Danyang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vison Vision Danyang Co ltd filed Critical Vison Vision Danyang Co ltd
Priority to CN202010447672.2A priority Critical patent/CN111797684B/zh
Publication of CN111797684A publication Critical patent/CN111797684A/zh
Application granted granted Critical
Publication of CN111797684B publication Critical patent/CN111797684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种运动车辆双目视觉测距方法，包括如下步骤：S1：构建Tiny YOLO v2目标检测网络模型；S2：获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；S3：通过Tiny YOLO v2目标检测网络获取左右目检测结果；S4：YOLO结合KCF的准确跟踪；S5：计算特征点在三维坐标的坐标，计算目标质心到检测系统的距离；S6：对目标距离进行卡尔曼滤波处理。本发明针对自动驾驶车载在道路上与其他车辆的之间的相对距离检测问题，通过结合KCF跟踪与双目极线约束方法，实现实时检测其他车辆的相对距离、速度、加速度，自动感知驾驶环境的安全性。

Description

一种运动车辆双目视觉测距方法
技术领域
本发明涉及计算机视觉、深度学习、自动驾驶技术等领域，具体涉及一种运动车辆双目视觉测距方法。
背景技术
现有的双目测距技术，一般根据待测距目标于同一时刻在双目摄像机上视差，通过双目视觉原理图和三角测量公式，求出测距目标与两台摄像机之间的垂直距离。但在实际应用中，待测距目标和双目摄像机之间往往不是固定不动的，而是相对运动的，同时，测距目标可能是同一类的多个目标，并且这些目标是动态变化的。这些动态变化的目标对双目测距提出极大的挑战，首先面临的一个问题便是识别出这一类目标，其次便是目标测距的实时性。深度学习的发展使得目标检测的精度达到一个较为理想的程度。当深度学习运用到对实时性要求较高的场景时，实时性通常很难达到，而传统的目标跟踪算法在实时性方面有着一定优势，并且精度也在可接受范围内。将传统的目标跟踪算法与深度学习的检测算法结合，能够有效的提高目标检测的精度以及实时性，最后加入相关滤波算法处理，能够在一定程度上提高系统测距结果以及鲁棒性。
(1)双目测距原理
设P为空间中的一个目标点，Ol表示左目相机，Or右目相机(左右目相机型号一致)。相机焦距f，b为基线。要想得到P点的三维坐标，只需要求得P点在相机Ol中的成像点Pl及在相机Or中的成像点Pr的坐标。当双目相机同时观察P点时，P点在左右相机内的成像点坐标分别为Pl＝(xl,yr)，Pr＝(xr,yr)，根据下图1可得：
视差D＝xl-xr，故可求出相机坐标系下P点的坐标为：
即若在左相机平面中任选一点对应右相机平面上有且只有一点与之对应，则可以确定该点在相机坐标系的坐标，进而确定该点在空间中的坐标值，如图1所示。
(2)KCF算法
KCF算法是一种基于核相关滤波器的目标跟踪算法，通过对采集图像块构建循环矩阵来表征对目标及其背景进行密集采样的样本，以此构造大量训练集。KCF算法使用基于岭回归的非线性预测进行训练学习得到滤波器(分类器)，利用核函数计算候选区域与目标的近似程度，选取相似度最大的区域为新的跟踪目标，并进行下一帧的检测。判别式跟踪器的主要思想是通过建立最小二乘，描述跟踪器对样本的响应与样本标签的残差。跟踪器的训练过程就是寻找使目标函数最小的滤波器w。由于训练样本的局限性，学习的滤波器w可能会过拟合于样本噪声，为此KCF算法对的二范数进行限制，以限制滤波器系数的大小，构成了如下的岭回归方程:
Xt为提取的单个训练样本,yt为对应其可信度的样本标签，其服从高斯分布，大小范围为0到1,λ表示正则化参数，其大小决定了学习到的滤波器系数大小。X＝[X0,X1,…,Xn-1]为样本,Y＝[Y0,Y1,…,Yn-1]为样本标签集，n为样本训练个数。
单个训练样本的循环位移构成了样本集X，其为如下的循环矩阵：
对公式(2.1)w求导可得当L最小时有：
w＝(XTX+λI)-1XTY (2.3)
由于循环矩阵X具有对角性，样本集X可表示为：
X＝FHdiag(x)F (2.4)
其中，x＝F(X)表示X的离散傅里叶变换。
可以得到
其中表示x的共轭。
对于线性响应f(xi)＝xiw，KCF通过引入映射函数，将低维线性特征空间映射到高维非线性特征空间，则响应表示为：其中是映射函数，w可由：线性表示为:
α＝[α1,α2,…,αn]为新的最优解，其表达式为：
其中表示高斯核函数KXX,表示样本X和Z在高维空间下相关性的核函数为：
可以知道，α可以在傅里叶域中获取解：
在进行检测时，待测样本Z为跟踪目标的概率大小为：
利用循环矩阵K的可对角化性质，(2.10)在傅里叶域中可以表示为：
f(h)＝F-1(F(Kxh)·F(ε)) (2.11)
f(h)表示大小为n的矩阵，其元素值对应所有候选区域成为跟踪目标的概率值，其中选取最大元素值所对应的候选区域为跟踪目标。KCF跟踪目标算法对序列帧进行检测跟踪时，参数更新模型为：
αt由当前帧检测获得的目标区域训练所得，at-1由前一帧训练样本图像训练所得，at+1为下一帧检测目标所用到的模型参数，μ为更新模型的学习率。xt,xt-1,xt+1分别为当前帧、前一帧、下一帧更新获得的目标模型.
(3)卡尔曼滤波
卡尔曼滤波器是一种最优化自回归的数据处理算法，主要用它去解决线性系统中的估计问题。其本质是去寻找在最小均方误差下xk的估计值它的特点是通过用递推的方法去推算xk，估算过程数据存储量相对较小，便于系统对数据进行快速实时更新处理。总的来说，卡尔曼滤波器是通过状态预测方程和观测方程对系统的数据进行实时状态准确估计。
动态系统的方程和观测方程分别为：
上式中，xk是k时刻的系统状态矢量，Ak-1,k是k-1时刻到k时刻的状态转移矩阵，Bk-1,k是k-1时刻到k时刻的输入系统控制矩阵，Ak-1,k和Bk-1,k可以随着时刻k的变化而改变，zk是k时刻的观测矢量，Hk是k时刻的观测矩阵,wk为k时刻的动态噪声，vk为k时刻的观测噪声。通常它们服从N(0,1)分布，被假设成高斯白噪声.
卡尔曼滤波算法的具体流程为：
预估计：
计算预估计协方差矩阵：
计算卡尔曼增益矩阵：
其中：
更新估计：
计算更新后估计协方差矩阵：
上述(3.2)-(3.7)五条公式是卡尔曼滤波器的的基本公式。在给定的初值x0和P0下，根据k时刻的观测值zk，就可以递推计算得到k时刻的状态估计重复各步骤则可以递归计算进行状态预测。
(4)深度学习
近年来，随着深度神经网络逐步被引入到目标检测领域，检测效果得到了很大的提升。深度神经网络在提取特征方面的能力已经通过各种实际工作得到了证实，其能够提取更高层、表达能力更好更健壮的特征，还能在同一个模型中完成对于特征的提取、选择和分类，并且精度和速度远远超过传统算法，在视觉领域已经得到了广泛的关注与应用。
随后研究人员受到了生物视觉的启发，提出了卷积神经网络的设计思想，同时引入了卷积层和池化层等新概念以改善传统神经网络在处理图像数据时的缺陷，从而设计出的一种层次模型。视觉领域中网络的输入数据多为RGB图像，在网络中原始图像数据经过卷积、池化、各种非线性激活函数映射等运算，逐步从输入层中的原始数据中提取出图像的高级语义概念。各种功能的网络层组成了整个层次模型：
(1)输入层是原始数据经过简单图像预处理(包括尺寸统一、图像裁剪等操作)的样本图像。
(2)卷积层(Convolution Layers)的作用是使用卷积核与图像进行卷积，从而实现对输入图片数据层层地进行特征提取。
对于基于深度神经网络的各种目标检测算法，网络结构的输入图像一般为RGB彩色图像(特定场景的图像数据也可能是灰度图数据)。RGB图像以三通道形式被输入到网络结构中，若要对三维图像进行卷积操作，则相对应需要三通道的滤波器。针对三维的卷积操作，将图像中某个像素位置的三个通道数据一次性与卷积核三通道的数据进行卷积运算并求和作为该像素位置卷积之后得到的特征值结果。
根据三维图像进行卷积操作的原理可以得出，不同的卷积核则会提取出来相异的特征。随着卷积操作逐层地进行，不断提取出图像更高层次的特征，卷积神经网络的层次性在这一过程中体现出来。
(3)池化层(Polling Layers)的引入有效地减少了网络模型的参数，本质上属于降采样操作，降低了过拟合的可能性，并提升泛化能力，刻画出了平移不变特性，同时最重要的是减少了训练过程中的计算量。池化的操作方式有多种形式，最常用的有平均值池化和最大值池化两种操作，不同的池化操作所使用的场景不相同。池化层可以显著削减特征矩阵的参数量，有效地减少了网络模型的训练参数，降低了过拟合的可能性。
(4)全连接层位于网络结构的末端，根据对隐层特征完成分类任务。
各种网络层以及非线性激活函数等已经将原始数据的高级语义特征提取出来，通过全连接层的一系列操作，可以使图像特征与其样本标记产生映射关系，从而完成目标分类的任务。在如今的大数据时代，深度学习是人工智能领域非常能够体现智能因素的，计算机硬件的迅速发展大大提升了计算机的计算速度。另外数据的大幅度增加降低了过拟合风险。在提取特征时，不仅能够提取更高层、表达能力更好的特征，还能在同一个模型中完成对于特征的提取、选择和分类，并且精度远远超过传统算法。
与传统的利用人工设计的方法进行特征提取不同，深度神经网络能够自主地在网络模型训练过程中学习特征。神经网络能够通过梯度下降法进行训练并不断更新权重模型中的参数，逐步实现对图像中特定的目标检测。然而其具有以下技术问题。
1)现有深度神经网络目标检测算法无法检测目标到检测系统之间的物理距离，而且运算速度较慢。
2)由于目前检测性能较好的算法，尤其是深度学习算法，检测时间较长，一般大于200ms，而视频采集不失真速度最慢小于40ms，无法满足实时视频处理要求。
发明内容
为解决现有技术中存在的问题，本发明综合传统的目标跟踪方法以及当前深度学习的目标检测，以优化检测精度和跟踪实时性，并应用于车辆跟踪检测系统，用来跟踪视频中的目标以及判断车辆的距离。
具体技术方案如下：一种运动车辆双目视觉测距方法，包括如下步骤：
S1：构建Tiny YOLO v2目标检测网络模型，并通过视频样本集进行训练；
S2：标定相机，将两个摄像头安装于测量车辆的左右的两个反射镜前端，获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；
S3：通过Tiny YOLO v2目标检测网络获取左右目摄像头检测结果；
S4：将Tiny YOLO v2目标检测网络的左右目摄像头检测结果的矩形框，作为KCF的初始化目标追踪框，并进行追踪，每当神经网络检测完时，将KCF追踪框重新设置为TinyYOLO v2目标检测网络检测结果，将KCF跟踪结果作为目标检测结果；
S5：对KCF的左右目摄像头检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，计算特征点在三维坐标的坐标，计算目标质心到检测系统的目标距离；
S6：对目标距离进行卡尔曼滤波处理。
优选地，步骤S1具体包括如下步骤：
S01：选择训练视频样本集
选取包括汽车类、行人类、自行车类、公交车类和摩托车类五种物体在内的视频集合，并拆分视频为离散帧序列，选取合适帧构成样本集，标注视频样本集，作为训练集，以备Tiny YOLO v2目标检测网络训练用；
S02：构建anchor boxes
对步骤S01获得的汽车类、行人类、自行车类、公交车类和摩托车类的视频样本集采用聚类算法集合聚类，得到汽车类、行人类、自行车类、公交车类和摩托车类5组用于预测目标边界框的anchor boxes，统计每一类目标并计算其anchor boxes，得到上述5组anchorboxes(w，h)；
S03：采用步骤S01得到的训练集及S02得到的样本聚类参数，训练并测试TinyYOLO v2目标检测网络模型。
优选地，步骤S2中获取左右目图像对应像素的映射关系的方法具体为：根据相机相关参数获取左目图像到右目图像的透视变换矩阵M，获取相机焦距设为f，左右目相机的中心距离为T，对于物理世界中的任意一点p，在左右目图像的对应点分别为pl,pr，对应横坐标为xl,xr，通过式(1)求得p到左右相机中心连线中点的距离d，d为三维空间的任意一点p到两个相机中心连线中点之间的距离；
优选地，步骤S3中获取检测结果的步骤为：左右两个摄像头采集的校正后的图像分别为IL、IR，Tiny YOLO v2目标检测网络分别检测IL和IR中的车辆，并分别记录图像中所有车辆的位置并用检测矩形框表示，记为DLiDRi,i＝1,2,...,M，j＝1,2,3,…,N其中，M为左边图像中车的数量，N为右边图像中车的数量，(pLM，pRN)为道路上同一车辆在左右摄像机上成像的位置，即得到检测结果。
优选地，对步骤S3中获取的检测结果进行重新匹配，匹配方法为：用步骤S2中得到的矩阵M，将左目视图中的各个矩形框映射到右目中得到矩形框DPi i＝1,2,,…M，对于任意一组(DPi,DRi),i＝1,2,…,M,j＝1,2,…,N,当IOU大于0.3时，将检测目标的矩形框看为同一个物体，重新编号，得到匹配后的检测结果。
优选地，步骤S4中具体包括以下步骤：
S41：左右摄像头分别以步骤S3得到的道路上IL、IR中的BLi、BRi,i＝1,2,……,n，作为初始位置，利用KCF跟踪摄像头采集的下一帧对中车辆的位置，KCF连续跟踪后续相邻采集的跟踪帧对，直到Tiny YOLO v2目标检测网络检测后一帧对图像，其中左右眼对应时间图像构成“帧对”；
S42：比较Tiny YOLO v2目标检测网络后续的检测帧对中车辆位置与KCF跟踪到此刻时跟踪帧对中车辆位置，去掉驶出的车辆，增加驶入的车辆，更新KCF跟踪帧对中车辆位置，返回步骤S41。
优选地，步骤S5中计算特征点在三维坐标的坐标具体方法为：对矩形框BLiBLi,i＝1,2,…n采用ORB特征提取，将BLi矩形框内物体提取的多个特征点的描述子，同时对其对应的右目矩形框进行特征提取获取多个特征描述子，然后运用KNN算法将左边特征描述子与右边特征描述子进行匹配，可以获取多个特征匹配子在左右像素中的坐标将其记为(aik,bik,pik,qik)，k＝1,2,3,...50,其中aik,bik表示左目第i个矩形中第k个特征点的横坐标与纵坐标，pik,qik表示右目第i个矩形中第k个特征点的横坐标与纵坐标，运用上述所得到的左右框中的特征点可以根据步骤S2中所获取的矩阵可以将该坐标反演获取该特征点所对应的三维坐标记为(xik,yik,zik),i＝1,2,...,n,k＝1,2,3,...50。
优选地，步骤S5中计算目标质心到检测系统的目标距离的方法为：运用获取各个矩形框中的三维坐标，分别对每个矩形框内的坐标运用式(2)进行计算，可以得到每个矩形框内物体与摄像头连线中心的距离di；
优选地，步骤S6中对目标距离di作一次卡尔曼滤波处理，得到依次对每个矩形框进行以上操作，得到
与现有技术相对比，本发明的有益效果如下：
(1)本发明以深度神经网络目标检测结合KCF目标跟踪为基础，实现车载视频的实时目标测距。
(2)本发明综合传统的目标跟踪方法以及当前深度学习的目标检测，以优化检测精度和跟踪实时性，并应用于车辆跟踪检测系统，用来跟踪视频中的目标以及判断车辆的距离。
(3)本发明对KCF的左右目检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，通过特征匹配获取多个坐标相对于直接运用左右目匹配框中心点作为检测目标质心，能够有效解决检测框标定范围不够准确的问题。
(4)本发明通过步骤S1-S6的相关技术，能够显著增加目标检测的准确率、检测速度、以及系统的鲁棒性。
(5)本发明结合目标跟踪算法KCF，在两次检测算法之间，利用快速跟踪算法获得已有目标的变化情况，从而可得到实时的视频双目视觉距离测量结果。
(6)本发明针对自动驾驶车载在道路上与其他车辆的之间的相对距离检测问题，通过结合KCF跟踪与双目极线约束方法，实现实时检测其他车辆的相对距离、速度、加速度，自动感知驾驶环境的安全性。
附图说明
图1为双目测距原理；
图2为本发明提供的运动车辆双目视觉测距方法流程图；
图3为YOYO检测结果；
图4为左右目YOLO检测结果；
图5为使用YOLO网络检测运行时间结果；
图6为加入KCF追踪后运行时间图；
图7为全局匹配结果(未使用左右目坐标关系)；
图8为单目标特征匹配结果；
图9为另一单目标特征匹配结果；
图10为再一单目标特征匹配结果；
图11为计算的中心以及车距；
图12为卡尔曼滤波后车距测量结果图；
图13为测量坐标系；
图14为左目矩形经透视变换M映射到右目矩形示意图；
图15为YM检测结果示意图；
图16为重匹配结果示意图；
具体实施方式
下面结合附图，对本发明的具体实施方式作详细的说明。
本发明具体技术方案如下：
步骤一，双目实验环境搭建，具体包含硬件环境以及软件环境，其中软件环境为具体为Ubuntu 16.04系统下，QT5.12、OpenCV 3.4.6以及NCSDK安装。
步骤二，构建YOLO网络，并通过训练视频进行训练，直到获取满意的训练的结果，检测结果如下图3-4所示；
步骤三，获取左右目相机的相关参数，获取左右目图像对应像素的映射关系；
步骤四，通过神经网络获取左右目检测结果，其中训练网络的检测速度为5帧/s；
步骤五，判断检测结果，并通过左右图像像素的映射关系，将对应目标一一对应进行标记，忽略漏检或者多检目标
步骤六，将神经网络检测结果的矩形框，作为KCF的初始化目标追踪框，并进行追踪，每当神经网络检测完时，将KCF追踪框重新设置为神经网络检测结果，将KCF跟踪结果作为目标检测结果。加入KCF跟踪后，目标检测的速度提升200％，达到15帧/s，如图5-6所示。
步骤七，对KCF的左右目检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，通过特征匹配获取多个坐标相对于直接运用左右目匹配框中心点作为检测目标质心，能够有效解决检测框标定范围不够准确的问题，如图7-10。
步骤八，通过相机相关参数，左右目检测目标的特征点，计算特征点在三维坐标的坐标，获取检测目标在三维坐标中的质心，计算目标质心到检测系统的距离，相关结果如图11所示。
步骤九，对目标距离进行卡尔曼滤波处理，进行滤波处理后显著增加系统测距的鲁棒性，运行结果如图12所示。
具体地，本发明提供的一种运动车辆双目视觉测距方法，包括如下步骤：
S1：构建Tiny YOLO v2目标检测网络模型，并通过视频样本集进行训练；
S2：标定相机，将两个摄像头安装于测量车辆的左右的两个反射镜前端，获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；
S3：通过Tiny YOLO v2目标检测网络获取左右目摄像头检测结果；
S4：将Tiny YOLO v2目标检测网络的左右目摄像头检测结果的矩形框，作为KCF的初始化目标追踪框，并进行追踪，每当神经网络检测完时，将KCF追踪框重新设置为TinyYOLO v2目标检测网络检测结果，将KCF跟踪结果作为目标检测结果；
S5：对KCF的左右目摄像头检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，计算特征点在三维坐标的坐标，计算目标质心到检测系统的目标距离；
S6：对目标距离进行卡尔曼滤波处理。
作为优选实施方式，步骤S1具体包括如下步骤：
S01：选择训练视频样本集
选取包括汽车类、行人类、自行车类、公交车类和摩托车类五种物体在内的视频集合，并拆分视频为离散帧序列，选取合适帧构成样本集，标注视频样本集，作为训练集，以备Tiny YOLO v2目标检测网络训练用；
S02：构建anchor boxes
对步骤S01获得的汽车类、行人类、自行车类、公交车类和摩托车类的视频样本集采用聚类算法集合聚类，得到汽车类、行人类、自行车类、公交车类和摩托车类5组用于预测目标边界框的anchor boxes，统计每一类目标并计算其anchor boxes，得到上述5组anchorboxes(w，h)；
S03：采用步骤S01得到的训练集及S02得到的样本聚类参数，训练并测试TinyYOLO v2目标检测网络模型。
作为优选实施方式，步骤S2中获取左右目图像对应像素的映射关系的方法具体为：根据相机相关参数获取左目图像到右目图像的透视变换矩阵M，获取相机焦距设为f，左右目相机的中心距离为T，对于物理世界中的任意一点p，在左右目图像的对应点分别为pl,pr，对应横坐标为xl,xr，通过式(1)求得p到左右相机中心连线中点的距离d，d为三维空间的任意一点p到两个相机中心连线中点之间的距离，如图14所示，其中左面为左目，右面为右目。
作为优选实施方式，步骤S3中获取检测结果的步骤为：左右两个摄像头采集的校正后的图像分别为IL、IR，Tiny YOLO v2目标检测网络分别检测IL和IR中的车辆，并分别记录图像中所有车辆的位置并用检测矩形框表示，记为DLiDRi,i＝1,2,...,M，j＝1,2,3,…,N其中，M为左边图像中车的数量，N为右边图像中车的数量，(pLM，pRN)为道路上同一车辆在左右摄像机上成像的位置，即得到检测结果，如图15所示，其中，左面为左目的结果，右面为右目的结果，用有数字的矩形框表示检测到的车辆(标号)，无数字的矩形框表示漏检车辆，示意图中的对应关系可表示为(1,1),(2,2),(3,3),(4,#),(5,4),(*,5),(6,*)；其中#表示漏检目标，*表示真实存在但由于左右镜头位置差异，不能被当前镜头观测到的物体。
作为优选实施方式，对步骤S3中获取的检测结果进行重新匹配，匹配方法为：用步骤S2中得到的矩阵M，将左目视图中的各个矩形框映射到右目中得到矩形框DPi i＝1,2,,…M，对于任意一组(DPi,DRi),i＝1,2,…,M,j＝1,2,…,N,当IOU大于0.3时，将检测目标的矩形框看为同一个物体，重新编号，得到匹配后的检测结果，其结果如图16所示，其中，左面为左目的检测结果，右面为右目的检测结果，重新编号的结果用有数字的矩形框表示。
作为优选实施方式，步骤S4中具体包括以下步骤：
S41：左右摄像头分别以步骤S3得到的道路上IL、IR中的BLi、BRi,i＝1,2,……,n，作为初始位置，利用KCF跟踪摄像头采集的下一帧对中车辆的位置，KCF连续跟踪后续相邻采集的跟踪帧对，直到Tiny YOLO v2目标检测网络检测后一帧对图像，其中左右眼对应时间图像构成“帧对”；
S42：比较Tiny YOLO v2目标检测网络后续的检测帧对中车辆位置与KCF跟踪到此刻时跟踪帧对中车辆位置，去掉驶出的车辆，增加驶入的车辆，更新KCF跟踪帧对中车辆位置，返回步骤S41。
作为优选实施方式，步骤S5中计算特征点在三维坐标的坐标具体方法为：对矩形框BLiBLi,i＝1,2,…n采用ORB特征提取，将BLi矩形框内物体提取的多个特征点的描述子，同时对其对应的右目矩形框进行特征提取获取多个特征描述子，然后运用KNN算法将左边特征描述子与右边特征描述子进行匹配，可以获取多个特征匹配子在左右像素中的坐标将其记为(aik,bik,pik,qik)，k＝1,2,3,...50,其中aik,bik表示左目第i个矩形中第k个特征点的横坐标与纵坐标，pik,qik表示右目第i个矩形中第k个特征点的横坐标与纵坐标，运用上述所得到的左右框中的特征点可以根据步骤S2中所获取的矩阵可以将该坐标反演获取该特征点所对应的三维坐标记为(xik,yik,zik),i＝1,2,...,n,k＝1,2,3,...50。
作为优选实施方式，步骤S5中计算目标质心到检测系统的目标距离的方法为：运用获取各个矩形框中的三维坐标，分别对每个矩形框内的坐标运用式(2)进行计算，可以得到每个矩形框内物体与摄像头连线中心的距离di；
作为优选实施方式，步骤S6中对目标距离di作一次卡尔曼滤波处理，得到依次对每个矩形框进行以上操作，得到
通过综合以上相关技术，能够显著增加目标检测的准确率、检测速度、以及系统的鲁棒性。
实施例1：
1.工作状况要求
1)摄像头安装：将两个型号一致的摄像头分别安装于测量车辆(简称：测量车)的两个反射镜前端，方向朝向正前方，摄像头广角镜头，视场角120。
2)测量车工作状态：测量车上路，实时检测前面道路上其他车辆与测量车之间的距离。
3)测量坐标系：建立笛卡尔直角坐标系，以测量车的两个前端反射镜连线且平行于地面为横轴X，方向为从左指向右；连线中点为原点O；过原点垂直于横轴X且平行于地面的轴为纵轴Y，方向为指向测量车行进方向；过原点垂直于横轴X和纵轴Y且垂直于地面的轴为Z轴，方向指向天空；如图13所示。
2.算法步骤
(1)选择训练视频样本集
选取包括汽车类、行人类、自行车类、公交车类和摩托车类等五种物体在内的视频集合，拆分视频为离散帧序列，选取合适帧购长城样本集，标注样本集以备Tiny YOLO v2网络训练之用。
(2)构建anchor boxes
采用聚类算法分别对汽车类、行人类、自行车类、公交车类和摩托车类构建5组用于预测目标边界框的anchor boxes，统计某一类目标并计算其anchor boxes，共得到上述5组anchor boxes(w，h)，使训练样本集中目标边界框和anchor boxes有更大的IOU值，使后续训练时收敛速度更快；
(3)训练并测试Tiny YOLO v2目标检测网络模型(以下简称：YM，Yolo model)；
(4)：YOLO结合KCF的准确跟踪
1)标定相机，左右两个摄像头采集的校正后的图像分别表示为：IL、IR，并根据相机相关参数获取左目图像到右目图像的透视变换矩阵M，获取相机焦距设为f，左右目相机的中心距离为T，对于物理世界中的一点p,在左右目图像的对应点分别为pl,pr，对应横坐标为xl,xr,如图14所示，可以求得p到中心的距离d具体为
2)YM分别检测IL和IR中的车辆，并分别记录图像中所有车辆的位置并用检测矩形框表示，记为DLiDRi,i＝1,2,...,M，j＝1,2,3,…,N其中，M为左边图像中车的数量，N为右边图像中车的数量，(pLM，pRN)为道路上同一车辆在左右摄像机上成像的位置，检测结果如图15所示。
用有数字的矩形框表示检测到的车辆(标号)，无数字的矩形框表示漏检车辆，示意图中的对应关系可表示为(1,1),(2,2),(3,3),(4,#),(5,4),(*,5),(6,*)；其中#表示漏检目标，*表示真实存在但由于左右镜头位置差异，不能被当前镜头观测到的物体。用步骤1)所得到的矩阵M，将左目视图中的各个矩形框映射到右目中得到矩形框DPi i＝1,2,,…M.对于任意一组(DPi,DRi),i＝1,2,…,M,j＝1,2,…,N,当它们的IOU大于0.3时可以将检测目标的矩形框看为同一个物体，重新编号，可以得到BLiBLi,i＝1,2,…n,其结果如图16所示，重新表号的结果用有数字的矩形框表示。
3)左右摄像头分别以步骤2)得到的道路上IL、IR中的BLi、BRi,i＝1,2,……,n，作为初始位置，利用KCF跟踪摄像头采集的下一帧对(左右眼对应时间图像构成“帧对”)中车辆的位置，KCF连续跟踪后续相邻采集的跟踪帧对，直到YM检测后一帧对图像；
4)比较YM后续的检测帧对中车辆位置与KCF跟踪到此刻时跟踪帧对中车辆位置，去掉驶出的车辆，增加驶入的车辆，更新KCF跟踪帧对中车辆位置，返回步骤3)
5)利用极线约束反演双目帧对中所有车辆在道路上3D空间位置CB(空间方框)。其具体步骤为：对矩形框BLiBLi,i＝1,2,…n进行特征提取，实验中采用的为ORB特征提取，将BLi矩形框内物体提取的多个特征点的描述子，同时对其对应的右目矩形框进行特征提取获取多个特征描述子，然后运用KNN算法将左边特征描述子与右边特征描述子进行匹配，可以获取多个特征匹配子在左右像素中的坐标将其记为(aik,bik,pik,qik)，k＝1,2,3,...50,其中aik,bik表示左目第i个矩形中第k个特征点的横坐标与纵坐标，pik,qik表示右目第i个矩形中第k个特征点的横坐标与纵坐标，运用上述所得到的左右框中的特征点可以根据步骤1中所获取的矩阵可以将该坐标反演获取该特征点所对应的3D坐标记为(xik,yik,zik),i＝1,2,...,n,k＝1,2,3,...50。
6)计算CB的中心点坐标与本车辆的距离，并通过卡尔曼滤波保证车辆跟踪3D定位的准确性。运用步骤4)中所获取各个矩形框中的3D坐标，分别对每个矩形框内的坐标运用以下公式进行计算，可以得到每个矩形框内物体与摄像头连线中心的距离di；
最后，对di作一次卡尔曼滤波处理，得到该距离为输出结果。依次对每个矩形框进行以上操作，可以得到
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (5)

1.一种运动车辆双目视觉测距方法，其特征在于，包括如下步骤：
S1：构建Tiny YOLO v2目标检测网络模型，并通过视频样本集进行训练；具体包括如下步骤：
S01：选择训练视频样本集
选取包括汽车类、行人类、自行车类、公交车类和摩托车类五种物体在内的视频集合，并拆分视频为离散帧序列，选取合适帧构成样本集，标注视频样本集，作为训练集，以备Tiny YOLO v2目标检测网络训练用；
S02：构建anchor boxes
对步骤S01获得的汽车类、行人类、自行车类、公交车类和摩托车类的视频样本集采用聚类算法集合聚类，得到汽车类、行人类、自行车类、公交车类和摩托车类5组用于预测目标边界框的anchor boxes，统计每一类目标并计算其anchor boxes，得到上述5组anchorboxes(w，h)；
S03：采用步骤S01得到的训练集及S02得到的样本聚类参数，训练并测试Tiny YOLO v2目标检测网络模型；
S2：标定相机，将两个摄像头安装于测量车辆的左右的两个反射镜前端，获取左右目摄像头的相关参数，获取左右目图像对应像素的映射关系；
获取左右目图像对应像素的映射关系的方法具体为：根据相机相关参数获取左目图像到右目图像的透视变换矩阵M，获取相机焦距设为f，左右目相机的中心距离为T，对于物理世界中的任意一点p，在左右目图像的对应点分别为pl,pr，对应横坐标为xl,xr，通过式(1)求得p到左右相机中心连线中点的距离d，d为三维空间的任意一点p到两个相机中心连线中点之间的距离；
S3：通过Tiny YOLO v2目标检测网络获取左右目摄像头检测结果；
S4：将Tiny YOLO v2目标检测网络的左右目摄像头检测结果的矩形框，作为KCF的初始化目标追踪框，并进行追踪，每当神经网络检测完时，将KCF追踪框重新设置为Tiny YOLOv2目标检测网络检测结果，将KCF跟踪结果作为目标检测结果；
S5：对KCF的左右目摄像头检测配对框中的目标一一进行ORB特征提取，获取目标框中特征点在各自图像中的坐标，计算特征点在三维坐标的坐标，计算目标质心到检测系统的目标距离；
计算特征点在三维坐标的坐标具体方法为：对矩形框BLiBLi,i＝1,2,…n采用ORB特征提取，将BLi矩形框内物体提取的多个特征点的描述子，同时对其对应的右目矩形框进行特征提取获取多个特征描述子，然后运用KNN算法将左边特征描述子与右边特征描述子进行匹配，可以获取多个特征匹配子在左右像素中的坐标将其记为(aik,bik,pik,qik)，k＝1,2,3,...50,其中aik,bik表示左目第i个矩形中第k个特征点的横坐标与纵坐标，pik,qik表示右目第i个矩形中第k个特征点的横坐标与纵坐标，运用上述所得到的左右框中的特征点可以根据步骤S2中所获取的矩阵可以将该坐标反演获取该特征点所对应的三维坐标记为(xik,yik,zik),i＝1,2,...,n,k＝1,2,3,...50；
计算目标质心到检测系统的目标距离的方法为：运用获取各个矩形框中的三维坐标，分别对每个矩形框内的坐标运用式(2)进行计算，可以得到每个矩形框内物体与摄像头连线中心的距离di；
S6：对目标距离进行卡尔曼滤波处理。
2.如权利要求1所述的一种运动车辆双目视觉测距方法，其特征在于，步骤S3中获取检测结果的步骤为：左右两个摄像头采集的校正后的图像分别为IL、IR，Tiny YOLO v2目标检测网络分别检测IL和IR中的车辆，并分别记录图像中所有车辆的位置并用检测矩形框表示，记为DLiDri,i＝1,2,...,M，j＝1,2,3,…,N其中，M为左边图像中车的数量，N为右边图像中车的数量，(pLM，pRN)为道路上同一车辆在左右摄像机上成像的位置，即得到检测结果。
3.如权利要求2所述的一种运动车辆双目视觉测距方法，其特征在于，对步骤S3中获取的检测结果进行重新匹配，匹配方法为：用步骤S2中得到的矩阵M，将左目视图中的各个矩形框映射到右目中得到矩形框DPii＝1,2,…M，对于任意一组(DPi,DRi),i＝1,2,…,M,j＝1,2,…,N,当IOU大于0.3时，将检测目标的矩形框看为同一个物体，重新编号，得到匹配后的检测结果。
4.如权利要求3所述的一种运动车辆双目视觉测距方法，其特征在于，步骤S4中具体包括以下步骤：
S41：左右摄像头分别以步骤S3得到的道路上IL、IR中的BLi、BRi,i＝1,2,……,n，作为初始位置，利用KCF跟踪摄像头采集的下一帧对中车辆的位置，KCF连续跟踪后续相邻采集的跟踪帧对，直到Tiny YOLO v2目标检测网络检测后一帧对图像，其中左右眼对应时间图像构成“帧对”；
S42：比较Tiny YOLO v2目标检测网络后续的检测帧对中车辆位置与KCF跟踪到此刻时跟踪帧对中车辆位置，去掉驶出的车辆，增加驶入的车辆，更新KCF跟踪帧对中车辆位置，返回步骤S41。
5.如权利要求4所述的一种运动车辆双目视觉测距方法，其特征在于，步骤S6中对目标距离di作一次卡尔曼滤波处理，得到依次对每个矩形框进行以上操作，得到
CN202010447672.2A 2020-05-25 2020-05-25 一种运动车辆双目视觉测距方法 Active CN111797684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010447672.2A CN111797684B (zh) 2020-05-25 2020-05-25 一种运动车辆双目视觉测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010447672.2A CN111797684B (zh) 2020-05-25 2020-05-25 一种运动车辆双目视觉测距方法

Publications (2)

Publication Number Publication Date
CN111797684A CN111797684A (zh) 2020-10-20
CN111797684B true CN111797684B (zh) 2024-04-09

Family

ID=72806172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010447672.2A Active CN111797684B (zh) 2020-05-25 2020-05-25 一种运动车辆双目视觉测距方法

Country Status (1)

Country Link
CN (1) CN111797684B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347973A (zh) * 2020-11-19 2021-02-09 武汉光庭信息技术股份有限公司 一种基于双目高速相机的前车状态估算方法及系统
CN112487916B (zh) * 2020-11-25 2022-08-23 上海电力大学 一种电力设备双目三维立体识别系统
CN114913491B (zh) * 2021-02-08 2024-08-06 广州汽车集团股份有限公司 一种车辆定位方法及系统、计算机可读存储介质
CN114089675B (zh) * 2021-11-23 2023-06-09 长春工业大学 一种基于人机距离的机器控制方法及控制系统
CN115063447A (zh) * 2022-06-08 2022-09-16 中北大学 一种基于视频序列的目标动物运动追踪方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109934108A (zh) * 2019-01-31 2019-06-25 华南师范大学 一种多目标多种类的车辆检测和测距系统及实现方法
CN110287957A (zh) * 2019-06-24 2019-09-27 北京中电慧视科技有限公司 一种低慢小目标的定位方法及定位装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN108108667A (zh) * 2017-12-01 2018-06-01 大连理工大学 一种基于窄基线双目视觉的前方车辆快速测距方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109934108A (zh) * 2019-01-31 2019-06-25 华南师范大学 一种多目标多种类的车辆检测和测距系统及实现方法
CN110287957A (zh) * 2019-06-24 2019-09-27 北京中电慧视科技有限公司 一种低慢小目标的定位方法及定位装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于KCF跟踪算法的目标轨迹记录系统;张乘龙;夏筱筠;柏松;姚恺丰;;计算机系统应用;20170515(05);全文 *
改进Fast-RCNN的双目视觉车辆检测方法;张琦;胡广地;李雨生;赵鑫;;应用光学;20181115(06);全文 *

Also Published As

Publication number Publication date
CN111797684A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797684B (zh) 一种运动车辆双目视觉测距方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN110297232A (zh) 基于计算机视觉的单目测距方法、装置及电子设备
CN102176243A (zh) 一种基于可见光和红外摄像机的目标测距方法
CN110322507B (zh) 一种基于深度重投影和空间一致性特征匹配的方法
CN108229416A (zh) 基于语义分割技术的机器人slam方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN110706253B (zh) 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
CN113781563B (zh) 一种基于深度学习的移动机器人回环检测方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
CN112150448A (zh) 图像处理方法、装置及设备、存储介质
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
CN117133041A (zh) 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN115482257A (zh) 一种融合深度学习特征光流与双目视觉的运动估计方法
CN113706599B (zh) 一种基于伪标签融合的双目深度估计方法
CN115909274A (zh) 面向自动驾驶的动态障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant