CN114972427A - 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 - Google Patents
一种基于单目视觉的目标跟踪方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114972427A CN114972427A CN202210548990.7A CN202210548990A CN114972427A CN 114972427 A CN114972427 A CN 114972427A CN 202210548990 A CN202210548990 A CN 202210548990A CN 114972427 A CN114972427 A CN 114972427A
- Authority
- CN
- China
- Prior art keywords
- target
- vehicle
- contour
- distance
- monocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 abstract description 7
- 239000011159 matrix material Substances 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质，该方法中包括：S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。本发明能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
Description
技术领域
本发明涉及目标跟踪领域，尤其涉及一种基于单目视觉的目标跟踪方法、终端设备及存储介质。
背景技术
当前园区无人驾驶视觉感知技术，主要有单目视觉和双目视觉两个方向，由于双目摄像头制作工艺及稳定性要求高等原因，成本较高。而单目摄像头因其成本较低，被更加广泛运用于感知系统。但是在实际道路行驶过程中，由于车身抖动、路面不平、斜坡等原因，现有的基于单目视觉的感知系统的精度并不尽如人意，尤其在复杂道路环境中适应性较差。
发明内容
为了解决上述问题，本发明提出了一种基于单目视觉的目标跟踪方法、终端设备及存储介质。
具体方案如下：
一种基于单目视觉的目标跟踪方法，包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
进一步的，目标信息还包括置信度。
进一步的，目标类型包括车辆、行人和其他。
进一步的，目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。
进一步的，当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶。
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
进一步的，当目标类型为行人时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
进一步的，当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
进一步的，步骤S4中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功，否则，判定为匹配不成功；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
一种基于单目视觉的目标跟踪终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，能够有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中目标与本车之间的距离计算的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种基于单目视觉的目标跟踪方法，如图1所示，其为本发明实施例所述的基于单目视觉的目标跟踪方法的流程图，所述方法包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像。
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息。
对视频帧图像进行目标检测时可以采用现有的目标检测算法即可，在此不做限制。
该实施例中设定目标类型包括车辆、行人和其他，目标信息包括目标的类型和目标边界框。为了更好地方便用户对目标检测结果进行判断，该实施例中目标信息还包括置信度。另外，为了方便对车辆类型的目标进行距离计算，车辆类型的目标相对于行人和其他两种类型的目标，其目标信息还包括车辆下半部分感兴趣区域(ROI)的图像。
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离。
如图2所示，为了提高距离计算的准确性，该实施例中针对不同类型的目标设定了不同的测距算法，具体如下：
(1)当目标类型为车辆时，测距算法具体为：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶。
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
轮廓点数量阈值、轮廓面积阈值、匹配度阈值和长短轴比值阈值的大小本领域技术人员可以根据经验数据预先设定，在此不做限定。
(2)当目标类型为行人时，测距算法具体为：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
(3)当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
下面分别介绍三种测距算法
(一)基于宽度的测距算法
基于相机模型，通过标定获取摄像头内参，已经目标边界框信息，利用三角形相似原理，可以计算出世界坐标系下的目标与本车的距离，公式如下：
其中，f表示相机的焦距，w表示目标的像素宽度，lx表示目标的测量点距离图像中心点的横向像素距离，dx表示相机横向像素的单位大小，X1表示世界坐标下的纵向距离，Y1表示世界坐标下的横向距离，W1表示目标的真实宽度。
进一步的，由于：
f＝fx.dx
ix＝u-W/2
其中，fx表示相机的内参，u表示目标边界框左上角横向像素坐标，W表示图像宽度。
由上述公式推导，即可求解得到目标与本车的纵向距离X1和横向距离Y1
(二)基于高度的测距算法
基于相机模型，通过标定获取摄像头内参，以及摄像头安装高度及目标边界框信息，利用三角形相似原理，可以计算出世界坐标系下的目标与本车的距离，公式如下：
其中，f表示相机焦距，ly表示目标点距离图像中心点的纵向像素距离,dy表示相机纵向像素的单位大小，H1表示摄像头安装高度，D表示世界坐标下目标与本车的距离。
进一步的f＝fy.dy
ly＝v-H/2
其中，fy表示相机的内参，v表示目标边界框左上角纵向像素坐标，H表示图像高度。
由上述公式推导，即可求解目标与本车的距离D：
(三)基于坐标系转换的测距算法
从世界坐标系到相机坐标系是刚体变换，对应旋转矩阵R和平移矩阵T，相机坐标系到图像坐标系是透视投影，对应透视投影矩阵P；从图像坐标系到像素坐标系是离散化，对应像素坐标和图像坐标的关系转换。最后得到一个点从世界坐标系到像素坐标系的转换公式如下：
其中，K表示内参矩阵，P表示外参矩阵，R、T分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵，fx、fy表示相机水平方向和垂直方向相对单位像素的焦距，(u0,v0)表示相机光学中心坐标，(u,v)表示目标点在图像上的像素坐标，Zc表示目标点到相机的距离，Xw、Yw、Zw分别表示目标点在世界坐标系下的X,Y,Z三个方向的距离。
已知目标点在图像上的像素坐标(u,v)，通过相机标定得到内参矩阵K和外参矩阵P，即可求解得到目标与本车的距离Xw、Yw，Zw其中Zw＝0。
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
该实施例中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功(同一目标)，否则，判定为匹配不成功(不同目标)；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
匹配度阈值的大小本领域技术人员可以根据经验数据预先设定，在此不做限定。
卡尔曼滤波算法进行跟踪时的方程为：
Xt＝FXt-1+u
式中，Xt-1表示t-1时刻的状态向量(11x1)，Xt-1＝[x,y,s,x_,y_,r,x^,y^,s^,xv,yv]T。x表示目标边界框左上角横向坐标，y表示目标边界框左上角纵向坐标，s表示目标边界框面积，x_表示目标与本车的纵向距离，y_表示目标与本车的横向距离，r表示目标边界框的高宽比，x^表示x的变化量，y^表示y的变化量，s^表示s的变化量，xv表示目标与本车的纵向相对速度，yv表示目标与本车的横向相对速度。
式中，F为状态变化矩阵(11X11)，该实施例中设置为；
F＝[[1,0,0,0,0,0,1,0,0,0,0],[0,1,0,0,0,0,0,1,0,0,0],[0,0,1,0,0,0,0,0,1,0,0],[0,0,0,1,0,0,0,0,0,△t,0],[0,0,0,0,1,0,0,0,0,0,△t],[0,0,0,0,0,1,0,0,0,0,0],[0,0,0,0,0,0,1,0,0,0,0],[0,0,0,0,0,0,0,1,0,0,0],[0,0,0,0,0,0,0,0,1,0,0],[0,0,0,0,0,0,0,0,0,1,0],[0,0,0,0,0,0,0,0,0,0,1]]
其中，△t表示t时刻与t-1时刻的时间差。
式中，u表示外部影响参数，该实施例中取值为0。
P＇＝FPFT+Q
式中，P表示状态协方差矩阵(11X11)，初始设置为：
P＝[[10,0,0,0,0,0,0,0,0,0,0],[0,10,0,0,0,0,0,0,0,0,0],[0,0,10,0,0,0,0,0,0,0,0],[0,0,0,10,0,0,0,0,0,0,0],[0,0,0,0,10,0,0,0,0,0,0],[0,0,0,0,0,10,0,0,0,0,0],[0,0,0,0,0,0,1000,0,0,0,0],[0,0,0,0,0,0,0,1000,0,0,0],[0,0,0,0,0,0,0,0,1000,0,0],[0,0,0,0,0,0,0,0,0,1000,0],[0,0,0,0,0,0,0,0,0,0,1000]]
式中，Q表示过程噪声矩阵(11X11)，初始设置为：
Q＝[[0.01,0,0,0,0,0,0,0,0,0,0],[0,0.01,0,0,0,0,0,0,0,0,0],[0,0,0.01,0,0,0,0,0,0,0,0],[0,0,0,0.01,0,0,0,0,0,0,0],[0,0,0,0,0.01,0,0,0,0,0,0],[0,0,0,0,0,0.01,0,0,0,0,0],[0,0,0,0,0,0,0.01,0,0,0,0],[0,0,0,0,0,0,0,0.01,0,0,0],[0,0,0,0,0,0,0,0,0.01,0,0],[0,0,0,0,0,0,0,0,0,0.001,0],[0,0,0,0,0,0,0,0,0,0,0.001]]
卡尔曼滤波算法进行更新时的方程为：
y＝z-HXt
式中，z表示t时刻的测量值[xm,ym,sm,x_m,y_m,rm]T，Xt表示t时刻预测的状态向量，H表示测量矩阵(6X11)，初始设置为：
H＝[[1,0,0,0,0,0,0,0,0,0,0],[0,1,0,0,0,0,0,0,0,0,0],[0,0,1,0,0,0,0,0,0,0,0],[0,0,0,1,0,0,0,0,0,0,0],[0,0,0,0,1,0,0,0,0,0,0],[0,0,0,0,0,1,0,0,0,0,0]]
S＝HP＇HT+R
式中，R表示测量噪声矩阵(6X6)，数值根据测量误差设定，初始设置为：
R＝[[1,0,0,0,0,0],[0,1,0,0,0,0],[0,0,1,0,0,0],[0,0,0,10,0,0],[0,0,0,0,10,0],[0,0,0,0,0,10]]
K＝P＇HTS-1
式中，K表示卡尔曼增益
X＝Xt+Ky
P＝(I-KH)P＇
式中，X、P分别表示t时刻卡尔曼滤波更新后的状态向量和状态协方差矩阵，I表示与状态向量同维度的单位矩阵。
两个目标边界框进行IOU匹配时，设目标检测得到的t时刻的目标边界框为A＝(xm,ym,sm,rm)，通过步骤S401预测得到t时刻的目标边界框为B＝(xp,yp sp,将两者进行IOU匹配，两者的IOU(交并比)值即为匹配度，公式如下：
进一步的，该实施例中还包括将预测得到的下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度发送至显示界面进行显示。
本发明实施例能够准确预测障碍物目标的位置、距离以及相对速度等信息，可以有效的提高单目视觉感知精度，更加适用于实际道路中园区无人驾驶的感知能力提升。
实施例二：
本发明还提供一种基于单目视觉的目标跟踪终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述基于单目视觉的目标跟踪终端设备可以是车载电脑、云端服务器等计算设备。所述基于单目视觉的目标跟踪终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述基于单目视觉的目标跟踪终端设备的组成结构仅仅是基于单目视觉的目标跟踪终端设备的示例，并不构成对基于单目视觉的目标跟踪终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于单目视觉的目标跟踪终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于单目视觉的目标跟踪终端设备的控制中心，利用各种接口和线路连接整个基于单目视觉的目标跟踪终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于单目视觉的目标跟踪终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述基于单目视觉的目标跟踪终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。
Claims (10)
1.一种基于单目视觉的目标跟踪方法，其特征在于，包括以下步骤：
S1：实时接收安装于车辆上单目摄像头采集的车辆前方的视频帧图像；
S2：对当前时刻接收到的视频帧图像进行目标检测，并获取检测到的目标的目标信息，目标信息包括目标的类型和目标边界框；
S3：基于目标信息，针对不同类型的目标，采用不同的测距算法计算当前时刻目标与本车之间的距离；
S4：基于当前时刻的目标信息与目标与本车之间的距离，采用卡尔曼滤波算法对目标进行实时跟踪，得到下一时刻的目标信息、目标与本车的距离和目标与本车的相对速度。
2.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标信息还包括置信度。
3.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型包括车辆、行人和其他。
4.根据权利要求3所述的基于单目视觉的目标跟踪方法，其特征在于：目标类型为车辆时，其目标信息还包括车辆下半部分感兴趣区域的图像。
5.根据权利要求4所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为车辆时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S101：将车辆下半部分感兴趣区域的图像转换为灰度图，并对灰度图进行边缘检测；
S102：对边缘检测后的图像进行边膨胀处理，并查找边膨胀处理后的图像中的轮廓；
S103：根据轮廓包含的轮廓点数量对查找到的所有轮廓进行第一次过滤，剔除其中轮廓点数量少于轮廓点数量阈值的轮廓；
S104：根据轮廓的面积对第一次过滤后的轮廓进行第二次过滤，剔除其中轮廓面积小于轮廓面积阈值的轮廓；
S105：对第二次过滤后的所有轮廓进行椭圆拟合；
S106：根据拟合后的轮廓与车轮轮廓的匹配度对第二次过滤后的轮廓进行第三次过滤，剔除其中匹配度小于匹配度阈值的轮廓；
S107：根据轮廓的长短轴比值对第三次过滤后的轮廓进行第四次过滤，剔除其中长短轴比值大于长短轴比值阈值的轮廓；
S108：通过车辆姿态检测算法对第四次过滤后的轮廓进行检测，如果检测出车轮，则判定目标车辆横向行驶，否则，判定目标车辆纵向行驶；
S109：当目标车辆为横向行驶时，采用基于高度或基于坐标系转换的测距算法计算目标车辆与本车之间的距离；当目标车辆为纵向行驶时，采用基于宽度的测距算法计算目标车辆与本车之间的距离。
6.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为行人时，用于计算目标与本车之间的距离的测距算法包括以下步骤：
S201：计算目标边界框的高宽比，当高宽比大于高宽比阈值时，判定行人为侧面站立；当高宽比小于高宽比阈值时，判定行人为正面站立；
S202：根据行人为正面站立还是侧面站立设置对应的宽度参数，采用基于宽度的测距算法计算行人与本车的距离。
7.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：当目标类型为其他时，采用基于高度或基于坐标系转换的测距算法计算目标与本车的距离。
8.根据权利要求1所述的基于单目视觉的目标跟踪方法，其特征在于：步骤S4中对目标的实时跟踪采用的具体步骤如下：
S401：通过卡尔曼滤波算法对t-1时刻的目标信息和目标与本车的距离进行跟踪，预测t时刻的目标信息、目标与本车的距离和目标与本车的相对速度；
S402：将对t时刻的视频帧图像进行目标检测得到的t时刻的目标边界框与通过步骤S401预测得到t时刻的目标边界框进行IOU匹配，当匹配度大于预设的匹配度阈值时，判定为匹配成功，否则，判定为匹配不成功；对于匹配成功的目标，用t时刻的检测结果更新t时刻的预测结果，得到目标最优估计值；对于匹配不成功的目标，重新分配卡尔曼滤波器进行跟踪；对于连续N次匹配不成功的跟踪目标，不再通过卡尔曼滤波算法进行目标跟踪。
9.一种基于单目视觉的目标跟踪终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～8中任一所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～8中任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548990.7A CN114972427A (zh) | 2022-05-20 | 2022-05-20 | 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548990.7A CN114972427A (zh) | 2022-05-20 | 2022-05-20 | 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972427A true CN114972427A (zh) | 2022-08-30 |
Family
ID=82984492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210548990.7A Pending CN114972427A (zh) | 2022-05-20 | 2022-05-20 | 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972427A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503491A (zh) * | 2023-06-26 | 2023-07-28 | 安徽大学 | 一种基于相机标定和视觉的机器狗障碍物测距和避障方法 |
| CN117553695A (zh) * | 2024-01-11 | 2024-02-13 | 摩斯智联科技有限公司 | 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质 |
-
2022
- 2022-05-20 CN CN202210548990.7A patent/CN114972427A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503491A (zh) * | 2023-06-26 | 2023-07-28 | 安徽大学 | 一种基于相机标定和视觉的机器狗障碍物测距和避障方法 |
| CN117553695A (zh) * | 2024-01-11 | 2024-02-13 | 摩斯智联科技有限公司 | 基于宽高比抑制噪声计算车辆高度的方法、装置及计算机存储介质 |
| CN117553695B (zh) * | 2024-01-11 | 2024-05-03 | 摩斯智联科技有限公司 | 计算车辆高度的方法、装置及计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| US20180137376A1 (en) | State estimating method and apparatus | |
| US10867403B2 (en) | Vehicle external recognition apparatus | |
| CN114972427A (zh) | 一种基于单目视觉的目标跟踪方法、终端设备及存储介质 | |
| JP2017526082A (ja) | 動作推定方法、移動体、およびプロセッサに動作推定方法を実行させるコンピュータプログラムコードでコード化された非一時的コンピュータ可読媒体 | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| US10789731B2 (en) | Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| Lin et al. | Construction of fisheye lens inverse perspective mapping model and its applications of obstacle detection | |
| CN112927309A (zh) | 一种车载相机标定方法、装置、车载相机及存储介质 | |
| Ponsa et al. | On-board image-based vehicle detection and tracking | |
| KR102566583B1 (ko) | 서라운드 뷰 이미지의 안정화를 위한 방법 및 장치 | |
| Lee et al. | Temporally consistent road surface profile estimation using stereo vision | |
| CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
| CN113256701B (zh) | 一种距离的获取方法、装置、设备及可读存储介质 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| García-García et al. | 3D visual odometry for road vehicles | |
| Westerhoff et al. | Development and comparison of homography based estimation techniques for camera to road surface orientation | |
| Hashimoto et al. | An image processing architecture and a motion control method for an autonomous vehicle | |
| US7899212B2 (en) | Image processing apparatus and image processing method | |
| García-García et al. | 3D visual odometry for GPS navigation assistance | |
| WO2023068034A1 (ja) | 画像処理装置 | |
| CN113537161B (zh) | 一种障碍物的识别方法、系统及装置 | |
| EP4354397A1 (en) | Method for a camera-based pose estimation, data processing device, computer program and computer-readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |