CN108280445B - 一种车辆周围运动物体和凸起障碍物的检测方法 - Google Patents

一种车辆周围运动物体和凸起障碍物的检测方法 Download PDF

Info

Publication number
CN108280445B
CN108280445B CN201810158356.6A CN201810158356A CN108280445B CN 108280445 B CN108280445 B CN 108280445B CN 201810158356 A CN201810158356 A CN 201810158356A CN 108280445 B CN108280445 B CN 108280445B
Authority
CN
China
Prior art keywords
vehicle
image
pixel point
time
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810158356.6A
Other languages
English (en)
Other versions
CN108280445A (zh
Inventor
潘钰华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Daxuan Information Technology Co Ltd
Original Assignee
Jiangsu Yulan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yulan Information Technology Co ltd filed Critical Jiangsu Yulan Information Technology Co ltd
Priority to CN201810158356.6A priority Critical patent/CN108280445B/zh
Publication of CN108280445A publication Critical patent/CN108280445A/zh
Application granted granted Critical
Publication of CN108280445B publication Critical patent/CN108280445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于车辆环视图的快速运动物体检测方法，其主要步骤包括：1)利用车载鱼眼相机和图像拼接算法得到车辆环视图像序列，并存于车载电子控制单元的缓存区中；2)将图像序列中连续两帧图像分别设为参考帧和当前帧，采用光流法计算出参考帧中像素点的运动矢量；3)利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出参考帧中像素点的位移；4)通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；5)利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量。最后通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。

Description

一种车辆周围运动物体和凸起障碍物的检测方法
技术领域
本发明涉及目标检测领域技术，特别是涉及动态背景下的运动目标检测方法。
背景技术
汽车车身周边环境是否存在异常物体或突发情况，是驾驶员在驾驶过程中必须关注的重要环节，对车辆安全驾驶起着不可忽视的作用。汽车工业和信息技术的更新换代，为安全驾驶提供了越来越有力的技术支持。对于汽车车身周边环境的检测，目前采用较多的是雷达侦测和摄像头监测，与雷达侦测相比，采用摄像头监测的方法具有更加直观清晰的视觉效果，而在获得车载视频基础上开发的环境监测方法，包括运动物体检测和停车位自动识别等技术，已经大量运用于车辆制造行业。
基于图像的运动目标检测是计算机图像处理技术中的关键应用技术，它是利用图像处理的手段，将视频序列中的前景目标从背景中分离出来，从而对序列中的运动目标进行检测，并在此基础上对检测到的有效目标进行进一步的分类和识别。随着科技的进步和计算机技术的发展，运动目标检测已经广泛应用于人工智能、视频监控、医学影像和军事制导等领域，具有广阔的发展前景和重要的使用价值。
运动目标检测主要分为静态背景检测和动态背景检测：静态背景检测是指摄像头安装在某一固定位置且采集区域不发生变化，因此得到的图像中背景为静态背景，在此基础上对视野范围中的运动目标进行检测和识别，通常采用的方法主要分为三类：帧间差分法、背景相减法和光流法；动态背景检测是指摄像头在采集图像时因存在旋转、移动等状态变化，导致采集区域不断改变，得到的图像中背景时时变化，在此基础上对视野范围中的运动目标进行检测和识别。与静态背景检测相比，动态背景检测不仅受光照和噪音等影响，还因其背景不停改变，很大程度上会干扰图像中运动目标的分离和识别，导致检测精度降低，算法鲁棒性较差。因此，如何从动态背景中准确有效的将待识别的运动目标检测并分离出来，是本领域亟待解决的关键性问题。
发明内容
本发明的目的是提供一种基于车辆环视图的运动物体和凸起障碍物检测方法。利用车载鱼眼相机采集得到车辆环视图像序列，同时建立汽车运动模型，利用车辆环视图和运动模型对连续两帧图像中的运动物体和凸起障碍物进行检测，并及时通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。
本发明所采用的技术方案是：一种基于车辆环视图的快速运动物体检测方法，其主要包括以下步骤：
在车体的前后左右四个方位分别安装一个高清鱼眼相机，采集四个方向实时场景视频流；利用鱼眼相机采集得到一段时间内车体四个方向的实时场景图像序列，存于电子控制单元的缓存区中；通过图像拼接算法，利用四个方向的图像序列，拼接得到车辆环视图序列；提取环视图序列中当前帧图像和前一帧图像，设为当前帧和参考帧，并采用光流法计算出两帧图像间像素点的运动矢量；利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出像素点的位移；通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物；利用卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，继续计算和下一帧图像间的运动矢量。
所述车体周围安装高清鱼眼相机，前后相机安装位置分别为车体前方牌照附近区域和后方牌照附近区域，相机与水平线夹角不超过60°；左右相机分别安装于车体左右后视镜正下方，相机与水平线夹角不超过45°。
所述采集四个方向实时场景视频流，是指车辆在启动时，鱼眼相机即开始采集图像，将图像序列存储于车辆电子控制单元(ECU)缓存区中，采集频率为每秒30帧，覆盖时长为2秒。
所述通过图像拼接算法和四个方向视频流得到车辆环视图的实时视频流，是指对每一时刻四个鱼眼相机同时采集到的图像进行拼接。通过计算四幅单视图像和环视图像中各个像素点在世界坐标中的位置，将单视图中像素点的值赋值于环视图中对应像素点，得到该时刻环视图像，环视图像设定显示车体前后左右5米范围。对ECU缓存区中四个方向视频流每一帧对应的图像做拼接处理，得到环视图的视频流。
所述光流法为Horn-Schunck光流法，求得的为稠密光流，对每一个像素计算光流值。假设ui,j与vi,j分别表示图像像素点(i,j)处的水平方向光流值与垂直方向光流值，则迭代方程为：
Figure BDA0001582126030000021
其中k为迭代次数，λ反映了对图像数据及平滑约束的可信度，当图像数据本身含有较大噪声时，此时需要加大λ的值，相反，当输入图像含有较少的噪声时，此时可减小λ的值。
Figure BDA0001582126030000022
代表u邻域与v邻域的平均值，采用相应四邻域内的均值，计算公式如下：
Figure BDA0001582126030000031
Ix，Iy分别是图像对x，y的偏导数，It是两帧图像间对时间的导数，其中：
Figure BDA0001582126030000032
本发明考虑相邻像素及相邻两帧图像的影响，采用四次有限差分来得到：
Figure BDA0001582126030000033
所述利用汽车运动模型计算像素点坐标，首先利用鱼眼相机的内参和外参计算出参考帧中像素点(x,y)在以车中心为原点的世界坐标中的坐标(Xw,Yw,Zw)，将参考帧中像素点的世界坐标经过汽车运动模型计算，得到新的世界坐标(Xw',Yw',Zw')，随后再利用相机内外参和新坐标(Xw',Yw',Zw')计算出车移动过后的原参考帧中像素点的新坐标(x',y')，得到像素点分别在x和y方向的位移(u,v)，其中：
Figure BDA0001582126030000034
所述汽车运动模型，是指利用车辆运动的实时can信息中的速度，加速度，方向和转角信息，计算出两帧间隔时间内汽车的位置变化信息。假设车辆在低速转弯时，最小转弯半径如图2所示，L为车辆前轴与后轴之间的轴距，α为转向角度，R为最小转弯半径，O为转向的圆心。当汽车转角为α时，可根据车长求出汽车当前的转弯半径：
Figure 1
车辆驱动轴中点为参考的运动模型，如图3所示：Mk、Mk+1参考点即后轴中点，分别为 tk到tk+1时刻车辆运动的两个连续位置；Xk、Xk+1为后轴中点的速度方向，即车辆的纵向；θk为车辆的初始方向角；v0为车辆初始速度；瞬时加速度为a；O为车辆转弯中心；Δ为从tk到tk+1时刻，车辆所走过的距离；β为车辆转向圆心角；R1为车辆后轮中点的转弯半径，其中：
Figure 2
Δ＝R1*β (8)
Figure BDA0001582126030000042
经过Δt时间后，车辆的瞬时速度为vt，则：
Figure BDA0001582126030000043
初始角θk更新为：
Figure BDA0001582126030000044
将更新后的初始角代入公式(9)中，可以计算出再下一时刻车辆的位置坐标。
上述公式为车辆后轴中点在运动过程中的轨迹方程，在Δt足够小的情况下，随着β、vt、θk、xk及yk的不断变化，可描述出车辆转向过程的运动轨迹。当已知车辆的初始方向角和初始坐标时，就可推导出任何时刻的车辆的坐标值，进而求得参考帧中像素点的世界坐标 (Xw',Yw',Zw')。
所述通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物，是通过比较两种方法得到的位移幅值和方向，识别像素点属于背景部分还是前景部分。设光流法求得的像素点(x,y)运动矢量为(u1,v1)，幅值为S1，方向为θ1，运动模型求得的位移矢量为(u2,v2)，幅值为S2，方向为θ2，则：
Figure BDA0001582126030000045
Figure BDA0001582126030000046
设判断阈值K和T，K<<T,前景和背景的识别准则为：
1)若|u1-u2|≤K且|v1-v2|≤K，则像素点(x,y)为背景中地面上的点；
2)若|u1-u2|＞K或|v1-v2|＞K，则像素点(x,y)为背景中的凸起障碍物或前景中的运动物体；
3)若像素点(x,y)为背景中的凸起障碍物或前景中的运动物体，则进行下一步判断：
ⅰ)若K＜|u1-u2|≤T且K＜|v1-v2|≤T，则像素点(x,y)为背景中的凸起障碍物；
ⅱ)若|u1-u2|＞T或|v1-v2|＞T，则像素点(x,y)为前景中的快速移动物体。
所述利用卡尔曼滤波求出像素点最优运动矢量，是指对于地面上的点和凸起障碍物，由于相机畸变和投影规则的存在，会导致光流法得到的运动矢量和运动模型得到的位移信息，都不能准确反应像素点的运动情况，因此将两组值通过卡尔曼滤波进行最优结果估计，将结果作为新的像素点位置进行下一帧计算。
卡尔曼滤波一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。以K-1时刻的最优估计xk-1为准，预测K时刻的状态变量
Figure BDA0001582126030000051
同时又对该状态进行观察，得到观测变量Zk，再在预测与观测之间进行分析，或者说是以观测量对预测量进行修正，从而得到K时刻的最优状态估计xk。假设后验概率分布p(xk-1|y1:k-1)为高斯分布，动态系统是线性的：
Figure BDA0001582126030000052
其中xk是k时刻的系统状态，uk是k时刻对系统的控制量，A和B是系统参数，yk是k时刻的测量值，H是测量系统的参数，qk和rk分别表示系统和测量的噪声，假设系统噪声和测量噪声都是高斯分布的，协方差矩阵分别为Qk和Rk。
卡尔曼滤波器的时间更新公式为：
Figure BDA0001582126030000053
Figure BDA0001582126030000054
状态更新公式为：
Figure BDA0001582126030000055
Figure BDA0001582126030000056
Figure BDA0001582126030000057
优化步骤为：
1)由k-1时刻的最优状态值去预测k时刻系统的状态值
Figure BDA0001582126030000061
2)由上一次的误差协方差Pk-1和过程噪声Q预测新的误差
Figure BDA0001582126030000062
3)计算卡尔曼增益Kk；
4)进行矫正更新
Figure BDA0001582126030000063
此时
Figure BDA0001582126030000064
即为K时刻的最优值；
5)为下一步估计k+1时刻的最优值的迭代进行更新操作，即更新Pk值。
通过卡尔曼滤波，可以得到像素点的最优位移矢量，并将更新后的像素点坐标作为下一帧图像中的初始坐标。
当在车辆环视图中检测出存在运动目标货凸起障碍物后，根据目标存在的方位，中央控制系统将视角切换至相应区域，并发出蜂鸣警报，提醒驾驶员注意。
本发明采用以上技术方案与现有技术相比，能够对突然进入车辆近距离范围内的运动物体和视野盲区内的凸起障碍物进行检测，并让驾驶员更加直观清晰的观察和掌握车身周围的环境，避免因突发情况造成的不必要损失。
附图说明
图1是本发明的算法工作流程示意图；
图2是汽车转弯半径示意图；
图3是汽车运动模型示意图。
具体实施方式
下面结合具体实例，进一步阐述本发明：
当车辆启动时，安装在车体前后左右四个鱼眼相机开始同步采集图像，采集四个方向实时场景视频流，采集频率为每秒30帧，缓存中存储2秒内的视频流。通过计算图像中点坐标和环视图中点坐标的对应关系，得到环视图的视频流。
假设环视图视频流中的连续两帧图像分别为参考帧I和当前帧P，则I为P的前一帧图像，那么I＝I(x,y,t)，P＝I(x,y,t+1)。
首先利用Horn-Schunck光流法求出参考帧I中各像素点水平方向光流值ui,j和垂直方向的光流值vi,j：
Figure BDA0001582126030000065
其中迭代次数k＝20，λ＝25，
Figure BDA0001582126030000071
Figure BDA0001582126030000072
Figure BDA0001582126030000073
Figure BDA0001582126030000074
接着通过提取汽车实时can信息中的速度，加速度，方向和转角信息，利用运动模型计算出参考帧中像素点经过两帧间隔时间发生的位移，水平方向为Δx，垂直方向为Δy：
Figure BDA0001582126030000075
Figure BDA0001582126030000076
通过比较光流法和运动模型分别求得的位移矢量的大小和方向，来识别像素点是属于前景部分还是背景部分。设光流法求得的像素点(x,y)运动矢量为(u1,v1)，幅值为S1，方向为θ1，运动模型求得的位移矢量为(u2,v2)，幅值为S2，方向为θ2，则：
Figure BDA0001582126030000077
Figure BDA0001582126030000078
设误差范围为-K～K，则识别准则为：
1)若|u1-u2|≤K且|v1-v2|≤K，则像素点(x,y)为背景中地面上的点；
2)若|u1-u2|＞K或|v1-v2|＞K，则像素点(x,y)为背景中的凸起障碍物或前景中的运动物体；
3)若像素点(x,y)为背景中的凸起障碍物或前景中的运动物体，则进行下一步判断：
ⅰ)若K＜|u1-u2|≤T且K＜|v1-v2|≤T，则像素点(x,y)为背景中的凸起障碍物；
ⅱ)若|u1-u2|＞T或|v1-v2|＞T，则像素点(x,y)为前景中的快速移动物体。
当在车辆环视图中检测出存在运动目标货凸起障碍物后，根据目标存在的方位，中央控制系统将视角切换至相应区域，并发出蜂鸣警报，提醒驾驶员注意。
同时，将光流法和运动模型求得的像素点位移矢量分别作为预测值和观察值，利用卡尔曼滤波进行优化：
1)由k-1时刻的最优状态值去预测k时刻系统的状态值
Figure BDA0001582126030000081
2)由上一次的误差协方差Pk-1和过程噪声Q预测新的误差
Figure BDA0001582126030000082
3)计算卡尔曼增益Kk；
4)进行矫正更新
Figure BDA0001582126030000083
此时
Figure BDA0001582126030000084
即为K时刻的最优值；
5)为下一步估计k+1时刻的最优值的迭代进行更新操作，即更新Pk值。
通过卡尔曼滤波，可以得到像素点的最优位移矢量，并将更新后的像素点坐标作为下一帧图像中的初始坐标。
应理解，以上实施例是用于说明本发明而不限于本发明的范围。实例中采用的实施条件可以根据具体条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

Claims (4)

1.一种基于车辆环视图的快速运动物体检测方法，其特征在于，其主要包括以下步骤：
1)在车体的前后左右四个方位分别安装一个高清鱼眼相机，采集四个方向实时场景视频流；利用车载鱼眼相机得到的实时场景视频流和图像拼接算法得到车辆环视图像序列，并存于车载电子控制单元的缓存区中，所述车辆环视图像序列是指对每一时刻四个鱼眼相机同时采集到的图像进行拼接；
2)将图像序列中连续两帧图像分别设为参考帧和当前帧，采用光流法计算出参考帧中像素点的运动矢量，所述光流法为Horn-Schunck光流法，求得的为稠密光流，对每一个像素计算光流值；假设ui,j与vi,j分别表示图像像素点(i,j)处的水平方向光流值与垂直方向光流值，则迭代方程为：
Figure FDA0003192263970000011
其中k为迭代次数，λ反映了对图像数据及平滑约束的可信度，当图像数据本身含有较大噪声时，此时需要加大λ的值，相反，当输入图像含有较少的噪声时，此时可减小λ的值；
Figure FDA0003192263970000012
代表u邻域与v邻域的平均值，采用相应四邻域内的均值，计算公式如下：
Figure FDA0003192263970000013
Ix，Iy分别是图像对x，y的偏导数，It是两帧图像间对时间的导数，其中：
Ix＝I(x,y,t)-I(x-1,y,t)
Iy＝I(x,y,t)-I(x,y-1,t)
It＝I(x,y,t)-I(x,y,t-1)
考虑相邻像素及相邻两帧图像的影响，采用四次有限差分来得到：
Figure FDA0003192263970000021
Figure FDA0003192263970000022
Figure FDA0003192263970000023
从而得到参考帧中像素点的运动矢量；
3)利用车辆的can信息建立汽车运动模型，结合参考帧和当前帧图像，计算出参考帧中像素点的位移；
所述汽车运动模型是指利用车辆运动的实时can信息中的速度，加速度，方向和转角信息，计算出两帧间隔时间内汽车的位置变化信息；假设车辆在低速转弯时，车辆前轴与后轴之间的轴距为L，最小转弯半径为R，当汽车转角为α时，可根据车长求出汽车当前的转弯半径：
Figure FDA0003192263970000024
车辆驱动轴中点为参考的运动模型，Mk、Mk+1参考点即后轴中点，分别为tk到tk+1时刻车辆运动的两个连续位置；Xk、Xk+1为后轴中点的速度方向，即车辆的纵向；车辆的初始方向角为θk；车辆初始速度为v0；瞬时加速度为a；O为车辆转弯中心；Δ为从tk到tk+1时刻，车辆所走过的距离；车辆转向圆心角为β；车辆后轮中点的转弯半径为R1，其中：
Figure FDA0003192263970000025
Δ＝R1*β
经过△t时间后，车辆的瞬时速度为vt，则：
Figure FDA0003192263970000026
初始角θk更新为：
Figure FDA0003192263970000027
将更新后的初始角代入以下公式，可以计算出再下一时刻车辆的位置坐标：
Figure FDA0003192263970000031
上述公式为车辆后轴中点在运动过程中的轨迹方程，在△t足够小的情况下，随着β、vt、θk、xk及yk的不断变化，可描述出车辆转向过程的运动轨迹；当已知车辆的初始方向角和初始坐标时，就可推导出任何时刻的车辆的坐标值，进而求得参考帧中像素点的世界坐标(Xw',Yw',Zw')；
利用鱼眼相机的内参和外参计算出参考帧中像素点(x,y)在以车中心为原点的世界坐标中的坐标(Xw,Yw,Zw)，将参考帧中像素点的世界坐标经过汽车运动模型计算，得到新的世界坐标(Xw',Yw',Zw')，随后再利用相机内外参和新坐标(Xw',Yw',Zw')计算出车移动过后的原参考帧中像素点的新坐标(x',y')，得到像素点分别在x和y方向的位移(u,v)，其中：
Figure FDA0003192263970000032
4)通过比较光流法得到的像素点运动矢量，和运动模型得到的像素点位移，识别图像中的运动目标和凸起障碍物:
设光流法求得的像素点(x,y)运动矢量为(u1,v1)，幅值为S1，方向为θ1，运动模型求得的位移矢量为(u2,v2)，幅值为S2，方向为θ2,则:
Figure FDA0003192263970000033
Figure FDA0003192263970000034
设判断阈值K和T，K<<T,前景和背景的识别准则为:
1)若|u1-u2|≤K且|v1-v2|≤K，则像素点(x,y)为背景中地面上的点，
2)若|u1-u2|>K或|v1-v2|>K，则像素点(x,y)为背景中的凸起障碍物或前景中的运动物体，
3)若像素点(x,y)为背景中的凸起障碍物或前景中的运动物体，则进行下一步判断：
ⅰ)若K<|u1-u2|≤T且K<|v1-v2|≤T，则像素点(x,y)为背景中的凸起障碍物,
ⅱ)若|u1-u2|>T或|v1-v2|>T，则像素点(x,y)为前景中的快速移动物体；
5)将光流法得到的运动矢量和运动模型得到的位移信息通过卡尔曼滤波求出像素点最优运动矢量，将结果作为新的像素点坐标，与下一帧图像进行运动矢量的计算；
卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法；以K-1时刻的最优估计xk-1为准，预测K时刻的状态变量
Figure FDA0003192263970000041
同时又对该状态进行观察，得到观测变量Zk，再在预测与观测之间进行分析，或者说是以观测量对预测量进行修正，从而得到K时刻的最优状态估计；假设后验概率分布p(xk-1|y1:k-1)为高斯分布，动态系统是线性的：
xk＝Axk-1+Buk-1+qk-1
yk＝Hxk+rk
其中xk是k时刻的系统状态，uk是k时刻对系统的控制量，A和B是系统参数，yk是k时刻的测量值，H是测量系统的参数，qk和rk分别表示系统和测量的噪声，假设系统噪声和测量噪声都是高斯分布的，协方差矩阵分别为Qk和Rk；
卡尔曼滤波器的时间更新公式为：
Figure FDA0003192263970000042
Figure FDA0003192263970000043
状态更新公式为：
Figure FDA0003192263970000044
Figure FDA0003192263970000045
Figure FDA0003192263970000046
6)通过中央控制系统进行警报处理，提醒驾驶员注意车身周围环境，避免造成人为损失。
2.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法，其特征在于：步骤(1)中车体周围安装高清鱼眼相机，前后相机安装位置分别为车体前方牌照附近区域和后方牌照附近区域，相机与水平线夹角不超过60°；左右相机分别安装于车体左右后视镜正下方，相机与水平线夹角不超过45°。
3.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法，其特征在于：步骤(1)中，所述的采集四个方向实时场景视频流是指车辆在启动时，鱼眼相机即开始采集图像，将图像序列存储于车辆电子控制单元缓存区中，采集频率为每秒30帧，覆盖时长为2秒。
4.根据权利要求1所述的一种基于车辆环视图的快速运动物体检测方法，其特征在于：步骤(1)所述通过图像拼接算法和四个方向视频流得到车辆环视图的实时视频流，是指通过计算四幅单视图像和环视图像中各个像素点在世界坐标中的位置，将单视图中像素点的值赋值于环视图中对应像素点，得到该时刻环视图像，环视图像设定显示车体前后左右5米范围；对中央控制系统缓存区中四个方向视频流每一帧对应的图像做拼接处理，得到环视图的视频流。
CN201810158356.6A 2018-02-26 2018-02-26 一种车辆周围运动物体和凸起障碍物的检测方法 Active CN108280445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810158356.6A CN108280445B (zh) 2018-02-26 2018-02-26 一种车辆周围运动物体和凸起障碍物的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810158356.6A CN108280445B (zh) 2018-02-26 2018-02-26 一种车辆周围运动物体和凸起障碍物的检测方法

Publications (2)

Publication Number Publication Date
CN108280445A CN108280445A (zh) 2018-07-13
CN108280445B true CN108280445B (zh) 2021-11-16

Family

ID=62808589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810158356.6A Active CN108280445B (zh) 2018-02-26 2018-02-26 一种车辆周围运动物体和凸起障碍物的检测方法

Country Status (1)

Country Link
CN (1) CN108280445B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743228B (zh) * 2018-12-10 2023-07-14 百度在线网络技术（北京）有限公司 基于多数据融合结果的障碍物存在性检测方法和装置
CN111401114B (zh) * 2019-02-12 2023-09-19 深圳市艾为智能有限公司 一种基于受限光流场横穿物体检测装置的横穿物体检测方法
CN110135377B (zh) * 2019-05-21 2022-10-14 北京百度网讯科技有限公司 车路协同中物体运动状态检测方法、装置和服务器
CN111666891B (zh) * 2020-06-08 2023-09-26 北京百度网讯科技有限公司 用于估计障碍物运动状态的方法和装置
CN114648887A (zh) * 2022-03-24 2022-06-21 上海舟塔新材料科技有限公司 一种基于发光标线的路侧冲出物体警示方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222214A (zh) * 2011-05-09 2011-10-19 苏州易斯康信息科技有限公司 快速物体识别算法
CN101854465B (zh) * 2010-02-01 2012-06-27 杭州海康威视软件有限公司 基于光流算法的图像处理方法及装置
CN102881002A (zh) * 2012-07-11 2013-01-16 天津大学 基于运动信息和矩阵填充的视频背景恢复方法
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854465B (zh) * 2010-02-01 2012-06-27 杭州海康威视软件有限公司 基于光流算法的图像处理方法及装置
CN102222214A (zh) * 2011-05-09 2011-10-19 苏州易斯康信息科技有限公司 快速物体识别算法
CN102881002A (zh) * 2012-07-11 2013-01-16 天津大学 基于运动信息和矩阵填充的视频背景恢复方法
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN104881645A (zh) * 2015-05-26 2015-09-02 南京通用电器有限公司 基于特征点互信息量和光流法的车辆前方目标的检测方法
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于光流场的视频车辆检测与跟踪算法研究与应用;刘涛;《中国优秀硕士论文全文数据库(电子期刊)信息科技辑》;20111215(第12期);I138-1124 *
基于光流场的运动目标检测与跟踪;张岧;《信息通信/增刊》;20091231;第86-89页 *
基于帧间差分和金字塔光流法的运动目标检测;郝慧琴等;《视频应用与工程》;20161231;第40卷(第7期);第134－138页 *
基于序列图像的运动目标实时检测方法;伏思华等;《光学技术》;20040331;第30卷(第2期);第215-217、222页 *

Also Published As

Publication number Publication date
CN108280445A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280445B (zh) 一种车辆周围运动物体和凸起障碍物的检测方法
JP5421072B2 (ja) 接近物体検知システム
EP2757527B1 (en) System and method for distorted camera image correction
CN108280444B (zh) 一种基于车辆环视图的快速运动物体检测方法
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
US20120219183A1 (en) 3D Object Detecting Apparatus and 3D Object Detecting Method
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
KR20030087960A (ko) 감시장치, 감시방법 및 감시용 프로그램
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
JP2008027138A (ja) 車両用監視装置
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
KR20180019921A (ko) 탑뷰 영상 생성 장치 및 그 방법
CN109145805B (zh) 车载环境下的移动目标检测方法及系统
US20210049382A1 (en) Non-line of sight obstacle detection
JP2007280387A (ja) 物体移動の検出方法及び検出装置
CN111199177A (zh) 一种基于鱼眼图像校正的汽车后视行人检测报警方法
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP2012256159A (ja) 接近物検知装置および接近物検知方法
CN113170057B (zh) 摄像部控制装置
JP6949090B2 (ja) 障害物検知装置及び障害物検知方法
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220815

Address after: Room 1606, Youte Headquarters Building, No. 88, Xingye Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000

Patentee after: Zhuhai Daxuan Information Technology Co., Ltd.

Address before: 225000 Management Committee of Yizheng Automobile Industrial Park, Yangzhou City, Jiangsu Province

Patentee before: JIANGSU YULAN INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right