CN109435852A - 一种针对大型卡车的全景式辅助驾驶系统及方法 - Google Patents

一种针对大型卡车的全景式辅助驾驶系统及方法 Download PDF

Info

Publication number
CN109435852A
CN109435852A CN201811324101.9A CN201811324101A CN109435852A CN 109435852 A CN109435852 A CN 109435852A CN 201811324101 A CN201811324101 A CN 201811324101A CN 109435852 A CN109435852 A CN 109435852A
Authority
CN
China
Prior art keywords
camera
image
truck
intelligent unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811324101.9A
Other languages
English (en)
Other versions
CN109435852B (zh
Inventor
王正家
刘文超
何涛
钱峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201811324101.9A priority Critical patent/CN109435852B/zh
Publication of CN109435852A publication Critical patent/CN109435852A/zh
Application granted granted Critical
Publication of CN109435852B publication Critical patent/CN109435852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种针对大型卡车的全景式辅助驾驶系统及方法。本发明通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的内参数和外参数，通过内参数和外参数对采集的图像进行矫正，建立采集图像与校正后图像映射模型；对采集的图像进行仿射变换，透视变换，缩放变换得到俯视图像；用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；根据局部特征点进行图像拼接融合；对拼接后全景图像进行图像处理得到预处理后全景图像；主控处理模块中根据车辆行驶状态对预处理后全景图像进行障碍物检测；主控处理模块根据车辆状态自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测结果预警。

Description

一种针对大型卡车的全景式辅助驾驶系统及方法
技术领域
本发明属于数字图像处理领域，具体涉及一种针对大型卡车的全景式辅助驾驶系统及方法。
背景技术
随着货运行业的快速发展，大型卡车的需求量越来越大，人们对卡车行驶的安全性的要求也越来越高。驾驶员在驾驶传统卡车时，一般是通过查看立柱两侧的后视镜来判断卡车周围有不有障碍物。这种靠传统后视镜辅助驾驶的方法存在许多缺点：传统后视镜无法完全覆盖卡车周围路况，也即驾驶员在驾驶时，存在视野盲区，容易引发交通事故。驾驶员在驾驶传统卡车时，需要查看的镜面过多，容易产生视觉疲劳。且紧急情况出现时，驾驶员的反应时间很慢。卡车在行驶过程中，不能根据需要去调整视野。当有障碍物靠近卡车时，由于没有障碍物识别系统，卡车驾驶员在驾驶时很难发现或者说很难及时准确的发现障碍物。
随着数字图像处理技术和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车头和车尾安装摄像头，只能覆盖车头和车尾周围有限的区域，而车辆周围以及后视镜看不到的地方的盲区无疑增加了安全驾驶的隐患。为了扩大驾驶视野，就必须采用辅助驾驶系统，使卡车周围360°的路况全部被驾驶员看到，形成全车周围的一整幅的全景图像。
目前市场上已有的实时全景图像矫正与拼接系统大多应用于家用轿车或汽车等小型车上，成像时也仅是对四路鱼眼视频进行矫正和融合拼接，覆盖范围小，无法解决大型卡车盲区问题。
专利号为CN 105946719 A的专利中，提供了一种实时显示车辆周围360°无缝拼接的全景俯视效果图像的拼接方法和系统，并且可以根据车辆的运行情况自动切换到单一画面，储存汽车前后左右摄像头采集的视频信息。这种汽车全景环视辅助安全系统，由于只采用4路鱼眼摄像头，视野覆盖范围有限，无法解决大型卡车在转弯时牵引处车身侧的动态盲区，且也没有障碍物检测系统，无法实时的检测出卡车周围的障碍物，因此该方法及系统应用于大型卡车上，对驾驶的安全性的提高，程度有限。
专利号为CN 104670089 A的专利中，提供了一种运用6路超广角高清晰摄像头含有视频采集装置，障碍物探测装置，以及报警装置的全景式行车监视报警系统。该系统可以覆盖车辆的周围环境，也可以检测车辆周围的障碍物，并且向司机提供预警信息。但是其采用的摄像头非鱼眼摄像头，所以无法覆盖大型卡车在不同路况运行时，卡车周围的全部区域。并且其探测障碍物的装置为雷达，相较于视觉测障，成本相对较高、不够直观，预警信息也不够丰富，同样的它只适用于小型汽车或轿车等交通工具上。
综上所述，目前所发明的专利都存在问题为：未能完全解决卡车行驶过程中的盲区问题；都只是全景显示卡车周围的路况，没有进一步的通过视觉检测卡车周围的障碍物，实时的给驾驶员提供预警信息。
发明内容
为了解决上述技术问题，本发明提出了一种针对大型卡车的全景式辅助驾驶系统及方法。
本发明系统的技术方案为一种针对大型卡车的全景式辅助驾驶系统，其特征在于，包括：第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；
所述第一摄像头与所述第一摄像处理智能单元连接；所述第二摄像头与所述第二摄像处理智能单元连接；所述第三摄像头与所述第三摄像处理智能单元连接；所述第四摄像头与所述第四摄像处理智能单元连接；所述第五摄像头与所述第五摄像处理智能单元连接；所述第六摄像头与所述第六摄像处理智能单元连接；所述交换机分别与所述的第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元通过网线依次连接；所述交换机与所述主控处理模块连接；所述主控处理模块与所述预警模块连接；所述主控处理模块与所述显示屏连接；所述主控处理模块与所述车辆接口模块连接；所述电源模块分别与所述的第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块连接；
所述第一摄像头至所述第六摄像头均为鱼眼摄像头对卡车周围360°视野进行实时图像采集，并分别传输至第一摄像处理智能单元至第六摄像处理智能单元；所述第一摄像头安装在卡车车头标志处，用于采集卡车前方的路况信息；所述第二摄像头安装在卡车尾部中心处，用于采集卡车尾部路况信息；所述第三摄像头安装在卡车左侧后视镜的下方，用于采集车头左侧的路况信息；所述第四摄像头安装在卡车右侧后视镜的下方，用于采集车头右侧的路况信息；所述第五摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身左侧的路况信息；所述第六摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身右侧的路况信息；在所述第一摄像处理智能单元至所述第六摄像处理智能单元中，结合预先标定的所述第一摄像头至所述第六摄像头参数对采集的畸变图像进行矫正，再通过投影变换技术将采集的六路图像转换成俯视视角的图像，并将俯视视角的图像高速传给所述主控处理模块，所述主控处理模块对俯视视角的图像进行解码、融合拼接、亮度校正处理，将处理后全景图像用于行人、车辆障碍物检测；若在全景图像中检测出有障碍物，则在显示屏中用边界框将障碍物框出来，并通过预警模块发出报警响声，提醒驾驶员安全驾驶；卡车会根据运行情况，结合方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面；所述车辆模块用于获取车辆状态；电源模块用于系统供电。
作为优选，所述第一摄像头安装在卡车车头标志处，所述第二摄像头安装在卡车尾部中心处，所述第三摄像头安装在卡车左侧后视镜的下方，所述第四摄像头安装在卡车右侧后视镜的下方，所述第五摄像头安装在车头与车身牵引处车身顶部左侧，所述第六摄像头安装在车头与车身牵引处车身顶部右侧。
本发明方法的技术方案为一种针对大型卡车的全景式辅助驾驶方法，具体步骤如下：
步骤1：通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的内参数和外参数，通过内参数和外参数对第一摄像头至第六摄像头采集的图像进行矫正，建立采集图像与校正后图像映射模型；
步骤2：对采集的第一摄像头至第六摄像头鱼眼图像进行仿射变换，透视变换，缩放变换得到俯视图像；
步骤3：用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；
步骤4：根据局部特征点进行图像拼接融合；
步骤5：对拼接后全景图像进行中值滤波去躁、Gamma亮度校正、自动颜色均衡算法来对颜色进行均一化处理后得到预处理后全景图像；
步骤6：在主控处理模块中，根据车辆行驶状态对预处理后全景图像进行障碍物检测；
步骤7：主控处理模块根据车辆接口模块获得车辆状态，根据车辆状态中方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测结果预警。
作为优选，步骤1中所述标定为：
将安装好的六个摄像头分别对准一个W×H的棋盘格进行拍摄，通过固定的旋转中心将棋盘格旋转一周，采集六组，每组m张棋盘格图像，所采集的图像为：
Ii,j(xi,j,yi,j)(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，Ii,j为第i个摄像头第j次采集的图像，在棋盘格整个旋转过程中，摄像头的位置和角度固定不变,Ii,j为L行N列的图像，xi,j为Ii,j的横坐标，yi,j为Ii,j的纵坐标，(xi,j,yi,j)为Ii,j的像素坐标；
步骤1中所述获取每个摄像头的内参数和外参数为：
输入Ii,j，对第一摄像头至第六摄像头进行标定，以获得每个摄像头的4个内参数，记为5个畸变系数，记为(k1,i,k2,i,p1,i,p2,i,k3,i)(i∈[1,6]),具体过程如下：
qi,j＝MiQi,j，其中
其中，为第i个摄像头的宽度方向焦距，为第i个摄像头的高度方向焦距，表示第i个摄像头的光心位置的横坐标值，表示第i个摄像头的光心位置的纵坐标值，Mi为表示第i个摄像头的相机矩阵，qi,j(xi,j,yi,j,wi,j)为像素坐标(xi,j,yi,j)的图像坐标，Qi,j点(Xi,j,Yi,j,Zi,j)为qi,j的三维空间坐标点，Xi,j为Qi,j点的横坐标，Yi,j为Qi,j点的纵坐标，Zi,j为Qi,j点的垂直坐标，wi,j＝Zi,j,点qi,j(xi,j,yi,j,wi,j)是齐次坐标形式，齐次坐标把维数为n投影空间上的点用(n+1)维向量，其额外限制是任何两点的交比不变，wi,j表示一个非零数平面；
径向畸变数学模型：
x′i,j＝xi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
y′i,j＝yi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，ri,j 2＝xi,j 2+yi,j 2，ri,j为Ii,j的畸变半径，图像边缘处的径向畸变较大，k1是第一径向形变系数，k2第二径向形变系数，k3第三径向形变系数，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；
切向畸变数学模型：
x′i,j＝xi,j+[2p1yi,j+p2(ri,j 2+2xi,j 2)]
y′i,j＝yi,j+[p1(ri,j 2+2yi,j 2)+2p2xi,j]
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
(1≤i≤6,1≤j≤L,1≤x′i,j≤U,1≤y′i,j≤V)
其中，p1为第一切向形变系数，p2为第二切向形变系数，ri,j为Ii,j的畸变半径，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；步骤1中所述采集图像与校正后图像映射模型为：
dst(x′i,j,y′i,j)＝src(a00xi,j+a01yi,j+b0,a10xi,j+a11yi,j+b1)
其中，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标，a00,a01,a10,a11为多项式系数，b0,b1为多项式常数项；
作为优选，步骤2中所述仿射变换为：
A·X′i,j+B，在效果上就等于将向量X′i,j拓展成X″i,j并且只是将X″i,j左乘T。
其中T≡[A B]，
a′00,a′01,a′10,a′11为A矩阵的元素，b′0,b′1为B矩阵的元素；
将步骤1中采集的图像进行畸变矫正后得到dst(x′i,j,y′i,j)图像，将得到的dst(x′i,j,y′i,j)图像点以的形式进行点序列仿射变换得到变换后的图像点
步骤2中所述透视变换为：
x″′i,j＝x″″i,j/w″″i,j
y″′i,j＝y″″i,j/w″″i,j
(x″i,j,y″i,j)为仿射变换后的图像坐标，也即进行透视变换的原始图像坐标，(x″′i,j,y″′i,j)为透视变化后的图像坐标；变换矩阵可以拆分为成4部分，表示线性变换，[a31 a32]用于平移，[a13 a23]T产生透视变换；
步骤2中所述缩放变换：
其中，为透视变换后的图像坐标，也即进行图像缩放的输入图像坐标，为缩放变换后的输出图像坐标即俯视图像坐标，为水平方向的缩放因子，为垂直方向的缩放因子；
作为优选，步骤3中所述用加速稳健特征配准算法对俯视图像进行图像匹配：
在获取六幅俯视图像后，通过加速稳健特征算法寻找图像中重叠部分的图像的局部特征点：
其中，
为高斯滤波后图像在各个方向的二阶导数；
作为优选，步骤4中所述根据局部特征点进行图像拼接融合：
根据步骤3中所述局部特征点的位置，找出需要匹配的图像之间的重合区域；
对重合区域进行像素级图像融合，有相同信息区域的图像进行对应像素点取像素平均值，其它非相同信息区域分别取各自的像素值，其融合公式为：
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V)
其中，P(x″″″i,j,y″″″i,j)是拼接后图像坐标为(x″″″i,j,y″″″i,j)处的像素值，P1(x″″′i,j,y″″′i,j),P2(x″″′i,j,y″″′i,j)分别指第一以及第二输入图像在(x″″′i,j,y″″′i,j)处的像素值，I1，I0,I2分别是拼接图像的第一输入图像区域，重合区域，第二输入图像区域；
通过融合拼接后得到拼接后全景图像，拼接好的全景图像为P′γ(x″″″i,j,y″″″i,j),γ表示主控单元进行第γ次拼接后得到的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。
作为优选，步骤5中所述预处理后的全景图像为P″γ(x″″″i,j,y″″″i,j)，使其与显示屏相适应，γ表示预处理后的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)
作为优选，步骤6中所述根据车辆行驶状态对预处理后全景图像进行障碍物检测为：
主控处理模块通过车辆接口模块获得车辆行驶状态；
当车辆行驶状态为车辆静止时，预处理后全景图像通过方向梯度直方图和支持向量分类器算法检测障碍物，若障碍物存在时用边界框框出障碍物；
当车辆行驶状态为车辆运动时，用深度学习的方法对障碍物进行识别；对预处理后全景图像P″γ(x″″″i,j,y″″″i,j)进行网格划分，划分为π(π≥1)个图像，分别为相应的，创建π个线程，每个线程处理一个图像块将这些图像块作为比对训练集Dn；采用无监督学习算法K-Means聚类对比对训练集Dn进行训练以获得图像特征，也即η个特征点与从ImageNet标准数据集上挑选的车辆及行人图像特征点P″′(x0,y0)，P″′(x0,y0)∈C，x0为图像特征点的横坐标值，y0为图像特征点的纵坐标值，C表示图像特征点范围,也即C＝(Bdt∪Bgt)，x0∈[0，xΔ],y0∈[0,yΔ]，xΔ为Bdt∪Bgt中最大的x值，yΔ为Bdt∪Bgt中最大的y值，当特征点重合度也即置信度confidence≥0.8时，设置相应的行人或车辆的标签，并用边界框将其框出，置信度计算公式为：
confidence＝Pr(Object)×IOU
其中，area表示计算面积，Bgt为训练的参考标准框用K-Means聚类对比对训练集Dn进行训练在获得图像特征时的预测框，Bdt为检测边界框将点和P″′(x0,y0)点完全重合的点所包含的部分全部框出的边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为边界框与物体真实区域的面积交并比，IOU最大值对应的物体即为当前检测边界框框出障碍物；
作为优选，步骤7中所述车辆状态为方向盘的转向信号和卡车的挂挡信号。
所述自动切换到单路摄像头画面或多路摄像头画面具体过程为：
当方向盘转向角度为0，且卡车挂前进挡时，显示屏显示第一摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘左右打角度超过θ和卡车挂前进档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘转向角度为0，且卡车挂后退挡时，显示屏显示第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
方向盘左右打角度超过θ和卡车挂后退档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
步骤7中所述根据障碍物检测结果预警为：
当卡车周围通过步骤6检测出有障碍物时，预警模块发出响声，提醒驾驶员安全驾驶。
本发明优点在于，能够降低算法对硬件的要求，从而减少系统搭建的成本。同时，又能够保证驾驶员在驾驶时的大视野，以及全景图像显示的实时性。
附图说明
图1：系统框图；
图2：实时全景图像成像示意图；
图3：鱼眼摄像头标定与矫正的算法流程图；
图4：投影变换算法流程图；
图5：图像融合拼接算法流程图；
图6：本发明方法流程图。
具体实施方式
为使本发明的目的、技术方案更加清楚，下面将结合本发明实施例中的附图对本发明作进一步说明，所描述的实施例仅是本发明的一部分实施例，而非全部实施例。基于本发明的实施例，本领域的技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
所述的第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头型号均采用Waveshare品牌的鱼眼摄像头-Raspberry Pi；所述的第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元型号为Raspberry Pi 3b+；所述交换机型号为普联TL-SG1008M的8口千兆交换机；所述主控处理模块型号为ARM结构的树莓派(3b+)；所述预警模块为Risym品牌的3.3V蜂鸣器；所述显示屏型号为YOELBAER/誉霸；所述车辆接口模块选型为基于J1939的重型商用车CAN接口；所述电源模块选型为RYDBATT的12V锂电池。
如图1所示，本发明系统的实施方案为一种针对大型卡车的全景式辅助驾驶系统，其特征在于，包括：第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；
所述第一摄像头与所述第一摄像处理智能单元连接；所述第二摄像头与所述第二摄像处理智能单元连接；所述第三摄像头与所述第三摄像处理智能单元连接；所述第四摄像头与所述第四摄像处理智能单元连接；所述第五摄像头与所述第五摄像处理智能单元连接；所述第六摄像头与所述第六摄像处理智能单元连接；所述交换机分别与所述的第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元通过网线依次连接；所述交换机与所述主控处理模块连接；所述主控处理模块与所述预警模块连接；所述主控处理模块与所述显示屏连接；所述主控处理模块与所述车辆接口模块连接；所述电源模块分别与所述的第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块连接；
所述第一摄像头至所述第六摄像头均为鱼眼摄像头对卡车周围360°视野进行实时图像采集，并分别传输至第一摄像处理智能单元至第六摄像处理智能单元；所述第一摄像头安装在卡车车头标志处，用于采集卡车前方的路况信息；所述第二摄像头安装在卡车尾部中心处，用于采集卡车尾部路况信息；所述第三摄像头安装在卡车左侧后视镜的下方，用于采集车头左侧的路况信息；所述第四摄像头安装在卡车右侧后视镜的下方，用于采集车头右侧的路况信息；所述第五摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身左侧的路况信息；所述第六摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身右侧的路况信息；在所述第一摄像处理智能单元至所述第六摄像处理智能单元中，结合预先标定的所述第一摄像头至所述第六摄像头参数对采集的畸变图像进行矫正，再通过投影变换技术将采集的六路图像转换成俯视视角的图像，并将俯视视角的图像高速传给所述主控处理模块，所述主控处理模块对俯视视角的图像进行解码、融合拼接、亮度校正处理，将处理后全景图像用于行人、车辆障碍物检测；若在全景图像中检测出有障碍物，则在显示屏中用边界框将障碍物框出来，并通过预警模块发出报警响声，提醒驾驶员安全驾驶；卡车会根据运行情况，结合方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面；所述车辆模块用于获取车辆状态；电源模块用于系统供电。
所述第一摄像头安装在卡车车头标志处，所述第二摄像头安装在卡车尾部中心处，所述第三摄像头安装在卡车左侧后视镜的下方，所述第四摄像头安装在卡车右侧后视镜的下方，所述第五摄像头安装在车头与车身牵引处车身顶部左侧，所述第六摄像头安装在车头与车身牵引处车身顶部右侧。
如图2所示为系统根据方向盘转向角度和卡车的挂挡信号，来决定在显示屏上显示的摄像头图像。
如图3，本发明公开了一种针对大型卡车的全景辅助驾驶系统的实时全景图像成像示意图。前表示车前摄像头采集视频显示区域，后表示车后摄像头采集视频显示区域，车头左表示车头左侧摄像头采集视频显示区域，车头右表示车头右侧摄像头采集视频显示区域，车身左表示车头与车身牵引处左侧车身顶部摄像头采集视频显示区域，车身右表示车头与车身牵引处右侧车身顶部摄像头采集视频显示区域。单摄像头或多摄像头显示画面，是根据卡车行驶时方向盘旋转角度和卡车挂挡信号来显示的。警示语显示区表示，当卡车周围有障碍物靠近时，会将障碍物的方位、类别等信息在该区域显示。
下面结合图1至图6介绍本发明的具体实施方式，包括以下步骤：
步骤1：通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的内参数和外参数，通过内参数和外参数对第一摄像头至第六摄像头采集的图像进行矫正，建立采集图像与校正后图像映射模型；
所述标定为：
将安装好的六个摄像头分别对准一个W×H的棋盘格进行拍摄，通过固定的旋转中心将棋盘格旋转一周，采集六组，每组m张棋盘格图像，所采集的图像为：
Ii,j(xi,j,yi,j)(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，Ii,j为第i个摄像头第j次采集的图像，在棋盘格整个旋转过程中，摄像头的位置和角度固定不变,Ii,j为L行N列的图像，xi,j为Ii,j的横坐标，yi,j为Ii,j的纵坐标，(xi,j,yi,j)为Ii,j的像素坐标；
步骤1中所述获取每个摄像头的内参数和外参数为：
输入Ii,j，对第一摄像头至第六摄像头进行标定，以获得每个摄像头的4个内参数，记为5个畸变系数，记为(k1,i,k2,i,p1,i,p2,i,k3,i)(i∈[1,6]),具体过程如下：
qi,j＝MiQi,j，其中
其中，为第i个摄像头的宽度方向焦距，为第i个摄像头的高度方向焦距，表示第i个摄像头的光心位置的横坐标值，表示第i个摄像头的光心位置的纵坐标值，Mi为表示第i个摄像头的相机矩阵，qi,j(xi,j,yi,j,wi,j)为像素坐标(xi,j,yi,j)的图像坐标，Qi,j点(Xi,j,Yi,j,Zi,j)为qi,j的三维空间坐标点，Xi,j为Qi,j点的横坐标，Yi,j为Qi,j点的纵坐标，Zi,j为Qi,j点的垂直坐标，wi,j＝Zi,j,点qi,j(xi,j,yi,j,wi,j)是齐次坐标形式，齐次坐标把维数为n投影空间上的点用(n+1)维向量，其额外限制是任何两点的交比不变，wi,j表示一个非零数平面；
径向畸变数学模型：
x′i,j＝xi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
y′i,j＝yi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，ri,j 2＝xi,j 2+yi,j 2，ri,j为Ii,j的畸变半径，图像边缘处的径向畸变较大，k1是第一径向形变系数，k2第二径向形变系数，k3第三径向形变系数，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；
切向畸变数学模型：
x′i,j＝xi,j+[2p1yi,j+p2(ri,j 2+2xi,j 2)]
y′i,j＝yi,j+[p1(ri,j 2+2yi,j 2)+2p2xi,j]
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
(1≤i≤6,1≤j≤L,1≤x′i,j≤U,1≤y′i,j≤V)
其中，p1为第一切向形变系数，p2为第二切向形变系数，ri,j为Ii,j的畸变半径，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；步骤1中所述采集图像与校正后图像映射模型为：
dst(x′i,j,y′i,j)＝src(a00xi,j+a01yi,j+b0,a10xi,j+a11yi,j+b1)
其中，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标，a00,a01,a10,a11为多项式系数，b0,b1为多项式常数项；
步骤2：对采集的第一摄像头至第六摄像头鱼眼图像进行仿射变换，透视变换，缩放变换得到俯视图像；
步骤2中所述仿射变换为：
A·X′i,j+B，在效果上就等于将向量X′i,j拓展成X″i,j并且只是将X″i,j左乘T。
其中T≡[A B]，
a′00,a′01,a′10,a′11为A矩阵的元素，b′0,b′1为B矩阵的元素；
将步骤1中采集的图像进行畸变矫正后得到dst(x′i,j,y′i,j)图像，将得到的dst(x′i,j,y′i,j)图像点以的形式进行点序列仿射变换得到变换后的图像点
步骤2中所述透视变换为：
x″′i,j＝x″″i,j/w″″i,j
y″′i,j＝y″″i,j/w″″i,j
(x″i,j,y″i,j)为仿射变换后的图像坐标，也即进行透视变换的原始图像坐标，(x″′i,j,y″′i,j)为透视变化后的图像坐标；变换矩阵可以拆分为成4部分，表示线性变换，[a31 a32]用于平移，[a13 a23]T产生透视变换；
步骤2中所述缩放变换：
其中，为透视变换后的图像坐标，也即进行图像缩放的输入图像坐标，为缩放变换后的输出图像坐标即俯视图像坐标，为水平方向的缩放因子，为垂直方向的缩放因子；
步骤3：用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；
步骤3中所述用加速稳健特征配准算法对俯视图像进行图像匹配：
在获取六幅俯视图像后，通过加速稳健特征算法寻找图像中重叠部分的图像的局部特征点：
其中，
为高斯滤波后图像在各个方向的二阶导数；
步骤4：根据局部特征点进行图像拼接融合；
步骤4中所述根据局部特征点进行图像拼接融合：
根据步骤3中所述局部特征点的位置，找出需要匹配的图像之间的重合区域；
对重合区域进行像素级图像融合，有相同信息区域的图像进行对应像素点取像素平均值，其它非相同信息区域分别取各自的像素值，其融合公式为：
其中，P(x″″″i,j,y″″″i,j)是拼接后图像坐标为(x″″″i,j,y″″″i,j)处的像素值，P1(x″″′i,j,y″″′i,j),P2(x″″′i,j,y″″′i,j)分别指第一以及第二输入图像在(x″″′i,j,y″″′i,j)处的像素值，I1，I0,I2分别是拼接图像的第一输入图像区域，重合区域，第二输入图像区域；
通过融合拼接后得到拼接后全景图像，拼接好的全景图像为P′γ(x″″″i,j,y″″″i,j),γ表示主控单元进行第γ次拼接后得到的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。:
步骤5：对拼接后全景图像进行中值滤波去躁、Gamma亮度校正、自动颜色均衡算法来对颜色进行均一化处理后得到预处理后全景图像；
步骤5中所述预处理后的全景图像为P″γ(x″″″i,j,y″″″i,j)，使其与显示屏相适应，γ表示预处理后的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)
步骤6：在主控处理模块中，根据车辆行驶状态对预处理后全景图像进行障碍物检测；
步骤6中所述根据车辆行驶状态对预处理后全景图像进行障碍物检测为：
主控处理模块通过车辆接口模块获得车辆行驶状态；
当车辆行驶状态为车辆静止时，预处理后全景图像通过方向梯度直方图和支持向量分类器算法检测障碍物，若障碍物存在时用边界框框出障碍物；
当车辆行驶状态为车辆运动时，用深度学习的方法对障碍物进行识别；对预处理后全景图像P″γ(x″″″i,j,y″″″i,j)进行网格划分，划分为π(π≥1)个图像，分别为相应的，创建π个线程，每个线程处理一个图像块将这些图像块作为比对训练集Dn；采用无监督学习算法K-Means聚类对比对训练集Dn进行训练以获得图像特征，也即η个特征点与从ImageNet标准数据集上挑选的车辆及行人图像特征点P″′(x0,y0)，P″′(x0,y0)∈C，x0为图像特征点的横坐标值，y0为图像特征点的纵坐标值，C表示图像特征点范围,也即C＝(Bdt∪Bgt)，x0∈[0，xΔ],y0∈[0,yΔ]，xΔ为Bdt∪Bgt中最大的x值，yΔ为Bdt∪Bgt中最大的y值，当特征点重合度也即置信度confidence≥0.8时，设置相应的行人或车辆的标签，并用边界框将其框出，置信度计算公式为：
confidence＝Pr(Object)×IOU
其中，area表示计算面积，Bgt为训练的参考标准框用K-Means聚类对比对训练集Dn进行训练在获得图像特征时的预测框，Bdt为检测边界框将点和P″′(x0,y0)点完全重合的点所包含的部分全部框出的边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为边界框与物体真实区域的面积交并比，IOU最大值对应的物体即为当前检测边界框框出障碍物；
步骤7：主控处理模块根据车辆接口模块获得车辆状态，根据车辆状态中方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测结果预警；
步骤7中所述车辆状态为方向盘的转向信号和卡车的挂挡信号；
所述自动切换到单路摄像头画面或多路摄像头画面具体过程为：
当方向盘转向角度为0，且卡车挂前进挡时，显示屏显示第一摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘左右打角度超过θ和卡车挂前进档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘转向角度为0，且卡车挂后退挡时，显示屏显示第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
方向盘左右打角度超过θ和卡车挂后退档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
步骤7中所述根据障碍物检测结果预警为：
当卡车周围通过步骤6检测出有障碍物时，预警模块发出响声，提醒驾驶员安全驾驶。
上面结合附图对本发明的实施例进行了描述，尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种针对大型卡车的全景式辅助驾驶系统，其特征在于，包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；
所述第一摄像头与所述第一摄像处理智能单元连接；所述第二摄像头与所述第二摄像处理智能单元连接；所述第三摄像头与所述第三摄像处理智能单元连接；所述第四摄像头与所述第四摄像处理智能单元连接；所述第五摄像头与所述第五摄像处理智能单元连接；所述第六摄像头与所述第六摄像处理智能单元连接；所述交换机分别与所述的第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元通过网线依次连接；所述交换机与所述主控处理模块连接；所述主控处理模块与所述预警模块连接；所述主控处理模块与所述显示屏连接；所述主控处理模块与所述车辆接口模块连接；所述电源模块分别与所述的第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块连接；
所述第一摄像头安装在卡车车头标志处，所述第二摄像头安装在卡车尾部中心处，所述第三摄像头安装在卡车左侧后视镜的下方，所述第四摄像头安装在卡车右侧后视镜的下方，所述第五摄像头安装在车头与车身牵引处车身顶部左侧，所述第六摄像头安装在车头与车身牵引处车身顶部右侧。
2.根据权利要求1所述的针对大型卡车的全景式辅助驾驶系统，其特征在于：所述第一摄像头至所述第六摄像头均为鱼眼摄像头对卡车周围360°视野进行实时图像采集，并分别传输至第一摄像处理智能单元至第六摄像处理智能单元；所述第一摄像头安装在卡车车头标志处，用于采集卡车前方的路况信息；所述第二摄像头安装在卡车尾部中心处，用于采集卡车尾部路况信息；所述第三摄像头安装在卡车左侧后视镜的下方，用于采集车头左侧的路况信息；所述第四摄像头安装在卡车右侧后视镜的下方，用于采集车头右侧的路况信息；所述第五摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身左侧的路况信息；所述第六摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身右侧的路况信息；在所述第一摄像处理智能单元至所述第六摄像处理智能单元中，结合预先标定的所述第一摄像头至所述第六摄像头参数对采集的畸变图像进行矫正，再通过投影变换技术将采集的六路图像转换成俯视视角的图像，并将俯视视角的图像高速传给所述主控处理模块，所述主控处理模块对俯视视角的图像进行解码、融合拼接、亮度校正处理，将处理后全景图像用于行人、车辆障碍物检测；若在全景图像中检测出有障碍物，则在显示屏中用边界框将障碍物框出来，并通过预警模块发出报警响声，提醒驾驶员安全驾驶；卡车会根据运行情况，结合方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面；所述车辆模块用于获取车辆状态；电源模块用于系统供电。
3.一种利用权利要求1所述的针对大型卡车的全景式辅助驾驶系统进行针对大型卡车的全景式辅助驾驶方法，其特征在于，包括以下步骤：
步骤1：通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的内参数和外参数，通过内参数和外参数对第一摄像头至第六摄像头采集的图像进行矫正，建立采集图像与校正后图像映射模型；
步骤2：对采集的第一摄像头至第六摄像头鱼眼图像进行仿射变换，透视变换，缩放变换得到俯视图像；
步骤3：用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；
步骤4：根据局部特征点进行图像拼接融合；
步骤5：对拼接后全景图像进行中值滤波去躁、Gamma亮度校正、自动颜色均衡算法来对颜色进行均一化处理后得到预处理后全景图像；
步骤6：在主控处理模块中，根据车辆行驶状态对预处理后全景图像进行障碍物检测；
步骤7：主控处理模块根据车辆接口模块获得车辆状态，根据车辆状态中方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测结果预警。
4.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤1中所述标定为：
将安装好的六个摄像头分别对准一个W×H的棋盘格进行拍摄，通过固定的旋转中心将棋盘格旋转一周，采集六组，每组m张棋盘格图像，所采集的图像为：
Ii,j(xi,j,yi,j)(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，Ii,j为第i个摄像头第j次采集的图像，在棋盘格整个旋转过程中，摄像头的位置和角度固定不变,Ii,j为L行N列的图像，xi,j为Ii,j的横坐标，yi,j为Ii,j的纵坐标，(xi,j,yi,j)为Ii,j的像素坐标；
步骤1中所述获取每个摄像头的内参数和外参数为：
输入Ii,j，对第一摄像头至第六摄像头进行标定，以获得每个摄像头的4个内参数，记为5个畸变系数，记为(k1,i,k2,i,p1,i,p2,i,k3,i)(i∈[1,6]),具体过程如下：
qi,j＝MiQi,j，其中
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V,wij>0)
其中，为第i个摄像头的宽度方向焦距，为第i个摄像头的高度方向焦距，表示第i个摄像头的光心位置的横坐标值，表示第i个摄像头的光心位置的纵坐标值，Mi为表示第i个摄像头的相机矩阵，qi,j(xi,j,yi,j,wi,j)为像素坐标(xi,j,yi,j)的图像坐标，Qi,j点(Xi,j,Yi,j,Zi,j)为qi,j的三维空间坐标点，Xi,j为Qi,j点的横坐标，Yi,j为Qi,j点的纵坐标，Zi,j为Qi,j点的垂直坐标，wi,j＝Zi,j,点qi,j(xi,j,yi,j,wi,j)是齐次坐标形式，齐次坐标把维数为n投影空间上的点用(n+1)维向量，其额外限制是任何两点的交比不变，wi,j表示一个非零数平面；
径向畸变数学模型：
x′i,j＝xi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
y′i,j＝yi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中，ri,j 2＝xi,j 2+yi,j 2，ri,j为Ii,j的畸变半径，图像边缘处的径向畸变较大，k1是第一径向形变系数，k2第二径向形变系数，k3第三径向形变系数，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；
切向畸变数学模型：
x′i,j＝xi,j+[2p1yi,j+p2(ri,j 2+2xi,j 2)]
y′i,j＝yi,j+[p1(ri,j 2+2yi,j 2)+2p2xi,j]
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
(1≤i≤6,1≤j≤L,1≤x′i,j≤U,1≤y′i,j≤V)
其中，p1为第一切向形变系数，p2为第二切向形变系数，ri,j为Ii,j的畸变半径，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标；步骤1中所述采集图像与校正后图像映射模型为：
dst(x′i,j,y′i,j)＝src(a00xi,j+a01yi,j+b0,a10xi,j+a11yi,j+b1)
其中，(xi,j,yi,j)为Ii,j的像素坐标，(x′i,j，y′i,j)是(xi,j,yi,j)校正后坐标，a00,a01,a10,a11为多项式系数，b0,b1为多项式常数项。
5.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤2中所述仿射变换为：
A·X′i,j+B，在效果上就等于将向量X′i,j拓展成X″i,j并且只是将X″i,j左乘T，其中T≡[A B],
a′00,a′01,a′10,a′11为A矩阵的元素，b′0,b′1为B矩阵的元素；
将步骤1中采集的图像进行畸变矫正后得到dst(x′i,j,y′i,j)图像，将得到的dst(x′i,j,y′i,j)图像点以的形式进行点序列仿射变换得到变换后的图像点
步骤2中所述透视变换为：
x″′i,j＝x″″i,j/w″″i,j
y″′i,j＝y″″i,j/w″″i,j
(1≤i≤6,1≤j≤L,1≤x″′i,j≤U,1≤y″′i,j≤V,w″i,j>0,w″″i,j>0)
(x″i,j,y″i,j)为仿射变换后的图像坐标，也即进行透视变换的原始图像坐标，(x″′i,j,y″′i,j)为透视变化后的图像坐标；变换矩阵可以拆分为成4部分，表示线性变换，[a31 a32]用于平移，[a13 a23]T产生透视变换；
步骤2中所述缩放变换：
(1≤i≤6,1≤j≤L,1≤x″″i,j≤U,1≤y″″i,j≤V)
其中，为透视变换后的图像坐标，也即进行图像缩放的输入图像坐标，为缩放变换后的输出图像坐标即俯视图像坐标，为水平方向的缩放因子，为垂直方向的缩放因子。
6.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤3中所述用加速稳健特征配准算法对俯视图像进行图像匹配：
在获取六幅俯视图像后，通过加速稳健特征算法寻找图像中重叠部分的图像的局部特征点：
(1≤i≤6,1≤j≤L,1≤x″″′i,j≤U,1≤y″″′i,j≤V)
其中，
为高斯滤波后图像在各个方向的二阶导数。
7.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤4中所述根据局部特征点进行图像拼接融合：
根据步骤3中所述局部特征点的位置，找出需要匹配的图像之间的重合区域；
对重合区域进行像素级图像融合，有相同信息区域的图像进行对应像素点取像素平均值，其它非相同信息区域分别取各自的像素值，其融合公式为：
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V)
其中，P(x″″″i,j,y″″″i,j)是拼接后图像坐标为(x″″″i,j,y″″″i,j)处的像素值，P1(x″″′i,j,y″″′i,j),P2(x″″′i,j,y″″′i,j)分别指第一以及第二输入图像在(x″″′i,j,y″″′i,j)处的像素值，I1，I0,I2分别是拼接图像的第一输入图像区域，重合区域，第二输入图像区域；
通过融合拼接后得到拼接后全景图像，拼接好的全景图像为P′γ(x″″″i,j,y″″″i,j),γ表示主控单元进行第γ次拼接后得到的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。
8.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤5中所述预处理后的全景图像为P″γ(x″″″i,j,y″″″i,j)，使其与显示屏相适应，γ表示预处理后的第γ幅全景图像；
(1≤i≤6,1≤j≤L,1≤x″″″i,j≤U,1≤y″″″i,j≤V，γ≥0)。
9.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤6中所述根据车辆行驶状态对预处理后全景图像进行障碍物检测为：
主控处理模块通过车辆接口模块获得车辆行驶状态；
当车辆行驶状态为车辆静止时，预处理后全景图像通过方向梯度直方图和支持向量分类器算法检测障碍物，若障碍物存在时用边界框框出障碍物；
当车辆行驶状态为车辆运动时，用深度学习的方法对障碍物进行识别；对预处理后全景图像P″γ(x″″″i,j,y″″″i,j)进行网格划分，划分为π(π≥1)个图像，分别为相应的，创建π个线程，每个线程处理一个图像块将这些图像块作为比对训练集Dn；采用无监督学习算法K-Means聚类对比对训练集Dn进行训练以获得图像特征，也即η个特征点与从ImageNet标准数据集上挑选的车辆及行人图像特征点P″′(x0,y0)，P″′(x0,y0)∈C，x0为图像特征点的横坐标值，y0为图像特征点的纵坐标值，C表示图像特征点范围,也即C＝(Bdt∪Bgt)，x0∈[0，xΔ],y0∈[0,yΔ]，xΔ为Bdt∪Bgt中最大的x值，yΔ为Bdt∪Bgt中最大的y值，当特征点重合度也即置信度confidence≥0.8时，设置相应的行人或车辆的标签，并用边界框将其框出，置信度计算公式为：
confidence＝Pr(Object)×IOU
其中，area表示计算面积，Bgt为训练的参考标准框用K-Means聚类对比对训练集Dn进行训练在获得图像特征时的预测框，Bdt为检测边界框将点和P″′(x0,y0)点完全重合的点所包含的部分全部框出的边界框，Pr(Object)为边界框包含物体的概率，若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为边界框与物体真实区域的面积交并比，IOU最大值对应的物体即为当前检测边界框框出障碍物。
10.根据利用权利要求3所述的针对大型卡车的全景式辅助驾驶方法，其特征在于，步骤7中所述车辆状态为方向盘的转向信号和卡车的挂挡信号；
所述自动切换到单路摄像头画面或多路摄像头画面具体过程为：
当方向盘转向角度为0，且卡车挂前进挡时，显示屏显示第一摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘左右打角度超过θ和卡车挂前进档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
当方向盘转向角度为0，且卡车挂后退挡时，显示屏显示第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
方向盘左右打角度超过θ和卡车挂后退档时，显示屏显示第三摄像头、第四摄像头、第五摄像头、第六摄像头采集的路况信息；
步骤7中所述根据障碍物检测结果预警为：
当卡车周围通过步骤6检测出有障碍物时，预警模块发出响声，提醒驾驶员安全驾驶。
CN201811324101.9A 2018-11-08 2018-11-08 一种针对大型卡车的全景式辅助驾驶系统及方法 Active CN109435852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811324101.9A CN109435852B (zh) 2018-11-08 2018-11-08 一种针对大型卡车的全景式辅助驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811324101.9A CN109435852B (zh) 2018-11-08 2018-11-08 一种针对大型卡车的全景式辅助驾驶系统及方法

Publications (2)

Publication Number Publication Date
CN109435852A true CN109435852A (zh) 2019-03-08
CN109435852B CN109435852B (zh) 2021-11-02

Family

ID=65551922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811324101.9A Active CN109435852B (zh) 2018-11-08 2018-11-08 一种针对大型卡车的全景式辅助驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN109435852B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901194A (zh) * 2019-03-18 2019-06-18 爱驰汽车有限公司 防碰撞的车载系统、方法、设备及存储介质
CN110228416A (zh) * 2019-06-24 2019-09-13 合肥工业大学 一种基于驾驶员转弯视觉盲区检测的预警系统及其方法
CN110276716A (zh) * 2019-06-19 2019-09-24 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
CN110620874A (zh) * 2019-09-24 2019-12-27 北京智行者科技有限公司 一种用于平行驾驶的图像处理方法
CN110626269A (zh) * 2019-10-16 2019-12-31 湖北工业大学 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
CN110705359A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种车位检测方法
CN110708460A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种自动泊车系统图像获取方法
CN110740297A (zh) * 2019-10-25 2020-01-31 浙江工贸职业技术学院 一种自动识别的基于计算机的监控装置及监控方法
CN111010545A (zh) * 2019-12-20 2020-04-14 深圳市中天安驰有限责任公司 车辆驾驶决策方法、系统、终端及存储介质
CN111098785A (zh) * 2019-12-20 2020-05-05 天津市航天安通电子科技有限公司 一种驾驶辅助系统、特种车辆及方法
CN111231947A (zh) * 2020-03-16 2020-06-05 东软睿驰汽车技术（沈阳）有限公司 一种商用车盲区障碍物检测方法及装置
CN111301328A (zh) * 2020-02-24 2020-06-19 南京理工大学 基于3d视觉技术的货车全景倒车影像系统及使用方法
CN111526337A (zh) * 2020-05-08 2020-08-11 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
CN111611897A (zh) * 2020-05-15 2020-09-01 航迅信息技术有限公司 一种基于相机网络的无人机侦测系统及方法
CN111756984A (zh) * 2019-03-26 2020-10-09 深圳市赛格导航科技股份有限公司 一种实现倒车实时图像半全景的图像处理方法和系统
CN111798375A (zh) * 2020-07-07 2020-10-20 三一专用汽车有限责任公司 环视图像拼接方法、系统、装置、存储介质和搅拌车
CN111845725A (zh) * 2019-04-30 2020-10-30 北京车和家信息技术有限公司 图像显示方法、装置、车辆及计算机可读存储介质
CN112009370A (zh) * 2020-09-07 2020-12-01 东风汽车集团有限公司 一种汽车转向防碰撞显示系统及显示方法
CN112277806A (zh) * 2020-11-24 2021-01-29 广州市车智连电子有限公司 全景泊车影像系统
CN113043955A (zh) * 2021-03-30 2021-06-29 恒大新能源汽车投资控股集团有限公司 路况信息显示装置、方法及车辆
CN113071412A (zh) * 2021-05-17 2021-07-06 浙江工业大学 车载红外线监测系统及方法
CN113194269A (zh) * 2021-03-26 2021-07-30 深圳市广和通无线股份有限公司 图像输出系统和方法
CN113191974A (zh) * 2021-04-29 2021-07-30 青岛科技大学 一种基于机器视觉获取船舶全景影像的方法及系统
CN113569630A (zh) * 2021-06-16 2021-10-29 东风汽车集团股份有限公司 一种电子后视镜图像处理方法及装置
CN113581194A (zh) * 2021-08-06 2021-11-02 武汉极目智能技术有限公司 基于车载视觉检测的自动预警交互系统及方法
CN113891048A (zh) * 2021-10-28 2022-01-04 江苏濠汉信息技术有限公司 一种轨道机车超视距影像图传系统
CN113978365A (zh) * 2021-10-28 2022-01-28 河北雄安五维智联科技有限公司 全向adas+360°全景融合辅助驾驶系统及方法
WO2022057077A1 (zh) * 2020-09-15 2022-03-24 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法
CN114283177A (zh) * 2020-09-27 2022-04-05 北京猎户星空科技有限公司 图像配准方法、装置、电子设备和可读存储介质
CN114537281A (zh) * 2022-03-04 2022-05-27 杭州海康威视数字技术股份有限公司 车辆内轮盲区可视化方法、装置、系统、电子设备及介质
CN114590202A (zh) * 2022-03-30 2022-06-07 润芯微科技(江苏)有限公司 一种汽车a柱可视化外部的系统、方法及汽车a柱
CN114937090A (zh) * 2022-04-29 2022-08-23 惠州市德赛西威智能交通技术研究院有限公司 一种智能电子前后视镜系统
CN115187529A (zh) * 2022-06-24 2022-10-14 长春理工大学 一种使用连续全景图像测量车辆转向角度的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0477986A2 (en) * 1990-09-28 1992-04-01 Isuzu Motors Limited Image detection system for a car
US6919917B1 (en) * 1999-10-02 2005-07-19 Robert Bosch Gmbh Device for monitoring the environment of a vehicle being parked
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
CN104021388A (zh) * 2014-05-14 2014-09-03 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
CN104786934A (zh) * 2015-03-18 2015-07-22 绵阳奥利斯机电科技有限公司 一种车辆行驶数据管理系统及实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0477986A2 (en) * 1990-09-28 1992-04-01 Isuzu Motors Limited Image detection system for a car
US6919917B1 (en) * 1999-10-02 2005-07-19 Robert Bosch Gmbh Device for monitoring the environment of a vehicle being parked
CN102812704A (zh) * 2010-03-26 2012-12-05 爱信精机株式会社 车辆周边监视装置
CN104021388A (zh) * 2014-05-14 2014-09-03 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
CN104786934A (zh) * 2015-03-18 2015-07-22 绵阳奥利斯机电科技有限公司 一种车辆行驶数据管理系统及实现方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901194A (zh) * 2019-03-18 2019-06-18 爱驰汽车有限公司 防碰撞的车载系统、方法、设备及存储介质
CN111756984A (zh) * 2019-03-26 2020-10-09 深圳市赛格导航科技股份有限公司 一种实现倒车实时图像半全景的图像处理方法和系统
CN111845725A (zh) * 2019-04-30 2020-10-30 北京车和家信息技术有限公司 图像显示方法、装置、车辆及计算机可读存储介质
CN110276716A (zh) * 2019-06-19 2019-09-24 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
CN110276716B (zh) * 2019-06-19 2023-06-20 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
CN110228416A (zh) * 2019-06-24 2019-09-13 合肥工业大学 一种基于驾驶员转弯视觉盲区检测的预警系统及其方法
CN110705359B (zh) * 2019-09-05 2023-03-03 北京智行者科技股份有限公司 一种车位检测方法
CN110705359A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种车位检测方法
CN110708460A (zh) * 2019-09-05 2020-01-17 北京智行者科技有限公司 一种自动泊车系统图像获取方法
CN110620874A (zh) * 2019-09-24 2019-12-27 北京智行者科技有限公司 一种用于平行驾驶的图像处理方法
CN110626269A (zh) * 2019-10-16 2019-12-31 湖北工业大学 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
CN110740297A (zh) * 2019-10-25 2020-01-31 浙江工贸职业技术学院 一种自动识别的基于计算机的监控装置及监控方法
CN111098785A (zh) * 2019-12-20 2020-05-05 天津市航天安通电子科技有限公司 一种驾驶辅助系统、特种车辆及方法
CN111010545A (zh) * 2019-12-20 2020-04-14 深圳市中天安驰有限责任公司 车辆驾驶决策方法、系统、终端及存储介质
CN111301328A (zh) * 2020-02-24 2020-06-19 南京理工大学 基于3d视觉技术的货车全景倒车影像系统及使用方法
CN111231947A (zh) * 2020-03-16 2020-06-05 东软睿驰汽车技术（沈阳）有限公司 一种商用车盲区障碍物检测方法及装置
CN111526337A (zh) * 2020-05-08 2020-08-11 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
CN111526337B (zh) * 2020-05-08 2021-12-17 三一重机有限公司 一种工程机械的预警系统、预警方法及工程机械
CN111611897A (zh) * 2020-05-15 2020-09-01 航迅信息技术有限公司 一种基于相机网络的无人机侦测系统及方法
CN111798375A (zh) * 2020-07-07 2020-10-20 三一专用汽车有限责任公司 环视图像拼接方法、系统、装置、存储介质和搅拌车
CN112009370A (zh) * 2020-09-07 2020-12-01 东风汽车集团有限公司 一种汽车转向防碰撞显示系统及显示方法
WO2022057077A1 (zh) * 2020-09-15 2022-03-24 徐工集团工程机械股份有限公司道路机械分公司 铰接式工程机械、全景环视系统及其标定方法
CN114283177A (zh) * 2020-09-27 2022-04-05 北京猎户星空科技有限公司 图像配准方法、装置、电子设备和可读存储介质
CN112277806A (zh) * 2020-11-24 2021-01-29 广州市车智连电子有限公司 全景泊车影像系统
CN113194269B (zh) * 2021-03-26 2022-11-15 深圳市广和通无线股份有限公司 图像输出系统和方法
CN113194269A (zh) * 2021-03-26 2021-07-30 深圳市广和通无线股份有限公司 图像输出系统和方法
CN113043955A (zh) * 2021-03-30 2021-06-29 恒大新能源汽车投资控股集团有限公司 路况信息显示装置、方法及车辆
CN113191974A (zh) * 2021-04-29 2021-07-30 青岛科技大学 一种基于机器视觉获取船舶全景影像的方法及系统
CN113071412A (zh) * 2021-05-17 2021-07-06 浙江工业大学 车载红外线监测系统及方法
CN113569630A (zh) * 2021-06-16 2021-10-29 东风汽车集团股份有限公司 一种电子后视镜图像处理方法及装置
CN113581194A (zh) * 2021-08-06 2021-11-02 武汉极目智能技术有限公司 基于车载视觉检测的自动预警交互系统及方法
CN113891048A (zh) * 2021-10-28 2022-01-04 江苏濠汉信息技术有限公司 一种轨道机车超视距影像图传系统
CN113978365A (zh) * 2021-10-28 2022-01-28 河北雄安五维智联科技有限公司 全向adas+360°全景融合辅助驾驶系统及方法
CN114537281A (zh) * 2022-03-04 2022-05-27 杭州海康威视数字技术股份有限公司 车辆内轮盲区可视化方法、装置、系统、电子设备及介质
CN114590202A (zh) * 2022-03-30 2022-06-07 润芯微科技(江苏)有限公司 一种汽车a柱可视化外部的系统、方法及汽车a柱
CN114937090A (zh) * 2022-04-29 2022-08-23 惠州市德赛西威智能交通技术研究院有限公司 一种智能电子前后视镜系统
CN115187529A (zh) * 2022-06-24 2022-10-14 长春理工大学 一种使用连续全景图像测量车辆转向角度的方法及系统

Also Published As

Publication number Publication date
CN109435852B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN108263283B (zh) 多编组变角度车辆全景环视系统标定及拼接方法
CN110381255B (zh) 应用360全景环视技术的车载视频监控系统及方法
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
US11912199B2 (en) Trailer hitching assist system with trailer coupler detection
CN101442618A (zh) 用于车辆辅助驾驶的360度环形视频合成方法
US10005473B2 (en) Stereo camera, vehicle driving auxiliary device having same, and vehicle
CN109429039A (zh) 一种多编组铰接车辆周界视频全景显示系统及方法
CN110363085B (zh) 一种基于铰接角补偿的重型铰接车环视实现方法
CN112224132A (zh) 一种车用全景环视障碍物预警方法
CN105313773A (zh) 高清全景泊车及辅助驾驶系统
CN212305474U (zh) 一种大型车辆全景影像拼接系统及汽车
CN110626269A (zh) 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
CN106855999A (zh) 汽车环视图像的生成方法及装置
CN113525234A (zh) 一种辅助驾驶系统装置
CN113320474A (zh) 基于全景图像及人机交互的自动泊车方法及装置
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN114937090A (zh) 一种智能电子前后视镜系统
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
CN107933427A (zh) 一种嵌入式大型车辆泊车辅助系统
CN111626227B (zh) 一种基于双目视觉车底透视全景系统的实现方法
CN104590115A (zh) 行车安全辅助系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant