CN109143215A - 一种基于双目视觉与v2x通信的协同预警设备与方法 - Google Patents
一种基于双目视觉与v2x通信的协同预警设备与方法 Download PDFInfo
- Publication number
- CN109143215A CN109143215A CN201810988867.0A CN201810988867A CN109143215A CN 109143215 A CN109143215 A CN 109143215A CN 201810988867 A CN201810988867 A CN 201810988867A CN 109143215 A CN109143215 A CN 109143215A
- Authority
- CN
- China
- Prior art keywords
- barrier
- vehicle
- camera
- information
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004888 barrier function Effects 0.000 claims abstract description 89
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006855 networking Effects 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 230000010267 cellular communication Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 239000011435 rock Substances 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 231100001261 hazardous Toxicity 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于双目视觉与V2X通信的协同预警方法与设备，该设备由双目摄像机、信息处理模块、V2X通信模块、高精度定位模块以及蜂窝通信模块组成。一方面是对障碍物的检测及定位与V2X信息发送：首先把双目摄像机采集的图像进行有效区域分割，检测左右视图的障碍物，通过立体匹配算法得到障碍物相对摄像机的三维坐标，同时结合高精度定位计算出障碍物的位置信息，最后把障碍物的类别及位置信息通过V2X通信模块向周围车辆广播，传到车联网云平台，并发送给地图云平台更新地图。另一方面，信息处理模块对周围车辆、车联网云平台发送的障碍物参数进行信息融合获取有效的障碍物信息，并建立障碍物与自身车辆的关联性设计预警方法辅助车辆安全驾驶。
Description
技术领域
本发明属于计算机视觉处理与V2X技术在辅助车辆安全驾驶上的应用，特别涉及一种基于双目视觉与V2X通信的协同预警方法与设备。
背景技术
在交通事故率每年不断增加的今天，增加车辆对障碍物的透视率能够有效的降低交通事故的发生率。目前车辆利用传感器对障碍物的识别仅限于自身视距范围内，在遮挡或识别误判的情况下不能准确的判断障碍物的位置信息，从而容易引发交通事故。因此，如何让车辆实时知道被遮挡或者传感器误判的障碍物信息，增加车辆对障碍物的透视率是目前亟待解决的问题。
随着目标检测算法和双目立体视觉的不断发展，已在无人驾驶领域中广泛应用，特别是对障碍物的检测和定位。双目立体视觉是机器视觉的一种重要形式，它能基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，从而准确定位障碍物。
目前基于双目摄像机的障碍物检测方法对算法要求性比较高以及对环境变化比较敏感，容易出现识别误判的情况，同时，它是基于视距范围的检测，对不是检测区域或者有遮挡的情况下很难准确定位障碍物的位置。因此，仅从双目摄像机或者其他视觉类传感器来获取障碍物信息是远远不够的。
将双目视觉和V2X技术结合起来是一种提高车辆对障碍物透视率的有效方法，它不是基于多传感器的数据融合，而是每辆车把自身检测的障碍物信息通过V2X通信向周围车辆广播，并通过无线网络传输到地图和车联网云平台，车辆收到来自周围车辆，地图和车联网云平台发送的障碍物信息再与自身传感器获取的信息进行融合，获取有效的障碍物信息，最后建立有效障碍物信息和自身车辆的关联性模型实现预警消息的发布。这种协同预警方法随着计算机视觉和V2X通信技术的发展实施简单、方便、可行性强、效率高。
发明内容
本发明旨在解决现有技术车辆自身传感器存在对障碍物识别误判以及障碍物被遮挡不能识别的缺点，特别是双目视觉物体检测和定位系统的问题。提出了一种简单、方便、可行性强、效率高的基于双目视觉与V2X通信的协同预警设备与方法。本发明的技术方案如下：
一种基于双目视觉与V2X通信的协同预警设备，其包括：车载双目摄像机、信息处理模块、V2X通信模块、高精度定位模块以及蜂窝通信模块，所述车载双目摄像机用于采集左视图和右视图并对其进行标定校正，并传输给信息处理模块；
所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割，再利用物体检测算法检测左右视图的障碍物；
所述高精度定位模块用于通过建立以车辆为中心的三维坐标系，获取车辆中心位置的GPS信息和双目摄像机相对于车辆中心的三维坐标，建立坐标映射模型得到双目摄像机的GPS信息；基于立体匹配算法对校正后左右视图的障碍物基元进行匹配，得到障碍物相对摄像机的三维坐标，同时与摄像机自身的高精度GPS也通过坐标映射模型计算出障碍物精确的GPS；
所述V2X通信模块用于把计算出来的障碍物的GPS信息及障碍物的类型、尺寸和状态信息向周围车辆广播以及通过蜂窝网络分别传输到地图云平台和车联网云平台，进行地图实时更新及障碍物信息的管理；通过数据融合算法判断对自身车辆有效的障碍物，再设计预警方法辅助车辆安全驾驶。
进一步的，所述双目摄像机由两个规格参数完全一样的摄像机组成，并按一定基线距离水平固定放置在车辆上。
进一步的，所述双目摄像机分别采集左视图和右视图并对其进行标定和校正，具体包含以下步骤：(1)将双目摄像机水平固定在车上，通过信息处理模块控制摄像机的旋转角度，摄像机之间的基线距离以及拍照像素，并使其不变；(2)利用立体标定方法对双目摄像机进行标定，计算双目摄像机的内外参数矩阵和畸变参数，其中内参数矩阵包括像素坐标中心点坐标、焦距；外参数矩阵包括旋转矩阵R和平移矩阵T，旋转矩阵描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵描述了在摄像机坐标系下空间原点的位置；畸变系数包括径向畸变和切向畸变。
进一步的，所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割具体包括：(1)首先提取出车道线或者护栏的颜色、纹理、形状特征，通过线性拟合出车道边缘的完整信息；(2)利用ROI图像切割算法把车道线以外的图像分离开，只保留车道线或者护栏内侧的区域。
一种基于所述设备的协同预警方法，包括以下步骤：
利用立体标定方法对摄像机进行标定，计算出两个摄像机的内外参数和畸变系数，根据计算出的这些参数再利用立体校正方法对两个摄像机进行消除畸变和行列对准，使左右视图的成像原点坐标一致；
基于车道边缘检测算法对图像有效区域进行分割，保留车道线以内的区域，再基于物体检测算法检测左右视图的障碍物并对其像素位置和类别进行标记；
基于物体检测算法对左右视图的障碍物进行实时检测，识别出障碍物的状态、尺寸和类别；
通过高精度定位模块获取车辆中心位置的GPS信息，建立基于车辆的三维坐标系，同时基于车辆中心位置的GPS信息和双目摄像机相对于车辆中心的三维坐标，通过坐标映射模型得到双目摄像机的GPS信息；
基于特征的立体匹配算法对校正后左右视图的障碍基元物进行匹配，得到视差图，再根据视差图计算出障碍物相对双目摄像机的三维坐标，通过上述相同的坐标映射模型得到障碍物精确的GPS信息；
然后把所述障碍物精确的GPS信息以及障碍物的状态、尺寸和类别通过V2X通信设备向周围车辆广播，增加车辆对其他障碍物的透视率。
同时，车辆通过V2C通信实时传输到地图云平台实时更新地图，以及传输到车联网云平台实现对障碍物信息的管理，再建立数据融合算法识别与判断障碍物，将这些障碍物的信息以高精地图对象或者直接广播给区域车辆的方式进行预警，辅助车辆安全驾驶。
进一步的，所述基于特征的立体匹配算法是在校正后的左右视图中找出匹配的障碍物基元，通过计算这些对应基元在左右两幅图片中的x坐标的差值计算这些对应基元的视差，最终输出一个视差图，得到视差图之后便可以使用摄像机投影模型得到障碍物相对双目摄像机的三维信息。
进一步的，所述数据融合算法是将自身摄像机检测的障碍物信息，通过V2X通信获取周围车辆检测的障碍物信息，车联网云平台发布的障碍物信息三个信息源进行融合，过滤重复的以及不符合要求的障碍物信息，从而获取有效的障碍物信息，其中，障碍物信息包含障碍物的状态、形状、类型以及位置坐标。
进一步的，所述摄像机的标定方法采用人工标定、平面棋盘标定或圆标定，原理是建立摄像机和摄像机所拍摄到三维图像之间的映射关系，通过多组测试联立方程组计算出摄像机内外参数和畸变参数，再通过这些参数得到校正映射矩阵和重投影矩阵，校正映射矩阵用于校正两个摄像机的视图，使两幅图像的对极线恰好在同一水平线上；外参数有旋转矩阵以及平移矩阵，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵P和平移矩阵T两个矩阵来描述，此处用P和T来描述左右两个摄像机坐标系的相对关系，具体为将左摄像机下的坐标转换到右摄像机下的坐标。
进一步的，所述对图像有效区域内的障碍物进行实时检测，分为障碍物像素坐标位置的检测和障碍物状态、形状及种类的检测，其中障碍物检测对象主要包括行人、危险车辆、动物、坑洼、落石。
进一步的，所述障碍物信息融合主要是判断自身双目摄像机识别的障碍物和通过V2X通信接受到周围车辆发送的障碍物信息及车联网云平台发布的障碍物信息是否一致，一致的保留，不一致的再进行融合；障碍物的关联性分析是根据自身车辆的运动信息和位置信息设计预警算法判断障碍物是否和车辆有关联以及关联程度，最后根据关联程度设定预警级别，提醒驾驶员障碍物的信息，辅助车辆安全驾驶。
本发明的优点及有益效果如下：
本发明将双目摄像机的物体检测及定位技术与V2X通信技术有效结合起来，与现有仅利用传感器进行障碍物识别的技术相比，能够大大增加车辆对障碍物的透视率。在该方法中，双目摄像机用于图像的获取并利用物体检测算法和立体视觉算法检测和定位障碍物，再根据计算的障碍物位置信息与车辆的高精度GPS建立三维映射模型，求解出障碍物精确的GPS，同时把障碍物检测的结果和位置信息发送给周围的车辆，地图云平台及车联网云平台，形成一个闭环的系统，最后通过数据融合和设计预警算法协同车辆安全驾驶。
这种方法在双目摄像机识别误判或者障碍物被遮挡的情况下仍然可以通过周围车辆广播的障碍物信息或者车联网云平台发送的障碍物信息重新获取通过传感器没有获取到的周围的障碍物信息，从而有效增加车辆对障碍物的透视率，最后再通过障碍物信息融合算法提取有效的障碍物信息，建立车辆和有效障碍物的关联性模型实现预警消息的发布，辅助驾驶员安全驾驶。
附图说明
图1是本发明提供优选实施例基于双目视觉与V2X通信的协同预警设备组成原理图；
图2是基于双目视觉与V2X通信的协同预警方法整体实现流程图；
图3是对图像有效区域分割和障碍物检测的算法流程图；
图4是极坐标(左)和直角坐标(右)的相互映射关系图；
图5是双目摄像机位置相对于车辆中心点位置的三维结构图；
图6是基于双目视觉与V2X通信的预警方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
基于双目视觉与V2X通信的协同预警方法与设备，如图1所示，设备由双目摄像机、高精度定位模块、V2X通信设备、蜂窝通信模块以及信息处理模块组成。双目摄像机由两个规格参数完全一样的摄像机组成，并按一定基线距离水平固定放置在车辆上，它用于获取图像信息给信息处理模块进行处理；高精度定位模块用于获取高精度GPS信息；V2X通信设备用于把获取到的障碍物GPS信息广播给其他车辆；蜂窝通信模块用于和地图云平台以及车联网云平台通信；信息处理模块是一个控制单元，包含对双目摄像机的标定和校正以及障碍物的检测，从高精度定位模块获取高精度GPS信息，控制V2X通信设备广播障碍物消息，障碍物的信息的融合以及预警方法的设计。
基于双目视觉与V2X通信的协同预警方法与设备，如图2所示，该协同预警方法包括以下步骤：
步骤一：把两个规格参数完全一样的摄像机按一定基线距离水平固定放置在车辆上并可以通过信息处理模块动态调整两个摄像机之间的基线距离以及摄像机的像素，利用立体标定方法对双目摄像机进行标定，计算两个摄像机的内外参数和相对位置关系，根据计算出来的这些参数利用立体校正算法分别对两个摄像机进行消除畸变和行(列)对准，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。
摄像机的标定方法可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定，原理是建立摄像机和摄像机所拍摄到三维图像之间的映射关系，通过多组测试联立方程组计算出摄像机内外参数和畸变参数。再通过这些参数得到校正映射矩阵和重投影矩阵，校正映射矩阵用于校正两个摄像机的视图，使两幅图像的对极线恰好在同一水平线上。
外参数有旋转矩阵以及平移矩阵，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵P和平移矩阵T两个矩阵来描述，此处用P和T来描述左右两个摄像机坐标系的相对关系，具体为将左摄像机下的坐标转换到右摄像机下的坐标。
假设空间中有一点P，其在世界坐标系下的坐标为PW，其左右摄像机在摄像机坐标系下的坐标可以表示为：
其中：
Pr＝RPl+T (2)
综合(5)(6)两式，可得：
其中，Rl，Tl为单目标定中左相机外参数，Rr，Tr为单目标定中左相机外参数，
两个摄像机之间的基线距离可以根据需求人为调整或者通过车载OUB设备根据需求动态调整，它是直接影响拍摄图像的范围的因素。摄像机的图像分辨率可综合设备性能调整以匹配最佳效果。
由于针孔可以透过的光线太少，成像会不清楚，所以往往都会加上凸透镜汇聚更多的光线。但是加上凸透镜以后，会导致成像畸变，所以还需要校正透镜畸变。透镜的畸变主要分为两类，一类是径向畸变，一类是切向畸变。
径向畸变会产生“鱼眼”现象。成像中心处径向畸变为0，径向畸变随着与成像中心距离增大而增大，在图像边缘处达到最大径向畸变。常常用偶次幂的泰勒公式描述径向畸变：
切向畸变由透镜和成像平面不平行引起。常用如下公式描述：
式(4)和式(5)中(x,y)为原始图像像素，(xcorrected,ycorrected)为校正畸变的图像像素。参数k1、k2、k3、p1、p2即为需要标定的参数，双目校正需要确定畸变参数和外参数。
步骤二：参照图3所示，是对图像有效区域分割和障碍物检测的算法流程图，双目摄像机获取图像之后，立即采用图像边缘检测算法检测图像中车道线以及护栏的像素位置，随后再对图像进行ROI分割，截取车道线或者护栏内侧的区域进行后继的障碍物检测。检测车道线以及护栏主要通过从图像中提取车道线以及护栏的颜色、纹理、形状特征，并对特征点进行线性或者非线性拟合。
对特征点的拟合采取在像素平面建立极坐标的方式，设特征点的坐标为(x,y)，则对应在极坐标(ρ,θ)表示为：
参照图4所示，是极坐标(左)和直角坐标(右)的相互映射关系图。
接着进一步对图像有效区域内的障碍物进行实时检测，分为障碍物像素坐标位置的检测和障碍物状态、形状及种类的检测，其中障碍物检测对象主要包括行人、危险车辆、动物、坑洼、落石。
步骤三：建立以车辆为中心的三维坐标系，通过高精度定位模块获取车辆中心的GPS信息，结合双目摄像机相对于车辆中心的三维坐标，建立坐标映射模型得到双目摄像机的GPS信息。提取步骤二中双目摄像机识别到的障碍物基元，利用立体匹配算法对两幅视图的障碍物基元进行匹配，得到视差图以获得障碍物相对双目摄像机的三维信息，建立同样的坐标映射模型求解出障碍物的精确GPS信息。
参照图5所示，点O为车辆中心的位置，P为双目摄像机的位置，双目摄像机P相对双目摄像机O的三维坐标为(x,y,z)，双目摄像机与车辆中心点正方向之间夹角为β可表示为：
假设车辆的航向角为α且和Z轴平行，则车辆中心点相对双目摄像机的方向角δ为α+β。若点O的GPS坐标为(Oj,Ow,Oh)，设点P的经纬度坐标为(Pj,Pw,Ph)，则有：
其中，R为地球平均半径，弧度C为：
通过同样的方法可求得障碍物的精确GPS信息。
步骤四：将上诉步骤三得到的障碍物GPS信息以及步骤二得到的障碍物类别通过V2X通信模块广播给其他车辆，其他车辆接受到信息之后与自身双目摄像机识别的障碍物信息进行数据融合以及关联性分析，得到有效的障碍物信息，随后进行预警处理。
参照图6所示，是基于双目视觉与V2X通信的预警方法流程图，障碍物信息融合主要是判断自身双目摄像机识别的障碍物和通过V2X通信接受到周围车辆发送的障碍物信息及车联网云平台发布的障碍物信息是否一致，一致的保留，不一致的再进行融合。障碍物的关联性分析是根据自身车辆的运动信息和位置信息设计预警算法判断障碍物是否和车辆有关联以及关联程度，最后根据关联程度设定预警级别，提醒驾驶员障碍物的信息，辅助车辆安全驾驶。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种基于双目视觉与V2X通信的协同预警设备，其特征在于，包括：车载双目摄像机、信息处理模块、V2X通信模块、高精度定位模块以及蜂窝通信模块，所述车载双目摄像机用于采集左视图和右视图并对其进行标定校正，并传输给信息处理模块；
所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割，再利用物体检测算法检测左右视图的障碍物；
所述高精度定位模块用于通过建立以车辆为中心的三维坐标系，获取车辆中心位置的GPS信息和双目摄像机相对于车辆中心的三维坐标，建立坐标映射模型得到双目摄像机的GPS信息；基于立体匹配算法对校正后左右视图的障碍物基元进行匹配，得到障碍物相对摄像机的三维坐标，同时与摄像机自身的高精度GPS也通过坐标映射模型计算出障碍物精确的GPS；
所述V2X通信模块用于把计算出来的障碍物的GPS信息及障碍物的类型、尺寸和状态信息向周围车辆广播以及通过蜂窝网络分别传输到地图云平台和车联网云平台，进行地图实时更新及障碍物信息的管理；通过数据融合算法判断对自身车辆有效的障碍物，再设计预警方法辅助车辆安全驾驶。
2.根据权利要求1所述的一种基于双目视觉与V2X通信的协同预警设备，其特征在于，所述双目摄像机由两个规格参数完全一样的摄像机组成，并按一定基线距离水平固定放置在车辆上。
3.根据权利要求2所述的一种基于双目视觉与V2X通信的协同预警设备，其特征在于，所述双目摄像机分别采集左视图和右视图并对其进行标定和校正，具体包含以下步骤：(1)将双目摄像机水平固定在车上，通过信息处理模块控制摄像机的旋转角度，摄像机之间的基线距离以及拍照像素，并使其不变；(2)利用立体标定方法对双目摄像机进行标定，计算双目摄像机的内外参数矩阵和畸变参数，其中内参数矩阵包括像素坐标中心点坐标、焦距；外参数矩阵包括旋转矩阵R和平移矩阵T，旋转矩阵描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵描述了在摄像机坐标系下空间原点的位置；畸变系数包括径向畸变和切向畸变。
4.根据权利要求1所述的一种基于双目视觉与V2X通信的协同预警设备，其特征在于，所述信息处理模块用于采用车道边缘检测算法对图像有效区域进行分割具体包括：(1)首先提取出车道线或者护栏的颜色、纹理、形状特征，通过线性拟合出车道边缘的完整信息；(2)利用ROI图像切割算法把车道线以外的图像分离开，只保留车道线或者护栏内侧的区域。
5.一种基于权利要求1-4之一所述设备的协同预警方法，包括以下步骤：
利用立体标定方法对摄像机进行标定，计算出两个摄像机的内外参数和畸变系数，根据计算出的这些参数再利用立体校正方法对两个摄像机进行消除畸变和行列对准，使左右视图的成像原点坐标一致；
基于车道边缘检测算法对图像有效区域进行分割，保留车道线以内的区域，再基于物体检测算法检测左右视图的障碍物并对其像素位置和类别进行标记；
基于物体检测算法对左右视图的障碍物进行实时检测，识别出障碍物的状态、尺寸和类别；
通过高精度定位模块获取车辆中心位置的GPS信息，建立基于车辆的三维坐标系，同时基于车辆中心位置的GPS信息和双目摄像机相对于车辆中心的三维坐标，通过坐标映射模型得到双目摄像机的GPS信息；
基于特征的立体匹配算法对校正后左右视图的障碍基元物进行匹配，得到视差图，再根据视差图计算出障碍物相对双目摄像机的三维坐标，通过上述相同的坐标映射模型得到障碍物精确的GPS信息；
然后把所述障碍物精确的GPS信息以及障碍物的状态、尺寸和类别通过V2X通信设备向周围车辆广播，增加车辆对其他障碍物的透视率；
同时，车辆通过V2C通信实时传输到地图云平台实时更新地图，以及传输到车联网云平台实现对障碍物信息的管理，再建立数据融合算法识别与判断障碍物，将这些障碍物的信息以高精地图对象或者直接广播给区域车辆的方式进行预警，辅助车辆安全驾驶。
6.根据权利要求5所述设备的协同预警方法，其特征在于，所述基于特征的立体匹配算法是在校正后的左右视图中找出匹配的障碍物基元，通过计算这些对应基元在左右两幅图片中的x坐标的差值计算这些对应基元的视差，最终输出一个视差图，得到视差图之后便可以使用摄像机投影模型得到障碍物相对双目摄像机的三维信息。
7.根据权利要求5所述设备的协同预警方法，其特征在于，所述数据融合算法是将自身摄像机检测的障碍物信息，通过V2X通信获取周围车辆检测的障碍物信息，车联网云平台发布的障碍物信息三个信息源进行融合，过滤重复的以及不符合要求的障碍物信息，从而获取有效的障碍物信息，其中，障碍物信息包含障碍物的状态、形状、类型以及位置坐标。
8.根据权利要求5所述设备的协同预警方法，其特征在于，所述摄像机的标定方法采用人工标定、平面棋盘标定或圆标定，原理是建立摄像机和摄像机所拍摄到三维图像之间的映射关系，通过多组测试联立方程组计算出摄像机内外参数和畸变参数，再通过这些参数得到校正映射矩阵和重投影矩阵，校正映射矩阵用于校正两个摄像机的视图，使两幅图像的对极线恰好在同一水平线上；外参数有旋转矩阵以及平移矩阵，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵P和平移矩阵T两个矩阵来描述，此处用P和T来描述左右两个摄像机坐标系的相对关系，具体为将左摄像机下的坐标转换到右摄像机下的坐标。
9.根据权利要求5所述设备的协同预警方法，其特征在于，所述对图像有效区域内的障碍物进行实时检测，分为障碍物像素坐标位置的检测和障碍物状态、形状及种类的检测，其中障碍物检测对象主要包括行人、危险车辆、动物、坑洼、落石。
10.根据权利要求5所述设备的协同预警方法，其特征在于，所述障碍物信息融合主要是判断自身双目摄像机识别的障碍物和通过V2X通信接受到周围车辆发送的障碍物信息及车联网云平台发布的障碍物信息是否一致，一致的保留，不一致的再进行融合；障碍物的关联性分析是根据自身车辆的运动信息和位置信息设计预警算法判断障碍物是否和车辆有关联以及关联程度，最后根据关联程度设定预警级别，提醒驾驶员障碍物的信息，辅助车辆安全驾驶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810988867.0A CN109143215A (zh) | 2018-08-28 | 2018-08-28 | 一种基于双目视觉与v2x通信的协同预警设备与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810988867.0A CN109143215A (zh) | 2018-08-28 | 2018-08-28 | 一种基于双目视觉与v2x通信的协同预警设备与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109143215A true CN109143215A (zh) | 2019-01-04 |
Family
ID=64828624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810988867.0A Pending CN109143215A (zh) | 2018-08-28 | 2018-08-28 | 一种基于双目视觉与v2x通信的协同预警设备与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109143215A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109991978A (zh) * | 2019-03-19 | 2019-07-09 | 莫日华 | 一种基于网络的智能自动驾驶的方法及装置 |
| CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
| CN110733426A (zh) * | 2019-10-28 | 2020-01-31 | 深圳市元征科技股份有限公司 | 一种视线盲区监测方法、装置、设备及介质 |
| CN110971650A (zh) * | 2019-03-25 | 2020-04-07 | 重庆长安汽车股份有限公司 | 基于v2x系统的协同感知系统、方法及车辆 |
| CN111028544A (zh) * | 2019-12-06 | 2020-04-17 | 无锡物联网创新中心有限公司 | 一种v2v技术和车载多传感器融合的行人预警系统 |
| CN111443704A (zh) * | 2019-12-19 | 2020-07-24 | 苏州智加科技有限公司 | 用于自动驾驶系统的障碍物定位方法及装置 |
| CN112991433A (zh) * | 2021-04-26 | 2021-06-18 | 吉林大学 | 基于双目深度感知和车辆位置的货车外廓尺寸测量方法 |
| CN113223311A (zh) * | 2021-03-26 | 2021-08-06 | 南京市德赛西威汽车电子有限公司 | 一种基于v2x的车辆开门防碰撞预警方法 |
| CN113256962A (zh) * | 2020-02-13 | 2021-08-13 | 宁波吉利汽车研究开发有限公司 | 一种车辆安全预警方法及系统 |
| CN113257021A (zh) * | 2020-02-13 | 2021-08-13 | 宁波吉利汽车研究开发有限公司 | 一种车辆安全预警方法及系统 |
| CN113298044A (zh) * | 2021-06-23 | 2021-08-24 | 上海西井信息科技有限公司 | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 |
| CN113763694A (zh) * | 2021-07-31 | 2021-12-07 | 重庆长安汽车股份有限公司 | 多用户协同交互式导航及应急控制系统 |
| CN113777625A (zh) * | 2021-09-08 | 2021-12-10 | 上海伯镭智能科技有限公司 | 一种智能化无人驾驶障碍类型判断方法及装置 |
| CN113793532A (zh) * | 2021-08-11 | 2021-12-14 | 岚图汽车科技有限公司 | 一种远距离障碍车道信息共享方法及系统 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114268728A (zh) * | 2022-02-28 | 2022-04-01 | 杭州速玛科技有限公司 | 一种无人作业车辆协同记录被破坏现场的方法 |
| CN114435398A (zh) * | 2022-01-26 | 2022-05-06 | 北京国家新能源汽车技术创新中心有限公司 | 基于v2x的adas在前车遮挡场景下的决策控制方法 |
| CN115195749A (zh) * | 2022-08-31 | 2022-10-18 | 中国第一汽车股份有限公司 | 车辆制动方法、装置、电子设备及存储介质 |
| CN115311850A (zh) * | 2022-07-15 | 2022-11-08 | 重庆长安汽车股份有限公司 | 一种基于众包模式的抛洒物识别与预警方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050225457A1 (en) * | 2004-04-09 | 2005-10-13 | Denso Corporation | Vehicle-to-vehicle communication device and method of controlling the same |
| US20080114531A1 (en) * | 2006-11-14 | 2008-05-15 | Denso Corporation | Communication apparatus for use in intervehicle communication system and program for same |
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN105992134A (zh) * | 2015-03-19 | 2016-10-05 | 现代自动车株式会社 | 车辆及其控制方法 |
| CN107545756A (zh) * | 2016-06-29 | 2018-01-05 | 大众汽车有限公司 | 确定协同和/或自主驾驶的共同环境信息的方法及车辆 |
| CN108322512A (zh) * | 2017-01-12 | 2018-07-24 | 通用汽车环球科技运作有限责任公司 | 用于处理车辆中的本地数据和云数据的方法和系统以及用于将云数据传输到车辆的云服务器 |
-
2018
- 2018-08-28 CN CN201810988867.0A patent/CN109143215A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050225457A1 (en) * | 2004-04-09 | 2005-10-13 | Denso Corporation | Vehicle-to-vehicle communication device and method of controlling the same |
| US20080114531A1 (en) * | 2006-11-14 | 2008-05-15 | Denso Corporation | Communication apparatus for use in intervehicle communication system and program for same |
| CN103955920A (zh) * | 2014-04-14 | 2014-07-30 | 桂林电子科技大学 | 基于三维点云分割的双目视觉障碍物检测方法 |
| CN105992134A (zh) * | 2015-03-19 | 2016-10-05 | 现代自动车株式会社 | 车辆及其控制方法 |
| CN107545756A (zh) * | 2016-06-29 | 2018-01-05 | 大众汽车有限公司 | 确定协同和/或自主驾驶的共同环境信息的方法及车辆 |
| CN108322512A (zh) * | 2017-01-12 | 2018-07-24 | 通用汽车环球科技运作有限责任公司 | 用于处理车辆中的本地数据和云数据的方法和系统以及用于将云数据传输到车辆的云服务器 |
Non-Patent Citations (2)
| Title |
|---|
| 李靖 等: "基于双目视觉的道路障碍物识别与检测方法研究", 《江苏科技信息》 * |
| 谢志萍 等: "智能网联汽车环境感知技术的发展和研究现状", 《成都工业学院学报》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109991978B (zh) * | 2019-03-19 | 2021-04-02 | 莫日华 | 一种基于网络的智能自动驾驶的方法及装置 |
| CN109991978A (zh) * | 2019-03-19 | 2019-07-09 | 莫日华 | 一种基于网络的智能自动驾驶的方法及装置 |
| CN110971650A (zh) * | 2019-03-25 | 2020-04-07 | 重庆长安汽车股份有限公司 | 基于v2x系统的协同感知系统、方法及车辆 |
| CN110971650B (zh) * | 2019-03-25 | 2022-01-11 | 重庆长安汽车股份有限公司 | 基于v2x系统的协同感知系统、方法及车辆 |
| CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
| CN110733426A (zh) * | 2019-10-28 | 2020-01-31 | 深圳市元征科技股份有限公司 | 一种视线盲区监测方法、装置、设备及介质 |
| CN111028544A (zh) * | 2019-12-06 | 2020-04-17 | 无锡物联网创新中心有限公司 | 一种v2v技术和车载多传感器融合的行人预警系统 |
| CN111443704A (zh) * | 2019-12-19 | 2020-07-24 | 苏州智加科技有限公司 | 用于自动驾驶系统的障碍物定位方法及装置 |
| CN111443704B (zh) * | 2019-12-19 | 2021-07-06 | 苏州智加科技有限公司 | 用于自动驾驶系统的障碍物定位方法及装置 |
| CN113256962A (zh) * | 2020-02-13 | 2021-08-13 | 宁波吉利汽车研究开发有限公司 | 一种车辆安全预警方法及系统 |
| CN113257021A (zh) * | 2020-02-13 | 2021-08-13 | 宁波吉利汽车研究开发有限公司 | 一种车辆安全预警方法及系统 |
| CN113223311A (zh) * | 2021-03-26 | 2021-08-06 | 南京市德赛西威汽车电子有限公司 | 一种基于v2x的车辆开门防碰撞预警方法 |
| CN112991433A (zh) * | 2021-04-26 | 2021-06-18 | 吉林大学 | 基于双目深度感知和车辆位置的货车外廓尺寸测量方法 |
| CN113298044A (zh) * | 2021-06-23 | 2021-08-24 | 上海西井信息科技有限公司 | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 |
| CN113763694A (zh) * | 2021-07-31 | 2021-12-07 | 重庆长安汽车股份有限公司 | 多用户协同交互式导航及应急控制系统 |
| CN113949998A (zh) * | 2021-07-31 | 2022-01-18 | 重庆长安汽车股份有限公司 | 一种应急信息处理控制方法 |
| CN113793532A (zh) * | 2021-08-11 | 2021-12-14 | 岚图汽车科技有限公司 | 一种远距离障碍车道信息共享方法及系统 |
| CN113777625A (zh) * | 2021-09-08 | 2021-12-10 | 上海伯镭智能科技有限公司 | 一种智能化无人驾驶障碍类型判断方法及装置 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN113989775B (zh) * | 2021-10-28 | 2022-08-05 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114435398A (zh) * | 2022-01-26 | 2022-05-06 | 北京国家新能源汽车技术创新中心有限公司 | 基于v2x的adas在前车遮挡场景下的决策控制方法 |
| WO2023142431A1 (zh) * | 2022-01-26 | 2023-08-03 | 北京国家新能源汽车技术创新中心有限公司 | 基于v2x的adas在前车遮挡场景下的决策控制方法 |
| CN114268728A (zh) * | 2022-02-28 | 2022-04-01 | 杭州速玛科技有限公司 | 一种无人作业车辆协同记录被破坏现场的方法 |
| CN114268728B (zh) * | 2022-02-28 | 2022-07-08 | 杭州速玛科技有限公司 | 一种无人作业车辆协同记录被破坏现场的方法 |
| CN115311850A (zh) * | 2022-07-15 | 2022-11-08 | 重庆长安汽车股份有限公司 | 一种基于众包模式的抛洒物识别与预警方法及系统 |
| CN115195749A (zh) * | 2022-08-31 | 2022-10-18 | 中国第一汽车股份有限公司 | 车辆制动方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109143215A (zh) | 一种基于双目视觉与v2x通信的协同预警设备与方法 | |
| US11900619B2 (en) | Intelligent vehicle trajectory measurement method based on binocular stereo vision system | |
| CN110322702B (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| CN106650708B (zh) | 一种自动驾驶障碍物视觉检测方法与系统 | |
| CN111951305B (zh) | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 | |
| CN109920246B (zh) | 一种基于v2x通信与双目视觉的协同局部路径规划方法 | |
| CN103955920B (zh) | 基于三维点云分割的双目视觉障碍物检测方法 | |
| CN102944224B (zh) | 一种无人驾驶车的自动环境感知系统的工作方法 | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| CN106019264A (zh) | 一种基于双目视觉的无人机危险车距识别系统及方法 | |
| EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
| CN108444390A (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
| US10909395B2 (en) | Object detection apparatus | |
| CN109215083A (zh) | 车载传感器的外部参数标定的方法和设备 | |
| CN109035309A (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
| CN110859044A (zh) | 自然场景中的集成传感器校准 | |
| KR101709317B1 (ko) | 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법 | |
| CN103177439A (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
| CN107703951A (zh) | 一种基于双目视觉的无人机避障方法及系统 | |
| CN103020957A (zh) | 移动机器人机载摄像机位置标定方法 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN105335699B (zh) | 读写场景中读写元素三维坐标的智能认定方法及其应用 | |
| CN113920183A (zh) | 基于单目视觉的车前障碍物测距方法 | |
| CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
| CN108205315A (zh) | 一种基于双目视觉的机器人自动导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |