CN107392092B - 一种基于v2v的智能车辆前方道路环境透视感知方法 - Google Patents
一种基于v2v的智能车辆前方道路环境透视感知方法 Download PDFInfo
- Publication number
- CN107392092B CN107392092B CN201710444622.7A CN201710444622A CN107392092B CN 107392092 B CN107392092 B CN 107392092B CN 201710444622 A CN201710444622 A CN 201710444622A CN 107392092 B CN107392092 B CN 107392092B
- Authority
- CN
- China
- Prior art keywords
- rear car
- front truck
- video image
- parameter
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000001360 synchronised effect Effects 0.000 claims abstract 2
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000001953 sensory effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于V2V的智能车辆前方道路环境透视感知方法，包括以下步骤：获得道路上行驶的前车和后车，前车和后车通过合作通信协议建立连接；后车获得前车的前方视频数据，建立前车视频图像；后车对道路目标进行实时检测，获得检测到的道路目标的定位参数；后车利用时间标签根据后车的前方视频数据建立后车视频图像，并同步前车视频图像和后车视频图像；后车采用SIFT算法提取前车视频图像和后车视频图像中的SIFT特征点，获得匹配点；建立3D透视模型；对匹配点进行优化筛选；计算仿射变换参数；后车将前车视频图像中的道路目标融合到后车视频图像中，获得后车对前方道路的透视感知图像。本发明能够有效增强车辆道路环境的感知能力。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种基于V2V(Vehicle-to-vehicle，汽车-汽车)的智能车辆前方道路环境透视感知方法。
背景技术
近年来，随着车辆拥有量的逐年增加，交通事故率也逐年上升。根据WHO组织2016年的全球道路事故统计报告显示，大约每年有125万人死于交通事故，有2～5千万人因交通事故受伤，造成经济损失上千亿。预防和减少交通事故的发生已经成为我国乃至全世界在发展智能交通系统中的热点课题。而发展具有主动安全技术的智能车辆成为各国政府、研究机构和汽车制造商的共同目标，智能车辆主动安全技术的研究重点技术之一是道路环境感知技术。
根据美国的国家交通安全报告统计显示，交通事故中有31％来自前后车辆相撞，比如当前车突然减速或者停车时，后车驾驶员来不及反应而容易导致追尾事故，还有一种事故是当后车准备超越前车时，与从前车前方突然进入道路的车辆或者行人相撞而导致严重的交通事故。这几种前后相撞的事故都是由于后车对于前方车辆前面的道路状况无法了解所导致的，而目前智能车辆的道路感知系统都只能够感知到“可见”范围内的道路环境和道路目标，而对于被遮挡的道路目标则无法感知到。
随着车联网技术的发展，使得实现道路上行驶的车辆之间的信息和数据共享成为可能，目前国内有70％左右的车辆已经配有行车记录仪，如果基于车联网技术能够实现车辆之间的视频或者图像数据的共享则可以大大拓宽车辆对道路环境的感知能力。
发明内容
有鉴于此，本发明提供了一种能够增强车辆道路感知能力的基于V2V的智能车辆前方道路环境透视感知方法。
一种基于V2V的智能车辆前方道路环境透视感知方法，包括以下步骤：
S101，获得道路上行驶的两辆车，两辆车分为前车和后车，后车位于前车的后方，前车和后车通过合作通信协议建立连接；
S102，后车获得前车的前方视频数据，然后根据前车的前方视频数据建立前车视频图像；
S103，后车的一视频数据处理单元根据前车的前方视频数据对道路目标进行实时检测，获得检测到的道路目标的定位参数；
S104，后车利用时间标签根据后车的前方视频数据建立后车视频图像，并同步前车视频图像和后车视频图像；
S105，后车采用SIFT算法提取前车视频图像和后车视频图像中的SIFT特征点，然后利用模式匹配算法对SIFT特征点进行模式匹配，获得匹配点；
S106，后车根据匹配点建立前车视频图像和后车视频图像的3D透视模型；
S107，后车基于步骤S106中的3D透视模型，采用RANSAC算法对匹配点进行优化筛选；
S108，根据优化筛选后的匹配点计算前车视频图像和后车视频图像之间的仿射变换参数；
S109，根据仿射变换参数将前车视频图像中的道路目标融合到后车视频图像中，获得后车对前方道路的透视感知图像。
进一步地，步骤S101中，前车和后车建立连接的具体过程为：
行驶过程中的车辆通过DSRC设备周期性的向周围的车辆发送beacons信号，beacons信号包含车辆的位置信息和方向信息；
根据beacons信号判断两辆车的行进方向和距离：当前车和后车行进方向一致，并且后车与前车的距离小于30m时，装载在后车中的感知系统被激活，通过合作通信协议后车向前车发送视频请求信号，前车接收到后车的请求信号后向后车发送相机内参数据以及视频数据；
当前车和后车的距离大于30m时，后车的感知系统会自动停止，并且向前车发送停止信号，前车接收到停止信号后停止发送视频数据。
进一步地，步骤S103中，视频数据处理单元基于SSD的目标检测算法对道路目标进行实时检测，然后通过卷积神经网络实现对道路目标的识别及定位，根据需求只需检测距离小于30m的道路目标。
进一步地，步骤S105中，SIFT算法的过程为：
构建尺度空间，检测极值点，获得特征点；
对得到的特征点进行过滤，剔除不稳定的特征点同时进行精确定位；
在以特征点为中心的16邻域内提取特征描述子，获得每个特征点的SIFT特征。
进一步地，步骤S105中，采用模式匹配算法对SIFT特征点进行模式匹配的过程为：两两计算前车视频图像和后车视频图像中的SIFT特征点之间的相似性，利用相似性获得匹配点；所述相似性通过计算两个SIFT特征点之间的欧式距离获得，判断SIFT特征点的最佳匹配SIFT特征点的公式为：
式中，fa和fb分别表示两个SIFT特征点在特征图上的特征点函数，dis(fa,fb)表示两个SIFT特征点之间的欧式距离，函数max(dis(fa,fb))表示欧式距离的最大值，函数maxsec(dis(fa,fb))表示欧式距离的次大值。
进一步地，步骤S106中，建立前车视频图像和后车视频图像的3D透视模型的过程为：
计算对极几何的基本矩阵F，基本矩阵F的计算公式为：
paFpb＝0
式中，F为对极几何的基本矩阵，pa为后车中的SIFT特征点，pb为前车中与pa最佳匹配的SIFT特征点；
利用5点算法或8点算法计算前车和后车的相机之间的旋转参数和移动参数，旋转参数和移动参数的计算公式为：
式中，R为旋转参数，T为移动参数，Ka为后车中相机的内部参数矩阵，Kb为前车中相机的内部参数矩阵；
计算前车和后车相机的光轴连线分别与前车视频图像和后车视频图像的交点。
进一步地，步骤S107中，采用RANSAC算法，随机选取n个子集合，每个子集合包括5对或8对匹配点，分别计算n个子集合的基本矩阵F，根据|paFpb|的值保留最优的匹配点。
进一步地，步骤S108中，假设前车视频图像和后车视频图像满足仿射变换，仿射变换参数的矩阵的计算公式为：
PB＝HPA
式中，PB为前车视频图像中匹配点的矩阵，PA为后车视频图像中匹配点的矩阵，H为仿射变换参数的矩阵；
将仿射变换参数的矩阵的计算公式转换为齐次坐标下的公式，齐次坐标下的公式为：
将前车视频图像和后车视频图像中的匹配点代入到齐次坐标下的公式，得到仿射变换的6个参数：a11、a12、t1、a21、a22、t2；
利用RANSAC算法获得最优的仿射变换参数，进而获得最优的仿射变换矩阵；
计算前车视频图像中检测到的道路目标的像素点在后车视频图像中的映射位置.
进一步地，步骤S109中，将前车视频图像中检测出来的道路目标经过仿射变换后的像素与后车视频图像对应位置的像素进行融合，融合度由透视参数决定，透视参数的值取1、2和3，融合的过程为：以检测到的道路目标的中心点为融合中心点，选择圆形的融合区域，从中心点往边缘点其融合的透明度由大慢慢变小，使得融合的图像与原图像光滑的融合。
本发明提供的技术方案带来的有益效果是：本发明能够实现车辆对前方不可见道路目标的透视感知，同时将检测的道路目标标定出来，使得智能车辆不但能够感知到前方道路上的可见目标，还可以通过透视投影技术感知到不可见的潜在危险道路目标，大大提高了智能车辆安全驾驶能力，具有广阔的应用场景。
附图说明
图1是本发明一种基于V2V的智能车辆前方道路环境透视感知方法的示意图。
图2是本发明一种基于V2V的智能车辆前方道路环境透视感知方法中两辆车辆建立连接的示意图。
图3是本发明一实施例中前方视频图像和后方视频图像的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
参考图1，本发明的实施例提供了一种基于V2V的智能车辆前方道路环境透视感知方法，包括以下步骤：
S101，获得道路上行驶过程中相近的两辆车，两辆车分为前车和后车，后车位于前车的后方，前车和后车通过合作通信协议建立连接。
参考图2，前车和后车通过合作通信协议建立连接的具体过程为：
行驶过程中的车辆通过DSRC(Dedicated Short Range Communications，专用短程通信技术)设备周期性的向周围的车辆发送beacons信号，beacons信号包含车辆的位置信息和方向信息；
根据beacons信号判断两辆车的行进方向和距离：当前车和后车行进方向一致，并且后车与前车的距离小于30m时，装载在后车中的感知系统被激活，通过合作通信协议后车向前车发送视频请求信号，前车接收到后车的请求信号后向后车发送相机内参数据以及视频数据；
当前车和后车的距离大于30m时，后车的感知系统会自动停止，并且向前车发送停止信号，前车接收到停止信号后停止发送视频数据。
S102，后车获得前车的前方视频数据，然后根据前车的前方视频数据建立前车视频图像，在有的实施例中，前车视频图像为300帧图像。
S103，后车的一视频数据处理单元根据前车的前方视频数据对道路目标进行实时检测，获得检测到的道路目标的定位参数。
具体地，步骤S103中，视频数据处理单元基于SSD(Single Shot MultiBoxDetector)的目标检测算法对道路目标进行实时检测，然后通过卷积神经网络(CNN)实现对道路目标的识别及定位，根据需求只需检测距离小于30m的道路目标，SSD的目标检测算法能够准确且高速的检测到目标。
S104，后车利用时间标签根据后车的前方视频数据建立后车视频图像，并同步前车视频图像和后车视频图像。
S105，后车采用SIFT(Scale-invariant feature transform,尺度不变特征变换)算法提取前车视频图像和后车视频图像中的SIFT特征点，然后利用模式匹配算法对SIFT特征点进行模式匹配，获得匹配点；前车视频图像和后车视频图像之间相互匹配的SIFT特征点为匹配点。
具体地，步骤S105中，SIFT算法的过程为：
5.1构建尺度空间，检测极值点，获得特征点；
5.2对得到的特征点进行过滤，特征点具有对光照、视角、尺度及变形的不变性，剔除不稳定的特征点同时进行精确定位；
5.3在以特征点为中心的16邻域内提取特征描述子，获得每个特征点的SIFT特征。
采用模式匹配算法对SIFT特征点进行模式匹配的过程为：两两计算前车视频图像和后车视频图像中的SIFT特征点之间的相似性，利用相似性获得匹配点；
相似性通过计算两个SIFT特征点之间的欧式距离获得，判断后车中的SIFT特征点pa在前车中的最佳匹配SIFT特征点pb的公式为：
式中，fa和fb分别表示SIFT特征点pa和pb在特征图上的特征点函数，dis(fa,fb)表示SIFT特征点pa和pb之间的欧式距离，函数max(dis(fa,fb))表示欧式距离的最大值，函数maxsec(dis(fa,fb))表示欧式距离的次大值。
一实施例中，模式匹配算法采用brute-force算法。
S106，后车根据匹配点建立前车视频图像和后车视频图像的3D透视模型；
当前车和后车中的相机轴心不重合时，前车视频图像和后车视频图像满足两视图对极几何关系，两视图对极几何关系为两幅视图之间内在的射影几何关系，满足两视图对极几何关系则一幅视图中的点对应另一幅视图中对应点所在的对极线。
具体地，步骤S106中，建立前车视频图像和后车视频图像的3D透视模型的过程为：
6.1计算对极几何的基本矩阵F，基本矩阵F的计算公式为：
paFpb＝0
式中，F为对极几何的基本矩阵，pa为后车中的SIFT特征点，pb为前车中与pa最佳匹配的SIFT特征点；
6.2计算前车和后车的相机之间的旋转参数R和移动参数T；
参考图3，旋转参数R和移动参数T的计算过程为：
设点P为实物点，则SIFT特征点pa、SIFT特征点pb分别为实物点P在后车视频图像和前车视频图像中的映射点，Oa、Ob分别表示后车和前车中相机的光轴中心点，∏a、∏b分别表示后车视频图像和前车视频图像的平面，从图3可以看出，Oa，Ob，pa和pb在同一个平面上，因此可以得到公式：
Obpb·(ObOa×Oapa)＝0，
设Ka为后车中相机的内部参数矩阵，Kb为前车中相机的内部参数矩阵，可以得到公式：
将公式代入到公式Obpb·(ObOa×Oapa)＝0中，得到旋转参数R和移动参数T的计算公式，旋转参数R和移动参数T的计算公式为：
利用5点算法或8点算法根据旋转参数R和移动参数T的计算公式计算得到前车和后车的相机之间的旋转参数R和移动参数T；
6.3计算前车和后车相机的光轴连线分别与前车视频图像和后车视频图像的交点eb、ea。
S107，基于步骤S106中的3D透视模型，后车采用RANSAC(Random SampleConsensus，随机抽样一致)算法对匹配点进行优化筛选；利用步骤S106中3D透视模型中的基本矩阵F及旋转参数R和移动参数T，排除获得的一些错误的匹配点，保留下最优的匹配点。
通常计算基本矩阵F只需要5对或者8对匹配点，但是采用SIFT算法获得的匹配点数量大于5或8，因此采用RANSAC算法，随机选取n个子集合，每个子集合包括5对或8对匹配点，分别计算n个子集合的基本矩阵F，理想情况下，|paFpb|的值为0，若不为0则为残差，保留残差小的匹配点集合，丢弃残差大的匹配点集合，从而实现错误匹配点的排除，保留最优的匹配点，通常n值越大越好，一实施例中取n＝300。
S108，根据步骤S107中优化筛选后的匹配点计算前车视频图像和后车视频图像之间的仿射变换参数。
具体地，步骤S108中，假设前车视频图像和后车视频图像满足仿射变换，仿射变换参数的矩阵H的计算公式为：
PB＝HPA
式中，PB为前车视频图像中匹配点的矩阵，PA为后车视频图像中匹配点的矩阵；
将仿射变换参数的矩阵H的计算公式转换为齐次坐标下的公式，齐次坐标下的公式为：
将前车视频图像和后车视频图像中的匹配点代入到齐次坐标下的公式，得到仿射变换的6个参数：a11、a12、t1、a21、a22、t2；
利用RANSAC算法获得最优的仿射变换参数，进而获得最优的仿射变换矩阵；
计算前车视频图像中检测到的道路目标的像素点在后车视频图像中的映射位。
S109，根据步骤S108中得到的仿射变换参数将前车视频图像中的道路目标融合到后车视频图像中，获得后车对前方道路的透视感知图像。
具体地，步骤S109中，将前车视频图像中检测出来的道路目标经过仿射变换后的像素与后车视频图像对应位置的像素进行融合，融合度由透视参数决定，透视参数的值取1、2和3，融合的过程为：以检测到的道路目标的中心点为融合中心点，选择圆形的融合区域，从中心点往边缘点其融合的透明度由大慢慢变小，使得融合的图像与原图像光滑的融合，融合之后，驾驶员在看到前车的同时也能够通过透视功能看到前车前方的道路目标。
本发明能够实现车辆对前方不可见道路目标的透视感知，同时将检测的道路目标标定出来，使得智能车辆不但能够感知到前方道路上的可见目标，还可以通过透视投影技术感知到不可见的潜在危险道路目标，大大提高了智能车辆安全驾驶能力，具有广阔的应用场景。
在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，包括以下步骤：
S101，获得道路上行驶的两辆车，两辆车分为前车和后车，后车位于前车的后方，前车和后车通过合作通信协议建立连接；
S102，后车获得前车的前方视频数据，然后根据前车的前方视频数据建立前车视频图像；
S103，后车的一视频数据处理单元根据前车的前方视频数据对道路目标进行实时检测，获得检测到的道路目标的定位参数；
S104，后车利用时间标签根据后车的前方视频数据建立后车视频图像，并同步前车视频图像和后车视频图像；
S105，后车采用SIFT算法提取前车视频图像和后车视频图像中的SIFT特征点，然后利用模式匹配算法对SIFT特征点进行模式匹配，获得匹配点；其中，SIFT算法的过程为：
构建尺度空间，检测极值点，获得特征点；
对得到的特征点进行过滤，剔除不稳定的特征点同时进行精确定位；
在以特征点为中心的16邻域内提取特征描述子，获得每个特征点的SIFT特征；
采用模式匹配算法对SIFT特征点进行模式匹配的过程为：两两计算前车视频图像和后车视频图像中的SIFT特征点之间的相似性，利用相似性获得匹配点；所述相似性通过计算两个SIFT特征点之间的欧式距离获得，判断SIFT特征点的最佳匹配SIFT特征点的公式为：
式中，fa和fb分别表示两个SIFT特征点在特征图上的特征点函数，dis(fa,fb)表示两个SIFT特征点之间的欧式距离，函数max(dis(fa,fb))表示欧式距离的最大值，函数maxsec(dis(fa,fb))表示欧式距离的次大值；
S106，后车根据匹配点建立前车视频图像和后车视频图像的3D透视模型；
S107，后车基于步骤S106中的3D透视模型，采用RANSAC算法对匹配点进行优化筛选；
S108，根据优化筛选后的匹配点计算前车视频图像和后车视频图像之间的仿射变换参数；
S109，根据仿射变换参数将前车视频图像中的道路目标融合到后车视频图像中，获得后车对前方道路的透视感知图像。
2.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S101中，前车和后车建立连接的具体过程为：
行驶过程中的车辆通过DSRC设备周期性的向周围的车辆发送beacons信号，beacons信号包含车辆的位置信息和方向信息；
根据beacons信号判断两辆车的行进方向和距离：当前车和后车行进方向一致，并且后车与前车的距离小于30m时，装载在后车中的感知系统被激活，通过合作通信协议后车向前车发送视频请求信号，前车接收到后车的请求信号后向后车发送相机内参数据以及视频数据；
当前车和后车的距离大于30m时，后车的感知系统会自动停止，并且向前车发送停止信号，前车接收到停止信号后停止发送视频数据。
3.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S103中，视频数据处理单元基于SSD的目标检测算法对道路目标进行实时检测，然后通过卷积神经网络实现对道路目标的识别及定位，根据需求只需检测距离小于30m的道路目标。
4.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S106中，建立前车视频图像和后车视频图像的3D透视模型的过程为：
计算对极几何的基本矩阵F，基本矩阵F的计算公式为：
paFpb＝0
式中，F为对极几何的基本矩阵，pa为后车中的SIFT特征点，pb为前车中与pa最佳匹配的SIFT特征点；
利用5点算法或8点算法计算前车和后车的相机之间的旋转参数和移动参数，旋转参数和移动参数的计算公式为：
式中，R为旋转参数，T为移动参数，Ka为后车中相机的内部参数矩阵，Kb为前车中相机的内部参数矩阵；
计算前车和后车相机的光轴连线分别与前车视频图像和后车视频图像的交点。
5.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S107中，采用RANSAC算法，随机选取n个子集合，每个子集合包括5对或8对匹配点，分别计算n个子集合的基本矩阵F，根据|paFpb|的值保留最优的匹配点。
6.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S108中，假设前车视频图像和后车视频图像满足仿射变换，仿射变换参数的矩阵的计算公式为：
PB＝HPA
式中，PB为前车视频图像中匹配点的矩阵，PA为后车视频图像中匹配点的矩阵，H为仿射变换参数的矩阵；
将仿射变换参数的矩阵的计算公式转换为齐次坐标下的公式，齐次坐标下的公式为：
将前车视频图像和后车视频图像中的匹配点代入到齐次坐标下的公式，得到仿射变换的6个参数：a11、a12、t1、a21、a22、t2；
利用RANSAC算法获得最优的仿射变换参数，进而获得最优的仿射变换矩阵；
计算前车视频图像中检测到的道路目标的像素点在后车视频图像中的映射位置。
7.如权利要求1所述的基于V2V的智能车辆前方道路环境透视感知方法，其特征在于，步骤S109中，将前车视频图像中检测出来的道路目标经过仿射变换后的像素与后车视频图像对应位置的像素进行融合，融合度由透视参数决定，透视参数的值取1、2和3，融合的过程为：以检测到的道路目标的中心点为融合中心点，选择圆形的融合区域，从中心点往边缘点其融合的透明度由大慢慢变小，使得融合的图像与原图像光滑的融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710444622.7A CN107392092B (zh) | 2017-06-13 | 2017-06-13 | 一种基于v2v的智能车辆前方道路环境透视感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710444622.7A CN107392092B (zh) | 2017-06-13 | 2017-06-13 | 一种基于v2v的智能车辆前方道路环境透视感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392092A CN107392092A (zh) | 2017-11-24 |
| CN107392092B true CN107392092B (zh) | 2019-10-18 |
Family
ID=60332292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710444622.7A Active CN107392092B (zh) | 2017-06-13 | 2017-06-13 | 一种基于v2v的智能车辆前方道路环境透视感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392092B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227707B (zh) * | 2017-12-25 | 2021-11-26 | 清华大学苏州汽车研究院（吴江） | 基于激光雷达和端到端深度学习方法的自动驾驶方法 |
| CN108399793A (zh) * | 2018-02-07 | 2018-08-14 | 长安大学 | 基于车车通信的毫米波雷达主动避障方法 |
| JP7293648B2 (ja) * | 2018-12-21 | 2023-06-20 | トヨタ自動車株式会社 | 運転支援装置、車両、運転支援システム、及び運転支援方法 |
| CN109711352A (zh) * | 2018-12-28 | 2019-05-03 | 中国地质大学（武汉） | 基于几何卷积神经网络的车辆前方道路环境透视感知方法 |
| CN109739236B (zh) * | 2019-01-04 | 2022-05-03 | 腾讯科技（深圳）有限公司 | 车辆信息的处理方法、装置、计算机可读介质及电子设备 |
| CN113129348B (zh) * | 2021-03-31 | 2022-09-30 | 中国地质大学（武汉） | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 |
| CN113065517A (zh) * | 2021-04-23 | 2021-07-02 | 上海寅家电子科技股份有限公司 | 安全避障方法、车辆及计算机存储介质 |
| CN114419605B (zh) * | 2022-03-29 | 2022-07-19 | 之江实验室 | 基于多网联车空间对齐特征融合的视觉增强方法及系统 |
| DE102023002476B3 (de) | 2023-06-20 | 2024-09-26 | Mercedes-Benz Group AG | Verfahren zum Erstellen eines Außenfotos und/oder eines Außenvideos eines Fahrzeuges |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866851A (zh) * | 2015-03-01 | 2015-08-26 | 江西科技学院 | 一种图像匹配的sift算法 |
| CN105574542A (zh) * | 2015-12-15 | 2016-05-11 | 中国北方车辆研究所 | 基于多传感器融合的多视觉特征车辆检测方法 |
| CN106314424A (zh) * | 2016-08-22 | 2017-01-11 | 乐视控股（北京）有限公司 | 基于汽车的超车辅助方法、装置及汽车 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
-
2017
- 2017-06-13 CN CN201710444622.7A patent/CN107392092B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866851A (zh) * | 2015-03-01 | 2015-08-26 | 江西科技学院 | 一种图像匹配的sift算法 |
| CN105574542A (zh) * | 2015-12-15 | 2016-05-11 | 中国北方车辆研究所 | 基于多传感器融合的多视觉特征车辆检测方法 |
| CN106314424A (zh) * | 2016-08-22 | 2017-01-11 | 乐视控股（北京）有限公司 | 基于汽车的超车辅助方法、装置及汽车 |
Non-Patent Citations (1)
| Title |
|---|
| 林克全等.基于sift、对极几何和ransac配准的图像拼接方法.《理论与算法》.2016,(第01期),第22-23页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392092A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392092B (zh) | 一种基于v2v的智能车辆前方道路环境透视感知方法 | |
| WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| US20210365696A1 (en) | Vehicle Intelligent Driving Control Method and Device and Storage Medium | |
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| CN106143309B (zh) | 一种车辆盲区提醒方法及系统 | |
| CN103177439B (zh) | 一种基于黑白格角点匹配的自动标定方法 | |
| TWI552897B (zh) | 影像動態融合方法與裝置 | |
| JP7092165B2 (ja) | 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 | |
| US20200349846A1 (en) | A multi-spectral system for providing precollision alerts | |
| CN107122770B (zh) | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 | |
| KR101093316B1 (ko) | 차량주행중 영상정합 방법 및 그 시스템 | |
| US11148594B2 (en) | Apparatus and method for around view monitoring using lidar | |
| JP6060058B2 (ja) | 交通流把握装置及び方法 | |
| JP2008102620A (ja) | 画像処理装置 | |
| CN111294564A (zh) | 信息显示方法及可穿戴设备 | |
| CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN116958195A (zh) | 物件追踪整合方法及整合装置 | |
| Park et al. | Panoramic vision system to eliminate driver’s blind spots using a laser sensor and cameras | |
| EP3223188A1 (en) | A vehicle environment mapping system | |
| CN111612812B (zh) | 目标物检测方法、检测装置和电子设备 | |
| CN109711352A (zh) | 基于几何卷积神经网络的车辆前方道路环境透视感知方法 | |
| TWI811954B (zh) | 定位系統及物件位置的校正方法 | |
| Rameau et al. | A real-time vehicular vision system to seamlessly see-through cars | |
| WO2021232222A1 (zh) | 用于测距的方法和装置 | |
| JP2020047199A (ja) | 画像処理システムおよび画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171124 Assignee: Wuhan Haibo Wulian Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2022420000018 Denomination of invention: A perspective perception method of road environment in front of intelligent vehicle based on V2V Granted publication date: 20191018 License type: Common License Record date: 20220301 |