CN112184605A - 一种车辆驾驶视野增强方法、设备及系统 - Google Patents
一种车辆驾驶视野增强方法、设备及系统 Download PDFInfo
- Publication number
- CN112184605A CN112184605A CN202011016127.4A CN202011016127A CN112184605A CN 112184605 A CN112184605 A CN 112184605A CN 202011016127 A CN202011016127 A CN 202011016127A CN 112184605 A CN112184605 A CN 112184605A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- road surface
- lane
- driving
- surface image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 11
- 238000010191 image analysis Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000004297 night vision Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车辆驾驶视野增强方法、设备及系统，所述方法包括：获取车辆当前行驶的车道上的多个车道摄像头对车道拍摄到的路面图像；从多个车道摄像头拍摄到的路面图像中确定包含有车辆的路面图像；对包含有车辆的路面图像进行图像分析，以分析出车辆在车道上的行驶位置及相对于车道的车辆行驶位姿；根据多个车道摄像头拍摄到的路面图像对车道进行路面的场景重建，得到车道的路面重建场景图；根据行驶位置及车辆行驶位姿，得到车辆在路面重建场景图中的行驶视角画面，并将行驶视角画面发送至车辆的显示装置进行显示。本发明能够无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障。
Description
技术领域
本发明涉及车辆的辅助安全技术领域，尤其涉及一种车辆夜视方法、装置及系统。
背景技术
随着科技的发展，车辆夜视系统为车辆在夜晚等弱光环境下的感知能力逐步提高，为车辆在弱光环境下安全行驶提供了极大的保障。
但是现有技术的车辆夜视系统存在以下不足：成本较高，目前只配置在少量高端品牌的高端车型上；并且夜视能力较好的夜视相机体积较大，较难安装在车辆中。
发明内容
本发明提出本发明提出一种车辆驾驶视野增强方法、装置及系统，无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。
本发明一实施例提供一种车辆驾驶视野增强方法，其包括：获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
作为上述方案的改进，所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿，包括：
对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
作为上述方案的改进，在所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿之前，所述方法还包括：
获取车辆的多张不同拍摄角度的车辆行驶图像，形成训练数据集；
提取所述车辆行驶图像中的车辆的特征关键点，并对所述特征关键点进行标注；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
搭建用于目标检测的深度神经网络，并将所述训练数据集中的图像输入到深度神经网络进行训练，得到训练好的深度神经网络。
作为上述方案的改进，所述对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置，包括：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
本发明另一实施例提供了一种车辆驾驶视野增强设备，其包括：
路面图像获取模块，用于获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
路面图像选取模块，用于从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
路面图像分析模块，用于对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
路面场景重建模块，用于根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
显示控制模块，用于根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
作为上述方案的改进，所述路面图像分析模块，具体包括：
图像识别单元，用于对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
车辆特征提取单元，用于将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
车辆行驶位姿分析单元，用于将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
作为上述方案的改进，所述图像识别单元具体用于：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
本发明另一实施例提供了一种车辆驾驶视野增强设备，其包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一方案所述的车辆驾驶视野增强方法。
本发明另一实施例提供了一种车辆驾驶视野增强系统，包括：车道摄像系统及如权利要求8所述的车辆驾驶视野增强设备；
所述车道摄像系统，其包括多个分布于车道的不同路段的车道摄像头，其与所述车辆驾驶视野增强设备建立通信连接，其用于将车道摄像头拍摄到的车道路面图像上传至所述车辆驾驶视野增强设备。
相比于现有技术，本发明实施例提供的所述车辆驾驶视野增强方法、设备及系统，首先获取车辆当前的车道上的多个摄像头对所述车道拍摄到的路面图像，从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；接着对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；然后根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；再根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示，这样驾驶员通过车辆的显示装置可以观测到前方的路况信息，提升车辆夜视效果，保证驾驶员在夜间安全行驶。由上分析可知，本发明实施例无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。
附图说明
图1是本发明一实施例提供的一种车辆驾驶视野增强方法的流程示意图；
图2是本发明一实施例提供的一种车辆驾驶视野增强设备的结构示意图；
图3是本发明一实施例提供的另一种车辆驾驶视野增强设备的结构示意图；
图4是本发明一实施例提供的又一种车辆驾驶视野增强设备的结构示意图；
图5是本发明一实施例提供的一种车辆驾驶视野增强系统的架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种车辆驾驶视野增强方法的流程示意图。其中，所述方法可由车辆驾驶视野增强设备(例如可以是交通摄像系统的服务器)执行，且本实施例均以所述车辆驾驶视野增强设备作为执行主体进行说明。其中，所述方法包括：
S10、获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
在具体实施时，所述多个车道摄像头可以组成相机矩阵，可以根据所述相机矩阵采集到路面图像获取一段路的完整的路况信息。具体地，所述多个车道摄像头可以安装于车道的路侧的路灯杆上，也可以是安装于十字路口处的摄像头安装支架上。
S11、从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
可以理解的，所述车道摄像头采集可以对路面图像实时拍摄的。
S12、对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
可以理解的，对所述车辆的路面图像进行图像分析，识别图像中的本车车辆，进而根据二维图像坐标与实际三维坐标系的转换，可以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿，其中，所述行驶位置可以为车辆与所述车道的中线的相对位置，通过该相对位置可以获取车辆在三维坐标系中的坐标；所述相对于车道的车辆行驶位姿可以知悉驾驶位的驾驶视角信息，然后后续可以根据该驾驶视角信息可以将摄像机拍摄到的路面图像投影到驾驶位的视角中。
S13、根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
在具体实施时，所述路面图像为能够反映所述车道摄像头所采集到的一段路的路况信息的图像，而多个车道摄像头采集到的路面图像可以反映出车道的路况信息。因此，可以根据多张所述路面图像能够对路面的场景进行三维重建，其中，具体的三维重建算法可以采用现有技术中的ElasticFusion、BundleFusion算法等，在此不做更多的赘述。通过三维重建可以得到能够真实反映路况信息的所述车道路面重建场景图。
可以理解的，所述路况信息具体包括车道上的行车信息及车道两侧的环境信息。
S14、根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
在具体实施时，通过所述行驶位置及所述车辆行驶位姿可以建立一个以所述车辆的驾驶位为原点的动态视点平面坐标系，其中所述视点平面坐标系为二维平面坐标系，通过对步骤S14获取到的所述车道路面重建场景图投影到所述视点平面坐标系中可得到行驶视角画面。
需要说明的是，所述以驾驶位为原点的动态视点平面坐标系所在的平面是随着车辆在行驶过程中不断变化的，所述平面与车辆前进的方向垂直。可以理解的，根据所述车辆行驶位姿可以确定平面的前进方向信息。
综上所述，本发明实施例首先获取车辆当前的车道上的多个摄像头对所述车道拍摄到的路面图像，从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；接着对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；然后根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；再根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示，这样驾驶员通过车辆的显示装置可以观测到前方的路况信息，提升车辆夜视效果，保证驾驶员在夜间安全行驶。由上分析可知，本发明实施例无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。
在一种可选的实施例中，所述步骤S12具体包括：
S20、对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
可以理解的，通过车道摄像头获取路面图像，所述路面图像为二维图像，其中二维图像中是不带有图像中物体的深度信息的，因此若要识别出车辆在车道上的行驶位置，需要通过相机成像原理将图片的二维坐标系转换为三维坐标系，根据三维坐标系中车辆及车道的地标或车道的中线的坐标关系获取车辆在车道上的行驶位置。
在所述路面图像中建立像素坐标系，具体地，所述像素坐标系以所述路面图像的左上顶角为像素坐标系的原点o，以沿路面图像的长边和宽边分别确定u轴和v轴，从而建立像素坐标系o-uv；在三维空间中建立相机坐标系，具体地，以相机的光心为相机坐标系的原点O，以与所述路面图像两边平行的直线确定相机坐标系的X轴和Y轴，以相机的光轴为Z轴，建立相机坐标系O-XYZ；根据所述像素坐标系o-uv和相机坐标系O-XYZ的转换关系，获取车辆在车道上的行驶位置信息。
示例性地，像素坐标系o-uv和相机坐标系O-XYZ的转换关系可以根据相机的内部参数矩阵进行确定，其中，相机的内参矩阵是根据相机的型号及相机镜头的类型预先确定的。
S21、将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
S22、将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
可以理解的，当车辆摄像头拍摄到车辆进入到所述车辆摄像头的拍摄视角范围时，所述车辆驾驶视野增强设备获取多段包含所述车辆的路面图像并将其输入到训练好的深度神经网络中，通过对所述路面图像中的车辆进行关键点提取及识别，可以得到车辆的行驶位姿。其中，所述车辆的行驶位姿包括车辆当前行驶的前进方向、车辆与道路中线的夹角以及车辆的转向意图，具体地，通过车辆当前行驶的前进方向及车辆与道路中线的夹角可以确定驾驶位的行驶视角信息；通过车辆的转向意图可以确定车辆是否进行变道或转弯，为获取下一个时刻的驾驶位行驶视角信息做好预判。
本实施例的技术方案对进入车道摄像头视野范围的车辆进行标定了特征关键点的车辆样本图像构建深度神经网络模型，使用所述深度神经网络模型对包含车辆的路面图像进行识别，并输出车辆的行驶位姿，该方法能够避免过多的重复计算，提高识别速度，获得更好的车辆识别效果；并且通过车辆的转向意图能够对下一时刻的驾驶位行驶视角信息做好预判，提高了运行速率。
在一种可选的实施例中，在所述步骤S12之前，所述方法还包括：
S30、获取车辆的多张不同拍摄角度的车辆行驶图像，形成训练数据集；
可以理解的，多张不同拍摄角度的车辆行驶图像为能够反映车辆在行驶过程中的不同姿态的行驶图像，包括车辆在加速、减速、车辆在上坡、下坡及车辆在转弯时的行驶姿态。
S31、提取所述车辆行驶图像中的车辆的特征关键点，并对所述特征关键点进行标注；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
在具体实施时，对包含不同车型或不同运行状态的车辆的行驶图像提取图片中所有车辆的特征关键点，并对其进行人工标定，通过标定的关键点所连成的线可以框定一辆车的形状，其中，所述特征关键点包括车辆轮毂中心和车灯，并且特征关键点还可以包括能够描述车辆形状的其它特征点，如车辆顶棚的棱角处。
需要说明的是，对于不同车型或不同运动状态的车辆，在标定关键点时关键点的数量及关键点的位置可能不同。例如具有多个转动轮、驱动轮的货车，在进行标定时需要对每个车辆轮毂中心进行标定，为准确描述所述货车的形状，其特征关键点比普通四个车轮的车的关键点要少。
S32、搭建用于目标检测的深度神经网络，并将所述训练数据集中的图像输入到深度神经网络进行训练，得到训练好的深度神经网络。
在具体实施时，搭建深度卷积神经网络，所述深度卷积神经网络从训练数据集中包含有车辆图像的车辆样本图像中学习到车辆本质的特征，能够进一步地提高车辆识别的效率和准确度。
在本发明实施例中，进一步地，在所述步骤20中，所述方法还包括：
S40、获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
S41、将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
S42、根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
可以理解的，通过识别确定车辆与道路之间的坐标就能够获得车辆在车道上的行驶位置。
参见图2，是本发明一实施例提供的车辆驾驶视野增强设备的结构示意图，所述设备包括：
路面图像获取模块10，用于获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
路面图像选取模块11，用于从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
路面图像分析模块12，用于对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
路面场景重建模块13，用于根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
显示控制模块14，用于根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
本发明实施例无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。
参见图3，是本发明一实施例提供的车辆驾驶视野增强设备的结构示意图，在本发明实施例中，所述路面图像分析模块12，具体包括：
图像识别单元120，用于对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
车辆特征提取单元121，用于将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
车辆行驶位姿分析单元122，用于将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
在一种可选的实施例中，所述图像识别单元120具体用于：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
需要说明的是，本实施例的所述车辆驾驶视野增强设备的相关方案可以对应参考上述的所述车辆充电控制方法的相关实施例内容，在此不再做赘述。
参见图4，是本发明一实施例提供的车辆驾驶视野增强设备的结构示意图。该实施例的车辆驾驶视野增强设备包括：处理器1、存储器2以及存储在所述存储器2中并可在所述处理器1上运行的计算机程序，例如车辆充电控制程序。所述处理器1执行所述计算机程序时实现上述各个车辆充电控制方法实施例中的步骤。或者，所述处理器1执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车辆驾驶视野增强设备中的执行过程。
所述车辆驾驶视野增强设备可以是交通摄像系统的服务器。所述车辆驾驶视野增强设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是车辆驾驶视野增强设备的示例，并不构成对车辆驾驶视野增强设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车辆驾驶视野增强设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述车辆驾驶视野增强设备的控制中心，利用各种接口和线路连接整个车辆驾驶视野增强设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述车辆驾驶视野增强设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述车辆驾驶视野增强设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
参见图5,是本发明一实施例提供的一种车辆驾驶视野增强系统的架构示意图，所述系统包括：车道摄像系统01及车辆驾驶视野增强设备02；
所述车道摄像系统01，其包括多个分布于车道的不同路段的车道摄像头，其与所述车辆驾驶视野增强设备02建立通信连接，其用于将车道摄像头拍摄到的车道路面图像上传至所述车辆驾驶视野增强设备02。
需要说明的是，本实施例的所述车辆驾驶视野增强系统的相关方案可以对应参考上述的所述车辆驾驶视野增强方法的相关实施例内容，在此不再做赘述。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种车辆驾驶视野增强方法，其特征在于，包括：
获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
2.根据权利要求1所述的车辆驾驶视野增强方法，其特征在于，所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿，包括：
对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
3.根据权利要求1所述的车辆驾驶视野增强方法，其特征在于，在所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿之前，所述方法还包括：
获取车辆的多张不同拍摄角度的车辆行驶图像，形成训练数据集；
提取所述车辆行驶图像中的车辆的特征关键点，并对所述特征关键点进行标注；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
搭建用于目标检测的深度神经网络，并将所述训练数据集中的图像输入到深度神经网络进行训练，得到训练好的深度神经网络。
4.根据权利要求2所述的车辆驾驶视野增强方法，其特征在于，所述对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置，包括：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
5.一种车辆驾驶视野增强设备，其特征在于，包括：
路面图像获取模块，用于获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
路面图像选取模块，用于从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
路面图像分析模块，用于对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
路面场景重建模块，用于根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
显示控制模块，用于根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。
6.根据权利要求5所述的车辆驾驶视野增强设备，其特征在于，所述路面图像分析模块，具体包括：
图像识别单元，用于对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
车辆特征提取单元，用于将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
车辆行驶位姿分析单元，用于将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。
7.根据权利要求6所述的车辆驾驶视野增强设备，其特征在于，所述图像识别单元具体用于：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。
8.一种车辆驾驶视野增强设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的车辆驾驶视野增强方法。
9.一种车辆驾驶视野增强系统，其特征在于，包括：车道摄像系统及如权利要求8所述的车辆驾驶视野增强设备；
所述车道摄像系统，其包括多个分布于车道的不同路段的车道摄像头，其与所述车辆驾驶视野增强设备建立通信连接，其用于将车道摄像头拍摄到的车道路面图像上传至所述车辆驾驶视野增强设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016127.4A CN112184605A (zh) | 2020-09-24 | 2020-09-24 | 一种车辆驾驶视野增强方法、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011016127.4A CN112184605A (zh) | 2020-09-24 | 2020-09-24 | 一种车辆驾驶视野增强方法、设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184605A true CN112184605A (zh) | 2021-01-05 |
Family
ID=73956519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011016127.4A Pending CN112184605A (zh) | 2020-09-24 | 2020-09-24 | 一种车辆驾驶视野增强方法、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184605A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160406A (zh) * | 2021-04-26 | 2021-07-23 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103661107A (zh) * | 2013-11-29 | 2014-03-26 | 北京理工大学 | 周向视场可控的非直视驾驶系统 |
| CN103946066A (zh) * | 2011-11-24 | 2014-07-23 | 丰田自动车株式会社 | 车辆周边监视装置和车辆周边监视方法 |
| CN106143309A (zh) * | 2016-07-18 | 2016-11-23 | 乐视控股（北京）有限公司 | 一种车辆盲区提醒方法及系统 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
| CN108958459A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 基于虚拟位置的显示方法和系统 |
| CN109583372A (zh) * | 2018-11-29 | 2019-04-05 | 北京谷东网科技有限公司 | 用于夜间驾驶的增强现实系统及其装置 |
| CN109747638A (zh) * | 2018-12-25 | 2019-05-14 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆行驶意图识别方法及装置 |
| CN109934076A (zh) * | 2017-12-19 | 2019-06-25 | 广州汽车集团股份有限公司 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
| CN110221615A (zh) * | 2019-06-18 | 2019-09-10 | 长春理工大学 | 一种基于路况识别的辅助车辆驾驶方法 |
| CN110758243A (zh) * | 2019-10-31 | 2020-02-07 | 的卢技术有限公司 | 一种车辆行驶过程中的周围环境显示方法和系统 |
| CN111583661A (zh) * | 2020-05-27 | 2020-08-25 | 魏保安 | 基于枪球联动与dnn的车辆闯红灯检测方法 |
-
2020
- 2020-09-24 CN CN202011016127.4A patent/CN112184605A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103946066A (zh) * | 2011-11-24 | 2014-07-23 | 丰田自动车株式会社 | 车辆周边监视装置和车辆周边监视方法 |
| CN103661107A (zh) * | 2013-11-29 | 2014-03-26 | 北京理工大学 | 周向视场可控的非直视驾驶系统 |
| CN106143309A (zh) * | 2016-07-18 | 2016-11-23 | 乐视控股（北京）有限公司 | 一种车辆盲区提醒方法及系统 |
| CN108958459A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市掌网科技股份有限公司 | 基于虚拟位置的显示方法和系统 |
| CN109934076A (zh) * | 2017-12-19 | 2019-06-25 | 广州汽车集团股份有限公司 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
| CN109583372A (zh) * | 2018-11-29 | 2019-04-05 | 北京谷东网科技有限公司 | 用于夜间驾驶的增强现实系统及其装置 |
| CN109747638A (zh) * | 2018-12-25 | 2019-05-14 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆行驶意图识别方法及装置 |
| CN110221615A (zh) * | 2019-06-18 | 2019-09-10 | 长春理工大学 | 一种基于路况识别的辅助车辆驾驶方法 |
| CN110758243A (zh) * | 2019-10-31 | 2020-02-07 | 的卢技术有限公司 | 一种车辆行驶过程中的周围环境显示方法和系统 |
| CN111583661A (zh) * | 2020-05-27 | 2020-08-25 | 魏保安 | 基于枪球联动与dnn的车辆闯红灯检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160406A (zh) * | 2021-04-26 | 2021-07-23 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
| CN113160406B (zh) * | 2021-04-26 | 2024-03-01 | 北京车和家信息技术有限公司 | 道路三维重建方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216972B2 (en) | Vehicle localization using cameras | |
| TWI703064B (zh) | 用於在不良照明狀況下定位運輸工具的系統和方法 | |
| CN109389064B (zh) | 一种车辆特征获取方法及装置 | |
| JP2017533482A (ja) | 車線データの処理方法、装置、記憶媒体及び機器 | |
| CN111462249B (zh) | 一种交通摄像头标定方法及装置 | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN108725318B (zh) | 汽车安全预警方法、装置及计算机可读存储介质 | |
| CN110834667B (zh) | 车辆转向控制方法、装置、车辆、终端设备及存储介质 | |
| CN111627001A (zh) | 图像检测方法及装置 | |
| Yebes et al. | Learning to automatically catch potholes in worldwide road scene images | |
| CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN114091521A (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
| CN113537047A (zh) | 障碍物检测方法、装置、交通工具及存储介质 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN112654998A (zh) | 一种车道线检测方法和装置 | |
| CN112184605A (zh) | 一种车辆驾驶视野增强方法、设备及系统 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN112639822A (zh) | 一种数据处理方法及装置 | |
| CN110727269A (zh) | 车辆控制方法及相关产品 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN113160406B (zh) | 道路三维重建方法、装置、存储介质及电子设备 | |
| Du et al. | Validation of vehicle detection and distance measurement method using virtual vehicle approach | |
| CN112184813B (zh) | 车辆定位方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |