CN116452941A - 一种多视角的多图像融合方法及装置 - Google Patents

一种多视角的多图像融合方法及装置 Download PDF

Info

Publication number
CN116452941A
CN116452941A CN202310706213.5A CN202310706213A CN116452941A CN 116452941 A CN116452941 A CN 116452941A CN 202310706213 A CN202310706213 A CN 202310706213A CN 116452941 A CN116452941 A CN 116452941A
Authority
CN
China
Prior art keywords
road
image
vehicle
detection model
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310706213.5A
Other languages
English (en)
Inventor
姚军亭
陈国栋
贾风光
李志锋
丁斌
古缘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhongqing Intelligent Technology Co ltd
Original Assignee
Shandong Zhongqing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhongqing Intelligent Technology Co ltd filed Critical Shandong Zhongqing Intelligent Technology Co ltd
Priority to CN202310706213.5A priority Critical patent/CN116452941A/zh
Publication of CN116452941A publication Critical patent/CN116452941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种多视角的多图像融合方法及装置，涉及图像处理技术领域。方法包括：从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离；对收集到的道路图像数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并使用信号处理器对道路图像进行消除畸变处理；将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作，有效提高行车安全性。

Description

一种多视角的多图像融合方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种多视角的多图像融合方法及装置。
背景技术
随着越来越多的汽车配置倒车影像和倒车雷达，使汽车倒车过程可以识别障碍物，避免了很多车辆在倒车过程中发生的剐蹭事件，而车辆前方为驾驶员的视线区域，因此车头通常没有安装探测装置对车辆行进方向进行探测，但在驾驶过程中难免会遇到深坑和障碍物，尤其是在长时间的高速行驶过程，驾驶员很容易注意不到道路中深坑和障碍物，这些深坑和障碍物轻则对车辆造成损伤，缩短车辆使用寿命，重则造成交通事故，对人们的生命财产安全造成威胁。
目前，因为倒车过程的精度要求和实际需求，倒车影像和倒车雷达的探测范围在0.3-1.5米左右，而这个探测距离的倒车影像和倒车雷达如果应用到车头，在车辆行驶过程中即使探测到深坑和障碍物，留给驾驶员的反应时间也几乎为零，因此倒车影像和倒车雷达无法应用到车头进行车辆行驶过程对深坑和障碍物的探测，因此亟需一种多视角的多图像融合方法及装置，通过多个不同视角的远距离图像传感器对前行道路进行拍摄，得到带距离的图像信息，经过多图像融合系统分析得出前行道路中的深坑和障碍物，进而对驾驶员提醒进行调整车道或减速通过，有效提高车辆行驶的安全性。
发明内容
本发明的目的在于：针对目前现有技术的不足，提供一种多视角的多图像融合方法及装置，通过多个不同视角的远距离图像传感器对前行道路进行拍摄，得到带距离的图像信息，经过多图像融合系统分析得出前行道路中的深坑和障碍物，进而对驾驶员提醒进行调整车道或减少通过，有效提高车辆行驶的安全性。
为了实现上述发明目的，本发明提供了以下技术方案：
在本申请的第一方面，提供一种多视角的多图像融合方法，所述方法包括：
从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离；
对收集到的道路图像数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并使用信号处理器对道路图像进行消除畸变处理；
将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作。
在一些可选的实施方式中，所述道路检测模型对所述变化幅度进行分析的同时，可对所述道路图像进行分类，包括：
获取道路图像数据集，所述道路图像数据集包括道路标注结果，所述标注结果包括道路路面分类；
根据所述标注结果确定道路训练集；
根据所述道路训练集对道路检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并导出道路检测模型；
基于所述道路检测模型对所述道路图像进行道路检测，并确定所述道路图像的路面分类。
在一些可选的实施方式中，所述路面分类的等级由高到低具体包括高级路面、次高级路面、中级路面和低级路面，所述高级路面为沥青混凝土路面或水泥混凝土路面，所述次高级路面为沥青贯入或路面式沥青碎石路面，所述中级路面为沙石路面，所述低级路面为泥结碎石或土路，越高等级路面越平整，等级越高的路面对应的所述预设阈值越低。
在一些可选的实施方式中，所述路面分类发生变化时识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值。
在一些可选的实施方式中，道路检测模型对所述变化幅度进行分析之后，还包括：
根据所述变化幅度计算出坑的深度或障碍物的高度；
同步车辆包括轮胎尺寸、底盘高度的相关数据信息；
计算车辆是否能通过所述深坑或所述障碍物，如不能通过则发送变道或停车信号，如车辆能通过所述深坑或所述障碍物时，计算车辆安全通过速度，所述安全通过速度为车辆通过深坑或障碍物不影响驾驶安全和不对车辆造成损耗的通过速度，所述安全通过速度根据深坑的深度或障碍物高度确定。
在一些可选的实施方式中，所述车辆速度高于所述安全通过速度时，对所驾驶员进行提醒减速操作，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作。
在一些可选的实施方式中，对收集到的道路图像数据进行预处理之后还包括：
对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分。
在本申请的第二方面，提供一种多视角的多图像融合装置，所述装置包括：
图像采集模块：从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离；
图像处理模块：对收集到的道路图像数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并使用信号处理器对道路图像进行消除畸变处理；
图像融合模块：将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
图像分析模块：道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作。
在一些可选的实施方式中，所述道路检测模型对所述变化幅度进行分析的同时，可对所述道路图像进行分类，包括：
道路图像获取模块：获取道路图像数据集，所述道路图像数据集包括道路标注结果，所述标注结果包括道路路面分类；
训练集模块：根据所述标注结果确定道路训练集；
模型训练模块：根据所述道路训练集对道路检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并导出道路检测模型；
道路检测模块：基于所述道路检测模型对所述道路图像进行道路检测，并确定所述道路图像的路面分类。
在一些可选的实施方式中，所述路面分类的等级由高到低具体包括高级、次高级、中级和低级路面，所述高级路面为沥青混凝土路面或水泥混凝土路面，所述次高级路面为沥青贯入或路面式沥青碎石路面，所述中级路面为沙石路面，所述低级路面为泥结碎石或土路，越高等级路面越平整，等级越高的路面对应的所述预设阈值越低。
在一些可选的实施方式中，所述装置还包括：
路面切换模块：所述路面分类发生变化时识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值。
在一些可选的实施方式中，道路检测模型对所述变化幅度进行分析之后，还包括：
计算模块：根据所述变化幅度计算出坑的深度或障碍物的高度；
同步信息模块：同步车辆包括轮胎尺寸、底盘高度的相关数据信息；
安全速度模块：计算车辆是否能通过所述深坑或所述障碍物，如不能通过则发送变道或停车信号，如车辆能通过所述深坑或所述障碍物时，计算车辆安全通过速度，所述安全通过速度为车辆通过深坑或障碍物不影响驾驶安全和不对车辆造成损耗的通过速度，所述安全通过速度根据深坑的深度或障碍物高度确定。
在一些可选的实施方式中，所述车辆速度高于所述安全通过速度时，对所驾驶员进行提醒减速操作，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作。
在一些可选的实施方式中，对收集到的道路图像数据进行预处理之后还包括：
冗余去除模块：对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分。
本申请具有以下有益效果：
1、在本申请的实施方式中的道路凹陷形成的深坑和路面以上的障碍物会对车辆行驶产生影响，深坑达到一定深度和障碍物达到一定高度更是容易威胁到车辆行驶安全，因此首先通过从多路所述相机多个视角对道路进行拍摄得到道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离，对多路相机采集的道路图像数据进行消除畸变等预处理，再融合得到完整正常道路图像，所述完整正常道路图像为输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；道路检测模型对所述变化幅度进行分析，就可以得到行驶前方是否有深坑或障碍物，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作，有效提高车辆行驶的安全性；
2、车辆行驶过程中会途径多种路面，多种路面上的便于阈值需要设置的不一样，例如当在泥结碎石或土路的低级路面时，小的坑或凸起障碍很常见，但由于车辆在低级路面的行驶速度不快，因此这些小的坑或凸起障碍仅会造成车速减慢，不会对行车安全造成影响，可以保持当前速度直接通过，而这些小的坑或凸起障碍如果出现高速路上，驾驶员高速通过则容易对车辆造成损伤甚至出现事故，因此为保证行车安全，等级越高的道路设置的预设阈值越小，进一步的通过所述道路检测模型对实时道路图像进行检测，识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值，同时避免驾驶员在驾驶过程中手动切换预设阈值而造成分心；
3、结合车辆自身数据和深坑深度或障碍物高度，计算车辆安全通过速度，所述车辆速度高于所述安全通过速度时，对发送提醒减速操作信号，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作；进一步的对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分，对这些冗余部分进行删除，有效减少图像融合服务器和识别服务器的工作量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图。
图2为本申请实施例的系统架构示意图。
图3是本申请实施例提供的一种多视角的多图像融合方法的步骤流程图。
图4是本申请实施例提供的一种多视角的多图像融合装置的功能模块示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图对本申请的方案进一步说明。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，电子设备通过处理器1001调用存储器1005中存储的用于一种多视角的多图像融合装置，并执行本申请实施例提供的一种多视角的多图像融合方法。
参照图2，示出了本申请实施例的系统架构示意图。如图2所示，该系统架构可以包括第一设备201、第二设备202、第三设备203、第四设备204和网络205。其中，网络205用以在第一设备201、第二设备202、第三设备203和第四设备204之间提供通信链路的介质。网络205可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
在本实施方式中，第一设备201、第二设备202、第三设备203和第四设备204可以是支持网络连接从而提供各种网络服务的硬件设备或软件。当设备为硬件时，其可以是各种电子设备，包括但不限于摄像头、图像传感器、智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。这时，作为硬件设备，其可以实现成多个设备组成的分布式设备群，也可以实现成单个设备。当设备为软件时，可以安装在上述所列举的设备中。这时，作为软件，其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图2中的网络和设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的网络和设备。
参照图3，基于前述硬件运行环境和系统架构，本申请的实施例提供了一种多视角的多图像融合方法，具体可以包括以下步骤：
S301：从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离；
需要说明的是，通过多个视角图像采集设备一般通过图像融合合成算法，对其在各拍摄视角下采集得到的图像进行融合生成道路的图像，相比于单相机图像采集设备采集的图片而言，具有分辨率高、噪声小、信息量大等优点，且其中至少一个视角提供了图像深度信息，深度信息通常使用深度相机拍摄得到，通过该相机能检测出拍摄空间的景深距离。通过深度相机获取到图像中每个点距离摄像头的距离，在加上该点在 2D 图像中的二维坐标，就能获取图像中每个点的三维空间坐标，因此可以得到车头到达图像中像素的实际距离；
在本实施方式中，实例性的将应用场景设置在车辆行驶状态下，车辆行驶状态下，在车头设置多个图像采集装置通过多个视角对车辆行驶前方的道路进行实时图像采集，得到视野宽阔的车前的道路图像，并基于道路图像，得到道路图像中的每一个像素与车头的实际距离，像素与车头的实际距离用于分析道路状态，得出车辆前方的道路是否有威胁到车辆行驶安全的深坑或障碍物；
S302：对收集到的道路图像数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并使用信号处理器对道路图像进行消除畸变处理；
需要说明的是，为了获得更多更宽阔的车前道路图像，通过会使用广角镜头采集图像，而广角镜头经常会产生边缘直线向外弯曲的情况，也就是畸变，因此采用信号处理器对道路图像进行消除畸变处理，得到信息更为准确的图像；
在本实施方式中，对收集到的道路图像数据进行多种预处理方式，包括但不限于降噪、重采样和裁剪变换，得到质量较高的图像，再通过信号处理器对道路图像进行消除畸变处理，对像素与车头的实际距离进行道路检测模型分析前的矫正；
S303：将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
在本实施方式中，通过多个视角的道路图像进行融合得到输出图像扩展环境视野，解决单个图像传感器视野局限性，降低不确定性，提高感知算法的性能，再根据深度信息和预处理的矫正，得到输出图像包括所有像素距离车头的距离，也就得到所有像素距离车头的距离的变化幅度。
S304：道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作。
需要说明的是，车辆在平整道路上行驶时，输出图像中所有像素距离车头的距离的变化幅度接近于零，而车辆在上坡或下坡时，道路与车辆之间的距离，与道路本身的长度也接近为线性变化，而当道路上出现深坑或障碍物时，将不再是线性变化，例如，在出现凸出路面的障碍物时，障碍物前的像素与车辆的距离均为线性变化，而到障碍物时，像素与车辆之间的距离本应继续线性增长，但由于障碍物的出现，像素与车辆的距离增长大大减缓，当增长为零时，说明障碍物与路面呈直角，进一步根据增长减缓的距离和障碍物与路面角度计算得出障碍物高度和宽度，道路凹陷形成的深坑也由此得出深坑的深度和宽度；
在本实施方式中，道路检测模型对所述变化幅度进行分析，得出路面障碍物高度、宽度和深坑的深度、宽度，并设置阈值，所述变化幅度小于预设阈值时，对应路面障碍物高度、宽度和深坑的深度、宽度不会对车辆行驶造成影响，因此不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，对应路面障碍物高度、宽度和深坑的深度、宽度会对车辆行驶造成影响，因此需要进行提醒变道或减速操作。
在一些可选的实施方式中，所述道路检测模型对所述变化幅度进行分析的同时，可对所述道路图像进行分类，包括：
S401：获取道路图像数据集，所述道路图像数据集包括道路标注结果，所述标注结果包括道路路面分类；
在本实施方式中，当前我国对道路设置有明确的等级划分及路面分类划分，不同的路面呈现出的颜色、平整度、材料材质均不同，根据现有的道路图像数据集对不同的路面进行标注，用于后续步骤对车辆实时行驶道路的识别。
S402：根据所述标注结果确定道路训练集；
S403：根据所述道路训练集对道路检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并导出道路检测模型；
需要说明的是，训练集用于神经网络模型的学习过程，所述训练集用于训练模型的训练参数，通过现有的道路图像资料训练得到道路检测模型，所述道路检测模型用于对道路图像进行识别，根据标注结果训练输出道路路面的类型；
S404：基于所述道路检测模型对所述道路图像进行道路检测，并确定所述道路图像的路面分类。
本实施方式中，道路检测模型在得出道路变化幅度的同时得到车辆当前行驶的路面等级，而将两者结合就可以得到，在一些低级的路面上，道路变化幅度偏大是正常的，通过路面等级确定当前预设阈值，进而确定路面是否存在异常，可减少错误报警提示的次数。
在一些可选的实施方式中，所述路面分类的等级由高到低具体包括高级路面、次高级路面、中级路面和低级路面，所述高级路面为沥青混凝土路面或水泥混凝土路面，所述次高级路面为沥青贯入或路面式沥青碎石路面，所述中级路面为沙石路面，所述低级路面为泥结碎石或土路，越高等级路面越平整，等级越高的路面对应的所述预设阈值越低。
需要说明的是，泥结碎石或土路的低级路面时，小的坑或凸起障碍很常见，但由于车辆在低级路面的行驶速度不快，因此这些小的坑或凸起障碍仅会造成车速减慢，不会对行车安全造成影响，可以保持当前速度直接通过，而这些小的坑或凸起障碍如果出现高级路面时，驾驶员高速通过则容易对车辆造成损伤甚至出现事故，因此等级越高的路面对应的所述预设阈值需要设置的越低，以保证行车安全，同时也避免在低级路面行驶时，路面始终处于高于预设阈值的状态下，使车辆始终处于报警提示的状态，影响驾驶员驾驶。
在一些可选的实施方式中，所述路面分类发生变化时识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值。
在本实施方式中，车辆行驶过程中通常会途径多种路面，多种路面上的便于阈值需要设置的不一样，为保证行车安全，等级越高的道路设置的预设阈值越小，进一步的通过所述道路检测模型对实时道路图像进行检测，识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值，同时避免驾驶员在驾驶过程中手动切换预设阈值而造成分心。
在一些可选的实施方式中，道路检测模型对所述变化幅度进行分析之后，还包括：
S501：根据所述变化幅度计算出坑的深度或障碍物的高度；
需要说明的是，不同的所述深坑或所述障碍物对应的障碍物高度、宽度和深坑的深度、宽度均不同，具体的例如深坑宽度小于轮胎直径，深坑的深度对车辆安全通过速度影响不大，此时深坑宽度作为车辆安全通过速度的计算指标，而深坑宽度大于轮胎直径时，车辆会在深坑底部行驶，深坑的深度对车辆安全通过速度影响变大，此时深坑宽度和深度共同作为车辆安全通过速度的计算指标，障碍物对车辆安全通过速度的影响也如上所述计算得出；
在本实施方式中，根据所述变化幅度计算出坑的深度或障碍物的高度，用于后续计算通过不同所述深坑或所述障碍物时的安全通过速度；
S502：同步车辆包括轮胎尺寸、底盘高度的相关数据信息；
需要说明的是，不同车辆对于通过所述深坑或所述障碍物的能力不同，具体涉及轮胎尺寸、底盘高度和减震能力等等，例如越野汽车可以轻松跨过一些障碍物，如减速带，而大多小轿车通过减速带时则相对越野车需要更多的减速才能通过，因此一般越野汽车通过所述深坑或所述障碍物时车辆安全通过速度会高于小轿车；
在本实施方式中，同步车辆自身的数据，用于后续计算通过不同所述深坑或所述障碍物时的安全通过速度；
S503：计算车辆是否能通过所述深坑或所述障碍物，如不能通过则发送变道或停车信号，如车辆能通过所述深坑或所述障碍物时，计算车辆安全通过速度，所述安全通过速度为车辆通过深坑或障碍物不影响驾驶安全和不对车辆造成损耗的通过速度，所述安全通过速度根据深坑的深度或障碍物高度确定。
在本实施方式中，结合障碍物高度、宽度和深坑的深度、宽度以及车辆自身的数据，共同计算得出当前车辆通过不同所述深坑或所述障碍物时的安全通过速度，当安全通过速度为零时，说明当前车辆无法通过前方的深坑或障碍物，或通过会出现危险；
在一些可选的实施方式中，所述车辆速度高于所述安全通过速度时，对所驾驶员进行提醒减速操作，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作。
在本实施方式中，结合车辆自身数据和深坑深度或障碍物高度，计算车辆安全通过速度，所述车辆速度高于所述安全通过速度时，对发送提醒减速操作信号，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作；在一些可选的实施方式中，对收集到的道路图像数据进行预处理之后还包括：
在一些可选的实施方式中，对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分。
需要说明的是，广角相机采集相对宽阔的视角的同时也会囊括很多无用的像素数据，例如护栏以外的区域，这些区域在道路图像中，道路检测模型也会计算出与车辆的距离，但是这些区域在护栏之外，车辆如果要行驶在这些区域，则需要跨过护栏，但是靠近护栏时就会进行报警提示，因此车辆不会行驶到当前护栏以外的区域，对护栏以外区域的计算对车辆行驶没有用于，反而会暂用计算通道，降低道路检测模型的计算速度，与此类似的还有高于车辆高度的区域；
在本实施方式中，进一步的对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分，对这些冗余部分进行删除，有效减少图像融合服务器和识别服务器的工作量。
在本申请的第二方面，参照图4，提供一种多视角的多图像融合装置400，该一种多视角的多图像融合装置400包括：
图像采集模块401：从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息，所述深度信息用于得到车头到达图像中像素的实际距离；
图像处理模块402：对收集到的道路图像数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并使用信号处理器对道路图像进行消除畸变处理；
图像融合模块403：将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
图像分析模块404：道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，所述变化幅度大于或者等于预设阈值时，进行提醒变道或减速操作。
在一些可选的实施方式中，所述道路检测模型对所述变化幅度进行分析的同时，可对所述道路图像进行分类，包括：
道路图像获取模块：获取道路图像数据集，所述道路图像数据集包括道路标注结果，所述标注结果包括道路路面分类；
训练集模块：根据所述标注结果确定道路训练集；
模型训练模块：根据所述道路训练集对道路检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并导出道路检测模型；
道路检测模块：基于所述道路检测模型对所述道路图像进行道路检测，并确定所述道路图像的路面分类。
在一些可选的实施方式中，所述路面分类的等级由高到低具体包括高级、次高级、中级和低级路面，所述高级路面为沥青混凝土路面或水泥混凝土路面，所述次高级路面为沥青贯入或路面式沥青碎石路面，所述中级路面为沙石路面，所述低级路面为泥结碎石或土路，越高等级路面越平整，等级越高的路面对应的所述预设阈值越低。
在一些可选的实施方式中，所述装置还包括：
路面切换模块：所述路面分类发生变化时识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值。
在一些可选的实施方式中，道路检测模型对所述变化幅度进行分析之后，还包括：
计算模块：根据所述变化幅度计算出坑的深度或障碍物的高度；
同步信息模块：同步车辆包括轮胎尺寸、底盘高度的相关数据信息；
安全速度模块：计算车辆是否能通过所述深坑或所述障碍物，如不能通过则发送变道或停车信号，如车辆能通过所述深坑或所述障碍物时，计算车辆安全通过速度，所述安全通过速度为车辆通过深坑或障碍物不影响驾驶安全和不对车辆造成损耗的通过速度，所述安全通过速度根据深坑的深度或障碍物高度确定。
在一些可选的实施方式中，所述车辆速度高于所述安全通过速度时，对所驾驶员进行提醒减速操作，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作。
在一些可选的实施方式中，对收集到的道路图像数据进行预处理之后还包括：
冗余去除模块：对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分。
需要说明的是，本申请实施例的用于区块链网络的信息推送装置400的具体实施方式参照前述本申请实施例第一方面提出的一种多视角的多图像融合方法的具体实施方式，在此不再赘述。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上对所提供的一种多视角的多图像融合方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的用于区块链网络的信息推送方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种多视角的多图像融合方法，其特征在于，包括：
从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息；
对收集到的道路图像数据进行预处理；
将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，否则进行提醒变道或减速操作。
2.如权利要求1所述的一种多视角的多图像融合方法，其特征在于，所述道路检测模型对所述变化幅度进行分析的同时，可对所述道路图像进行分类，包括：
获取道路图像数据集，所述道路图像数据集包括道路标注结果，所述标注结果包括道路路面分类；
根据所述标注结果确定道路训练集；
根据所述道路训练集对道路检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并导出道路检测模型；
基于所述道路检测模型对所述道路图像进行道路检测，并确定所述道路图像的路面分类。
3.如权利要求2所述的一种多视角的多图像融合方法，其特征在于，所述路面分类的等级由高到低具体包括高级路面、次高级路面、中级路面和低级路面，所述高级路面为沥青混凝土路面或水泥混凝土路面，所述次高级路面为沥青贯入或路面式沥青碎石路面，所述中级路面为沙石路面，所述低级路面为泥结碎石或土路，越高等级路面越平整，等级越高的路面对应的所述预设阈值越低。
4.如权利要求3所述的一种多视角的多图像融合方法，其特征在于，所述路面分类发生变化时识别出当前车辆行驶的路面等级，根据路面等级自动切换为当前路面等级对应的所述预设阈值。
5.如权利要求1所述的一种多视角的多图像融合方法，其特征在于，道路检测模型对所述变化幅度进行分析之后，还包括：
根据所述变化幅度计算出坑的深度或障碍物的高度；
同步车辆包括轮胎尺寸、底盘高度的相关数据信息；
计算车辆是否能通过所述坑或所述障碍物，如不能通过则发送变道或停车信号，如车辆能通过所述坑或所述障碍物时，计算车辆安全通过速度。
6.如权利要求5所述的一种多视角的多图像融合方法，其特征在于，所述车辆速度高于所述安全通过速度时，对所驾驶员进行提醒减速操作，所述车辆速度不高于所述安全通过速度时，暂停进行提醒减速操作。
7.如权利要求1-5任意一项所述的一种多视角的多图像融合方法，其特征在于，对收集到的道路图像数据进行预处理之后还包括：
对所述道路图像数据进行冗余去除操作，所述冗余去除操作为去除道路图像中不会影响车辆行驶的区域，所述区域包括行驶道路护栏以外部分和车辆高度以上的部分。
8.一种多视角的多图像融合装置，其特征在于，包括：
图像采集模块：从多个视角对道路进行拍摄所得道路图像，且至少有一个视角所得道路图像包含深度信息；
图像处理模块：对收集到的道路图像数据进行预处理；
图像融合模块：将多个视角的所述道路图像进行融合得到输出图像，所述输出图像包括所有像素距离车头的距离变化幅度；
图像分析模块：道路检测模型对所述变化幅度进行分析，所述变化幅度小于预设阈值时，不进行提醒变道或减速操作，否则进行提醒变道或减速操作。
CN202310706213.5A 2023-06-15 2023-06-15 一种多视角的多图像融合方法及装置 Pending CN116452941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310706213.5A CN116452941A (zh) 2023-06-15 2023-06-15 一种多视角的多图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310706213.5A CN116452941A (zh) 2023-06-15 2023-06-15 一种多视角的多图像融合方法及装置

Publications (1)

Publication Number Publication Date
CN116452941A true CN116452941A (zh) 2023-07-18

Family

ID=87132441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310706213.5A Pending CN116452941A (zh) 2023-06-15 2023-06-15 一种多视角的多图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN116452941A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
US20180005054A1 (en) * 2016-06-30 2018-01-04 Beijing Kuangshi Technology Co., Ltd. Driving assistance information generating method and device, and driving assistance system
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
CN113112644A (zh) * 2021-04-14 2021-07-13 佛山市龙生光启科技有限公司 一种具有行驶预警功能的行车记录仪
CN114998863A (zh) * 2022-05-24 2022-09-02 北京百度网讯科技有限公司 目标道路识别方法、装置、电子设备以及存储介质
WO2022190314A1 (ja) * 2021-03-11 2022-09-15 日本電気株式会社 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
US20180005054A1 (en) * 2016-06-30 2018-01-04 Beijing Kuangshi Technology Co., Ltd. Driving assistance information generating method and device, and driving assistance system
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN113011255A (zh) * 2021-02-05 2021-06-22 北京中科慧眼科技有限公司 基于rgb图像的路面检测方法、系统和智能终端
WO2022190314A1 (ja) * 2021-03-11 2022-09-15 日本電気株式会社 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体
CN113112644A (zh) * 2021-04-14 2021-07-13 佛山市龙生光启科技有限公司 一种具有行驶预警功能的行车记录仪
CN114998863A (zh) * 2022-05-24 2022-09-02 北京百度网讯科技有限公司 目标道路识别方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
US11380105B2 (en) Identification and classification of traffic conflicts
US20240290201A1 (en) Driver behavior monitoring
CN110400478B (zh) 一种路况通知方法及装置
US20200111350A1 (en) Driver behavior monitoring
US11914041B2 (en) Detection device and detection system
Saiprasert et al. Driver behaviour profiling using smartphone sensory data in a V2I environment
US20210208282A1 (en) Detection device and detection system
US20210383686A1 (en) Roadside computing system for predicting road user trajectory and assessing travel risk
KR20210052031A (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN111247574B (zh) 信息生成装置
CN113748448B (zh) 基于车辆的虚拟停止线和让行线检测
JP4580995B2 (ja) 道路交通管制システム
KR20220089138A (ko) 도로 위험물 인지 장치 및 방법
JP2019207654A (ja) 検知装置及び検知システム
KR101788123B1 (ko) 저속 통행 구간의 차량 속도 측정 장치 및 방법
CN117058872A (zh) 一种用于高速公路信息发布方法、系统和存储介质
CN116142178A (zh) 一种车辆辅助驾驶方法、系统、介质及电子设备
CN116452941A (zh) 一种多视角的多图像融合方法及装置
KR20240081722A (ko) 터널 내 돌발 및 위험관리를 통한 사고예방 시스템
CN113178081B (zh) 一种车辆汇入预警方法、装置及电子设备
Concas et al. Development of a real-time roadway debris hazard spotting tool using connected vehicle data to enhance roadway safety and system efficiency
JP4128962B2 (ja) 道路交通管制システム
JP7276276B2 (ja) 危険運転検出装置、危険運転検出システム、及び危険運転検出プログラム
CN114299715A (zh) 一种基于视频、激光雷达与dsrc的高速公路信息检测系统
Liu et al. Study on test scenarios of environment perception system under rear-end collision risk

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230718

RJ01 Rejection of invention patent application after publication