CN113643345A - 一种基于双光融合的多目道路智能识别方法 - Google Patents

一种基于双光融合的多目道路智能识别方法 Download PDF

Info

Publication number
CN113643345A
CN113643345A CN202110849032.9A CN202110849032A CN113643345A CN 113643345 A CN113643345 A CN 113643345A CN 202110849032 A CN202110849032 A CN 202110849032A CN 113643345 A CN113643345 A CN 113643345A
Authority
CN
China
Prior art keywords
image
fusion
road
infrared
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110849032.9A
Other languages
English (en)
Inventor
王海伟
肖�琳
刘文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Order Of Magnitude Shanghai Information Technology Co ltd
Original Assignee
Order Of Magnitude Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Order Of Magnitude Shanghai Information Technology Co ltd filed Critical Order Of Magnitude Shanghai Information Technology Co ltd
Priority to CN202110849032.9A priority Critical patent/CN113643345A/zh
Publication of CN113643345A publication Critical patent/CN113643345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双光融合的多目道路智能识别方法，包括以下步骤：采集道路的可见光图像和红外图像；可见光图像和红外图像预处理后进行图像融合获取融合图像；可见光图像和红外图像通过三维重建获取三维点云图像；根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。通过影像融合并利用多目同步摄影生成深度图，以检测目标得准确尺寸、位置和距离。所述系统应用于自动驾驶场景时，使得车辆在任何道路，光线和天气条件下检测任何物体成为可能，极大扩展了自动驾驶系统的全天候应用场景。

Description

一种基于双光融合的多目道路智能识别方法
技术领域
本发明涉及立体视觉技术，尤其涉及一种基于双光融合的多目道路智能识别方法。
背景技术
立体视觉技术由于可以提供准确的深度信息并进行3D建模，已经被视为自动驾驶、机器人导航、AGV等环境感知领域的至关重要的视觉解决方案。相较于其他视觉技术，立体视觉技术不采用主动发射源，不需要融合其他传感器数据，在3D距离量测、自我位置识别、防碰撞、物体追踪、车道识别、道路边界识别等方面的表现卓越，处理速度亦可满足实时应用需求。
为了解决基于微光的立体视觉系统在极端天气和光照下“失明”的问题，红外成像技术必然成为未来视觉感知系统的重要一环。红外成像技术和微光成像技术原理不同，它通过感应物体发出的热信息进行成像，因此对于行车环境中行人、动物和其他生物的识别具有独特的优势。此外，近年来红外相机在尺寸和成本上的降低使它们成为未来视觉感知系统中不可缺少的组件。通过使用两台红外相机组成一个红外立体系统，不仅可以检测到具有热辐射表现得目标，还可以确定目标的距离和形状。
然而，立体视觉技术被广为担忧的一点，即其对抗极端天气和恶劣光照的能力。基于微光摄像头的立体视觉系统在极端天气和复杂光照下会出现“失明”的问题，毫米波测距测速雷达无法精细测量道路目标的三维信息，新兴激光雷达立体视觉系统在极端天气下同样面临失效问题。此外，基于单目的道路目标识别依赖于深度神经网络处理技术，会遇到训练网络中存在未知对象的极端情况，特别是极端天气以及复杂光照条件下目标识别准确率明显降低。
发明内容
鉴于目前存在的上述不足，本发明提供一种基于双光融合的多目道路智能识别方法，能够利用多目同步摄影生成深度图，以检测道路目标的准确尺寸、位置和距离等信息，使得车辆在任何道路，光线和天气条件下检测任何物体成为可能，极大扩展了自动驾驶系统的全天候应用场景。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于双光融合的多目道路智能识别方法，包括以下步骤：
采集道路的可见光图像和红外图像；
可见光图像和红外图像预处理后进行图像融合获取融合图像；
可见光图像和红外图像通过三维重建获取三维点云图像；
根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。
依照本发明的一个方面，所述采集道路的可见光图像和红外图像包括：通过前端图像系统采集，前端图像系统包括至少两个可见光相机和至少两个红外相机。
依照本发明的一个方面，所述可见光图像和红外图像预处理包括：进行图像配准，图像配准采用基于图像边缘特征的配准方法，在初始图像变换参数的基础上，自适应地完成不同距离下的图像配准，变换模型具体为：
Figure BDA0003181654890000021
依照本发明的一个方面，所述进行图像融合获取融合图像包括：在图像配准的基础上，分别对红外图像进行低通滤波和对可见光图像进行高通滤波，然后在YCbCr彩色空间完成伪彩色红外和可见红外的融合，融合模型具体如下：
Figure BDA0003181654890000022
其中，融合系数k为权重因子，决定最终输出的融合图像的融合程度。
依照本发明的一个方面，所述可见光通过三维重建获取三维点云图像包括：多个可见光相机获取同一目标的多幅图像，由于基线原因三维空间中的一点在多个相机图像中的位置产生视差，利用视差和多个相机的内外参数，通过三角测量的原理，即可得到目标在三维空间中的三维坐标，实现场景的三维重建，获取可见光的三维点云图像。
依照本发明的一个方面，所述红外图像通过三维重建获取三维点云图像包括：利用平面主动辐射式圆孔标定板，完成对红外立体相机的标定，获取多个红外相机的内外参数；对红外立体图像进行图像校正；对红外图像进行补全处理。
依照本发明的一个方面，所述对红外图像进行补全处理包括：采用红外图像边缘增强方法，增强图像中的边缘梯度；对红外图像中的显著目标进行相位一致性特征提取，再进行区域匹配，引入视差梯度约束和新人传播法提取特征点的视差图，得到显著特征的视差图；对于非显著区域，采用显著区域的插值法进行视差估计，生成全局图像的视差图；获取视差图后，再结合相机标定获取的相机内外参数，进行三维场景的立体重建，生成带有红外热信息的三维点云图像。
依照本发明的一个方面，所述根据融合图像对预先构建的深度学习网络进行训练检测包括：融合图像输入算法网络，通过fpn结构和pan结构上下采样融合，输出三个大小不同的特征图，从上到下分别对应深层/中层/浅层特征，通过调整置信度的阈值得到最终的道路目标信息。
依照本发明的一个方面，所述根据三维点云图像对预先构建的深度学习网络进行训练检测包括：在三维点云图像的点云数据上使用扩张卷积进行物体检测，包括七个扩张卷积层和一个小卷积层，通过3D_LMNET算法网络检测出道路目标信息。
依照本发明的一个方面，所述获取道路识别结果包括：将根据融合图像检测出的道路目标信息和根据三维点云图像检测出的道路目标信息通过加权融合算法得到最终检测出的道路目标信息作为道路识别结果。
本发明实施的优点：本发明所述的一种基于双光融合的多目道路智能识别方法，包括以下步骤：采集道路的可见光图像和红外图像；可见光图像和红外图像预处理后进行图像融合获取融合图像；可见光图像和红外图像通过三维重建获取三维点云图像；根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。能够解决单一成像传感器的天然不足，通过对微光和红外成像的智能融合，以及多目系统的配置，在图像采集端形成了完整的多维信息的采集平台，极大地扩展了系统获取多源信息的能力，解决了全天候和极端天气(如完全黑暗、雨、雾、霾和眩光)下系统工作能力问题。同时，搭配高速的实时计算平台和优化的深度学习网络，综合利用目标双光融合信息、三维信息，以提供更准确的目标检测，包括对特定目标如车辆、车道线、路桩、红绿灯、行人等道路交通要素自动识别和测量。该系统解决了目前道路监控及车路协同面临的两大挑战，一是精确探测并测量任何道路目标能力，二是在极端天气和光照条件下的感知能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种基于双光融合的多目道路智能识别方法的框架图；
图2为本发明所述的双光融合的步骤示意图；
图3为本发明所述的深度学习网络检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、图2和图3所示，一种基于双光融合的多目道路智能识别方法，包括以下步骤：
S1：采集道路的可见光图像和红外图像；
在实际应用中，所述采集道路的可见光图像和红外图像包括：通过前端图像系统采集，前端图像系统包括至少两个可见光相机和至少两个红外相机。
在实际应用中，如图1所示，本实施例具体采用了两个可见光相机A、B和两个红外相机A、B。
S2：可见光图像和红外图像预处理后进行图像融合获取融合图像；
在实际应用中，所述可见光图像和红外图像预处理包括：进行图像配准，图像配准采用基于图像边缘特征的配准方法，在初始图像变换参数的基础上，自适应地完成不同距离下的图像配准，变换模型具体为：
Figure BDA0003181654890000051
在实际应用中，所述进行图像融合获取融合图像包括：在图像配准的基础上，分别对红外图像进行低通滤波和对可见光图像进行高通滤波，然后在YCbCr彩色空间完成伪彩色红外和可见红外的融合，融合模型具体如下：
Figure BDA0003181654890000052
其中，融合系数k为权重因子，决定最终输出的融合图像的融合程度。
在实际应用中，如图1所示，包括图像预处理和图像智能融合。
在实际应用中，如图2所示，展示了图像配准双光融合的具体步骤，包括对红外图像的增强，对可见微光图像的降噪，接着计算配准参数进行图像几何配准，转至YcbCr空间后，对配准后的红外图像进行低通滤波，对配准后的可见微光图像进行高通滤波，然后确定融合系数，进行Y通道加权融合，转回RGB空间后进行融合图像输出。
S3：可见光图像和红外图像通过三维重建获取三维点云图像；
在实际应用中，双目立体视觉是两个平行放置的相机来模拟人眼，通过两个相机获取同一目标的两幅图像，由于基线原因三维空间中的一点在两个相机图像中的位置产生偏差(即视差)，利用视差和两相机的内外参数，通过三角测量的原理，即可得到目标在三维空间中的三维坐标，进而实现场景的三维重建。用户可根据任务的实际需求选择双目视觉系统的配置，包括两相机的基线、相机视场、分辨率和像素大小等。
在实际应用中，所述可见光通过三维重建获取三维点云图像包括：多个可见光相机获取同一目标的多幅图像，由于基线原因三维空间中的一点在多个相机图像中的位置产生视差，利用视差和多个相机的内外参数，通过三角测量的原理，即可得到目标在三维空间中的三维坐标，实现场景的三维重建，获取可见光的三维点云图像。
在实际应用中，如图1所示，对应多目三维重建步骤。
在实际应用中，红外双目系统在系统组成和图像处理上与可见光基本一致。但是，需要根据红外图像的特点，定制了相应的图像处理方法。本实施例采用一种针对立体红外图像的三维重建技术，克服了红外相机分辨率低导致的立体匹配容易失败的问题。
在实际应用中，所述红外图像通过三维重建获取三维点云图像包括：利用平面主动辐射式圆孔标定板，完成对红外立体相机的标定，获取多个红外相机的内外参数；对红外立体图像进行图像校正；对红外图像进行补全处理。
在实际应用中，主动辐射式标定板可采用加热或者照明的方式，突出标定圆孔。由于红外图像边缘模糊，圆孔比微光常用的棋盘格更容易提取，且标定精度更高。
在实际应用中，图像校正的目的是为了将两幅图像中的同名像素点处于同一水平线及极线，视差仅存在于垂直方向，因此可以缩小立体匹配时同名点对的搜素范围。
在实际应用中，由于红外图像纹理细节缺失，实际可用特征较少，边缘梯度不够锐利，导致微光的立体匹配技术不再适用，所以需要补全处理。
在实际应用中，所述对红外图像进行补全处理包括：采用红外图像边缘增强方法，增强图像中的边缘梯度；对红外图像中的显著目标进行相位一致性特征提取，再进行区域匹配，引入视差梯度约束和新人传播法提取特征点的视差图，得到显著特征的视差图；对于非显著区域，采用显著区域的插值法进行视差估计，生成全局图像的视差图；获取视差图后，再结合相机标定获取的相机内外参数，进行三维场景的立体重建，生成带有红外热信息的三维点云图像。
S4：根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。
在实际应用中，所述根据融合图像对预先构建的深度学习网络进行训练检测包括：融合图像输入算法网络，通过fpn结构和pan结构上下采样融合，输出三个大小不同的特征图，从上到下分别对应深层/中层/浅层特征，通过调整置信度的阈值得到最终的道路目标信息。
在实际应用中，具体可采用Yolov5算法，Yolov5算法为：利用多尺度特征进行对象检测，增加了Mosaic数据增强，自适应锚框计算，自适应图片缩放，Focus结构，CSP结构等模块，将输入图片进行N*N的栅格化(每个小单元叫grid-cell)，然后将图片中某个对象的位置的预测任务交与该对象中心位置所在的grid-cell的bouding-box，在一个CNN网络模型中完成图片中所有位置对象的box和类别预测，推理速度大大提升，精度大大增强，可以满足实时对象检测。
在实际应用中，不局限于Yolov5算法，此处仅为具体举例，可根据实际需要选择算法使用。
在实际应用中，如图1所示，对应深度学习目标识别和目标尺寸位置测量步骤。
在实际应用中，所述根据三维点云图像对预先构建的深度学习网络进行训练检测包括：在三维点云图像的点云数据上使用扩张卷积进行物体检测，包括七个扩张卷积层和一个小卷积层，通过3D_LMNET算法网络检测出道路目标信息。
在实际应用中，3D_LMNET算法为：优化的单级深层卷积神经网络LMNet，只使用点云数据来检测城市环境中的目标。提出的网络结构采用扩展卷积，随着深度的增加，感知场逐渐增大。
在实际应用中，所述获取道路识别结果包括：将根据融合图像检测出的道路目标信息和根据三维点云图像检测出的道路目标信息通过加权融合算法得到最终检测出的道路目标信息作为道路识别结果。
在实际应用中，道路目标信息包括人车信息等，具体道路识别流程如图3所示，两路分别获取人车信息，最后通过加权融合的方式获得最后的识别结果。
在实际应用中，本实施例带来的技术效果如下：
(1)所述方法为基于多光谱融合的多目三维视觉实现方法，在恶劣光照和天气条件下(包括完全黑暗、雨雪、雾、霾和眩光等)实现精确可靠道路目标检测，解决以往视觉系统面临的道路复杂差异化目标检测以及极端天气和光照条件下可靠工作的挑战。
(2)所述方法能够生成准确的三维点云数据，从而提供丰富而准确的逐像素目标三维信息，所述技术的使用为生成高分辨率点云三维提供了一种无发射源被动式且经济高效的解决方案。
(3)基于单目的道路目标识别以往依赖于深度神经网络技术，会遇到训练网络中存在未知对象的极端情况，而所述系统将目标双光融合信息、目标三维信息与深度神经网络相结合，以提供更准确的目标检测和分类。
(4)所述系统中多目多光谱相机经标定过后对同一场景观测，经过校正、插值、配准和融合后，现场综合数据处理单元可以计算得出超分辨率图像。所述技术的使用为生产高分辨图像提供了一种可靠的解决方案，有力提升道路监视显示效果。
(5)所述系统集成多种监控测量功能于一体，无需与其他监控系统配合，可以独立完成车身图像、车牌录入，完成车辆三维尺寸测量和车型分类，实现车辆位置、距离和速度测量，并兼顾行人等其他道路目标测量、识别和标记。相比于现有微光、毫米波、激光雷达复合道路监控系统，具有全面性。
(6)与应用于道路监控的激光雷达三维视觉系统相比，所述系统无运动部件工作寿命更长，不包括昂贵的光源部件价格更低。与应用于道路监控的毫米波雷达相比，所述系统更高的成像分辨率和更好的目标辨识能力。
本发明实施的优点：本发明所述的一种基于双光融合的多目道路智能识别方法，包括以下步骤：采集道路的可见光图像和红外图像；可见光图像和红外图像预处理后进行图像融合获取融合图像；可见光图像和红外图像通过三维重建获取三维点云图像；根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。能够解决单一成像传感器的天然不足，通过对微光和红外成像的智能融合，以及多目系统的配置，在图像采集端形成了完整的多维信息的采集平台，极大地扩展了系统获取多源信息的能力，解决了全天候和极端天气(如完全黑暗、雨、雾、霾和眩光)下系统工作能力问题。同时，搭配高速的实时计算平台和优化的深度学习网络，综合利用目标双光融合信息、三维信息，以提供更准确的目标检测，包括对特定目标如车辆、车道线、路桩、红绿灯、行人等道路交通要素自动识别和测量。该系统解决了目前道路监控及车路协同面临的两大挑战，一是精确探测并测量任何道路目标能力，二是在极端天气和光照条件下的感知能力。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于双光融合的多目道路智能识别方法，其特征在于，包括以下步骤：
采集道路的可见光图像和红外图像；
可见光图像和红外图像预处理后进行图像融合获取融合图像；
可见光图像和红外图像通过三维重建获取三维点云图像；
根据融合图像和三维点云图像对预先构建的深度学习网络进行训练检测获取道路识别结果。
2.根据权利要求1所述的基于双光融合的多目道路智能识别方法，其特征在于，所述采集道路的可见光图像和红外图像包括：通过前端图像系统采集，前端图像系统包括至少两个可见光相机和至少两个红外相机。
3.根据权利要求2所述的基于双光融合的多目道路智能识别方法，其特征在于，所述可见光图像和红外图像预处理包括：进行图像配准，图像配准采用基于图像边缘特征的配准方法，在初始图像变换参数的基础上，自适应地完成不同距离下的图像配准，变换模型具体为：
Figure FDA0003181654880000011
4.根据权利要求3所述的基于双光融合的多目道路智能识别方法，其特征在于，所述进行图像融合获取融合图像包括：在图像配准的基础上，分别对红外图像进行低通滤波和对可见光图像进行高通滤波，然后在YCbCr彩色空间完成伪彩色红外和可见红外的融合，融合模型具体如下：
Figure FDA0003181654880000012
其中，融合系数k为权重因子，决定最终输出的融合图像的融合程度。
5.根据权利要求2所述的基于双光融合的多目道路智能识别方法，其特征在于，所述可见光通过三维重建获取三维点云图像包括：多个可见光相机获取同一目标的多幅图像，由于基线原因三维空间中的一点在多个相机图像中的位置产生视差，利用视差和多个相机的内外参数，通过三角测量的原理，即可得到目标在三维空间中的三维坐标，实现场景的三维重建，获取可见光的三维点云图像。
6.根据权利要求5所述的基于双光融合的多目道路智能识别方法，其特征在于，所述红外图像通过三维重建获取三维点云图像包括：利用平面主动辐射式圆孔标定板，完成对红外立体相机的标定，获取多个红外相机的内外参数；对红外立体图像进行图像校正；对红外图像进行补全处理。
7.根据权利要求6所述的基于双光融合的多目道路智能识别方法，其特征在于，所述对红外图像进行补全处理包括：采用红外图像边缘增强方法，增强图像中的边缘梯度；对红外图像中的显著目标进行相位一致性特征提取，再进行区域匹配，引入视差梯度约束和新人传播法提取特征点的视差图，得到显著特征的视差图；对于非显著区域，采用显著区域的插值法进行视差估计，生成全局图像的视差图；获取视差图后，再结合相机标定获取的相机内外参数，进行三维场景的立体重建，生成带有红外热信息的三维点云图像。
8.根据权利要求1所述的基于双光融合的多目道路智能识别方法，其特征在于，所述根据融合图像对预先构建的深度学习网络进行训练检测包括：融合图像输入算法网络，通过fpn结构和pan结构上下采样融合，输出三个大小不同的特征图，从上到下分别对应深层/中层/浅层特征，通过调整置信度的阈值得到最终的道路目标信息。
9.根据权利要求8所述的基于双光融合的多目道路智能识别方法，其特征在于，所述根据三维点云图像对预先构建的深度学习网络进行训练检测包括：在三维点云图像的点云数据上使用扩张卷积进行物体检测，包括七个扩张卷积层和一个小卷积层，通过3D_LMNET算法网络检测出道路目标信息。
10.根据权利要求9所述的基于双光融合的多目道路智能识别方法，其特征在于，所述获取道路识别结果包括：将根据融合图像检测出的道路目标信息和根据三维点云图像检测出的道路目标信息通过加权融合算法得到最终检测出的道路目标信息作为道路识别结果。
CN202110849032.9A 2021-07-27 2021-07-27 一种基于双光融合的多目道路智能识别方法 Pending CN113643345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110849032.9A CN113643345A (zh) 2021-07-27 2021-07-27 一种基于双光融合的多目道路智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849032.9A CN113643345A (zh) 2021-07-27 2021-07-27 一种基于双光融合的多目道路智能识别方法

Publications (1)

Publication Number Publication Date
CN113643345A true CN113643345A (zh) 2021-11-12

Family

ID=78418495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849032.9A Pending CN113643345A (zh) 2021-07-27 2021-07-27 一种基于双光融合的多目道路智能识别方法

Country Status (1)

Country Link
CN (1) CN113643345A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035515A (zh) * 2022-06-15 2022-09-09 电子科技大学 一种馕识别方法
CN115663665A (zh) * 2022-12-08 2023-01-31 国网山西省电力公司超高压变电分公司 一种基于双目视觉的保护屏柜空开状态核验装置及方法
CN115830567A (zh) * 2023-02-16 2023-03-21 北京理工大学前沿技术研究院 一种弱光条件下道路目标融合感知方法及系统
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN117689664A (zh) * 2024-02-04 2024-03-12 杭州灵西机器人智能科技有限公司 一种无损检测方法、系统、装置及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035515A (zh) * 2022-06-15 2022-09-09 电子科技大学 一种馕识别方法
CN115663665A (zh) * 2022-12-08 2023-01-31 国网山西省电力公司超高压变电分公司 一种基于双目视觉的保护屏柜空开状态核验装置及方法
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN115830424B (zh) * 2023-02-09 2023-04-28 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN115830567A (zh) * 2023-02-16 2023-03-21 北京理工大学前沿技术研究院 一种弱光条件下道路目标融合感知方法及系统
CN117689664A (zh) * 2024-02-04 2024-03-12 杭州灵西机器人智能科技有限公司 一种无损检测方法、系统、装置及介质
CN117689664B (zh) * 2024-02-04 2024-05-14 杭州灵西机器人智能科技有限公司 一种无损检测方法、系统、装置及介质

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN111260597B (zh) 一种多波段立体相机的视差图像融合方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
Bertozzi et al. Low-level pedestrian detection by means of visible and far infra-red tetra-vision
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
Fernandes et al. Road detection using high resolution lidar
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN114114312A (zh) 一种基于多焦距相机与激光雷达融合的三维目标检测方法
Tan et al. Integrating Advanced Computer Vision and AI Algorithms for Autonomous Driving Systems
CN113139602A (zh) 基于单目相机和激光雷达融合的3d目标检测方法及系统
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN114332494A (zh) 车路协同场景下基于多源融合的三维目标检测与识别方法
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
CN114639115A (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
Appiah et al. Obstacle detection using stereo vision for self-driving cars
Mita et al. Robust 3d perception for any environment and any weather condition using thermal stereo
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
Nedevschi et al. Stereovision-based sensor for intersection assistance
Su Vanishing points in road recognition: A review
Wang et al. Target detection for construction machinery based on deep learning and multisource data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination