CN112348775B - 基于车载环视的路面坑塘检测系统及方法 - Google Patents

基于车载环视的路面坑塘检测系统及方法 Download PDF

Info

Publication number
CN112348775B
CN112348775B CN202011092104.1A CN202011092104A CN112348775B CN 112348775 B CN112348775 B CN 112348775B CN 202011092104 A CN202011092104 A CN 202011092104A CN 112348775 B CN112348775 B CN 112348775B
Authority
CN
China
Prior art keywords
image
images
pit
fisheye
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011092104.1A
Other languages
English (en)
Other versions
CN112348775A (zh
Inventor
丁炜
卢敏
于维欣
郭叶
喻钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Urban Construction City Operation Group Co ltd
Original Assignee
Shanghai Urban Construction City Operation Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Urban Construction City Operation Group Co ltd filed Critical Shanghai Urban Construction City Operation Group Co ltd
Priority to CN202011092104.1A priority Critical patent/CN112348775B/zh
Publication of CN112348775A publication Critical patent/CN112348775A/zh
Application granted granted Critical
Publication of CN112348775B publication Critical patent/CN112348775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于车载环视的路面坑塘检测系统及方法，所述路面坑塘检测系统包括：图像采集模块，用以获取视频流数据；矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。本发明可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。

Description

基于车载环视的路面坑塘检测系统及方法
技术领域
本发明属于道路检测技术领域，涉及一种坑塘检测方法，尤其涉及一种基于车载环视的路面坑塘检测系统及方法。
背景技术
传统的道路养护单位在日常工作中，会配备专门的巡检车辆，通常两人一组，完成对道路的巡检，记录道路的坑塘情况，判断是否需要维修。但是由于人员检测的不确定性以及对检测后内容的可视化、数字化以及可追溯性的不可实现，会导致工作效率的低下。为了更有效、更完整记录路面信息，需要实现对路面信息的数字化、可视化、智能化。从而提升在路面病害，特别是坑塘检测方面的工作效率。
目前已有的基于计算机视觉的路面病害检验方法和系统，不仅效率低下，每次巡检只能检查最多一根车道，而且对于路面病害的自动检测方法主要基于传统的图像处理方法，精度和稳定性都远远达不到实战应用水平。严重阻碍了AI+时代路面养护信息数字化、可视化、智能化的发展。
有鉴于此，如今迫切需要设计一种新的路面病害检验方式，以便克服现有路面病害检验方式存在的上述至少部分缺陷。
发明内容
本发明提供一种基于车载环视的路面坑塘检测系统及方法，可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。
为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
一种基于车载环视的路面坑塘检测系统，其特征在于，所述路面坑塘检测系统包括：
图像采集模块，用以采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理分配独立的线程，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求；
鱼眼矫正模块，用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1；
鸟瞰拼接模块，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m；
深度特征提取模块，基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下坑塘目标信息的量化和习得特征抽取；选用Inceptionv3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量；
病害分析模块，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将深度特征提取模块中的Inception v3作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度；随后通过设置适当阈值，过滤掉概率小于设定阈值、准确度低于设定阈值的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小；
所述鱼眼矫正模块用以利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u,v)和畸变图像(u',v')的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；
所述鸟瞰拼接模块，用以根据广角相机模型，f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；
所述无缝拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；
设定图像I1(x,y)和图像I2(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，α是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
所述亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；
对于一个图像序列S1、S2、S3、S4,假设Si-1和Si是两幅相邻的平面图像，在它们的重叠区域，计算图像Si的校正系数：
其中，Cc,j(p)是像素点p在色彩通道c的伽马矫正后的颜色值；
三维二维坐标转化方式为：f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
根据本发明的另一个方面，采用如下技术方案：
一种基于车载环视的路面坑塘检测系统，所述路面坑塘检测系统包括：
图像采集模块，用以获取视频流数据；
矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；
鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；
深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及
病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。
作为本发明的一种实施方式，所述矫正模块为鱼眼矫正模块，用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
作为本发明的一种实施方式，鸟瞰拼接模块利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像。
作为本发明的一种实施方式，所述病害分析模块采用YOLO v3作为坑塘目标检测的整体网络框架，将深度特征提取模块中的Inception v3作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度；随后通过设置适当阈值，过滤掉概率小于设定阈值、准确度低于设定阈值的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
根据本发明的又一个方面，采用如下技术方案：
一种基于车载环视的路面坑塘检测方法，所述方法包括：
图像采集步骤，采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理，分配独立的线程，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求；
鱼眼矫正步骤，利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正。本发明利用棋盘格标定板，通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1；
鸟瞰拼接步骤，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为了加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，我们同样的将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡等后处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m；
深度特征提取步骤，基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下，坑塘目标信息的量化和习得特征抽取；选用Inceptionv3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量；
病害分析步骤，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将其原有的主干darknet-53替换为深度特征提取模块中的Inception v3，作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度，随后通过设置适当阈值，过滤概率小、准确度低的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小；
所述鱼眼矫正步骤中，利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN，f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...；
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u,v)和畸变图像(u',v')的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；
所述鸟瞰拼接步骤中，根据广角相机模型，f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；
所述无缝拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；
设定图像I1(x,y)和图像I2(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，α是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
所述亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；
对于一个图像序列S1、S2、S3、S4,假设Si-1和Si是两幅相邻的平面图像，在它们的重叠区域，计算图像Si的校正系数：
其中，Cc,j(p)是像素点p在色彩通道c的伽马矫正后的颜色值；
三维二维坐标转化方式为：f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
根据本发明的又一个方面，采用如下技术方案：
一种基于车载环视的路面坑塘检测方法，所述路面坑塘检测方法包括：
获取视频流数据；
对获取的图像进行畸变矫正；
对矫正的图像进行融合拼接；
基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及
基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。
作为本发明的一种实施方式，对获取的图像进行畸变矫正步骤中，利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
作为本发明的一种实施方式，对矫正的图像进行融合拼接步骤中，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像。
作为本发明的一种实施方式，获取图像中潜在的坑塘位置及坑塘目标区域的大小步骤中，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将其原有的主干darknet-53替换为深度特征提取模块中的Inception v3，作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度，随后通过设置适当阈值，过滤概率小、准确度低的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
本发明的有益效果在于：本发明提出的基于车载环视的路面坑塘检测系统及方法，可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。
相比现有方案，本发明具有如下优势：
(1)性价比高：传感器成本相对低廉，仅通过四枚高清鱼眼摄像头+GPS模块，便可实现路面损伤(坑塘)的检测、识别、定位及测量。其中识别准确率>85％，测量误差<15cm。是目前为止，基于视觉的路面损害检测在实战应用中的领先水准；
(2)实用性好：勘测范围广，借助四颗高清广角(单颗摄像头可视范围>180°)鱼眼摄像头，在保证捕获图像高解析度的前提下，目前可覆盖区域为横向三车道，未来可进一步提升至四车道。而其他两种方案仅可覆盖车辆行驶所在单车道，且分辨率较低，严重影响检测效果及实用性。
(3)精准度高：由于三维真实世界与二维图像之间透视关系的存在，目前基于计算机视觉的路面病害检测方法，通常是基于单目或者双目摄像头，所得到的普通视角下的坑塘图像无法真实反应坑塘在现实中的尺度大小。而本方案借助四目鱼眼摄像头以及相关图像转换算法，可以精确的将坑塘在二维图像坐标系中的位置及大小，折算成三维现实世界中的位置及大小。
附图说明
图1为本发明一实施例中路面坑塘检测系统的组成示意图。
图2为本发明一实施例中路面坑塘检测方法的流程图。
图3为本发明一实施例中路面坑塘检测方法的流程图。
图4为本发明一实施例中多路视频图像同步采集流程示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
说明书中的“连接”既包含直接连接，也包含间接连接。
本发明揭示了一种基于车载环视的路面坑塘检测系统，图1为本发明一实施例中路面坑塘检测系统的组成示意图；请参阅图1，所述路面坑塘检测系统包括：图像采集模块1、矫正模块2、鸟瞰拼接模块3、深度特征提取模块4及病害分析模块5。
图像采集模块1用以获取视频流数据；矫正模块2用以对所述图像采集模块获取的图像进行畸变矫正；鸟瞰拼接模块3用以对经过所述矫正模块矫正的图像进行融合拼接；深度特征提取模块4用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；病害分析模块5用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。
在本发明的一实施例中，图像采集模块1用以采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理分配独立的线程，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求。
鱼眼矫正模块2用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
在一实施例中，所述鱼眼矫正模块2用以利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN，f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...；
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u,v)和畸变图像(u',v')的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1。
鸟瞰拼接模块3用以利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m。
在一实施例中，所述鸟瞰拼接模块，用以根据广角相机模型(Omnidirectionalcamera model)，f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+…，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2。
所述无缝拼接可以采用图像融合方法(image fusion)，该方法基于像素值的加权平均平滑转换。
设定图像I1(x,y)和图像I2(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，α是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
所述亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致。
对于一个图像序列S1、S2、S3、S4,假设Si-1和Si是两幅相邻的平面图像，在它们的重叠区域，计算图像Si的校正系数：
其中，Cc,j(p)是像素点p在色彩通道c的伽马矫正后的颜色值。
深度特征提取模块4用以基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下坑塘目标信息的量化和习得特征抽取；选用Inception v3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量。
病害分析模块5用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将深度特征提取模块中的Inception v3作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度；随后通过设置适当阈值，过滤掉概率小于设定阈值、准确度低于设定阈值的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
在一实施例中，三维二维坐标转化方式为：f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
本发明还揭示一种基于车载环视的路面坑塘检测方法，图2为本发明一实施例中路面坑塘检测方法的流程图；请参阅图2，在本发明的一实施例中，所述路面坑塘检测方法包括：
获取视频流数据；
对获取的图像进行畸变矫正；
对经过矫正的图像进行融合拼接；
基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及
基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。
图3为本发明一实施例中路面坑塘检测方法的流程图；请参阅图3，在本发明的一实施例中，本发明基于车载环视的路面坑塘检测方法包括如下步骤：
步骤S1、图像采集步骤，采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理，分配独立的线程(如图4所示)，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求。
步骤S2、鱼眼矫正步骤，利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正。本发明利用棋盘格标定板，通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
在一实施例中，所述鱼眼矫正步骤中，利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN，f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...；
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u,v)和畸变图像(u',v')的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1。
步骤S3、鸟瞰拼接步骤，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为了加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，我们同样的将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡等后处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m。
在一实施例中，所述鸟瞰拼接步骤中，根据广角相机模型(Omnidirectionalcamera model)，f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；
所述无缝拼接采用图像融合方法(image fusion)，该方法基于像素值的加权平均平滑转换；
设定图像I1(x,y)和图像I2(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，α是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
所述亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；
对于一个图像序列S1、S2、S3、S4,假设Si-1和Si是两幅相邻的平面图像，在它们的重叠区域，计算图像Si的校正系数：
其中，Cc,j(p)是像素点p在色彩通道c的伽马矫正后的颜色值；
步骤S4、深度特征提取步骤，基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下，坑塘目标信息的量化和习得特征抽取；选用Inception v3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量；
步骤S5、病害分析步骤，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将其原有的主干darknet-53替换为深度特征提取模块中的Inception v3，作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度，随后通过设置适当阈值，过滤概率小、准确度低的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
其中，三维二维坐标转化方式可以为：f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+…，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
综上所述，基于车载环视的路面坑塘检测系统及方法，可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (8)

1.一种基于车载环视的路面坑塘检测系统，其特征在于，所述路面坑塘检测系统包括：
图像采集模块，用以获取视频流数据；
矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；
鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；
深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及
病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小；
所述矫正模块用以利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN
f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u，v)和畸变图像(u′，v′)的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；
所述鸟瞰拼接模块，用以根据广角相机模型，f(u，v)＝PX；其中，f(u，v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；
所述拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；
设定图像I1(x，y)和图像I2(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，a是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；
对于一个图像序列s1、s2、s3、s4，假设si-1和si是两幅相邻的平面图像，在它们的重叠区域，计算图像si的校正系数：
其中，cc，j(ρ)是像素点p在色彩通道c的伽马矫正后的颜色值；
三维二维坐标转化方式为：f(u，v)＝PX；其中，f(u，v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
2.根据权利要求1所述的基于车载环视的路面坑塘检测系统，其特征在于：
所述矫正模块为鱼眼矫正模块，用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
3.根据权利要求1所述的基于车载环视的路面坑塘检测系统，其特征在于：
鸟瞰拼接模块利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像。
4.根据权利要求1所述的基于车载环视的路面坑塘检测系统，其特征在于：
所述病害分析模块采用YOLO v3作为坑塘目标检测的整体网络框架，将深度特征提取模块中的Inception v3作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度；随后通过设置适当阈值，过滤掉概率小于设定阈值、准确度低于设定阈值的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
5.一种基于车载环视的路面坑塘检测方法，其特征在于，所述路面坑塘检测方法包括：
获取视频流数据；
对获取的图像进行畸变矫正；
对矫正的图像进行融合拼接；
基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；以及
基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小；
所述矫正步骤中，利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a0，a1，a2，...，aN，f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...；
其中u、v分别为像素点在传感器平面的坐标；
在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u，v)和畸变图像(u′，v′)的放射变换关系：
根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；
所述拼接步骤中，根据广角相机模型，f(μ，v)＝PX；其中，f(u，v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；
所述拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；
设定图像I1(x，y)和图像I2(x，y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：
其中，a是权重系数，由下面公式计算：
其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；
亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；
对于一个图像序列s1、s2、s3、S4，假设si-1和si是两幅相邻的平面图像，在它们的重叠区域，计算图像si的校正系数：
其中，Cc，j(p)是像素点p在色彩通道c的伽马矫正后的颜色值；
三维二维坐标转化方式为：f(u，v)＝PX；其中，f(u，v)即为上述多项式函数f(ρ)＝a0+a1ρ+a2ρ2+a3ρ3+a4ρ4+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。
6.根据权利要求5所述的基于车载环视的路面坑塘检测方法，其特征在于：
对获取的图像进行畸变矫正步骤中，利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1。
7.根据权利要求5所述的基于车载环视的路面坑塘检测方法，其特征在于：
对矫正的图像进行融合拼接步骤中，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像。
8.根据权利要求5所述的基于车载环视的路面坑塘检测方法，其特征在于：
获取图像中潜在的坑塘位置及坑塘目标区域的大小步骤中，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLOv3作为坑塘目标检测的整体网络框架，将其原有的主干darknet-53替换为深度特征提取模块中的Inception v3，作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度，随后通过设置适当阈值，过滤概率小、准确度低的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小。
CN202011092104.1A 2020-10-13 2020-10-13 基于车载环视的路面坑塘检测系统及方法 Active CN112348775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011092104.1A CN112348775B (zh) 2020-10-13 2020-10-13 基于车载环视的路面坑塘检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092104.1A CN112348775B (zh) 2020-10-13 2020-10-13 基于车载环视的路面坑塘检测系统及方法

Publications (2)

Publication Number Publication Date
CN112348775A CN112348775A (zh) 2021-02-09
CN112348775B true CN112348775B (zh) 2024-04-09

Family

ID=74361767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092104.1A Active CN112348775B (zh) 2020-10-13 2020-10-13 基于车载环视的路面坑塘检测系统及方法

Country Status (1)

Country Link
CN (1) CN112348775B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191952A (zh) * 2021-06-02 2021-07-30 重庆渝微电子技术研究院有限公司 一种360度全景环视设备拼接图像评价方法
CN116012376B (zh) * 2023-03-23 2023-07-04 深圳佑驾创新科技有限公司 目标检测方法、装置以及车辆
CN116758507B (zh) * 2023-07-03 2023-12-19 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN117151968B (zh) * 2023-10-25 2024-02-27 南京芯驰半导体科技有限公司 车辆的图像处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046182A (ko) * 2018-10-18 2020-05-07 엔에이치엔 주식회사 딥러닝 기반 이미지 보정 탐지 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046182A (ko) * 2018-10-18 2020-05-07 엔에이치엔 주식회사 딥러닝 기반 이미지 보정 탐지 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法

Also Published As

Publication number Publication date
CN112348775A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348775B (zh) 基于车载环视的路面坑塘检测系统及方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN106485751B (zh) 应用于基桩检测中的无人机摄影成像及数据处理方法及系统
CN112396562A (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN114067197B (zh) 一种基于目标检测及双目视觉的管道缺陷识别与定位方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN116704048B (zh) 一种双光配准方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN113160053A (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN112561996A (zh) 一种自主水下机器人回收对接中目标检测方法
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN115375581A (zh) 基于事件时空同步的动态视觉事件流降噪效果评价方法
CN114372919B (zh) 一种双挂汽车列车全景环视图像拼接方法及系统
CN115376028A (zh) 基于稠密特征点拼接和改进型yolov 5的目标检测方法
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
CN113936031A (zh) 一种基于机器视觉的云影轨迹预测方法
CN112308776B (zh) 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant