CN115578430A - 一种路面车辙病害的三维重构方法、电子设备及存储介质 - Google Patents

一种路面车辙病害的三维重构方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115578430A
CN115578430A CN202211479749.XA CN202211479749A CN115578430A CN 115578430 A CN115578430 A CN 115578430A CN 202211479749 A CN202211479749 A CN 202211479749A CN 115578430 A CN115578430 A CN 115578430A
Authority
CN
China
Prior art keywords
image
dimensional
rut
matrix
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211479749.XA
Other languages
English (en)
Other versions
CN115578430B (zh
Inventor
周子益
孟安鑫
贾磊
阚倩
辛甜甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Traffic Science Research Institute Co ltd
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Traffic Science Research Institute Co ltd
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Traffic Science Research Institute Co ltd, Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Traffic Science Research Institute Co ltd
Priority to CN202211479749.XA priority Critical patent/CN115578430B/zh
Publication of CN115578430A publication Critical patent/CN115578430A/zh
Application granted granted Critical
Publication of CN115578430B publication Critical patent/CN115578430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种路面车辙病害的三维重构方法、电子设备及存储介质，属于车辙病害的三维重构技术领域。包括以下步骤：S1.在车辆上安装气压式减振器、压电式加速度传感器和至少两台三维结构光相机，采集路面图像数据和车辆的加速度数据；S2.将采集到的路面图像数据进行预处理；S3.消除车辆振动对采集数据的影响；S4.将三维结构光相机采集到的路面图像数据进行融合；S5.构建三维空矩阵和平面断层切割，完成路面车辙病害的三维重构。解决了计算资源大、效率低和精度差的技术问题。

Description

一种路面车辙病害的三维重构方法、电子设备及存储介质
技术领域
本申请涉及一种三维重构方法，尤其涉及一种路面车辙病害的三维重构方法、电子设备及存储介质，属于车辙病害的三维重构技术领域。
背景技术
目前，路面车辙病害的检测是通过车载相机的方式开展，相机拍摄到的基本是二维图像，受到图像信息维度的影响，二维图像的采集效果，易受到周围光照、环境、阴影等因素的影响，使得通过二维图像对路面病害的识别准确率，难以维持在较高的水平。与二维图像相比，三维图像包含结构的深度信息，受光照、环境、阴影等的影响小，尤其是车辙类的病害，其与周围区域的深度差异明显。因此，可通过获取路面三维结构的方式，开展路面车辙病害的识别研究，提高路面病害识别的准确率。
三维图像可以呈现更多内容信息，但三维图像数据量大，处理复杂，需要对处理过程进行研究；同时，路面深度量值小，易受到车辆行驶信息和数据噪声的干扰，产生较大的偏差，另一方面，对于道路检测而言，单次相机采集的视野范围，需要覆盖单车道的长度，然而，受到相机安装高度、角度、采集效果的影响，单个相机的采集宽度难以满足采集需求，需要通过两个相机采集并进行图像融合的方式，实现单车道视野的覆盖。
针对上述问题，有研发人员提出一种基于路面连续激光点云的车辙精细三维特征提取方法（CN110675392A），该方法通过点云数据拟合路面平面，提取出车辙凹槽侧壁边缘线和凹槽底部中线信息；基于横断面激光点云扫描线，等间隔连续采样精确提取车辙平面轮廓位置点和横断面轮廓线。
但是，现实采集点云数据时，点云数据会随着车辆的颠簸发生竖向抖动偏差，严重影响数据采集精度；另一方面，直接对三维数据进行处理时，对计算机的要求比较高，占用计算资源比较大；而道路数据具有海量的特点，很难适应整条道路的计算，仅能分析局部路段进行分析，分析结果具有局限性。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的计算资源大、效率低和精度差的技术问题，本发明提供一种路面车辙病害的三维重构方法、电子设备及存储介质
方案一：一种路面车辙病害的三维重构方法，包括以下步骤：
S1.在车辆上安装气压式减振器、压电式加速度传感器和至少两台三维结构光相机，采集路面图像数据和车辆的加速度数据；
S2.将采集到的路面图像数据进行预处理；
S3.消除车辆振动对采集数据的影响；
S4.将三维结构光相机采集到的路面图像数据进行融合；
S5.构建三维空矩阵和平面断层切割，完成路面车辙病害的三维重构。
优选的，采集路面图像数据的方法是：驾驶车辆且将车速控制在70km/h内，利用三维结构光相机采集路面图像；
采集车辆的加速度数据的方法是：采用压电式加速度传感器采集车辆多个方向的加速度数据。
优选的，S2具体是，包括以下步骤：
S21.对图像进行变换；
将小波分解层数设置为10，小波基选择Haar，如下公式：
Figure 947013DEST_PATH_IMAGE001
其中，
Figure 980828DEST_PATH_IMAGE002
为支撑域的范围，
Figure 692432DEST_PATH_IMAGE003
为小波基的值；
S22.对图像进行增强；
S23.对图像进行编码压缩。
优选的，S3具体是，将压电式加速度传感器采集到的加速度数据作为修正值，对三维结构光相机采集到的路面图像数据进行修正，如下公式：
Figure 738711DEST_PATH_IMAGE004
其中，m为压电晶体的质量kg，c为胶层的阻尼系数N·s/m，k为压电晶体的刚度系数N/m，
Figure 877568DEST_PATH_IMAGE005
为压电晶体的位移m，
Figure 398679DEST_PATH_IMAGE006
为压电晶体的速度m/s，
Figure 913974DEST_PATH_IMAGE007
为压电晶体的加速度m/s2，F（t）为作用于压电式加速度传感器的外力N。
优选的，S4具体是，包括以下步骤：
S41.将待融合的三维点云图A1、A2分别进行平面投影，投影后的图像记为B1、B2；
S42.对图像B1和B2分别进行傅里叶变换：
Figure 820619DEST_PATH_IMAGE008
其中，
Figure 130378DEST_PATH_IMAGE009
代表图像像素矩阵，M和N为图像像素矩阵的行和列，q=0,1…M-1，r=0,1…N-1；
Figure 201102DEST_PATH_IMAGE010
表示
Figure 192192DEST_PATH_IMAGE011
的傅里叶变换，可以转换为三角函数表示方法，其中，u和v用于确定正余弦的频率；j表示复数；
S43.基于傅里叶变换后的图像，分别计算B1和B2的功率谱P1、P2和相位值Φ1和Φ2；
功率谱计算方法如下：
Figure 31972DEST_PATH_IMAGE012
其中，
Figure 965162DEST_PATH_IMAGE013
为
Figure 523182DEST_PATH_IMAGE014
的功率谱；
Figure 114700DEST_PATH_IMAGE015
和
Figure 746670DEST_PATH_IMAGE016
分别为
Figure 850761DEST_PATH_IMAGE017
的实部和虚部；
相位计算方法如下：
Figure 630498DEST_PATH_IMAGE018
S44.以图像B1为基准，通过图像B2刚性变换的方式，进行两幅图像的配准；
S45.记录下相位匹配值的最大值Φmax，记录B2m往B1方向平移的平移矩阵
Figure 963391DEST_PATH_IMAGE019
；
S46.记录相位匹配最大值对应的图像B2m的Tmax和Rmax；
Figure 777763DEST_PATH_IMAGE020
Figure 600225DEST_PATH_IMAGE021
其中，Tmax表示平移矩阵；Rmax表示旋转矩阵；
Figure 54209DEST_PATH_IMAGE022
为B2m往B1方向平移的平移矩阵；
S47.计算图像B1和B2m的重叠区域，记为矩形区域C；
S48.依据面积，对矩形区域C进行8等分，分割完成后，出现15个分割点；
S49.分别提取15个分割点位置，在三维点云图A1和A2中对应的高度值，分别计算高度的平均值H1和H2；
S410.计算高差∆H=H1-H2；定义向上为正方向，向下为负方向；
S411.以A1为基准，将A2通过平移矩阵Tmax、旋转矩阵Rmax和竖向移动位移∆H的位置变换，实现三维点云图A1和A2的配准融合，融合后的图像记为A3。
优选的，S44具体是，包括以下步骤：
S441.以图像B1的形心坐标（x1，y1）为坐标系原点O，沿图像长轴方向定义为x轴方向，沿图像短轴方向定位为y轴方向；
S442.确定图像B2的形心坐标（x2，y2）；
S443.以图像B1的形心位置为基准，通过沿y轴平移B2图像，实现两张图像的形心在同一y轴高度，平移向量为T1，图像B2平移后的图像记为B2m，平移前后的图像位置关系如下：
Figure 253109DEST_PATH_IMAGE023
Figure 859671DEST_PATH_IMAGE024
其中，
Figure 853035DEST_PATH_IMAGE025
为沿x方向的平移距离；
Figure 607364DEST_PATH_IMAGE026
为沿y方向的平移距离；
S444.以图片形心为旋转基准点，旋转角度记为α，旋转后，保证B2的长轴与B1的长轴共线，旋转后的位置与初始位置间的关系如下：
Figure 547639DEST_PATH_IMAGE027
Figure 71024DEST_PATH_IMAGE028
其中，（x0,y0）为初始位置，（x2，y2）为旋转后的位置，
Figure 687819DEST_PATH_IMAGE029
为旋转角度，R为旋转矩阵；
S445.以图像B1为基准，以B2m指向B1的方向为B2m的移动方向，将图像B2m向B1方向移动，当B2m与B1交叉时，移动的步长调整为1像素；此时，开始计算B2m与B1相位匹配值Φ，相位匹配值计算方法采用传统的傅里叶-梅林变换。
优选的，S5具体是，包括以下步骤：
S51.采用垂直投影的方式，将三维车辙图像进行垂直投影，得到车辙的二维图像P1；
S52.用卷积计算的方式，提取车辙的边缘，包括以下步骤：
S521.建立卷积矩阵Ux,Uy，分别如下：
Figure 929444DEST_PATH_IMAGE030
Figure 142251DEST_PATH_IMAGE031
S522.将车辙二维图像P1分别与矩阵Ux,Uy进行卷积运算，将卷积最大值作为输出值，运算结果为车辙图像的边缘；
S53.绘制车辙边缘的外接矩形，提取外接矩形的长度H和宽度W；
S54.提取三维车辙图像中，车辙病害的最大深度，记为D；
S55.建立一个空的三维矩阵J，三维矩阵的尺寸与车辙病害的长度、宽度和深度保持一致，三维矩阵的行数为W，列数为H，页数为D；矩阵内部元素均设置为0；
S56.提取采集到的三维车辙图像，采用平面A逐层切割图像的方式，记录全部层位的切割断面位置；
S57.将切割位置映射到S55所述的三维矩阵J中，切割断面区域的元素全部设置为1，即构建得到三维车辙形成的三维矩阵M。
方案二： 一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述一种路面车辙病害的三维重构方法的步骤。
方案三：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种路面车辙病害的三维重构方法。
本发明的有益效果如下：
（1）通过车辆防震、压电式加速度传感器数据的修正，可获取高精度的路面三维数据，尤其是深度方向的数据，精度更高；
（2）双相机采集数据的融合方法快速易行、普适性强，且占用计算资源少；
（3）路面车辙病害的三维重构和尺寸提取方法更加快速、便捷，占用计算资源少。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种路面车辙病害的三维重构方法流程示意图；
图2为以图像B1的形心坐标为坐标系原点O，沿图像长轴方向定义为x轴方向，沿图像短轴方向定位为y轴方向的坐标示意图；
图3为平移前后图像的位置关系示意图；
图4为旋转角度示意图；
图5为旋转后B1和B2m共线示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-图5说明本实施方式，一种路面车辙病害的三维重构方法，包括以下步骤：
S1.在车辆上安装气压式减振器、压电式加速度传感器和至少两台三维结构光相机；采集路面图像数据和车辆的加速度数据；
采集路面图像数据：驾驶车辆且将车速控制在70km/h内，利用三维结构光相机采集路面图像；
采集车辆的加速度数据：采用压电式加速度传感器采集车辆多个方向的加速度数据；
S2.将采集到的路面图像数据进行预处理；
对图像进行预处理的方法是：
S21.对图像进行变换；
将小波分解层数设置为10，小波基选择Haar，如下公式：
Figure 785722DEST_PATH_IMAGE032
其中，
Figure 120888DEST_PATH_IMAGE033
为支撑域的范围，
Figure 36761DEST_PATH_IMAGE034
为小波基的值；
采用小波变换的方式，处理采集到的路面三维数据，实现时域信息到频域信息的转变，进而提取道路表面的频率特征；同时，在频域上对路面信息进行处理时，可以减小计算量，获得更佳的处理效果。
S22.对图像进行增强；
图像在形成、传输和记录中，由于成像系统、传输介质和设备的不完善，导致图像质量下降；因此，为了提高图像的质量，去除噪声、提高图像的清晰度，采用传统的高斯滤波法对图像进行增强。
S23.对图像进行编码压缩。
图像编码压缩技术可减少描述图像的数据量，以便节省图像传输、处理时间和减少所占用的存储器容量，因此，采用哈夫曼编码方式，实现图像的压缩。
S3.消除车辆振动对采集数据的影响；
将压电式加速度传感器采集到的加速度数据作为修正值，对三维结构光相机采集到的路面图像数据进行修正，如下公式：
Figure 115575DEST_PATH_IMAGE035
其中，m为压电晶体的质量kg，c为胶层的阻尼系数N·s/m，k为压电晶体的刚度系数N/m，
Figure 551236DEST_PATH_IMAGE036
为压电晶体的位移m，
Figure 322883DEST_PATH_IMAGE037
为压电晶体的速度m/s，
Figure 460472DEST_PATH_IMAGE038
为压电晶体的加速度m/s2，F（t）为作用于压电式加速度传感器的外力N；
通常，道路检测通过车载相机的形式进行，因此，车辆行驶过程中，相机采集图像的质量影响车辙病害的分析效果；对于三维图像而言，深度方向的信息受到车辆振动的影响较大；因此，提出通过数据处理和加装防振设备两种方式组合的方法，消除车辆振动对数据造成的影响。
在车辆上安装气压式减振器，可将路面颠簸引起的振动由防振设备吸收，有效减小车载相机的振动。
S4.将三维结构光相机采集到的路面图像数据进行融合；
由于单相机的拍摄范围有限，无法无盖单个车道的宽度，本实施例采用两台相机协同拍摄的，开展路面信息的采集工作；两台相机同时拍摄时，需要将两台相机的图像融合成为一张图像，由于采集到的是三维图像，两张三维图像进行融合时，受到点云数量的影响，图像融合过程工作量大、计算时间长，融合效果易受到深度信息的影响；而路表的深度信息易受到采集过程的干扰，与平面信息相比，深度方向上点云的完美匹配更加困难；因此，将三维结构光相机采集到的路面图像数据进行融合，具体包括以下步骤：
S41.将待融合的三维点云图A1、A2分别进行平面投影，投影后的图像记为B1、B2；
S42.对图像B1和B2分别进行傅里叶变换：
Figure 342977DEST_PATH_IMAGE039
其中，
Figure 898723DEST_PATH_IMAGE040
代表图像像素矩阵，M和N为图像像素矩阵的行和列，q=0,1…M-1，r=0,1…N-1；
Figure 841272DEST_PATH_IMAGE041
表示
Figure 279206DEST_PATH_IMAGE042
的傅里叶变换，可以转换为三角函数表示方法，其中，u和v用于确定正余弦的频率；j表示复数；
S43.基于傅里叶变换后的图像，分别计算B1和B2的功率谱P1、P2和相位值Φ1和Φ2；
功率谱计算方法如下：
Figure 892633DEST_PATH_IMAGE043
其中，
Figure 365203DEST_PATH_IMAGE044
为
Figure 416335DEST_PATH_IMAGE045
的功率谱；
Figure 341566DEST_PATH_IMAGE046
和
Figure 565874DEST_PATH_IMAGE047
分别为
Figure 814322DEST_PATH_IMAGE048
的实部和虚部；
相位计算方法如下：
Figure 98673DEST_PATH_IMAGE049
S44.以图像B1为基准，通过图像B2刚性变换的方式，进行两幅图像的配准，包括以下步骤：
S441.以图像B1的形心坐标（x1，y1）为坐标系原点O，沿图像长轴方向定义为x轴方向，沿图像短轴方向定位为y轴方向；坐标系示意图参照图2；
S442.确定图像B2的形心坐标（x2，y2）；
S443.以图像B1的形心位置为基准，通过沿y轴平移B2图像，实现两张图像的形心在同一y轴高度，平移向量为T1，图像B2平移后的图像记为B2m，平移前后的图像位置关系如下：平移前后图像的位置关系示意图参照图3；
Figure 448882DEST_PATH_IMAGE050
Figure 476881DEST_PATH_IMAGE051
其中，
Figure 658464DEST_PATH_IMAGE052
为沿x方向的平移距离；
Figure 35087DEST_PATH_IMAGE053
为沿y方向的平移距离；
S444.以图片形心为旋转基准点，旋转角度记为α，旋转后，保证B2的长轴与B1的长轴共线，旋转后的位置与初始位置间的关系如下：
Figure 934910DEST_PATH_IMAGE054
Figure 438704DEST_PATH_IMAGE055
其中，（x0,y0）为初始位置，（x2，y2）为旋转后的位置，
Figure 740372DEST_PATH_IMAGE056
为旋转角度，R为旋转矩阵；旋转角度示意图参照图4，旋转后B1和B2m共线示意图参照图5；
S445.以图像B1为基准，以B2m指向B1的方向为B2m的移动方向，将图像B2m向B1方向移动，当B2m与B1交叉时，移动的步长调整为1像素；此时，开始计算B2m与B1相位匹配值Φ，相位匹配值计算方法采用传统的傅里叶-梅林变换。
S45.记录下相位匹配值的最大值Φmax，记录B2m往B1方向平移的平移矩阵
Figure 553476DEST_PATH_IMAGE057
；
S46.记录相位匹配最大值对应的图像B2m的Tmax和Rmax；
Figure 940595DEST_PATH_IMAGE058
Figure 310397DEST_PATH_IMAGE059
其中，Tmax表示平移矩阵；Rmax表示旋转矩阵；
Figure 138676DEST_PATH_IMAGE057
为B2m往B1方向平移的平移矩阵；
S47.计算图像B1和B2m的重叠区域，记为矩形区域C；
S48.依据面积，对矩形区域C进行8等分，分割完成后，出现15个分割点；
S49.分别提取15个分割点位置，在三维点云图A1和A2中对应的高度值，分别计算高度的平均值H1和H2；
S410.计算高差∆H=H1-H2；定义向上为正方向，向下为负方向；
S411.以A1为基准，将A2通过平移矩阵Tmax、旋转矩阵Rmax和竖向移动位移∆H的位置变换，实现三维点云图A1和A2的配准融合，融合后的图像记为A3。
S5.构建三维空矩阵和平面断层切割，完成路面车辙病害的三维重构；
S51.采用垂直投影的方式，将三维车辙图像进行垂直投影，得到车辙的二维图像P1；
S52.用卷积计算的方式，提取车辙的边缘，包括以下步骤：
S521.建立卷积矩阵Ux,Uy，分别如下：
Figure 935730DEST_PATH_IMAGE060
Figure 544566DEST_PATH_IMAGE061
S522.将车辙二维图像P1分别与矩阵Ux,Uy进行卷积运算，将卷积最大值作为输出值，运算结果为车辙图像的边缘；
S53.绘制车辙边缘的外接矩形，提取外接矩形的长度H和宽度W；
S54.提取三维车辙图像中，车辙病害的最大深度，记为D；
S55.建立一个空的三维矩阵J，三维矩阵的尺寸与车辙病害的长度、宽度和深度保持一致，三维矩阵的行数为W，列数为H，页数为D；矩阵内部元素均设置为0；
S56.提取采集到的三维车辙图像，采用平面A逐层切割图像的方式，记录全部层位的切割断面位置；
S57.将切割位置映射到S55所述的三维矩阵J中，切割断面区域的元素全部设置为1，即构建得到三维车辙形成的三维矩阵M。
实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例4、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种路面车辙病害的三维重构方法，其特征在于，包括以下步骤：
S1.在车辆上安装减振器、加速度传感器和至少两台三维结构光相机，采集路面图像数据和车辆的加速度数据；
S2.将采集到的路面图像数据进行预处理；
S3.消除车辆振动对采集数据的影响；
S4.将三维结构光相机采集到的路面图像数据进行融合；
S5.构建三维空矩阵和平面断层切割，完成路面车辙病害的三维重构。
2.根据权利要求1所述的一种路面车辙病害的三维重构方法，其特征在于，
采集路面图像数据的方法是：驾驶车辆且将车速控制在70km/h内，利用三维结构光相机采集路面图像；
采集车辆的加速度数据的方法是：采用加速度传感器采集车辆多个方向的加速度数据。
3.根据权利要求2所述的一种路面车辙病害的三维重构方法，其特征在于，S2具体是，包括以下步骤：
S21.对图像进行变换；
将小波分解层数设置为10，小波基选择Haar，如下公式：
Figure 842937DEST_PATH_IMAGE001
其中，
Figure 40569DEST_PATH_IMAGE002
为支撑域的范围，
Figure 8525DEST_PATH_IMAGE003
为小波基的值；
S22.对图像进行增强；
S23.对图像进行编码压缩。
4.根据权利要求3所述的一种路面车辙病害的三维重构方法，其特征在于，S3具体是，将加速度传感器采集到的加速度数据作为修正值，对三维结构光相机采集到的路面图像数据进行修正，如下公式：
Figure 42340DEST_PATH_IMAGE004
其中，m为压电晶体的质量kg，c为胶层的阻尼系数N·s/m，k为压电晶体的刚度系数N/m，
Figure 753944DEST_PATH_IMAGE005
为压电晶体的位移m，
Figure 619132DEST_PATH_IMAGE006
为压电晶体的速度m/s，
Figure 950799DEST_PATH_IMAGE007
为压电晶体的加速度m/s2，F（t）为作用于压电式加速度传感器的外力N。
5.根据权利要求4所述的一种路面车辙病害的三维重构方法，其特征在于，S4具体是，包括以下步骤：
S41.将待融合的三维点云图A1、A2分别进行平面投影，投影后的图像记为B1、B2；
S42.对图像B1和B2分别进行傅里叶变换：
Figure 534227DEST_PATH_IMAGE008
其中，
Figure 987205DEST_PATH_IMAGE009
代表图像像素矩阵，M和N为图像像素矩阵的行和列，q=0,1…M-1，r=0,1…N-1；
Figure 159429DEST_PATH_IMAGE010
表示
Figure 469188DEST_PATH_IMAGE011
的傅里叶变换，可以转换为三角函数表示方法，其中，u和v用于确定正余弦的频率；j表示复数；
S43.基于傅里叶变换后的图像，分别计算B1和B2的功率谱P1、P2和相位值Φ1和Φ2；
功率谱计算方法如下：
Figure 539912DEST_PATH_IMAGE012
其中，
Figure 531002DEST_PATH_IMAGE013
为
Figure 370782DEST_PATH_IMAGE014
的功率谱；
Figure 38392DEST_PATH_IMAGE015
和
Figure 330833DEST_PATH_IMAGE016
分别为
Figure 125614DEST_PATH_IMAGE017
的实部和虚部；
相位计算方法如下：
Figure 819901DEST_PATH_IMAGE018
S44.以图像B1为基准，通过图像B2刚性变换的方式，进行两幅图像的配准；
S45.记录下相位匹配值的最大值Φmax，记录B2m往B1方向平移的平移矩阵
Figure 658413DEST_PATH_IMAGE019
；
S46.记录相位匹配最大值对应的图像B2m的Tmax和Rmax；
Figure 703729DEST_PATH_IMAGE020
Figure 98938DEST_PATH_IMAGE021
其中，Tmax表示平移矩阵；Rmax表示旋转矩阵；
Figure 850994DEST_PATH_IMAGE019
为B2m往B1方向平移的平移矩阵；
S47.计算图像B1和B2m的重叠区域，记为矩形区域C；
S48.依据面积，对矩形区域C进行8等分，分割完成后，出现15个分割点；
S49.分别提取15个分割点位置，在三维点云图A1和A2中对应的高度值，分别计算高度的平均值H1和H2；
S410.计算高差∆H=H1-H2；定义向上为正方向，向下为负方向；
S411.以A1为基准，将A2通过平移矩阵Tmax、旋转矩阵Rmax和竖向移动位移∆H的位置变换，实现三维点云图A1和A2的配准融合，融合后的图像记为A3。
6.根据权利要求5所述的一种路面车辙病害的三维重构方法，其特征在于，S44具体是，包括以下步骤：
S441.以图像B1的形心坐标（x1，y1）为坐标系原点O，沿图像长轴方向定义为x轴方向，沿图像短轴方向定位为y轴方向；
S442.确定图像B2的形心坐标（x2，y2）；
S443.以图像B1的形心位置为基准，通过沿y轴平移B2图像，实现两张图像的形心在同一y轴高度，平移向量为T1，图像B2平移后的图像记为B2m，平移前后的图像位置关系如下：
Figure 939035DEST_PATH_IMAGE022
Figure 143752DEST_PATH_IMAGE023
其中，
Figure 342652DEST_PATH_IMAGE024
为沿x方向的平移距离；
Figure 745951DEST_PATH_IMAGE025
为沿y方向的平移距离；
S444.以图片形心为旋转基准点，旋转角度记为α，旋转后，保证B2的长轴与B1的长轴共线，旋转后的位置与初始位置间的关系如下：
Figure 191845DEST_PATH_IMAGE026
Figure 946174DEST_PATH_IMAGE027
其中，（x0,y0）为初始位置，（x2，y2）为旋转后的位置，
Figure 620869DEST_PATH_IMAGE028
为旋转角度，R为旋转矩阵；
S445.以图像B1为基准，以B2m指向B1的方向为B2m的移动方向，将图像B2m向B1方向移动，当B2m与B1交叉时，移动的步长调整为1像素；此时，开始计算B2m与B1相位匹配值Φ，相位匹配值计算方法采用传统的傅里叶-梅林变换。
7.根据权利要求6所述的一种路面车辙病害的三维重构方法，其特征在于，S5具体是，包括以下步骤：
S51.采用垂直投影的方式，将三维车辙图像进行垂直投影，得到车辙的二维图像P1；
S52.用卷积计算的方式，提取车辙的边缘，包括以下步骤：
S521.建立卷积矩阵Ux,Uy，分别如下：
Figure 144255DEST_PATH_IMAGE029
Figure 761050DEST_PATH_IMAGE030
S522.将车辙二维图像P1分别与矩阵Ux,Uy进行卷积运算，将卷积最大值作为输出值，运算结果为车辙图像的边缘；
S53.绘制车辙边缘的外接矩形，提取外接矩形的长度H和宽度W；
S54.提取三维车辙图像中，车辙病害的最大深度，记为D；
S55.建立一个空的三维矩阵J，三维矩阵的尺寸与车辙病害的长度、宽度和深度保持一致，三维矩阵的行数为W，列数为H，页数为D；矩阵内部元素均设置为0；
S56.提取采集到的三维车辙图像，采用平面A逐层切割图像的方式，记录全部层位的切割断面位置；
S57.将切割位置映射到S55所述的三维矩阵J中，切割断面区域的元素全部设置为1，即构建得到三维车辙形成的三维矩阵M。
8.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-7任一项所述的一种路面车辙病害的三维重构方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种路面车辙病害的三维重构方法。
CN202211479749.XA 2022-11-24 2022-11-24 一种路面车辙病害的三维重构方法、电子设备及存储介质 Active CN115578430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211479749.XA CN115578430B (zh) 2022-11-24 2022-11-24 一种路面车辙病害的三维重构方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211479749.XA CN115578430B (zh) 2022-11-24 2022-11-24 一种路面车辙病害的三维重构方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115578430A true CN115578430A (zh) 2023-01-06
CN115578430B CN115578430B (zh) 2023-04-07

Family

ID=84590763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211479749.XA Active CN115578430B (zh) 2022-11-24 2022-11-24 一种路面车辙病害的三维重构方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115578430B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041512A (zh) * 2023-10-09 2023-11-10 武汉工程大学 道路表面三维信息检测数据实时传输与可视化通信系统
CN117079147A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101089548A (zh) * 2007-07-06 2007-12-19 哈尔滨工业大学 路面车辙三维信息检测装置及检测方法
CN205711654U (zh) * 2016-03-18 2016-11-23 交通运输部科学研究院 一种三维可视化的路面破损信息的检测装置
CN107633516A (zh) * 2017-09-21 2018-01-26 武汉武大卓越科技有限责任公司 一种识别路面变形类病害的方法和装置
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
WO2021115961A1 (en) * 2019-12-11 2021-06-17 Continental Automotive Gmbh Method for reconstruction of a feature in an environmental scene of a road
CN115018870A (zh) * 2022-06-15 2022-09-06 长安大学 基于bim的三维路面病害信息采集与可视化系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101089548A (zh) * 2007-07-06 2007-12-19 哈尔滨工业大学 路面车辙三维信息检测装置及检测方法
CN205711654U (zh) * 2016-03-18 2016-11-23 交通运输部科学研究院 一种三维可视化的路面破损信息的检测装置
CN107633516A (zh) * 2017-09-21 2018-01-26 武汉武大卓越科技有限责任公司 一种识别路面变形类病害的方法和装置
WO2021115961A1 (en) * 2019-12-11 2021-06-17 Continental Automotive Gmbh Method for reconstruction of a feature in an environmental scene of a road
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
CN115018870A (zh) * 2022-06-15 2022-09-06 长安大学 基于bim的三维路面病害信息采集与可视化系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐为驰等: "基于图像的路面病害检测方法研究", 《公路交通科技(应用技术版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041512A (zh) * 2023-10-09 2023-11-10 武汉工程大学 道路表面三维信息检测数据实时传输与可视化通信系统
CN117079147A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质
CN117079147B (zh) * 2023-10-17 2024-02-27 深圳市城市交通规划设计研究中心股份有限公司 一种道路内部病害识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN115578430B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115578430B (zh) 一种路面车辙病害的三维重构方法、电子设备及存储介质
US10764559B2 (en) Depth information acquisition method and device
WO2019105044A1 (zh) 一种镜头畸变矫正和特征提取的方法及系统
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
JP2021120864A (ja) 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
US20110285810A1 (en) Visual Tracking Using Panoramas on Mobile Devices
CN112254656B (zh) 一种基于结构表面点特征的立体视觉三维位移测量方法
CN111080805A (zh) 标注对象立体框图生成方法、装置、电子设备及存储介质
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN115908526B (zh) 一种基于路面车辙病害三维重构的车辙长度计算方法
CN105427333A (zh) 视频序列图像的实时配准方法、系统及拍摄终端
CN115937289B (zh) 一种基于路面车辙病害三维重构的车辙深度计算方法
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN116777963A (zh) 一种点云和图像配准方法、装置、电子设备及存储介质
CN115294538A (zh) 障碍物检测方法及装置、存储介质、终端
CN112907745B (zh) 一种数字正射影像图生成方法及装置
CN110533769B (zh) 一种翻开书本图像的平整化方法及终端
CN116091322B (zh) 超分辨率图像重建方法和计算机设备
Brunken et al. Road surface reconstruction by stereo vision
CN115908525B (zh) 一种基于路面车辙病害三维重构的车辙体积计算方法
CN115239903A (zh) 地图的生成方法、装置、电子设备和存储介质
CN114119963A (zh) 一种高精地图路牌的生成方法及装置
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN113643369A (zh) 针对遥感影像的定位信息校正方法
CN112767442A (zh) 一种基于顶视角的行人三维检测跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant