CN117451000B - 一种智轨列车道路路基沉降机器视觉检测方法及系统 - Google Patents

一种智轨列车道路路基沉降机器视觉检测方法及系统 Download PDF

Info

Publication number
CN117451000B
CN117451000B CN202311787068.4A CN202311787068A CN117451000B CN 117451000 B CN117451000 B CN 117451000B CN 202311787068 A CN202311787068 A CN 202311787068A CN 117451000 B CN117451000 B CN 117451000B
Authority
CN
China
Prior art keywords
image
settlement
point
schneider
rail train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311787068.4A
Other languages
English (en)
Other versions
CN117451000A (zh
Inventor
吴庆东
刘兆惠
刘元强
马思涛
王鹏华
刘亚楠
张国燕
徐瑶
荆霖
路伟岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Shandong Luqiao Group Co Ltd
Original Assignee
Shandong University of Science and Technology
Shandong Luqiao Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology, Shandong Luqiao Group Co Ltd filed Critical Shandong University of Science and Technology
Priority to CN202311787068.4A priority Critical patent/CN117451000B/zh
Publication of CN117451000A publication Critical patent/CN117451000A/zh
Application granted granted Critical
Publication of CN117451000B publication Critical patent/CN117451000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D33/00—Testing foundations or foundation structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种智轨列车道路路基沉降机器视觉检测方法及系统，属于路基沉降检测技术领域。所述检测方法包括：S1、对智轨列车道路的路基沉降监测点Schneider编码标识进行图像采集与图像预处理；S2、基于Schneider编码标识获取预处理后图像的圆心点；S3、使用双目立体匹配算法对所述圆心点进行三维坐标的计算；S4、对所述Schneider编码标识进行解码，基于解码内容以及圆心点三维坐标的计算结果，获得智轨列车道路路基在各监测点的沉降量。本发明采用仿射变换对监测点Schneider编码标识图像进行矫正，实现对监测点标识中心点定位结果的修正，从而提高路基沉降监测系统的测量精度。

Description

一种智轨列车道路路基沉降机器视觉检测方法及系统
技术领域
本发明属于路基沉降检测技术领域，具体涉及一种智轨列车道路路基沉降机器视觉检测方法及系统。
背景技术
路基沉降检测数据是道路建设质量评定的重要指标，为路基变化趋势提供重要的基础资料。
工程实践中常用的道路路基沉降检测方法有沉降板测量法、横剖测量法、分层沉降法，随着科技的发展，又出现了光纤传感器测量法、卫星遥感测量法、视觉测量法等。其中，沉降板测量法具有易于操作、造价低的优势，但沉降板需要在施工过程中埋设在路基内，且每一个埋设环节都要严格控制，从埋设时机的选择、初始数据的采集，从土坑的开挖到沉降板的放置，从土坑的尺寸大小到回填土的夯实均需严格把关，这些都直接影响到沉降监测数据的可靠性，且由于施工过程复杂，其损坏率高达 68.7%；横剖测量法在小断面测量中应用较多，并且横剖测量法、分层测量法这两种人工测量方法在测量过程中均须严格按照规范进行，测量精度对环境依赖性较大，极易受到风力、湿度等环境因素的影响，测试质量较难控制，测量稳定性不高；光纤传感器测量法是基于光通信技术发展而来的，在国防、航天领域应用广泛，可通过光纤弯曲曲率计算路基沉降量，具有测量距离长，测量精度高，可实现分布式测量，可实现远程实时检测的特点，但是光纤传感器测量待测物的变形幅度有限，且光纤材料价格昂贵，若应用于智轨列车道路路基沉降检测则需要沿线布设大量光纤传感器，不仅成本高且精密仪器和光学系统维护困难，而且按照工程经验，近海滩涂区高填方软土路基会产生较大的沉降变形，因此该方法在近海滩涂区智轨列车道路路基沉降检测实际应用中受到限制；卫星遥感测量法通过差分干涉测量地表形变，进而实现对道路路基各个方向位移的测量，其中最常用的是合成孔径雷达干涉测量法（InSAR），其利用卫星上的合成孔径雷达或干涉雷达获取道路沿线的雷达图像和高度数据，这些数据可以通过商业或科学卫星获取，如ERS-1/2、Jason-1、Sentinel-1等，将获取的雷达图像和高度数据进行处理和分析，通过对比不同时间段的雷达图像，可以获得路基的形变信息，具有测量速度快、效率高的特点，近些年来在观测城区地表塌陷，矿山开发沉陷，高原冻土变形，火山活动位移领域应用广泛，测量精度也在不断提升，但卫星遥感测量对垂直方向位移（沉降）的敏感程度较弱，且其数据精度和稳定性易受卫星几何位置、大气扰动等多种因素的影响，因此，该方法对雾天天气出现较多的近海滩涂区的智轨列车道路路基沉降检测并不适宜。
由于近海滩涂区复杂的自然环境和土壤条件，高填方软土路基会产生较大的沉降，同时考虑实际交通荷载特点（含新兴的中运量公共交通工具——智轨列车，可无人驾驶，柔性编组，最高时速70km/h）及路线长度，因此，对近海滩涂区智轨列车道路路基沉降实现自动高效、动态准确的无损检测仍是一个挑战。由路基沉降检测技术的发展现状可知：传统土木工程检测方法具有成本低、操作简单、易于测量等优点，但存在着受主观因素影响大、作业效率低、有损检测等缺点；光纤传感器测量法测量精度高，可以实现远距离测量，但是光纤传感器造价昂贵，维护困难，检测变形的幅度较小；卫星遥感测量方法对垂直方向位移（沉降）敏感程度较弱，且其数据精度和稳定性易受卫星几何位置、大气扰动等多种因素的影响。
发明内容
为了解决以上技术问题，本发明提供了一种近海滩涂区智轨列车道路路基沉降机器视觉检测方法，所述方法包括：
S1、对智轨列车道路的路基沉降监测点Schneider编码标识进行图像采集与图像预处理；
S2、基于Schneider编码标识获取预处理后图像的圆心点；
S3、使用双目立体匹配算法对所述圆心点进行三维坐标的计算；
S4、对所述Schneider编码标识进行解码，基于解码内容以及圆心点三维坐标的计算结果，获得智轨列车道路路基在各监测点的沉降量。
可选的，所述S1中，所述图像采集的过程具体包括：
通过车载双目立体视觉采集系统对路基沉降监测点Schneider编码标识图像进行采集，得到Schneider编码标识中心圆形经过投影后在相机成像平面上所成的椭圆形图像。
可选的，所述S1中，图像预处理的过程具体包括：
输入采集的原图像；
对所述原图像进行基于加权平均法的灰度化处理，输出含有两个颜色通道的灰度化图像；
对所述灰度化图像进行高斯滤波，得到消除高斯噪声后的图像；
对所述消除高斯噪声后的图像进行二值化处理，得到二值化图像；
对所述二值化图像进行canny边缘检测，生成包含图像边缘信息的图像和包含边缘信息的矩阵；
将所述矩阵导入hough变换算法中对图像进行边缘遍历，找到图像的中心椭圆，得到标识中心椭圆的图像，完成图像预处理。
可选的，所述S2中，获取预处理后图像的圆心点的过程包括：
使用最小外接矩形法对所述标识中心椭圆的图像进行椭圆圆心的确定。
可选的，所述椭圆圆心的确定方法包括：
对于椭圆方程：
（其中，/>）
其中，为长轴长度，/>为短轴长度；
选择中心椭圆图像上任意一点作为坐标原点，过坐标原点作斜率为k的直线为基准线：；
在椭圆上做两条平行于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
在椭圆上做两条垂直于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
根据切点坐标得到切线方程：
通过对切线方程形成的最小外接矩形的四个顶点坐标求平均值则可确定椭圆圆心。
可选的，所述S3中，使用双目立体匹配算法对所述圆心点进行三维坐标的计算过程包括：
使用双目立体匹配算法获取路基沉降监测点标识中心点在双目图像中对应像素点之间的视差；
基于所述视差与所述图像圆心点得到图像圆心点的深度信息；
基于所述视差以及所述深度信息，得到所述图像圆心点的实际三维坐标。
可选的，所述S4中，对所述Schneider编码标识进行解码的具体过程包括：
创建一个和二值图像大小相同的全零数组作为掩膜；
在所述掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
使用位与运算将所述二值图像和所述掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
将所述二进制码转换为十进制数，输出十进制结果。
本发明还公开一种智轨列车道路路基沉降机器视觉检测系统，所述检测系统包括：图像采集与处理模块、中心点获取模块、实际坐标获取模块和沉降量获取模块；
所述图像采集与处理模块用于对智轨列车道路路基沉降监测点标识进行图像采集与图像预处理；
所述中心点获取模块用于使用Schneider编码标识获取预处理后图像的圆心点；
所述实际坐标获取模块用于使用双目立体匹配算法对所述圆心点进行三维坐标的计算；
所述沉降量获取模块用于对所述Schneider编码标识进行解码，基于解码内容以及圆心点三维坐标的变化，获得智轨列车道路路基在各监测点的沉降量。
可选的，所述沉降量获取模块包括掩膜子模块、填充子模块、合并子模块、对比子模块和输出子模块；
所述掩膜子模块用于创建一个和二值图像大小相同的全零数组作为掩膜；
所述填充子模块用于在所述掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
所述合并子模块用于使用位与运算将所述二值图像和所述掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
所述对比子模块用于设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
所述输出子模块用于将所述二进制码转换为十进制数，输出十进制结果。
与现有技术相比，本发明的有益效果为：
本发明利用计算机视觉技术和图像处理技术，将双目立体视觉测量引入近海滩涂区智轨列车道路路基沉降检测中，通过车载双目相机采集路基沉降监测点Schneider编码标识图像数据，并通过图像处理技术计算出沉降发生前后Schneider编码标识中心三维坐标的变化，以此精确反映路基沉降值。克服了人工测量中主观因素对检测结果的影响，提高了作业效率，实现路基沉降量的无损准确检测，同时与现有其它无损测量方法相比具有更低的成本。由于能够进行高效长距离连续测量工作，及时监测沉降状态，可应用于大型道路工程项目中，对提高我国道路路基沉降检测的智能化水平具有重要的意义。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的方法步骤图；
图2为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的图像预处理流程图；
图3为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的双目相机模型图；
图4为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的空间中任意一点P的成像关系（基于X轴的三角形相似）；
图5为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的空间中任意一点P的成像关系（基于Y轴的三角形相似）；
图6为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的改进Schneider编码标识图；
图7为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的改进Schneider编码标识图像中三角形正方向图示；
图8为本发明实施例的一种智轨列车道路路基沉降机器视觉检测方法及系统的Schneider编码标识点解码思路图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
在本实施例中，如图1所示，一种近海滩涂区智轨列车道路路基沉降机器视觉检测方法，方法包括：
S1、对智轨列车道路的路基沉降监测点Schneider 编码标识进行图像采集与图像预处理；
具体的，标识点设计：Schneider 编码方案由中心圆和同心编码环带组成，编码环带按照项目需要将角度均分为10份，每份36°，每一份可以称为亮环带或者暗环带，相应的二进制码为1或者0，“1”表示该位上有编码点，“0”表示该位上没有编码点，由于编码环带并没有规定起始点，以任意一个编码点为起始位置，按顺时针方向读取编码环带的码值，可以组成长度为10的二进制序列，对这个二进制序列进行循环移位，选取其中数值最小的二进制序列作为该标识的码值；中心圆形标志具有平移和尺度不变性，并且也有较好的灰度和形状特性；圆形标志经过投影后在相机成像平面上所成的像为椭圆形，椭圆的几何特征更容易提取。对近海滩涂区智轨列车道路路基实际状况进行调研和评估后，将编码标识牌安装在路基各个沉降监测点。
S1中，图像采集的过程具体包括：
通过车载双目立体视觉采集系统对路基沉降监测点Schneider编码标识图像进行采集，得到Schneider编码标识中心圆形经过投影后在相机成像平面上所成的椭圆形图像。数据采集设备为数据采集车辆；用于存储和处理采集到的图像数据的计算机和嵌入式设备。
图像采集和处理软件：使用图像处理和计算机视觉算法的软件工具，用于图像预处理、双目立体匹配和沉降分析等操作。
具体的，在采集图像前，进行双目相机几何标定和校正，即基于相机成像模型来解决路基沉降监测点与之对应像点间的精准匹配问题。拟通过张正友标定法求出左、右相机的内外参数矩阵、畸变参数，求出左、右相机对应的旋转矩阵和平移向量，完成数据采集前的双目相机标定和畸变矫正；并根据左右相机的内外参数和旋转平移矩阵，利用对极几何原理完成双目立体校正。
由标定和校正后的车载双目相机进行图像数据采集，首先调用cv2.VideoCapture()函数创建一个VideoCapture对象，使对象可以从摄像头中读取视频帧；使用set()函数设置摄像头的分辨率，使用while函数循环读取摄像头的每一帧；利用cv2.imshow()函数显示图像，用cv2.imwrite()函数将显示的图像保存；最后通过调用cap.release()函数释放占用的摄像头资源，通过调用cv2.destroyAllWindows()函数关闭通过cv2.imshow()函数打开的窗口，以确保程序退出时所有窗口都被正确关闭，释放内存资源。通过车载双目立体视觉系统在固定周期内重复采集路基沉降监测点标识图像数据，确保捕捉到的标记点图像清晰、光照均匀，并覆盖所需的检测区域，以便后续处理。
如图2所示，S1中，图像预处理的过程具体包括：
输入采集的原图像；
对原图像进行基于加权平均法的灰度化处理，输出含有两个颜色通道的灰度化图像；
对灰度化图像进行高斯滤波，得到消除高斯噪声后的图像；
对消除高斯噪声后的图像进行基于改进Otsu算法的二值化处理，生成只有黑白两色的二值化图像；所述Otsu算法为最大类间方差法，本实施例所述改进的Otsu算法是在最大类间方差法的基础上加入形态学闭运算。
对二值化图像进行canny边缘检测，生成一张包含图像边缘信息的图像和一个包含边缘信息的矩阵；
将矩阵导入hough变换算法中对图像进行边缘遍历，找到图像的中心椭圆，得到标识中心椭圆的图像，完成图像预处理。
S2、基于Schneider编码标识获取预处理后图像的圆心点；
S2中，获取预处理后图像的圆心点的过程包括：
使用最小外接矩形法对标识中心椭圆图像进行椭圆圆心的确定。
椭圆圆心的确定方法包括：
对于椭圆方程：
（其中，/>）；
其中，为长轴长度，/>为短轴长度。
选择中心椭圆图像上任意一点作为坐标原点，过坐标原点作斜率为k的直线为基准线：；
在椭圆上做两条平行于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
在椭圆上做两条垂直于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
根据切点坐标得到切线方程：
；
当椭圆外接矩形的长和宽分别平行于椭圆的长轴和短轴时，外接矩形面积最小，所以k值只需在后续确定椭圆长轴关于x轴的倾斜角度即可确定。由此，可以得到矩形框的最小外接矩形的四条边的函数，并通过对最小外接矩形的四个顶点坐标求平均值则可确定椭圆圆心。
S3、使用双目立体匹配算法对图像圆心点进行三维坐标的计算；
S3中，使用双目立体匹配算法对图像圆心点进行三维坐标的计算过程包括：
使用双目立体匹配算法获取路基沉降监测点标识中心点在双目图像中对应像素点之间的视差；
具体的，使用立体视觉匹配算法计算双目相机左、右图像中对应像素点之间的视差值；
所采用的半全局立体匹配算法实现主要分为四步：代价计算、代价聚合、视差计算、视差优化。
①匹配代价计算
匹配代价计算是计算待匹配像素与候选像素之间的相关性，即计算左右像素之间的代价值，值越小，相关性越大，两个像素为同名点的可能性越大。匹配代价的计算算法有很多，比如 Absolute Differences（AD）、Birchfield Tomasi（BT）、Census Transform（CT）、Mutual Information（MI）等。
该过程输入校正后的图像经过代价计算输出一个大小为W×H×D的三维代价空间(C)， C中的每个元素映射的即是匹配代价值。例如AD算法如下：
AD算法是匹配代价计算中的算法之一，其主要思想就是不断比较左、右图像上两点像素灰度值的大小，灰度差就是匹配代价值，计算方法为：
；
式中，表示左图像素/>和右图视差为d的像素的代价，/>、/>表示像素的灰度值。
②匹配代价聚合：
代价聚合是立体匹配算法的核心步骤，由于代价计算算法的局限性，仅仅通过代价计算得到的匹配代价值并不准确，直接得到的视差图存在大量误差，因此需要通过对一点的周围像素值进行代价聚合操作，提高代价计算值的鲁棒性。
该过程输入代价计算得到的初步代价数据C，经过代价聚合最终获得一个与三维代价空间（C）同样大小的聚合代价空间S。
某像素p沿着某条路径r的路径代价计算方法为：
；
式中，C为数据项（匹配代价）；第二项为平滑项，表示对像素p的邻域内的所有像素进行惩罚；第三项是保证新的路径代价值不超过一定限度，即：/>。p-r表示像素p左侧（从左到右聚合）或右侧（从右到左聚合）的相邻像素，/>表示路径r中视差为d时的聚合代价值，/>表示路径r中所有代价的最小值。P 1 、P 2 为惩罚系数。
则某像素的总路径聚合代价值S的计算公式为：
；
聚合路径数一般包括4、8、16，通过代价聚合后，最终获得一个与三维代价空间（C）同样大小的聚合代价空间S，且元素位置一一对应。
③视差计算
视差计算是通过代价矩阵S来确定每个像素的最优视差值，通过赢家通吃（Winner-Takes-All，WTA）算法来计算，得到视差：
。
④视差优化：
获取的视差图中存在一些噪点和误差，因此该过程是对视差计算得到的视差图进一步优化处理，从而达到提高视差图质量、匹配精度，降低匹配误差的目的，得到高质量的视差图。
主要手段有唯一性检测、子像素拟合、左右一致性检查等。例如左右一致性检查的前提是需要获得左右两个视差图，比较两个视差图的同名点对是否可以相互匹配，其同名点对的视差值之差的绝对值是否处于阈值范围内，若超过阈值，则认为该位置的视差无效，其阈值一般设为1。
基于视差与图像圆心点得到图像圆心点的深度信息；
根据立体匹配所获得的视差与双目相机模型的相似三角形关系，可以获得该检测点的深度信息Z。
经过双目相机标定和校正后，双目相机的主光轴到达平行，如图3所示是双目相机模型，是左右相机的光心，长为L的两条线段（端点用三角形表示的线段）表示的是左右相机的像平面。则光心到像平面的最短距离就是焦距f, 两个相机的焦距f要求设置为一样。若P(X w ,Y w ,Z w )是世界坐标系中的一点，它在左右像平面上的成像点是/>和/>。/>和/>距各自像面的左边缘的距离是/>和/>，则视差d就是/>。双目相机标定和立体匹配后，焦距f，相机基线b，以及/>和/>都能够得到。
三角形相似于三角形/>，则有比例关系：
；
其中，视差，则进一步化简得：
；
从而由立体匹配获得的视差值求得该监测点的深度信息Z。
基于视差以及深度信息，得到图像圆心点的实际三维坐标。
利用监测点标识中心点的视差值求得该点的深度信息Z后，便得到了该点的Z轴坐标，则继续通过深度估计算法即可得到该监测点标识中心点的实际三维坐标，具体步骤如下：
如图4所示，利用三角形相似定理，三角形ABC相似于三角形EFC，则可得到AB/AC=EF/EC，即：
；
同理，如图5所示，三角形ABC相似于三角形EFC，则得到AB/AC=EF/EC，即：
；
将上述两个公式进行整理，得到Xw 、Yw的坐标为：
；
其中u、v表示像素坐标系下点的坐标，u0、v0为左相机图像平面（通常以左相机图像平面为基准）的原点在像素坐标系下的坐标值，从而根据该点的深度值求得监测点标识中心点的三维坐标/>。
S4、对Schneider编码标识进行解码，基于解码内容以及图像圆心点三维坐标的计算结果，获得智轨列车道路路基在各监测点的沉降量。
如图8所示，S4中，对Schneider编码标识进行解码的具体过程包括：
创建一个和二值图像大小相同的全零数组作为掩膜；
在掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
使用位与运算将二值图像和掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
将二进制码转换为十进制，输出十进制结果。
基于路基沉降监测点标识中心的实际三维坐标和解码匹配，进行路基沉降检测和分析。沉降检测是通过设定的阈值或基准值，分别比对各监测点标识中心的水平位移和竖向位移，以确定沉降量，对超出阈值的监测点进行报警提示，生成沉降检测报告。
考虑到图像采集角度、不同道路环境及其他因素的影响，测点靶面图像可能会发生变形而影响路基沉降测量的精度，采用仿射变换对监测点Schneider编码标识图像进行矫正，实现对测点编码标识中心点定位结果的修正，以提高沉降监测系统的测量精度。且编码环带可根据路基沉降监测点多少的需求均分成不同的若干份，可多分可少分，能适应于不同道路长度的路基沉降监测。
其中，所述仿射变换对监测点Schneider编码标识图像进行矫正的实现过程是：
通过确定图像变换前后各点的对应关系，求解出仿射变换矩阵，以此对图像进行旋转、平移和拉伸等操作来实现图像的矫正。
平移时坐标的仿射变换矩阵为：
；
在上面的仿射矩阵中，是线性变换参数，/>是平移参数。上面的操作是将/>映射到/>。
若矩阵旋转角度为角，则坐标的仿射变换矩阵为：
；
若缩放因子为s，则坐标的仿射变换矩阵为：
；
二维仿射变换保持了二维图像的“平直性”和“平行性”：即直线经仿射变换后还是直线，圆弧经仿射变换后还是圆弧。直线之间的相对位置关系保持不变、平行线经仿射变换后依然为平行线、直线上点的位置顺序不会发生变化、向量间夹角可能会发生变化。
使用OpenCV进行仿射变换时，可以使用M = cv2.getAffineTransform(post1,post2)函数计算变换矩阵，并使用cv2.warpAffine(src, M, (cols, rows))函数进行变换操作。
其中，post1表示变换前的位置，post2表示变换后的位置；src表示原始图像，M表示仿射变换矩阵，(rows, cols)表示变换后的图像大小，其中rows表示行数，cols表示列数。
对变形的编码标识图像进行仿射变换图形矫正时图像会发生旋转、平移等操作，这些操作会导致解码错误的情况出现。所以对Schneider编码标识点进行优化改进，在图像中心圆和外围编码区域中间白色区域、且位于中心圆正左方向的位置放置一个底为图幅长十七分之一、高为图幅长十二分之一的等腰三角形，如图6所示，通过对此等腰三角形位置和方向的变换及时实现仿射变换后图像变化的准确矫正。
首先对图像进行canny边缘检测，提取仿射变换后图像轮廓，对轮廓进行遍历寻找图中的等腰三角形，并以等腰三角形的顶点到底边中点的方向为正方向（下文简称三角形方向）（图7），判断三角形方向与y轴正方向的关系，通过公式：
；
式中：
:三角形方向与y轴正方向的夹角；
点和/>点的/>轴坐标；
点和/>点的/>轴坐标。
计算y轴正方向逆时针旋转到三角形方向的角度，此角度即图像关于中点所旋转的角度，然后判断三角形方向关于中心点的指向，若为逆时针则说明图像并未进行对称翻转操作；若为顺时针，则使图像关于中心线x轴进行对称翻转，记录好上述两种旋转和对称情况，对图像再次进行仿射变换后得到矫正后图像。
实施例二
一种智轨列车道路路基沉降机器视觉检测系统，检测系统包括：图像采集与处理模块、中心点获取模块、实际坐标获取模块和沉降量获取模块；
图像采集与处理模块用于对智轨列车道路路基沉降监测点标识进行图像采集与图像预处理；
通过车载双目立体视觉采集系统对路基沉降监测点Schneider编码标识图像进行采集，得到Schneider编码标识中心圆形经过投影后在相机成像平面上所成的椭圆形图像。
对原图像进行基于加权平均法的灰度化处理，输出含有两个颜色通道的灰度化图像；
对灰度化图像进行高斯滤波，得到消除高斯噪声后的图像；
对消除高斯噪声后的图像进行基于改进Otsu算法的二值化处理，生成只有黑白两色的二值化图像；
对二值化图像进行canny边缘检测，生成一张包含图像边缘信息的图像和一个包含边缘信息的矩阵；
将矩阵导入hough变换算法中对图像进行边缘遍历，找到图像的中心椭圆，得到标识中心椭圆的图像，完成图像预处理。
中心点获取模块用于使用Schneider编码标识获取预处理图像的图像圆心点；
使用最小外接矩形法对标识中心椭圆的图像进行椭圆圆心的确定。
椭圆圆心的确定方法包括：
对于椭圆方程：
（其中，/>）；
其中，为长轴长度，/>为短轴长度；
选择中心椭圆图像上任意一点作为坐标原点，过坐标原点作斜率为k的直线为基准线：；
在椭圆上做两条平行于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
在椭圆上做两条垂直于的切线/>和/>，切点分别为/>和/>，切点坐标为：
；
根据切点坐标得到切线方程：
；
当椭圆外接矩形的长和宽分别平行于椭圆的长轴和短轴时，外接矩形面积最小，所以k值只需在后续确定椭圆长轴关于x轴的倾斜角度即可确定。由此，可以得到矩形框的最小外接矩形的四条边的函数，并通过对最小外接矩形的四个顶点坐标求平均值则可确定椭圆圆心。
实际坐标获取模块用于使用双目立体匹配算法对图像圆心点进行三维坐标的计算；
所述实际坐标获取模块包括视差获取子模块、深度信息获取子模块和三维坐标获取子模块。
所述视差获取子模块用于使用双目立体匹配算法获取路基沉降监测点标识中心点在双目图像中对应像素点之间的视差；
所述深度信息获取子模块用于基于视差与图像圆心点得到图像圆心点的深度信息；
所述三维坐标获取子模块用于基于视差以及深度信息，得到图像圆心点的实际三维坐标。
沉降量获取模块用于对Schneider编码标识进行解码，基于解码内容以及图像圆心点三维坐标的变化，获得智轨列车道路路基在各监测点的沉降量。
沉降量获取模块包括掩膜子模块、填充子模块、合并子模块、对比子模块和输出子模块；
掩膜子模块用于创建一个和二值图像大小相同的全零数组作为掩膜；
填充子模块用于在掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
合并子模块用于使用位与运算将二值图像和掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
所述对比子模块用于设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
输出子模块用于将二进制码转换为十进制数，输出十进制结果。
基于路基沉降监测点标识中心的实际三维坐标和解码匹配，进行路基沉降检测和分析。沉降检测是通过设定的阈值或基准值，分别比对各监测点标识中心的水平位移和竖向位移，以确定沉降量，对超出阈值的监测点进行报警提示，生成沉降检测报告。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种智轨列车道路路基沉降机器视觉检测方法，其特征在于，所述检测方法包括：
S1、对智轨列车道路的路基沉降监测点Schneider编码标识进行图像采集与图像预处理；
S2、基于Schneider编码标识获取预处理后图像的圆心点；
S3、使用双目立体匹配算法对所述圆心点进行三维坐标的计算；
S4、对所述Schneider编码标识进行解码，基于解码内容以及圆心点三维坐标的计算结果，获得智轨列车道路路基在各监测点的沉降量；
所述S4中，对所述Schneider编码标识进行解码的具体过程包括：
创建一个和二值图像大小相同的全零数组作为掩膜；
在所述掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
使用位与运算将所述二值图像和所述掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
将所述二进制码转换为十进制数，输出十进制结果；
采用仿射变换对监测点Schneider编码标识图像进行矫正，实现对测点编码标识中心点定位结果的修正，所述矫正过程具体包括：
确定图像变换前后各点的对应关系，得到仿射变换矩阵，根据所述仿射变换矩阵对图像进行旋转、平移和拉伸实现图像的矫正；
平移时坐标的仿射变换矩阵为：
；
其中，是线性变换参数，/>是平移参数；
若矩阵旋转角度为角，则坐标的仿射变换矩阵为：
；
若缩放因子为s，则坐标的仿射变换矩阵为：
；
对Schneider编码标识点进行优化改进，在图像中心圆和外围编码区域中间白色区域、且位于中心圆正左方向的位置放置一个底为图幅长十七分之一、高为图幅长十二分之一的等腰三角形；所述等腰三角形位置和方向的变换及时实现仿射变换后图像变化的矫正：
对图像进行canny边缘检测，提取仿射变换后图像轮廓，对轮廓进行遍历寻找图中的等腰三角形，并以等腰三角形的顶点到底边中点的方向为正方向；判断三角形正方向与y轴正方向的关系，通过公式：
；
式中：
:三角形方向与y轴正方向的夹角；
点和/>点的/>轴坐标；
点和/>点的/>轴坐标；
计算y轴正方向逆时针旋转到三角形正方向的角度，角度即图像关于中点所旋转的角度，然后判断三角形正方向关于中心点的指向，若为逆时针则说明图像并未进行对称翻转操作；若为顺时针，则使图像关于中心线x轴进行对称翻转，记录旋转和对称情况，对图像再次进行仿射变换后得到矫正后图像。
2.根据权利要求1所述的智轨列车道路路基沉降机器视觉检测方法，其特征在于，所述S1中，所述图像采集的过程具体包括：
通过车载双目立体视觉采集系统对路基沉降监测点Schneider编码标识图像进行采集，得到Schneider编码标识中心圆形经过投影后在相机成像平面上所形成的椭圆形图像。
3.根据权利要求1所述的智轨列车道路路基沉降机器视觉检测方法，其特征在于，所述S1中，图像预处理的过程具体包括：
输入采集的原图像；
对所述原图像进行基于加权平均法的灰度化处理，输出含有两个颜色通道的灰度化图像；
对所述灰度化图像进行高斯滤波，得到消除高斯噪声后的图像；
对所述消除高斯噪声后的图像进行二值化处理，得到二值化图像；
对所述二值化图像进行canny边缘检测，生成包含图像边缘信息的图像和包含边缘信息的矩阵；
将所述矩阵导入hough变换算法中对图像进行边缘遍历，找到图像的中心椭圆，得到标识中心椭圆的图像，完成图像预处理。
4.根据权利要求3所述的智轨列车道路路基沉降机器视觉检测方法，其特征在于：所述S2中，获取预处理后图像的圆心点的过程包括：
使用最小外接矩形法对所述标识中心椭圆的图像进行椭圆圆心的确定。
5.根据权利要求1所述的智轨列车道路路基沉降机器视觉检测方法，其特征在于，所述S3中，使用双目立体匹配算法对所述圆心点进行三维坐标的计算过程包括：
使用双目立体匹配算法获取路基沉降监测点标识中心点在双目图像中对应像素点之间的视差；
基于所述视差与所述图像圆心点得到图像圆心点的深度信息；
基于所述视差以及所述深度信息，得到所述图像圆心点的实际三维坐标。
6.一种智轨列车道路路基沉降机器视觉检测系统，用于实现所述权利要求1-5任一项所述的检测方法，其特征在于，包括：图像采集与处理模块、中心点获取模块、实际坐标获取模块和沉降量获取模块；
所述图像采集与处理模块用于对智轨列车道路路基沉降监测点标识进行图像采集与图像预处理；
所述中心点获取模块用于使用Schneider编码标识获取预处理后图像的圆心点；
所述实际坐标获取模块用于使用双目立体匹配算法对所述圆心点进行三维坐标的计算；
所述沉降量获取模块用于对所述Schneider编码标识进行解码，基于解码内容以及圆心点三维坐标的变化，获得智轨列车道路路基在各监测点的沉降量。
7.根据权利要求6所述的智轨列车道路路基沉降机器视觉检测系统，其特征在于，所述沉降量获取模块包括掩膜子模块、填充子模块、合并子模块、对比子模块和输出子模块；
所述掩膜子模块用于创建一个和二值图像大小相同的全零数组作为掩膜；
所述填充子模块用于在所述掩膜上绘制外圆和内圆，将外圆区域填充为白色，内圆区域填充为黑色；
所述合并子模块用于使用位与运算将所述二值图像和所述掩膜进行合并，并将外圆和内圆之外的区域置为黑色；
所述对比子模块用于设置图像正上方为起始角度和36°为角度步长，从起始角度开始，每隔一角度步长进行采样一个点，获取该点的灰度值，并将灰度值与设置的阈值进行比较，若大于阈值则输出为“1”，若小于阈值则输出为“0”，将图像信息转换为二进制码；
所述输出子模块用于将所述二进制码转换为十进制数，输出十进制结果。
CN202311787068.4A 2023-12-25 2023-12-25 一种智轨列车道路路基沉降机器视觉检测方法及系统 Active CN117451000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311787068.4A CN117451000B (zh) 2023-12-25 2023-12-25 一种智轨列车道路路基沉降机器视觉检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311787068.4A CN117451000B (zh) 2023-12-25 2023-12-25 一种智轨列车道路路基沉降机器视觉检测方法及系统

Publications (2)

Publication Number Publication Date
CN117451000A CN117451000A (zh) 2024-01-26
CN117451000B true CN117451000B (zh) 2024-03-12

Family

ID=89584108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311787068.4A Active CN117451000B (zh) 2023-12-25 2023-12-25 一种智轨列车道路路基沉降机器视觉检测方法及系统

Country Status (1)

Country Link
CN (1) CN117451000B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764004A (zh) * 2018-06-04 2018-11-06 空气动力学国家重点实验室 一种基于编码环采样的环状编码标记点解码识别方法
CN115345822A (zh) * 2022-06-08 2022-11-15 南京航空航天大学 一种面向航空复杂零件的面结构光自动化三维检测方法
CN115880373A (zh) * 2022-12-28 2023-03-31 常熟理工学院 基于新型编码特征的立体视觉系统的标定板及标定方法
CN116883480A (zh) * 2023-07-14 2023-10-13 东北林业大学 基于双目影像与地基雷达融合点云的玉米株高检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422657A1 (en) * 2002-11-20 2004-05-26 Setrix AG Method of detecting the presence of figures and methods of managing a stock of components

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764004A (zh) * 2018-06-04 2018-11-06 空气动力学国家重点实验室 一种基于编码环采样的环状编码标记点解码识别方法
CN115345822A (zh) * 2022-06-08 2022-11-15 南京航空航天大学 一种面向航空复杂零件的面结构光自动化三维检测方法
CN115880373A (zh) * 2022-12-28 2023-03-31 常熟理工学院 基于新型编码特征的立体视觉系统的标定板及标定方法
CN116883480A (zh) * 2023-07-14 2023-10-13 东北林业大学 基于双目影像与地基雷达融合点云的玉米株高检测方法

Also Published As

Publication number Publication date
CN117451000A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN104567708B (zh) 基于主动式全景视觉的隧道全断面高速动态健康检测装置与方法
CN105046743A (zh) 一种基于全局变分技术的超高分辨率三维重建方法
CN109297428A (zh) 一种基于无人机的高精度变形巡测技术方法
CN105303168A (zh) 一种多视角的指针式仪表识别方法和装置
CN105043259A (zh) 基于双目视觉的数控机床旋转轴误差检测方法
CN103822581B (zh) 一种基于压缩感知的不规则物体体积测量方法
CN104835173A (zh) 一种基于机器视觉的定位方法
CN112215958B (zh) 一种基于分布式计算的激光雷达点云数据投影方法
CN115546235B (zh) 一种基于图像分割的水位识别方法、系统及存储介质
CN114359841A (zh) 一种基于时空平均的视频水位识别方法
CN103438834A (zh) 基于结构光投影的层级式快速三维测量装置及测量方法
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
CN112595236A (zh) 一种水下激光三维扫描和实时测距的测量装置
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN104180794B (zh) 数字正射影像拉花区域的处理方法
Shang et al. Single-pass inline pipeline 3D reconstruction using depth camera array
CN113627427B (zh) 一种基于图像检测技术的仪器仪表读数方法及系统
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
CN117451000B (zh) 一种智轨列车道路路基沉降机器视觉检测方法及系统
Liu et al. A binocular reconstruction method fused with Laplacian image information for pavement texture evaluation
CN105631849A (zh) 多边形目标的变化检测方法及装置
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
CN115523866B (zh) 一种适用煤矿皮带输送机传输中高反光异物检测的条纹投影三维测量方法
Shan et al. Feasibility of Accurate Point Cloud Model Reconstruction for Earthquake-Damaged Structures Using UAV-Based Photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant