CN116399302B - 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法 - Google Patents

基于双目视觉和神经网络模型实时监测强夯夯沉量的方法 Download PDF

Info

Publication number
CN116399302B
CN116399302B CN202310672126.2A CN202310672126A CN116399302B CN 116399302 B CN116399302 B CN 116399302B CN 202310672126 A CN202310672126 A CN 202310672126A CN 116399302 B CN116399302 B CN 116399302B
Authority
CN
China
Prior art keywords
ram
vertex
rammer
points
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310672126.2A
Other languages
English (en)
Other versions
CN116399302A (zh
Inventor
陈运涛
黄喆
李馨茹
袁方龙
王健
朱楠
张�浩
王健男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
CCCC First Harbor Engineering Co Ltd
Tianjin Port Engineering Institute Ltd of CCCC Frst Harbor Engineering Co Ltd
Tianjin Harbor Engineering Quality Inspection Center Co Ltd
Original Assignee
Tianjin University of Science and Technology
CCCC First Harbor Engineering Co Ltd
Tianjin Port Engineering Institute Ltd of CCCC Frst Harbor Engineering Co Ltd
Tianjin Harbor Engineering Quality Inspection Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology, CCCC First Harbor Engineering Co Ltd, Tianjin Port Engineering Institute Ltd of CCCC Frst Harbor Engineering Co Ltd, Tianjin Harbor Engineering Quality Inspection Center Co Ltd filed Critical Tianjin University of Science and Technology
Priority to CN202310672126.2A priority Critical patent/CN116399302B/zh
Publication of CN116399302A publication Critical patent/CN116399302A/zh
Application granted granted Critical
Publication of CN116399302B publication Critical patent/CN116399302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D3/00—Improving or preserving soil or rock, e.g. preserving permafrost soil
    • E02D3/02—Improving by compacting
    • E02D3/046—Improving by compacting by tamping or vibrating, e.g. with auxiliary watering of the soil
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/02—Details
    • G01N3/06—Special adaptations of indicating or recording means
    • G01N3/068—Special adaptations of indicating or recording means with optical indicating or recording means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/32—Investigating strength properties of solid materials by application of mechanical stress by applying repeated or pulsating forces
    • G01N3/34—Investigating strength properties of solid materials by application of mechanical stress by applying repeated or pulsating forces generated by mechanical means, e.g. hammer blows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0001—Type of application of the stress
    • G01N2203/0005—Repeated or cyclic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/003—Generation of the force
    • G01N2203/0032—Generation of the force using mechanical means
    • G01N2203/0039—Hammer or pendulum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/0058—Kind of property studied
    • G01N2203/0069—Fatigue, creep, strain-stress relations or elastic constants
    • G01N2203/0075—Strain-stress relations or elastic constants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02—Details not specific for a particular testing method
    • G01N2203/026—Specifications of the specimen
    • G01N2203/0284—Bulk material, e.g. powders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02—Details not specific for a particular testing method
    • G01N2203/06—Indicating or recording means; Sensing means
    • G01N2203/0641—Indicating or recording means; Sensing means using optical, X-ray, ultraviolet, infrared or similar detectors
    • G01N2203/0647—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N2203/02—Details not specific for a particular testing method
    • G01N2203/06—Indicating or recording means; Sensing means
    • G01N2203/067—Parameter measured for estimating the property
    • G01N2203/0682—Spatial dimension, e.g. length, area, angle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Agronomy & Crop Science (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Soil Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，在监测之前，对强夯过程进行影像数据采集，训练用于识别夯锤顶点区域的神经网络模型；在监测时，利用双目相机对强夯过程进行实时监测，并利用训练好的神经网络模型逐帧识别夯锤顶点区域的矩形框；通过比较相邻帧中夯锤顶点区域的位置变化判断夯锤的运动状态；对夯锤静止状态下的夯锤顶点区域进行夯锤顶点轮廓识别，将轮廓的最高像素点作为特征点；得到特征点的像素坐标，然后得到特征点的三维坐标，最后比较相邻夯次夯锤落地后特征点三维坐标的变化，解算出单次夯沉量。本发明将神经网络模型与双目视觉原理结合，利用变焦相机实时变焦，在远距离下也能具有良好的准确度。

Description

基于双目视觉和神经网络模型实时监测强夯夯沉量的方法
技术领域
本发明涉及软土地基加固的智能监测技术领域，特别是涉及一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法。
背景技术
强夯法是利用强夯机通过缆绳将夯锤提起，再让其下落冲击地面，用来增加土壤密度，提高其承载量的一种常见的地基加固方法。因其设施简单，施工便捷，所以被广泛应用于高速公路、铁路、机场、核电站等地基建设中。用强夯法施工时，将夯锤从静止到提升再到自由下落的状态记为一个夯次，相邻夯次夯锤底部中心的高差，即为相邻夯次间夯沉量也叫单次夯沉量。夯沉量是衡量强夯施工质量的重要指标。
强夯施工中传统的夯沉量测量方式主要依靠人工方式对缆绳的长度差值以及角度差值进行测算，夯击过程中缆绳会产生形变，不可避免会造成测量结果不准确，利用人工测量方法不仅效率低而且施工现场沙石飞溅危险系数高。
近年来，随着我国施工基础设施的加强，各种传感器也应用在强夯施工领域，我国已在智能化强夯施工领域取得巨大进展，但是依旧做不到强夯施工无人化实时监测。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法。解决了目前夯沉量测量存在的精度差、效率低、危险系数高等问题。实现了对强夯过程中夯沉量的实时监测。
为实现本发明的目的所采用的技术方案是：
一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，包括以下步骤：
步骤一：在监测之前，在强夯施工环境中布设双目相机，按照设定的固定频率利用双目相机对强夯作业过程进行影像数据采集；
步骤二：利用步骤一采集的强夯作业过程的影像数据，训练用于识别夯锤顶点区域的神经网络模型；
步骤三：在监测时，利用双目相机对强夯作业过程进行实时监测，并利用步骤二训练好的神经网络模型逐帧识别夯锤顶点区域的矩形框；
步骤四：通过比较相邻帧中夯锤顶点区域的位置变化来判断夯锤的运动状态；
步骤五：对夯锤静止状态下的夯锤顶点区域进行夯锤顶点轮廓识别，提取夯锤顶点轮廓的像素点，将夯锤顶点轮廓的最高像素点作为特征点；
步骤六：得到特征点的像素坐标，然后通过双目视觉模型得到该特征点的三维坐标，最后比较相邻夯次夯锤落地后特征点三维坐标的变化，解算出单次夯沉量。
在上述技术方案中，将双目相机布置在距离强夯机80-120米的位置。
在上述技术方案中，双目相机选用变焦双目相机。
在上述技术方案中，将步骤一采集的强夯作业过程的影像数据抽帧做数据集，将数据集按照夯锤顶点的状态进行分类，其中A类样本为画面能完整显示夯锤顶点，B类样本为夯锤顶点被尘土或者施工人员遮挡的样本，C类样本为图像中不含夯锤顶点的样本，建立好数据集后对神经网络模型进行训练，训练的识别目标为：识别出夯锤顶点区域的矩形框。
在上述技术方案中，步骤四中，根据强夯作业过程中夯锤的变化规律建立基于连续多帧影像数据的夯锤移动模式，利用模板匹配，判断出夯锤的当前运动状态，夯锤的运动状态包括静止、提升、下落状态，将夯锤由静止到提升再到下落记为一个夯次。
在上述技术方案中，步骤五中，采用canny算子对识别到的夯锤顶点区域的图像进行边缘检测，具体步骤如下：
5.1、利用高斯函数对图像进行平滑处理；
5.2、计算梯度幅值和梯度方向；
5.3、过滤非极大值；
5.4、使用上下阈值来检测边缘，大于上阈值的点都被检测为边缘点，小于下阈值的点都被检测为非边缘点，介于两个值之间的点则被检测为弱边缘点，如果与确定为边缘点的像素点邻接，则判定为边缘点；否则为非边缘点。
在上述技术方案中，步骤五中，在边缘检测完成后对夯锤顶点轮廓进行畸变矫正，然后利用梯度算法找到夯锤顶点轮廓的最高像素点作为特征点。
在上述技术方案中，步骤六中，通过双目视觉模型得到特征点的三维坐标，是指用特征点投影到双目视觉系统中的两个不同位置的相机中时所成像的位置差异以及相机的内参来计算夯锤特征点的深度信息，基于三角法原理，最终得到特征点的三维坐标。
在上述技术方案中，步骤六中，在离线状态下，预先建立时间与相机内参值的关系，从最小焦距开始等时等间隔变焦，标定每个焦距下的相机内参，即可根据变焦时间完成对相机内参的在线查找。
与现有技术相比，本发明的有益效果是：
1、安全性好。利用非接触测量原理避免了施工人员测量时存在的安全隐患，大大提高了安全性；
2、精确度高。将神经网络模型与双目视觉原理结合，利用变焦相机实时变焦，在远距离下也能具有良好的准确度，同时避免了人工测量导致的误差，保证了测量精度；
3、成本低。节省了传统测量方法需要的人力资源与和设备，只需要1-2人即可完成测量且设备简单；
4、效率高。实时测量相比于人工测量方法更加稳定快速，测量过程中不需要暂停也不需要接触被测物体即可完成整个测量过程。
附图说明
图1为本发明的基于双目视觉和神经网络模型实时监测强夯夯沉量的方法的流程图。
对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。
具体实施方式
以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见附图1，一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，包括以下步骤：
步骤一：在监测之前，在强夯施工环境中布设双目相机，按照设定的固定频率利用双目相机对强夯作业过程进行影像数据采集；
优选的，考虑到安全性，本实施例将双目相机布置在距离强夯机100米的位置。由于在远距离条件下，单个像素点的距离就会增大，所以会影响视觉测量系统的精度，所以本发明选用变焦双目相机；
步骤二：将步骤一采集的强夯作业过程的影像数据作为数据集，训练用于识别夯锤顶点区域的神经网络模型；
具体的讲，将步骤一采集的强夯作业过程的影像数据抽帧做数据集，将数据集按照夯锤顶点的状态进行分类，其中A类样本为画面能完整显示夯锤顶点，B类样本为夯锤顶点被尘土或者施工人员遮挡的样本，C类样本为图像中不含夯锤顶点的样本，建立好数据集后对Y0L0v5神经网络模型进行训练，训练的识别目标为：识别出夯锤顶点区域的矩形框；
步骤三：在监测时，利用双目相机对强夯作业过程进行实时监测，并利用步骤二训练好的神经网络模型逐帧识别夯锤顶点区域的矩形框；
步骤四：由于步骤三能够逐帧识别夯锤顶点区域，因此，通过比较相邻帧中夯锤顶点区域的位置变化来判断夯锤的运动状态；
进一步的讲，可以根据强夯作业过程中夯锤的变化规律建立基于连续多帧影像数据的夯锤移动模式，利用模板匹配，就可以很容易判断出夯锤的当前运动状态，即判断夯锤处于静止（静止，即夯锤落地后静止状态，其他时候夯锤均处于运动或者摇晃状态）、提升或下落状态，并将夯锤由静止到提升再到下落记为一个夯次；
步骤五：在能够确定夯锤顶点区域和夯锤的运动状态后，为保证快速计算出夯沉量，需要对夯锤静止状态（即夯锤落地状态）下的夯锤顶点区域进行夯锤顶点轮廓识别，提取夯锤顶点轮廓的像素点，将夯锤顶点轮廓的最高像素点作为特征点，用于后续夯沉量的计算。
为了更准确快速的提取出夯锤顶点的轮廓，本发明采用canny算子对识别到的夯锤顶点区域的图像进行边缘检测，canny算子属于二阶微分算子，使用两种不同的阈值分别检测强边缘和弱边缘，可以找到最优边缘。具体步骤如下：
5.1、降噪，即利用高斯函数对图像进行平滑处理。对位置为的像素点，其灰度值为/>，经过高斯滤波后的灰度值为；
（1）
其中，为二维高斯函数的标准差，决定了二维高斯函数的空间分布。/>越小，二维高斯函数在空间分布上越尖锐，变化越剧烈，其扩散面积越小，反之越大，二维高斯函数在空间分布上越平滑，变化越缓慢，其扩散面积越大，平滑程度越好。
5.2、计算梯度幅值和梯度方向。将高斯滤波之后的图像选用Sobel梯度算子计算相邻像素之间一阶偏导的有限差分来计算各像素点梯度的幅值和方向：
（2）
（3）
其中，，/>为 Sobel 梯度算子，/>，/>为水平和垂直方向的差分，则梯度幅值和梯度方向为：
（4）
（5）
5.3、过滤非极大值。在高斯滤波过程中，边缘有可能会被放大，使边缘宽度尽可能为1个像素点，若该点的梯度幅值在该点所在领域内是最大的，则该点属于可能的边缘点，否则不是，采取抑制手段，将灰度值设为0；
5.4、使用上下阈值来检测边缘，大于上阈值的点都被检测为边缘点，小于下阈值的点都被检测为非边缘点，介于两个值之间的点则被检测为弱边缘点，如果与确定为边缘点的像素点邻接，则判定为边缘点；否则为非边缘点；
进一步的，由于光学镜头畸变的存在，在边缘检测完成后对夯锤顶点轮廓进行畸变矫正，根据相机镜头的畸变模型对夯锤顶点进行畸变矫正，然后利用梯度算法找到夯锤顶点轮廓的最高像素点作为特征点；
步骤六：得到特征点的像素坐标，然后通过双目视觉模型得到该特征点的三维坐标，最后比较相邻夯次夯锤落地后特征点三维坐标的变化，解算出单次夯沉量。
利用双目立体视觉技术测量特征点的三维坐标，就是用特征点经小孔成像投影到双目视觉系统中的两个不同位置的相机中时所成像的位置差异以及相机的内外部参数来计算夯锤特征点的深度信息，基于三角法原理，最终得到特征点的三维坐标。
将特征点设为点P，假设点P在左右相机成像平面的投影点为P l 、P r ，在像素坐标系的坐标为、/>根据小孔成像原理，假设世界坐标系与左相机坐标系重合可得到，齐次坐标系下像素坐标系与世界坐标系的转换关系可表示为：
（6）
（7）
其中为单位矩阵，/>为0向量，/>、/>分别为世界坐标系与右相机坐标系间的旋转矩阵与平移向量，等式右侧式子第一个矩阵分别为左右相机的内参，以上参数都可以通过张正友相机标定法获得。联立以上方程后用最小二乘法即可求得P点的三维坐标。
由于变焦相机在实时调焦过程中，焦距会发生变化，相机的内参数会发生改变，所以需要在离线状态下，建立时间与内参值的关系，从最小焦距开始等时等间隔变焦，标定每个焦距下的相机内参，即可根据变焦时间完成对相机内参的在线查找。
得到特征点的三维坐标之后，通过比较相邻夯次间夯锤落地后的P点坐标即可获得夯沉量，夯沉量的计算过程如下：
单击夯沉量：（8）
累计夯沉量： （9）
其中夯击次数i=1，2，3…。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (4)

1.一种基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，其特征在于，包括以下步骤：
步骤一：在监测之前，在强夯施工环境中布设双目相机，按照设定的固定频率利用双目相机对强夯作业过程进行影像数据采集；
步骤二：利用步骤一采集的强夯作业过程的影像数据，训练用于识别夯锤顶点区域的神经网络模型；
步骤三：在监测时，利用双目相机对强夯作业过程进行实时监测，并利用步骤二训练好的神经网络模型逐帧识别夯锤顶点区域的矩形框；
步骤四：通过比较相邻帧中夯锤顶点区域的位置变化来判断夯锤的运动状态；
步骤五：对夯锤静止状态下的夯锤顶点区域进行夯锤顶点轮廓识别，提取夯锤顶点轮廓的像素点，将夯锤顶点轮廓的最高像素点作为特征点；
步骤六：得到特征点的像素坐标，然后通过双目视觉模型得到该特征点的三维坐标，最后比较相邻夯次夯锤落地后特征点三维坐标的变化，解算出单次夯沉量；
双目相机选用变焦双目相机；
步骤五中，采用canny算子对识别到的夯锤顶点区域的图像进行边缘检测，在边缘检测完成后对夯锤顶点轮廓进行畸变矫正，然后利用梯度算法找到夯锤顶点轮廓的最高像素点作为特征点；边缘检测的具体步骤如下：
5.1、利用高斯函数对图像进行平滑处理；
5.2、计算梯度幅值和梯度方向；
5.3、过滤非极大值；
5.4、使用上下阈值来检测边缘，大于上阈值的点都被检测为边缘点，小于下阈值的点都被检测为非边缘点，介于两个值之间的点则被检测为弱边缘点，如果与确定为边缘点的像素点邻接，则判定为边缘点；否则为非边缘点；
步骤六中，通过双目视觉模型得到特征点的三维坐标，是指用特征点投影到双目视觉系统中的两个不同位置的相机中时所成像的位置差异以及相机的内参来计算夯锤特征点的深度信息，基于三角法原理，最终得到特征点的三维坐标；
步骤六中，预先建立时间与相机内参值的关系，从最小焦距开始等时等间隔变焦，标定每个焦距下的相机内参，实现根据变焦时间完成对相机内参的在线查找。
2.根据权利要求1所述的基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，其特征在于：将双目相机布置在距离强夯机80-120米的位置。
3.根据权利要求1所述的基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，其特征在于：将步骤一采集的强夯作业过程的影像数据抽帧做数据集，将数据集按照夯锤顶点的状态进行分类，其中A类样本为画面能完整显示夺锤顶点，B类样本为夯锤顶点被尘土或者施工人员遮挡的样本，C类样本为图像中不含夯锤顶点的样本，建立好数据集后对神经网络模型进行训练，训练的识别目标为：识别出夯锤顶点区域的矩形框。
4.根据权利要求1所述的基于双目视觉和神经网络模型实时监测强夯夯沉量的方法，其特征在于：步骤四中，根据强夯作业过程中夯锤的变化规律建立基于连续多帧影像数据的夯锤移动模式，利用模板匹配，判断出夯锤的当前运动状态，夯锤的运动状态包括静止、提升、下落状态，将夯锤由静止到提升再到下落记为一个夯次。
CN202310672126.2A 2023-06-08 2023-06-08 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法 Active CN116399302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310672126.2A CN116399302B (zh) 2023-06-08 2023-06-08 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310672126.2A CN116399302B (zh) 2023-06-08 2023-06-08 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法

Publications (2)

Publication Number Publication Date
CN116399302A CN116399302A (zh) 2023-07-07
CN116399302B true CN116399302B (zh) 2024-03-22

Family

ID=87010918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310672126.2A Active CN116399302B (zh) 2023-06-08 2023-06-08 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法

Country Status (1)

Country Link
CN (1) CN116399302B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233779B (zh) * 2023-08-10 2024-04-09 中国电建集团西北勘测设计研究院有限公司 一种基于卫星定位和激光雷达测距的强夯监测方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102032897A (zh) * 2010-11-03 2011-04-27 电子科技大学 一种基于双目测距原理的强夯工程自动监测方法
CN104074181A (zh) * 2014-06-24 2014-10-01 中北大学 定义并计算夯沉比确定最优夯击数的方法
CN112254656A (zh) * 2020-09-24 2021-01-22 哈尔滨工业大学 一种基于结构表面点特征的立体视觉三维位移测量方法
CN113205025A (zh) * 2021-04-26 2021-08-03 武汉大学 基于机器视觉和时序模式的强夯夯锤运动状态判别方法
CN113267162A (zh) * 2021-05-27 2021-08-17 中交基础设施养护集团有限公司 一种基于激光测距与图像识别技术的夯沉量测量方法及装置
CN113847948A (zh) * 2021-09-23 2021-12-28 大地巨人(北京)工程科技有限公司 强夯自动化监测与分析方法及数字化集成系统
CN115096206A (zh) * 2022-05-18 2022-09-23 西北工业大学 一种基于机器视觉的零件尺寸高精度测量方法
CN115265472A (zh) * 2022-07-28 2022-11-01 杭州鲁尔物联科技有限公司 路面沉降测量方法、装置、设备以及介质
CN115821880A (zh) * 2022-10-27 2023-03-21 西北工业大学 一种基于tof相机的夯沉量测量方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102032897A (zh) * 2010-11-03 2011-04-27 电子科技大学 一种基于双目测距原理的强夯工程自动监测方法
CN104074181A (zh) * 2014-06-24 2014-10-01 中北大学 定义并计算夯沉比确定最优夯击数的方法
CN112254656A (zh) * 2020-09-24 2021-01-22 哈尔滨工业大学 一种基于结构表面点特征的立体视觉三维位移测量方法
CN113205025A (zh) * 2021-04-26 2021-08-03 武汉大学 基于机器视觉和时序模式的强夯夯锤运动状态判别方法
CN113267162A (zh) * 2021-05-27 2021-08-17 中交基础设施养护集团有限公司 一种基于激光测距与图像识别技术的夯沉量测量方法及装置
CN113847948A (zh) * 2021-09-23 2021-12-28 大地巨人(北京)工程科技有限公司 强夯自动化监测与分析方法及数字化集成系统
CN115096206A (zh) * 2022-05-18 2022-09-23 西北工业大学 一种基于机器视觉的零件尺寸高精度测量方法
CN115265472A (zh) * 2022-07-28 2022-11-01 杭州鲁尔物联科技有限公司 路面沉降测量方法、装置、设备以及介质
CN115821880A (zh) * 2022-10-27 2023-03-21 西北工业大学 一种基于tof相机的夯沉量测量方法

Also Published As

Publication number Publication date
CN116399302A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111855664B (zh) 一种可调节隧道病害三维检测系统
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
CN105700525B (zh) 基于Kinect传感器深度图机器人工作环境不确定性地图构建法
CN106978774B (zh) 一种路面坑槽自动检测方法
CN116399302B (zh) 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法
JP6524529B2 (ja) 建築限界判定装置
CN109297428A (zh) 一种基于无人机的高精度变形巡测技术方法
CN107631782B (zh) 一种基于Harris角点检测的水位检测方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN104964708B (zh) 一种基于车载双目视觉的路面坑槽检测方法
CN109886939A (zh) 基于张量投票的桥梁裂缝检测方法
CN104700395A (zh) 一种构造物外观裂缝检测方法及系统
CN111996883B (zh) 一种检测公路路面宽度的方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN104019772B (zh) 一种桥梁结构砼表面蜂窝麻面面积检测方法
CN112785654A (zh) 轨道几何检测系统标定方法及装置
Jiang et al. Determination of construction site elevations using drone technology
CN109544607A (zh) 一种基于道路标志线的点云数据配准方法
CN113744393B (zh) 一种多层级边坡滑坡变化监测方法
CN102542563A (zh) 一种移动机器人前向单目视觉的建模方法
CN115661453A (zh) 一种基于下视角相机的塔吊吊物检测分割方法及系统
CN109084721B (zh) 用于确定半导体器件中的目标结构的形貌参数的方法和设备
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN114569114A (zh) 一种身高测量方法及装置
Lin et al. A novel approach for pavement distress detection and quantification using RGB-D camera and deep learning algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant