CN117876713A - 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 - Google Patents
一种塔式起重机吊钩的测距方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117876713A CN117876713A CN202410061409.8A CN202410061409A CN117876713A CN 117876713 A CN117876713 A CN 117876713A CN 202410061409 A CN202410061409 A CN 202410061409A CN 117876713 A CN117876713 A CN 117876713A
- Authority
- CN
- China
- Prior art keywords
- lifting hook
- image
- point
- feature descriptors
- hook
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000000691 measurement method Methods 0.000 title claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 49
- 239000000203 mixture Substances 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 description 20
- 238000010276 construction Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种塔式起重机吊钩的测距方法、装置、设备及存储介质，属于建筑领域，其方法包括如下步骤：通过双目相机获取包含吊钩的工程图像；使用YOLOv3算法对工程图像中的吊钩图像进行检测定位；使用SIFT算法对检测到的吊钩图像进行特征提取，得到特征描述子；使用敏感哈希方法LSH对多组特征描述子进行空间点转换，并使用转化后的特征描述子对高斯混合模型的混合系数进行改进；对多组空间点转换后的特征描述子进行相似度排序，并根据相似度对点集进行分阶段匹配，得到特征可靠点对；使用改进后的混合系数对所述特征可靠点对进行配准，得到吊钩的像素坐标；根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值对吊钩进行测距。
Description
技术领域
本发明属于建筑领域，具体涉及一种塔式起重机吊钩的测距方法、装置、设备及存储介质。
背景技术
在智慧工地建设中，“无人化”成为未来建筑领域发展的方向。塔式起重机作为工地施工的重要器械，在控制端对其吊钩进行精准定位成为无人化塔吊操作的关键技术。吊钩深度信息的计算是塔吊定位中的关键一环，可以有效得到相机与吊钩之间的距离信息，为塔吊定位提供支持。
目标深度感知技术作为计算机视觉热门的应用方向之一，在科技发展与社会生活中有着广泛的应用，如无人驾驶、目标定位、军事侦察等领域。双目视觉系统由于具有操作简单、设备造价低，普适性强等特点，且能够利用图像对目标进行测距，并实现定位，因此非常适用于工程工业上的目标定位场景。双目测距系统通过用双目相机模仿人的眼睛，在左右两个视角中，目标物体存在一定的视差值，利用三角测量原理，从而获得目标物体的深度信息。其中，立体匹配得到的视差值是测距准确与否的关键。
现有的测距方法中，Myronenko等人将概率模型引入点集配准的问题中，提出了一种基于高斯混合模型(Gaussion Mixture Model，GMM)的相干点漂移算法。在该方法中，将其中一个点集视为模板点集，另一点集视为目标点集，利用概率模型来寻求最优的匹配关系，然而，虽然该方法将概率模型成功的引入点集匹配中，但是在图像点集的匹配应用中的效果并不理想，从而导致测距结果不准确。
发明内容
为了克服测距结果不准确的不足，本发明提供了一种塔式起重机吊钩的测距方法、装置、设备及存储介质。其方法包括如下步骤：
通过双目相机获取包含吊钩的工程图像；
使用目标检测算法YOLOv3对工程图像中的吊钩图像进行检测定位；
使用SIFT算法对检测到的吊钩图像进行特征提取，得到多组SIFT特征描述子；
使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；
使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；
根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；
对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；
根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。
优选的，使用YOLOv3算法对工程图像中的吊钩图像进行检测定位，包括如下步骤：
将所述工程图像归一化至同一像素；
使用YOLOv3算法的Darknet-53主干网络对归一化后的图像进行5次降采样，提取出图像特征；
分别通过YOLOv3算法的中间层、中下层和底层从图像特征中提取出三个输出特征图；
对三个输出特征图进行卷积处理后输出检测结果，得到吊钩图像。
优选的，使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进，包括如下步骤：
将初始的具有128维的多组SIFT特征描述子转换为B位二进制代码，建立对应的哈希函数；
使用哈希函数对转换后的多组SIFT特征描述子进行空间点转换；
计算多组空间点转换后的平均汉明距离，根据平均汉明距离对多组SIFT特征描述子的相似度进行可靠性筛选；
根据筛选结果对高斯混合模型的混合系数进行改进。
优选的，所述高斯混合模型为：
式中，x代表模板点集中的样本点，y代表目标点集中的样本点，ω为均匀分布的权重；N、M分别为模板点集与目标点集的数量；为第n个高斯分量的概率密度，其中，xn为模板点集中的第n个样本点，ym为目标点集中的第m个样本点，D为点集的维度，σ2为相等的各向同性协方差；
优选的，所述改进后的高斯混合模型的混合系数为：
式中，AHD(xn-ym)为模板点xn与目标点ym的K组哈希值的平均汉明距离，α为一个控制因数，C为调节系数，M为目标点集的数量。
优选的，通过最大期望算法EM对所述点集中的特征可靠点对进行配准，所述最大期望算法EM的模型公式为：
式中，Pold(ym|xn)为后验概率，即为样本点对应模板点的归属值；N、M分别为模板点集与目标点集的数量；Pnew(ym)＝1/M，Pnew(xn|ym)为第n个样本点与第m个目标点对应概率的隐变量。
优选的，所述视差值的计算公式为：
式中，B为基线长度，f为摄像头的焦距，Z为空间中的测量目标点到双目摄像头基线的直线距离，xl为左成像点的横坐标，和xr为右成像点的横坐标，即左右成像点距离各自成像平面左边界的距离，d为xl和xr的差值。
本发明还提供有一种塔式起重机吊钩的测距装置，包括：
图像获取模块，用于通过双目相机获取包含吊钩的工程图像；
吊钩图像检测模块，用于使用YOLOv3算法对工程图像中的吊钩图像进行检测定位；
特征描述子提取模块，用于使用尺度不变特征变换方法SIFT算法对检测到的吊钩图像进行特征提取，得到特征描述子；
混合系数获取模块，用于使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；
分段模块，用于使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；
配准模块，用于根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；
像素坐标获取模块，用于对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；
测距模块，用于根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。
本发明还提供有一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行塔式起重机吊钩的测距方法。
本发明还提供有一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程，所述计算机程序适于处理器进行加载，以执行塔式起重机吊钩的测距方法。
本发明提供的塔式起重机吊钩的测距方法、装置、设备及存储介质具有以下有益效果：
本发明通过目标检测算法YOLOv3能够缩小目标范围，对吊钩进行初步定位；通过使用敏感哈希方法LSH能够对提取的SIFT特征描述子进行可靠性处理，通过可靠性处理后的特征描述子能够对高斯混合模型的混合系数进行改进；通过改进后的混合系数与分阶段匹配策略结合，能够实现对吊钩目标的有效配准，从而能够根据配准结果得出目标的视差值，并准确计算出塔吊吊钩与双目相机的距离。
附图说明
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图；
图2为YOLOv3网络结构图
图3为YOLOv3可视化检测过程；
图4为局部敏感哈希算法；
图5为分段匹配策略；
图6为视角缩放旋转实验；
图7为光照度变化实验；
图8为图像清晰度变化实验；
图9为吊钩定位流程；
图10为双目立体视觉原理图；
图11为吊钩测距方案；
图12为两种方案的吊钩可视化相机布局；
图13为吊钩测距算法部署流程图；
图14为数据集图片示例；
图15为目标检测效果图；
图16为室内吊钩目标采集示例；
图17为吊钩模型特征点图；
图18为吊钩模型特征点匹配；
图19为方案一工地实景测距图像点集匹配图；
图20为方案二工地实景测距图像点集匹配图；
图21为室内塔式起重机测距模型。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的技术方案和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定或限定，术语“相连”、“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体式连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，在此不再详述。
实施例1
本发明提供了一种塔式起重机吊钩的测距方法、装置、设备及存储介质，其方法包括如下步骤，如图1所示：
步骤1：通过双目相机获取包含吊钩的工程图像。
步骤2：使用YOLOv3(其结构如图2所示)算法对工程图像中的吊钩图像进行检测定位，如图3所示，包括如下步骤：
将工程图像归一化至同一像素；
使用YOLOv3算法的Darknet-53主干网络对归一化后的图像进行5次降采样，提取出图像特征；
分别通过YOLOv3算法的中间层、中下层和底层从图像特征中提取出三个输出特征图；
对三个输出特征图进行卷积处理后输出检测结果，得到吊钩图像。
步骤3：使用SIFT(Scale-Invariant Feature Transform)算法对检测到的吊钩图像进行特征提取，得到特征描述子。
步骤4：使用敏感哈希方法LSH(Locality-Sensitive Hashing)对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进。
局部敏感哈希算法的基本思想是一种空间域的转换思想，假设两个特征点的描述子在原有的128维数据空间是具有较高相似度，那么这两个特征描述子分别进行哈希变换后理应保持较高的相似度，也就是说哈希函数对特征描述子的相似度的可靠度进行一个考量。如图4所示，使用三组哈希函数对空间点进行转换。
从图中可以看出，经过三组哈希函数的转换可以清楚看到空间距离较近的点具有相同的哈希值，同时它们具有较强的相似性。通过引入局部敏感哈希方法，如下式所示，使用一组哈希函数将128D的SIFT描述符转换为B位二进制代码。
hb(v)→{0,1},v∈R128,b＝1······B
为减小偶然性对结果的影响，增加特征点之间匹配关系的可靠性，使用K组LSH之后得到的平均汉明距离(Average Hamming Distance，AHD)作为参考，对SIFT描述子特征相似度的可靠性做了筛选，重新定义P(ymn)。如下式所示：
式中，AHD(xn-ym)为模板点xn与目标点ym的K组哈希值的平均汉明距离，α为一个控制因数，C为调节系数，M为目标点集的数量。
重新定义的混合系数P(ymn)使用SIFT特征描述子的平均汉明距离对点集的初始关系进行约束，使点集的描述特征与距离特征进行融合，之后使用EM算法计算后验概率得到点集的配准关系。
步骤5：使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标。
由于图像点集数量较大，其中含有大量的异常值，且图像变换具有较强的复杂性。直接对整个图像点集进行配准运算量较大，且在点密集区域相近点会产生负面影响。通过使用LSH算法对SIFT描述子进行了可靠性处理，降低了描述符相近的偶然性。本发明提出一种分段匹配策略，其主要思想为：
采用K组LSH(局部敏感哈希方法)对两幅图像的SIFT描述符进行处理，并记录离每组中汉明距离最近的对应点，如果对应点在K组中出现次数为K次，即表明该目标点与模板点之间的相似关系非常可靠，即可以认定为一组匹配点对。对K组哈希算法后的描述子做相似度排序，并根据相似度对点集进行分阶段匹配。本发明设置为三阶段匹配策略，相似度设为S，阈值分别为s1>s2>s3。算法流程如图5所示。
在K组LSH处理的点集中，与目标点相似度大于s1的模板点视为特征可靠点对，即使用特征点的特征信息就可以确定该点对为真匹配的概率较高，之后使用本发明改进的混合系数进行匹配，使用距离信息对目标点对进行进一步约束，以此来确定匹配关系。之后第二阶段为当s1>S>s2时，该阶段特征相似度不高，但是具有一定的约束能力，加上高斯混合模型中使用距离信息对其约束完成匹配。第三阶段匹配的可靠度最低，当S<s3时，特征信息匹配的置信度很低，且经过前两阶段的匹配，剩余点集中内点数量很少。根据前两阶段的匹配结果可以得出两图像的变换关系，即求得两图像的对应关系，并以此对应关系对第三阶段的点集进行位置约束。
步骤6：根据吊钩的像素坐标得出吊钩的视差值，根据视差值对吊钩进行测距。
视差值是指同一场景或物体在两个不同视角下成像时，在两个图像平面上对应点的位置差异。视差值是计算场景深度信息的关键，获取视差值后，由三角相似定理即可获取对应的深度信息。
本发明将优化的点集图像匹配算法称为分段高斯混合模型(Phased GaussianMixture Model，PGMM).为了验证改进后模型的效果，使用公共数据集VGG进行测试，选用召回率Recall，准确率Precision，平均数F1作为评价指标，对原始的GMM算法(CPD)、SIFT特征混合系数(NGMM)和本发明所提出的PGMM算法进行比较。
如图6、图7、图8所示，分别为不同旋转视角、不同光照度、不同清晰度下的点集匹配测试结果。
由实验结果可以看出，随着噪点个数的增多，使用传统的GMM(CPD算法)仅使用点集的位置信息进行配准，效果很差，正确匹配率低；NGMM使用SIFT描述子对混合系数进行了拟合，有一定的匹配效果，但是精度以及F1调和评价表现不够好；而PGMM的表现一直较好且平稳，可以看出本发明算法具有良好的鲁棒性。
本发明还提供有一种塔式起重机吊钩的测距装置，包括图像获取模块、吊钩图像检测模块、特征描述子提取模块、混合系数获取模块、分段模块、配准模块、像素坐标获取模块和测距模块。图像获取模块用于通过双目相机获取包含吊钩的工程图像；吊钩图像检测模块用于使用YOLOv3算法对工程图像中的吊钩图像进行检测定位；特征描述子提取模块用于使用尺度不变特征变换方法SIFT算法对检测到的吊钩图像进行特征提取，得到特征描述子；混合系数获取模块用于使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；分段模块用于使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；配准模块用于根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；像素坐标获取模块用于对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；测距模块用于根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。
本发明还提供有一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行塔式起重机吊钩的测距方法。
本发明还提供有一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程，所述计算机程序适于处理器进行加载，以执行塔式起重机吊钩的测距方法。
实施例2
本发明塔式起重机吊钩测距方法的具体应用过程如下：
1、测距流程
本发明提出的方法首先对图像中的吊钩目标进行准确检测定位，并提取目标内的特征点；然后使用优化的图像点集匹配算法进行目标配准以得到准确的像素坐标；最后根据相机的标定数据对目标进行距离计算。其具体步骤如图9所示。
2、深度信息计算
双目立体视觉系统与人眼相似，都是利用左右信息采集工具来观察世界。在双目立体视觉中，通过相机的内外部参数以及两相机拍摄的图像，可以测量出目标的距离。在理想状态下，两个图像中的同一目标的横坐标差值就是视差，结合计算公式计算即可得到目标的距离，几何原理如图10所示。
在图10中，点P为空间中的测量目标点，过点p1和点p2的水平面板是左右相机的成像平面，两平面共面且与基线平行。点p1和点p2分别为点P投影到左、右相机成像平面的点。C1和C2分别表示左相机和右相机的光心，处于同一水平线上。B表示基线长度，f为摄像头的焦距。点P到双目摄像头基线的直线距离为Z。由相似三角形定理可知：
其中，xl和xr分别为左右成像点p1，p2距离各自成像平面左边界的距离。整理上式可得：
由以上推导可知，当知道目标双目图像的像素差值就可推算出目标的深度信息。
3、测距方案
塔吊吊钩可视化模块设计的主要目的是完成吊钩的安全检测。塔吊视频监控模块需要使用相机对塔吊驾驶室、吊钩、吊钩周围环境进行实时监测。本发明选择网络摄像机监控塔吊，主要采用球形相机以及枪机形相机。本发明提出两种吊钩测距方案，其相机布局如图11所示。
方案一：
如图11(a)所示，两球形相机安放在驾驶室旁边，面向吊臂进行监控拍摄，相机成像平面与塔身平行，以塔身基座为世界参考系原点。
方案二：
如图11(b)所示，两相机安放在施工工地建筑物上(此处使用的为枪机形相机)，面向工地塔吊进行监控拍摄，两相机提前进行极线校正，以其中一个相机为世界参考系原点。
如图12所示，为建筑工地中两种方案的吊钩可视化相机布局。
4、实验与测试
工程塔吊吊钩的双目测距工作本质上是对摄像头所拍摄的图像进行处理、预测、计算。因此该测距系统的输入端是工地上所布置的摄像头采集的视频流，再对摄像头实时采集的视频流进行复杂的数据处理，期间对硬件设备有一定运算资源要求，否则不能保证预测的实时性。
本发明选取NVIDIAJetsonNX作为嵌入式平台，对本发明算法进行移植，并进行工程部署，以满足对实时性的要求。吊钩目标测距算法的主体部分部署在嵌入式端，其具体运行流程如图13所示。
所有代码的编写、模型训练和实验测试阶段均在PC上进行，PC端搭载Intel Corei512400F CPU 2.5GHz，16GB内存，NVIDIA GeForce GTX1060 GPU。PC端搭载Windows系统，进行算法开发与运行测试，再将算法经过转换精简与整合，移植到嵌入式端。在配置好基础环境以及所需的算法环境后，对代码模型进行初步检验实验。
5、目标检测实验
本发明数据集来源于甘肃建投集团机械公司，该公司拥有完善的塔吊设备，并提供百余套塔吊设备租赁服务，覆盖甘肃各个建筑工地。所采集的塔吊数据集具有广泛代表性。通过使用双目相机对施工现场塔吊吊钩进行不同角度、距离、背景下拍照，构建本发明数据集。本次实验整理5000张现场吊钩图像作为数据集。如图14所示，为数据集图片示例。
对数据集进行划分，按照比例(9:1):1划分为训练集、验证集和测试集。使用测试集对模型进行验证，吊钩的检测结果如图15所示。由检测效果图可以看出，本实验模型对不同背景、光照、角度、距离的吊钩图片均适用，可以准确的检测出吊钩位置，对于吊钩目标的检测达到满意的效果。
6、吊钩目标测距实验
算法测试
本发明实验使用室内吊钩目标进行测距实验，首先对室内吊钩目标进行双目图像采集，吊钩模型与双目相机的实际距离递增，距离范围为100mm-2000mm，采集的图像示例如图16所示。
将采集图片进行图像校正处理，并对采集图像进行吊钩模型的检测，之后使用本发明提出的点集匹配算法进行目标物体的立体匹配。目标物体的特征点图如17所示。
对目标内的特征点进行匹配，可以得到精确的对应点对坐标。匹配的精度直接影响后续距离信息的计算。匹配结果如图18所示：
根据目标物体的点集匹配结果可以直接得出目标物体内的匹配点坐标，进而进行距离的测定。使用双目相机对吊钩模型进行测距实验，使用目标内匹配点集作为对应点坐标，对所有匹配点进行测距并取均值作为距离结果，如表1所示：
表1吊钩模型测距实验
从实验结果可以得出，该测距方法在误差可接受范围内有效。但对于远距离目标，测距误差较大；主要原因是目标离双目相机越远，目标物体越小，左右相机中的目标物体的视差也会相应的变小。所以，在工程应用中，对大物体、远距离目标测距需要使两相机基线有足够的长度，以保证测距的精确度。
实施例3
工程应用中塔吊吊钩的测距实验
本发明所检测的吊钩样式以建筑工地中塔式起重机所安装的样式为基准，首先采用本发明提出的测距方案一进行实验。
对双目相机图像匹配校正结果如图19所示。
方案一测距结果如表2所示：
表2方案一塔吊实物实验结果
其次，采用本发明测距方案二进行实验。在对施工现场进行测距实验时，由于长基线双目相机暂时没有布置好，使用短基线相机对其进行测试，其左右图像经过吊钩目标检测后进行目标的点集匹配效果如图20所示。
如上表所示，由于使用短基线相机进行图像的实地采集，点集匹配后所得到的视差值较小，由实验结果可知，双目相机视差值越小，测距误差越大。所以方案二不能使用短基线双目相机在建筑工地中进行实验。
该方案最终选择在室内搭建模型，通过等比例缩小塔式起重机，使室内的短基线双目相机在一定程度上增大视差值，以尽可能地减小误差。
室内实验由于场地和相机限制，无法准确还原方案二的场景，但可以对本发明提出的测距方案做有效性验证。如图21所示，为搭建的室内塔式起重机模型。
在方案二中，由于摄像机位置与塔吊位置固定，受场地限制，无法对实际距离进行精确控制，只能通过人为移动吊钩的位置进行实验，所以实际距离具有随机性。如表3所示，为室内模拟测距结果。
表3方案二实验结果
由表2、表3可得，在建筑工地中，改进后的PGMM点集匹配算法能够在误差可接受范围内实现对塔吊吊钩深度信息的获取。方案一中相对误差基本保持在±4.3％以内，较好的完成了测距任务；但随着距离的增加，误差也随之增加，说明该方案更适合近距离测距。方案二中由于场地的限制，部分效果不太理想，但从实验结果来看，在远距离测距上保持了比较稳定的测距效果，在实际距离500mm以上时，相对误差保持在±1.8％以内，说明该方案更适合远距离测距。本发明结合实际应用需求，针对智慧工地无人塔吊安全系统中的吊钩可视化部分进行深入研究。对目标检测算法，图像的点集匹配，双目视觉测距等内容进行了实践与应用。使用基于YOLOv3的目标检测算法快速准确地获取吊钩二维位置信息；采用改进的图像点集配准算法PGMM，通过引入混合系数，实现信息的双重匹配，采用分阶段匹配策略，增加特征点的可靠性；对双目图像进行处理，并获得吊钩的视差值，计算出目标物体的深度信息；同时提出两种测距方案，通过分析与对比，验证了测距方法的有效性，并得出了两种方案的最佳适用场景：方案一适合吊钩的近距离测距，方案二适合吊钩的远距离测距。对方案一而言，在室外实物测距阶段，使用的球形相机随塔吊进行机械振动，存在一定的外部误差，后续工作中需要对工程应用中的相机进行避震处理。对方案二而言，后续工作中需要在建筑工地搭建该方案的应用场景，进行更精确的分析。无人塔吊安全监测系统需要进一步的完善，通过为塔吊配置传感器、引入二维坐标与三维坐标的转换等方法，结合本发明的吊钩测距算法，以实现对塔吊吊钩的3维定位。同时，本发明的研究内容可以与数字孪生技术进行结合，对塔吊进行数字建模，以此达到对塔吊的全方位的安全监测。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (10)
1.一种塔式起重机吊钩的测距方法，其特征在于，包括如下步骤：
通过双目相机获取包含吊钩的工程图像；
使用目标检测算法YOLOv3对工程图像中的吊钩图像进行检测定位；
使用尺度不变特征变换方法SIFT算法对检测到的吊钩图像进行特征提取，得到多组SIFT特征描述子；
使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；
使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；
根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；
对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；
根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。
2.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，使用YOLOv3算法对工程图像中的吊钩图像进行检测定位，包括如下步骤：
将所述工程图像归一化至同一像素；
使用YOLOv3算法的Darknet-53主干网络对归一化后的图像进行5次降采样，提取出图像特征；
分别通过YOLOv3算法的中间层、中下层和底层从图像特征中提取出三个输出特征图；
对三个输出特征图进行卷积处理后输出检测结果，得到吊钩图像。
3.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进，包括如下步骤：
将初始的具有128维的多组SIFT特征描述子转换为B位二进制代码，建立对应的哈希函数；
使用哈希函数对转换后的多组SIFT特征描述子进行空间点转换；
计算多组空间点转换后的平均汉明距离，根据平均汉明距离对多组SIFT特征描述子的相似度进行可靠性筛选；
根据筛选结果对高斯混合模型的混合系数进行改进。
4.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，所述高斯混合模型为：
式中，x代表模板点集中的样本点，y代表目标点集中的样本点，ω为均匀分布的权重；N、M分别为模板点集与目标点集的数量；为第n个高斯分量的概率密度，其中，xn为模板点集中的第n个样本点，ym为目标点集中的第m个样本点，D为点集的维度，σ2为相等的各向同性协方差。
5.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，所述改进后的高斯混合模型的混合系数为：
式中，AHD(xn-ym)为模板点xn与目标点ym的K组哈希值的平均汉明距离，α为一个控制因数，C为调节系数，M为目标点集的数量。
6.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，通过最大期望算法EM对所述点集中的特征可靠点对进行配准，所述最大期望算法EM的模型公式为：
式中，Pold(ym|xn)为后验概率，即为样本点对应模板点的归属值；N、M分别为模板点集与目标点集的数量；Pnew(ym)＝1/M，Pnew(xn|ym)为第n个样本点与第m个目标点对应概率的隐变量。
7.根据权利要求1所述的塔式起重机吊钩的测距方法，其特征在于，所述视差值的计算公式为：
式中，B为基线长度，f为摄像头的焦距，Z为空间中的测量目标点到双目摄像头基线的直线距离，xl为左成像点的横坐标，和xr为右成像点的横坐标，即左右成像点距离各自成像平面左边界的距离，d为xl和xr的差值。
8.一种塔式起重机吊钩的测距装置，其特征在于，包括：
图像获取模块，用于通过双目相机获取包含吊钩的工程图像；
吊钩图像检测模块，用于使用YOLOv3算法对工程图像中的吊钩图像进行检测定位；
特征描述子提取模块，用于使用尺度不变特征变换方法SIFT算法对检测到的吊钩图像进行特征提取，得到特征描述子；
混合系数获取模块，用于使用敏感哈希方法LSH对多组特征描述子进行可靠性处理，并使用处理后的特征描述子对高斯混合模型的混合系数进行改进；
分段模块，用于使用改进后的混合系数对多组SIFT特征描述子进行可靠性分段；
配准模块，用于根据可靠性分段结果对满足设定阈值的特征描述子进行匹配，得到初始匹配后的点集；
像素坐标获取模块，用于对所述点集中的特征可靠点对进行配准，得到吊钩的像素坐标；
测距模块，用于根据吊钩的像素坐标得出吊钩的视差值，根据所述视差值计算出吊钩与双目相机的距离。
9.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061409.8A CN117876713A (zh) | 2024-01-16 | 2024-01-16 | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410061409.8A CN117876713A (zh) | 2024-01-16 | 2024-01-16 | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117876713A true CN117876713A (zh) | 2024-04-12 |
Family
ID=90591632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410061409.8A Pending CN117876713A (zh) | 2024-01-16 | 2024-01-16 | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876713A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719241A (zh) * | 2016-01-27 | 2016-06-29 | 浙江工业大学 | 一种基于视觉扫描的船槽定位方法 |
| CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
| US20220405947A1 (en) * | 2019-07-08 | 2022-12-22 | Zhongyuan University Of Technology | Vehicle speed intelligent measurement method based on binocular stereo vision system |
-
2024
- 2024-01-16 CN CN202410061409.8A patent/CN117876713A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105719241A (zh) * | 2016-01-27 | 2016-06-29 | 浙江工业大学 | 一种基于视觉扫描的船槽定位方法 |
| CN111815757A (zh) * | 2019-06-29 | 2020-10-23 | 浙江大学山东工业技术研究院 | 基于图像序列的大型构件三维重建方法 |
| US20220405947A1 (en) * | 2019-07-08 | 2022-12-22 | Zhongyuan University Of Technology | Vehicle speed intelligent measurement method based on binocular stereo vision system |
Non-Patent Citations (1)
| Title |
|---|
| 秦皓: "面向智慧工地的塔式起重机吊钩3D 定位方法研究", 硕士学位论文, 15 December 2023 (2023-12-15), pages 2 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| KR101105795B1 (ko) | 항공 화상의 자동 처리 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| CN112132908B (zh) | 一种基于智能检测技术的相机外参数标定方法及设备 | |
| CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| CN114627491A (zh) | 一种基于极线汇聚的单人三维姿态估计方法 | |
| CN117456114B (zh) | 基于多视图的三维图像重建方法及系统 | |
| CN115018920A (zh) | 一种相机阵列标定方法、装置、电子设备及存储介质 | |
| CN112270748A (zh) | 基于图像的三维重建方法及装置 | |
| CN116883981A (zh) | 一种车牌定位识别方法、系统、计算机设备及存储介质 | |
| CN114608522B (zh) | 一种基于视觉的障碍物识别与测距方法 | |
| Brunken et al. | Deep learning self-calibration from planes | |
| CN115880643A (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
| CN113670268B (zh) | 基于双目视觉的无人机和电力杆塔距离测量方法 | |
| CN117876713A (zh) | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 | |
| Wan et al. | A performance comparison of feature detectors for planetary rover mapping and localization | |
| CN114581522A (zh) | 一种支撑点搜索的单目视觉室内定位方法 | |
| CN113643328A (zh) | 标定物的重建方法、装置、电子设备及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |