CN113793384B - 一种基于图像处理的石油钻杆变径定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像处理的石油钻杆变径定位方法及方法，涉及石油钻杆定位以及图像处理技术领域，该方法包括：获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据；从所述二维图像数据中提取线段，以构成线段集合；从所述线段集合中筛选出满足目标管柱变径几何特征的两条变径边缘线段；所述变径为上变径或者下变径；将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。本发明无需人工辅助，就能够准确确定石油钻杆变径位置，进而高效准确的部署液压钳。

Description

一种基于图像处理的石油钻杆变径定位方法及系统

技术领域

本发明涉及石油钻杆定位以及图像处理技术领域，特别是涉及一种基于图像处理的石油钻杆变径定位方法及系统。

背景技术

石油钻杆是工业上用于采集石油原油的设备，石油钻杆分为上管柱和下管柱两部分，且中间带螺纹连接处称为接箍(也称分型面)，上下管柱直径发生改变的位置称为变径(石油钻杆结构参见图1)。将石油钻杆上下管柱的拼合工作称为上扣，分离工作称为卸扣。

传统工业场景下，对石油钻杆的上扣和卸扣往往是使用人工操作的方法，具体为：钻井工人通过肉眼判断找到钻杆下变径位置，在下变径位置和接箍之间手动部署液压钳，实现石油钻杆的上扣和卸扣。这种基于人工操作的方法存在较大的误差，可能出现因为定位不准确导致液压钳部署失败或者夹坏管柱等情况。同时工业场景是较为复杂的石油矿井作业环境，手动部署液压钳存在很大的安全隐患，且人工操作的效率较低，需要耗费很长的时间才能完成一根石油钻杆液压钳的部署工作。

为了解决上述的问题，一系列的自动化液压钳部署仪器被研制出来。然而这些自动化液压钳部署仪器在进行部署的时候仍然需要人工辅助操作，必须先由钻井工人手动找到下变径的位置，并操作自动化液压钳部署仪器将液压钳移动到下变径和接箍之间，费时费力的同时准确性也有所限制。

发明内容

本发明的目的是提供一种基于图像处理的石油钻杆变径定位方法及系统，无需人工辅助，就能够准确确定石油钻杆变径位置，进而高效准确的部署液压钳。

为实现上述目的，本发明提供了如下方案：

一种基于图像处理的石油钻杆变径定位方法，包括：

获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据；

从所述二维图像数据中提取所有线段，以构成线段集合；

从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径；

将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

可选的，所述从所述二维图像数据中提取所有具有线性特征的线段，以构成线段集合，具体包括：

对所述二维图像数据进行处理，以得到目标管柱图像区域；

从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

可选的，所述从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合，具体包括：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理；

采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

可选的，所述从所述线段集合中筛选出满足目标管柱变径几何特征的两条变径边缘线段，具体包括：

基于目标管柱变径几何特征，对所述线段集合中的线段进行过滤处理，以得到两条变径边缘线段；

所述过滤包括斜率过滤、线段聚合、长度过滤以及相对位置过滤；

两条所述变径边缘线段所满足的变径几何特征包括：

(1)两条所述变径边缘线段的斜率分别为一正一负，且两条所述变径边缘线段的斜率的差值的绝对值在第一阈值内；

(2)两条所述变径边缘线段的中心点的相对距离在第二阈值内，两条所述变径边缘线段沿X轴的间距在第三阈值内，两条所述变径边缘线段沿Y轴的间距在第四阈值内；

(3)两条所述变径边缘线段的的长度均处于第五阈值内。

可选的，所述将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

基于真实场景下两条变径边缘线段为对称且等长的特点，对所述目标管柱对应的两条所述变径边缘线段进行线段修复；

将线段修复后的两条变径边缘线段组成一个梯形区域；

将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

可选的，所述三维点云数据为一组五点坐标的集合；所述线段修复后的两条变径边缘线段的端点坐标对应所述五点坐标的前两个坐标；所述将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

判断任一组五点坐标中前两个坐标是否在梯形区域内；

若是，则将所述任一组五点坐标加入到输出集合中；

若否，则将所述任一组五点坐标删除；

根据最终的输出集合，确定所述目标管柱上的变径的位置信息；所述最终的输出集合为遍历所述三维点云数据中所有的五点坐标后得到的输出集合。

可选的，还包括：

当变径为上变径时，根据所述目标管柱上的上变径的位置信息，确定所述目标管柱上的下变径的位置信息；

当变径为下变径时，根据所述目标管柱上的下变径的位置信息，确定所述目标管柱上的上变径的位置信息。

一种基于图像处理的石油钻杆变径定位系统，包括：

数据获取模块，用于获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据；

线段集合构成模块，用于从所述二维图像数据中提取所有线段，以构成线段集合；

变径边缘线段确定模块，用于从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径；

位置信息确定模块，用于将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

可选的，所述线段集合构成模块，具体包括：

目标管柱图像区域确定单元，用于对所述二维图像数据进行处理，以得到目标管柱图像区域；

线段集合构成单元，用于：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理；

采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

可选的，位置信息确定模块，具体包括：

线段修复单元，用于基于真实场景下两条变径边缘线段为对称且等长特点，对目标管柱对应的两条所述变径边缘线段进行线段修复；

区域构成单元，用于将线段修复后的两条变径边缘线段组成一个梯形区域；

位置信息确定单元，用于将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于图像处理的石油钻杆变径定位系统

通过本发明方法，对石油钻杆变径的定位不再需要繁重、低效率的人工操作，而是可以直接对石油钻杆的二维图像和三维点云数据进行高效率、高精度和高鲁棒的定位。本发明应用于工业场景下石油钻杆上扣和卸扣工作前对管柱变径的定位，在很大程度上提高了变径定位的效率和准确性，在极大地降低人工成本的同时极大地提高了准确性，在工业上具有很强的实用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明石油钻杆放入结构示意图

图2为本发明石油钻杆下变径定位方法处理流程图；

图3为本发明矩阵深度相机和石油钻杆拍摄位置示意图；

图4为本发明梯度幅度和水平线示意图；

图5为本发明Line Segment Detector直线检测算法的流程示意图；

图6为本发明下变径边缘线段特征示意图；

图7为本发明线段过滤阶段线段聚合算法处理结果示意图；

图8为本发明线段过滤阶段线段修复算法处理结果示意图；

图9为本发明三维点云数据五点坐标示意图；

图10为本发明二维图像上的点映射三维点云数据的原理示意图；

图11为本发明二维图像上的点映射三维点云数据的结果示意图；

图12为本发明一种基于图像处理的石油钻杆变径定位方法的流程示意图；

图13为本发明一种基于图像处理的石油钻杆变径定位系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对以上描述，传统人工定位方法不能很好地应用在石油钻杆作业中，现有的自动化部署仪器在进行定位的时候也有明显的限制，鉴于此，本发明提供了一种基于图像处理的石油钻杆变径定位方法及系统。本发明对从矩阵深度相机获取到的二维图像和三维点云数据进行处理，利用Line Segment Detection直线检测算法(以下简称LSD直线检测算法)对二维图像进行直线检测，并根据石油钻杆的管柱的几何特征对检测到的线段集合进行筛选过滤找到两条变径边缘线段，并将其组成的梯形区域映射到三维点云数据中以找到石油钻杆变径的准确位置。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

请参见图2，本实施例提供了一种基于图像处理的石油钻杆下变径定位方法，包括以下步骤。

步骤一：获取从矩阵深度相机(或者称为矩阵相机、点向矩阵相机)采集到二维图像数据和三维点云数据，然后从二维图像数据中截取只包含管柱的图像区域，减少无管柱目标的背景图像对定位的影响。

工作场景下的矩阵深度相机和石油钻杆的相对位置是固定的(矩阵深度相机和石油钻杆的位置参见图3)，石油钻杆的管柱一般都位于图像的正中间区域，所以将图像左右各40％的区域裁剪掉并不会影响到管柱定位，同时也能够减少无管柱目标的背景图像对定位的影响。

步骤二：使用LSD直线检测算法，从步骤一生成的管柱图像中检测所有具有线性特征的线段，以构成线段集合，具体包括：

将步骤一生成的管柱图像缩小为原来大小的80％，以减弱图像中出现的锯齿效应，然后对缩放后的图像进行灰度化处理，得到灰度图像；灰度化处理过程如下：

Gray(i,j)＝(R(i,j)+G(i,j)+B(i,j))/3 (1)；

其中，i,j是对应像素所在的x，y轴坐标，R/G/B(i,j)分别代表该像素所在的RGB通道值，Gray(i,j)是输出的灰度通道值，因为灰度图像只有一个色域，所以结果为三个色域值的平均。

遍历灰度图像中每四个相邻的像素：

其中，i(x,y)代表像素(x,y)的图像灰度值，分别计算每个像素的图像梯度，x，y指任取一个像素，其在xy轴上的坐标；图像梯度的计算公式如下：

g_x(x,y)表示x方向的图像梯度，g_y(x,y)表示y方向的图像梯度。注意，这里计算出来的值对应于坐标(x+0.5,y+0.5)的图像梯度，它代表(x,y)处的半像素偏移量。根据x方向和y方向的图像梯度计算水平线角度(level-line)和梯度幅值(gradient magnitude)，计算公式如下：

梯度幅值和水平线角度(见图4)两者将二维图像的边缘进行编码，即检测像素从黑到白的转换。具有高梯度幅值的像素对应对比度更高的边缘，在边缘上，中心像素通常具有最高的梯度幅度。LSD直线检测算法是一种贪婪算法，像素处理的顺序会对结果产生一定的影响，所以需要按照梯度幅值大小对像素进行排序，从具有最高梯度幅值的像素点进行直线分割检测。同时，具有小梯度幅值的像素对应平坦区域或慢梯度区域。由于其值的量化，会在梯度计算中产生更多误差，所以设定一个阈值ρ，将梯度幅值小于阈值ρ的像素过滤掉。

接下来进行区域增长；从像素排序列表中选择一个未使用的像素作为种子点，该种子点旁边那些未被使用的邻域像素将被递归地用于测试，水平线角度与区域角度θ_region之间差值在阈值τ之间的邻域像素会被加入到该种子点所在区域中。区域角度θ_region是增长区域的平均角度，种子点作为第一个遍历点也包含在内。θ_region初始值为种子点的水平线角度，每添加一个新的像素到该种子点所在区域，θ_region将被更新为：

其中，下标k用来遍历区域中所有像素，如果给区域中的每个像素关联一个单位向量及其水平线角度，公式(5)对应于平均向量的角度。此处的level-line-angle就是水平线角的意思，没有单独的含义，此公式为原LSD中的公式。

如此反复，直到没有任何像素可以添加到区域当中，完成一次迭代。

直线分割后每一个区域都可以对应一个矩形(见图5)。将每个像素的梯度幅度作为该像素的质量，计算每个区域质心的位置，并作为目标矩形的中心；其计算公式如下。

其中，公式(6)为几何中的质心计算公式，x(j)，y(j)是每一个像素的x,y坐标，j是遍历区域Region内的所有像素的索引，G(j)是像素j的梯度幅值，下标j用于遍历矩形区域内所有的像素。接着以该区域的质心为中心点，构建区域的最小外接矩形即为目标矩形。用该区域迭代结果中的θ_region作为矩形的主方向，以质心为中心拟合一条直线，它与矩形的两个交点即为LSD直线检测算法所求线段集的一条线段(一般用(x₁,y₁)(x₂,y₂)两个端点坐标来表示一条线段)。

步骤三：对于步骤二生成的线段集合进行线段过滤，包含斜率过滤、线段聚合、长度过滤以及相对位置过滤，以获得满足管柱下变径几何特征的两条下变径边缘线段。

经过步骤二LSD直线检测算法处理的结果为一组长度、斜率有差异的直线段集合，而需要检测的石油钻杆下变径具有比较明显的几何特征，假设下变径边缘由两条斜率相对的线段组成，详细参见图6。

(1)两条线段斜率为一正一负，并且两条线段斜率差值的绝对值在某个阈值内；

(2)两条线段的中心点相对距离、沿X轴间距、沿Y轴间距在某个阈值内；

(3)两条线段的长度处于某个阈值内；

因此可以基于管柱下变径的几何特征对线段集合进行过滤和筛选找到符合条件的两条下变径边缘线段。具体操作如下：

斜率过滤

对于LSD直线检测算法处理的线段集合，计算所有线段的斜率：

θ＝(y₂-y₁)/(x₂-x₁) (7)；

其中，(x₁,y₁)(x₂,y₂)是线段的两个端点，石油钻杆下变径边缘的两条线段的斜率处于一个阈值范围，根据这一几何特征将斜率不在0.25到0.4之间的线段过滤掉，可以去除一部分噪声。

线段聚合

LSD直线检测算法是一种贪婪算法，在处理过程中会丢失连续线段中的部分内容，导致获得的结果与理想最优解有偏差(见图7)，因此需要一种方法对理论上应该连续而实际上间断的线段进行聚合，使它们接近理想状态。

对于可聚合的线段，它们的斜率应该是同正同负的，基于这一特征将线段集合按照正负符号分为两个子集合，两两遍历每个子集合中的元素，如果两条对应线段斜率差值小于阈值0.1并且相对位置距离小于10像素，则以相对位置在上的线段的上端点和相对位置在下的线段的下端点拟合一条新的线段，同时将新线段加入到原集合内并删去两条原线段。直至遍历整个集合无可聚合线段为止，得到结果集合。

长度过滤

经过线段聚合操作后，结果集合内只剩下聚合后的长线段和未聚合的短线段，这些短线段正常情况下都可认定为噪声，通过计算所有线段的长度：

将所有长度小于30像素的线段从结果集合中删除，这样就过滤掉了大部分的短长度噪声数据。

相对位置过滤

石油钻杆下变径两条边缘线段的相对位置是固定的(见图6)，通过对相对位置的筛选可以最终确定两条下变径边缘线段。首先，根据斜率的正负将上一步的结果集合分为两个分组集合，因为管柱下变径两条边缘的斜率一定是相对的，所以用一个分组集合中的线段依次去匹配另一个分组集合的线段。以两条线段的中心点为参考点，找到满足中心点距离处于170-220阈值范围、X轴轴距处于180-220阈值范围和Y轴轴距处于0-60阈值范围条件的那对边缘线段，即为检测结果。

步骤四：对于步骤三生成的两条下变径边缘线段进行线段修复，以恢复LSD直线检测过程中因为颜色误差所丢失的部分。

通过线段过滤得到的两条石油钻杆下变径边缘线段可能会因为背景色差、对比度等问题有缺失(见图8)，导致实际结果中的两条线段长度小于实际长度，而真实场景下的钻杆下变径两条边缘线段应该是对称且等长的。基于这一特征，可以对两条边缘线段进行同步修复，取两条线段四个端点在y轴方向的最大值和最小值，将其作为每条线段上下端点的y坐标，即可将线段上缺失的部分做相应的修复。

步骤五：对于步骤四生成的两条下变径边缘线段，将其组成一个梯形区域，通过矩阵深度相机获取的三维点云数据进行映射；其中，三维点云数据是一组五点坐标的集合，若五点坐标中前两个坐标落在梯形范围内，则该五点坐标对应的点组成的区域即为定位的结果。

从矩阵深度相机中获取的三维点云数据是一组五点坐标的集合(图像x坐标，图像y坐标，点云x坐标，点云y坐标，点云z坐标)(见图9)，步骤四得到的结果是两条下变径边缘线段的端点坐标，它们对应五点坐标的前两个坐标。本实施例以两条下变径边缘线段的四个端点拟合一个梯形区域，将这五点坐标的前两个坐标作为索引，通过判断其是否位于梯形区域内部来判断是否将该点加入到输出集合中，便能完成二维图像向三维点云数据的管柱下变径位置映射，确定下变径的位置(见图10)。

Location＝(x₁-x₂)/(y₁-y₂)*(Y-y₂)-X (9)；

其中，(x₁,y₁)(x₂,y₂)代表梯形区域一条边缘线段的两个端点，(X,Y)代表点云数据中五点坐标的前两个坐标。如果Location>0则可以确定五点坐标中前两个坐标为(X,Y)的点位于该线段的左侧；反之，前两个坐标为(X,Y)的点位于该线段的右侧。点云映射通过遍历点云中的所有点，判断其是否位于管柱左边缘右侧和右边缘左侧，如果满足则将其加入结果点云集(结果集见图11标识区域)。

实施例二

本实施例提供了一种基于矩阵深度相机的石油钻杆下变径定位方法，主要内容包括：使用LSD直线检测算法检测二维图像数据中所有具有线性特征的直线段；基于管柱下变径几何特征对线段集合进行过滤，以找到下变径边缘的两条线段；对两条线段的长度进行扩充以修复LSD检测过程中可能丢失的部分；矩阵深度相机获取油管管柱的二维图像(x,y坐标)和三维点云数据(x,y,z坐标)；将二维图像中下变径的梯形区域映射到三维点云数据中完成下变径的三维空间定位。具体如下：

步骤一、在二维图像中裁剪管柱所在的区域。

首先，对从矩阵相机获取到的二维图像数据，通过将图像左右各1/4的区域裁剪掉以减少无管柱目标的背景图像对定位的影响。

步骤二、Line Segment Detection直线检测算法

对截取的管柱图像缩小80％以减弱锯齿效应，接着对缩放后的图像进行灰度化预处理，再使用Line Segment Detector直线检测算法从包含管柱的图像中提取所有包含的线段集合。

步骤三、线段过滤

基于石油钻杆下变径的几何特征，对LSD提取的线段集合做斜率过滤、线段聚合、长度过滤和相对位置过滤操作，以获得两条准确的下变径边缘线段。

斜率过滤：筛选出斜率处于0.25-0.4阈值范围内的线段，过滤掉其余的无关线段。

线段聚合：将线段集合按照正负符号分为两个子集合，两两遍历每个子集合中的元素，如果两条对应线段斜率差值小于阈值0.1并且相对位置距离小于10像素，则以相对位置在上的线段的上端点和相对位置在下的线段的下断点拟合一条新的线段，同时在加入到原集合内并删去两条原线段，直至遍历整个集合无可聚合线段为止。

长度过滤：筛选出线段长度大于30像素的线段，过滤掉其余的短线段。

相对位置过滤：根据斜率的正负将线段聚合的结果集分为两个分组集合，用一个分组集合中的线段依次去匹配另一个分组集合的线段。以两条线段的中心点为参考点，找到满足中心点距离处于170-220阈值范围、X轴轴距处于180-220阈值范围和Y轴轴距处于0-60阈值范围条件的那对线段，即为检测结果。

步骤四、线段修复

以获得的两条下变径边缘线段Y轴方向的最大值和最小值作为两条线段上下端点的y坐标，来达到修复线段在LSD直线检测过程出现的丢失部分。

步骤五、二维图像映射三维点云

通过矩阵相机获取的三维点云数据五点坐标的前两个坐标判断每个点是否属于二维图像中对应下变径范围的梯形区域里，并将满足条件的点加入到结果集中输出。

实施例三

本实施例提供了一种基于图像处理的石油钻杆变径定位方法，如图12所示，包括：

步骤100：获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据。

步骤200：从所述二维图像数据中提取所有线段，以构成线段集合。

步骤300：从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径。

步骤400：将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

其中，步骤200具体包括：

从所述二维图像数据中截取只包含目标管柱的图像区域，以得到目标管柱图像区域。

从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

进一步地，所述从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合，具体包括：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理。

采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

步骤300，具体包括：

基于目标管柱变径几何特征，对所述线段集合中的线段进行过滤处理，以得到两条变径边缘线段。

所述过滤包括斜率过滤、线段聚合、长度过滤以及相对位置过滤。

两条所述变径边缘线段所满足的变径几何特征包括：

(1)两条所述变径边缘线段的斜率分别为一正一负，且两条所述变径边缘线段的斜率的差值的绝对值在第一阈值内。

(2)两条所述变径边缘线段的中心点的相对距离在第二阈值内，两条所述变径边缘线段沿X轴的间距在第三阈值内，两条所述变径边缘线段沿Y轴的间距在第四阈值内。

(3)两条所述变径边缘线段的的长度均处于第五阈值内。

步骤400具体包括：

基于真实场景下两条变径边缘线段为对称且等长的特点，对所述目标管柱对应的两条所述变径边缘线段进行线段修复。

将线段修复后的两条变径边缘线段组成一个梯形区域。

将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

进一步地，所述三维点云数据为一组五点坐标的集合；所述线段修复后的两条变径边缘线段的端点坐标对应所述五点坐标的前两个坐标；所述将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

判断任一组五点坐标中前两个坐标是否在梯形区域内；若是，则将所述任一组五点坐标加入到输出集合中；若否，则将所述任一组五点坐标删除。

根据最终的输出集合，确定所述目标管柱上的变径的位置信息；所述最终的输出集合为遍历所述三维点云数据中所有的五点坐标后得到的输出集合。

优选地，本实施例提供的方法还包括：

当变径为上变径时，根据所述目标管柱上的上变径的位置信息，确定所述目标管柱上的下变径的位置信息。

当变径为下变径时，根据所述目标管柱上的下变径的位置信息，确定所述目标管柱上的上变径的位置信息。

实施例四

本实施例提供了一种基于图像处理的石油钻杆变径定位系统，如图13所示，包括：

数据获取模块500，用于获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据。

线段集合构成模块600，用于从所述二维图像数据中提取所有线段，以构成线段集合。

变径边缘线段确定模块700，用于从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径。

位置信息确定模块800，用于将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

所述线段集合构成模块600，具体包括：

目标管柱图像区域确定单元，用于从所述二维图像数据中截取只包含目标管柱的图像区域，以得到目标管柱图像区域。

线段集合构成单元，用于：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理；采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

位置信息确定模块800，具体包括：

线段修复单元，用于基于真实场景下两条变径边缘线段为对称且等长特点，对目标管柱对应的两条所述变径边缘线段进行线段修复；区域构成单元，用于将线段修复后的两条变径边缘线段组成一个梯形区域；位置信息确定单元，用于将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于图像处理的石油钻杆变径定位方法，其特征在于，包括：

获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据；

从所述二维图像数据中提取所有线段，以构成线段集合；

从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径；

将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息；

将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

基于真实场景下两条变径边缘线段为对称且等长的特点，对所述目标管柱对应的两条所述变径边缘线段进行线段修复；

将线段修复后的两条变径边缘线段组成一个梯形区域；

将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息；

其中，所述三维点云数据为一组五点坐标的集合；所述线段修复后的两条变径边缘线段的端点坐标对应所述五点坐标的前两个坐标；将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

判断任一组五点坐标中前两个坐标是否在梯形区域内；

若是，则将所述任一组五点坐标加入到输出集合中；

若否，则将所述任一组五点坐标删除；

根据最终的输出集合，确定所述目标管柱上的变径的位置信息；所述最终的输出集合为遍历所述三维点云数据中所有的五点坐标后得到的输出集合。

2.根据权利要求1所述的一种基于图像处理的石油钻杆变径定位方法，其特征在于，所述从所述二维图像数据中提取所有具有线性特征的线段，以构成线段集合，具体包括：

对所述二维图像数据进行处理，以得到目标管柱图像区域；

从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

3.根据权利要求2所述的一种基于图像处理的石油钻杆变径定位方法，其特征在于，所述从所述目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合，具体包括：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理；

采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。

4.根据权利要求1所述的一种基于图像处理的石油钻杆变径定位方法，其特征在于，所述从所述线段集合中筛选出满足目标管柱变径几何特征的两条变径边缘线段，具体包括：

基于目标管柱变径几何特征，对所述线段集合中的线段进行过滤处理，以得到两条变径边缘线段；

所述过滤包括斜率过滤、线段聚合、长度过滤以及相对位置过滤；

两条所述变径边缘线段所满足的变径几何特征包括：

(1)两条所述变径边缘线段的斜率分别为一正一负，且两条所述变径边缘线段的斜率的差值的绝对值在第一阈值内；

(2)两条所述变径边缘线段的中心点的相对距离在第二阈值内，两条所述变径边缘线段沿X轴的间距在第三阈值内，两条所述变径边缘线段沿Y轴的间距在第四阈值内；

(3)两条所述变径边缘线段的的长度均处于第五阈值内。

5.根据权利要求1所述的一种基于图像处理的石油钻杆变径定位方法，其特征在于，还包括：

当变径为上变径时，根据所述目标管柱上的上变径的位置信息，确定所述目标管柱上的下变径的位置信息；

当变径为下变径时，根据所述目标管柱上的下变径的位置信息，确定所述目标管柱上的上变径的位置信息。

6.一种基于图像处理的石油钻杆变径定位系统，其特征在于，包括：

数据获取模块，用于获取石油钻杆中目标管柱对应的二维图像数据和三维点云数据；

线段集合构成模块，用于从所述二维图像数据中提取所有线段，以构成线段集合；

变径边缘线段确定模块，用于从所述线段集合中筛选出满足目标管柱变径几何特征的两条线段；其中，筛选出的线段为变径边缘线段；所述变径为上变径或者下变径；

位置信息确定模块，用于将两条所述变径边缘线段构成的区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息；

所述位置信息确定模块，具体包括：

线段修复单元，用于基于真实场景下两条变径边缘线段为对称且等长特点，对目标管柱对应的两条所述变径边缘线段进行线段修复；

区域构成单元，用于将线段修复后的两条变径边缘线段组成一个梯形区域；

位置信息确定单元，用于将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息；

其中，所述三维点云数据为一组五点坐标的集合；所述线段修复后的两条变径边缘线段的端点坐标对应所述五点坐标的前两个坐标；将所述梯形区域映射到所述三维点云数据中，以确定所述目标管柱上的变径的位置信息，具体包括：

判断任一组五点坐标中前两个坐标是否在梯形区域内；

若是，则将所述任一组五点坐标加入到输出集合中；

若否，则将所述任一组五点坐标删除；

根据最终的输出集合，确定所述目标管柱上的变径的位置信息；所述最终的输出集合为遍历所述三维点云数据中所有的五点坐标后得到的输出集合。

7.根据权利要求6所述的一种基于图像处理的石油钻杆变径定位系统，其特征在于，所述线段集合构成模块，具体包括：

目标管柱图像区域确定单元，用于对所述二维图像数据进行处理，以得到目标管柱图像区域；

线段集合构成单元，用于：

对所述目标管柱图像区域进行预处理操作；所述预处理操作包括缩小处理和灰度化处理；

采用LSD直线检测算法，从预处理后的目标管柱图像区域中提取所有具有线性特征的线段，以构成线段集合。