CN117372498A - 一种基于三维点云的多姿态螺栓尺寸测量方法 - Google Patents

一种基于三维点云的多姿态螺栓尺寸测量方法 Download PDF

Info

Publication number
CN117372498A
CN117372498A CN202311070221.1A CN202311070221A CN117372498A CN 117372498 A CN117372498 A CN 117372498A CN 202311070221 A CN202311070221 A CN 202311070221A CN 117372498 A CN117372498 A CN 117372498A
Authority
CN
China
Prior art keywords
bolt
point cloud
horizontal plane
dimensional point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311070221.1A
Other languages
English (en)
Inventor
唐辉
黄煜天
沈开源
陈奕鑫
章文奇
朱威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202311070221.1A priority Critical patent/CN117372498A/zh
Publication of CN117372498A publication Critical patent/CN117372498A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G01B11/12—Measuring arrangements characterised by the use of optical techniques for measuring diameters internal diameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于三维点云的多姿态螺栓尺寸测量方法，采集测量用的图像数据，获取关于螺栓的水平面候选区域，建立螺栓所处水平面的三维点云平面方程；获取待测螺栓的二值化掩膜图像，得到螺栓在三维点云坐标系的预估直立高度，利用螺栓的预估直立高度与测量高度对螺栓姿态判断；处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度，获得螺栓尺寸。本发明能对多种姿态和不同型号的螺栓进行通用尺寸测量，摆脱对标准螺栓实际尺寸的依赖；能提供精确的尺寸测量结果，减小测量误差；能准确判断出螺栓的姿态，针对不同姿态的螺栓掩膜图像，分别采用针对性算法计算螺栓的内径和长度，实现对螺栓完整尺寸的测量。

Description

一种基于三维点云的多姿态螺栓尺寸测量方法
技术领域
本发明涉及计算、推算或计数的技术领域，特别涉及一种工业测量领域的基于三维点云的多姿态螺栓尺寸测量方法。
背景技术
在工业制造等领域，螺栓是广泛应用于机械装配的基础元素。因为螺栓的尺寸参数对于工业产品的稳定性至关重要，在一些应用场景下，需要实现对螺栓尺寸快速的精确测量，如果螺栓的某个尺寸指标不合格，可能导致产品结构松动甚至崩塌。因此，无论是在螺栓零件初期的生产还是在最终的装配阶段，严格保证螺栓的尺寸符合规范要求都是提高工业产品质量与生产安全的基础。
针对基于图像的螺栓尺寸测量问题，现有方法主要依赖于待测螺栓与标准螺栓实际尺寸的匹配或像素缩放实现，但却无法对多种姿态、不同型号的螺栓进行测量。
公开号为CN113945159A的中国专利公开了一种基于轮廓匹配的螺栓直径测量方法，该方法利用已标定好的RGBD相机和相机相对于螺栓的旋转角，模拟符合图纸尺寸的螺栓位于目标位置时在彩色相机图像上的轮廓，通过计算模拟轮廓与目标轮廓的匹配度，实现螺栓直径的测量。公开号为CN115719339A的中国专利公开了一种基于双相机标定的螺栓尺寸高精度测量方法和装置，该方法根据螺栓两侧相机同时拍摄的两张螺栓边缘图像对两个相机的光心间距和单像素精度进行精确标定，再对两张螺栓边缘图像进行二值化处理和边缘粗定位，并拟合粗定位边缘获取边缘曲线，接着根据边缘曲线截取螺纹边缘图像，并应用图像超分辨率重建模型去除离焦模糊，获得清晰螺纹图像，最后在清晰螺纹图像中对螺纹牙顶、牙底坐标进行精确定位，根据待测尺寸的像素距离计算螺栓尺寸。从上述分析可以看出，现有的螺栓尺寸测量方案通常需要给出标准螺栓的尺寸，这在多种姿态不同型号螺栓尺寸测量场景下效果欠佳。
发明内容
本发明提供了一种基于三维点云的多姿态螺栓尺寸测量方法，旨在解决多种姿态、不同型号的螺栓通用的尺寸测量问题，从而摆脱对标准尺寸螺栓模板的依赖，以适应复杂的生产场景；本发明的方法同样适用于水平面上的各种紧固件、零件的尺寸测量，此处的水平面有界且与待测物存在色彩差异。
本发明的方法利用已标定的RGBD相机，采集一帧实时RGBD图像数据，利用深度学习目标检测模型检测放置螺栓的水平工作面位置，并分割出包含所有待测螺栓的水平面精确ROI区域；接着，利用点云生成算法对水平面精确ROI区域内的测量图像数据下采样得到三维点云坐标，并通过平面拟合建立当前水平面ROI区域的三维点云平面方程；最后，以三维点云平面方程为基础获得螺栓的预估直立高度与测量高度，两者进行区间对比实现对螺栓不同姿态的判断，并依据姿态和螺栓掩膜图像对螺栓的内径与长度进行计算。
本发明采用的技术方案为，一种基于三维点云的多姿态螺栓尺寸测量方法，所述方法包括以下步骤：
步骤1：采集测量用的图像数据IRGBD，获取关于螺栓的水平面候选区域；
步骤2：基于水平面候选区域，建立螺栓所处水平面的三维点云平面方程；
步骤3：获取待测螺栓的二值化掩膜图像，得到螺栓在三维点云坐标系的预估直立高度；
步骤4：利用螺栓的预估直立高度与测量高度对螺栓进行姿态判断；
步骤5：处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度，获得螺栓尺寸。
优选地，步骤1中，以已经标定的RGBD相机采集图像数据IRGBD，分别获取其彩色图像IRGB和深度图像ID，以训练好的深度学习目标检测网络模型对采集的彩色图像IRGB进行多目标检测，得到放置螺栓的水平工作面检测框以及各个螺栓的检测框，并进一步得到关于螺栓的水平面候选区域。
本发明中，事实上是针对同一个水平面内一个或多个螺栓的测量，方法能够在检测水平工作面(如桌面)的同时检测出螺栓，即同时得到水平工作面的检测框以及多个螺栓的检测框，其中螺栓的检测框接近外接矩形。
优选地，所述水平工作面的检测框按预设标准扩大，得到水平面候选区域。
优选地，所述步骤2包括以下步骤：
步骤2.1：对所述水平面候选区域划分为多个菱形采样区域，并对采样区域进行HSV值量化统计，以HSV频次最高的值作为分割阈值，对水平面候选区域进行二值化分割，提取有效的初步水平面区域掩膜图；处理所述初步水平面区域掩膜图，形成精确的水平面ROI区域；
步骤2.2：利用点云处理算法和已标定的相机内参，以相机光心为坐标原点建立点云坐标系，对精确的水平面ROI区域内的深度图像ID进行下采样处理，得到水平面的三维点云数据CloudROI；
步骤2.3：以点云分割算法拟合精确的水平面ROI区域的三维点云平面方程Ax+By+Cz+D＝0，其中，A、B、C、D为待拟合的平面方程参数。
优选地，步骤2.1中，对初步水平面区域掩膜图进行边缘检测与多边形拟合，将多边形角点数少于4的轮廓删除，对所有符合条件的轮廓进行凸包检测，形成精确的水平面ROI区域。
优选地，所述步骤3包括以下步骤：
步骤3.1：利用分割精确的水平面ROI区域的HSV阈值，反向选取区域内待测螺栓的二值化掩膜图像，不进行透视变换下获取二值化掩膜图像的最小外接矩形，统计2个短边附近的螺栓掩膜宽度，分别确定螺栓顶部与螺栓底部，以2个短边的中点分别作为螺栓底部与螺栓顶部的中点；
此处通过步骤2.1中获得的水平工作面的HSV阈值得到代表水平工作面的二值化图像，即在HSV阈值内的像素点置1，反之置0，据此通过HSV阈值反选即可以得到代表螺栓的二值化图像，配合目标检测算法得到的螺栓检测框，即可以获取每个螺栓的二值化掩膜图像；
步骤3.2：基于螺栓底部中点的二维图像坐标，得到其在点云坐标系中的三维点云坐标；经过螺栓底部中点的三维点云坐标，做一条垂足为螺栓底部中点、方向为点云平面方程法向量的射线，再经过螺栓底部中点的三维点云坐标做一条方向为点云坐标系X轴的射线；利用两条相交射线确定高度计算平面；
步骤3.3：基于螺栓顶部中点的二维图像坐标和相机光心，创建一条起点为相机光心，方向为相机光心、成像平面和螺栓顶部中点的射线交于高度计算平面，并以交点计算螺栓顶部中点的三维点云坐标；
步骤3.4：以螺栓底部实际三维点云坐标和计算得到的螺栓顶部中点的三维点云坐标，计算这两个坐标点的欧式距离，作为螺栓的预估直立高度。
优选地，所述步骤4中，以待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分，利用步骤3得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，获得螺栓的姿态。
优选地，将待测螺栓上半部分各点在点云坐标系下的三维点云坐标到水平面的垂直距离作为实际测量高度，若螺栓上半部分中，存在超过预设量的测量高度大于预估直立高度的倍数值，则认为待测螺栓呈竖直姿态，否则处于水平姿态。
优选地，对于竖直姿态的螺栓，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例，以计算得到的预估直立高度作为竖直姿态螺栓的测量长度；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径，乘上实际尺寸与像素的比例，得到竖直姿态螺栓的测量内径。
优选地，对于水平姿态下的螺栓，对待测螺栓的二值化掩膜图像进行透视变换，将倾斜视角拍摄到的图像变换成平行于水平面的鸟瞰图，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径的像素尺寸，，选取最小外接矩形的长边作为长度的像素尺寸；将得到的像素尺寸乘上实际尺寸与像素的比例，得到水平姿态螺栓的测量内径和长度。
本发明提供了一种基于三维点云的多姿态螺栓尺寸测量方法，采集测量用的图像数据IRGBD，获取关于螺栓的水平面候选区域，基于水平面候选区域，建立螺栓所处水平面的三维点云平面方程；获取待测螺栓的二值化掩膜图像，得到螺栓在三维点云坐标系的预估直立高度，利用螺栓的预估直立高度与测量高度对螺栓进行姿态判断；处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度，获得螺栓尺寸。
本发明实施的技术方案具有以下有益效果：
(1)实现通用尺寸测量；能够对多种姿态和不同型号的螺栓进行通用的尺寸测量，摆脱对标准螺栓实际尺寸的依赖，使其适用于各种螺栓类型的测量；
(2)高精度测量；通过建立水平面的三维点云平面方程和估算螺栓高度的方法，能够提供精确的尺寸测量结果，减小测量误差；
(3)姿态判断功能；通过预估直立高度与测量高度的区间对比，能够准确判断出螺栓的姿态是竖直放置还是水平放置；
(4)内径和长度测量；通过针对不同姿态的螺栓掩膜图像，分别采用针对性算法计算螺栓的内径和长度，实现对螺栓完整尺寸的测量。
附图说明
图1是本发明的方法流程图。
图2是本发明的螺栓在竖直状态下的高度计算示意图。
图3是本发明的螺栓在水平状态下的高度计算示意图。
图4是本发明的螺栓在竖直状态下的内径测量示意图。
图5是本发明的螺栓在水平状态下的内径与长度测量示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明：
如图1所示，一种基于三维点云的多姿态螺栓尺寸测量方法，包括以下步骤：
(1)采集测量图像数据并检测水平面候选区域；
(2)建立放置螺栓的水平面三维点云平面方程；
(3)计算得到螺栓在三维点云坐标系中的预估直立高度；
(4)利用螺栓的预估直立高度与测量高度对螺栓进行姿态判断；
(5)处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度。
所述步骤(1)具体包括：
首先检查相机是否满足一定的前置条件，条件为能够捕获分辨率为480*400的深度与彩色图像的RGBD相机，保证深度图像FOV水平视场角大于等于73°，垂直视场角大于等于59°，对角视场角大于等于90°，且有效的深度测量范围大于等于0.3m，相机的拍摄方向不处在平行或垂直水平面的极端位置，同时要求多个待测的螺栓能够处于同一个水平面。除此之外，本发明不对相机的具体型号，相机摆放高度、实际拍摄角度、左右倾斜角、拍摄距离、水平面背景、螺栓摆放姿势等一系列干扰做出约束，具有一定的鲁棒性与高适用性。
本发明采用已经标定好的RGBD相机采集一帧RGBD图像数据IRGBD，并分别获取其彩色图像IRGB和深度图像ID；接着，选用现有的YOLOv5目标检测网络模型，制作对应水平工作面与螺栓检测数据集，训练参数设置为初始学习率0.01，批大小16，权重衰减0.0005，动量0.937，训练轮次1000；然后将训练好的网络模型对采集的彩色图像IRGB进行目标检测，得到待测水平工作面的检测框以及各个螺栓的检测框；最后，将桌面检测框扩大x倍以包含完整桌面，x的取值范围是[1.05,1.25]，此处取1.10，并设定为水平面候选区域，为后续建立放置螺栓的水平面建立点云平面方程做准备。
所述步骤(2)具体包括：
针对步骤(1)中得到的水平面候选区域，将其划分为多个菱形采样区域，并对采样区域进行HSV值量化统计，通过HSV值统计、多边形检测、多边形拟合和凸包检测等的方法获取精确的水平面区域；接着，根据水平面精确ROI区域，利用PCL点云开源算法得到ROI区域的三维点云数据CloudROI；最后，根据水平面三维点云数据CloudROI，利用点云平面分割算法拟合出三维点云平面方程。具体方法步骤如下：
(2-1)对步骤(1)中得到的水平面候选区域，划分为多个菱形采样区域，并对采样区域进行HSV值量化统计，选取HSV频次最高的值作为分割阈值，并以此对水平面进行二值化分割，初步提取出有效的水平面区域掩膜图；对初步的水平面区域掩膜图进行边缘检测与多边形拟合，并将多边形角点数少于检测阈值α的轮廓删除，此处α的值为4，即依据桌面的形状来设定角点的阈值；接着对所有符合初步条件的轮廓进行凸包检测，最终形成精确的水平面ROI区域。
(2-2)根据得到的水平面精确ROI区域，利用PCL点云开源算法库和已标定的相机内参，以相机光心为坐标原点建立点云坐标系，并设定垂直于相机镜头向外的方向为Z轴、向水平右为X轴、竖直向下为Y轴，对水平面精确ROI区域内的深度图像ID进行k倍的下采样处理，k的取值范围是[8,32]，此处取值为30，设定X轴、Y轴、Z轴数据分别对应像素点到光心X轴向的实际距离、像素点到光心Y轴向的实际距离以及像素点到光心的深度距离，从而得到水平面的三维点云数据CloudROI。
(2-3)根据得到的水平面三维点云数据CloudROI，利用现有的点云分割算法拟合出形如式(1)的水平面精确区域的三维点云平面方程，其中A,B,C,D即为三维点云平面拟合参数，对应的法向量为
Ax+By+Cz+D＝0 (1)
所述步骤(3)具体包括：
首先利用步骤(2)中得到的水平面精确区域内待测螺栓的二值化掩膜图像，无论螺栓水平还是竖直放置都先获取掩膜图像的最小外接矩形，统计短边附近的螺栓掩膜宽度，已知螺栓底部比螺栓顶部有着更大掩膜宽度，从而得到螺栓顶部与底部的位置，并取得两端的短边中点坐标作为螺栓底部与螺栓顶部的中点坐标；接着，过螺栓底部中点的三维点云坐标分别做两条垂直与三维点云平面，平行于点云坐标系X轴的射线，利用两条相交射线确定高度估算平面；然后，做一条起点为相机光心，方向为相机光心、掩膜成像平面和螺栓顶部中点的射线交于高度计算平面；最后，依据交点坐标求出螺栓顶部三维点云坐标，并与底部三维点云中点的距离作为预估直立高度。最终得到如图2、图3所示的不同状态下的螺栓高度计算图。这种方法能够为螺栓在三维空间中的高度提供准确的计算，具体方法步骤如下：
(3-1)利用分割水平面精确区域的HSV阈值，反向选取水平面区域内待测螺栓的二值化掩膜图像，在不进行透视变换的前提下获取二值化掩膜图像最小外接矩形，统计2个短边附近的螺栓掩膜宽度，已知螺栓底部比螺栓顶部有着更大掩膜宽度，从而得到螺栓顶部与底部的位置，并取两端的短边中点作为螺栓底部与螺栓顶部的中点坐标。
(3-2)利用步骤(3-1)得到的螺栓底部中点坐标，得到在点云坐标系中的三维点云坐标；经过螺栓底部中点的三维坐标，做一条垂足为螺栓底部中点，方向为点云平面方程法向量的垂线；同时，再过螺栓底部中点的三维点云坐标做一条方向为点云坐标系X轴的射线；利用两条相交射线确定高度计算平面。
(3-3)基于螺栓顶部中点的二维图像坐标和相机光心，创建一条起点为相机光心，方向为相机光心、成像平面和螺栓顶部中点的射线交于高度计算平面，并将交点作为计算得到的螺栓顶部中点三维点云坐标。
(3-4)根据步骤(3-2)、步骤(3-3)分别得到的螺栓底部实际三维点云坐标和计算得到的螺栓顶部三维点云坐标，计算这两个坐标点的欧式距离作为螺栓的预估直立高度。
所述步骤(4)具体包括：
定义待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分。对于竖直姿态的螺栓，其上半部分各点的测量高度接近于通过掩膜图像长边计算得到的预估直立高度，如图2所示；对于水平姿态的螺栓，其上半部分各点的测量高度远小于通过掩膜图像长边计算得到的预估直立高度，如图3所示。为了能够对螺栓的姿态进行判断，利用步骤(3)得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，具体方法如下：将待测螺栓上半部分各点在点云坐标系下的三维点云坐标到水平面的垂直距离作为实际测量高度，若螺栓上半部分存在超过A倍预设数量的测量高度大于预估直立高度的B倍，则认为待测螺栓呈竖直姿态，否则处于水平姿态；A,B的取值范围分别是[0.2,0.4],[0.45,0.55]，此处A取0.3，B取0.5。
所述步骤(5)具体包括：
利用步骤(4)区分不同螺栓姿态后，通过构建最小外接矩形得到实际尺寸与像素的比例，计算螺栓二值化掩膜的像素内径与长度大小，乘上尺寸与像素的比例得到螺栓实际的内径与长度。具体方法步骤如下：
(5-1)对于直立状态下的螺栓，直接利用步骤(3-1)得到的螺栓二值化掩膜图像，取待测螺栓的二值化掩膜图像底部两个角点的三维实际距离除以二维像素距离获得实际尺寸与像素的比例；接着，将步骤(3-4)计算的预估直立高度作为竖直姿态螺栓的测量长度；最后，由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔m个像素点沿着短边方向进行一次灰度值突变检测，m的取值范围为[2,10]，这里选取6个，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径，乘上实际尺寸与像素的比例，得到竖直姿态螺栓的测量内径；比例换算以及内径测量具体如图4、图5所示。
(5-2)对于水平状态下的螺栓，首先对步骤(3-1)得到的螺栓二值化掩膜图像进行透视变换，将倾斜视角拍摄到的图像变换成平行于水平面的鸟瞰图，并做最小外接矩形，取掩膜图像底部两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例；接着，同步骤(5-1)一样沿短边方向进行灰度值突变检测，并选取中间三组距离的平均值作为内径，选取最小外接矩形的长边作为长度；最后，将得到的像素尺寸做像素比例换算，乘上尺寸与像素的比例，得到水平姿态的测量内径和长度。突变检测过程以及内径与长度测量具体如图5所示。
由以上说明可知，本发明对放置待测螺栓的同一水平面建立三维点云平面方程，并通过计算螺栓的预估直立高度，姿态判断和处理不同姿态的螺栓掩膜图像等步骤，实现对不同姿态、不同型号的多个螺栓内径和长度的计算，摆脱对标准螺栓实际尺寸的依赖。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (10)

1.一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述方法包括以下步骤：
步骤1：采集测量用的图像数据IRGbD，获取关于螺栓的水平面候选区域；
步骤2：基于水平面候选区域，建立螺栓所处水平面的三维点云平面方程；
步骤3：获取待测螺栓的二值化掩膜图像，得到螺栓在三维点云坐标系的预估直立高度；
步骤4：利用螺栓的预估直立高度与测量高度对螺栓进行姿态判断；
步骤5：处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度，获得螺栓尺寸。
2.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤1中，以已经标定的RGBD相机采集图像数据IRGBD，分别获取其彩色图像IRGB和深度图像ID，以训练好的深度学习目标检测网络模型对采集的彩色图像IRGB进行多目标检测，得到放置螺栓的水平工作面检测框以及各个螺栓的检测框，并进一步得到关于螺栓的水平面候选区域。
3.根据权利要求2所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述水平工作面的检测框按预设标准扩大，得到水平面候选区域。
4.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：对所述水平面候选区域划分为多个菱形采样区域，并对采样区域进行HSV值量化统计，以HSV频次最高的值作为分割阈值，对水平面候选区域进行二值化分割，提取有效的初步水平面区域掩膜图；处理所述初步水平面区域掩膜图，形成精确的水平面ROI区域；
步骤2.2：利用点云处理算法和已标定的相机内参，以相机光心为坐标原点建立点云坐标系，对精确的水平面ROI区域内的深度图像ID进行下采样处理，得到水平面的三维点云数据CloudROI；
步骤2.3：以点云分割算法拟合精确的水平面ROI区域的三维点云平面方程Ax+By+Cz+D＝0，其中，A、B、C、D为待拟合的平面方程参数。
5.根据权利要求4所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤2.1中，对初步水平面区域掩膜图进行边缘检测与多边形拟合，将多边形角点数少于4的轮廓删除，对所有符合条件的轮廓进行凸包检测，形成精确的水平面ROI区域。
6.根据权利要求4所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤3包括以下步骤：
步骤3.1：利用分割精确的水平面ROI区域的HSV阈值，反向选取区域内待测螺栓的二值化掩膜图像，不进行透视变换下获取二值化掩膜图像的最小外接矩形，统计2个短边附近的螺栓掩膜宽度，分别确定螺栓顶部与螺栓底部，以2个短边的中点分别作为螺栓底部与螺栓顶部的中点；
步骤3.2：基于螺栓底部中点的二维图像坐标，得到其在点云坐标系中的三维点云坐标；经过螺栓底部中点的三维点云坐标，做一条垂足为螺栓底部中点、方向为点云平面方程法向量的射线，再经过螺栓底部中点的三维点云坐标做一条方向为点云坐标系X轴的射线；利用两条相交射线确定高度计算平面；
步骤3.3：基于螺栓顶部中点的二维图像坐标和相机光心，创建一条起点为相机光心，方向为相机光心、成像平面和螺栓顶部中点的射线交于高度计算平面，并以交点计算螺栓顶部中点的三维点云坐标；
步骤3.4：以螺栓底部实际三维点云坐标和计算得到的螺栓顶部中点的三维点云坐标，计算这两个坐标点的欧式距离，作为螺栓的预估直立高度。
7.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤4中，以待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分，利用步骤3得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，获得螺栓的姿态。
8.根据权利要求7所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：将待测螺栓上半部分各点在点云坐标系下的三维点云坐标到水平面的垂直距离作为实际测量高度，若螺栓上半部分中，存在超过预设量的测量高度大于预估直立高度的倍数值，则认为待测螺栓呈竖直姿态，否则处于水平姿态。
9.根据权利要求8所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：对于竖直姿态的螺栓，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例，以计算得到的预估直立高度作为竖直姿态螺栓的测量长度；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径，乘上实际尺寸与像素的比例，得到竖直姿态螺栓的测量内径。
10.根据权利要求8所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：对于水平姿态下的螺栓，对待测螺栓的二值化掩膜图像进行透视变换，将倾斜视角拍摄到的图像变换成平行于水平面的鸟瞰图，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径的像素尺寸，选取最小外接矩形的长边作为长度的像素尺寸；将得到的像素尺寸乘上实际尺寸与像素的比例，得到水平姿态螺栓的测量内径和长度。
CN202311070221.1A 2023-08-24 2023-08-24 一种基于三维点云的多姿态螺栓尺寸测量方法 Pending CN117372498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311070221.1A CN117372498A (zh) 2023-08-24 2023-08-24 一种基于三维点云的多姿态螺栓尺寸测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311070221.1A CN117372498A (zh) 2023-08-24 2023-08-24 一种基于三维点云的多姿态螺栓尺寸测量方法

Publications (1)

Publication Number Publication Date
CN117372498A true CN117372498A (zh) 2024-01-09

Family

ID=89393607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311070221.1A Pending CN117372498A (zh) 2023-08-24 2023-08-24 一种基于三维点云的多姿态螺栓尺寸测量方法

Country Status (1)

Country Link
CN (1) CN117372498A (zh)

Similar Documents

Publication Publication Date Title
CN111046776B (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
Xu et al. Line structured light calibration method and centerline extraction: A review
CN105783786B (zh) 一种基于结构光视觉的零件倒角测量方法与装置
CN104567727B (zh) 利用立体靶标对线结构光轮廓传感器的全局统一校准方法
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
CN110379013B (zh) 一种基于多角度激光线扫描的三维重构系统
Wu et al. A novel high precise laser 3D profile scanning method with flexible calibration
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN111402411A (zh) 一种基于线结构光的散乱物识别抓取方法
CN115096206B (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN104574312A (zh) 标靶图像求圆心的方法和装置
CN110211178A (zh) 一种利用投影计算的指针式仪表识别方法
CN114018932A (zh) 基于矩形标定物的路面病害指标测量方法
CN112085675A (zh) 深度图像去噪方法、前景分割方法及人体运动监测方法
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN115100116A (zh) 一种基于三维点云的板材缺陷检测方法
CN112241964A (zh) 一种用于线结构光非接触测量的光条中心提取方法
CN108053485B (zh) 一种基于轮廓图像的马铃薯三维建模方法
CN110851978A (zh) 一种基于可见性的摄像机位置优化方法
CN117372498A (zh) 一种基于三维点云的多姿态螺栓尺寸测量方法
CN114882095A (zh) 一种基于轮廓匹配的物体高度在线测量方法
CN108428250A (zh) 一种应用于视觉定位和标定的x角点检测方法
CN114494165A (zh) 一种基于聚类的光条提取方法及装置
CN113674360A (zh) 一种基于协变的线结构光光平面标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination