CN116402792A - 一种基于三维点云的空间孔位对接方法 - Google Patents
一种基于三维点云的空间孔位对接方法 Download PDFInfo
- Publication number
- CN116402792A CN116402792A CN202310367492.7A CN202310367492A CN116402792A CN 116402792 A CN116402792 A CN 116402792A CN 202310367492 A CN202310367492 A CN 202310367492A CN 116402792 A CN116402792 A CN 116402792A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- point
- butt joint
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001503 joint Anatomy 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003708 edge detection Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000000877 morphologic effect Effects 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000003032 molecular docking Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000008439 repair process Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 26
- 238000001514 detection method Methods 0.000 description 34
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 12
- 229910052742 iron Inorganic materials 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
一种基于三维点云的空间孔位对接方法，计算所得的圆心与真实的圆心一致，空间孔的孔径测量精度在5.3％之内，对接角度测量的最大误差限在1.74°。对于含有噪点的点云具有很好的适用性。其包括：(1)利用3D扫描仪获取待测部件的初始点云信息；(2)采用点云导向滤波器对获取的点云进行滤波降噪处理；(3)将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔廓，并对边缘轮廓进行拟合得到二维圆孔数据，最后将二维数据映射回三维坐标系中，得到三维点云圆孔数据；(4)通过得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接。
Description
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种基于三维点云的空间孔位对接方法。
背景技术
在车辆、机械、航空航天等领域，自动化制造与装配逐渐成为快速大批量生产的主流模式。以工业机器人、数控机床为主的自动化装备在作业过程中，主要依赖零部件表面的连接孔，孔的检测与定位精度会影响自动化连接的质量。对于整体零件来说，孔质量的主要评估指标是孔位和法向，传统的基准孔位检测使用三坐标测量仪，测量出各孔位的坐标尺寸，这种检测方法成本高、效率低，容易损坏被测工件。或者采用专用检具对各个孔的尺寸、形位进行检测，每种零件检测均需制作相应的高精度检具，耗时且成本较高。另外还有采用游标卡尺等检验工具进行人工检测，该方法受人的主观因素影响较大，检测的精度跟效率均不高。随着机器视觉和光电子测量技术的发展，孔的高精度、自动化与非接触测量检测逐渐成为相关领域研究和应用的热点问题。
基于视觉测量的检测技术具有检测精度高、柔性好、速度快等优点，在基准孔检测方面得到了广泛的应用。目前，基于视觉测量的空间孔位姿检测方法主要是通过激光轮廓仪或3D扫描仪等装置获取待测部件的三维点云模型，通过对点云模型进行一定的处理，分析点云数据，可以获得孔位数据特征从而准确找到测量孔的位置。
孙海龙等利用激光轮廓仪扫描得到待测部件的点云模型，通过设置所有点云数据点到拟合平面的距离阈值达到滤除孔边缘噪声点的目的该滤波算法只适用于平面，不适用于曲面。另外，他通过在X、Y方向上提取孔的边缘点，最终拟合出孔位圆并计算出孔中心坐标，这种基于边缘检测的孔识别算法只有在激光轮廓仪能扫描出理想的点云时才能适用，当点云有瑕疵时，不能很好地识别出孔特征。将三维点云与二维图像相结合是计算机视觉领域中一个很有前景的方法。
谭小群等提出一种基于线激光扫描与图像处理结合的基准孔检测方法，将线激光扫描获取的三维点云数据转换为二维灰度图，再使用边缘检测算子提取轮廓，从而获得基准孔的中心位置。但该方法同样仅适用于理想情况下无表面缺陷的点云，当出现大面积噪点时，边缘提取算法无法识别出基准孔的边缘，只能通过手动选取感兴趣区域，以提高孔的识别度，因此该算法无法满足自动化装配的需求。
庄志炜等利用二维激光扫描仪获取孔的三维点云提出了一种基于模板匹配的孔位与圆孔朝向计算方法。该算法通过将点云z坐标值二值化，自适应构造出孔模板并执行模板匹配以识别圆孔并求解法向。但该方法是基于三维测量数据，增加了孔识别的复杂度。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于三维点云的空间孔位对接方法，其计算的圆孔中心坐标和真实圆心一致，空间孔的孔径测量精度在5.3％之内，对接角度最大误差限在1.74°，对于含有噪点的点云具有很好的适用性。
本发明的技术方案是：这种基于三维点云的空间孔位对接方法，其包括以下步骤：
(1)利用3D扫描仪获取待测部件的初始点云信息；
(2)采用导向滤波器对获取的点云进行滤波降噪处理；
(3)将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔轮廓，并对边缘轮廓进行拟合得到二维圆孔数据，最后将二维数据映射回三维坐标系中，得到三维点云圆孔数据；
(4)根据得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接；
其中步骤(2)包括以下分步骤：
(2.1)在三维点周围，假设一个局部线性模型:
qi＝Akpi+bk
其中，qi是滤波后输出的三维点，pi是当前需要滤波的点，Ak是一个3*3矩阵，bk是一个3*1向量；
(2.2)在保持线性模型的同时使q和p之间的差异最小化，使线性模型拥有最小重构残差：
(2.3)解决上述优化问题后，得到:
Ak＝∑i(∑i+∈I)-1
bk＝μi-Akμi
其中，∑i是pi及其邻域内所有点组成的3*3协方差矩阵，I是单位矩阵,μi是pi及其邻域内所有点的均值。
本发明利用3D扫描仪获取待测部件的初始点云信息，针对含有大量噪点的点云进行点云导向滤波，然后将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔轮廓，并对边缘轮廓点进行拟合得到二维圆孔数据，之后将二维数据映射回三维坐标系中，得到三维点云圆孔数据，最后通过得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接。计算得到的圆孔中心坐标和真实圆心坐标一致，空间孔的孔径测量精度在5.3％之内，对接角度最大误差限在1.74°，对于含有噪点的点云具有很好的适用性。
附图说明
图1a示出了点云模型的网格二值化图像，图1b示出了闭运算后的效果。
图2示出了八邻域示意图。
图3是圆的投影情况分析。
图4是椭圆轮廓图。
图5是对接示意图。
图6a是对接前示意图，图6b是对接后示意图。
图7是角度测量示意图。
图8是根据本发明的基于三维点云的空间孔位对接方法的一个具体实施例的流程图。
具体实施方式
如图8所示，这种基于三维点云的空间孔位对接方法，其包括以下步骤：
(1)利用3D扫描仪获取待测部件的初始点云信息；
(2)采用点云导向滤波器对获取的点云进行滤波降噪处理；
(3)将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔廓，并对边缘轮廓进行拟合得到二维图像圆孔数据，最后将二维数据映射回三维坐标系中，得到三位点云圆孔数据；
(4)根据得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接；
其中步骤(2)包括以下分步骤：
(2.1)在三维点周围，假设一个局部线性模型:
qi＝Akpi+bk
其中，qi是滤波后输出的三维点，pi是当前需要滤波的点，Ak是一个3*3矩阵，bk是一个3*1向量；
(2.2)在保持线性模型的同时使q和p之间的差异最小化，使线性模型拥有最小重构残差：
(2.3)解决上述优化问题后，得到:
Ak＝∑i(∑i+∈I)-1
bk＝μi-Akμi
其中，∑i是pi及其邻域内所有点组成的3*3协方差矩阵，I是单位矩阵,μi是pi及其邻域内所有点的均值。
本发明利用3D扫描仪获取待测部件的初始点云信息，针对含有大量噪点的点云进行点云导向滤波，然后将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔轮廓，并对边缘轮廓进行拟合得到二维圆孔数据，之后将二维数据映射回三维坐标系中，得到三维点云圆孔数据，最后通过得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接。本方法计算所得的圆心与真实圆心一致，空间孔的孔径测量精度在5.3％之内，对接角度最大误差限在1.74°，对于含有噪点的点云具有很好的适用性。
优选地，所述步骤(1)中，3D扫描仪一共有3个摄像头，中间是一个RGB摄像头，用来获取800X600的彩色图像，以秒为单位获取帧图像，两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测对象的相对位置。
优选地，所述步骤(2)中，平滑作用的强弱通过调节邻域搜索时的半径r和∈来改变。
优选地，所述步骤(2)中，根据获取的点云模型对其进行1-3次的导向滤波。
优选地，所述步骤(3)的将三维点云转化为网格二值图像包括以下分步骤：
(a.1)获取点云数据边界，点云数据边界是x,y,z的最大和最小值；
(a.2)根据点云数据边界建立水平格网，将每个格网单元编号；
(a.3)根据格网大小创建一个相同大小的空白图像，计算每个点在x,z上的像素格网索引，并将有点的像素格网赋值为白色。
优选地，所述步骤(a.2)中，根据实际测量的点云模型选定x,z平面来建立水平格网，根据x,z的最大最小值和单个网格像素，确定格网的行列数，设置单个网格像素大小为0.0004。
优选地，所述步骤(a.3)之后，采用数学形态学中的开运算对二值图像进行缺陷修补。
优选地，所述步骤(3)的经过形态学闭运算和边缘检测提取圆孔廓为：
输入的二值图像为0-1图像，假定图像背景像素点的值为0，从上至下、从左至右对图像进行扫描，用点(i，j)表示位于第i行第j列的像素点，当且仅当满足如下条件(1)或条件(2)时，位于值为0的像素点右侧的点(i，j)判定为最外层的边界点
条件(1)点(i，j)左侧的所有像素点的值都为0；
条件(2)在扫描过程中最新遇到的轮廓点(i，h)位于外边界上，点(i，h+1)属于背景；
待轮廓的边界起始点被确定后，跟踪以起始点为中心的八邻域区
域，从中心点右侧开始标记，按照顺时针方向标号0到7，从标号0开始检测各像素点的值是否为非0，将最先出现的非0像素点判定为边界点，并以该点为中心点，采用同样的方法继续检测各像素点，直至新的中心点和起始点相重合，终止本条轮廓线的跟踪。
三维点云转换为二值图时需要将三维坐标系下的圆投影到二维坐标系当中，而在投影过程中，如果三维坐标系下的圆平行于投影面时，在该投影面上的投影反映实形是一同样大小的圆；当三维坐标系下的圆所在平面倾斜于投影面时，它的投影成一椭圆。
当圆倾斜于投影面时，其在投影面上的投影是椭圆。圆的每一对互相垂直的直径都投影成椭圆的一对共扼直径，而椭圆的各对共辘直径中，有一对是相互垂直的，成为椭圆的对称轴，也就是椭圆的长轴和短轴。根据投影特性可知椭圆的长轴是圆的平行于投影面的直径的投影，短轴是与其相垂直的直径的投影。
例如：椭圆的长，短轴，如图3所示，圆所在平面为P，对H面的倾角为α。设圆的直径长2a，圆的一条直径为AB,它的H平面投影ab反映直径实长，即ab＝AB＝2a,是椭圆的最长一根直径-长轴。直径CD⊥AB,它的H平面投影cd的长度为2b＝2acosα。cd是椭圆的最短一根直径,且cd⊥ab为椭圆的短轴。这里的关系式为以后求取圆的半径做了准备。
优选地，所述步骤(3)的对边缘轮廓进行拟合为：
知道圆的投影为椭圆以及投影前后的几何关系后，使用OpenCV
中的FitEllipse函数对检索到的每一条轮廓进行椭圆拟合，
FitEllipse函数的返回值为L＝[(x,y),(a,b),r]，其中(x,y)为椭圆的中心坐标，(a,b)为椭圆的长短轴像素长度，r为以及椭圆长轴相对于图像x轴的偏角(旋转角度)，再根据得到的椭圆数据，使用
OpenCV中的ellipse函数绘制出椭圆轮廓；
根据得到的椭圆中心点坐标，椭圆的长短轴长度以及圆投影为椭圆之间的几何关系，得到椭圆的中心为圆的圆心，椭圆的长轴为圆的直径；依次将二维中点的坐标信息映射回三维点云中，保留三维点云中的X轴和Z轴坐标值，通过三维点云圆心x、z的坐标值找到对应的y值，得到三维点云中空间孔的坐标信息和尺寸信息。
优选地，所述步骤(3)之后，根据得到的空间圆孔坐标，选取对接端两个圆孔坐标，固定端两个圆孔坐标，共四个圆孔坐标，以其中三个构建唯一平面，将四个圆孔坐标全部投影到该平面，在该平面内将对接端的两个圆孔坐标组成向量a,固定端的两个圆孔坐标组成向量b,通过下方公式计算同一平面内两向量之间的夹角，即可得出对接端相对于固定端的俯仰角α
方位角β、翻滚角γ也是同理。将数据传给对接段下部的六联动，六联动收到可处理信息后进行空间多轴动作，以此来调整对接姿态，完成对接。
实验及结果分析
1孔位检测算法验证
为验证本文提出的孔位检测算法的可行性和测量精度，选取现有的平面标准孔进行测量验证，待测部件为具有8个圆孔的塑料板，8个圆孔大小相同孔径为15mm。使用手持3D扫描仪对待测部件进行扫描。系统程序平台为Visual Studio Code。分别使用传统的基于边缘检测的孔位检测算法以及本文提出的算法对扫描得到的待测部件点云进行孔位检测并计算圆孔的中心坐标和半径。传统边缘检测算法利用canny算子进行边缘检测，并采用霍夫变换找出圆轮廓。将实验结果所得的圆孔半径与真实值进行比较，检测数据如表1所示，两种检测算法的检测误差数据如表2所示。其中R1为采用传统的基于边缘检测的孔位检测算法测量的孔径尺寸，R2为使用本文算法测量的孔径尺寸，L1为传统的基于边缘检测的孔位检测算法的检测误差，L2为本文算法的实验结果检测误差。
表1
| R1 | R2 | |
| 1 | 16.8002 | 15.6003 |
| 2 | 14.2000 | 15.4752 |
| 3 | 14.2336 | 15.8000 |
| 4 | 13.274 | 14.2003 |
| 5 | 11.8003 | 14.6663 |
| 6 | 12.4000 | 14.8444 |
| 7 | 11.2009 | 14.2361 |
| 8 | 12.5270 | 15.000 |
表2
2对接角度验证
通过对三个角度中俯仰角的测量，来验证空间孔位坐标实现自动对接的可行性与准确性。选取待测部件为两块具有四个标准圆孔的铁板，两块铁板大小相同，四个圆孔孔位相同，孔径为30mm。其中一块铁板当作自动对接过程中的对接端，使用工具将其固定不动。另一块铁板作为自动对接过程中的被对接端，置于单自由度的支架之上，来进行自动对接过程中俯仰角度的模拟。两块铁板面对面平行相距20cm。将双目相机放置在合适的位置，使其可以完整的扫描到对接端和被对接端的点云模型。通过调节被对接端的支架使被对接端相对于对接端的俯仰角分别为0°、10°、15°、20°(角度的真值通过数显角度尺测量所得)。使用本文提出的孔位测量方法和角度测量方法对每个角度分别扫描3次，测量对接端和被对接端各个空间圆孔的三维坐标，从而得到被对接端相对于对接端的俯仰角度，与数显角度尺测量所得的真实角度进行对比，数据如表所示。
表3
一、实验结果分析
通过比较表1和表2中两种算法对于圆孔半径的检测结果，可以看出对于含有大量噪点的不理想点云基于边缘检测的孔位检测算法测量精度较差，测量的误差范围在[-3.8，1.8002]之间，适用本文提出的孔位检测算法测量精度优于边缘检测的孔位检测算法，误差在[-0.7997，0.8000]之间。且本文提出的算法和基于模板匹配的孔位检测算法相比要更加简便，需要处理的数据量更少。大大节约了检测时间，进而提高了检测效率。
通过表3中四个角度，12组实验数据可知，使用本文提出的偏转角度测量方法测量所得的结果与真实值相比，最大误差限在1.74°，说明本文所提方法能够在一定精度内完成基于三维点云的空间孔位对接
二、实验误差分析
通过对实验方法及结果的分析，误差产生原因主要有以下几个方面:
1.三维点云向二维平面投影的过程中，可能会导致数据的丢失，造成孔位信息的测量结果产生偏差。
2.双目相机的精度问题。由于实验所使用的双目相机精度不高，导致扫描得到的待测部件点云模型发生不规则形变且含有大量噪点，导致最终的实验结果不够精确。本文实验过程中所使用的双目相机测量精度在±0.1～1mm。通过实验计算，在相机精度的影响下对接角度会产生±[0.051°，1.776°]的测量误差。误差的具体计算方法如下：
(1)通过本文提出的方法计算此时对接端相对于被对接端的俯仰角度记为a。
(2)将1号圆孔坐标的x(y或z)值手动增加或减小0.1mm，再次计算俯仰角度，记为a1。
(3)计算a和a1之间的差值，记为w1。
(4)再次将1号圆孔坐标的x(y或z)值增加或减1mm，计算俯仰角度记为a2，得到a和a2之间的差值,记为w2。
(5)直到将1号圆孔坐标的x、y、z全部增加或减小1mm，计算俯仰角度，得到差值。
(6)调整对接端相对于被对接端的俯仰角度，重复(1)-(4)步。多次计算，得到差值的取值范围，最终确定：双目相机的测量精度问题会对实验结果产生±[0.051°，1.776°]的测量误差。
3.在角度测量实验中，所使用的数显角度尺测量精度在±0.3°，分度值为0.05°。由于数显角度尺的测量精度问题和人为的测量方式会导致实验过程产生测量误差。
本文提出了一种基于三维点云空间孔位的对接方法，针对含有大量噪点的点云进行点云导向滤波，并将三维点云转换为二维图像，通过对孔的轮廓进行提取拟合进一步得到孔径和中心位置坐标。之后将二维数据映射回三维坐标系中，得到三维点云圆孔数据，最后通过得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，实现空间孔位的自动化对接。试验结果表明，本文提出的方法对空间圆孔的中心坐标检测与真实值一致。对空间圆孔的孔径检测精度在5.3％以内，对接角度最大误差限在1.74°。使用本文所设计的算法用于三维点云空间孔位姿的检测，能够满足在自动化制造装配过程中的高效率、自动化、精度一致性等需求。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.一种基于三维点云的空间孔位对接方法，其特征在于：其包括以下步骤：
(1)利用3D扫描仪获取待测部件的初始点云信息；
(2)采用点云导向滤波器对获取的点云进行滤波降噪处理；
(3)将三维点云转化为网格二值图像，经过形态学闭运算和边缘检测提取圆孔轮廓，并对边缘轮廓进行拟合得到二维圆孔数据，最后将二维数据映射回三维坐标系中，得到三维点云圆孔数据；
(4)根据得到的三维点云圆孔数据，利用空间几何关系，求得对接端相对于被对接端的偏转角度，从而调整对接角度，实现空间孔位的自动化对接；
其中步骤(2)包括以下分步骤：
(2.1)在三维点周围，假设一个局部线性模型:
qi＝Akpi+bk
其中，qi是滤波后输出的三维点，pi是当前需要滤波的点，Ak是一个3*3矩阵，bk是一个3*1向量；
(2.2)在保持线性模型的同时使q和p之间的差异最小化，使线性模型拥有最小重构残差：
(2.3)解决上述优化问题后，得到:
Ak＝∑i(∑i+∈I)-1
bk＝μi-Akμi
其中，∑i是pi及其邻域内所有点组成的3*3协方差矩阵，I是单位矩阵,μi是pi及其邻域内所有点的均值。
2.根据权利要求1所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(1)中，3D扫描仪一共有3个摄像头，中间是一个RGB摄像头，用来获取800*600的彩色图像，以秒为单位获取帧图像，两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测对象的相对位置。
3.根据权利要求2所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(2)中，平滑作用的强弱通过调节邻域搜索时的半径r和∈来改变。
4.根据权利要求3所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(2)中，根据获取的点云模型对其进行1-3次的导向滤波。
5.根据权利要求4所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(3)的将三维点云转化为网格二值图像包括以下分步骤：
(a.1)获取点云数据边界，点云数据边界是x y z的最大和最小值；
(a.2)根据点云数据边界建立水平格网，将每个格网单元编号；
(a.3)根据格网大小创建一个相同大小的空白图像，计算每个点在x z上的像素格网索引，并将有点的像素格网赋值为白色。
6.根据权利要求5所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(a.2)中，根据实际测量的点云模型选定x z平面来建立水平格网，根据x z的最大最小值和单个网格像素，确定格网的行列数，设置单个网格像素大小为0.0004。
7.根据权利要求6所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(a.3)之后，采用数学形态学中的开运算对二值图像进行缺陷修补。
8.根据权利要求7所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(3)的经过形态学闭运算和边缘检测提取圆孔廓为：
输入的二值图像为0-1图像，假定图像背景像素点的值为0，从上至下、从左至右对图像进行扫描，用点(i，j)表示位于第i行第j列的像素点，当且仅当满足如下条件(1)或条件(2)时，位于值为0的像素点右侧的点(i，j)判定为最外层的边界点
条件(1)点(i，j)左侧的所有像素点的值都为0；
条件(2)在扫描过程中最新遇到的轮廓点(i，h)位于外边界上，点(i，h+1)属于背景；
待轮廓的边界起始点被确定后，跟踪以起始点为中心的八邻域区域，从中心点右侧开始标记，按照顺时针方向标号0到7，从标号0开始检测各像素点的值是否为非0，将最先出现的非0像素点判定为边界点，并以该点为中心点，采用同样的方法继续检测各像素点，直至新的中心点和起始点相重合，终止本条轮廓线的跟踪。
9.根据权利要求6所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(3)的对边缘轮廓进行拟合为：
知道圆的投影为椭圆以及投影前后的几何关系后，使用OpenCV
中的FitEllipse函数对检索到的每一条轮廓进行椭圆拟合，
FitEllipse函数的返回值为L＝[(x,y),(a,b),r]，其中(x,y)为椭圆的中心坐标，(a,b)为椭圆的长短轴像素长度，r为以及椭圆长轴相对于图像x轴的偏角，再根据得到的椭圆数据，使用OpenCV中的ellipse函数绘制出椭圆轮廓；
根据得到的椭圆中心点坐标，椭圆的长短轴长度以及圆投影为椭圆之间的几何关系，得到椭圆的中心为圆的圆心，椭圆的长轴为圆的直径；依次将二维中点的坐标信息映射回三维点云中，保留三维点云中的X轴和Z轴坐标值，通过三维点云圆心x、z的坐标值找到对应的y值，得到三维点云中空间孔的坐标信息和尺寸信息。
10.根据权利要求9所述的基于三维点云的空间孔位对接方法，其特征在于：所述步骤(3)之后，根据得到的空间圆孔坐标，选取对接端两个圆孔坐标，固定端两个圆孔坐标，共四个圆孔坐标，以其中三个构建唯一平面，将四个圆孔坐标全部投影到该平面，在该平面内将对接端的两个圆孔坐标组成向量a,固定端的两个圆孔坐标组成向量b,通过下方公式计算同一平面内两向量之间的夹角，得出对接端相对于固定端的俯仰角α，
方位角β、翻滚角γ也是同理；将数据传给对接段下部的六联动，六联动收到可处理信息后进行空间多轴动作，以此来调整对接姿态，完成对接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310367492.7A CN116402792A (zh) | 2023-04-07 | 2023-04-07 | 一种基于三维点云的空间孔位对接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310367492.7A CN116402792A (zh) | 2023-04-07 | 2023-04-07 | 一种基于三维点云的空间孔位对接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116402792A true CN116402792A (zh) | 2023-07-07 |
Family
ID=87019516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310367492.7A Pending CN116402792A (zh) | 2023-04-07 | 2023-04-07 | 一种基于三维点云的空间孔位对接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402792A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116878381A (zh) * | 2023-08-01 | 2023-10-13 | 湖南视比特机器人有限公司 | 一种基于多目视觉的在线全尺寸检测方法及系统 |
| JP7432793B1 (ja) | 2023-06-02 | 2024-02-16 | 深▲せん▼市宗匠科技有限公司 | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 |
-
2023
- 2023-04-07 CN CN202310367492.7A patent/CN116402792A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7432793B1 (ja) | 2023-06-02 | 2024-02-16 | 深▲せん▼市宗匠科技有限公司 | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 |
| CN116878381A (zh) * | 2023-08-01 | 2023-10-13 | 湖南视比特机器人有限公司 | 一种基于多目视觉的在线全尺寸检测方法及系统 |
| CN116878381B (zh) * | 2023-08-01 | 2024-01-30 | 湖南视比特机器人有限公司 | 一种基于多目视觉的在线全尺寸检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108759714B (zh) | 一种多线激光轮廓传感器坐标系融合及转轴标定方法 | |
| CN116402792A (zh) | 一种基于三维点云的空间孔位对接方法 | |
| Sładek et al. | The hybrid contact–optical coordinate measuring system | |
| CN112614098B (zh) | 一种基于增强现实的毛坯定位与加工余量分析方法 | |
| CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
| CN104748683A (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
| CN112648934B (zh) | 一种自动化弯管几何形态检测方法 | |
| CN111531407B (zh) | 一种基于图像处理的工件姿态快速测量方法 | |
| Wu et al. | A novel high precise laser 3D profile scanning method with flexible calibration | |
| CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
| CN115880373B (zh) | 基于新型编码特征的立体视觉系统的标定板及标定方法 | |
| Belhaoua et al. | Error evaluation in a stereovision-based 3D reconstruction system | |
| Ravishankar et al. | Automated inspection of aircraft parts using a modified ICP algorithm | |
| CN112880562A (zh) | 一种机械臂末端位姿误差测量方法及系统 | |
| CN108662989A (zh) | 一种基于三维激光扫描的车灯轮廓质量检测方法 | |
| CN115752295A (zh) | 一种线激光轮廓仪自动手眼标定方法 | |
| CN115235375A (zh) | 盖板类工件的多圆特征参数测量方法、检测方法和装置 | |
| CN112747671B (zh) | 三维检测系统和三维检测方法 | |
| CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
| Radvar-Esfahlan et al. | Robust generalized numerical inspection fixture for the metrology of compliant mechanical parts | |
| Shaw et al. | Automatic registration method for hybrid optical coordinate measuring technology | |
| Mileski et al. | Development of a computer vision-based system for part referencing in CNC machining centers | |
| CN113689478B (zh) | 量测设备的对齐方法、装置及系统 | |
| CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
| CN110021027B (zh) | 一种基于双目视觉的切边点计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |