CN116147477A - 联合标定方法、孔位检测方法、电子设备以及存储介质 - Google Patents

联合标定方法、孔位检测方法、电子设备以及存储介质 Download PDF

Info

Publication number
CN116147477A
CN116147477A CN202211715771.XA CN202211715771A CN116147477A CN 116147477 A CN116147477 A CN 116147477A CN 202211715771 A CN202211715771 A CN 202211715771A CN 116147477 A CN116147477 A CN 116147477A
Authority
CN
China
Prior art keywords
binocular
coordinate system
hole
laser
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211715771.XA
Other languages
English (en)
Inventor
赵洪楠
伊进延
李乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211715771.XA priority Critical patent/CN116147477A/zh
Publication of CN116147477A publication Critical patent/CN116147477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G01B11/12—Measuring arrangements characterised by the use of optical techniques for measuring diameters internal diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种联合标定方法、孔位检测方法、电子设备以及计算机可读存储介质。该联合标定方法包括：移动运动机构末端到若干位置，获取每一位置对应的运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标；基于若干位置的所述运动机构末端的末端位置以及所述标准激光坐标，获取线激光坐标系与所述世界坐标系的激光位姿转换关系；基于若干位置的棋盘格坐标系与双目坐标系的位姿关系以及标准激光坐标，获取双目坐标系与世界坐标系的双目位姿转换关系。通过上述方式，设备通过两个手眼的联合标定方法，为线激光坐标系与世界坐标系、双目坐标系与世界坐标系之间的位姿关系建立了数学模型。

Description

联合标定方法、孔位检测方法、电子设备以及存储介质
技术领域
本申请涉及视觉检测与定位技术领域，特别是涉及一种联合标定方法、孔位检测方法、电子设备以及计算机可读存储介质。
背景技术
随着汽车、船舶与航空航天等高端制造领域的快速发展，工件的结构和制造工艺越来越复杂，加工与装配的精度和自动化水平要求越来越高，工业自动化检测技术也迎来了更大的挑战。通常情况下，诸如蒙皮、骨架、发动机、叶片等工件都会带有安装孔、铆接孔、定位孔等圆形孔特征，识别和定位圆形孔是装配过程中必不可少的一步，而在装配时往往会因为工件上孔径的偏差或孔位关系发生变化导致无法装配或装配质量低下，因此工件上的孔位与孔径检测的质量直接影响着工件的装配精度和自动化程度。
传统的接触式测量方式的检测精度高，但是其检测效率和自动化程度低下，且容易损坏工件，已无法满足现代化智能制造的要求。目前，已经出现了很多较为先进的以视觉检测为代表的非接触式孔位检测方法和设备，其灵活性强、检测效率高、不会损坏工件、易于实现计算机集成制造等优势而被广泛应用在高端制造领域，但仍然存在一些不足或可以改进的地方，例如检测精度和自动化程度还有待提高等。其中，采用非接触式孔位检测方法涉及多种仪器的配合，工作人员需要分别对每种仪器进行标定后，再对多种仪器之间的关系进行标定，工作量较大且自动化水平低。
发明内容
本申请提供了一种联合标定方法、孔位检测方法、电子设备以及计算机可读存储介质。
本申请提供了一种联合标定方法，所述联合标定方法包括：
移动运动机构末端到若干位置，获取每一位置对应的所述运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标；
基于所述若干位置的所述运动机构末端的末端位置以及所述标准激光坐标，获取所述线激光坐标系与世界坐标系的激光位姿转换关系；
基于所述若干位置的所述棋盘格坐标系与双目坐标系的位姿关系以及所述标准激光坐标，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系。
其中，所述获取标准球在线激光坐标系下的标准激光坐标，包括：
移动所述运动机构末端到当前位置，获取线激光扫描得到的标准球点云；
根据所述标准球点云，获取所述标准球的切面圆数据；
基于所述切面圆数据和所述标准球的直径，获取在当前位置所述标准球球心在线激光坐标系下的标准激光坐标。
其中，所述基于所述若干位置的所述运动机构末端的末端位置以及所述标准激光坐标，获取所述线激光坐标系与所述世界坐标系的激光位姿转换关系，包括：
利用所述标准球的标准世界坐标、每一位置的所述运动机构末端的末端位置、所述激光位姿转换关系以及所述标准激光坐标建立每一位置的激光位姿转换方程；
利用所述若干位置的激光位姿转换方程，建立激光位姿求解方程；
求解所述激光位姿求解方程，获取所述线激光坐标系与所述世界坐标系的激光位姿转换关系。
其中，所述获取棋盘格坐标系与双目坐标系的位姿关系，包括：
移动所述运动机构末端到当前位置，获取所述当前位置的棋盘格图像；
提取所述棋盘格图像的角点，并按照所述角点建立所述棋盘格图像的棋盘格坐标系；
利用预先标定的双目坐标系，获取所述棋盘格坐标系与双目坐标系的位姿关系。
其中，所述基于所述若干位置的所述棋盘格坐标系与双目坐标系的位姿关系以及所述标准激光坐标，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系，包括：
利用所述标准球的双目世界坐标、每一位置的所述运动机构末端的末端位置、所述双目位姿转换关系以及所述标准激光坐标建立每一位置的双目位姿转换方程；
利用所述若干位置的双目位姿转换方程，建立双目位姿求解方程；
求解所述双目位姿求解方程，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系。
本申请还提供了一种孔位检测方法，所述孔位检测方法包括：
获取被测工件的双目图像；
利用所述双目图像中的左图像或右图像，拟合若干孔位的感兴趣区域；
利用所述双目图像获取所述感兴趣区域的双目三维点云，根据所述双目三维点云的高度信息确定所述若干孔位在双目坐标系下的三维坐标以及编号；
按照双目位姿转换关系将所述双目坐标系下的三维坐标转换为世界坐标系下的双目三维坐标；
利用所述双目三维坐标确定线激光扫描顺序；
按照所述线激光扫描顺序，获取若干孔位的线激光三维点云；
对所述线激光三维点云中的孔边缘点进行聚类分割，获取每一孔位对应的孔边缘点集；
按照所述每一孔位的孔边缘点集，获取所述每一孔位在线激光坐标系下的三维坐标，并按照线激光位姿转换关系将所述激光坐标系下的三维坐标转换为世界坐标系下的线激光三维坐标；
匹配所述双目三维坐标和所述线激光三维坐标，将所述线激光三维坐标与成功匹配的双目三维坐标对应的编号进行关联；
其中，所述双目位姿转换关系和所述线激光位姿转换关系通过上述的联合标定方法标定。
其中，所述利用所述双目图像中的左图像或右图像，拟合若干孔位的感兴趣区域，包括：
对所述双目图像中的左图像或右图像进行边缘检测，获取二值化边缘轮廓图；
从所述二值化边缘轮廓图中识别并提取若干孔位的边缘像素坐标；
按照所述边缘像素坐标拟合所述若干孔位的椭圆形区域；
按照所述若干孔位的椭圆形区域，确定所述若干孔位的感兴趣区域。
其中，所述根据所述双目三维点云的高度信息确定所述若干孔位在双目坐标系下的三维坐标以及编号，包括：
在每一孔位的感兴趣区域内确定圆形区域，以及区域边缘；
按照所述圆形区域获取所述双目三维点云中的孔内点的第一高度均值；
按照所述区域边缘获取所述双目三维点云中的孔外点的第二高度均值；
在所述第二高度均值与所述第一高度均值的差值大于等于预设高度阈值时，确定所在孔位的感兴趣区域内存在孔状结构，按照所述区域边缘获取所述孔状结构的三维坐标，并对所有孔状结构的三维坐标进行编号。
其中，所述利用所述双目三维坐标确定线激光扫描顺序，包括：
按照所述若干孔位的双目三维坐标的Y值从大到小确定所述激光扫描顺序。
其中，所述按照所述若干孔位的双目三维坐标的Y值从大到小确定所述激光扫描顺序，包括：
按照所述若干孔位的双目三维坐标的Y值从大到小确定孔位扫描顺序；
获取扫描预留间距，确定每一孔位的第一扫描预留值和第二扫描预留值，其中，所述第一扫描预留值小于所述第二扫描预留值；
在当前孔位扫描顺序的孔位的X轴小于下一个孔位扫描顺序的孔位的X轴时，在下一个孔位扫描顺序按照所述第一扫描预留值到所述第二扫描预留值的顺序确定下一个孔位的预留扫描顺序；
按照所述孔位扫描顺序以及每一孔位的预留扫描顺序，确定所述激光扫描顺序。
其中，所述对所述线激光三维点云中的孔边缘点进行聚类分割，获取每一孔位对应的孔边缘点集之前，所述孔位检测方法还包括：
遍历所述线激光三维点云的相邻数据点，获取每两个相邻数据点的梯度绝对值；
在所述梯度绝对值大于第一梯度阈值时，将对应的两个相邻数据点列为候选孔边缘点；
获取所述候选孔边缘点的若干相邻数据点；
在所述若干相邻数据点与所述候选孔边缘点的平均差值小于第二梯度阈值时，将所述候选孔边缘点确定为孔边缘点。
其中，所述将所述候选孔边缘点确定为孔边缘点，包括：
获取所述线激光三维点云的所有数据点的Z值均值；
将Z值大于所述Z值均值的候选孔边缘点确定为孔边缘点。
其中，所述匹配所述双目三维坐标和所述线激光三维坐标，包括：
采用最小二乘优化算法对若干所述双目三维坐标和若干所述线激光三维坐标，以匹配完成后各匹配成功的双目三维坐标和线激光三维坐标的距离之差最小化进行优化。
本申请还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的联合标定方法，和/或孔位检测方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的联合标定方法，和/或孔位检测方法。
本申请的有益效果是：电子设备移动运动机构末端到若干位置，获取每一位置对应的运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标；基于若干位置的运动机构末端的末端位置以及标准激光坐标，获取线激光坐标系与世界坐标系的激光位姿转换关系；基于若干位置的棋盘格坐标系与双目坐标系的位姿关系以及标准激光坐标，获取双目坐标系与世界坐标系的双目位姿转换关系。通过上述方式，电子设备通过两个手眼的联合标定方法，为线激光坐标系与世界坐标系、双目坐标系与世界坐标系之间的位姿关系建立了数学模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的基于多传感器的孔位与孔径检测装置一实施例的框架示意图；
图2是本申请提供的孔位与孔径检测方法的整体流程示意图；
图3是本申请提供的联合标定方法一实施例的流程示意图；
图4是本申请提供的联合标定系统的框架示意图；
图5是本申请提供的孔位检测方法一实施例的流程示意图；
图6是本申请提供的多点路径规划算法的示意图；
图7是本申请提供的电子设备一实施例的结构示意图；
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请要解决的问题是针对高端制造领域中工件孔径与孔位的检测精度与自动化程度的高要求，设计一套孔位与孔径的自动化检测装置和相关的检测方法，能够灵活实现对孔扫描路径的自动规划和孔径与孔位的高精度检测。
具体请参阅图1，图1是本申请提供的基于多传感器的孔位与孔径检测装置一实施例的框架示意图。
如图1所示，孔位与孔径检测装置根据功能具体可以概括为以下四个模块：全局定位模块、运动控制模块、数据采集模块和信息处理模块。
下面分别对各个模块的功能进行介绍：
1、全局定位模块：其主要功能是对放置在检测台上的工件上的孔进行预检测，粗略估计工件上孔的数量和位置，在本申请中该模块采用双目立体视觉系统实现：将双目相机安装在检测台的正上面，保证检测台的整个待测区域都在两个相机的视野范围内，且两个相机的姿态尽量保持光轴竖直向下。
2、运动控制模块：其主要功能是带动安装在其末端的数据采集模块(线激光扫描仪)运动到合适位置，以便能够准确采集孔的三维点云数据，在本申请中该模块采用多轴数控运动机构实现，将其安装在检测台侧边，使其基座与检测台的相对位置固定，并保证其末端可运动至检测台的任意待测区域上方，将其基坐标作为整个系统的世界坐标系。
3、数据采集模块：其主要功能是采集工件上孔的高精度三维点云数据，在本申请中该模块采用线激光扫描仪实现。将线激光扫描仪固定在运动控制模块上，其位姿尽量保持激光发射方向竖直向下，通过固定频率可快速采集线激光所在线形位置的三维数据。
4、信息处理模块：其通过与上述三个模块中的设备连接通讯，建立上述三个模块之间的信息传递枢纽，负责各自信号的处理和孔位与孔径的计算，在本申请中采用工控机实现，将其与双目立体视觉系统连接，接收双目图像并处理粗略得到孔的数量和位置；将其与多轴数控运动机构连接，根据粗略得到孔的数量和位置，自动规划多轴数控运动机构的运动路径，使多轴数控运动机构带动线激光扫描仪达到合适位置对待测孔进行扫描；将其与线激光扫描仪连接，控制线激光扫描仪采集数据，并对线激光三维点云数据进行处理和计算，以得到孔位与孔径的精确数据。
本申请针对图1所示的孔位与孔径检测装置提出的检测方法的流程示意图具体请参阅图2，具体可以划分为离线标定和在线检测部分，其中，离线标定部分即为联合标定方法，在线检测部分即为孔位检测方法。
下面结合图1和图2，通过联合标定方法的介绍和孔位检测方法的介绍继续介绍本申请的具体技术方案：
具体请参阅图3和图4，图3是本申请提供的联合标定方法一实施例的流程示意图，图4是本申请提供的联合标定系统的框架示意图。
其中，本申请的联合标定方法应用于一种电子设备，其中，本申请的电子设备可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的联合标定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在实现本申请的联合标定方法之前，工作人员需要事先搭建对应的硬件环境，具体如下：
在本申请实施例中，工作人员将已知直径的标准球固定，将已知规格的标准棋盘格通过连接装置固定在线激光扫描仪上。为了使其能方便被双目相机测量，保证棋盘面的法向量保持向上的姿态；控制多轴数控运动机构带动线激光扫描仪，使线激光扫描仪的光平面与标准球相切。在此静止状态下，线激光扫描仪采集标准球切面圆处的点云，双目相机采集棋盘格图像。
本申请的离线标定包括三个部分，分别为：
1、双目相机的标定与立体校正：双目标定与立体校正技术已经非常成熟，本申请采用最经典的张氏标定法得到左右相机的内参矩阵与畸变系数，矫正左右相机的畸变；然后再根据两个相机的标定参数计算左相机到右相机的旋转和位移矩阵，最后采用Bouguet算法进行双目立体校正，包括计算左右相机的对齐旋转矩阵使双目相机极线对齐，计算立体矫正之后的左右相机的焦距和主点坐标，以及校正映射矩阵或矫正映射表。
2、线激光扫描仪与多轴数控运动机构之间的手眼标定。
3、双目相机与多轴数控运动机构之间的手眼标定。
关于线激光扫描仪与多轴数控运动机构之间的手眼标定，和双目相机与多轴数控运动机构之间的手眼标定具体请参阅步骤S13至S15。
具体而言，如图3所示，本申请实施例的联合标定方法具体包括以下步骤：
步骤S11：移动运动机构末端到若干位置，获取每一位置对应的运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标。
在本申请实施例中，电子设备移动运动机构末端到若干位置，到达每一个位置并处于静止状态时，控制线激光扫描仪和双目相机采集数据。
具体地，电子设备对线激光扫描得到的切面圆处的点云进行拟合，得到切面圆圆心坐标和半径，根据标准球直径和勾股定理计算得到标准球球心在线激光坐标系下的坐标Ps，即标准激光坐标。其中，坐标Ps的X值的正负号根据实际测量中球心相对光平面的位置而决定，例如，球心相对光平面位于右侧时，则X值为正号；球心相对光平面位于左侧时，则X值为负号。
其中，多轴数控运动机构末端在世界坐标系下的位姿[Re2w te2w]可通过多轴数控运动机构的示教器或控制器读取得到。设标准球球心在世界坐标系下的坐标为Pw，即标准世界坐标，在双目坐标系下的坐标为Pc，即标准双目坐标；设线激光坐标系与多轴数控运动机构末端坐标系的手眼矩阵为Xs2e，即激光位姿转换关系；则存在如下转换关系：
Pw＝ [Re2w te2w] Xs2e Ps (1)
需要说明的是，由于标准球以及双目相机在实际空间固定后位置不再发生变化，即Pw和Pc在联合标定过程中为固定值。
电子设备对双目相机采集得到的棋盘格图像进行处理并提取角点，根据双目标定结果可计算每个角点在双目坐标系下的坐标值，如图4所示，设棋盘格坐标系的原点为左上角角点，X轴方向为原点指向右上角角点的方向，Y轴方向为原点指向左下角角点的方向，Z轴方向垂直棋盘面向上，则可以轻松求得棋盘格坐标系相对双目坐标系的位姿关系[Rt2ctt2c]或双目坐标系相对棋盘格坐标系的位姿关系[Rc2t tc2t]。设线激光坐标系与棋盘格坐标系的位姿关系为Xs2t，则存在如下转换关系：
Pc＝ [Rt2c tt2c] Xs2t Ps (2)
在不同位置多次进行上述操作，得到多组Ps n(xs n,ys n,zs n)、[Re2w n te2w n]和[Rt2c ntt2c n]。
步骤S12：基于若干位置的运动机构末端的末端位置以及标准激光坐标，获取线激光坐标系与世界坐标系的激光位姿转换关系。
在本申请实施例中，由于多轴数控运动机构末端位于不同位置时，Pw和Pc均为固定值，对于线激光扫描仪与多轴数控运动机构，有：
[Re2w 1 te2w 1]Xs2e Ps 1＝[Re2w 2 te2w 2]Xs2e Ps 2＝……＝[Re2w n te2w n]Xs2ePs n(3)
其中，n为位置点。
因此，线激光扫描仪与多轴数控运动机构之间的手眼标定的关键在于对式(3)中矩阵Xs2e的求解。
具体地，矩阵Xs2e采用如下步骤进行求解计算：首先将式(3)中的等式转换成齐次的形式：
Figure BDA0004027742070000101
令Rx＝(r1,r2,r3)，代入上式(4)并展开可以得到：
Figure BDA0004027742070000111
再令
Figure BDA0004027742070000112
Figure BDA0004027742070000113
x＝[r1 r2 r3 tx]T
Figure BDA0004027742070000114
根据最小二乘法求解x即可得到手眼矩阵Xs2e：
x＝(ATA)-1ATb (6)
最后，根据式子(6)求解得到的参数矩阵Xs2e，可以计算得到线激光坐标系到世界坐标系的激光位姿转换关系：
Xs2w＝Xs2e[Re2w te2w] (7)
步骤S13：基于若干位置的棋盘格坐标系与双目坐标系的位姿关系以及标准激光坐标，获取双目坐标系与世界坐标系的双目位姿转换关系。
在本申请实施例中，由于多轴数控运动机构末端位于不同位置时，Pw和Pc均为固定值，对于线激光扫描仪与双目相机，有：
[Rt2c 1 tt2c 1]Xs2t Ps 1＝[Rt2c 2 tt2c 2]Xs2t Ps 2＝……＝[Rt2c n tt2c n]Xs2t Ps n(8)
因此，双目相机与多轴数控运动机构之间的手眼标定的关键在于对式(8)中矩阵Xs2t的求解。其中，矩阵Xs2t的求解计算方法同上述矩阵Xs2e的求解计算步骤一样，在此不再赘述。
根据上述步骤求解得到的参数矩阵Xs2t，可以计算得到双目坐标系到世界坐标系的双目位姿转换关系：
Xc2w＝[Rc2t tc2t][Xs2t]-1Xs2w (9)
至此，完成手眼联合标定，则线激光坐标系、双目坐标系、多轴数控运动机构末端坐标系这三个坐标系和世界坐标系之间的转换关系在后续的孔位检测过程中均变为已知量。
在本申请实施例中，电子设备移动运动机构末端到若干位置，获取每一位置对应的运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标；基于若干位置的运动机构末端的末端位置以及标准激光坐标，获取线激光坐标系与世界坐标系的激光位姿转换关系；基于若干位置的棋盘格坐标系与双目坐标系的位姿关系以及标准激光坐标，获取双目坐标系与世界坐标系的双目位姿转换关系。通过上述方式，电子设备通过两个手眼的联合标定方法，为线激光坐标系与世界坐标系、双目坐标系与世界坐标系之间的位姿关系建立了数学模型。
本申请的联合标定方法提供了一种基于标准球和棋盘格的“线激光传感器与多轴数控运动机构”和“双目相机与多轴数控运动机构”两个手眼的联合标定方法，为线激光坐标系与世界坐标系、双目坐标系与世界坐标系之间的位姿关系建立了数学模型。
在上述联合标定方法的基础上，请继续参阅图5，图5是本申请提供的孔位检测方法一实施例的流程示意图。
具体而言，如图5所示，本申请实施例的孔位检测方法具体包括以下步骤：
步骤S21：获取被测工件的双目图像。
在本申请实施例中，如图2所示的在线检测流程，电子设备用双目相机获取检测台上被测工件的左右图像。
步骤S22：利用双目图像中的左图像或右图像，拟合若干孔位的感兴趣区域。
在本申请实施例中，电子设备首先对左图像采用中值滤波进行预处理，然后采用Canny算子对图像进行边缘检测，得到二值化边缘轮廓图。然后，电子设备采用基于Hough变换的椭圆检测算法识别并提取待测孔的边缘像素坐标，并对其进行拟合，初步确定待测孔在左图像中的数量及对应位置。
进一步地，电子设备对所拟合的椭圆形区域添加感兴趣区域，用矩形框进行标识。具体添加方式如下：矩形框的中心与椭圆的中心重合，矩形框的长和宽分别与椭圆的长轴和短轴平行，且矩形框的长为椭圆长轴的1.2倍长度，宽为椭圆短轴的1.2倍长度。
在其他实施例中，电子设备也可以利用双目图像中的右图像拟合孔位的感兴趣区域。例如，在双目图像中视差图为左图像时，即可按照左图像拟合感兴趣区域。
步骤S23：利用双目图像获取感兴趣区域的双目三维点云，根据双目三维点云的高度信息确定若干孔位在双目坐标系下的三维坐标以及编号。
在本申请实施例中，电子设备根据左图像结合右图像和双目标定结果，即双目相机的标定与立体校正进行立体匹配与三维重建得到双目点云数据，得到上述矩形框区域内的双目三维点云。
电子设备采用高度阈值法判断矩形框区域是否存在孔状结构，其中，高度阈值法的具体表述如下：
以矩形框中心点为圆心，以矩形框宽的1/2长度为半径，对该圆形区域内的每一个像素点所对应空间点的Z值加权平均得到孔内点的高度均值Zin；对矩形框边缘上的每一个像素点所对应的空间点的Z值加权平均得到孔外点的Zout均值高度、X轴均值Xout和Y轴均值Yout。
其中，孔内点为二维图像上的圆形区域投影到双目三维点云表面的所有数据点，孔外点为二维图像上的矩形框边缘投影到双目三维点云表面的所有数据点。
设定高度阈值Hth，若：
Zout - Zin ≥ Hth (10)
则判定矩形框区域内存在孔状结构，保留左图像中所对应的矩形框，并计算孔的三维坐标Orou，坐标值表示为：(Xout，Yout，Zout)；否则，判定矩形框内不存在孔状结构，删除左图像中所对应的矩形框。
最后，电子设备对左图像中剩余的矩形框进行编号，每一个编号对应一个孔状结构的三维坐标。
步骤S24：按照双目位姿转换关系将双目坐标系下的三维坐标转换为世界坐标系下的双目三维坐标。
在本申请实施例中，电子设备利用联合标定方法中标定的双目位姿转换关系将双目坐标系下的三维坐标统一转换为世界坐标系下的双目三维坐标。
步骤S25：利用双目三维坐标确定线激光扫描顺序。
在本申请实施例中，图1所示的数据采集模块将步骤S24确定的三维坐标Orou发送给信息处理模块，信息处理模块以各待测孔三维坐标Orou为目标点，以线激光坐标系的原点为被控点，实现对线激光扫描仪的路径规划。
具体地，请参阅图6，图6是本申请提供的多点路径规划算法的示意图。如图6所示，电子设备在世界坐标系下，根据各待测孔三维坐标Orou的Y值进行降序排列，则图6中的排线结果为：孔A、孔B、孔C、孔D以及孔E。
进一步地，本申请实施例还可以设定扫描预留间距L，若孔A的世界坐标为(XA,YA,ZA)，则其伴随点点A1的世界坐标为(XA-L,YA,ZA)，伴随点点A2的世界坐标为(XA+L,YA,ZA)，对于孔B，伴随点点B1的世界坐标为(XB-L,YB,ZB)，伴随点点B2的世界坐标为(XB+L,YB,ZB)，以此类推。从孔A的伴随点点A1开始扫描，其扫描路径为A1至A2，若下一个孔坐标的X值大于上一个孔坐标的X值，即Xnext>Xbefore，则从下一个孔的1点开始扫描，反之则从2点开始扫描，如从孔A到孔B进行扫描时，因为XA<XB，所以先从A2到达B1；因为XB>XC，所以从孔B到孔C进行扫描时，先到达C2，以此类推。
如图6所示中的被控点的运动路径为A1A2B1B2C2C1D2D1E1E2，以此获得各个孔的线激光三维点云数据。
步骤S26：按照线激光扫描顺序，获取若干孔位的线激光三维点云。
在本申请实施例中，电子设备按照步骤S25确定的线激光扫描顺序对每一个孔位进行线激光扫描，获取每一个孔位的线激光三维点云。
步骤S27：对线激光三维点云中的孔边缘点进行聚类分割，获取每一孔位对应的孔边缘点集。
在本申请实施例中，电子设备采用梯度阈值法对获取的各个孔的线激光三维点云提取孔边缘点，对提取得到的孔边缘点进行统计滤波处理，滤除离散噪声点，然后对孔边缘点进行聚类分割，分割得到的每个点云均为单个孔的边缘点集。
其中，梯度阈值法提取孔边缘点的具体步骤如下：
针对线激光扫描得到的每一帧包含m个点的线形点云数据{pi|i＝1,2,…,m}，设定梯度阈值Tmin，遍历相邻两点pj和pj+1之间的梯度绝对值{|tj||j＝1,2,…,m-1}，若：
Figure BDA0004027742070000151
表明点pj到pj+1的深度发生了较大变化，点pj或pj+1为可疑孔边缘点，为了进一步排除孔内壁点对上式产生干扰，添加第二个约束条件，即相邻梯度值不能同时满足上式，可用下式表示：
Figure BDA0004027742070000152
式中，k为点pj的相邻点个数，Tmax为辅助梯度阈值，只有当点pj或pj+1同时满足上述两个约束条件时，则判定点pj或pj+1为孔边缘点，对于点pj和pj+1，其Z值大于m个点的Z值均值的点被认定为孔边缘点。
步骤S28：按照每一孔位的孔边缘点集，获取每一孔位在线激光坐标系下的三维坐标，并按照线激光位姿转换关系将激光坐标系下的三维坐标转换为世界坐标系下的线激光三维坐标。
在本申请实施例中，电子设备采用最优空间圆拟合算法对每一个孔的边缘点集进行拟合，根据拟合圆的圆心坐标Oacc(Xacc,Yacc,Zacc)、半径和法向量得到各个孔精确的孔位与孔径数据，并根据联合标定方法标定的线激光位姿转换关系将其转换到世界坐标系下。
步骤S29：匹配双目三维坐标和线激光三维坐标，将线激光三维坐标与成功匹配的双目三维坐标对应的编号进行关联。
在本申请实施例中，电子设备采用最小二乘优化算法对双目检测的孔坐标Orou(Xout,Yout,Zout)和线激光检测的孔坐标Oacc(Xacc,Yacc,Zacc)进行匹配，使各匹配点对的绝对距离之差T最小化：
Figure BDA0004027742070000161
最后，将匹配之后线激光扫描的孔边缘点云数据及其对应计算得到的孔位与孔径数据与左相机拍摄图像中的编号孔进行联合存储，即可通过二维图像中的编号孔链接到其对应的线激光孔边缘点云数据和孔径孔位信息，实现“二维图像+三维点云+孔位孔径信息”的数据集成。
本申请的孔位检测方法采用双目相机为线激光扫描系统提供了对孔的初步识别与定位功能，利用双目相机的二维和三维检测功能为线激光扫描的路径规划提供数据支撑；提供了一种基于多点路径规划的线激光扫描孔的路径规划方法，提高了基于线激光扫描的孔位与孔径检测效率；将线激光扫描的三维点云与二维图像进行联合存储，使图像中每一个编号孔与其高精度三维点云和孔位与孔径信息数据进行连接，实现了检测结果多元化。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的联合标定方法，和/或孔位检测方法，本申请还提出了一种电子设备，具体请参阅图7，图7是本申请提供的电子设备一实施例的结构示意图。
本申请实施例的电子设备300包括存储器31和处理器32，其中，存储器31和处理器32耦接。
存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例所述的联合标定方法，和/或孔位检测方法。
在本实施例中，处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
为实现上述实施例的联合标定方法，本申请还提供了一种计算机可读存储介质，如图8所示，计算机可读存储介质400用于存储程序数据41，程序数据41在被处理器执行时，用以实现如上述实施例所述的联合标定方法，和/或孔位检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的联合标定方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的联合标定方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种联合标定方法，其特征在于，所述联合标定方法包括：
移动运动机构末端到若干位置，获取每一位置对应的所述运动机构末端的末端位置，获取棋盘格坐标系与双目坐标系的位姿关系以及获取标准球在线激光坐标系下的标准激光坐标；
基于所述若干位置的所述运动机构末端的末端位置以及所述标准激光坐标，获取所述线激光坐标系与世界坐标系的激光位姿转换关系；
基于所述若干位置的所述棋盘格坐标系与双目坐标系的位姿关系以及所述标准激光坐标，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系。
2.根据权利要求1所述的联合标定方法，其特征在于，
所述获取标准球在线激光坐标系下的标准激光坐标，包括：
移动所述运动机构末端到当前位置，获取线激光扫描得到的标准球点云；
根据所述标准球点云，获取所述标准球的切面圆数据；
基于所述切面圆数据和所述标准球的直径，获取在当前位置所述标准球球心在线激光坐标系下的标准激光坐标。
3.根据权利要求1或2所述的联合标定方法，其特征在于，
所述基于所述若干位置的所述运动机构末端的末端位置以及所述标准激光坐标，获取所述线激光坐标系与所述世界坐标系的激光位姿转换关系，包括：
利用所述标准球的标准世界坐标、每一位置的所述运动机构末端的末端位置、所述激光位姿转换关系以及所述标准激光坐标建立每一位置的激光位姿转换方程；
利用所述若干位置的激光位姿转换方程，建立激光位姿求解方程；
求解所述激光位姿求解方程，获取所述线激光坐标系与所述世界坐标系的激光位姿转换关系。
4.根据权利要求1所述的联合标定方法，其特征在于，
所述获取棋盘格坐标系与双目坐标系的位姿关系，包括：
移动所述运动机构末端到当前位置，获取所述当前位置的棋盘格图像；
提取所述棋盘格图像的角点，并按照所述角点建立所述棋盘格图像的棋盘格坐标系；
利用预先标定的双目坐标系，获取所述棋盘格坐标系与双目坐标系的位姿关系。
5.根据权利要求1或4所述的联合标定方法，其特征在于，
所述基于所述若干位置的所述棋盘格坐标系与双目坐标系的位姿关系以及所述标准激光坐标，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系，包括：
利用所述标准球的双目世界坐标、每一位置的所述运动机构末端的末端位置、所述双目位姿转换关系以及所述标准激光坐标建立每一位置的双目位姿转换方程；
利用所述若干位置的双目位姿转换方程，建立双目位姿求解方程；
求解所述双目位姿求解方程，获取所述双目坐标系与所述世界坐标系的双目位姿转换关系。
6.一种孔位检测方法，其特征在于，所述孔位检测方法包括：
获取被测工件的双目图像；
利用所述双目图像中的左图像或右图像，拟合若干孔位的感兴趣区域；
利用所述双目图像获取所述感兴趣区域的双目三维点云，根据所述双目三维点云的高度信息确定所述若干孔位在双目坐标系下的三维坐标以及编号；
按照双目位姿转换关系将所述双目坐标系下的三维坐标转换为世界坐标系下的双目三维坐标；
利用所述双目三维坐标确定线激光扫描顺序；
按照所述线激光扫描顺序，获取若干孔位的线激光三维点云；
对所述线激光三维点云中的孔边缘点进行聚类分割，获取每一孔位对应的孔边缘点集；
按照所述每一孔位的孔边缘点集，获取所述每一孔位在线激光坐标系下的三维坐标，并按照线激光位姿转换关系将所述激光坐标系下的三维坐标转换为世界坐标系下的线激光三维坐标；
匹配所述双目三维坐标和所述线激光三维坐标，将所述线激光三维坐标与成功匹配的双目三维坐标对应的编号进行关联；
其中，所述双目位姿转换关系和所述线激光位姿转换关系通过权利要求1至5任一项所述的联合标定方法标定。
7.根据权利要求6所述的孔位检测方法，其特征在于，
所述利用所述双目图像中的左图像或右图像，拟合若干孔位的感兴趣区域，包括：
对所述双目图像中的左图像或右图像进行边缘检测，获取二值化边缘轮廓图；
从所述二值化边缘轮廓图中识别并提取若干孔位的边缘像素坐标；
按照所述边缘像素坐标拟合所述若干孔位的椭圆形区域；
按照所述若干孔位的椭圆形区域，确定所述若干孔位的感兴趣区域。
8.根据权利要求6或7所述的孔位检测方法，其特征在于，
所述根据所述双目三维点云的高度信息确定所述若干孔位在双目坐标系下的三维坐标以及编号，包括：
在每一孔位的感兴趣区域内确定圆形区域，以及区域边缘；
按照所述圆形区域获取所述双目三维点云中的孔内点的第一高度均值；
按照所述区域边缘获取所述双目三维点云中的孔外点的第二高度均值；
在所述第二高度均值与所述第一高度均值的差值大于等于预设高度阈值时，确定所在孔位的感兴趣区域内存在孔状结构，按照所述区域边缘获取所述孔状结构的三维坐标，并对所有孔状结构的三维坐标进行编号。
9.根据权利要求6所述的孔位检测方法，其特征在于，
所述利用所述双目三维坐标确定线激光扫描顺序，包括：
按照所述若干孔位的双目三维坐标的Y值从大到小确定所述激光扫描顺序。
10.根据权利要求9所述的孔位检测方法，其特征在于，
所述按照所述若干孔位的双目三维坐标的Y值从大到小确定所述激光扫描顺序，包括：
按照所述若干孔位的双目三维坐标的Y值从大到小确定孔位扫描顺序；
获取扫描预留间距，确定每一孔位的第一扫描预留值和第二扫描预留值，其中，所述第一扫描预留值小于所述第二扫描预留值；
在当前孔位扫描顺序的孔位的X轴小于下一个孔位扫描顺序的孔位的X轴时，在下一个孔位扫描顺序按照所述第一扫描预留值到所述第二扫描预留值的顺序确定下一个孔位的预留扫描顺序；
按照所述孔位扫描顺序以及每一孔位的预留扫描顺序，确定所述激光扫描顺序。
11.根据权利要求6所述的孔位检测方法，其特征在于，
所述对所述线激光三维点云中的孔边缘点进行聚类分割，获取每一孔位对应的孔边缘点集之前，所述孔位检测方法还包括：
遍历所述线激光三维点云的相邻数据点，获取每两个相邻数据点的梯度绝对值；
在所述梯度绝对值大于第一梯度阈值时，将对应的两个相邻数据点列为候选孔边缘点；
获取所述候选孔边缘点的若干相邻数据点；
在所述若干相邻数据点与所述候选孔边缘点的平均差值小于第二梯度阈值时，将所述候选孔边缘点确定为孔边缘点。
12.根据权利要求11所述的孔位检测方法，其特征在于，
所述将所述候选孔边缘点确定为孔边缘点，包括：
获取所述线激光三维点云的所有数据点的Z值均值；
将Z值大于所述Z值均值的候选孔边缘点确定为孔边缘点。
13.根据权利要求6所述的孔位检测方法，其特征在于，
所述匹配所述双目三维坐标和所述线激光三维坐标，包括：
采用最小二乘优化算法对若干所述双目三维坐标和若干所述线激光三维坐标，以匹配完成后各匹配成功的双目三维坐标和线激光三维坐标的距离之差最小化进行优化。
14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-5任一项所述的联合标定方法，和/或权利要求6-13任一项所述的孔位检测方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-5任一项所述的联合标定方法，和/或权利要求6-13任一项所述的孔位检测方法。
CN202211715771.XA 2022-12-29 2022-12-29 联合标定方法、孔位检测方法、电子设备以及存储介质 Pending CN116147477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211715771.XA CN116147477A (zh) 2022-12-29 2022-12-29 联合标定方法、孔位检测方法、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211715771.XA CN116147477A (zh) 2022-12-29 2022-12-29 联合标定方法、孔位检测方法、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116147477A true CN116147477A (zh) 2023-05-23

Family

ID=86355517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211715771.XA Pending CN116147477A (zh) 2022-12-29 2022-12-29 联合标定方法、孔位检测方法、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116147477A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117066702B (zh) * 2023-08-25 2024-04-19 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统

Similar Documents

Publication Publication Date Title
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
CN107481284A (zh) 目标物跟踪轨迹精度测量的方法、装置、终端及系统
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN110146017B (zh) 工业机器人重复定位精度测量方法
JP2014028415A (ja) バラ積みされた物品をロボットで取出す装置
CN106625673A (zh) 狭小空间装配系统及装配方法
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
US20220230348A1 (en) Method and apparatus for determining a three-dimensional position and pose of a fiducial marker
JP2021193400A (ja) アーチファクトを測定するための方法
CN112729112B (zh) 基于机器人视觉的发动机缸体孔径与孔位检测方法
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN113532277A (zh) 板状不规则曲面工件的检测方法及系统
CN116147477A (zh) 联合标定方法、孔位检测方法、电子设备以及存储介质
CN112767338A (zh) 一种基于双目视觉的装配式桥梁预制构件吊装定位系统及其方法
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、系统、电子设备
CN113119129A (zh) 一种基于标准球的单目测距定位方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
CN113221953B (zh) 基于实例分割和双目深度估计的目标姿态识别系统与方法
CN112161598B (zh) 一种检测设备的检测方法及检测装置
CN114963981A (zh) 一种基于单目视觉的筒状零件对接非接触式测量方法
CN114331977A (zh) 多阵列三维测量系统的拼接标定系统、方法及装置
CN112785647A (zh) 一种三目立体图像检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination