CN110553600B - 一种用于工件检测的结构光传感器仿真激光线的生成方法 - Google Patents
一种用于工件检测的结构光传感器仿真激光线的生成方法 Download PDFInfo
- Publication number
- CN110553600B CN110553600B CN201910749208.6A CN201910749208A CN110553600B CN 110553600 B CN110553600 B CN 110553600B CN 201910749208 A CN201910749208 A CN 201910749208A CN 110553600 B CN110553600 B CN 110553600B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- point
- plane
- line
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于工件检测的结构光传感器仿真激光线的生成方法,包括如下步骤:1、将机器人、传感器、工件模型导入软件;2、根据工件的绝对位姿、机器人工具的绝对位姿等数据,重新布置步骤1中设备的位姿;3、在工件模型上拾取一条特征边和与该特征边相邻的两个特征表面;4、获取相机坐标系的光平面上一点和法向量在世界坐标系下的表示;5、创建激光平面αl;6、创造激光平面αl与特征边的交点、αl与第一特征面的交线、αl与第二特征面的交线;求出交线在交点处的参数以及对应的向量;7、获取传感器激光平面在工件上的仿真激光线。该方法能有效解决结构光传感器在镜面反射干扰下识别精度低的问题,提高了传感器的适用范围。
Description
技术领域
本发明属于机器人与计算机图形学领域,具体涉及一种用于工件检测的结构光传感器仿真激光线的生成方法。
背景技术
目前随着智能制造的发展,工业应用中,非接触式的结构光视觉传感器应用越来越广泛,在曲面造型加工检测,工件质量检测,焊缝跟踪等领域,结构光视觉传感器已经得到了广泛的应用。采用线结构光方式的视觉传感器,满足激光三角法测量模型,是一种非接触、测量速度快、精度较高的测量方式。激光线照射到被测物体表面,形成光条纹,该光条纹受到被测物体表面几何形状的影响而出现不连续、畸变的现象,这种变化包含了被测物体表面的深度信息。通过对采集的激光条纹图像进行分析,提取出激光条纹的中心线,根据相机与激光器构成的几何模型,就能够计算出激光中线上的点的空间位置,从而获得被测物体表面的结构信息。
由于在工业环境下,存在噪声、光线等干扰,传感器检测到的到的光条纹不能准确反映真实的工件信息,影响后续处理。因此,需要在仿真环境中获得理想的工件表面激光线。
发明内容
本发明提出一种用于工件检测的结构光传感器仿真激光线的生成方法,其目的在于出现环境干扰的情况下,准确获取工件表面的激光线,提高结构光视觉传感器的精度和适用范围,本发明应用于工业机器人仿真系统。
本发明至少通过如下技术方案之一实现。
一种用于工件检测的结构光传感器仿真激光线的生成方法,包括如下步骤:
(1)将机器人、结构光传感器、工件模型导入到机器人仿真软件中,生成仿真环境;
(3)根据步骤(2)中布置好的设备位姿,在工件模型上拾取结构光传感器需要检测的一条特征边和与该特征边相邻的两个特征表面;
(4)根据相机相对于机器人工具中心点坐标系的手眼关系位于结构光传感器中的结构光发射器生成的激光平面在相机坐标系下的方程和步骤(3)中的特征边和两个特征表面,得到在相机坐标系下的激光平面上一点和其法向量在世界坐标系下的表示;
(5)根据步骤(4)得到的点和法向量,创建激光平面αl;
(6)分别创建激光平面αl与特征边的交点Ple、αl与第一特征面的交线C1、αl与第二特征面的交线C2;求出曲线C1和C2在Ple处直线参数方程的参数d1和d2,参数的范围在0到1之间;通过参数d1和d2的预设增量d′1和d′2,都取0.5,求出曲线C1上从d1到d′1两点的向量V1和曲线C2上d2到d′2两点的向量V2,通过向量V1和V2,判断增量d′1和d′2的正负符号;判断增量d′1和d′2的正负符号;
(7)获取传感器激光平面在工件上的仿真激光线,将仿真激光线离散以文本格式保存为三维空间中的点。
进一步的,所述激光平面在相机坐标系下的方程为Ax+By+Cz+1=0,其中,A、B、C表示相机坐标系下平面方程的系数。
进一步的,步骤(4)中,在相机坐标系下的激光平面上一点和其法向量在世界坐标系下的表示,具体如下:
c、t、w分别表示相机坐标系、工具坐标系、世界坐标系;
进一步的,步骤(5)的激光平面αl是利用开源三维建模引擎库OCCT(OpenCascadeTechnology)中的几何平面类(classGeom_Plane)创建,传入世界坐标系下的点P″0和点N″。
进一步的,步骤(6)的交线C1和交线C2分别利用曲线表面几何相交算法(classGeomAPI_IntCS)、表面和表面的几何相交算法(class GeomAPI_IntSS),得到激光平面αl与特征边的交点Ple、αl与第一特征面的交线C1、αl与第二特征面的交线C2。
进一步的,步骤(6)的参数d1和d2是通过点到曲线的几何投影算法(classGeomAPI_ProjectPointOnCurve)得到。
进一步的,步骤(6)中通过向量V1和V2,判断增量d′1和d′2的正负符号,具体如下:
若V1与第一特征面的法向量N1的点积为负,即向量V1与向量N1的夹角为钝角,则d′1要取反;若V2与第二特征面的法向量N2的点积为负,即向量V2与向量N2两向量的夹角为钝角,则d′2要取反。
进一步的,步骤(7)中的仿真激光线,是由交线C1上的两个参数d1和d′1以及交线C2上的两个参数d2和d′2,利用拓扑边构造类(classBRepBuilderAPI_MakeEdge)得到;所述仿真激光线即为结构光传感器激光平面在工件上的仿真激光线,然后将此仿真激光线离散以文本格式保存为三维空间中的点,作为结构光传感器焊缝识别的参考。
本发明的有益效果为:
本发明利用仿真工具,搭建仿真环境,有效避免了实际环境中的干扰;
(1)、本发明中采用了真实机器人、传感器、工件的数据,使得仿真数据更加可靠;
(2)、本发明采用了三维建模引擎OCCT中的建模算法,适用于不同的工件模型;
(3)、本发明实现了工件检测仿真激光线的生成方法,本发明方法扩展了结构光传感器应用工作范围。
附图说明
图1为本实施例导入到软件中的机器人、结构光传感器、工件初始位姿三维模型示意图;
图2为本实施例布置好的机器人、传感器、工件位姿示意图;
图3为本实施例机器人、工具和工件坐标系和各个坐标系间的齐次变换矩阵示意图;
图4为本实施例激光线照射到工件上的示意图;
图5为本实施例生成的工件表面检测仿真激光线;
图6为本实施例一种用于工件检测的结构光传感器仿真激光线的生成方法的流程图。
具体实施方式
为了更加详细的说明本发明的实现方式,下面结合附图对本发明做进一步说明。
如图6所示的一种用于工件检测的结构光传感器仿真激光线的生成方法,包括如下步骤:
(1)、将机器人、结构光传感器、工件三维模型导入到机器人仿真软件SCUT-RobotSim中,生成图1所示的仿真环境;
(3)、根据步骤(2)中布置好的场景,在工件三维模型上拾取结构光传感器需要检测的一条特征边和与该特征边相邻的两个特征表面;
(4)、根据相机相对于机器人工具TCP坐标系的手眼关系位于结构光传感器中的结构光发射器生成的激光平面在相机坐标系下的方程和步骤(2)中的数据,得到在相机坐标系下的激光平面上一点和其法向量在世界坐标系下的表示;所述激光在相机坐标系下的方程为Ax+By+Cz+1=0;其中,A、B、C表示相机坐标系下平面方程的系数。本实例中A=0.107029,B=11.524,C=-4.955158;
(5)、根据步骤(4)得到的点和法向量,利用开源三维建模引擎库OCCT中的几何平面类(classGeom_Plane)创建激光平面αl;
图3是机器人、结构光传感器、工件模型的示意图,此为结构光传感器检测工件焊缝时的机器人构型。图中标出了机器人第六轴坐标系、相机坐标系、工具坐标系、工件坐标系之间的相对位置关系。其中,FW为世界坐标系FW、F6为机器人第六轴坐标系、FC为相机坐标系、FT为工具坐标系、FO为工件坐标系,为F6到FW的变换矩阵,为FT到F6的变换矩阵,为FC到FT的变换矩阵为FO到FW的变换矩阵,通过这些矩阵关系,利用齐次变换理论,即可求出结构光传感器激光平面与工件的交线。
(6)、利用曲线表面几何相交算法(classGeomAPI_IntCS)、表面和表面的几何相交算法(classGeomAPI_IntSS),得到激光平面αl与特征边E的交点Ple、αl与第一特征面α1即特征边E的左邻特征面的交线C1、αl与特征边E的右邻特征面即第二特征面α2的交线C2;利用点到曲线的几何投影算法(classGeomAPI_ProjectPointOnCurve),求出C1和C2在Ple处的参数d1和d2,通过参数d1和d2的增量d′1和d′2,求出从d1到d′2的向量V1以及从d2到d′2的向量V2,其中,d′1=0.5和d′2=0.5;若V1与第一特征面α1的法向量N1的点积为负,即向量V1与向量N1的夹角为钝角,则d′1要取反,若V2与第二特征面α2的法向量N2的点积为负,即向量V2与向量N2的夹角为钝角,则d′2要取反。图4是激光线照射到工件上的示意图,图中标注了以上求解过程中用到的参数。
(7)、由曲线C1上的两个参数d1和d′1以及曲线C2上的两个参数d2和d′2,利用拓扑边构造类(classBRepBuilderAPI_MakeEdge),即可提取到结构光传感器激光平面在工件上的仿真激光线,如图5所示,然后将此激光线离散以文本格式保存为三维空间中的点,作为结构光传感器焊缝识别程序与算法的参考。
以上的classGeom_Plane、class GeomAPI_IntCS、class GeomAPI_IntSS、classGeomAPI_ProjectPointOnCurve和class BRepBuilderAPI_MakeEdge等都是开源三维建模引擎OpenCascade中的库函数,可以直接调用。
上述实施例均为本发明的较佳实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于,包括如下步骤:
(1)将机器人、结构光传感器、工件模型导入到机器人仿真软件中,生成仿真环境;
(3)根据步骤(2)中布置好的设备位姿,在工件模型上拾取结构光传感器需要检测的一条特征边和与该特征边相邻的两个特征表面;
(4)根据相机相对于机器人工具中心点坐标系的手眼关系位于结构光传感器中的结构光发射器生成的激光平面在相机坐标系下的方程和步骤(3)中的特征边和两个特征表面,得到在相机坐标系下的激光平面上一点和其法向量在世界坐标系下的表示;
(5)根据步骤(4)得到的点和法向量,创建激光平面αl;
(6)分别创建激光平面αl与特征边的交点Ple、αl与第一特征面的交线C1、αl与第二特征面的交线C2;求出曲线C1和C2在Ple处直线参数方程的参数d1和d2,参数的范围在0到1之间;通过参数d1和d2的预设增量d′1和d′2,都取0.5,求出曲线C1上从d1到d′1两点的向量V1和曲线C2上d2到d′2两点的向量V2,通过向量V1和V2,判断增量d′1和d′2的正负符号;判断增量d′1和d′2的正负符号;
(7)获取传感器激光平面在工件上的仿真激光线,将仿真激光线离散以文本格式保存为三维空间中的点。
2.根据权利要求1所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:所述激光平面在相机坐标系下的方程为Ax+By+Cz+1=0,其中,A、B、C表示相机坐标系下平面方程的系数。
3.根据权利要求2所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(4)中,在相机坐标系下的激光平面上一点和其法向量在世界坐标系下的表示,具体如下:
c、t、w分别表示相机坐标系、工具坐标系、世界坐标系;
4.根据权利要求3所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(5)的激光平面αl是利用开源三维建模引擎库OCCT中的几何平面类创建,传入世界坐标系下的点P″0和点N″。
5.根据权利要求4所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(6)的交线C1和交线C2分别利用曲线表面几何相交算法、表面和表面的几何相交算法,得到激光平面αl与特征边的交点Ple、αl与第一特征面的交线C1、αl与第二特征面的交线C2。
6.根据权利要求5所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(6)的参数d1和d2是通过点到曲线的几何投影算法得到。
7.根据权利要求6所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(6)中通过向量V1和V2,判断增量d′1和d′2的正负符号,具体如下:
若V1与第一特征面的法向量N1的点积为负,即向量V1与向量N1的夹角为钝角,则d′1要取反;若V2与第二特征面的法向量N2的点积为负,即向量V2与向量N2两向量的夹角为钝角,则d′2要取反。
8.根据权利要求7所述一种用于工件检测的结构光传感器仿真激光线的生成方法,其特征在于:步骤(7)中的仿真激光线,是由交线C1上的两个参数d1和d′1以及交线C2上的两个参数d2和d′2,利用拓扑边构造类得到;所述仿真激光线即为结构光传感器激光平面在工件上的仿真激光线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749208.6A CN110553600B (zh) | 2019-08-14 | 2019-08-14 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749208.6A CN110553600B (zh) | 2019-08-14 | 2019-08-14 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110553600A CN110553600A (zh) | 2019-12-10 |
CN110553600B true CN110553600B (zh) | 2021-05-14 |
Family
ID=68737553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910749208.6A Active CN110553600B (zh) | 2019-08-14 | 2019-08-14 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110553600B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112541925A (zh) * | 2020-12-15 | 2021-03-23 | 华南理工大学 | 结合视觉仿真的图像感兴趣区域截取方法、系统及存储介质 |
CN112509038B (zh) * | 2020-12-15 | 2023-08-22 | 华南理工大学 | 结合视觉仿真的自适应图像模板截取方法、系统及存储介质 |
CN112508932B (zh) * | 2020-12-21 | 2023-08-22 | 华南理工大学 | 基于仿真模板匹配的焊缝定位方法、系统及存储介质 |
CN112508971B (zh) * | 2020-12-21 | 2023-08-22 | 华南理工大学 | 基于仿真结构光条纹的焊缝定位方法、系统及存储介质 |
CN112800582B (zh) * | 2020-12-30 | 2022-05-24 | 华南理工大学 | 一种结构光视觉传感器仿真激光线生成方法 |
CN114102622B (zh) * | 2021-11-22 | 2023-07-14 | 清华大学 | 机器人系统及其测控方法和面激光接受器 |
CN114742789B (zh) * | 2022-04-01 | 2023-04-07 | 桂林电子科技大学 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2787883B2 (ja) * | 1992-12-28 | 1998-08-20 | 三菱電機株式会社 | 三次元レーザ加工機用シミュレーション装置 |
CN2737511Y (zh) * | 2004-10-22 | 2005-11-02 | 迪伸电子股份有限公司 | 工具机的激光辅助定位机构 |
US7652275B2 (en) * | 2006-07-28 | 2010-01-26 | Mitutoyo Corporation | Non-contact probe control interface |
CN106959080B (zh) * | 2017-04-10 | 2019-04-05 | 上海交通大学 | 一种大型复杂曲面构件三维形貌光学测量系统和方法 |
CN107824940A (zh) * | 2017-12-07 | 2018-03-23 | 淮安信息职业技术学院 | 基于激光结构光的焊缝视觉跟踪系统及方法 |
CN109900251A (zh) * | 2017-12-07 | 2019-06-18 | 广州映博智能科技有限公司 | 一种基于视觉技术的机器人定位装置及方法 |
CN108628184B (zh) * | 2018-06-13 | 2021-06-08 | 华南理工大学 | 一种用于机器人仿真系统的碰撞检测方法 |
CN109278066B (zh) * | 2018-10-30 | 2023-11-03 | 武汉工程大学 | 一种多机器人基坐标系几何标定工装及标定方法 |
CN109781164B (zh) * | 2018-12-28 | 2021-02-05 | 长沙长泰机器人有限公司 | 一种线激光传感器的静态标定方法 |
CN109814124A (zh) * | 2019-01-28 | 2019-05-28 | 河北省科学院应用数学研究所 | 一种基于结构光3d传感器的机器人定位系统和方法 |
-
2019
- 2019-08-14 CN CN201910749208.6A patent/CN110553600B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110553600A (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110553600B (zh) | 一种用于工件检测的结构光传感器仿真激光线的生成方法 | |
CN111775152B (zh) | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统 | |
CN103678754B (zh) | 信息处理装置及信息处理方法 | |
EP2981397B1 (en) | A robot system and method for calibration | |
TWI672207B (zh) | 機械設備之定位系統及其方法 | |
JP2013217893A (ja) | モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法 | |
CN113920060A (zh) | 焊接机器人自主作业方法、装置、电子设备及存储介质 | |
WO2019114631A1 (zh) | 一种获取机器人tcp坐标的方法和装置 | |
Wang et al. | A virtual end-effector pointing system in point-and-direct robotics for inspection of surface flaws using a neural network based skeleton transform | |
CN114494312A (zh) | 训练从对象图像中识别对象的对象拓扑的机器学习模型的设备和方法 | |
Ibrayev et al. | Recognition of curved surfaces from “one-dimensional” tactile data | |
Ðurović et al. | Visual servoing for low-cost SCARA robots using an RGB-D camera as the only sensor | |
Wu et al. | A novel approach for porcupine crab identification and processing based on point cloud segmentation | |
Al Khawli et al. | Introducing data analytics to the robotic drilling process | |
Erceg et al. | Stereo vision based robot welding | |
Kemmotsu et al. | Sensor placement design for object pose determination with three light-stripe range finders | |
Rousseau et al. | Machine vision system for the automatic identification of robot kinematic parameters | |
Penttilä et al. | Virtual reality enabled manufacturing of challenging workpieces | |
CN112800582B (zh) | 一种结构光视觉传感器仿真激光线生成方法 | |
WO2019114630A1 (zh) | 一种获取机器人tcp坐标的方法和装置 | |
Al-Junaid | ANN based robotic arm visual servoing nonlinear system | |
JP6766229B2 (ja) | 位置姿勢計測装置及び方法 | |
JP5938201B2 (ja) | 位置姿勢計測装置、その処理方法及びプログラム | |
Lu et al. | Paint surface estimation and trajectory planning for automated painting systems | |
Liu et al. | Set space visual servoing of a 6-dof manipulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |