CN110363801B - 工件实物与工件三维cad模型的对应点匹配方法 - Google Patents

工件实物与工件三维cad模型的对应点匹配方法 Download PDF

Info

Publication number
CN110363801B
CN110363801B CN201910600519.6A CN201910600519A CN110363801B CN 110363801 B CN110363801 B CN 110363801B CN 201910600519 A CN201910600519 A CN 201910600519A CN 110363801 B CN110363801 B CN 110363801B
Authority
CN
China
Prior art keywords
workpiece
real object
point
dimensional cad
cad model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910600519.6A
Other languages
English (en)
Other versions
CN110363801A (zh
Inventor
景岩
梁桉洋
康承飞
秦伟铭
陈昱杉
夏浩
张梦婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co ltd
Original Assignee
Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co ltd filed Critical Shaanxi Silk Road Robot Intelligent Manufacturing Research Institute Co ltd
Priority to CN201910600519.6A priority Critical patent/CN110363801B/zh
Publication of CN110363801A publication Critical patent/CN110363801A/zh
Application granted granted Critical
Publication of CN110363801B publication Critical patent/CN110363801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种工件实物与工件三维CAD模型的对应点匹配方法，本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，三维CAD模型点与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配。本发明对加工位置的计算不受工件实物摆放位置、旋转角度的影响，提高了工件实物与三维CAD模型对应点匹配速度和匹配精度。

Description

工件实物与工件三维CAD模型的对应点匹配方法
技术领域
本发明属于零件数字化技术领域，具体涉及一种工件实物与工件三维CAD模型的对应点匹配方法。
背景技术
计算机辅助设计CAD已经广泛应用在各个领域，尤其是在工业设计中，CAD的发展使得工业产品设计流程更加标准、更加高效。在目前的产品生产流程中，产品设计方通过工程制图的方式，得到产品的三维CAD模型，再交给工厂加工生产。在工件实物进行加工时，一般现在主要依赖技术操作人员对CAD图纸模型的理解，进行加工生产，没有有效的工具来反映工件实物与CAD模型间的逐点对应关系，使工件实物上的加工位置和三维CAD模型上的加工位置不能达到准确高效的匹配对应。其中，申请号为“201610303972.7”，名称为“基于检测特征的点云模型与CAD模型的配准方法”的专利文件公开了一种配准方法，此专利是通过计算CAD模型上与工件实物上匹配点的重心，建立坐标系，通过矩阵数据运算得到旋转矩阵，从高斯曲率突变点选取点，通过ICP算法计算CAD模型上与选取点对应的匹配点，将点云坐标按照旋转矩阵旋转，将点云中的点构成候选点集，通过逐点遍历的方式进行匹配。但是此专利中需要对CAD模型进行分割，计算速度慢，主要针对点云模型，对拍摄要求较高。因此有必要提出改进。
发明内容
本发明解决的技术问题：提供一种工件实物与工件三维CAD模型的对应点匹配方法，本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在工件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，工件三维CAD模型点与转化矩阵相乘，得到工件实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度。
本发明采用的技术方案：工件实物与工件三维CAD模型的对应点匹配方法，将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上，具体包括以下步骤；
1)在工位上架设相机，建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图；
3)采用计算机系统打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件实物在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置。
上述步骤1)中，当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，对应的上述步骤2)中，形成的背景视图包含背景主视图、背景俯视图、背景左视图，形成的工件视图包含工件主视图、工件俯视图、工件左视图；上述步骤1)中，当所述相机采用激光点云相机时，只在工位上方安装相机，对应的上述步骤2)中，即形成一张激光点云背景视图，一张激光点云工件视图。
上述步骤5)和6)中，当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；上述步骤7)中，8个角点对应的夹角为C2 8-1＝21个。
本发明与现有技术相比的优点：
1、本方案中通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在工件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，工件三维CAD模型点与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度，使匹配速度控制在0.5秒之内，相比于现有技术，使匹配效率大大提高；
2、本方案中利用了图像恢复技术，对图像精度要求不高，适用于二维和三维模型与工件实物的对应点匹配，扩大了使用范围。
具体实施方式
下面结合描述本发明的较佳实施例，以详细说明本发明的技术方案，但并不因此将本发明限制在所述的实施例范围之中。
工件实物与工件三维CAD模型的对应点匹配方法，包含点与点，线与线，面与面的对应关系，将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上。其目的是：任意在工件三维CAD模型上标注待加工点、待加工线或待加工面，可以通过拍照的方式计算工件实物上的加工位置，转化为工件实物上的对应坐标。具体包括以下步骤；
1)在工位上架设相机，此处的相机可以根据要求选取，并且不同的相机在工位上的安装位置要求不同，具体如下：当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，当所述相机采用激光点云相机时，只在工位上方安装相机。接着建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图。当所述相机采用普通相机时，由于工位三方位安装相机，背景视图包含背景主视图、背景俯视图、背景左视图，工件视图包含工件主视图、工件俯视图、工件左视图；当所述相机采用激光点云相机时，只在工位上方安装相机，即形成一张激光点云背景视图，一张激光点云工件视图；
3)采用计算机系统打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；其中立方体的工件实物8个角点对应的夹角为C2 8-1＝21个，其余形状的工件实物的夹角个数都少于21；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置。
本发明通过计算各个视图中工件照片轮廓，采用三维扩充的方式得到空间坐标点，取各个坐标的极值点为关键点，在工件三维CAD模型中同样选取各个坐标轴上的极值点，利用余弦定理分别计算工件三维CAD模型中的关键点的两两夹角,作为结构化依据，并对工件实物上的关键点做相同处理，遍历集合，得到两者误差最小的匹配方式，从而计算出两者转化矩阵，三维CAD模型与转化矩阵相乘，得到实物中的关键点坐标，实现了工件三维CAD模型和工件实物上任意点映射关系的直观匹配，使加工位置的计算不受工件摆放位置、旋转角度的影响，提高了两者对应点匹配速度和匹配精度。
上述实施例，只是本发明的较佳实施例，并非用来限制本发明实施范围，故凡以本发明权利要求所述内容所做的等效变化，均应包括在本发明权利要求范围之内。

Claims (2)

1.工件实物与工件三维CAD模型的对应点匹配方法，其特征在于：将工件三维CAD模型上的任意点通过坐标映射关系直观匹配到工件实物上，反之，将工件实物上的任意点通过坐标映射关系直观的匹配到工件三维CAD模型上，具体包括以下步骤；
1)在工位上架设相机，建立工位正交坐标系，以工位上的一点为原点，计算相机的坐标；
2)通过相机拍摄工位的实际背景，形成背景视图；将工件实物放置在工位上，通过相机拍摄工件实物的实际照片，形成工件视图；
3)采用计算机系统打开步骤2)中拍摄的视图照片，使用工件视图与背景视图的深度矩阵差值，得到工件实物在对应背景视图上的轮廓；
4)使用矩阵拼接的方式，计算工件实物在工位坐标中的各个坐标位置；
5)对工件实物坐标位置在工位坐标的X,Y,Z三轴上分别取max与min，得到工件实物最外侧轮廓的角点坐标；
6)在工件实物上任选一个角点为基准点，按顺时针或者逆时针的顺序计算其他各个角点到该角点的距离，并对距离进行单位化；
7)通过余玄定理计算工件实物上基准点与其余任意两个角点的夹角；
8)在工件三维CAD模型上以一角点为基准，按照与步骤6)中相同的顺序，计算三维CAD模型基准点与其余两点间的夹角，依次跟换基准点；
9)计算工件实物和工件三维CAD模型相对应夹角误差均值MAE，选取夹角误差均值MAE中最小的基准点作为工件实物中的基准点；
10)以步骤9)中得到的工件实物中的基准点，计算出工件三维CAD模型与工件实物的转化矩阵，通过工件三维CAD模型上的点与转化矩阵相乘，得到工件实物上的真实位置；
上述步骤1)中，当所述相机采用普通相机时，分别在工位上方、工位正前侧和工位左侧方安装相机，对应的上述步骤2)中，形成的背景视图包含背景主视图、背景俯视图、背景左视图，形成的工件视图包含工件主视图、工件俯视图、工件左视图；上述步骤1)中，当所述相机采用激光点云相机时，只在工位上方安装相机，对应的上述步骤2)中，即形成一张激光点云背景视图，一张激光点云工件视图。
2.根据权利要求1所述的工件实物与工件三维CAD模型的对应点匹配方法，其特征在于：上述步骤5)和6)中，当工件实物为立方体时共8个角点，其余形状工件实物的角点个数都少于8；上述步骤7)中，8个角点对应的夹角为C2 8-1＝21个。
CN201910600519.6A 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法 Active CN110363801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910600519.6A CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600519.6A CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Publications (2)

Publication Number Publication Date
CN110363801A CN110363801A (zh) 2019-10-22
CN110363801B true CN110363801B (zh) 2023-04-18

Family

ID=68218153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600519.6A Active CN110363801B (zh) 2019-07-04 2019-07-04 工件实物与工件三维cad模型的对应点匹配方法

Country Status (1)

Country Link
CN (1) CN110363801B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4327169A1 (en) * 2021-04-22 2024-02-28 Abb Schweiz Ag Method and apparatus of determining point for processing workpiece
CN117136118A (zh) * 2021-04-22 2023-11-28 Abb瑞士股份有限公司 确定用于加工工件的点的方法和设备
CN113240674B (zh) * 2021-07-09 2021-09-24 深圳市艾视铂智能技术有限公司 基于三维点云和二维图像融合的共面度检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579890B2 (en) * 2017-02-28 2020-03-03 Quality Vision International Inc. Automatic alignment of a 3D model to a test object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296693A (zh) * 2016-08-12 2017-01-04 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN109345620A (zh) * 2018-08-13 2019-02-15 浙江大学 融合快速点特征直方图的改进icp待测物体点云拼接方法

Also Published As

Publication number Publication date
CN110363801A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN111775152B (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN110363801B (zh) 工件实物与工件三维cad模型的对应点匹配方法
CN111415391B (zh) 一种采用互拍法的多目相机外部方位参数标定方法
CN109767416B (zh) 机械设备的定位系统及方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN109766903B (zh) 一种基于曲面特征的点云模型曲面匹配方法
CN110553600A (zh) 一种用于工件检测的结构光传感器仿真激光线的生成方法
CN112017302A (zh) 基于cad模型的投影标记和机器视觉的实时注册方法
Langming et al. A flexible method for multi-view point clouds alignment of small-size object
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
Makovetskii et al. An algorithm for rough alignment of point clouds in three-dimensional space
Su et al. A simple rectification method of stereo image pairs with calibrated cameras
Zhang et al. A Feature Extraction Approach Over Workpiece Point Clouds for Robotic Welding
Su et al. Stereo rectification of calibrated image pairs based on geometric transformation
CN116476070B (zh) 大型筒件局部特征机器人扫描测量路径调整方法
CN116817920A (zh) 无需三维地图模型的平面移动机器人视觉定位方法及装置
CN110060330B (zh) 一种基于点云图像的三维建模方法、装置和机器人
Malis An unified approach to model-based and model-free visual servoing
Fan et al. Robot gluing localization method based on monocular vision
CN115205356B (zh) 一种基于双目立体视觉的实训平台快速调试方法
Deng et al. Calibration of a robot vision system coupled with structured light: method and experiments
CN117681197B (zh) 一种基于钢结构3d模型的6轴机器人取料视觉分料算法
CN114565714B (zh) 一种单目视觉传感器混合式高精度三维结构恢复方法
Zhang et al. Auto-calibration and motion recovery from silhouettes for turntable sequences
Hao et al. Detecting System of Contact Network Wrist Arm Bolts with 3D Template Matching and Visual Servoing Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant