CN113724321B - 一种自适应激光投影辅助装配方法 - Google Patents

一种自适应激光投影辅助装配方法 Download PDF

Info

Publication number
CN113724321B
CN113724321B CN202110769801.4A CN202110769801A CN113724321B CN 113724321 B CN113724321 B CN 113724321B CN 202110769801 A CN202110769801 A CN 202110769801A CN 113724321 B CN113724321 B CN 113724321B
Authority
CN
China
Prior art keywords
projection
coordinate system
image
target
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110769801.4A
Other languages
English (en)
Other versions
CN113724321A (zh
Inventor
孙天
楼佩煌
宋允辉
张沪松
张悦
钱晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Original Assignee
Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics filed Critical Suzhou Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority to CN202110769801.4A priority Critical patent/CN113724321B/zh
Publication of CN113724321A publication Critical patent/CN113724321A/zh
Application granted granted Critical
Publication of CN113724321B publication Critical patent/CN113724321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自适应激光投影辅助装配方法，包括以下步骤：S1：获取特征矢量数模：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模，矢量数模由离散的点矢组成，可对线条或圆弧连续特征进行离散的描述；本发明专注于激光投影辅助装配技术，解决了传统装配过程的准确度，降低了工人的误操作可能性，提高了整个装配工序的效率，基于视觉对目标件的位姿进行识别，从而确定了相机坐标系、投影机光源坐标系和目标件坐标系之间的映射关系，并基于反畸变变换算法对投影图像进行了反畸变矫正，实现了投影的自适应性。

Description

一种自适应激光投影辅助装配方法
技术领域
本发明涉及一种装配技术，特别涉及一种自适应激光投影辅助装配方法，属于智能装配技术领域。
背景技术
机械装配是机械制造的重要组成部分，即将相关零件或部件按照一定的技术要求进行依次定位和安装。在机械装配领域，特别是精密设备的装配中，准确性至关重要，这将影响到设备功能的正常运转和生产的互换性。在实际的生产中，装配工人一般使用装配图纸进行装配，需要对图纸进行解读，单个工位的装配往往需要多张图纸的配合，过程较为繁琐，装配人员在装配过程中极可能出现错装和漏装的现象。
国内外已经有一些发明可在目标装配体表面进行投影来辅助装配，但基本都是固定目标件和投影机的相对位置进行投影，当系统配置完成后，无论是投影机还是目标件都不可进行位姿变动。一旦目标件位置发生变动时，投影图像仍在初始位置，无法进行自适应的跟踪，也无法对投影图像进行反畸变矫正，故其适用的广泛性受到了极大限制。
发明内容
本发明的目的在于提供一种自适应激光投影辅助装配方法，以解决上述背景技术中提出的辅助装配中投影的自适应跟踪和反畸变矫正的问题。
为实现上述目的，本发明提供如下技术方案：一种自适应激光投影辅助装配方法，包括以下步骤：
S1：获取特征矢量数模：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模，矢量数模由离散的点矢组成，可对线条或圆弧连续特征进行离散的描述；
S2：生成投影源图：建立与投影方向垂直的法向投影平面，然后对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像，当目标件处于理想位姿时，使用投影机对该图像进行投影，即可实现投影特征与实际特征的位置精准匹配；
S3：获取完整投影源图像：对基本的投影源图进行编辑，添加特征尺寸、装配要求、文字标识和投影标识，从而得到了完整的投影源图像；
S4：坐标系协同标定：首先对相机进行内外参数的标定，然后将投影机与相机通过专用支架进行连接，保证相机光轴与投影机光轴平行，并且光轴距离为可达的最近距离，并对相机坐标系和投影机坐标系进行标定；在目标件表面放置视觉定位标签，使用视觉对其进行识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系；
S5：使用步骤S4中的坐标系映射关系，对步骤S3中的完整投影源图像进行反畸变变换，获得最终的矫正后的投影图像，保证在工件的位姿变化时，无须重新标定即可直接进行投影；
S6：中央控制系统将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
作为本发明的一种优选技术方案，所述线条的装配特征、圆弧的装配特征和点的装配特征的重复投影精度为±1mm。
作为本发明的一种优选技术方案，一种自适应激光投影辅助装配方法的系统，包括以下组成：
特征矢量数模获取单元：用于对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模；
生成投影源图单元：用于建立法向投影平面，对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；
完整投影源图像获取单元：用于编辑基本的投影源图，添加特征尺寸、装配要求、文字标识和投影标识；
坐标系协同标定单元：用于标定相机内外参数，获取目标件与相机坐标系之间的变换关系；
中央控制系统单元：同于将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
作为本发明的一种优选技术方案，一种自适应激光投影辅助装配方法的硬件，包括以下组成：
相机：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模；
投影机：用于建立法向投影平面，对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；
专用支架：保证相机光轴与投影机光轴平行，并且光轴距离为可达的最近距离，并对相机坐标系和投影机坐标系进行标定；
工控机：控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影；
视觉定位标签：用于视觉识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系。
与现有技术相比，本发明的有益效果是：
本发明专注于激光投影辅助装配技术，解决了传统装配过程的准确度，降低了工人的误操作可能性，提高了整个装配工序的效率。
本发明基于视觉对目标件的位姿进行识别，从而确定了相机坐标系、投影机光源坐标系和目标件坐标系之间的映射关系，并基于反畸变变换算法对投影图像进行了反畸变矫正，实现了投影的自适应性。
本发明对线条、圆弧等装配特征的重复投影精度可达±1mm，并且可对于装配过程中的多个工序进行独立的投影控制。
附图说明
图1是本发明的系统原理说明图；
图2是本发明应用于实施例的硬件结构说明图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供了一种自适应激光投影辅助装配方法的技术方案：
根据图1-2所示，包括以下步骤：
S1：获取特征矢量数模：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模，矢量数模由离散的点矢组成，可对线条或圆弧连续特征进行离散的描述；
S2：生成投影源图：建立与投影方向垂直的法向投影平面，然后对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像，当目标件处于理想位姿时，使用投影机对该图像进行投影，即可实现投影特征与实际特征的位置精准匹配；
S3：获取完整投影源图像：对基本的投影源图进行编辑，添加特征尺寸、装配要求、文字标识和投影标识，从而得到了完整的投影源图像；
S4：坐标系协同标定：首先对相机进行内外参数的标定，然后将投影机与相机通过专用支架进行连接，保证相机光轴与投影机光轴平行，并且光轴距离为可达的最近距离，并对相机坐标系和投影机坐标系进行标定；在目标件表面放置视觉定位标签，使用视觉对其进行识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系；
S5：使用步骤S4中的坐标系映射关系，对步骤S3中的完整投影源图像进行反畸变变换，获得最终的矫正后的投影图像，保证在工件的位姿变化时，无须重新标定即可直接进行投影；
S6：中央控制系统将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
线条的装配特征、圆弧的装配特征和点的装配特征的重复投影精度为±1mm。
一种自适应激光投影辅助装配方法的系统，包括以下组成：
特征矢量数模获取单元：用于对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征(线条、圆弧、点)，对其进行特征提取从而获得目标特征的矢量数模；
生成投影源图单元：用于建立法向投影平面，对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；
完整投影源图像获取单元：用于编辑基本的投影源图，添加特征尺寸、装配要求、文字标识和投影标识；
坐标系协同标定单元：用于标定相机内外参数，获取目标件与相机坐标系之间的变换关系；
中央控制系统单元：同于将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
实施例，应用于某种圆弧面零件的孔位装配过程，步骤如下：
第一步：对目标件进行建模，建立如附图2所示右侧的圆弧面零件体，并对需要投影的特征(第一行右侧四个直径为10mm的孔位)进行特征提取，获得目标特征的矢量数模，矢量数模由离散的点矢组成，可对目标特征进行离散的描述，在该步骤中，每个直径为10mm的孔位共包含96个点矢；
第二步：生成投影源图：建立与投影方向垂直的法向投影平面，然后对第一步中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；
第三步：获取完整投影源图像：对基本的投影源图进行编辑，添加特征尺寸、装配要求、文字标识和投影标注等，从而得到了完整的投影源图像，本实施方案对标注进行了简化，只添加了孔位的尺寸特征，如附图2所示；
第四步：坐标系协同标定：首先对相机进行内外参数的标定，然后将投影机与相机通过专用支架进行连接，保证相机光轴与投影机光轴平行，相机与投影机光轴距离为120mm，在该安装位置下对相机坐标系和投影机坐标系进行标定；如附图2所示，在目标件表面放置视觉定位标签，视觉标签的形式为三个蓝色的色块，色块中心距离为300mm，夹角为90°，使用视觉算法对其进行识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系；
第五步：使用第四步中的坐标系映射关系，对第三步中的完整投影源图像进行反畸变变换，获得最终的矫正后的投影图像，保证在工件的位姿变化时，无须重新标定即可直接进行投影；
第六步：中央控制系统将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影，图2为其中一次装配工序中对四个孔位进行了辅助投影，代表此次装配目标特征为四个10mm的孔位。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种自适应激光投影辅助装配方法，其特征在于，包括以下步骤：S1：获取特征矢量数模：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征线条、圆弧、点，对其进行特征提取从而获得目标特征的矢量数模，矢量数模由离散的点矢组成，可对线条或圆弧连续特征进行离散的描述；S2：生成投影源图：建立与投影方向垂直的法向投影平面，然后对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像，当目标件处于理想位姿时，使用投影机对该图像进行投影，即可实现投影特征与实际特征的位置精准匹配；S3：获取完整投影源图像：对基本的投影源图进行编辑，添加特征尺寸、装配要求、文字标识和投影标识，从而得到了完整的投影源图像；S4：坐标系协同标定：首先对相机进行内外参数的标定，然后将投影机与相机通过专用支架进行连接，保证相机光轴与投影机光轴平行，并且光轴距离为可达的最近距离，并对相机坐标系和投影机坐标系进行标定；在目标件表面放置视觉定位标签，使用视觉对其进行识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系；S5：使用步骤S4中的坐标系映射关系，对步骤S3中的完整投影源图像进行反畸变变换，获得最终的矫正后的投影图像，保证在工件的位姿变化时，无须重新标定即可直接进行投影；S6：中央控制系统将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
2.根据权利要求1所述的自适应激光投影辅助装配方法，其特征在于：所述线条的装配特征、圆弧的装配特征和点的装配特征的重复投影精度为±1mm。
3.一种利用权利要求1所述的自适应激光投影辅助装配方法实现装配的系统，其特征在于，包括以下组成：特征矢量数模获取单元：用于对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征线条、圆弧、点，对其进行特征提取从而获得目标特征的矢量数模；生成投影源图单元：用于建立法向投影平面，对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；完整投影源图像获取单元：用于编辑基本的投影源图，添加特征尺寸、装配要求、文字标识和投影标识；坐标系协同标定单元：用于标定相机内外参数，获取目标件与相机坐标系之间的变换关系；中央控制系统单元：同于将最终的投影图像送入终端工控机，工控机控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影。
4.一种利用权利要求1所述的自适应激光投影辅助装配方法实现装配的装置，其特征在于，包括以下组成：相机：对目标件进行三维建模，获得其CATIA三维图形文件，选取需要投影的特征线条、圆弧、点，对其进行特征提取从而获得目标特征的矢量数模；投影机：用于建立法向投影平面，对步骤S1中得到的矢量数模进行降维，获取其在投影平面上的投影，使用一个空图像作为基底，在基底上对投影点进行自动生成，最终获取投影源图像；专用支架：保证相机光轴与投影机光轴平行，并且光轴距离为可达的最近距离，并对相机坐标系和投影机坐标系进行标定；工控机：控制相关投影机将图像进行投影，并可在不同的装配工序中对不同的特征进行投影；视觉定位标签：用于视觉识别，从而确定目标件的当前位姿，获取目标件与相机坐标系之间的变换关系。
CN202110769801.4A 2021-07-08 2021-07-08 一种自适应激光投影辅助装配方法 Active CN113724321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769801.4A CN113724321B (zh) 2021-07-08 2021-07-08 一种自适应激光投影辅助装配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769801.4A CN113724321B (zh) 2021-07-08 2021-07-08 一种自适应激光投影辅助装配方法

Publications (2)

Publication Number Publication Date
CN113724321A CN113724321A (zh) 2021-11-30
CN113724321B true CN113724321B (zh) 2023-03-24

Family

ID=78673098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769801.4A Active CN113724321B (zh) 2021-07-08 2021-07-08 一种自适应激光投影辅助装配方法

Country Status (1)

Country Link
CN (1) CN113724321B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114197884B (zh) * 2021-12-27 2022-07-08 广东景龙建设集团有限公司 一种订制装饰墙板的装配引导方法及系统
CN116934869B (zh) * 2023-07-19 2024-05-10 长春理工大学 激光3d投影振镜偏转电压预测方法、系统及电子设备
CN117842370A (zh) * 2024-03-08 2024-04-09 成都飞机工业（集团）有限责任公司 基于激光投影辅助的机械装配方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE502006007701D1 (de) * 2006-11-23 2010-09-30 Konrad Maierhofer Verfahren zur optischen Markierung der vertikalen Projektion ausgewählter Punkte einer virtuellen dreidimensionalen Struktur
CN108242064B (zh) * 2016-12-27 2020-06-02 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN110830781B (zh) * 2019-10-30 2021-03-23 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN112461207A (zh) * 2020-08-31 2021-03-09 南京航空航天大学 一种用于引导飞机装配的投影装置及方法
CN112734860B (zh) * 2021-01-15 2021-09-21 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN112991467B (zh) * 2021-05-08 2021-07-20 光量信息科技(宁波)有限公司 基于相机的激光投影标识自动引导定位与实时校正方法

Also Published As

Publication number Publication date
CN113724321A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113724321B (zh) 一种自适应激光投影辅助装配方法
CN106705956B (zh) 工业机器人末端位姿快速测量装置及其测量方法
KR102280663B1 (ko) 비전 가이드 로봇 암 교정 방법
CN110246193B (zh) 工业机器人末端相机在线标定方法
CN112847353B (zh) 一种基于离线编程软件的多段焊缝轨迹修正方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN108256170B (zh) 一种基于pcb板贴插工艺的建模优化方法及系统
JP2006110705A (ja) ロボットのキャリブレーション方法
CN111426270B (zh) 一种工业机器人位姿测量靶标装置和关节位置敏感误差标定方法
CN109483539A (zh) 视觉定位方法
CN110370316B (zh) 一种基于垂直反射的机器人tcp标定方法
CN110625600A (zh) 一种机器人末端工件坐标系标定方法
CN112894209A (zh) 一种基于十字激光的管板智能焊接机器人自动平面校正方法
CN110270997A (zh) 一种智能焊接方法及工作站
CN111215797B (zh) 基于拍照视觉引导的自动定位焊接方法及系统
CN112238453B (zh) 视觉导引机器手臂校正方法
CN108527003A (zh) 一种偏差计量方法以及偏差调整方法
CN114347013A (zh) 印刷电路板与fpc柔性电缆线的装配方法及相关设备
CN110962127B (zh) 一种用于机械臂末端位姿辅助标定装置及其标定方法
CN206683651U (zh) 工业机器人末端位姿快速测量装置
CN113182667A (zh) 车体顶盖的安装定位控制方法、装置、控制器和存储介质
JP6912529B2 (ja) 視覚誘導ロボットアームの補正方法
CN112762822A (zh) 一种基于激光跟踪仪的机械臂校准方法及系统
CN116423526A (zh) 一种机械臂工具坐标的自动标定方法及系统、存储介质
CN108195354A (zh) 一种基于机器人的车辆定位方法和车辆定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant