CN107538508A - 基于视觉定位的机器人自动装配方法与系统 - Google Patents

Abstract

本发明公开了一种基于视觉定位的机器人自动装配系统，包括工控机、路径规划控制器、移动平台、机器人及其控制器等，工控机与机器人控制器、视觉系统、移动平台等分别连接，控制移动平台将机器人转运至装配现场，接收并处理视觉系统的采集数据，从而获得航天器坐标系与机器人基座坐标系的转换关系，然后控制末端执行器抓取待装部件，按照路径规划控制器给出的装配路径向机器人控制器发出运动指令，以控制机器人带动末端执行器运动，进而完成航天产品的自动装配。本发明利用机器人操作灵活、工作空间大的优点，搭载视觉系统进行安装位置几何特征识别，检测范围大，定位精度高，操作简便，响应速度快，能够在航天器不同总装工位快速应用。

Description

基于视觉定位的机器人自动装配方法与系统

技术领域

本发明属于机器人控制技术领域，具体涉及一种基于视觉定位进行机器人自动装配的方法与系统。

背景技术

总体装配是航天产品功能和性能实现的最终阶段和关键环节，是影响航天器研制质量和服役性能的重要因素，航天产品总装技术与装备水平直接影响到航天产品研制的质量、效率，甚至产品的成败。当前，航天产品装配主要依赖人工操作，并辅以吊具、支架车等简单工艺装备进行定位和支撑，存在着部件位姿调整不可量化、定位精度低等问题，装配质量严重依赖作业人员的装配经验。随着国家高分辨率对地观测系统、二代导航二期全球定位系统、空间民用基础设施等国家重大专项的实施，新一代航天器单机设备功能趋于集成化，尺寸和重量越来越大，而且航天器本体构型多样化使得总装工况更加复杂，已经无法通过人工托举或起吊方式进行装配，亟需引入新型工艺装备与装配技术。

工业机器人具有载重量大、装配精度高、装配一致性好、响应速度快等特点，已经广泛应用于汽车装配、航空制造、电子产品生产等各个领域。机器人装配系统在批量化流水线作业中有着较为成熟的发展，小到微米级的电子元器件制造，大到民航客机部件的生产，无不体现着机器人替代人工带来的装配效率和精度的提升。然而，针对航天产品研制等离散性制造行业，存在着装配工位不固定、工况复杂多变、位姿调整精度要求高等特点，通过预先编程或示教确定机器人装配路径的方法无法满足航天产品装配的需求。机器视觉的引入实现了对非结构化装配现场的环境感知与几何特征定位，使得机器人自主装配成为了可能。

针对航天器大重量设备狭小空间下装配的难题，本发明提出一种基于视觉定位的机器人自动装配路径规划方法，通过安装在机器人末端的视觉系统对装配现场进行环境感知，构建基于卫星、待装部件、机器人等装配要素三维模型的虚拟装配环境，识别装配过程中的几何约束条件，利用成熟的路径规划算法计算出一条无干涉的装配路径，通过离线编程技术生成机器人可执行的程序语言，驱动机器人完成设备的自动安装。

发明内容

本发明的目的在于提供一种基于视觉定位的机器人自动装配方法与系统，解决大重量航天产品复杂工况下装配过程中定位信息不完备、位姿调整不可量化、装配精度低等问题，实现设备安全可控的自主安装。

根据本发明的一方面，提出一种基于视觉定位的机器人自动装配系统，该系统包括：工控机、路径规划控制器、机器人、机器人控制器、移动平台、视觉系统、末端执行器，其中：所述工控机与所述机器人控制器、视觉系统、移动平台、末端执行器分别进行电气连接，控制移动平台将所述机器人转运至装配现场并提供稳固支撑，接收并处理视觉系统采集到的数据，获得航天器坐标系与机器人基座坐标系的转换关系，并控制末端执行器抓取待装部件，按照所述路径规划控制系统生成的装配路径向机器人控制器发出运动指令，以控制机器人带动末端执行器运动。

其中，所述末端执行器用于根据所述工控机的控制实现对待装配部件的抓取和装配；

其中，所述路径规划控制系统可集成在工控机上，用于读入航天器、待装部件、机器人装配要素的三维模型，根据测量得到的相对位姿关系构建装配仿真环境，通过路径规划方法生成一条无干涉的装配路径，发送给工控机；

其中，所述路径规划方法包括基于采样的随机路图法或人工势场法。

其中，所述移动平台与机器人、机器人控制器机械连接，用于根据工控机的控制指令实现机器人及其控制器在不同装配工位间的转运，并在装配过程中提供稳定支撑；

其中，所述视觉系统用于识别航天器装配位置的几何特征，确定其三维空间坐标信息；

根据本发明的另一方面，还提供一种基于视觉定位的机器人自动装配方法，该方法包括以下步骤：

步骤1，工控机控制移动平台将机器人及其控制器转运至航天器产品装配现场，并在距离航天器合适的位置进行稳定支撑，确保设备的安装位置处于机器人工作空间内；

步骤2，在工控机的控制下，所述机器人将安装在其末端的视觉系统运动至设备安装位置附近，通过视觉系统采集航天器本体安装位置处的图像信息，计算得到安装位置处几何特征的三维空间坐标；

步骤3，在工控机的控制下，所述机器人与末端执行器完成对待装配部件的抓取，待装部件相对于机器人末端位姿固定且已知；

步骤4，所述路径规划控制器读取航天器本体、机器人及其控制器、移动平台、待装配部件等装配要素的三维模型，结合步骤2中获得的安装位置处几何特征三维空间坐标信息，通过最小二乘法计算得到航天器坐标系相对于机器人基座坐标系的转换关系，进而构建三维装配仿真环境，识别装配过程中的几何约束，根据机器人当前位姿和设备安装位置信息设置机器人的起始位姿和目标位姿，通过路径规划方法计算出一条无干涉的装配路径；

步骤5，对步骤4生成的装配路径进行平滑处理，利用工控机转化成机器指令，通过机器人控制器驱动机器人和待装配部件至目标位置，结束装配。

上述技术方案中，所述机器人是具有6个自由度的串联式机器人，也可以直接采用成熟的工业机器人。

上述技术方案中，所述视觉系统是一种能够识别待装位置特征点(即安装的定位销钉孔或螺纹孔)的位置信息采集系统，可以是双目视觉系统，也可以是激光扫描系统。

上述技术方案中，所述路径规划控制器包括3个功能模块，即模型轻量化模块、碰撞检测模块、路径规划模块。其中，模型轻量化模块用于对复杂装配要素的三维模型进行轻量化处理，采用三角面单元拟合三维实体模型的外表面包络；碰撞检测模块用于根据机器人当前位姿状态检测机器人、末端执行器、待装部件等可运动装配要素与航天器本体之间的最小距离，小于安全阈值即认为发生碰撞，检测算法可以采用成熟的AABB、OOBB算法等；路径规划模块用于根据设定的机器人起始位姿和目标位姿在虚实融合的装配仿真环境中寻找一条无干涉的装配路径，可以采用成熟的基于采样的随机路图法或人工势场法，得到的装配路径是机器人关节空间的角度序列。

上述技术方案中，步骤4中所述三维仿真环境包含了机器人及其控制器、移动平台、末端执行器、待装配部件以及航天器本体等装配要素，其中，机器人及其控制器、移动平台、视觉系统、末端执行器、待装配部件是可运动装配要素，它们之间的位姿关系是通过装配关系和机器人关节信息获得的，航天器本体是固定装配要素，与上述可运动装配要素之间的位姿关系是通过视觉系统测量得到的，因此仿真环境中各装配要素之间的位姿与实际装配现场的是一致的。

实践证明，本发明提出的机器人自动装配方法可以达到以下效果：

(1)充分利用机器人操作灵活、工作空间大的优点，搭载视觉系统进行安装位置几何特征识别，检测范围大，定位精度高，操作简便，响应速度快，能够在航天器不同总装工位快速应用；

(2)虚实融合的装配仿真环境可以用于航天产品装配路径规划，生成的路径序列真实可行，能够有效避免装配过程中碰撞的发生；

(3)本发明能够实现装配过程中对装配位置的自动检测和定位，能够构建虚实融合的装配仿真环境并进行路径规划，能够驱动机器人自动进行装配，有效地解决了航天器大重量设备狭小空间下的装配难题，能够提高装配效率，保证产品安全。

附图说明

图1为本发明基于视觉定位的机器人自动装配系统的结构模块示意图；

图2为根据本发明一实施例的基于视觉定位的机器人自动装配系统的结构示意图。

附图标记说明：

1-机器人；2-视觉系统；3-末端执行器；4-移动平台；5-机器人控制器；6-待装配部件；7-工控机；8-航天器本体；9-路径规划控制器；

10-虚实融合的装配仿真环境；11-部件安装位置；12-装配路径。

具体实施方式

以下介绍的是作为本发明所述内容的具体实施方式，下面通过具体实施方式对本发明的所述内容作进一步的阐明。当然，描述下列具体实施方式只为示例本发明的不同方面的内容，而不应理解为限制本发明范围。

下面结合附图对本发明的具体实施方式作进一步说明：

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明基于视觉定位的机器人自动装配系统的组成模块示意图，如图1所示，根据本发明的一方面，提出一种基于视觉定位的机器人自动装配系统，所述系统包括工控机、路径规划控制器、机器人、机器人控制器、移动平台、视觉系统、末端执行器、待装配部件，其中：

所述工控机与所述机器人控制器、视觉系统、移动平台、末端执行器电气连接，用于控制移动平台将所述机器人转运至装配现场并提供稳固支撑，接收并处理视觉系统采集到的数据，获得航天器坐标系与机器人基座坐标系的转换关系，控制末端执行器抓取待装部件，按照所述路径规划控制器生成的装配路径向机器人控制器发出运动指令，以控制工业机器人带动末端执行器运动。

所述末端执行器用于根据所述工控机的控制实现对待装配部件的抓取和装配；

所述移动平台与机器人、机器人控制器连接，用于根据工控机的控制指令实现机器人及其控制器在不同装配工位间的转运，并在装配过程中提供稳定支撑；

所述视觉系统用于识别航天器装配位置的几何特征，确定其三维空间坐标信息；

所述路径规划控制器包括3个功能模块，即模型轻量化模块、碰撞检测模块、路径规划模块。其中，模型轻量化模块用于对复杂装配要素的三维模型进行轻量化处理，采用三角面单元拟合三维实体模型的外表面包络；碰撞检测模块用于根据机器人当前位姿状态检测机器人、末端执行器、待装部件等可运动装配要素与航天器本体之间的最小距离，小于安全阈值即认为发生碰撞，检测算法可以采用成熟的AABB、OOBB算法等；路径规划模块用于根据设定的机器人起始位姿和目标位姿在虚实融合的装配仿真环境中寻找一条无干涉的装配路径，可以采用成熟的基于采样的随机路图法或人工势场法，得到的装配路径是机器人关节空间的角度序列。

图2为本发明基于视觉定位的机器人自动装配方法的结构示意图，如图2所示，所述虚实融合的三维仿真环境包含了机器人及其控制器、移动平台、末端执行器、待装配部件以及航天器本体等装配要素，其中，机器人及其控制器、移动平台、视觉系统、末端执行器、待装配部件是可运动装配要素，它们之间的位姿关系是通过装配关系和机器人关节信息获得的，航天器本体是固定装配要素，与上述可运动装配要素之间的位姿关系是通过视觉系统测量得到的，因此仿真环境中各装配要素之间的位姿与实际装配现场的是一致的。

根据本发明的另一方面，还提供一种基于视觉定位的机器人自动装配方法，该方法包括以下步骤：

步骤1，工控机控制移动平台将机器人及其控制器转运至航天器产品装配现场，并在距离航天器合适的位置进行稳定支撑，确保设备的安装位置处于机器人工作空间内；

步骤2，在工控机的控制下，所述机器人将安装在其末端的视觉系统运动至设备安装位置附近，通过视觉系统采集航天器本体安装位置处的图像信息，计算得到安装位置处几何特征的三维空间坐标；

步骤3，在工控机的控制下，所述机器人与末端执行器完成对待装配部件的抓取，待装部件相对于机器人末端位姿固定且已知；

步骤4，所述路径规划控制器读取航天器本体、机器人及其控制器、移动平台、待装配部件等装配要素的三维模型，结合步骤2中获得的安装位置处几何特征三维空间坐标信息，通过最小二乘法计算得到航天器坐标系相对于机器人基座坐标系的转换关系，进而构建虚实融合的三维装配仿真环境，识别装配过程中的几何约束，根据机器人当前位姿和设备安装位置信息设置机器人的起始位姿和目标位姿，通过成熟的路径规划算法(基于采样的随机路图法、人工势场法等)计算出一条无干涉的装配路径；

步骤5，对步骤4生成的装配路径进行平滑处理，利用工控机转化成机器指令，通过机器人控制器驱动机器人和待装配部件至目标位置，结束装配。

尽管上文对本发明的具体实施方式给予了详细描述和说明，但是应该指明的是，本领域的技术人员可以依据本发明的精神对上述实施方式进行各种等效改变和修改，其所产生的功能作用在未超出说明书及附图所涵盖的精神时，均应在本发明保护范围之内。

Claims (10)

1.基于视觉定位的机器人自动装配系统，该系统包括：工控机、路径规划控制器、机器人、机器人控制器、移动平台、视觉系统、末端执行器，其中，所述工控机与所述机器人控制器、视觉系统、移动平台、末端执行器分别进行电气连接，控制移动平台将所述机器人转运至装配现场并提供稳固支撑，接收并处理视觉系统采集到的数据，获得航天器坐标系与机器人基座坐标系的转换关系，并控制末端执行器抓取待装部件，按照所述路径规划控制系统生成的装配路径向机器人控制器发出运动指令，以控制机器人带动末端执行器运动。

2.如权利要求1所述的机器人自动装配系统，其中，所述末端执行器用于根据所述工控机的控制实现对待装配部件的抓取和装配。

3.如权利要求1所述的机器人自动装配系统，其中，所述路径规划控制系器可集成在工控机上，用于读入航天器、待装部件、机器人装配要素的三维模型，根据测量得到的相对位姿关系构建装配仿真环境，通过路径规划方法生成一条无干涉的装配路径，发送给工控机。

4.如权利要求1所述的机器人自动装配系统，其中，所述路径规划方法包括基于采样的随机路图法或人工势场法。

5.如权利要求1所述的机器人自动装配系统，其中，所述移动平台与机器人、机器人控制器机械连接，用于根据工控机的控制指令实现机器人及其控制器在不同装配工位间的转运，并在装配过程中提供稳定支撑。

6.如权利要求1-5任一项所述的机器人自动装配系统，其中，所述视觉系统用于识别航天器装配位置的几何特征，确定其三维空间坐标信息。

7.一种基于视觉定位的机器人自动装配方法，该方法包括以下步骤：

步骤1，工控机控制移动平台将机器人及其控制器转运至航天器产品装配现场，并在距离航天器合适的位置进行稳定支撑，确保设备的安装位置处于机器人工作空间内；

步骤2，在工控机的控制下，所述机器人将安装在其末端的视觉系统运动至设备安装位置附近，通过视觉系统采集航天器本体安装位置处的图像信息，计算得到安装位置处几何特征的三维空间坐标；

步骤3，在工控机的控制下，所述机器人与末端执行器完成对待装配部件的抓取，待装部件相对于机器人末端位姿固定且已知；

步骤4，所述路径规划控制器读取航天器本体、机器人及其控制器、移动平台、待装配部件等装配要素的三维模型，结合步骤2中获得的安装位置处几何特征三维空间坐标信息，通过最小二乘法计算得到航天器坐标系相对于机器人基座坐标系的转换关系，进而构建三维装配仿真环境，识别装配过程中的几何约束，根据机器人当前位姿和设备安装位置信息设置机器人的起始位姿和目标位姿，通过路径规划方法计算出一条无干涉的装配路径；

步骤5，对步骤4生成的装配路径进行平滑处理，利用工控机转化成机器指令，通过机器人控制器驱动机器人和待装配部件至目标位置，结束装配。

8.如权利要求7所述的方法，其中，所述机器人是具有6个自由度的串联式机器人。

9.如权利要求7所述的方法，其中，所述视觉系统双目视觉系统，或激光扫描系统。

10.如权利要求7所述的方法，其中，所述路径规划控制器包括3个功能模块，即模型轻量化模块、碰撞检测模块、路径规划模块，其中，模型轻量化模块用于对复杂装配要素的三维模型进行轻量化处理，采用三角面单元拟合三维实体模型的外表面包络；碰撞检测模块用于根据机器人当前位姿状态检测机器人、末端执行器、待装部件的装配要素与航天器本体之间的最小距离；路径规划模块用于根据设定的机器人起始位姿和目标位姿在虚实融合的装配仿真环境中寻找一条无干涉的装配路径，采用成熟的基于采样的随机路图法或人工势场法，得到的装配路径是机器人关节空间的角度序列。