CN110516618A

CN110516618A - 装配机器人及基于视觉和力位混合控制的装配方法和系统

Info

Publication number: CN110516618A
Application number: CN201910809625.5A
Authority: CN
Inventors: 陈国栋; 张仁政; 王森; 王正; 丁梓豪; 王鹏; 樊钰琳
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2019-11-29
Anticipated expiration: 2039-08-29
Also published as: CN110516618B

Abstract

本发明公开了一种基于视觉和力位混合控制的装配方法，包括：在装配工位上对第一插槽板进行机械定位；利用相机采集第一插槽板的图像并提取图像的显著性区域特征；基于显著性区域特征建立对应的模型，以通过模型定位出目标图像中的槽口位置，目标图像为装配流程中利用相机拍摄出的任意一张插槽板图像，目标图像中的插槽板与第一插槽板的类型相同；将定位出的槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的槽口位置中，且装配机器人在执行装配进程时进行力位混合控制。应用本申请的方案，有利于提高装配成功率，减少器件损坏情况的发生次数。本申请还提供了一种装配机器人及其基于视觉和力位混合控制的装配系统，具有相应效果。

Description

装配机器人及基于视觉和力位混合控制的装配方法和系统

技术领域

本发明涉及机器人控制技术领域，特别是涉及一种装配机器人及基于视觉和力位混合控制的装配方法和系统。

背景技术

随着工业化以及机器人技术的不断发展，越来越多的行业中应用到了机器人。特别是随着3C行业的多样化发展，产品装配的复杂性和高强度使得装配机器人得到了更加广泛的应用。

传统的3C行业中的电子元器件进行装配时，通常是通过机械装置将待装配的插槽板固定在指定的位置，如果机械定位出现了误差，则可能会导致器件装配时的损坏。并且，即使提高机械定位的准确度，在实际应用中，也难免会出现待装配的插槽板出现偏移的情况。特别是在进行PCB板的装配时，如果夹具对PCB板的机械定位出现移动，很容易造成PCB板装配时的变形磨损。

综上所述，在利用装配机器人进行装配时，如何提高装配成功率，减少器件损坏情况的发生次数，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种装配机器人及基于视觉和力位混合控制的装配方法和系统，以在利用装配机器人进行装配时，提高装配成功率，减少器件损坏情况的发生次数。

为解决上述技术问题，本发明提供如下技术方案：

一种基于视觉和力位混合控制的装配方法，包括：

在装配工位上对第一插槽板进行机械定位；

利用相机采集所述第一插槽板的图像并提取所述图像的显著性区域特征；

基于所述显著性区域特征建立对应的模型，以通过所述模型定位出目标图像中的槽口位置，其中，所述目标图像为装配流程中利用所述相机拍摄出的任意一张插槽板图像，且所述目标图像中的插槽板与所述第一插槽板的类型相同；

将定位出的所述槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的所述槽口位置中，并且所述装配机器人在执行装配进程时进行力位混合控制。

优选的，所述利用相机采集所述第一插槽板的图像并提取所述图像的显著性区域特征，包括：

利用相机采集所述第一插槽板的图像；

将采集的图像转换到基于HSV的颜色空间中；

提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的所述图像的显著性区域特征。

优选的，所述提取出进行了HSV转换后的图像的一阶矩和二阶矩，包括：

利用Canny边缘检测算法提取出进行了HSV转换后的图像的一阶矩和二阶矩。

优选的，在所述提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的所述图像的显著性区域特征之前，还包括：

对进行了HSV转换后的图像进行噪声预处理以及边缘预处理。

优选的，所述基于所述显著性区域特征建立对应的模型，以通过所述模型定位出目标图像中的槽口位置，包括：

基于所述显著性区域特征建立空间金字塔模型，以通过所述空间金字塔模型的模型匹配定位出目标图像中的槽口位置。

优选的，所述装配机器人在执行装配进程时进行力位混合控制，包括：

所述装配机器人在执行装配进程时进行基于关节编码器的位置约束以及基于扭矩传感器的力约束。

优选的，所述待装配板卡为待装配的PCB板卡。

优选的，所述装配机器人为冗余度机器人。

一种基于视觉和力位混合控制的装配系统，包括：

机械定位模块，用于在装配工位上对第一插槽板进行机械定位；

特征提取模块，用于利用相机采集所述第一插槽板的图像并提取所述图像的显著性区域特征；

模型建立及定位模块，用于基于所述显著性区域特征建立对应的模型，以通过所述模型定位出目标图像中的槽口位置，其中，所述目标图像为装配流程中利用所述相机拍摄出的任意一张插槽板图像，且所述目标图像中的插槽板与所述第一插槽板的类型相同；

装配控制模块，用于将定位出的所述槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的所述槽口位置中，并且所述装配机器人在执行装配进程时进行力位混合控制。

一种装配机器人，装配机器人在进行板卡的装配时实现上述任一项所述的基于视觉和力位混合控制的装配方法的步骤。

本申请的方案，将视觉定位应用在装配机器人的装配流程中，具体的，在进行机械定位时无需固定到特别准确的指定位置，只需要将待装配的插槽板固定即可，通过拍照即可视觉定位出槽口位置，有利于提高装配机器人进行装配时的准确性。并且，装配机器人在执行装配进程时进行力位混合控制，有利于待装配板卡能够更加柔顺地插入槽口位置中，提高了装配的柔顺性，不容易造成待装配板卡的变形磨损。因此，本申请的方案在利用装配机器人进行装配时，有利于提高装配成功率，减少器件损坏情况的发生次数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种基于视觉和力位混合控制的装配方法的实施流程图；

图2为本发明中一种基于视觉和力位混合控制的装配系统的结构示意图。

具体实施方式

本发明的核心是提供一种基于视觉和力位混合控制的装配方法，在利用装配机器人进行装配时，有利于提高装配成功率，减少器件损坏情况的发生次数。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明中一种基于视觉和力位混合控制的装配方法的实施流程图，该基于视觉和力位混合控制的装配方法可以包括以下步骤：

步骤S101：在装配工位上对第一插槽板进行机械定位。

具体的，可以由装配系统对相关工装夹具进行控制，利用工装夹具对第一插槽板进行机械定位，此处描述的工装夹具可以根据实际场合进行设定选取，例如可以为常用的双气缸，即可以在装配工位上利用双气缸对第一插槽板进行机械定位。并且本申请对第一插槽板进行机械定位时，无需定位地特别准确，即仅需要固定住第一插槽板即可，并不会影响装配的准确度。

第一插槽板可以是任一型号尺寸的插槽板，称其为第一插槽板是为了与后续的相同类型的插槽板进行区别，表示的是本申请的装配系统通过第一插槽板构建出模型，而针对后续的需要装配的插槽板，只要是与第一插槽板类型相同，便可以直接利用构建出的模型以及该插槽板的图像，确定出该插槽板的槽口位置。

步骤S102：利用相机采集第一插槽板的图像并提取图像的显著性区域特征。

相机通常固定在装配工位的正上方，当然，具体场合中，相机可以根据需要有相适应的固定位置，并不影响本发明的实施。

装配系统会控制相机对装配工位上的第一插槽板进行拍照，即采集第一插槽板的图像，进而提取出采集到的第一插槽板的图像的显著性区域特征。

在提取显著性区域特征时，具体的提取方式可以根据需要进行设定以及选取，例如在一种具体场合中，可以采用一阶矩和二阶矩作为描绘子来进行显著性区域特征的表示。即在一种具体场合中，步骤S102可以具体包括以下三个步骤：

步骤一：利用相机采集第一插槽板的图像；

步骤二：将采集的图像转换到基于HSV的颜色空间中；

步骤三：提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的图像的显著性区域特征。

采用一阶矩和二阶矩作为描绘子表示显著性区域特征时，有利于较为准确地表示出图像特征，即有利于提高后续步骤中定位出的槽口位置的准确性。

在提取一阶矩和二阶矩时，具体采用的算法也可以根据需要进行设定和选取，例如，考虑到Canny边缘检测算法具有不容易受噪声干扰，有利于检测到真正的弱边缘等优点，上述步骤三可以具体为：利用Canny边缘检测算法提取出进行了HSV转换后的图像的一阶矩和二阶矩。

进一步地，考虑到采集的图像可能存在噪声，边缘模糊等情况，为了进一步地增强提取出的显著性区域特征的准确性，定位出准确的槽口位置，在本发明的一种具体实施方式中，还可以在提取图像的显著性区域特征之前进行图像的预处理，例如，在一种具体实施方式中，可以在上述步骤二之后，步骤三之前，对进行了HSV转换后的图像进行噪声预处理以及边缘预处理。边缘预处理的手段可以包括边缘锐化，边缘模糊等，可根据实际需要进行设定和选取，相应的，具体的噪声预处理的手段也可以根据实际需要进行选取。

步骤S103：基于显著性区域特征建立对应的模型，以通过模型定位出目标图像中的槽口位置，其中，目标图像为装配流程中利用相机拍摄出的任意一张插槽板图像，且目标图像中的插槽板与第一插槽板的类型相同。

在建立模型时，是基于第一插槽板的图像的显著性区域特征建立的模型，而通过该模型定位槽口位置时，基于模型匹配，可以定位出任意一张目标图片中的槽口位置，当然，该目标图片为同一相机在相同的固定位置下拍摄出的图片，并且图片中的插槽板自然需要与第一插槽板的类型相同。

例如，工厂利用装配机器人进行A类插槽板的批量装配，在第一个待装配的插槽板进行机械定位之后，装配系统会利用相机采集该插槽板的图像进而提取出图像的显著性区域特征，然后建立模型。在完成第一个插槽板的装配之后，第二个待装配的插槽板被机械定位在装配工位上，装配系统利用相机采集第二个待装配的插槽板的图像进而提取出该图像的显著性区域特征，将提取出的显著性区域特征与此前建立的模型进行匹配，便可以确定出第二个插槽板的槽口位置。

此外，还需要说明的是，一张插槽板上可以仅有一个槽口，也可以有多个槽口，当有多个槽口时，也并不影响本申请的实施。具体的，在定位出槽口位置时，装配系统会定位出一张图片中的每一个槽口位置，从而使得相应的板卡插入相对应的槽口中。

在基于显著性区域特征建立对应的模型时，具体的模型类型也可以根据需要进行设定和选取，并不影响本发明的实施。例如可以选取为较为常用的空间金字塔模型，即步骤S103中描述的基于显著性区域特征建立对应的模型，以通过模型定位出目标图像中的槽口位置，可以具体为：基于显著性区域特征建立空间金字塔模型，以通过空间金字塔模型的模型匹配定位出目标图像中的槽口位置。

步骤S104：将定位出的槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的槽口位置中，并且装配机器人在执行装配进程时进行力位混合控制。

需要说明的是，在定位出槽口位置时，由于机械爪的运动控制是基于世界坐标系进行的，因此需要将相机坐标系下的槽口位置转换为世界坐标系下的位置。实现该坐标转换，需要预先进行相机的标定，即相机的内外参数的标定。具体的标定方式也有多种，相机标定属于本领域的已知技术，此处不展开说明。

由于本申请通过视觉定位，相较于传统方案，能够使得装配机器人更为准确地将待装配的板卡移动到槽口位置处。

由于卡槽通常为V型槽，在将待装配板卡插入槽口内部的过程中，机械爪的角度，施加的力的大小，都会对该装配过程造成影响，因此，本申请考虑到为了增加装配的柔顺性，降低待装配板卡变形、磨损的情况，装配机器人在执行装配进程时进行力位混合控制。

进一步地，在进行力的控制时，可以采用扭矩传感器的形式，以提高控制精度，即在本发明的一种具体实施方式中，步骤S104中描述的装配机器人在执行装配进程时进行力位混合控制，可以具体包括：

装配机器人在执行装配进程时进行基于关节编码器的位置约束以及基于扭矩传感器的力约束。

具体的，因为在装配过程中，待装配的板卡受到垂直于装配面的力约束，因此需要在力约束的方向上进行位置约束。即可以理解为：需要调整位置，使得垂直于装配面的力符合要求。

在进行位置约束时，可以分析装配机器人的运动学模型，将机械爪末端的位置约束分解到运动学模型的关节空间，然后通过关节编码器计算出各个关节的角度，实现对机械爪末端的位置控制。进一步的，在进行位置控制的过程中，调整反馈的增益至最佳值，有利于提高位置控制的精度，减小位置误差。

相应的，在平行于装配表面的方向上，或者说是相切于接触点的方向上，待装配板卡受到了位置约束，因此需要进行力约束。即可以理解为：需要调整力的大小，使得位置发生移动。

在进行力的约束时，该种实施方式中是通过关节扭矩传感器来实现的。具体的，可以通过动力学模型得到雅克比矩阵，从而将装配机器人的机械爪末端的力误差映射到关节的扭矩中，再通过比较期望扭矩和实际扭矩的大小来控制力反馈的增益，最终达到对力的控制。

本申请描述的待装配板卡通常可以为待装配的PCB板卡。PCB由于其可高密度化，高可靠性，易于设计等优点，得到了越来越广泛的应用。

本申请的装配机器人可以是常用的6自由度的机器人，当然，其他场合中也可以是其他自由度的机器人，例如可以是7自由度的冗余度机器人，由于多了一个自由度，因此更加灵活，可以完成更高难度的动作。

此外，带有关节扭矩传感器的冗余度机器人还可以实时进行碰撞检测，在人机协作的环境中更加安全灵活，也有利于保障工作人员的人身安全。

应用本发明实施例所提供的技术方案，包括：在装配工位上对第一插槽板进行机械定位；利用相机采集第一插槽板的图像并提取图像的显著性区域特征；基于显著性区域特征建立对应的模型，以通过模型定位出目标图像中的槽口位置，其中，目标图像为装配流程中利用相机拍摄出的任意一张插槽板图像，且目标图像中的插槽板与第一插槽板的类型相同；将定位出的槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的槽口位置中，并且装配机器人在执行装配进程时进行力位混合控制。

相应于上面的方法实施例，本发明实施例还提供了一种基于视觉和力位混合控制的装配系统，可与上文相互对应参照。

可参阅图2，该基于视觉和力位混合控制的装配系统包括：

机械定位模块201，用于在装配工位上对第一插槽板进行机械定位；

特征提取模块202，用于利用相机采集第一插槽板的图像并提取图像的显著性区域特征；

模型建立及定位模块203，用于基于显著性区域特征建立对应的模型，以通过模型定位出目标图像中的槽口位置，其中，目标图像为装配流程中利用相机拍摄出的任意一张插槽板图像，且目标图像中的插槽板与第一插槽板的类型相同；

装配控制模块204，用于将定位出的槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的槽口位置中，并且装配机器人在执行装配进程时进行力位混合控制。

在本发明的一种具体实施方式中，特征提取模块202，包括：

图像采集子模块，用于利用相机采集第一插槽板的图像；

转换子模块，用于将采集的图像转换到基于HSV的颜色空间中；

特征提取子模块，用于提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的图像的显著性区域特征。

在本发明的一种具体实施方式中，特征提取子模块，具体用于：

利用Canny边缘检测算法提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的图像的显著性区域特征。

在本发明的一种具体实施方式中，在提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的图像的显著性区域特征之前，还包括：

预处理子模块，用于在特征提取子模块提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的图像的显著性区域特征之前，对进行了HSV转换后的图像进行噪声预处理以及边缘预处理。

在本发明的一种具体实施方式中，模型建立及定位模块203，具体用于：

基于显著性区域特征建立空间金字塔模型，以通过空间金字塔模型的模型匹配定位出目标图像中的槽口位置。

在本发明的一种具体实施方式中，装配控制模块204，具体用于：

将定位出的槽口位置作为目标位置以控制装配机器人将待装配板卡插入定位出的槽口位置中，并且装配机器人在执行装配进程时进行基于关节编码器的位置约束以及基于扭矩传感器的力约束。

相应于上面的方法和系统实施例，本发明实施例还提供了一种装配机器人，该装配机器人在进行板卡的装配时实现上述任一实施例中的基于视觉和力位混合控制的装配方法的步骤，可与上文相互对应参照，此处不重复说明。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种基于视觉和力位混合控制的装配方法，其特征在于，包括：

在装配工位上对第一插槽板进行机械定位；

2.根据权利要求1所述的基于视觉和力位混合控制的装配方法，其特征在于，所述利用相机采集所述第一插槽板的图像并提取所述图像的显著性区域特征，包括：

利用相机采集所述第一插槽板的图像；

将采集的图像转换到基于HSV的颜色空间中；

3.根据权利要求2所述的基于视觉和力位混合控制的装配方法，其特征在于，所述提取出进行了HSV转换后的图像的一阶矩和二阶矩，包括：

4.根据权利要求2所述的基于视觉和力位混合控制的装配方法，其特征在于，在所述提取出进行了HSV转换后的图像的一阶矩和二阶矩，作为提取出的所述图像的显著性区域特征之前，还包括：

对进行了HSV转换后的图像进行噪声预处理以及边缘预处理。

5.根据权利要求1所述的基于视觉和力位混合控制的装配方法，其特征在于，所述基于所述显著性区域特征建立对应的模型，以通过所述模型定位出目标图像中的槽口位置，包括：

6.根据权利要求1至5任一项所述的基于视觉和力位混合控制的装配方法，其特征在于，所述装配机器人在执行装配进程时进行力位混合控制，包括：

7.根据权利要求1所述的基于视觉和力位混合控制的装配方法，其特征在于，所述待装配板卡为待装配的PCB板卡。

8.根据权利要求1所述的基于视觉和力位混合控制的装配方法，其特征在于，所述装配机器人为冗余度机器人。

9.一种基于视觉和力位混合控制的装配系统，其特征在于，包括：

10.一种装配机器人，其特征在于，装配机器人在进行板卡的装配时实现如权利要求1至8任一项所述的基于视觉和力位混合控制的装配方法的步骤。