CN112621765B - 一种基于机械手的设备自动组装控制方法及装置 - Google Patents
一种基于机械手的设备自动组装控制方法及装置 Download PDFInfo
- Publication number
- CN112621765B CN112621765B CN202110253680.8A CN202110253680A CN112621765B CN 112621765 B CN112621765 B CN 112621765B CN 202110253680 A CN202110253680 A CN 202110253680A CN 112621765 B CN112621765 B CN 112621765B
- Authority
- CN
- China
- Prior art keywords
- equipment
- workbench
- parts
- installation
- assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Automatic Assembly (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机械手的设备自动组装控制方法及装置，其中，所述方法包括：获得待安装设备的设备安装说明书；对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；形成设备组装策略；基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装。
Description
技术领域
本发明涉及自动控制技术领域，尤其涉及一种基于机械手的设备自动组装控制方法及装置。
背景技术
现在的自动组装一般都是以生产线的形式，自动组装生产线设备一般都是结构体积较大，并且在安装时都需要较大的占地面积，需要占用较大的空间，并且若是少量的组装产品，而启动整条生产线，会造成资源的浪费；又或者，在对于少量的设备产品需要组装时，一般使用人工的方式，需要花费大量的人力资源，并且组装效率不高。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于机械手的设备自动组装控制方法及装置，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装。
为了解决上述技术问题，本发明实施例提供了一种基于机械手的设备自动组装控制方法，所述方法包括：
获得待安装设备的设备安装说明书；
基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。
可选的，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。
可选的，所述获得待安装设备的设备安装说明书，包括：
基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，
在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。
可选的，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：
以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；
在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；
将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；
对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；
基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；
获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。
可选的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。
可选的，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：
获得所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。
可选的，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：
获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；
根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。
可选的，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：
获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；
根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。
可选的，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：
在所述机械手上设置有目标跟踪摄像头；
基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
另外，本发明实施例还提供了一种基于机械手的设备自动组装控制装置，所述装置包括：
获得模块：用于获得待安装设备的设备安装说明书；
视觉识别模块：用于基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
坐标位置定位模块：用于对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
标号模块：用于基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
组装策略形成模块：用于基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
自动组装模块：用于基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。
在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于机械手的设备自动组装控制方法的流程示意图；
图2是本发明实施例中的基于机械手的设备自动组装控制装置的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例中的基于机械手的设备自动组装控制方法的流程示意图。
如图1所示，一种基于机械手的设备自动组装控制方法，所述方法包括：
S11：获得待安装设备的设备安装说明书；
在本发明具体实施过程中，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。
进一步的，所述获得待安装设备的设备安装说明书，包括：
基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。
具体的，在该设备安装说明书中至少包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图；并且均以图像的形式形成，方便后续的处理和识别；一般情况下，在说明书数据库中存有一定数量的设备型号的设备安装说明书；在得到待安装设备时，用户需要获得待安装设备的设备型号数据，利用待安装设备的设备型号数据在该说明书数据库中进行匹配，从而获得待安装设备的设备安装说明书；在说明书数据库中不能匹配出待安装设备的设备安装说明书时，需要用户手动输入设备安装说明书，同时需要输入待安装设备的设备型号数据，在用户手动输入之后，获得待安装设备的设备安装说明书，同时将用户输入的待安装设备的设备安装说明书及其对应的设备型号数据存储在说明书数据库中。
S12：基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
在本发明具体实施过程中，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。
进一步的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。
具体的，这些待安装设备的设备零部件放置在工作台时，相邻的两个设备零部件之间互不遮挡；在进行视觉识别处理之前，首先通过实践识别摄像头识别相邻的两个设备零部件之间是否互不遮挡；在存在遮挡时，可以控制机械手将相互遮挡的设备零部件进行移动，使之不存在相互遮挡，也可以发出警报给用户，让用户移动遮挡的设备零部件；这样方便后续设备零部件的视觉识别等操作。
一般情况下需要建立工作台图像的平面坐标系，在本实施例中，通过该视觉识别摄像头在该工作台平面上采集该工作台的图像信息，并根据该工作台的图像信息的像素结构来构建工作台平面坐标系；同时在工作台上设置有重力传感器设备，通过该重力传感器设备来感应工作台上是否放置有待安装设备的设备零部件，在重力传感器设备感应到工作台的重力发生变化时，考虑可能在工作台上放置有待安装设备的设备零部件，需要启动视觉识别摄像头采集所述工作台上的设备零部件图像；并且确定工作台上放置有待安装设备的设备零部件之后，将采集到的设备零部件图像进行图像前景背景分离，从而获得前景图像；然后在对前景图像中的每个设备零部件进行目标分割处理，以便得到每个设备零部件目标图像；在得到每个设备零部件目标图像之后，通过相似度算法计算每个设备零部件目标图像与设备安装说明书中的设备零部件的相似度，取相似度最高的计算结果为设备零部件识别结果；然后获得每个设备零部件目标图像在工作台平面坐标系的坐标位置，并根据每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态；具体是通过每个设备零部件在该坐标系中占用的坐标位置来估计对应的设备零部件在工作台上的放置姿态。
S13：对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
在本发明具体实施过程中，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：根据所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。
具体的，需要获得待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标，然后根据该待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，从而得到每个设备零部件在所述工作台上的坐标位置。
S14：基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
在本发明具体实施过程中，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。
具体的，需要在设备安装说明书中提取到安装顺序示意图中的每个示意图涉及到的安装部件示意图；然后并已经先后顺序对每个示意图涉及到的安装部件示意图的安装部件提取处理，形成有序目标安装部件，然后根据有序目标安装部件视觉识别后的设备零部件进行对应标号，获得标号后的设备零部件。
S15：基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
在本发明具体实施过程中，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。
具体的，通过获得机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图，即通过机械手首先获得机械手的位置信息，通过该位置信息耦合在工作台平面坐标系来确定机械手相对工作台平面坐标系的位置，通过提取设备安装说明书中的内容得到安装顺序示意图；然后机械手相对工作台平面坐标系的位置利用安装顺序示意图、每个设备零部件在工作台上的放置姿态及标号后的设备零部件形成设备组装策略，该设备组装策略为机械手组装是规划的组装路径最优策略。
S16：基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。
在本发明具体实施过程中，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：在所述机械手上设置有目标跟踪摄像头；基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
具体的，在机械手上设置有目标跟踪摄像头，该目标跟踪摄像头用户实时对目标的跟踪，因为机械手实时移动的，机械手相对目标之间的关系是实时变化的，在变化的过程中，可能产生误差，导致机械手在进行设备安装时精度变差，导致安装效率较低，可能导致产品损坏或者无法完成自动安装，因此需要进行目标的实时跟踪，并及时对机械手的运动路径进行修正；然后根据设备组装策略获得组装时设备零部件的被组装的当前目标零部件，根据目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。
实施例二
请参阅图2，图2是本发明实施例中的基于机械手的设备自动组装控制装置的结构组成示意图。
如图2所示，一种基于机械手的设备自动组装控制装置，所述装置包括：
获得模块21：用于获得待安装设备的设备安装说明书；
在本发明具体实施过程中，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。
进一步的，所述获得待安装设备的设备安装说明书，包括：
基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。
具体的，在该设备安装说明书中至少包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图；并且均以图像的形式形成，方便后续的处理和识别；一般情况下，在说明书数据库中存有一定数量的设备型号的设备安装说明书；在得到待安装设备时，用户需要获得待安装设备的设备型号数据，利用待安装设备的设备型号数据在该说明书数据库中进行匹配，从而获得待安装设备的设备安装说明书；在说明书数据库中不能匹配出待安装设备的设备安装说明书时，需要用户手动输入设备安装说明书，同时需要输入待安装设备的设备型号数据，在用户手动输入之后，获得待安装设备的设备安装说明书，同时将用户输入的待安装设备的设备安装说明书及其对应的设备型号数据存储在说明书数据库中。
视觉识别模块22：用于基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
在本发明具体实施过程中，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。
进一步的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。
具体的，这些待安装设备的设备零部件放置在工作台时，相邻的两个设备零部件之间互不遮挡；在进行视觉识别处理之前，首先通过实践识别摄像头识别相邻的两个设备零部件之间是否互不遮挡；在存在遮挡时，可以控制机械手将相互遮挡的设备零部件进行移动，使之不存在相互遮挡，也可以发出警报给用户，让用户移动遮挡的设备零部件；这样方便后续设备零部件的视觉识别等操作。
一般情况下需要建立工作台图像的平面坐标系，在本实施例中，通过该视觉识别摄像头在该工作台平面上采集该工作台的图像信息，并根据该工作台的图像信息的像素结构来构建工作台平面坐标系；同时在工作台上设置有重力传感器设备，通过该重力传感器设备来感应工作台上是否放置有待安装设备的设备零部件，在重力传感器设备感应到工作台的重力发生变化时，考虑可能在工作台上放置有待安装设备的设备零部件，需要启动视觉识别摄像头采集所述工作台上的设备零部件图像；并且确定工作台上放置有待安装设备的设备零部件之后，将采集到的设备零部件图像进行图像前景背景分离，从而获得前景图像；然后在对前景图像中的每个设备零部件进行目标分割处理，以便得到每个设备零部件目标图像；在得到每个设备零部件目标图像之后，通过相似度算法计算每个设备零部件目标图像与设备安装说明书中的设备零部件的相似度，取相似度最高的计算结果为设备零部件识别结果；然后获得每个设备零部件目标图像在工作台平面坐标系的坐标位置，并根据每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态；具体是通过每个设备零部件在该坐标系中占用的坐标位置来估计对应的设备零部件在工作台上的放置姿态。
坐标位置定位模块23：用于对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
在本发明具体实施过程中，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：根据所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。
具体的，需要获得待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标，然后根据该待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，从而得到每个设备零部件在所述工作台上的坐标位置。
标号模块24：用于基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
在本发明具体实施过程中，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。
具体的，需要在设备安装说明书中提取到安装顺序示意图中的每个示意图涉及到的安装部件示意图；然后并已经先后顺序对每个示意图涉及到的安装部件示意图的安装部件提取处理，形成有序目标安装部件，然后根据有序目标安装部件视觉识别后的设备零部件进行对应标号，获得标号后的设备零部件。
组装策略形成模块25：用于基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
在本发明具体实施过程中，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。
具体的，通过获得机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图，即通过机械手首先获得机械手的位置信息，通过该位置信息耦合在工作台平面坐标系来确定机械手相对工作台平面坐标系的位置，通过提取设备安装说明书中的内容得到安装顺序示意图；然后机械手相对工作台平面坐标系的位置利用安装顺序示意图、每个设备零部件在工作台上的放置姿态及标号后的设备零部件形成设备组装策略，该设备组装策略为机械手组装是规划的组装路径最优策略。
自动组装模块26：用于基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。
在本发明具体实施过程中，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：在所述机械手上设置有目标跟踪摄像头；基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
具体的，在机械手上设置有目标跟踪摄像头，该目标跟踪摄像头用户实时对目标的跟踪，因为机械手实时移动的，机械手相对目标之间的关系是实时变化的，在变化的过程中，可能产生误差，导致机械手在进行设备安装时精度变差，导致安装效率较低，可能导致产品损坏或者无法完成自动安装，因此需要进行目标的实时跟踪，并及时对机械手的运动路径进行修正；然后根据设备组装策略获得组装时设备零部件的被组装的当前目标零部件，根据目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，ReadOnly Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于机械手的设备自动组装控制方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于机械手的设备自动组装控制方法，其特征在于，所述方法包括：
获得待安装设备的设备安装说明书；
基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装；
所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：
以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；
在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；
将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；
对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；
基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；
获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。
2.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。
3.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述获得待安装设备的设备安装说明书，包括：
基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，
在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。
4.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。
5.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：
根据所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。
6.根据权利要求2所述的设备自动组装控制方法，其特征在于，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：
获得所述安装顺序示意图中的每个示意图涉及到的安装部件示意图；
根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。
7.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：
获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；
根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。
8.根据权利要求1所述的设备自动组装控制方法，其特征在于，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：
在所述机械手上设置有目标跟踪摄像头；
基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。
9.一种基于机械手的设备自动组装控制装置，其特征在于，所述装置包括：
获得模块：用于获得待安装设备的设备安装说明书；
视觉识别模块：用于基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；
坐标位置定位模块：用于对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；
标号模块：用于基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；
组装策略形成模块：用于基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；
自动组装模块：用于基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装；
视觉识别模块：还用于以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110253680.8A CN112621765B (zh) | 2021-03-09 | 2021-03-09 | 一种基于机械手的设备自动组装控制方法及装置 |
| PCT/CN2021/124934 WO2022188410A1 (zh) | 2021-03-09 | 2021-10-20 | 一种基于机械手的设备自动组装控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110253680.8A CN112621765B (zh) | 2021-03-09 | 2021-03-09 | 一种基于机械手的设备自动组装控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112621765A CN112621765A (zh) | 2021-04-09 |
| CN112621765B true CN112621765B (zh) | 2021-06-01 |
Family
ID=75297644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110253680.8A Active CN112621765B (zh) | 2021-03-09 | 2021-03-09 | 一种基于机械手的设备自动组装控制方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112621765B (zh) |
| WO (1) | WO2022188410A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112621765B (zh) * | 2021-03-09 | 2021-06-01 | 佛山隆深机器人有限公司 | 一种基于机械手的设备自动组装控制方法及装置 |
| CN114755782A (zh) * | 2022-02-25 | 2022-07-15 | 深圳市深视智能科技有限公司 | 点光谱镜头安装方法、装置、系统、存储介质以及产品 |
| CN115709373A (zh) * | 2022-11-17 | 2023-02-24 | 湖州丽天智能科技有限公司 | 一种光伏系统更换方法及系统 |
| CN117383234A (zh) * | 2023-09-28 | 2024-01-12 | 重庆渝创新材料有限公司 | 一种铝合金生产用上料装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5350269A (en) * | 1989-03-27 | 1994-09-27 | Canon Kabushiki Kaisha | Work pick-up apparatus |
| CN106126219A (zh) * | 2016-06-20 | 2016-11-16 | 扬州大学 | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 |
| CN107303636A (zh) * | 2016-04-19 | 2017-10-31 | 泰科电子(上海)有限公司 | 基于机器人的自动装配系统和自动装配方法 |
| CN110788622A (zh) * | 2019-12-10 | 2020-02-14 | 江苏汇博机器人技术股份有限公司 | 实训用基于相机的键盘自动装配装置 |
| CN112018508A (zh) * | 2020-08-19 | 2020-12-01 | 上海一航凯迈光机电设备有限公司 | 基于辐射单元的特征编号智能排布装配方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204038595U (zh) * | 2014-08-25 | 2014-12-24 | 昆山迈致治具科技有限公司 | 手机按钮自动化组装用移动装置 |
| CN204997676U (zh) * | 2015-09-22 | 2016-01-27 | 苏州卓越金码电子科技有限公司 | 自动组装设备 |
| CN208593088U (zh) * | 2018-08-14 | 2019-03-12 | 苏州富加林自动化科技有限公司 | 自动组装机 |
| CN208896104U (zh) * | 2018-09-04 | 2019-05-24 | 深圳市兴禾自动化有限公司 | 一种自动组装机械手 |
| CN112621765B (zh) * | 2021-03-09 | 2021-06-01 | 佛山隆深机器人有限公司 | 一种基于机械手的设备自动组装控制方法及装置 |
-
2021
- 2021-03-09 CN CN202110253680.8A patent/CN112621765B/zh active Active
- 2021-10-20 WO PCT/CN2021/124934 patent/WO2022188410A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5350269A (en) * | 1989-03-27 | 1994-09-27 | Canon Kabushiki Kaisha | Work pick-up apparatus |
| CN107303636A (zh) * | 2016-04-19 | 2017-10-31 | 泰科电子(上海)有限公司 | 基于机器人的自动装配系统和自动装配方法 |
| CN106126219A (zh) * | 2016-06-20 | 2016-11-16 | 扬州大学 | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 |
| CN110788622A (zh) * | 2019-12-10 | 2020-02-14 | 江苏汇博机器人技术股份有限公司 | 实训用基于相机的键盘自动装配装置 |
| CN112018508A (zh) * | 2020-08-19 | 2020-12-01 | 上海一航凯迈光机电设备有限公司 | 基于辐射单元的特征编号智能排布装配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022188410A1 (zh) | 2022-09-15 |
| CN112621765A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112621765B (zh) | 一种基于机械手的设备自动组装控制方法及装置 | |
| CN110176078B (zh) | 一种训练集数据的标注方法及装置 | |
| CN109176521A (zh) | 一种机械臂及其抓取控制方法和系统 | |
| CN108839016B (zh) | 机器人巡检方法、存储介质、计算机设备及巡检机器人 | |
| CN112837371A (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
| US20110313734A1 (en) | Model Assembly of a Production Plant With True-To-Scale Models of Production Devices and Method for Inputting a Spatial Assembly of Production Devices Into a Computer-Assisted Planning Program | |
| CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
| CN113319859B (zh) | 一种机器人示教方法、系统、装置及电子设备 | |
| EP4005745A1 (en) | Autonomous robot tooling system, control system, control method, and storage medium | |
| CN113664838B (zh) | 机器人定位放置控制方法、装置、电子设备及存储介质 | |
| CN113408993B (zh) | 一种用于机械自动化的智能装配系统 | |
| CN112927194A (zh) | 设计图纸与实物的自动核对方法及系统 | |
| CN109062220B (zh) | 控制终端运动的方法和装置 | |
| CN115631401A (zh) | 一种视觉感知的机器人自主抓取技能学习系统及方法 | |
| US11580666B2 (en) | Localization and mapping method and moving apparatus | |
| KR102093775B1 (ko) | 공정 레시피 기반의 자동 조립 장치 및 방법 | |
| CN113986823A (zh) | 一种通信机房的图片归档方法、装置、介质及设备 | |
| Kalitsios et al. | Vision-enhanced system for human-robot disassembly factory cells: introducing a new screw dataset | |
| CN113919794A (zh) | 一种对构件可吊装能力批量快速分析的方法 | |
| TWI788253B (zh) | 適應性移動操作設備及方法 | |
| CN114419451B (zh) | 电梯内外识别方法、装置、电子设备及存储介质 | |
| CN116038714A (zh) | 一种基于3d相机的无序分拣方法及系统 | |
| CN117168467B (zh) | 机房巡检路线规划及导航方法、设备及系统 | |
| CN117348577B (zh) | 一种生产工艺仿真检测方法、装置、设备以及介质 | |
| KR20240005367A (ko) | 공장내 위치 추적 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and device for automatic assembly control of equipment based on a robotic arm Effective date of registration: 20230728 Granted publication date: 20210601 Pledgee: China Co. truction Bank Corp Foshan branch Pledgor: FOSHAN LONGSHEN ROBOT Co.,Ltd. Registration number: Y2023980050200 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210409 Assignee: Foshan Baijing Intelligent Technology Co.,Ltd. Assignor: FOSHAN LONGSHEN ROBOT Co.,Ltd. Contract record no.: X2023980041462 Denomination of invention: A method and device for automatic assembly control of equipment based on a robotic arm Granted publication date: 20210601 License type: Common License Record date: 20230908 Application publication date: 20210409 Assignee: Guangdong Biyao Technology Co.,Ltd. Assignor: FOSHAN LONGSHEN ROBOT Co.,Ltd. Contract record no.: X2023980041456 Denomination of invention: A method and device for automatic assembly control of equipment based on a robotic arm Granted publication date: 20210601 License type: Common License Record date: 20230908 |
|
| EE01 | Entry into force of recordation of patent licensing contract |