CN116330322B - 基于机器视觉的高精度工业协作机器人系统及控制方法 - Google Patents
基于机器视觉的高精度工业协作机器人系统及控制方法 Download PDFInfo
- Publication number
- CN116330322B CN116330322B CN202310586941.7A CN202310586941A CN116330322B CN 116330322 B CN116330322 B CN 116330322B CN 202310586941 A CN202310586941 A CN 202310586941A CN 116330322 B CN116330322 B CN 116330322B
- Authority
- CN
- China
- Prior art keywords
- auxiliary robot
- area
- point
- module
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种基于机器视觉的高精度工业协作机器人系统及控制方法，其系统包括：设置模块，用于基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；采集模块，用于采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；定位模块，用于在高精度定点捕捉图像中定位出工作区域；控制模块，用于控制辅助机器人对工作区域进行精密化操作。通过采用在辅助机器人上配置基于机器视觉的图像采集方式来进行图像采集可以保证采集图像的高清晰度，为后续工作奠定了基础，提高了实用性，可以精准稳定地控制辅助机器人进行精密化操作，提高了工作效率的同时也提高了稳定性，避免了定位误差。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于机器视觉的高精度工业协作机器人系统及控制方法。
背景技术
目前，机器人它在工业生产中所扮演的角色越来越重要，工业机器人是广泛用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能。工业机器人被广泛应用于电子、机械加工、物流、化工等各个工业领域之中。
随着通信技术、控制技术以及电子技术等理论学科的相互融合，工业机器人迎来了一个新的发展阶段，从以往的简单应用、单一化研究逐步发展到复杂应用、多样化研究，现有的工业机器人协作方法通常是图像采集和机器人控制分步进行，即首先通过采集图像的方式来确定工业设备上的工作位置区域然后通过远程控制机器人进行精密操作，其存在以下问题：分步进行会导致机器人出现操作误差情况的同时也降低了工作效率，同时，远程监控视频由于视频清晰度等问题会导致定位工作区域与实际存在误差从而降低了机器人的工作效率。
发明内容
针对上述所显示出来的问题，本发明提供了一种基于机器视觉的高精度工业协作机器人系统及控制方法用以解决背景技术中提到的分步进行会导致机器人出现操作误差情况的同时也降低了工作效率，同时远程监控视频由于视频清晰度等问题会导致定位工作区域与实际存在误差从而降低了机器人的工作效率的问题。
一种基于机器视觉的高精度工业协作机器人系统，该系统包括：
设置模块，用于基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
采集模块，用于采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
定位模块，用于在高精度定点捕捉图像中定位出工作区域；
控制模块，用于控制辅助机器人对工作区域进行精密化操作。
优选的，所述设置模块，包括：
第一获取子模块，用于获取辅助机器人的预设视觉拍摄参数，根据预设视觉拍摄参数确定辅助机器人的最佳视觉拍摄范围；
计算子模块，用于基于目标工业区域的区域面积和辅助机器人的预设视觉比例计算出最佳拍摄区域范围；
确定子模块，用于基于辅助机器人的最佳视觉拍摄范围和目标工业区域的最佳拍摄区域范围确定多个第一拍摄点；
筛选子模块，用于基于目标工业区域内工作流水线上的三维工业设备图像以视觉效果为评估条件筛选出第二拍摄点，将第二拍摄点作为辅助机器人的设置视觉拍摄点。
优选的，所述采集模块，包括：
调取子模块，用于根据监控视频调取目标对象在目标工业区域内的位置信息；
设置子模块，用于根据目标对象在目标工业区域内的位置信息和每个视觉拍摄点之间的位置关系设置辅助机器人的拍摄焦距参数和分辨率参数；
采集子模块，用于采集设置参数后的辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
预处理子模块，用于对高精度定点捕捉图像进行预处理。
优选的，所述定位模块，包括：
处理子模块，用于对高精度定点捕捉图像进行拼接处理；
第二获取子模块，用于根据拼接结果获取目标对象的独立结构和混合结构；
第三获取子模块，用于获取混合结构的区域参数；
定位子模块，用于根据混合结构的区域参数对工作区域进行定位。
优选的，所述控制模块，包括：
第四获取子模块，用于根据预设工业程序获取辅助机器人对于工作区域的 精密化操作流程和每个流程的操作参数；
生成子模块，用于根据精密化操作流程和每个流程的操作参数生成工作指令序列；
上传子模块，用于将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数；
控制子模块，用于根据控制参数控制辅助机器人对工作区域进行精密化操作。
优选的，上传子模块将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数，包括：
通过预设通信方式连接控制服务器，将工作指令序列进行加密并且上传到控制服务器上；
利用控制服务器解析工作指令序列确定每项操作流程的形式描述因子；
基于每项操作流程的形式描述因子从数据库中调取每项操作流程的标准动作因子；
根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数；
根据辅助机器人在每项操作流程中的动作参数生成辅助机器人对应的控制参数。
优选的，所述系统还用于：
构建辅助机器人的动力学模型；
根据动力学模型获取辅助机器人对于每项操作流程的预期作用力；
根据辅助机器人对于每项操作流程的预期作用力确定辅助机器人对于该项操作流程的单周期完成度；
基于辅助机器人对于每项操作流程的单周期完成度评估出辅助机器人对于该项操作流程的第一作业时长；
统计出辅助机器人对于每项操作流程的第一作业时长并且进行整合以计算出辅助机器人的作业周期，将作业周期上传到控制服务器上。
优选的，所述根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数，包括：
根据工作区域中每个操作流程的操作区域确定辅助机器人的机械臂在工作区域中每个操作流程的位置偏移量；
基于位置偏移量和标准动作因子确定辅助机器人对于每个操作流程的机械臂状态变化参数；
将辅助机器人对于每个操作流程的机械臂状态变化参数划分为机械臂移动状态参数和机械臂转动状态参数；
根据划分结果和操作流程的对应关系设置辅助机器人在每项操作流程中的动作参数。
优选的，对高精度定点捕捉图像进行拼接处理，包括：
获取每张定点捕捉图像对应位置定点的相对位置关系；
根据所有位置定点之间的相对位置关系确定所有定点捕捉图像之间的排列顺序；
基于排列顺序生成所有定点捕捉图像之间的图像序列，从图像序列中读取相邻的两幅定点捕捉图像；
检测相邻的两幅定点捕捉图像中每幅定点捕捉图像的边界图像特征描述向量；
对相邻的两幅定点捕捉图像的边界图像特征描述向量进行配准对齐处理，获取处理结果；
根据处理结果判断所有定点捕捉图像之间的排列是否正确，若是，获取每张定点捕捉图像的左右边界像素点的映射信息；若否，对所有定点捕捉图像进行重新排列直到判断其排列正确为止；
根据每张定点捕捉图像的左右边界像素点的映射信息获取该张定点捕捉图像中每个边界像素点的映射属性和映射坐标；
获取每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距；
基于每张定点捕捉图像中每个边界像素点的映射属性和映射坐标以及每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距选择目标拼接方式，目标拼接方式包括全局拼接和定点拼接；
根据目标拼接方式调取拼接程序按照所有定点捕捉图像之间的图像序列对高精度定点捕捉图像进行拼接处理。
一种基于机器视觉的高精度工业协作机器人控制方法，包括以下步骤：
基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
对高精度定点捕捉图像进行分析以定位工作区域；
控制辅助机器人对工作区域进行精密化操作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明所提供的一种基于机器视觉的高精度工业协作机器人系统的结构示意图；
图2为本发明所提供的一种基于机器视觉的高精度工业协作机器人系统中设置模块的结构示意图；
图3为本发明所提供的一种基于机器视觉的高精度工业协作机器人系统中采集模块的结构示意图；
图4为本发明所提供的一种基于机器视觉的高精度工业协作机器人控制方法的工作流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，机器人在工业生产中所扮演的角色越来越重要，工业机器人是广泛用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能。工业机器人被广泛应用于电子、机械加工、物流、化工等各个工业领域之中。
随着通信技术、控制技术以及电子技术等理论学科的相互融合，工业机器人迎来了一个新的发展阶段，从以往的简单应用、单一化研究逐步发展到复杂应用、多样化研究，现有的工业机器人协作方法通常是图像采集和机器人控制分步进行，即首先通过采集图像的方式来确定工业设备上的工作位置区域然后通过远程控制机器人进行精密操作，其存在以下问题：分步进行会导致机器人出现操作误差情况的同时也降低了工作效率，同时，远程监控视频由于视频清晰度等问题会导致定位工作区域与实际存在误差从而降低了机器人的工作效率。为了解决上述问题，本实施例公开了一种基于机器视觉的高精度工业协作机器人系统。
一种基于机器视觉的高精度工业协作机器人系统，如图1所示，该系统包括：
设置模块101，用于基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
采集模块102，用于采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
定位模块103，用于在高精度定点捕捉图像中定位出工作区域；
控制模块104，用于控制辅助机器人对工作区域进行精密化操作。
在本实施例中，精密化操作项可以为装配、焊接、点胶涂胶等工业操作；
在本实施例中，区域面积表示为目标工业区域的作业区域的面积；
在本实施例中，目标对象表示为辅助机器人的当前作业对象；
在本实施例中，工作区域表示为对目标对象的不同位置进行不同工业操作的定位区域。
上述技术方案的工作原理为：首先通过设置模块基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；然后利用采集模块采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像，其次，通过定位模块对高精度定点捕捉图像进行分析以定位工作区域；最后利用控制模块控制辅助机器人对工作区域进行精密化操作。
上述技术方案的有益效果为：通过采用在辅助机器人上配置基于机器视觉的图像采集方式来进行图像采集可以保证采集图像的高清晰度，为后续工作奠定了基础，提高了实用性，进一步地，通过设置工作区域定位和机器人操作同步进行的方式可以精准稳定地控制辅助机器人进行精密化操作，提高了工作效率的同时也提高了稳定性，进一步地，通过采用高精度定点图像捕捉的采集方式可以精准地定位出工作区域，避免了定位误差，提高了稳定性，解决了现有技术中分步进行会导致机器人出现操作误差情况的同时也降低了工作效率，同时，远程监控视频由于视频清晰度等问题会导致定位工作区域与实际存在误差从而降低了机器人的工作效率的问题。
在一个实施例中，如图2所示，所述设置模块101，包括：
第一获取子模块1011，用于获取辅助机器人的预设视觉拍摄参数，根据预设视觉拍摄参数确定辅助机器人的最佳视觉拍摄范围；
计算子模块1012，用于基于目标工业区域的区域面积和辅助机器人的预设视觉比例计算出最佳拍摄区域范围；
确定子模块1013，用于基于辅助机器人的最佳视觉拍摄范围和目标工业区域的最佳拍摄区域范围确定多个第一拍摄点；
筛选子模块1014，用于基于目标工业区域内工作流水线上的三维工业设备图像以视觉效果为评估条件筛选出第二拍摄点，将第二拍摄点作为辅助机器人的设置视觉拍摄点。
在本实施例中，预设视觉拍摄参数表示为辅助机器人的预设拍摄焦距和分辨率等参数；
在本实施例中，最佳视觉拍摄范围表示为辅助机器人处于最佳拍摄距离的方圆区域范围；
在本实施例中，以视觉效果为评估条件表示为保证拍摄出来的图像维持最佳的视觉效果的摄像点评估条件。
上述技术方案的有益效果为：通过确定辅助机器人的最佳视觉拍摄范围可以保证采集的视觉图像为最佳清晰度，进一步地提高了实用性，进一步地，通过从第一拍摄点中筛选出第二拍摄点可以保证辅助机器人的采集图像为最佳视觉效果，为后续进行工作区域的定位奠定了条件，进一步地提高了实用性。
在一个实施例中，如图3所示，所述采集模块102，包括：
调取子模块1021，用于根据监控视频调取目标对象在目标工业区域内的位置信息；
设置子模块1022，用于根据目标对象在目标工业区域内的位置信息和每个视觉拍摄点之间的位置关系设置辅助机器人的拍摄焦距参数和分辨率参数；
采集子模块1023，用于采集设置参数后的辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
预处理子模块1024，用于对高精度定点捕捉图像进行预处理。
在本实施例中，位置信息表示为目标对象在目标工业区域内的区域坐标位置集信息；
在本实施例中，预处理包括：图像去噪和图像优化等处理。
上述技术方案的有益效果为：通过根据每个视觉拍摄点之间的位置关系设置辅助机器人的拍摄焦距参数和分辨率参数可以保证辅助机器人在每个视觉拍摄点上都拍摄出相同视觉效果的图像，进一步地提高了稳定性，进一步地，通过对高精度定点捕捉图像进行预处理可以进一步地保证图像清晰度。
在一个实施例中，所述定位模块，包括：
处理子模块，用于对高精度定点捕捉图像进行拼接处理；
第二获取子模块，用于根据拼接结果获取目标对象的独立结构和混合结构；
第三获取子模块，用于获取混合结构的区域参数；
定位子模块，用于根据混合结构的区域参数对工作区域进行定位。
在本实施例中，拼接处理表示为对目标对象在不同视觉拍摄点的捕捉图像进行结构吻合的拼接处理；
在本实施例中，独立结构表示为目标对象无需进行工业操作的区域结构；
在本实施例中，混合结构表示为目标对象需要进行工业操作的区域结构；
在本实施例中，区域参数表示为混合结构的区域面积和区域位置参数。
上述技术方案的有益效果为：通过对定点捕捉图像进行拼接处理可以获取到目标对象的整体视觉图像进而快速准确地评估出需要进行操作的混合结构所在区域作为工作区域，提高了定位精度和定位效率。
在一个实施例中，所述控制模块，包括：
第四获取子模块，用于根据预设工业程序获取辅助机器人对于工作区域的 精密化操作流程和每个流程的操作参数；
生成子模块，用于根据精密化操作流程和每个流程的操作参数生成工作指令序列；
上传子模块，用于将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数；
控制子模块，用于根据控制参数控制辅助机器人对工作区域进行精密化操作。
在本实施例中，预设工业程序表示为对于工作区域的操作工序的相关软件程序；
在本实施例中，精密化操作流程表示为辅助机器人对于工作区域的具体工业操作的具体流程；
在本实施例中，工作指令序列表示为辅助机器人的工业操作的程序指令序列。
上述技术方案的有益效果为：根据预设工业程序获取辅助机器人对于工作区域的精密化操作流程和每个流程的操作参数可以获取到辅助机器人对于工作区域的所有操作流程，避免出现流程遗漏情况的发生，进一步地提高了稳定性，进一步地，通过根据工作指令序列生成辅助机器人对应的控制参数可以实现对于辅助机器人稳定地控制操作，进一步地提高了稳定性。
在一个实施例中，上传子模块将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数，包括：
通过预设通信方式连接控制服务器，将工作指令序列进行加密并且上传到控制服务器上；
利用控制服务器解析工作指令序列确定每项操作流程的形式描述因子；
基于每项操作流程的形式描述因子从数据库中调取每项操作流程的标准动作因子；
根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数；
根据辅助机器人在每项操作流程中的动作参数生成辅助机器人对应的控制参数。
在本实施例中，预设通信方式可以为无线通信也可以wifi通信等；
在本实施例中，形式描述因子表示为对于每项操作流程的工业操作形式的基础步骤描述因子；
在本实施例中，标准动作因子表示每项操作流程的标准操作动作描述因子。
上述技术方案的有益效果为：通过调取每项操作流程的标准动作因子可以参考其对辅助机器人进行精确控制，同时也保证了辅助机器人的操作动作的合格度，提高了工作效率和工作稳定性，进一步地，通过生成辅助机器人在每项操作流程中的动作参数进而转化为控制参数可以使得服务器端工作人员根据控制参数控制辅助机器人进行工业操作，降低了对于操作人员的技术要求，节省了人力成本。
在一个实施例中，所述系统还用于：
构建辅助机器人的动力学模型；
根据动力学模型获取辅助机器人对于每项操作流程的预期作用力；
根据辅助机器人对于每项操作流程的预期作用力确定辅助机器人对于该项操作流程的单周期完成度；
基于辅助机器人对于每项操作流程的单周期完成度评估出辅助机器人对于该项操作流程的第一作业时长；
统计出辅助机器人对于每项操作流程的第一作业时长并且进行整合以计算出辅助机器人的作业周期，将作业周期上传到控制服务器上。
在本实施例中，动力学模型表示为在模拟辅助机器人进行工业操作时的机械臂的动力模型；
在本实施例中，预期作用力表示为辅助机器人对于每项操作流程的期望作用力度；
在本实施例中，单周期完成度表示为辅助机器人对于每个项操作流程在单个周期内对于某项操作流程的完整比例，通过百分数表示；
在本实施例中，第一作业时长表示为辅助机器人对于每项操作流程的预测完成作业时长；
在本实施例中，作业周期表示为辅助机器人对于每项操作流程的作业完成周期。
上述技术方案的有益效果为：可以使得服务器端操作人员实时地了解辅助机器人的作业周期进而可以合理规划时间，提高了工作人员的体验感和实用性。
在一个实施例中，所述根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数，包括：
根据工作区域中每个操作流程的操作区域确定辅助机器人的机械臂在工作区域中每个操作流程的位置偏移量；
基于位置偏移量和标准动作因子确定辅助机器人对于每个操作流程的机械臂状态变化参数；
将辅助机器人对于每个操作流程的机械臂状态变化参数划分为机械臂移动状态参数和机械臂转动状态参数；
根据划分结果和操作流程的对应关系设置辅助机器人在每项操作流程中的动作参数。
上述技术方案的有益效果为：可以有效地区分出机械臂处于移动状态下的动作参数和处于静止状态下的旋转动作参数，对每个操作流程进行详细的区分和动作参数制定，避免辅助机器人在操作过程中出现控制中断和流程混合情况的发生，进一步地提高了工作效率和稳定性。
在一个实施例中，对高精度定点捕捉图像进行拼接处理，包括：
获取每张定点捕捉图像对应位置定点的相对位置关系；
根据所有位置定点之间的相对位置关系确定所有定点捕捉图像之间的排列顺序；
基于所述排列顺序生成所有定点捕捉图像之间的图像序列，从图像序列中读取相邻的两幅定点捕捉图像；
检测相邻的两幅定点捕捉图像中每幅定点捕捉图像的边界图像特征描述向量；
对相邻的两幅定点捕捉图像的边界图像特征描述向量进行配准对齐处理，获取处理结果；
根据处理结果判断所有定点捕捉图像之间的排列是否正确，若是，获取每张定点捕捉图像的左右边界像素点的映射信息；若否，对所有定点捕捉图像进行重新排列直到判断其排列正确为止；
根据每张定点捕捉图像的左右边界像素点的映射信息获取该张定点捕捉图像中每个边界像素点的映射属性和映射坐标；
获取每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距；
基于每张定点捕捉图像中每个边界像素点的映射属性和映射坐标以及每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距选择目标拼接方式，所述目标拼接方式包括全局拼接和定点拼接；
根据所述目标拼接方式调取拼接程序按照所有定点捕捉图像之间的图像序列对高精度定点捕捉图像进行拼接处理。
在本实施例中，相对位置关系表示为每张定点捕捉图像对应位置定点的位置角度关系；
在本实施例中，图像序列表示为所有定点捕捉图像的图像拼接序列；
在本实施例中，边界图像特征描述向量表示为每幅定点捕捉图像的边界像素点的图像特征向量表示；
在本实施例中，映射信息表示为每张定点捕捉图像的左右边界像素点的映射像素值和映射坐标信息以及映射内容信息。
上述技术方案的有益效果为：通过对所有定点捕捉图像之间的排列进行正确与否判断可以保证各个定点捕捉图像之间的排序准确性，保证了后续图像拼接的可靠性，进一步地，通过根据每张定点捕捉图像中每个边界像素点的映射属性和映射坐标以及每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距选择目标拼接方式可以最大化地保证拼接后的图像视觉稳定，保证了图像拼接稳定性。
本实施例还公开了一种基于机器视觉的高精度工业协作机器人控制方法，如图4所示，包括以下步骤：
步骤S401、基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
步骤S402、采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
步骤S403、对高精度定点捕捉图像进行分析以定位工作区域；
步骤S404、控制辅助机器人对工作区域进行精密化操作。
上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。
本领域技术人员应当理解的是，本发明中的第一、第二指的是不同应用阶段而已。
本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (9)
1.一种基于机器视觉的高精度工业协作机器人系统，其特征在于，该系统包括：
设置模块，用于基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
采集模块，用于采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
定位模块，用于在高精度定点捕捉图像中定位出工作区域；
控制模块，用于控制辅助机器人对工作区域进行精密化操作；
所述设置模块，包括：
第一获取子模块，用于获取辅助机器人的预设视觉拍摄参数，根据预设视觉拍摄参数确定辅助机器人的最佳视觉拍摄范围；
计算子模块，用于基于目标工业区域的区域面积和辅助机器人的预设视觉比例计算出最佳拍摄区域范围；
确定子模块，用于基于辅助机器人的最佳视觉拍摄范围和目标工业区域的最佳拍摄区域范围确定多个第一拍摄点；
筛选子模块，用于基于目标工业区域内工作流水线上的三维工业设备图像以视觉效果为评估条件筛选出第二拍摄点，将第二拍摄点作为辅助机器人的设置视觉拍摄点。
2.根据权利要求1所述基于机器视觉的高精度工业协作机器人系统，其特征在于，所述采集模块，包括：
调取子模块，用于根据监控视频调取目标对象在目标工业区域内的位置信息；
设置子模块，用于根据目标对象在目标工业区域内的位置信息和每个视觉拍摄点之间的位置关系设置辅助机器人的拍摄焦距参数和分辨率参数；
采集子模块，用于采集设置参数后的辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
预处理子模块，用于对高精度定点捕捉图像进行预处理。
3.根据权利要求1所述基于机器视觉的高精度工业协作机器人系统，其特征在于，所述定位模块，包括：
处理子模块，用于对高精度定点捕捉图像进行拼接处理；
第二获取子模块，用于根据拼接结果获取目标对象的独立结构和混合结构；
第三获取子模块，用于获取混合结构的区域参数；
定位子模块，用于根据混合结构的区域参数对工作区域进行定位。
4.根据权利要求1所述基于机器视觉的高精度工业协作机器人系统，其特征在于，所述控制模块，包括：
第四获取子模块，用于根据预设工业程序获取辅助机器人对于工作区域的精密化操作流程和每个流程的操作参数；
生成子模块，用于根据精密化操作流程和每个流程的操作参数生成工作指令序列；
上传子模块，用于将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数；
控制子模块，用于根据控制参数控制辅助机器人对工作区域进行精密化操作。
5.根据权利要求4所述基于机器视觉的高精度工业协作机器人系统，其特征在于，上传子模块将工作指令序列上传到辅助机器人的控制服务器中以使其生成辅助机器人对应的控制参数，包括：
通过预设通信方式连接控制服务器，将工作指令序列进行加密并且上传到控制服务器上；
利用控制服务器解析工作指令序列确定每项操作流程的形式描述因子；
基于每项操作流程的形式描述因子从数据库中调取每项操作流程的标准动作因子；
根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数；
根据辅助机器人在每项操作流程中的动作参数生成辅助机器人对应的控制参数。
6.根据权利要求5所述基于机器视觉的高精度工业协作机器人系统，其特征在于，所述系统还用于：
构建辅助机器人的动力学模型；
根据动力学模型获取辅助机器人对于每项操作流程的预期作用力；
根据辅助机器人对于每项操作流程的预期作用力确定辅助机器人对于该项操作流程的单周期完成度；
基于辅助机器人对于每项操作流程的单周期完成度评估出辅助机器人对于该项操作流程的第一作业时长；
统计出辅助机器人对于每项操作流程的第一作业时长并且进行整合以计算出辅助机器人的作业周期，将作业周期上传到控制服务器上。
7.根据权利要求5所述基于机器视觉的高精度工业协作机器人系统，其特征在于，所述根据每项操作流程的标准动作因子和工作区域中该操作流程的操作区域设置辅助机器人在每项操作流程中的动作参数，包括：
根据工作区域中每个操作流程的操作区域确定辅助机器人的机械臂在工作区域中每个操作流程的位置偏移量；
基于位置偏移量和标准动作因子确定辅助机器人对于每个操作流程的机械臂状态变化参数；
将辅助机器人对于每个操作流程的机械臂状态变化参数划分为机械臂移动状态参数和机械臂转动状态参数；
根据划分结果和操作流程的对应关系设置辅助机器人在每项操作流程中的动作参数。
8.根据权利要求3所述基于机器视觉的高精度工业协作机器人系统，其特征在于，对高精度定点捕捉图像进行拼接处理，包括：
获取每张定点捕捉图像对应位置定点的相对位置关系；
根据所有位置定点之间的相对位置关系确定所有定点捕捉图像之间的排列顺序；
基于所述排列顺序生成所有定点捕捉图像之间的图像序列，从图像序列中读取相邻的两幅定点捕捉图像；
检测相邻的两幅定点捕捉图像中每幅定点捕捉图像的边界图像特征描述向量；
对相邻的两幅定点捕捉图像的边界图像特征描述向量进行配准对齐处理，获取处理结果；
根据处理结果判断所有定点捕捉图像之间的排列是否正确，若是，获取每张定点捕捉图像的左右边界像素点的映射信息；若否，对所有定点捕捉图像进行重新排列直到判断其排列正确为止；
根据每张定点捕捉图像的左右边界像素点的映射信息获取该张定点捕捉图像中每个边界像素点的映射属性和映射坐标；
获取每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距；
基于每张定点捕捉图像中每个边界像素点的映射属性和映射坐标以及每张定点捕捉图像中相邻边界像素点的垂直像素间距以及该张定点捕捉图像与拼接定点图像的边界像素点之间的水平像素间距选择目标拼接方式，所述目标拼接方式包括全局拼接和定点拼接；
根据所述目标拼接方式调取拼接程序按照所有定点捕捉图像之间的图像序列对高精度定点捕捉图像进行拼接处理。
9.一种基于机器视觉的高精度工业协作机器人控制方法，其特征在于，包括以下步骤：
基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点；
采集辅助机器人在每个视觉拍摄点上对于目标工业区域内目标对象的高精度定点捕捉图像；
对高精度定点捕捉图像进行分析以定位工作区域；
控制辅助机器人对工作区域进行精密化操作；
所述基于目标工业区域的区域面积设置辅助机器人的视觉拍摄点，包括：
获取辅助机器人的预设视觉拍摄参数，根据预设视觉拍摄参数确定辅助机器人的最佳视觉拍摄范围；
基于目标工业区域的区域面积和辅助机器人的预设视觉比例计算出最佳拍摄区域范围；
基于辅助机器人的最佳视觉拍摄范围和目标工业区域的最佳拍摄区域范围确定多个第一拍摄点；
基于目标工业区域内工作流水线上的三维工业设备图像以视觉效果为评估条件筛选出第二拍摄点，将第二拍摄点作为辅助机器人的设置视觉拍摄点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310586941.7A CN116330322B (zh) | 2023-05-24 | 2023-05-24 | 基于机器视觉的高精度工业协作机器人系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310586941.7A CN116330322B (zh) | 2023-05-24 | 2023-05-24 | 基于机器视觉的高精度工业协作机器人系统及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116330322A CN116330322A (zh) | 2023-06-27 |
| CN116330322B true CN116330322B (zh) | 2023-08-29 |
Family
ID=86879028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310586941.7A Active CN116330322B (zh) | 2023-05-24 | 2023-05-24 | 基于机器视觉的高精度工业协作机器人系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116330322B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116713514B (zh) * | 2023-07-28 | 2023-11-03 | 嘉钢精密工业(盐城)有限公司 | 基于机器视觉的铸造件加工孔精准定位系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109910010A (zh) * | 2019-03-23 | 2019-06-21 | 广东石油化工学院 | 一种高效控制机器人的系统及方法 |
| CN110253581A (zh) * | 2019-06-25 | 2019-09-20 | 华北水利水电大学 | 一种基于视觉识别的辅助抓取方法 |
| CN113996499A (zh) * | 2021-09-27 | 2022-02-01 | 普洛赛斯(苏州)软件科技有限公司 | 一种用于自动化工业点胶机器人的智能定位系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10258425B2 (en) * | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
-
2023
- 2023-05-24 CN CN202310586941.7A patent/CN116330322B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109910010A (zh) * | 2019-03-23 | 2019-06-21 | 广东石油化工学院 | 一种高效控制机器人的系统及方法 |
| CN110253581A (zh) * | 2019-06-25 | 2019-09-20 | 华北水利水电大学 | 一种基于视觉识别的辅助抓取方法 |
| CN113996499A (zh) * | 2021-09-27 | 2022-02-01 | 普洛赛斯(苏州)软件科技有限公司 | 一种用于自动化工业点胶机器人的智能定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116330322A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112122840B (zh) | 一种基于机器人焊接的视觉定位焊接系统及焊接方法 | |
| JP4021413B2 (ja) | 計測装置 | |
| JP6770605B2 (ja) | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム | |
| US20180350056A1 (en) | Augmented reality application for manufacturing | |
| CN110125926B (zh) | 自动化的工件取放方法及系统 | |
| EP1584426B1 (en) | Tool center point calibration system | |
| CN105234943A (zh) | 一种基于视觉识别的工业机器人示教装置及方法 | |
| CN116330322B (zh) | 基于机器视觉的高精度工业协作机器人系统及控制方法 | |
| US20050273199A1 (en) | Robot system | |
| CN107088892A (zh) | 一种基于双目视觉的工业机器人运动精度检测方法 | |
| CN110148187A (zh) | 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统 | |
| CN104802186A (zh) | 制作用于拍摄工件的机器人程序的机器人程序设计装置 | |
| WO2018223038A1 (en) | Augmented reality application for manufacturing | |
| CN111432197A (zh) | 施工监测方法及系统 | |
| CN112734370A (zh) | 一种基于bim的工程监理信息管理方法及系统 | |
| CN111590593A (zh) | 机械臂的标定方法、装置、系统及存储介质 | |
| WO2021036587A1 (zh) | 面向电力巡检场景的定位方法及系统 | |
| CN115351389A (zh) | 自动焊接方法和装置、电子设备及存储介质 | |
| CN110039520B (zh) | 一种基于图像对比的示教、加工系统 | |
| CN112529856A (zh) | 确定操作对象位置的方法、机器人和自动化系统 | |
| CN112059983A (zh) | 一种用于装配工件的方法、装置及计算机可读介质 | |
| CN115147356A (zh) | 光伏板巡检定位方法、装置、设备及存储介质 | |
| Cheng | Robot manipulation of 3D cylindrical objects with a robot-mounted 2D vision camera | |
| CN115916480A (zh) | 机器人示教方法和机器人作业方法 | |
| Feng et al. | A dual-camera assisted method of the SCARA robot for online assembly of cellphone batteries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |