CN114833825A - 协作机器人控制方法、装置、计算机设备和存储介质 - Google Patents
协作机器人控制方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114833825A CN114833825A CN202210408266.4A CN202210408266A CN114833825A CN 114833825 A CN114833825 A CN 114833825A CN 202210408266 A CN202210408266 A CN 202210408266A CN 114833825 A CN114833825 A CN 114833825A
- Authority
- CN
- China
- Prior art keywords
- cooperative
- coordinate system
- points
- dynamic
- robots
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 19
- 239000011159 matrix material Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本申请涉及一种协作机器人控制方法、装置、计算机设备和存储介质，对两个以上的协作机器人进行控制，各协作机器人上均设置有图像采集装置，控制方法包括：将各协作机器人统一在一个世界坐标系下，通过各图像采集装置视觉定位特征点，基于特征点建立动态坐标系，根据动态坐标系生成动态轨迹工作点，将轨迹工作点发送至各协作机器人，使各协作机器人根据轨迹工作点工作。采用本方法能够提供更精准的工作性能，通过图像采集装置单机视觉定位特征点，将多台协作机器人统一起来，生成动态轨迹，使各协作机器人协同工作，共同完成产品不固定、工作区域较大以及工作点较多的工艺流程，使用范围广，还能大大降低人力成本，提升工作效率。
Description
技术领域
本申请涉及机器人技术领域，特别是涉及一种协作机器人控制方法、装置、计算机设备和存储介质。
背景技术
随着机器人技术的发展，协作机器人在工业3C、汽车电子、生活日用品以及生物安全等领域发挥了不可代替的作用，在提高产品质量、生产效率的同时，也可以保障人的生命安全。
在协作机器人实际应用中，许多制造业工艺定位依赖于机械定位，协作机器人仅需要确保任务动作的重复精度，不需要对物体进行识别和定位，就能完成任务。例如绝大多数的3C产品定点搬运、模具加工和激光焊接等。但机械定位依然有自身的弊端，例如仅针对小型应用场景、任务流程单一且效率低下，应对不了复杂工业流程的应用，使用范围受限。
发明内容
基于此，有必要针对上述技术问题，提供一种能够多机协同、提高工作效率的协作机器人控制方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种协作机器人控制方法，用于对两个以上的协作机器人进行控制，各所述协作机器人上均设置有图像采集装置，所述控制方法包括：
将各所述协作机器人统一在一个世界坐标系下；
通过各所述图像采集装置视觉定位特征点；
基于所述特征点建立动态坐标系；
根据所述动态坐标系生成动态轨迹工作点；
将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
在其中一个实施例中，所述基于所述特征点建立动态坐标系，包括：
根据所述特征点获取各所述图像采集装置的拍照位和对应的特征模板；
根据所述拍照位和所述特征模板得到基础特征位置和工作点；
在各所述协作机器人上示教所述基础特征位置和工作点，建立动态坐标系。
在其中一个实施例中，所述在各所述协作机器人上示教所述基础特征位置和工作点，建立动态坐标系之后，还包括：
控制所述基础特征位置处于所述图像采集装置的视野下。
在其中一个实施例中，所述根据所述动态坐标系生成动态轨迹工作点，包括：
将所述动态坐标系经过仿射变换后，生成动态轨迹工作点。
在其中一个实施例中，所述将各所述协作机器人统一在一个世界坐标系下，包括：
通过标定板将各所述协作机器人统一在一个世界坐标系下。
在其中一个实施例中，所述将各所述协作机器人统一在一个世界坐标系下之前，还包括：
将各所述协作机器人和各所述图像采集装置分配到同一个网段。
第二方面，本申请还提供了一种协作机器人控制装置，用于对两个以上的协作机器人进行控制，各所述协作机器人上均设置有图像采集装置，所述控制装置包括：
坐标统一模块，用于将各所述协作机器人统一在一个世界坐标系下；
图像采集模块，用于通过各所述图像采集装置视觉定位特征点；
坐标系建立模块，用于基于所述特征点建立动态坐标系；
轨迹生成模块，用于根据所述动态坐标系生成动态轨迹工作点；
轨迹控制模块，用于将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将各所述协作机器人统一在一个世界坐标系下；
通过各所述图像采集装置视觉定位特征点；
基于所述特征点建立动态坐标系；
根据所述动态坐标系生成动态轨迹工作点；
将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将各所述协作机器人统一在一个世界坐标系下；
通过各所述图像采集装置视觉定位特征点；
基于所述特征点建立动态坐标系；
根据所述动态坐标系生成动态轨迹工作点；
将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
将各所述协作机器人统一在一个世界坐标系下；
通过各所述图像采集装置视觉定位特征点；
基于所述特征点建立动态坐标系；
根据所述动态坐标系生成动态轨迹工作点；
将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
上述协作机器人控制方法、装置、计算机设备和存储介质，对两个以上的协作机器人进行控制，各协作机器人上均设置有图像采集装置，控制方法包括：将各协作机器人统一在一个世界坐标系下，通过各图像采集装置视觉定位特征点，基于特征点建立动态坐标系，根据动态坐标系生成动态轨迹工作点，将轨迹工作点发送至各协作机器人，使各协作机器人根据轨迹工作点工作，在协作机器人上设置图像采集装置可以将协作机器人和机器视觉结合，提供了更精准的工作性能，通过图像采集装置单机视觉定位特征点，将多台协作机器人统一起来，生成动态轨迹，使各协作机器人协同工作，共同完成产品不固定、工作区域较大以及工作点较多的工艺流程，使用范围广，还能大大降低人力成本，提升工作效率。
附图说明
图1为一个实施例中协作机器人控制方法的流程图；
图2为另一个实施例中协作机器人控制方法的流程图；
图3为一个实施例中协作机器人控制方法的详细流程图；
图4为一个实施例中协作机器人控制装置的结构框图；
图5为一个实施例中计算机设备的内部结构图；
图6为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的协作机器人控制方法，用于对两个以上的协作机器人进行控制，各协作机器人上均设置有图像采集装置。具体地，图像采集装置可以设置在机器人的机械臂上，机械臂带着图像采集装置移动，也可以设置在其他位置，按需设置即可。图像采集装置一般可以为相机，如CCD相机等，也可以为红外摄像头等其他类型的装置。
在一个实施例中，如图1所示，提供了一种协作机器人控制方法，用于对两个以上的协作机器人进行控制，各协作机器人上均设置有图像采集装置。协作机器人的的类型并不是唯一的，例如可以为搬运机器人、焊接机器人、模具加工机器人或工业打螺丝机等。该控制方法可以由设置于其中一个协作机器人中的控制器执行，各协作机器人之间可以通讯。或者，该协作机器人控制方法也可以由服务器执行，服务器与各协作机器人之间可以进行数据传输。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。控制方法包括以下步骤：
步骤201，将各协作机器人统一在一个世界坐标系下。
其中，由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。将各协作机器人统一在一个世界坐标系下，是指将各协作机器人和设置于协作机器人上的图像采集装置均统一在一个世界坐标系下，便于后续操作。
步骤203，通过各图像采集装置视觉定位特征点。
其中，特征点是产品的特征点，一般指产品上特征明显，具有高对比度的点，且特征点通常在产品上位置固定不变，产品是指协作机器人的作业对象。视觉定位是指图像采集装置采集到产品的图像后，在图像中寻找和确定特征点的过程。
步骤205，基于特征点建立动态坐标系。
得到产品的特征点后，可以结合协作机器人的位置、图像采集装置的位置，以及根据特征点的位置建立动态坐标系。
步骤207，根据动态坐标系生成动态轨迹工作点。
其中，动态轨迹工作点是指协作机器人工作时需要到达的各个工作点的集合。
获取到动态坐标系后，可以通过一定的变换，生成动态轨迹工作点。具体的变换过程并不是唯一的，只要本领域技术人员认为可以实现即可。
步骤209，将轨迹工作点发送至各协作机器人，使各协作机器人根据轨迹工作点工作。
具体地，根据协作机器人控制方法的执行主体不同，该步骤可以选用不同的实现方式。例如，当协作机器人控制方法的执行主体为其中一个协作机器人的控制器时，每个协作机器人的控制器都可以执行上述步骤，以获得动态轨迹工作点。然后，各台协作机器人之间可以通过指令调用相对应的轨迹工作点，生成工作轨迹，然后根据工作轨迹完成工作，可以节约硬件成本。或者，当协作机器人控制方法的执行主体为独立于协作机器人之外的计算机或者服务器时，得到轨迹工作点后，可以直接将轨迹工作点发送至各个协作机器人，使各个协作机器人根据轨迹工作点生成的工作轨迹工作，可以提高工作效率。
上述协作机器人控制方法中，在协作机器人上设置图像采集装置可以将协作机器人和机器视觉结合，提供了更精准的工作性能，通过图像采集装置单机视觉定位特征点，将多台协作机器人统一起来，生成动态轨迹，使各协作机器人协同工作，共同完成产品不固定、工作区域较大以及工作点较多的工艺流程，使用范围广，还能大大降低人力成本，提升工作效率。
在一个实施例中，如图2所示，步骤205包括步骤302至步骤306。
步骤302，根据特征点获取各图像采集装置的拍照位和对应的特征模板。
其中，拍照位是指图像采集装置拍照定位时候的物理坐标位置，特征模板是指图像采集装置定位时建立的模型，后续可根据模型去匹配产品上的特征。特征模板的确定是需要找到产品上特征明显，具有高对比度的特征点且固定位置不变，拍照位根据特征模板在在产品上的位置进行确定。
步骤304，根据拍照位和特征模板得到基础特征位置和工作点。
基础特征位置是指协作机器人记录的特征点的位置，工作点是指协作机器人实际工作的位置。在实际工作中，基础特征位置是协作机器人带着图像采集装置在拍照位拍照定位特征模板的位置。
步骤306，在各协作机器人上示教基础特征位置和工作点，建立动态坐标系。
具体地，示教过程是获取协作机器人末端点到特征模板的位置和工作点的位置，并将其记录下来，通过仿射变换建立联系。通过示教过程之后，特征模板建立一个世界坐标系，此时工作点坐标在这个世界坐标系中是固定点位。之后在实际工作中，各协作机器人带着图像采集装置分别拍特征模板获取位置，经过仿射变换，建立动态坐标系，一旦坐标系建立完成，工作点位置轨迹就确定了。
在一个实施例中，如图2所示，步骤306之后，步骤205还包括步骤308。
步骤308，控制基础特征位置处于图像采集装置的视野下。
示教完成之后，图像采集装置的位置通常固定不动。图像采集装置会有拍照范围，可通过外部机械粗定位，控制基础特征位置处于图像采集装置的视野下，从而提高动态坐标系的准确性。
在一个实施例中，如图2所示，步骤207包括步骤217。
步骤217，将动态坐标系经过仿射变换后，生成动态轨迹工作点。
仿射变换是从一个二维坐标系变换到另一个二维坐标系的过程，属于线性变换。通过已知两对坐标点可以求得变换矩阵，在向量空间(动态坐标系)中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间(动态轨迹工作点)的过程。
具体地，仿射变换的过程公式可以由一个矩阵A和一个向量B给出：
原像素点坐标(x,y)，经过仿射变换后的点的坐标是T，则矩阵仿射变换基本算法原理：
所以仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，其数学表达式如下：
通过示教过程之后，特征模板点建立一个世界坐标系，此时工作点坐标在这个世界坐标系中是固定点位。之后在实际工作中，各协作机器人带着图像采集装置分别拍特征模板获取位置，经过仿射变换，建立动态坐标系，一旦坐标系建立完成，工作点位置轨迹就确定了。
在一个实施例中，如图2所示，步骤201包括步骤211。
步骤211，通过标定板将各协作机器人统一在一个世界坐标系下。
其中，标定板是图像采集装置与协作机器人建立联系的一种工具，例如将相机与机械臂建立联系。标定板的类型并不唯一，通常有棋盘格式和实心圆阵列式标定板等。标定板通常有两种设置方式，一种是“眼在手上”，标定板就固定不动，机械臂带着相机移动，另一种是“眼在手外”，标定板就跟随机械臂一起移动，相机固定不动。
在本实施例中，以协作机器人的数量为两台，图像采集和装置为相机，相机设置在协作机器人的机械臂上为例，标定板采用的是“眼在手上”的标定方式，两台协作机器人带着相机与同一固定标定板进行标定。标定原理是两台协作机器人之间通过标定板将自己物理坐标系统一到一个世界坐标系(协作机器人可以通过标定板基准改变自身坐标系的原点和方向)，协作机器人带着相机移动9点(3×3的矩阵)，获取9个点在世界坐标下的物理坐标和相机坐标系下的像素坐标，计算出相机内参像素当量(一个像素代表实际物理量，例如两个点之间实际物理间距是10mm，像素间距是100pixel，像素当量＝10/100＝0.1mm/pixel)，之后通过矩阵变换将相机像素坐标系和世界坐标系统一来。
在一个实施例中，如图2所示，步骤201之前，协作机器人控制方法还包括步骤200。
步骤200，将各协作机器人和各图像采集装置分配到同一个网段。
其中，同一个网段是指网络段相同的地址，子网掩码是用来切割地址的网络地址和主机地址的，但是反过来看，同一网段的地址子网掩码一定相同，为每个网段都分配一个IP地址段，这就是同一网段。将各协作机器人和各图像采集装置分配到同一个网段，便于各协作机器人和图像采集装置之间的相互通讯，提高通信效率。
为了更好地理解上述实施例，以下结合一个具体的实施例进行详细的解释说明。在一个实施例中，协作机器人控制方法用于对两个以上的协作机器人进行控制，各协作机器人上均设置有图像采集装置。以协作机器人的数量为两个，图像采集装置为相机，相机设置在协作机器人的机械臂上为例，将相机安装在协作机器人末端，单机视觉定位特征，将多台协作机器人统一起来，生成动态轨迹，解决大工作范围多工作点问题。将多台协作机器人经过标定统一在一个世界坐标下，视觉定位特征点后通过“两点法”或“三点法”建立动态坐标系，经过仿射变换，生成动态轨迹工作点，多台协作机器人通过指令调用相对应的工作轨迹完成工作。以下以两台协作机器人为例，请参见图3。
具体地，开始时，启动所有协作机器人和相机并将其分配到同一个网段，将相机1安装在协作机器人1末端，将相机2安装到协作机器人2末端，通过标定板将协作机器人1、协作机器人2、相机1和相机2统一到一个世界坐标系下。标定板是相机与机械臂建立联系的一种工具，通常有棋盘格式和实心圆阵列式标定板。标定板通常有两种设置方式，一种是“眼在手上”，标定板就固定不动，机械臂带着相机移动，另一种是“眼在手外”，标定板就跟随机械臂一起移动，相机固定不动。
在本实施例中，标定板采用的是“眼在手上”的标定方式，两台协作机器人带着相机与同一固定标定板进行标定。标定原理是两台协作机器人之间通过标定板将自己物理坐标系统一到一个世界坐标系(协作机器人可以通过标定板基准改变自身坐标系的原点和方向)，协作机器人带着相机移动9点(3×3的矩阵)，获取9个点在世界坐标下的物理坐标和相机坐标系下的像素坐标，计算出相机内参像素当量(一个像素代表实际物理量，例如两个点之间实际物理间距是10mm，像素间距是100pixel，像素当量＝10/100＝0.1mm/pixel)，之后通过矩阵变换将相机像素坐标系和世界坐标系统一来。
接着，分别确定相机1和相机2的拍照位以及其相对应的特征模板。拍照位是指相机拍照定位时候的物理坐标位置，特征模板是指相机定位的建立的模型，后续根据模型去匹配产品上的特征。特征模板的确定是需要找到产品上特征明显，具有高对比度的特征点，且固定位置不变，拍照位的确定是根据特征模板在在产品上的位置进行确定。
然后，分别在协作机器人1和协作机器人2上示教基础特征位置1和位置2点以及工作点。示教的过程是将协作机器人末端点到特征模板的位置和工作点的位置记录下来，并通过仿射变换建立联系。位置1是指协作机器人1记录的特征模板1的位置；位置2是指协作机器人2记录特征模板2的位置，工作点是指协作机器人1和协作机器人2实际工作的位置。实际工作中，位置1是协作机器人1带着相机在拍照位1拍照定位特征模板的位置，位置2是协作机器人带着相机在拍照位2拍照定位特征模板的位置。
之后，保证特征位置1和位置2分别在相机1和相机2的视野下。相机位置示教完成之后不会动，相机会有拍照范围，通过外部机械粗定位，保证产品上的特征位置在相机拍照范围之内。
接着，视觉定位，将特征位置1和位置2的世界坐标分别发给协作机器人1和协作机器人2进行仿射变换，计算出动态轨迹工作点。
仿射变换是从一个二维坐标系变换到另一个二维坐标系的过程，属于线性变换。通过已知两对坐标点可以求得变换矩阵，在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程。
具体地，仿射变换的过程公式可以由一个矩阵A和一个向量B给出：
原像素点坐标(x,y)，经过仿射变换后的点的坐标是T，则矩阵仿射变换基本算法原理：
所以仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，其数学表达式如下：
通过示教过程之后，特征模板点建立一个世界坐标系，此时工作工作点坐标在这个世界坐标系中是固定点位；之后在实际工作中，协作机器人1带着相机和协作机器人2带着相机分别拍特征模板获取位置，经过仿射变换，建立动态坐标系，一旦坐标系建立完成，工作点位置轨迹就确定了。
最后，协作机器人1和协作机器人2分别获取工作点，并行执行任务，最终协同完成工作。
上述协作机器人控制方法，多机协作机器人之间视觉特征点位置共享，标定到同一个世界坐标系，提高系统整机定位速度，解决大工作范围内的数据一致性。能够使多机协作机器人共同完成产品不固定、工作区域较大以及工作点较多的工艺流程，比如工业打螺丝和工业点胶以等相关工艺，可以大大降低人力成本，提升工作效率。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的协作机器人控制方法的协作机器人控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个协作机器人控制装置实施例中的具体限定可以参见上文中对于协作机器人控制方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种协作机器人控制装置，包括：坐标统一模块110、图像采集模块120、坐标系建立模块130、轨迹生成模块140和轨迹控制模块150，其中：
坐标统一模块110，用于将各协作机器人统一在一个世界坐标系下；
图像采集模块120，用于通过各图像采集装置视觉定位特征点；
坐标系建立模块130，用于基于特征点建立动态坐标系；
轨迹生成模块140，用于根据动态坐标系生成动态轨迹工作点；
轨迹控制模块150，用于将轨迹工作点发送至各协作机器人，使各协作机器人根据轨迹工作点工作。
在一个实施例中，坐标系建立模块130用于根据特征点获取各图像采集装置的拍照位和对应的特征模板，根据拍照位和特征模板得到基础特征位置和工作点，在各协作机器人上示教基础特征位置和工作点，建立动态坐标系。
在一个实施例中，坐标系建立模块130还用于在各协作机器人上示教基础特征位置和工作点，建立动态坐标系之后，控制基础特征位置处于图像采集装置的视野下。
在一个实施例中，轨迹生成模块140用于将动态坐标系经过仿射变换后，生成动态轨迹工作点。
在一个实施例中，坐标统一模块110用于通过标定板将各协作机器人统一在一个世界坐标系下。
在一个实施例中，协作机器人控制装置还包括网段分配模块100，网段分配模块100用于在坐标统一模块110将各协作机器人统一在一个世界坐标系下之前，将各协作机器人和各图像采集装置分配到同一个网段。
上述协作机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储轨迹工作点数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种协作机器人控制方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和通信接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种协作机器人控制方法。
本领域技术人员可以理解，图5和6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种协作机器人控制方法，其特征在于，用于对两个以上的协作机器人进行控制，各所述协作机器人上均设置有图像采集装置，所述控制方法包括：
将各所述协作机器人统一在一个世界坐标系下；
通过各所述图像采集装置视觉定位特征点；
基于所述特征点建立动态坐标系；
根据所述动态坐标系生成动态轨迹工作点；
将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
2.根据权利要求1所述的协作机器人控制方法，其特征在于，所述基于所述特征点建立动态坐标系，包括：
根据所述特征点获取各所述图像采集装置的拍照位和对应的特征模板；
根据所述拍照位和所述特征模板得到基础特征位置和工作点；
在各所述协作机器人上示教所述基础特征位置和工作点，建立动态坐标系。
3.根据权利要求2所述的协作机器人控制方法，其特征在于，所述在各所述协作机器人上示教所述基础特征位置和工作点，建立动态坐标系之后，还包括：
控制所述基础特征位置处于所述图像采集装置的视野下。
4.根据权利要求1所述的协作机器人控制方法，其特征在于，所述根据所述动态坐标系生成动态轨迹工作点，包括：
将所述动态坐标系经过仿射变换后，生成动态轨迹工作点。
5.根据权利要求1所述的协作机器人控制方法，其特征在于，所述将各所述协作机器人统一在一个世界坐标系下，包括：
通过标定板将各所述协作机器人统一在一个世界坐标系下。
6.根据权利要求1所述的协作机器人控制方法，其特征在于，所述将各所述协作机器人统一在一个世界坐标系下之前，还包括：
将各所述协作机器人和各所述图像采集装置分配到同一个网段。
7.一种协作机器人控制装置，其特征在于，用于对两个以上的协作机器人进行控制，各所述协作机器人上均设置有图像采集装置，所述控制装置包括：
坐标统一模块，用于将各所述协作机器人统一在一个世界坐标系下；
图像采集模块，用于通过各所述图像采集装置视觉定位特征点；
坐标系建立模块，用于基于所述特征点建立动态坐标系；
轨迹生成模块，用于根据所述动态坐标系生成动态轨迹工作点；
轨迹控制模块，用于将所述轨迹工作点发送至各所述协作机器人，使各所述协作机器人根据所述轨迹工作点工作。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210408266.4A CN114833825A (zh) | 2022-04-19 | 2022-04-19 | 协作机器人控制方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210408266.4A CN114833825A (zh) | 2022-04-19 | 2022-04-19 | 协作机器人控制方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114833825A true CN114833825A (zh) | 2022-08-02 |
Family
ID=82564858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210408266.4A Pending CN114833825A (zh) | 2022-04-19 | 2022-04-19 | 协作机器人控制方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114833825A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880291A (zh) * | 2023-02-22 | 2023-03-31 | 江西省智能产业技术创新研究院 | 汽车总成防错识别方法、系统、计算机及可读存储介质 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030144765A1 (en) * | 2002-01-31 | 2003-07-31 | Babak Habibi | Method and apparatus for single camera 3D vision guided robotics |
| US20150070503A1 (en) * | 2002-06-04 | 2015-03-12 | General Electric Company | Video system and method for data communication |
| JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
| CN105066831A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种单一或多机器人系统协同工作坐标系的标定方法 |
| WO2017199196A1 (en) * | 2016-05-19 | 2017-11-23 | Politecnico Di Milano | Method and device for controlling the motion of one or more collaborative robots |
| US20170336776A1 (en) * | 2014-12-26 | 2017-11-23 | Kawasaki Jukogyo Kabushiki Kaisha | Robot motion program generating method and robot motion program generating apparatus |
| KR20180039436A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 공항용 청소 로봇 및 그의 동작 방법 |
| WO2018113392A1 (zh) * | 2016-12-20 | 2018-06-28 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| CN109352658A (zh) * | 2018-12-04 | 2019-02-19 | 中冶赛迪工程技术股份有限公司 | 工业机器人定位操控方法、系统及计算机可读存储介质 |
| KR102034542B1 (ko) * | 2018-07-10 | 2019-10-21 | 주식회사 성우하이텍 | 부품 조립용 로봇 시스템 및 제어방법 |
| US20200086487A1 (en) * | 2018-09-13 | 2020-03-19 | The Charles Stark Draper Laboratory, Inc. | Robot Interaction With Human Co-Workers |
| KR102111655B1 (ko) * | 2019-11-01 | 2020-06-04 | 주식회사 뉴로메카 | 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 |
| WO2020125851A1 (de) * | 2018-12-21 | 2020-06-25 | Rittal Gmbh & Co. Kg | Verfahren zur robotergestützten verdrahtung von elektrischen komponenten einer auf einer montageplatte angeordneten elektrischen schaltanlage |
| EP3705239A1 (en) * | 2019-03-01 | 2020-09-09 | Arrival Limited | Calibration system and method for robotic cells |
| US20200338731A1 (en) * | 2019-04-25 | 2020-10-29 | Michael L. Lynders | Mobile robotic camera platform |
| EP3787463A1 (en) * | 2018-05-04 | 2021-03-10 | Lg Electronics Inc. | Plurality of autonomous mobile robots and controlling method for the same |
| CN112659123A (zh) * | 2020-12-14 | 2021-04-16 | 南京工程学院 | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 |
| US20210299861A1 (en) * | 2018-09-28 | 2021-09-30 | Mitsubishi Heavy Industries, Ltd. | Control system and control method |
| CN113706628A (zh) * | 2021-08-17 | 2021-11-26 | 成都信息工程大学 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
| CN114347038A (zh) * | 2022-02-17 | 2022-04-15 | 西安建筑科技大学 | 一种交汇管道双臂协作焊接机器人及控制系统 |
-
2022
- 2022-04-19 CN CN202210408266.4A patent/CN114833825A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030144765A1 (en) * | 2002-01-31 | 2003-07-31 | Babak Habibi | Method and apparatus for single camera 3D vision guided robotics |
| US20150070503A1 (en) * | 2002-06-04 | 2015-03-12 | General Electric Company | Video system and method for data communication |
| JP2015182144A (ja) * | 2014-03-20 | 2015-10-22 | キヤノン株式会社 | ロボットシステムおよびロボットシステムの校正方法 |
| US20170336776A1 (en) * | 2014-12-26 | 2017-11-23 | Kawasaki Jukogyo Kabushiki Kaisha | Robot motion program generating method and robot motion program generating apparatus |
| CN105066831A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种单一或多机器人系统协同工作坐标系的标定方法 |
| WO2017199196A1 (en) * | 2016-05-19 | 2017-11-23 | Politecnico Di Milano | Method and device for controlling the motion of one or more collaborative robots |
| KR20180039436A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 공항용 청소 로봇 및 그의 동작 방법 |
| WO2018113392A1 (zh) * | 2016-12-20 | 2018-06-28 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助系统及方法 |
| EP3787463A1 (en) * | 2018-05-04 | 2021-03-10 | Lg Electronics Inc. | Plurality of autonomous mobile robots and controlling method for the same |
| KR102034542B1 (ko) * | 2018-07-10 | 2019-10-21 | 주식회사 성우하이텍 | 부품 조립용 로봇 시스템 및 제어방법 |
| US20200086487A1 (en) * | 2018-09-13 | 2020-03-19 | The Charles Stark Draper Laboratory, Inc. | Robot Interaction With Human Co-Workers |
| US20210299861A1 (en) * | 2018-09-28 | 2021-09-30 | Mitsubishi Heavy Industries, Ltd. | Control system and control method |
| CN109352658A (zh) * | 2018-12-04 | 2019-02-19 | 中冶赛迪工程技术股份有限公司 | 工业机器人定位操控方法、系统及计算机可读存储介质 |
| WO2020125851A1 (de) * | 2018-12-21 | 2020-06-25 | Rittal Gmbh & Co. Kg | Verfahren zur robotergestützten verdrahtung von elektrischen komponenten einer auf einer montageplatte angeordneten elektrischen schaltanlage |
| EP3705239A1 (en) * | 2019-03-01 | 2020-09-09 | Arrival Limited | Calibration system and method for robotic cells |
| US20200338731A1 (en) * | 2019-04-25 | 2020-10-29 | Michael L. Lynders | Mobile robotic camera platform |
| KR102111655B1 (ko) * | 2019-11-01 | 2020-06-04 | 주식회사 뉴로메카 | 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 |
| CN112659123A (zh) * | 2020-12-14 | 2021-04-16 | 南京工程学院 | 一种基于线结构光视觉的双机器人曲线焊接协同规划方法 |
| CN113706628A (zh) * | 2021-08-17 | 2021-11-26 | 成都信息工程大学 | 一种智能搬运机器人协作系统及其对特征图像的处理方法 |
| CN114347038A (zh) * | 2022-02-17 | 2022-04-15 | 西安建筑科技大学 | 一种交汇管道双臂协作焊接机器人及控制系统 |
Non-Patent Citations (3)
| Title |
|---|
| 焦恩璋;徐顺清;: "基于视觉伺服的机器人作业系统研究", 组合机床与自动化加工技术, no. 07, 20 July 2009 (2009-07-20), pages 70 - 72 * |
| 燕浩;程小虎;杨正蒙;张聪;: "基于手眼关系与基坐标关系的协作焊接机器人标定", 机械工程与自动化, no. 04, pages 32 - 35 * |
| 靳璞磊;张丽艳;: "一种基于摄影测量的自动分拣系统标定方法", 机械制造与自动化, no. 04, pages 225 - 230 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880291A (zh) * | 2023-02-22 | 2023-03-31 | 江西省智能产业技术创新研究院 | 汽车总成防错识别方法、系统、计算机及可读存储介质 |
| CN115880291B (zh) * | 2023-02-22 | 2023-06-06 | 江西省智能产业技术创新研究院 | 汽车总成防错识别方法、系统、计算机及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114012731B (zh) | 手眼标定方法、装置、计算机设备和存储介质 | |
| CN113601503B (zh) | 手眼标定方法、装置、计算机设备和存储介质 | |
| CN114260908B (zh) | 机器人示教方法、装置、计算机设备和计算机程序产品 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
| CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| Taryudi et al. | Eye to hand calibration using ANFIS for stereo vision-based object manipulation system | |
| CN112330752A (zh) | 多相机联合标定方法、装置、终端设备及可读存储介质 | |
| CN114833825A (zh) | 协作机器人控制方法、装置、计算机设备和存储介质 | |
| CN115042184A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
| CN115625709A (zh) | 一种手眼标定方法、装置和计算机设备 | |
| CN116038701B (zh) | 一种四轴机械臂的手眼标定方法及装置 | |
| CN114750160B (zh) | 机器人控制方法、装置、计算机设备和存储介质 | |
| CN114677429B (zh) | 一种机械手的定位方法、装置、计算机设备和存储介质 | |
| CN114406985B (zh) | 一种目标追踪的机械臂方法、系统、设备及存储介质 | |
| CN115741666A (zh) | 机器人手眼标定方法、机器人及机器人作业方法 | |
| Seçil et al. | 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot | |
| CN115567781A (zh) | 基于灵巧摄像头的拍摄方法、装置和计算机设备 | |
| CN112743546B (zh) | 机器人手眼标定位姿选择方法、装置、机器人系统及介质 | |
| CN116408790A (zh) | 机器人控制方法、装置、系统及存储介质 | |
| CN114505864A (zh) | 一种手眼标定方法、装置、设备及存储介质 | |
| CN112815851A (zh) | 手眼标定方法及装置、系统、电子设备、存储介质 | |
| CN112847350A (zh) | 手眼标定方法、系统、计算机设备和存储介质 | |
| Qiao et al. | A new approach to self-calibration of hand-eye vision systems | |
| Xu et al. | A fast and straightforward hand-eye calibration method using stereo camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |