CN105643624B - 一种机器视觉控制方法及机器人控制器与机器人控制系统 - Google Patents

Abstract

本发明公开了一种机器视觉控制方法及机器人控制器与机器人控制系统。该机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；其中，嵌入式双核微处理器包括运动核和应用核；运动核处理PLC命令及运动命令；应用核进行图像处理，并发送至运动核。本发明机器人控制器集成度高，将机器视觉和机器人控制器集成到同一控制器上，体积小功耗低便于移动，用户应用时只需要采购通用网络摄像头，无须另外采购专用机器视觉设备。

Description

一种机器视觉控制方法及机器人控制器与机器人控制系统

技术领域

本发明涉及一种机器视觉控制方法及具有机器视觉的机器人控制器与机器人控制系统。

背景技术

随着信息和计算机技术的发展，越来越多的工业机器人设备使用到了工业生产中。机器视觉系统的特点是提供生产柔性和自动化程度。在一些不适合于人工作业的危险环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉，大大提高生产效率及自动化程度。因此机器视觉也越来越多的与机器人协同工作。但是目前机器人控制器普遍不具有机器视觉功能，必须通过开发或采购相应的机器视觉模块才能实现与机器人的协同工作，这种专用机器视觉模块往往价格高昂供应商唯一，这给机器人设备使用和维护带来了一系列的困难。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，提供一种可直接用于机器人控制器的、操作简单的机器视觉控制方法。

为了达到上述目的，本发明提供了一种机器视觉控制方法，该机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；其中，嵌入式双核微处理器包括运动核和应用核；运动核处理PLC命令及运动命令；应用核进行图像处理，并发送至运动核。

上述运动核内置PLC任务和运动任务；应用核内置算法模块；进行视觉控制的具体方法如下：

（1）运动核中通信任务周期性发送DO信号触发网路摄像头拍照；

（2）网络摄像头将采集到的图像附带时间信息，通过网络传送给应用核；

（3）应用核收到图像后，调用算法模块进行处理；

（4）判断有无目标物体，如果有，进入步骤（5）；如果无，返回步骤（1）；

（5）将目标物体的位置通过运动核和应用核的共用缓存区发送至运动核；

（6）运动核中PLC任务更新物体目标变量，并通知运动任务进行抓取或装配操作。

本发明还公开了一种采用上述视觉控制方法的机器人控制器，包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、数字输入接口(DI)、数字输出接口(DO)、DDR3存储器、RS485接口、上述嵌入式双核微处理器；通用以太网接口通过交换机芯片与嵌入式双核微处理器相连；第一工业以太网接口、第二工业以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口分别与嵌入式双核微处理器相连；嵌入式双核微处理器分别通过通用以太网接口和数字输出接口与上述网络摄像头相连。

第一工业以太网接口与嵌入式双核微处理器的运动核相连；第二工业以太网接口、RS485接口、数字输入接口、数字输出接口分别与嵌入式双核微处理器的应用核相连；嵌入式双核微处理器的运动核和应用核通过DDR3存储器交互数据进行通信。

本发明还提供了一种具有机器视觉的机器人控制系统，包括上述机器人控制器，该机器人控制系统还包括伺服电机、Modbus TCP设备、示教器、上位机、光源控制器和安全模块；伺服电机为一个或多个，分别与第一工业以太网接口相连；Modbus TCP设备为一个或多个，分别与第二工业以太网接口相连；示教器和上位机分别与通用以太网接口相连；一个数字输入接口和一个数字输出接口排列为一组数字输入输出接口；数字输入输出接口为两组或两组以上，其中两组数字输入输出接口分别与网络摄像头和安全模块相连。

本发明相比现有技术具有以下优点：

1、本发明对传统的机器人控制器采用单核微处理器进行改进，利用嵌入式双核微处理器，并采用非对称多处理构架，将双核分为运动核和应用核：运动核负责机器人相关运算及于电机的工业以太网通讯；应用核负责与上位机的通讯、与网络摄像机的通讯、图像处理、与光源控制器通讯、与其他外部以太网设备的通讯。

2、本发明采用共享内存与核间中断的方式在双核间交互数据，数据传输相应快，保证了整个系统通讯的稳定与可靠。同时为了保证实时性，应用核中机器视觉处理任务处于低优先级。

3、本发明机器人控制器集成度高，将机器视觉和机器人控制器集成到同一控制器上，体积小功耗低便于移动，用户应用时只需要采购通用网络摄像头，无须另外采购专用机器视觉设备。

4、本发明机器人控制器运动控制能力强，实时性高，对于六轴串联机器人插补计算周期最短2ms，Ethercat通讯时间抖动小于5us，支持多种路径插补。

5、支持的机器人类型及电机参数可通过非易失性存储器进行配置。

6、本发明通过第二工业以太网接口可灵活扩展其他设备；通过RS485接口与光源控制器通讯；通过一个数字输入（DI）接口和一个数字输出(DO)接口与安全模块相连，可以检测当前安全模块的状态。

附图说明

图1为本发明机器人控制器的结构框图；

图2为本发明机器人控制系统的结构框图；

图3为本发明及其视觉控制方法的流程图。

具体实施方式

下面结合附图对本发明进行详细说明。

如图1所示，本发明机器人控制器包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、嵌入式双核微处理器、交换机芯片、四组数字输入输出接口（包括四个数字输入(DI)、四个数字输出（DO）接口）、DDR3存储器、RS485接口。嵌入式双核微处理器分别与第一工业以太网接口、第二工业以太网接口、非易失性存储器、交换机芯片、四组数字输入输出接口、DDR3存储器、RS485接口相连。通用以太网接口速度高达千兆，通过交换机芯片和嵌入式双核微处理器相连。结合图2，本发明机器人控制系统包括机器人控制器、光源控制器、示教器、上位机、网络摄像头、若干伺服电机、若干Modbus TCP设备、安全模块。嵌入式双核微处理器采用非对称多处理构架（AMP），即每一个核运行一个独立的实时操作系统。按照用途将两个核分为运动核和应用核：运动核内置PLC任务和运动任务，实现运动学、动力学功能；应用核实用及其视觉算法处理网络摄像头传来的图像，并将结果发送给运动核。第一工业以太网接口由运动核控制，支持Ethercat协议，与若干伺服电机（本实施例采用3个伺服电机）相连，负责与伺服电机的Ethercat通信。第二工业以太网接口由应用核控制，支持Modbus TCP协议，与外部Modbus TCP设备通信相连。通用以太网接口由应用核控制，通过一个交换机芯片扩展成4路RJ45接口，与网络摄像头、示教器、上位机、其他机器人控制器相连。四组数字输入输出接口中，一组数字输入输出接口与工业相机相连接，另一组数字输入输出接口与安全模块相连，可以检测当前安全模块的状态，其余数字输入输出接口的DO和DI点作为备用，可与外部开关量设备相连接。与运动核通过第一工业以太网接口实现Ethercat协议栈与伺服电机通讯，处理IO信号。应用核通过通用以太网接口处理上位机/示教器指令，通过第二工业以太网接口实现Modbus TCP主站功能，利用RS485接口与光源控制器通讯调节光源亮度。双核之间通过共用缓存区（DDR3存储器）的方式交互数据。为保证实时性，应用核中机器视觉处理任务处于低优先级。

非易失性存储器中的文件系统挂接到应用核，应用核读取运动和初始化所需的配置文件，并将其发送给运动核。配置文件包括控制器配置文件，Modbus TCP配置文件。配置软件可对机器人类型、尺寸参数、电机零点位置、减速比等机器人参数进行修改，将修改后的配置文件存入到非易失性存储器中，可对Modbus TCP的主从站类型进行选择，对TCP主/从站参数进行设置,对缓存数据到PLC缓存的映射关系进行设置。机器视觉的处理过程和缓存区映射关系通过视觉软件进行配置，视觉软件将配置结果存放在视觉配置文件中。

具体工作过程如下：将控制器的一组数字输入输出接口（具体为一个DI点和一个DO点）、通用以太网接口与网络摄像头相连。机器人上电后，应用核读取视觉配置文件中相关参数并将其加载到程序中。运动核启动时也读取视觉配置文件中内容，建立变量表及映射关系。首先运动核中通信任务周期性发送DO信号触发网络摄像头拍照，并记录下时间，网络摄像头将采集到的图像通过网络传送到应用核，然后应用核收到相关图像后调用配置的算法模块进行处理，处理完成后将目标的位置通过共用缓存区发送给运动核，最后运动核中的PLC任务更新物体目标变量并通知运动任务进行抓取或装配操作。如果目标未出现则等待下一次通信任务触发。

Claims (1)

1.一种机器视觉控制方法，其特征在于：所述机器视觉控制方法采用机器人控制系统；所述机器人控制系统包括机器人控制器、伺服电机、Modbus TCP设备、示教器、上位机、光源控制器、网络摄像头和安全模块；所述机器人控制器包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口、嵌入式双核微处理器；所述通用以太网接口通过交换机芯片与所述嵌入式双核微处理器相连；所述第一工业以太网接口、第二工业以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口分别与所述嵌入式双核微处理器相连；所述嵌入式双核微处理器分别通过通用以太网接口和数字输出接口与所述网络摄像头相连；所述嵌入式双核微处理器的双核分为运动核和应用核；所述通用以太网接口通过交换机芯片与所述嵌入式双核微处理器的应用核相连；所述第一工业以太网接口与所述嵌入式双核微处理器的运动核相连；所述第二工业以太网接口、RS485接口、数字输入接口、数字输出接口分别与所述嵌入式双核微处理器的应用核相连；所述嵌入式双核微处理器的运动核和应用核通过所述DDR3存储器交互数据进行通信；所述伺服电机为一个或多个，分别与所述第一工业以太网接口相连；所述Modbus TCP设备为一个或多个，分别与所述第二工业以太网接口相连；所述示教器和上位机分别与所述通用以太网接口相连；一个数字输入接口和一个数字输出接口排列为一组数字输入输出接口；所述数字输入输出接口为两组或两组以上，其中两组数字输入输出接口分别与所述网络摄像头和所述安全模块相连；

所述机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；所述嵌入式双核微处理器的运动核处理PLC命令及运动命令；所述应用核进行图像处理，并发送至运动核；

所述运动核内置PLC任务和运动任务；所述应用核内置算法模块；所述机器视觉控制方法的具体步骤如下：

（1）运动核中通信任务周期性发送DO信号触发网路摄像头拍照；

（2）网络摄像头将采集到的图像附带时间信息，通过网络传送给应用核；

（3）应用核收到图像后，调用算法模块进行处理；

（4）判断有无目标物体，如果有，进入步骤（5）；如果无，返回步骤（1）；

（5）将目标物体的位置通过运动核和应用核的共用缓存区发送至运动核；

（6）运动核中PLC任务更新物体目标变量，并通知运动任务进行抓取或装配操作。