CN105643624A - 一种机器视觉控制方法及机器人控制器与机器人控制系统 - Google Patents

一种机器视觉控制方法及机器人控制器与机器人控制系统 Download PDF

Info

Publication number
CN105643624A
CN105643624A CN201610122709.8A CN201610122709A CN105643624A CN 105643624 A CN105643624 A CN 105643624A CN 201610122709 A CN201610122709 A CN 201610122709A CN 105643624 A CN105643624 A CN 105643624A
Authority
CN
China
Prior art keywords
interface
epa
embedded dual
robot
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610122709.8A
Other languages
English (en)
Other versions
CN105643624B (zh
Inventor
祖利辉
丁茂实
刘春国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Keyuan Intelligent Technology Group Co.,Ltd.
Original Assignee
Nanjing Sciyon Automation Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sciyon Automation Group Co Ltd filed Critical Nanjing Sciyon Automation Group Co Ltd
Priority to CN201610122709.8A priority Critical patent/CN105643624B/zh
Publication of CN105643624A publication Critical patent/CN105643624A/zh
Application granted granted Critical
Publication of CN105643624B publication Critical patent/CN105643624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Control By Computers (AREA)

Abstract

本发明公开了一种机器视觉控制方法及机器人控制器与机器人控制系统。该机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；其中，嵌入式双核微处理器包括运动核和应用核；运动核处理PLC命令及运动命令；应用核进行图像处理，并发送至运动核。本发明机器人控制器集成度高，将机器视觉和机器人控制器集成到同一控制器上，体积小功耗低便于移动，用户应用时只需要采购通用网络摄像头，无须另外采购专用机器视觉设备。

Description

一种机器视觉控制方法及机器人控制器与机器人控制系统
技术领域
本发明涉及一种机器视觉控制方法及具有机器视觉的机器人控制器与机器人控制系统。
背景技术
随着信息和计算机技术的发展，越来越多的工业机器人设备使用到了工业生产中。机器视觉系统的特点是提供生产柔性和自动化程度。在一些不适合于人工作业的危险环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉，大大提高生产效率及自动化程度。因此机器视觉也越来越多的与机器人协同工作。但是目前机器人控制器普遍不具有机器视觉功能，必须通过开发或采购相应的机器视觉模块才能实现与机器人的协同工作，这种专用机器视觉模块往往价格高昂供应商唯一，这给机器人设备使用和维护带来了一系列的困难。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，提供一种可直接用于机器人控制器的、操作简单的机器视觉控制方法。
为了达到上述目的，本发明提供了一种机器视觉控制方法，该机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；其中，嵌入式双核微处理器包括运动核和应用核；运动核处理PLC命令及运动命令；应用核进行图像处理，并发送至运动核。
上述运动核内置PLC任务和运动任务；应用核内置算法模块；进行视觉控制的具体方法如下：
（1）运动核中通信任务周期性发送DO信号触发网路摄像头拍照；
（2）网络摄像头将采集到的图像附带时间信息，通过网络传送给应用核；
（3）应用核收到图像后，调用算法模块进行处理；
（4）判断有无目标物体，如果有，进入步骤（5）；如果无，返回步骤（1）；
（5）将目标物体的位置通过运动核和应用核的共用缓存区发送至运动核；
（6）运动核中PLC任务更新物体目标变量，并通知运动任务进行抓取或装配操作。
本发明还公开了一种采用上述视觉控制方法的机器人控制器，包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、数字输入接口(DI)、数字输出接口(DO)、DDR3存储器、RS485接口、上述嵌入式双核微处理器；通用以太网接口通过交换机芯片与嵌入式双核微处理器相连；第一工业以太网接口、第二工业以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口分别与嵌入式双核微处理器相连；嵌入式双核微处理器分别通过通用以太网接口和数字输出接口与上述网络摄像头相连。
第一工业以太网接口与嵌入式双核微处理器的运动核相连；第二工业以太网接口、RS485接口、数字输入接口、数字输出接口分别与嵌入式双核微处理器的应用核相连；嵌入式双核微处理器的运动核和应用核通过DDR3存储器交互数据进行通信。
本发明还提供了一种具有机器视觉的机器人控制系统，包括上述机器人控制器，该机器人控制系统还包括伺服电机、ModbusTCP设备、示教器、上位机、光源控制器和安全模块；伺服电机为一个或多个，分别与第一工业以太网接口相连；ModbusTCP设备为一个或多个，分别与第二工业以太网接口相连；示教器和上位机分别与通用以太网接口相连；一个数字输入接口和一个数字输出接口排列为一组数字输入输出接口；数字输入输出接口为两组或两组以上，其中两组数字输入输出接口分别与网络摄像头和安全模块相连。
本发明相比现有技术具有以下优点：
1、本发明对传统的机器人控制器采用单核微处理器进行改进，利用嵌入式双核微处理器，并采用非对称多处理构架，将双核分为运动核和应用核：运动核负责机器人相关运算及于电机的工业以太网通讯；应用核负责与上位机的通讯、与网络摄像机的通讯、图像处理、与光源控制器通讯、与其他外部以太网设备的通讯。
2、本发明采用共享内存与核间中断的方式在双核间交互数据，数据传输相应快，保证了整个系统通讯的稳定与可靠。同时为了保证实时性，应用核中机器视觉处理任务处于低优先级。
3、本发明机器人控制器集成度高，将机器视觉和机器人控制器集成到同一控制器上，体积小功耗低便于移动，用户应用时只需要采购通用网络摄像头，无须另外采购专用机器视觉设备。
4、本发明机器人控制器运动控制能力强，实时性高，对于六轴串联机器人插补计算周期最短2ms，Ethercat通讯时间抖动小于5us，支持多种路径插补。
5、支持的机器人类型及电机参数可通过非易失性存储器进行配置。
6、本发明通过第二工业以太网接口可灵活扩展其他设备；通过RS485接口与光源控制器通讯；通过一个数字输入（DI）接口和一个数字输出(DO)接口与安全模块相连，可以检测当前安全模块的状态。
附图说明
图1为本发明机器人控制器的结构框图；
图2为本发明机器人控制系统的结构框图；
图3为本发明及其视觉控制方法的流程图。
具体实施方式
下面结合附图对本发明进行详细说明。
如图1所示，本发明机器人控制器包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、嵌入式双核微处理器、交换机芯片、四组数字输入输出接口（包括四个数字输入(DI)、四个数字输出（DO）接口）、DDR3存储器、RS485接口。嵌入式双核微处理器分别与第一工业以太网接口、第二工业以太网接口、非易失性存储器、交换机芯片、四组数字输入输出接口、DDR3存储器、RS485接口相连。通用以太网接口速度高达千兆，通过交换机芯片和嵌入式双核微处理器相连。结合图2，本发明机器人控制系统包括机器人控制器、光源控制器、示教器、上位机、网络摄像头、若干伺服电机、若干ModbusTCP设备、安全模块。嵌入式双核微处理器采用非对称多处理构架（AMP），即每一个核运行一个独立的实时操作系统。按照用途将两个核分为运动核和应用核：运动核内置PLC任务和运动任务，实现运动学、动力学功能；应用核实用及其视觉算法处理网络摄像头传来的图像，并将结果发送给运动核。第一工业以太网接口由运动核控制，支持Ethercat协议，与若干伺服电机（本实施例采用3个伺服电机）相连，负责与伺服电机的Ethercat通信。第二工业以太网接口由应用核控制，支持ModbusTCP协议，与外部ModbusTCP设备通信相连。通用以太网接口由应用核控制，通过一个交换机芯片扩展成4路RJ45接口，与网络摄像头、示教器、上位机、其他机器人控制器相连。四组数字输入输出接口中，一组数字输入输出接口与工业相机相连接，另一组数字输入输出接口与安全模块相连，可以检测当前安全模块的状态，其余数字输入输出接口的DO和DI点作为备用，可与外部开关量设备相连接。与运动核通过第一工业以太网接口实现Ethercat协议栈与伺服电机通讯，处理IO信号。应用核通过通用以太网接口处理上位机/示教器指令，通过第二工业以太网接口实现ModbusTCP主站功能，利用RS485接口与光源控制器通讯调节光源亮度。双核之间通过共用缓存区（DDR3存储器）的方式交互数据。为保证实时性，应用核中机器视觉处理任务处于低优先级。
非易失性存储器中的文件系统挂接到应用核，应用核读取运动和初始化所需的配置文件，并将其发送给运动核。配置文件包括控制器配置文件，ModbusTCP配置文件。配置软件可对机器人类型、尺寸参数、电机零点位置、减速比等机器人参数进行修改，将修改后的配置文件存入到非易失性存储器中，可对ModbusTCP的主从站类型进行选择，对TCP主/从站参数进行设置,对缓存数据到PLC缓存的映射关系进行设置。机器视觉的处理过程和缓存区映射关系通过视觉软件进行配置，视觉软件将配置结果存放在视觉配置文件中。
具体工作过程如下：将控制器的一组数字输入输出接口（具体为一个DI点和一个DO点）、通用以太网接口与网络摄像头相连。机器人上电后，应用核读取视觉配置文件中相关参数并将其加载到程序中。运动核启动时也读取视觉配置文件中内容，建立变量表及映射关系。首先运动核中通信任务周期性发送DO信号触发网络摄像头拍照，并记录下时间，网络摄像头将采集到的图像通过网络传送到应用核，然后应用核收到相关图像后调用配置的算法模块进行处理，处理完成后将目标的位置通过共用缓存区发送给运动核，最后运动核中的PLC任务更新物体目标变量并通知运动任务进行抓取或装配操作。如果目标未出现则等待下一次通信任务触发。

Claims (5)

1.一种机器视觉控制方法，其特征在于：所述机器视觉控制方法通过网络摄像头进行图像采集，通过嵌入式双核微处理器进行控制处理；所述嵌入式双核微处理器包括运动核和应用核；所述运动核处理PLC命令及运动命令；所述应用核进行图像处理，并发送至运动核。
2.根据权利要求1所述的视觉控制方法，其特征在于：所述运动核内置PLC任务和运动任务；所述应用核内置算法模块；所述视觉控制方法的具体步骤如下：
（1）运动核中通信任务周期性发送DO信号触发网路摄像头拍照；
（2）网络摄像头将采集到的图像附带时间信息，通过网络传送给应用核；
（3）应用核收到图像后，调用算法模块进行处理；
（4）判断有无目标物体，如果有，进入步骤（5）；如果无，返回步骤（1）；
（5）将目标物体的位置通过运动核和应用核的共用缓存区发送至运动核；
（6）运动核中PLC任务更新物体目标变量，并通知运动任务进行抓取或装配操作。
3.一种采用权利要求1或2所述视觉控制方法的机器人控制器，其特征在于：包括第一工业以太网接口、第二工业以太网接口、通用以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口、所述嵌入式双核微处理器；所述通用以太网接口通过交换机芯片与所述嵌入式双核微处理器相连；所述第一工业以太网接口、第二工业以太网接口、非易失性存储器、数字输入接口、数字输出接口、DDR3存储器、RS485接口分别与所述嵌入式双核微处理器相连；所述嵌入式双核微处理器分别通过通用以太网接口和数字输出接口与所述网络摄像头相连。
4.根据权利要求3所述的机器人控制器，其特征在于：所述通用以太网接口通过交换机芯片与所述嵌入式双核微处理器的应用核相连；所述第一工业以太网接口与所述嵌入式双核微处理器的运动核相连；所述第二工业以太网接口、RS485接口、数字输入接口、数字输出接口分别与所述嵌入式双核微处理器的应用核相连；所述嵌入式双核微处理器的运动核和应用核通过所述DDR3存储器交互数据进行通信。
5.一种具有机器视觉的机器人控制系统，包括权利要求4所述的机器人控制器，其特征在于：所述机器人控制系统还包括伺服电机、ModbusTCP设备、示教器、上位机、光源控制器和安全模块；所述伺服电机为一个或多个，分别与所述第一工业以太网接口相连；所述ModbusTCP设备为一个或多个，分别与所述第二工业以太网接口相连；所述示教器和上位机分别与所述通用以太网接口相连；一个数字输入接口和一个数字输出接口排列为一组数字输入输出接口；所述数字输入输出接口为两组或两组以上，其中两组数字输入输出接口分别与所述网络摄像头和所述安全模块相连。
CN201610122709.8A 2016-03-04 2016-03-04 一种机器视觉控制方法及机器人控制器与机器人控制系统 Active CN105643624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610122709.8A CN105643624B (zh) 2016-03-04 2016-03-04 一种机器视觉控制方法及机器人控制器与机器人控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610122709.8A CN105643624B (zh) 2016-03-04 2016-03-04 一种机器视觉控制方法及机器人控制器与机器人控制系统

Publications (2)

Publication Number Publication Date
CN105643624A true CN105643624A (zh) 2016-06-08
CN105643624B CN105643624B (zh) 2018-03-27

Family

ID=56493121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610122709.8A Active CN105643624B (zh) 2016-03-04 2016-03-04 一种机器视觉控制方法及机器人控制器与机器人控制系统

Country Status (1)

Country Link
CN (1) CN105643624B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182003A (zh) * 2016-08-01 2016-12-07 清华大学 一种机械臂示教方法、装置及系统
CN106671083A (zh) * 2016-12-03 2017-05-17 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人系统
CN106881716A (zh) * 2017-02-21 2017-06-23 深圳市锐曼智能装备有限公司 基于3d摄像头机器人的人体跟随方法及系统
CN107127811A (zh) * 2017-06-20 2017-09-05 佛山世科智能技术有限公司 柔性材料切割机器人智能数字控制器及实现方法
CN107272578A (zh) * 2017-07-01 2017-10-20 华中科技大学 一种基于多核处理器的视觉伺服控制系统
CN108297114A (zh) * 2018-01-12 2018-07-20 珠海创思新能源科技有限公司 一种基于总线的多轴坐标机器人控制系统
CN108924027A (zh) * 2018-09-19 2018-11-30 武汉库迪智能技术有限公司 一种基于ARM内核的EtherCAT主站控制器
CN109015651A (zh) * 2018-08-27 2018-12-18 佛山华数机器人有限公司 一种基于示教器的视觉处理一体化系统及其应用方法
CN110666820A (zh) * 2019-10-12 2020-01-10 合肥泰禾光电科技股份有限公司 一种高性能工业机器人控制器
CN111708330A (zh) * 2020-06-10 2020-09-25 杭州凯尔达机器人科技股份有限公司 机器人数据传输系统
CN112975969A (zh) * 2021-02-26 2021-06-18 清华大学 机器人控制和视觉感知一体化控制器系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2500147A2 (en) * 2011-03-15 2012-09-19 Omron Corporation User support apparatus for an image processing system and image processing system
CN203371545U (zh) * 2013-07-12 2014-01-01 杭州金人自动控制设备有限公司 基于以太网的机械手运动控制系统
CN204143223U (zh) * 2014-11-07 2015-02-04 南京科远自动化集团股份有限公司 一种运动控制系统
CN104820418A (zh) * 2015-04-22 2015-08-05 遨博（北京）智能科技有限公司 一种针对机械臂的嵌入式视觉系统及其使用方法
CN105234951A (zh) * 2015-10-28 2016-01-13 苏州博众精工科技有限公司 一种智能化引导式机械手视觉系统及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2500147A2 (en) * 2011-03-15 2012-09-19 Omron Corporation User support apparatus for an image processing system and image processing system
CN203371545U (zh) * 2013-07-12 2014-01-01 杭州金人自动控制设备有限公司 基于以太网的机械手运动控制系统
CN204143223U (zh) * 2014-11-07 2015-02-04 南京科远自动化集团股份有限公司 一种运动控制系统
CN104820418A (zh) * 2015-04-22 2015-08-05 遨博（北京）智能科技有限公司 一种针对机械臂的嵌入式视觉系统及其使用方法
CN105234951A (zh) * 2015-10-28 2016-01-13 苏州博众精工科技有限公司 一种智能化引导式机械手视觉系统及其工作方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182003A (zh) * 2016-08-01 2016-12-07 清华大学 一种机械臂示教方法、装置及系统
CN106671083B (zh) * 2016-12-03 2019-03-19 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人系统
CN106671083A (zh) * 2016-12-03 2017-05-17 安徽松科智能装备有限公司 一种基于机器视觉检测的装配机器人系统
CN106881716A (zh) * 2017-02-21 2017-06-23 深圳市锐曼智能装备有限公司 基于3d摄像头机器人的人体跟随方法及系统
CN107127811A (zh) * 2017-06-20 2017-09-05 佛山世科智能技术有限公司 柔性材料切割机器人智能数字控制器及实现方法
CN107272578A (zh) * 2017-07-01 2017-10-20 华中科技大学 一种基于多核处理器的视觉伺服控制系统
CN108297114A (zh) * 2018-01-12 2018-07-20 珠海创思新能源科技有限公司 一种基于总线的多轴坐标机器人控制系统
CN109015651A (zh) * 2018-08-27 2018-12-18 佛山华数机器人有限公司 一种基于示教器的视觉处理一体化系统及其应用方法
CN108924027A (zh) * 2018-09-19 2018-11-30 武汉库迪智能技术有限公司 一种基于ARM内核的EtherCAT主站控制器
CN110666820A (zh) * 2019-10-12 2020-01-10 合肥泰禾光电科技股份有限公司 一种高性能工业机器人控制器
CN111708330A (zh) * 2020-06-10 2020-09-25 杭州凯尔达机器人科技股份有限公司 机器人数据传输系统
CN111708330B (zh) * 2020-06-10 2022-02-18 杭州凯尔达机器人科技股份有限公司 机器人数据传输系统
CN112975969A (zh) * 2021-02-26 2021-06-18 清华大学 机器人控制和视觉感知一体化控制器系统和方法

Also Published As

Publication number Publication date
CN105643624B (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN105643624A (zh) 一种机器视觉控制方法及机器人控制器与机器人控制系统
CN104552311B (zh) 基于EtherCAT的智能工业机器人总线模块及其操作方法
CN105137916B (zh) 一种振镜式激光扫描大幅面材料成形加工控制系统
CN105163510B (zh) 一种基于EtherCAT总线的贴片机控制系统
CN104820418B (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN104589357B (zh) 基于视觉跟踪的delta机器人控制系统和方法
CN104820403A (zh) 一种基于EtherCAT总线的8轴机器人控制系统
CN103240740A (zh) 机器人控制系统
CN109064820A (zh) 一种智能制造综合实训系统
CN205959050U (zh) 一体机控制装置
CN204143223U (zh) 一种运动控制系统
CN111496774A (zh) 一种机器人分布式控制系统及其方法
CN113566864A (zh) 一种基于5g和边缘计算的分布式机器视觉系统
CN110355759A (zh) 一种基于视觉的工业机器人涂胶控制系统
CN105702112A (zh) 一种教学型数控机床系统及其应用
JP2021534506A (ja) プログラマブルロジックコントローラベースの人工知能用モジュール式アクセラレーションモジュール
CN102880149A (zh) 一种分布式控制系统和数据报表生成方法
CN105955202B (zh) 一种基于网络的经济型嵌入式五轴数控系统及其控制方法
CN102244721A (zh) 一体式智能工业相机
CN209289290U (zh) 基于CANopen的轻型机械臂控制系统
CN104290095A (zh) 一种基于rc的高空清洗机器人控制系统及方法
CN106125676A (zh) 一种机器人控制系统
CN201804225U (zh) 一种热连轧仿真系统
CN105022341B (zh) 一种光纤柔性板自动布纤设备的控制装置与方法
CN204515479U (zh) 一种基于EtherCAT总线的8轴机器人控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Water Pavilion Road Jiangning District moling street Nanjing City, Jiangsu province 211100 No. 1266

Patentee after: Nanjing Keyuan Intelligent Technology Group Co.,Ltd.

Address before: Water Pavilion Road Jiangning District moling street Nanjing City, Jiangsu province 211100 No. 1266

Patentee before: NANJING SCIYON AUTOMATION GROUP Co.,Ltd.