CN105583857A - 一种机器人视觉系统 - Google Patents

Abstract

本发明属于机器人视觉技术领域，尤其涉及一种机器人视觉系统。所述机器人视觉系统包括相机、机器人控制柜、机器人RC控制器、视觉处理器和交换机，所述机器人RC控制器、视觉处理器和交换机均设置于机器人控制柜中，所述相机及机器人RC控制器均通过交换机与视觉处理器网络连接。本发明通过将视觉处理器集成在机器人控制柜中，在结构上减小相机的尺寸和重量，应用较为方便，并有利于降低相机成本；视觉处理器采用基于X86结构的PC104板卡为处理器，比现有智能相机中的处理器计算能力更强，并且具有足够的空间散热，系统可靠性更强。

Description

一种机器人视觉系统

技术领域

本发明属于机器人视觉技术领域，尤其涉及一种机器人视觉系统。

背景技术

工业机器人与视觉的结合是未来的发展方向，目前在工业机器人领域应用的视觉系统一般分为两类：一类是采用智能相机，即相机和处理器集成在一起，视觉算法运行在处理器当中，智能相机配置上位机软件模块，通过上位机软件模块可以实现对智能相机中算法输入参数做相应的配置；还有一类是采用普通工业相机，并配置PC机，普通相机只有相机和镜头，没有处理器，视觉算法运行在PC机上面。

两类视觉系统各有优缺点：第一类采用智能相机集成度比较高，但由于相机尺寸不能做很大，这样对于处理器的尺寸、处理能力、散热等有较高要求，增加了相机的成本，另外，这种智能相机尺寸和重量比较大，如果放在机器人末端的话，对机器人末端设计和负重是一个考验，应用较为不便；另一类采用普通工业相机集成度没有智能相机高，但是由于单独配置用于算法运行的PC机，虽然计算能力较强，其成本和智能相机差不多。

发明内容

本发明提供了一种机器人视觉系统，旨在解决现有的机器人视觉系统相机成本高、尺寸和重量大，增加机器人负重等技术问题。

本发明是这样实现的，一种机器人视觉系统，包括相机、机器人控制柜、机器人RC控制器、视觉处理器和交换机，所述机器人RC控制器、视觉处理器和交换机均设置于机器人控制柜中，所述相机及机器人RC控制器均通过交换机与视觉处理器网络连接。

本发明实施例采取的技术方案还包括：还包括视觉处理器软件模块、视觉算法软件模块和上位机软件模块，所述视觉处理器软件模块和视觉算法软件模块运行于视觉处理器中，所述上位机软件模块运行于PC机中，所述PC机通过以太网与视觉处理器连接，通过所述PC机对视觉处理器软件模块和视觉算法软件模块进行相关算法参数配置，并通过以太网输入到视觉处理器中，实现用户与视觉处理器之间的交互。

本发明实施例采取的技术方案还包括：所述视觉处理器软件模块包括视觉算法模块、相机驱动模块和网络通信模块；

所述视觉算法模块中包括视觉应用算法单元和视觉工具包，所述视觉应用算法单元用于完成种类工件的识别与测量，所述视觉工具包用于实现二次开发；

所述相机驱动模块中集成现有主流工业相机的驱动程序，用于实现各种相机与视觉处理器的连接；

所述网络通信模块中集成有机器人或自动化设备厂商的通信协议，用于实现视觉处理器与机器人RC控制器、相机及其他自动化设备之间的通信。

本发明实施例采取的技术方案还包括：所述视觉处理器软件模块还包括视觉配置模块和视觉日志模块；

所述视觉配置模块用于实现视觉处理器与上位机软件模块之间的信息交互，用户通过PC机对所述视觉应用算法单元和视觉工具包做相关操作，在视觉配置模块中能够及时的获得用户的操作信息并根据用户操作信息做出相应的配置；

所述视觉日志模块用于处理视觉算法及相机工作信息，包括识别或测量结果以及出错时的图像信息。

本发明实施例采取的技术方案还包括：所述视觉算法软件模块包括视觉算法库和视觉典型应用库，所述视觉算法库包括基础数学函数单元、视觉基础函数单元和视觉应用函数单元，所述视觉典型应用库包括面向各种应用开发的视觉算法，用于实现机器人搬运、码垛、分拣或装配，包括传送带分拣、机床上下料、轮毂识别或液晶模组识别。

本发明实施例采取的技术方案还包括：所述上位机软件模块包括显示模块、功能选择模块、参数配置模块和二次开发模块；

所述显示模块用于实时显示相机拍摄到的图片；

所述功能选择模块用于用户在视觉典型应用库或视觉工具包中选择相应的功能；

所述参数配置模块用于针对不同工件配置视觉典型应用库中的相关参数；

所述二次开发模块用于对视觉工具包进行编程或组合，实现视觉识别或检测。

本发明实施例采取的技术方案还包括：所述视觉处理器为基于X86的PC104板卡。

本发明实施例采取的技术方案还包括：所述视觉处理器中还包括存储器，所述存储器采用工业级别的CF卡，所述CF卡上面运行Linux操作系统，用于进行线程调度。

本发明实施例采取的技术方案还包括：所述机器人控制柜中还设有风扇设备，所述风扇设备用于为机器人RC控制器和视觉处理器散热。

本发明实施例采取的技术方案还包括：所述视觉处理器与机器人RC控制器的机械尺寸、机械接口及电气接口一致。

本发明实施例的机器人视觉系统通过将视觉处理器集成在机器人控制柜中，在结构上减小相机的尺寸和重量，应用较为方便，并有利于降低相机成本；视觉算法运行在视觉处理器中，上位机软件模块运行于PC机中，用户可通过上位机软件模块实现与视觉处理器之间的交互；视觉处理器采用基于X86结构的PC104板卡为处理器，比现有智能相机中的处理器计算能力更强，并且具有足够的空间散热，系统可靠性更强。

附图说明

附图1是本发明实施例的机器人视觉系统硬件的结构示意图；

附图2是机器人控制柜效果图；

附图3是机器人控制柜中放置板卡的笼子的效果图；

附图4是本发明实施例的机器人控制柜中的通信总线连接示意图；

附图5是本发明实施例的视觉处理器软件的结构示意图；

附图6是本发明实施例的机器人视觉系统应用示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的机器人视觉系统硬件的结构示意图。本发明实施例的机器人视觉系统硬件包括相机、光源、机器人控制柜、机器人RC控制器、视觉处理器和交换机，其中，相机采用“eye-on-hand”或“eye-in-hand”的固定方式。“eye-on-hand”方式是指相机固定在传输带上方的支架上面或其它设备的支架上。而“eye-in-hand”方式是指相机固定在机器人手臂末端上面。光源固定在相机周围。机器人RC控制器、视觉处理器和交换机均设置于机器人控制柜中。相机及机器人RC控制器通过交换机与视觉处理器网络(以太网)连接。视觉处理器是整个机器人视觉系统的核心，采用基于X86的PC104板卡为处理器，比现有智能相机中的处理器计算能力更强。视觉处理器上还设有散热片(图未示)，机器人控制柜中还设有风扇设备，通过风扇设备为机器人RC控制器和视觉处理器提供散热，使系统可靠性更强。视觉处理器中还包括存储器，存储器采用工业级别的CF卡(CompactFlash，一种用于便携式电子设备的数据存储设备)，CF卡上面运行Linux操作系统，用于进行线程调度。

在本发明实施例中，视觉处理器采用工业通用的机械接口和电气接口，可方便视觉处理器接入到机器人控制柜中，具体如图2和图3所示，图2为机器人控制柜效果图，图3为机器人控制柜中放置板卡的笼子的效果图。其中，图2右侧为机器人RC控制器，而视觉处理器与机器人RC控制器在机械尺寸、机械接口及电气接口方面是一样的，只需在机器人控制柜中放置板卡的笼子一侧再加个机械固定单元即可将视觉处理器接入到机器人控制柜中。在机器人控制柜内部，机器人RC控制器与I/O板、驱动器等设备通过控制总线连接，机器人RC控制器与视觉处理器通过系统总线连接，这样视觉处理器与机器人RC控制器通信不影响其内部总线通信，具体请一并参阅图4，是本发明实施例的机器人控制柜中的通信总线连接示意图，其中，①为系统总线：EtherNET，②为控制总线：ECAT，③为外部总线：PROFIBUS、Devicenet、CCLINK。

请参阅图5，是本发明实施例的机器人视觉系统软件的结构示意图。本发明实施例的机器人视觉系统软件包括视觉处理器软件模块、视觉算法软件模块和上位机软件模块。其中，视觉处理器软件模块和视觉算法软件模块运行于视觉处理器中，上位机软件模块运行于PC机中，PC机通过以太网与视觉处理器网络连接，用户可通过PC机对视觉处理器软件模块和视觉算法软件模块进行相关算法参数配置，并通过以太网输入到视觉处理器中，实现用户与视觉处理器之间的交互，当完成配置后，视觉处理器即可独立工作；具体地：

视觉处理器软件模块包括视觉算法模块、相机驱动模块、网络通信模块、视觉配置模块和视觉日志模块。

视觉算法模块中包括视觉应用算法单元和视觉工具包，视觉应用算法单元用于完成某些种类工件的识别与测量，视觉工具包用于实现简单的二次开发。

相机驱动模块中集成现有主流工业相机(非智能相机)的驱动程序，用于实现各种相机与视觉处理器的连接，增加了视觉处理器的适用范围。

网络通信模块用于实现视觉处理器与机器人RC控制器、相机以及其他自动化设备之间的通信，并且将其他机器人或自动化设备厂商的通信协议集成在网络通信模块当中，增加视觉处理器的适用范围。

视觉配置模块用于实现视觉处理器与上位机软件模块之间的信息交互，上位机软件模块运行于PC机中，用户通过PC机对视觉应用算法单元和视觉工具包做相关操作，在视觉配置模块中能够及时的获得用户的操作信息并根据用户操作信息做出相应的配置。

视觉日志模块用于处理视觉算法及相机工作信息，包括识别或测量结果以及出错时的图像信息等。

视觉算法软件模块中包括视觉算法库和视觉典型应用库。

视觉算法库包括基础数学函数单元、视觉基础函数单元和视觉应用函数单元。其中，基础数学函数单元包括矩阵运算、数学变换等函数。视觉基础函数单元包括图像滤波、图像变换、图像几何变换等视觉函数。视觉应用函数单元为不同应用中常用到的视觉函数，如图像分割、运动分析、纹理分析等。为了方便用户进行简单的二次开发，可将视觉算法库形成视觉工具包，用户在PC机中调用不同视觉工具并进行组合，通过显示界面看到图像处理和测量的结果，当满足应用需求时，点击“确定”即可在视觉处理器中实现相应的算法。

视觉典型应用库是面向各种应用开发的视觉算法，用于实现机器人搬运、码垛、分拣、装配等作业，包括传送带分拣、机床上下料、轮毂识别或液晶模组识别等。传送带分拣是面向工业现场中传送带上面各种工件的识别与分拣作业，具有典型性，目前大部分智能相机都支持这种应用。轮毂识别是针对汽车制造中汽车轮毂的检测，从而引导机器人抓取，可以支持各种形状、各种尺寸轮毂的检测，识别算法参数的改变可通过上位机软件模块进行配置。液晶模组识别可以实现液晶模组及类似形状工件的检测，支持不同尺寸工件的识别，同样，识别算法参数的改变可在上位机软件模块中进行配置。

上位机软件模块包括显示模块、功能选择模块、参数配置模块和二次开发模块。

显示模块用于实时显示相机拍摄到的图片。

功能选择模块用于用户在视觉典型应用库或视觉工具包中选择相应的功能。

参数配置模块用于针对不同工件配置视觉典型应用库中的工作范围等相关参数。由于视觉典型应用库的工作范围是一种的工件，在这类工件中对于不同种的工件的检测需要用到不同的参数，可以通过参数配置模块进行相关配置。

二次开发模块用于对视觉工具包进行编程或组合，不同视觉工具的简单组合即可实现视觉识别或检测的应用。

请参阅图6，是本发明实施例的机器人视觉系统应用示意图。相机及光源1采用“eye-in-hand”方式固定在210kg机器人2的手臂末端。在本发明其他实施例中，相机及光源也可采用eye-on-hand”方式固定在传输带上方的支架上面或其它设备的支架上。视觉处理器(图未示)和交换机(图未示)安装在机器人控制柜3中。相机电源(图未示)及网线(图未示)通过机器人2本体里面的走线通道连接到机器人控制柜3中。视觉识别及计算算法运行在视觉处理器中，上位机软件模块运行在PC机中。在算法工作前，通过PC机完成算法参数配置，并通过以太网输入到视觉处理器中，这时视觉处理器可脱离PC机独立工作。机器人RC控制器通过通信协议与视觉处理器通信，第一工件4和第二工件5由机器人2运送过来，由于机器人2有定位误差，工件到达工位的位置相对于机器人来说是不固定的，通过机器人视觉系统对工件精确位置进行识别，然后引导机器人2准确抓取工件，将第一工件4先抓取放置在装配台6上后，第二工件5再被抓取，并将其装配到第一工件4上，实现机器人与机器人视觉系统的协调调度，完成整个装配作业。可以理解，本发明同样适用于及其它自动化设备的装配应用。

本发明实施例的机器人视觉系统通过将视觉处理器集成在机器人控制柜中，在结构上减小相机的尺寸和重量，应用较为方便，并有利于降低相机成本；视觉算法运行在视觉处理器中，上位机软件模块运行于PC机中，用户可通过上位机软件模块实现与视觉处理器之间的交互；视觉处理器采用基于X86结构的PC104板卡为处理器，比现有智能相机中的处理器计算能力更强，并且具有足够的空间散热，系统可靠性更强。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人视觉系统，其特征在于：包括相机、机器人控制柜、机器人RC控制器、视觉处理器和交换机，所述机器人RC控制器、视觉处理器和交换机均设置于机器人控制柜中，所述相机及机器人RC控制器均通过交换机与视觉处理器网络连接。

2.根据权利要求1所述的机器人视觉系统，其特征在于，还包括视觉处理器软件模块、视觉算法软件模块和上位机软件模块，所述视觉处理器软件模块和视觉算法软件模块运行于视觉处理器中，所述上位机软件模块运行于PC机中，所述PC机通过以太网与视觉处理器连接，通过所述PC机对视觉处理器软件模块和视觉算法软件模块进行相关算法参数配置，并通过以太网输入到视觉处理器中，实现用户与视觉处理器之间的交互。

3.根据权利要求2所述的机器人视觉系统，其特征在于，所述视觉处理器软件模块包括视觉算法模块、相机驱动模块和网络通信模块；

所述视觉算法模块中包括视觉应用算法单元和视觉工具包，所述视觉应用算法单元用于完成种类工件的识别与测量，所述视觉工具包用于实现二次开发；

所述相机驱动模块中集成现有主流工业相机的驱动程序，用于实现各种相机与视觉处理器的连接；

所述网络通信模块中集成有机器人或自动化设备厂商的通信协议，用于实现视觉处理器与机器人RC控制器、相机之间的通信。

4.根据权利要求3所述的机器人视觉系统，其特征在于，所述视觉处理器软件模块还包括视觉配置模块和视觉日志模块；

所述视觉配置模块用于实现视觉处理器与上位机软件模块之间的信息交互，用户通过PC机对所述视觉应用算法单元和视觉工具包做相关操作，在视觉配置模块中能够及时的获得用户的操作信息并根据用户操作信息做出相应的配置；

所述视觉日志模块用于处理视觉算法及相机工作信息，包括识别或测量结果以及出错时的图像信息。

5.根据权利要求2所述的机器人视觉系统，其特征在于，所述视觉算法软件模块包括视觉算法库和视觉典型应用库，所述视觉算法库包括基础数学函数单元、视觉基础函数单元和视觉应用函数单元，所述视觉典型应用库包括面向各种应用开发的视觉算法，用于实现机器人搬运、码垛、分拣或装配，包括传送带分拣、机床上下料、轮毂识别或液晶模组识别。

6.根据权利要求2所述的机器人视觉系统，其特征在于，所述上位机软件模块包括显示模块、功能选择模块、参数配置模块和二次开发模块；

所述显示模块用于实时显示相机拍摄到的图片；

所述功能选择模块用于用户在视觉典型应用库或视觉工具包中选择相应的功能；

所述参数配置模块用于针对不同工件配置视觉典型应用库中的相关参数；

所述二次开发模块用于对视觉工具包进行编程或组合，实现视觉识别或检测。

7.根据权利要求1所述的机器人视觉系统，其特征在于，所述视觉处理器为基于X86的PC104板卡。

8.根据权利要求1或7所述的机器人视觉系统，其特征在于，所述视觉处理器中还包括存储器，所述存储器采用工业级别的CF卡，所述CF卡上面运行Linux操作系统，用于进行线程调度。

9.根据权利要求1所述的机器人视觉系统，其特征在于，所述机器人控制柜中还设有风扇设备，所述风扇设备用于为机器人RC控制器和视觉处理器散热。

10.根据权利要求1所述的机器人视觉系统，其特征在于，所述视觉处理器与机器人RC控制器的机械尺寸、机械接口及电气接口一致。