CN104385282B - 一种视觉智能数控系统及其视觉计测方法 - Google Patents

Abstract

本发明公开了一种视觉智能数控系统及其视觉计测方法，所述系统包括数控子系统和视觉子系统，所述数控子系统与视觉子系统之间以通信线路连接；所述数控子系统与视觉子系统之间通过配置传输参数和变量地址，实现一次原始数据的交换；所述视觉子系统安装于机器人移动部件上或工作环境的固定位置，通过标定、配置具体的参数及引用一次原始数据，将视觉子系统的采集数据变换并传送到数控子系统，实现数据变换；所述数控子系统对多个智能相机回传的同一对象数据自动处理，实现数据融合。本发明系统配置在工业机器人上可以构成视觉智能机器人，机器人的应用控制程序可以直接使用底层原始的一次状态数据与二次变换或融合数据，减少系统集成所需开发工作量。

Description

一种视觉智能数控系统及其视觉计测方法

技术领域

本发明涉及一种数控系统，尤其是一种视觉智能数控系统及其视觉计测方法，属于装备制造及先进机器人控制领域。

背景技术

传统机器人主要还是以压力传感器、位置传感器等传统工业传感器作为自己的“眼睛”，机器人只能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。智能机器人通过机器的感知、判断、学习、决策等自治能力来模仿人的行为，事实上，学术意义上的智能机器人进入工业应用还有很大的距离，这种智能机器人还处于实验室研究阶段，其高昂的成本也不可能进入制造生产线。

将嵌入式CPU与图像传感器集成，再配置智能检测与识别软件，就形成了智能视觉识别与检测系统。将该系统集成到工业机器人中，利用机器视觉实现有效的动作控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，这就形成了视觉智能机器人。

机器视觉子系统与数控子系统有大量的数据交互，将底层数据交互部分分离成标准单元，由系统根据应用配置自动处理，这样就可以降低集成开发成本。机器视觉系统与工业机器人控制系统的数据交互要解决三个层次的问题，第一，两个子系统的数据互相透明，各个子系统可以无障碍地使用对方的数据，即数据交换问题；第二、机器视觉系统，特别是嵌入式机器视觉系统的检测数据是相机坐标系中的二维坐标，当相机固定在机器人运动构件上时，系统自动地将相机检测数据换算到机器人三维坐标空间中去，以指示机器人的作业目标与运动规划，即数据变换问题。第三，当多个相机检测同一对象时，如何使多相机的检测数据互相校准并抽取关键数据，即数据融合问题。解决好上述三个问题，机器人的应用开发工程师就可以只关注上层应用开发，而不关心底层的数据交换、数据变换与数据融合。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种适用于带视觉功能的工业机器人控制的视觉智能数控系统。

本发明的另一目的在于提供一种视觉智能数控系统的视觉计测方法。

本发明的目的可以通过采取如下技术方案达到：

一种视觉智能数控系统，所述系统采用嵌入式多CPU架构，包括数控子系统和视觉子系统，所述数控子系统包括相连接的运动控制模块和逻辑控制模块，所述视觉子系统为一台或多台智能相机，所述数控子系统与视觉子系统之间以通信线路连接；其中：

所述数控子系统与视觉子系统之间通过配置传输参数和变量地址，实现一次原始数据的交换；

所述视觉子系统安装于机器人移动部件上或工作环境的固定位置，通过标定、配准具体的参数及引用一次原始数据，将视觉子系统的采集数据变换并传送到数控子系统，实现数据变换；

所述数控子系统利用数据融合算法对多个智能相机回传的同一对象数据自动处理，实现数据融合。

作为一种实施方案，所述数控子系统与视觉子系统之间通过交换机以通信线路连接，数控子系统与视觉子系统之间的底层数据交互部分通过配置传输参数和变量地址设置为公共数据区，所述公共数据区按ModBus+TCP/IP通信协议进行数据同步及刷新，采用广播形式对全部子系统或目标子系统进行传输，实现一次原始数据的交换。

作为一种实施方案，所述公共数据区划分为状态数据区和用户数据区，通过集成开发环境IDE的配置软件设定数据范围、刷新机制以及刷新内容。

作为一种实施方案，所述运动控制模块与逻辑控制模块之间通过双端口RAM连接实现数据信息交互，所述运动控制模块与机器人关节电机驱动器连接、所述逻辑控制模块与机器人逻辑动作I/O点连接以组成机器人控制器，所述逻辑控制模块与视觉I/O点连接，实现对视觉子系统的控制。

作为一种实施方案，所述数控子系统和视觉子系统通过交换机分别与服务器连接，所述服务器用于实现对生产数据的集成、分析和视觉运算支持。

作为一种实施方案，所述视觉子系统与监视器连接，所述监视器作为视觉子系统的视频端子输出显示器，用于实时观察智能相机的工作视频。

作为一种实施方案，所述视觉子系统安装于机器人移动部件上时，智能相机对固定的目标工件进行先后多次不同位姿拍摄；所述视觉子系统安装于工作环境的固定位置时，多台智能相机以不同的位姿同时对目标工件进行拍摄。

具体的，所述数控子系统的软件部分包括基于嵌入式CPU的片上系统和基于PC的二次开发工具，所述片上系统包括各种数控和运动控制算法以及文本解析算法。

具体的，所述视觉子系统的软件部分包括基于嵌入式系统的图像处理算法和视觉处理流程解析算法，以及基于PC的参数、流程配置软件。

本发明的另一目的可以通过采取如下技术方案达到：

一种视觉智能数控系统的视觉计测方法，所述方法包括：

当视觉子系统安装于机器人移动部件上，智能相机对固定的目标工件进行先后多次不同位姿拍摄，并将拍摄到的二维图像坐标信息传送到数控子系统或者服务器，数控子系统或者服务器根据相机空间位姿信息和所获得的二维图像坐标信息进行数据变换，统一到世界坐标系，获得该坐标系下所拍摄工件的空间位姿；

当视觉子系统安装于工作环境的固定位置，多台智能相机以不同的位姿同时对目标工件进行拍摄，将多次或多台相机拍摄到的二维图像坐标信息传送到数控子系统或服务器，数控子系统或者服务器将相机空间位姿信息和所获得的二维图像坐标信息进行数据融合，获得世界坐标系下所拍摄工件的空间位姿。

本发明相对于现有技术具有如下的有益效果：

1、本发明的视觉智能数控系统中，数控子系统与视觉子系统之间通过配置传输参数和变量地址，可以交换其状态数据、检测数据等一次原始数据，实现数据的交换；视觉子系统可以安装于机器人移动部件上或工作环境的固定位置，相机坐标系到机器人坐标系的变换矩阵是标准的数据处理过程，通过标定配置具体的参数及引用一次原始数据，可以将视觉子系统的检测数据变换并传送到数控子系统，实现数据变换；在数控子系统上利用数据融合算法，可以对多个相机回传的同一对象数据会自动处理，实现数据融合，最终达到视觉子系统与数控子系统的无缝连接。

2、本发明的视觉智能数控系统在处理过程中对相机的精确安装、目标工件的环境数据没有过高要求，与现有基于PC的数控+机器视觉系统不同，由于各子系统采用嵌入式架构，分离出底层标准的公共数据区用以数据交换，解决系统集成的成本问题，并做到两个子系统的无缝集成；数据变换及数据融合由机器视觉子系统交数控系统自动处理，无需进行基于VC/C++/C#等工具的底层开发，并开放给系统应用开发工程师，这样就可以降低集成开发成本。

3、本发明的视觉智能数控系统适用于带视觉功能的工业机器人控制，配置在工业机器人上可以构成视觉智能机器人，机器人的应用控制程序可以直接使用底层原始的一次状态数据与二次变换或融合数据，减少系统集成所需开发工作量。

附图说明

图1为本发明实施例1的系统结构组成示意图。

图2为本发明实施例1的视觉子系统安装于机器人末端的示意图。

图3为本发明实施例1的视觉子系统安装于工作环境某位置的示意图。

图4为本发明实施例1的视觉计测原理图。

图5为本发明实施例1的视觉智能控制原理图。

图6为本发明实施例1的视觉智能数控系统的工作流程图。

其中，101-数控子系统，102-视觉子系统(智能相机)，103-机器人，104-运动控制模块，105-逻辑控制模块，106-光源，107-机器人关节电机驱动器，108-机器人逻辑动作I/O点，109-视觉I/O点，110-交换机，111-服务器，112-监视器，113-工件，114-传送带/工作台。

具体实施方式

实施例1：

下面结合附图来进一步说明本发明的具体实施方式。

在机器人上配置本发明的视觉智能数控系统，构成视觉智能机器人，用于电子制造领域的定位、分拣，实施形式采用手-眼安装及固定相机位安装两种，以下分别对此两种实施形式进行描述。

应用于电子制造行业的视觉智能机器人，采用视觉智能数控系统，其具有开放式数控子系统和机器视觉子系统，可以完成对机器人的控制和目标工件测量、mark点定位以及坐标系计算定位。

如图1所示，本实施例的视觉智能数控系统包括数控子系统101，该子系统包括运动控制模块104(motion)和逻辑控制模块105(PLC)，含有电柜等；视觉子系统102，该子系统为一台或多台智能相机102，因此智能相机102的安装也就相当于视觉子系统102的安装，还含有专用光源106、镜头部件等；所述数控子系统与视觉子系统之间通过交换机以通信线路连接，所述运动控制模块104与逻辑控制模块105之间通过双端口RAM连接实现数据信息交互，所述运动控制模块104与机器人关节电机驱动器107(6个)连接、所述逻辑控制模块105与机器人逻辑动作I/O点108连接以组成机器人控制器，所述逻辑控制模块与视觉I/O点109连接，实现对视觉子系统102的控制，即实现对智能相机102的启/停、拍照、完成、故障等信息；所述数控子系统101和视觉子系统102通过交换机110分别与服务器111连接，所述服务器111用于实现对生产数据的集成、分析和视觉运算支持；所述视觉子系统102与监视器112连接，所述监视器112作为视觉子系统102的视频端子输出显示器，用于实时观察智能相机102的工作视频。配置本实施例的视觉智能数控系统的视觉智能机器人的安装结构，包括外围设备：各类型机器人103，垂直关节型、并联结构、直角坐标或根据专机需求设计的专用机器人；各气源动力件；目标工件113的传送带/工作台114；安全保护设施；忽略用于专门环境的末端激光、等离子、火焰等专用加工装置。

上述数控子系统的软件部分包括基于嵌入式CPU的片上系统和基于PC的二次开发工具，所述片上系统包括各种数控和运动控制算法以及文本解析算法，其中包括：插补、轨迹控制、前瞻、间隙补偿、位置闭环控制、速度/加速度前馈控制等，文本解析算法是专门针对加工文本或加工指令格式进行解析的算法，基于PC的二次开发工具需要将数控子系统与PC端连接，由PC端提供，二次开发工具是PC端开发的IDE，包括SFC(顺序功能图)、PLC(逻辑控制)及智能相机流程开发程序三种。视觉子系统的软件部分包括基于嵌入式系统的图像处理算法和视觉处理流程解析算法，以及基于PC的参数、流程配置软件，其中图像处理算法包括边缘检测、阈值处理、粒子分析等，基于PC的参数、流程配置软件同样需要将视觉子系统与PC端连接，由PC端提供。

所述视觉子系统(智能相机)的安装方式如下：

1)相机安装于机器人末端执行器(robot mounted camera/eye in hand)

此工作方式检测灵活，视觉区域可随机器人变化，整体检测范围增加；可使用大焦距镜头，根据机器人定位精度可提升相机检测精度；易拓展再检测功能，安装方式如图2所示。

采用这种固定方式的相机需依靠机器人本体坐标系进行定位，由相机拍摄图像坐标系到机器人工作坐标系的转换需要根据机器人本体构型确定，这涉及末端执行器到关节坐标系的反解；由于这种方式安装于机器人末端，相机工作时间必须是机器人停止运动时间；光源设置易于被机器人或其他外围设备干涉；相机传输电缆的布线、信号稳定性、外皮磨损等是实施过程中的重点问题。

2)相机安装于工作环境某位置(fixed camera/eye to hand/stand alone)

此工作方式可将相机安装于机器人工作区域的云台上，通过通信线缆与数控系统相连接。云台是简易的姿态摆拍装置，由电机控制；相机连接电缆铺设简易，安装方式如图3所示。

采用这种固定方式的相机具有清晰的世界坐标作为基坐标，可直接完成由相机拍摄图像坐标系到机器人工作坐标系的转换；但这种方式检测区域固定，无法多点拍摄，如因外界因素导致相机和拍摄目标间相对位置改变，则必须对相机姿态重新调整，并修改参数设置。

由上述1)和2)的情况，视觉智能机器人的视觉子系统的配置形式需根据应用环境及工作区域设定。

所述数控子系统与视觉子系统的底层数据交互部分通过配置传输参数和变量地址设置为公共数据区，所述公共数据区划分为状态数据区和用户数据区，通过集成开发环境IDE的配置软件设定数据范围、刷新机制以及刷新内容，公共数据区按ModBus+TCP/IP通信协议进行数据同步及刷新，采用广播形式对全部子系统或目标子系统进行传输，实现一次原始数据(状态数据和用户数据)的交换，视觉计测原理如图4所示，具体如下：

若智能相机采用安装方式1)，相机所处空间位姿可由机器人末端中心点TCP偏置获得(x_c0，y_c0，z_c0，θ_c0，α_c0，γ_c0)，通过TCP不同位姿的两次摆拍，获得(x_ci，y_ci，z_ci，θ_ci，α_ci，γ_ci)，其中i＝1，2。相机两次拍摄获得的二维图像处理的特征数据(x_oij，y_oij)，其中i＝1，2相机编号；j＝1，2特征点编号；在数字子系统中，相机空间位姿信息与所获得二维图像坐标信息通过数据变换，统一到世界坐标系，并获得该坐标系下工件空间位姿(x_wi，y_wi，z_wi，θ_wi，α_wi，γ_wi)，其中i＝1，2。

若智能相机采用安装方式2)，两台相机安装于工作环境的云台，两台的相机的空间位置已知(x_ci，y_ci，z_ci)，姿态依云台转动而定(p_ci，r_ci)，获得相机空间位姿(x_ci，y_ci，z_ci，θ_ci，α_ci，γ_ci)；相机在固定位置拍摄传送带上工件二维坐标(x_pij，y_pij)，其中i＝1，2相机编号；j＝1，2特征点编号；在数字子系统中，通过数据融合算法(如三角法、投影法)将相机空间位姿信息与所拍摄工件二维坐标信息进行数据融合，获得世界坐标系下工件的空间位姿(x_wi，y_wi，z_wi，θ_wi，α_wi，γ_wi)，其中i＝1，2。

本实施例的视觉智能机器人的工作流程如下：

无论方式1)、2)的相机计测，都是获得前后两帧目标工件上的两特征点图片，从而计算得目标工件位姿，机器人的运动依靠数控子系统的运动学反解；以垂直关节机器人为例，在已获取目标工件位姿(x_wi，y_wi，z_wi，θ_wi，α_wi，γ_wi)后，与机器人当前末端TCP位姿(x_ri，y_ri，z_ri，θ_ri，α_ri，γ_ri)比较后获得(Δx，Δy，Δz，Δθ，Δα，Δγ)，进行直线插值，并将插值点反解到关节空间(S_ri，L_ri，U_ri，R_ri，B_ri，T_ri)。在控制周期内，以位置控制方式将脉冲发送关节电机驱动器，控制原理如图5所示。

这种视觉智能控制方式，还可以应用到并联机器人、直角坐标机器人或其他专用多轴机器人上；其处理区别在于：将目标工件位姿与末端TCP位姿比较后，进行直线插值，插值点反解的形式并非均为R旋转型，根据实际情况可为R(旋转)或P(滑动)约束的复合形式。控制周期内的位置脉冲当量视不同运动约束进行转换，输出到各轴电机。

若进行多点拍摄，则数据变换和数据融合的计算量较大，根据情况可通过交换机将数据传输至服务器运算，再将目标工件空间位姿处理结果传送数控子系统，工作流程如图6所示。

综上所述，本发明的视觉智能数控系统在处理过程中对相机的精确安装、目标工件的环境数据没有过高要求，与现有基于PC的数控+机器视觉系统不同，由于数控子系统和视觉子系统均采用嵌入式架构，分离出底层标准的公共数据区用以数据交换，解决系统集成的成本问题，并做到两个子系统的无缝集成，数据变换及数据融合由视觉子系统交数控系统自动处理，无需进行基于VC/C++/C#等工具的底层开发，并开放给系统应用开发工程师，这样就可以降低集成开发成本。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，如安装于机器人末端的相机，通过TCP不同位姿摆拍次数可以为三次或以上，如安装于工作环境的云台上的相机可以有三台或以上等，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种视觉智能数控系统，其特征在于：所述系统采用嵌入式多CPU架构，包括数控子系统和视觉子系统，所述数控子系统包括相连接的运动控制模块和逻辑控制模块，所述视觉子系统为一台或多台智能相机，所述数控子系统与视觉子系统之间以通信线路连接；其中：

所述数控子系统与视觉子系统之间通过交换机以通信线路连接，数控子系统与视觉子系统的底层数据交互部分通过配置传输参数和变量地址设置为公共数据区，所述公共数据区按ModBus+TCP/IP通信协议进行数据同步及刷新，采用广播形式对全部子系统或目标子系统进行传输，实现一次原始数据的交换；

所述视觉子系统安装于机器人末端执行器或机器人工作区域的云台上，通过标定、配准具体的参数及引用一次原始数据，将视觉子系统的采集数据变换并传送到数控子系统，实现数据变换；其中，云台是姿态摆拍装置，由电机控制；

所述数控子系统利用数据融合算法对多个智能相机回传的同一对象数据自动处理，实现数据融合；

所述视觉智能数控系统的视觉计测原理如下：

若智能相机安装于机器人末端执行器，智能相机对固定的目标工件进行先后多次不同位姿拍摄，并将拍摄到的二维图像坐标信息传送到数控子系统或者服务器，数控子系统或者服务器根据相机空间位姿信息和所获得的二维图像坐标信息进行数据变换，统一到世界坐标系，获得该坐标系下所拍摄工件的空间位姿；

若智能相机安装于机器人工作区域的云台上，多台智能相机以不同的位姿同时对目标工件进行拍摄，将多次或多台相机拍摄到的二维图像坐标信息传送到数控子系统或服务器，数控子系统或者服务器将相机空间位姿信息和所获得的二维图像坐标信息进行数据融合，获得世界坐标系下所拍摄工件的空间位姿；

在机器人上配置视觉智能数控系统，构成视觉智能机器人，视觉智能机器人的工作流程如下：

通过上述视觉计测，获得前后两帧目标工件上的两特征点图片，从而计算得目标工件位姿，机器人的运动依靠数控子系统的运动学反解；

在应用到垂直关节机器人时，在已获取目标工件位姿后，与机器人当前末端TCP位姿比较后获得两者的差值，进行直线插值，并将插值点反解到关节空间；在控制周期内，以位置控制方式将脉冲发送关节电机驱动器；

在应用到并联机器人、直角坐标机器人或其他专用多轴机器人时，在已获取目标工件位姿后，与机器人当前末端TCP位姿比较后获得两者的差值，进行直线插值，插值点反解的形式为旋转或滑动约束的复合形式；控制周期内的位置脉冲当量视不同运动约束进行转换，输出到各轴电机。

2.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述公共数据区划分为状态数据区和用户数据区，通过集成开发环境IDE的配置软件设定数据范围、刷新机制以及刷新内容。

3.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述运动控制模块与逻辑控制模块之间通过双端口RAM连接实现数据信息交互，所述运动控制模块与机器人关节电机驱动器连接、所述逻辑控制模块与机器人逻辑动作I/O点连接以组成机器人控制器，所述逻辑控制模块与视觉I/O点连接，实现对视觉子系统的控制。

4.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述数控子系统和视觉子系统通过交换机分别与服务器连接，所述服务器用于实现对生产数据的集成、分析和视觉运算支持。

5.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述视觉子系统与监视器连接，所述监视器作为视觉子系统的视频端子输出显示器，用于实时观察智能相机的工作视频。

6.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述数控子系统的软件部分包括基于嵌入式CPU的片上系统和基于PC的二次开发工具，所述片上系统包括各种数控和运动控制算法以及文本解析算法。

7.根据权利要求1所述的一种视觉智能数控系统，其特征在于：所述视觉子系统的软件部分包括基于嵌入式系统的图像处理算法和视觉处理流程解析算法，以及基于PC的参数、流程配置软件。