CN110796702A - 一种基于机器视觉的工业设备识别定位方法、系统及设备 - Google Patents

Abstract

本发明提供一种基于机器视觉的工业设备识别定位方法、系统及设备，通过获取目标区域的图像；提取出目标区域图像内的所有轮廓；将所有轮廓的中心点定位在预设坐标系下的三维坐标中；根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。本发明能够获得抓取工业设备时机器人需要绕相机坐标系X轴、Y轴、Z轴的旋转角度。通过采集块状物或标志块上设置的标志的图像，并将标志的图像与预设数据库中的图像进行比对，根据比对结果区分工业设备，从而能够识别出所有工业设备的编号。

Description

一种基于机器视觉的工业设备识别定位方法、系统及设备

技术领域

本发明涉及自动化技术领域，特别是涉及一种基于机器视觉的用于对工业设备进行定位识别的方法、系统及设备。

背景技术

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

在工业加工现场，需要用到大量加工设备进行生产。随着机器人技术的快速发展，越来越多的机器人被应用到加工现场进行生产。机器人在工业加工现场对加工设备(或工件)的生产过程中，针对待抓取的加工设备，机器人通常需要获得抓取加工设备所需要的旋转角度；同时机器人对不同加工设备或者相同设备可能存在不同的操作动作，需要机器人在抓取工作前识别出当前设备的对应编号。而根据现有技术的记载，目前的定位方法不能使机器人获得需要绕X、Y、Z轴的旋转角度，并且也缺乏识别设备编号的功能。

因此，针对机器人在工业现场上的应用，需要提出一种基于机器视觉的工业设备识别定位方法、系统及设备来获得机器人旋转角度和识别工业设备编号。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于机器视觉的工业设备识别定位方法、系统及设备，用于解决现有技术中存在的问题。

为实现上述目的及其他相关目的，本发明提供一种基于机器视觉的工业设备识别定位方法，包括以下步骤：

获取目标区域的图像；

提取出目标区域图像内的所有轮廓；

将所有轮廓的中心点定位在预设坐标系下的三维坐标中；根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

可选地，根据选择的三个中心点在预设坐标系下所对应的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度，包括有：

按照不位于同一直线上的三个中心点在预设坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

根据所述法向量以及三个中心点在预设坐标系下的三维坐标，计算所述轮廓在预设坐标系下的变换矩阵，根据所述变换矩阵计算抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

可选地，所述预设坐标系包括相机坐标系或世界坐标系。

可选地，目标区域上还设置有用于区分工业设备的标志；获取所述标志的图像，将所述标志的图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

可选地，所述标志为轮廓，所述轮廓包括多边形轮廓和/或圆轮廓；

根据轮廓在目标区域的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备。

可选地，所述标志为设置在目标区域上的多个不同半径圆轮廓；其中一个圆轮廓为基准圆轮廓，其余圆轮廓为排序圆轮廓；所述基准圆轮廓的圆心点为目标区域的中心点，排序圆轮廓环绕目标区域的中心点设置；

获取所有排序圆轮廓的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

可选地，最小半径圆轮廓为基准圆轮廓，其余半径圆轮廓为排序圆轮廓；排序圆轮廓环绕最小半径圆轮廓的圆心点设置；

获取所有排序圆轮廓的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

本发明还提供一种基于机器视觉的工业设备识别定位系统，包括有：

图像获取模块，用于获取目标区域的图像；

提取模块，用于提取出目标区域图像内的所有轮廓；

定位模块，用于将所有轮廓的中心点定位在预设坐标系下的三维坐标中；

计算模块，用于根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

可选地，所述计算模块包括有第一计算单元、第二计算单元和第三计算单元；

所述第一计算单元用于根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

所述第二计算单元用于根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

所述第三计算单元用于根据所述法向量以及三个中心点在预设坐标系下的三维坐标，计算所述轮廓在预设坐标系下的变换矩阵，并根据所述变换矩阵计算抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

可选地，所述图像获取模块还包括有图像获取单元、比对单元和识别单元；

所述图像获取单元用于获取设置在目标区域上用于区分工业设备的标志的图像；

所述比对单元与图像获取单元连接，用于将获取的标志图像与预设数据库中的图像进行比对；

所述识别单元与比对单元连接，用于根据比对结果区分工业设备。

本发明还提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行上述一个或多个所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行上述一个或多个所述的方法。

如上所述，本发明的一种基于机器视觉的工业设备识别定位方法、系统及设备，具有以下有益效果：本发明通过获取预设在工业设备上的目标区域图像；提取出目标区域图像内的所有轮廓；将所有轮廓的中心点定位在预设坐标系下的三维坐标中；根据不位于同一直线上的任意三个中心点在预设坐标系下所对应的三维坐标计算工业设备绕所述预设坐标系X轴、Y轴和Z轴的旋转角度；本发明能够获得抓取工业设备时机器人需要绕相机坐标系X轴、Y轴、Z轴的旋转角度。

附图说明

图1为一实施例中的基于机器视觉的工业设备识别定位方法流程示意图。

图2为另一实施例中的基于机器视觉的工业设备识别定位方法流程示意图。

图3为一实施例中的设置在工业设备上的目标区域示意图。

图4为一实施例中的基于机器视觉的工业设备识别定位系统连接示意图。

图5为一实施例中的计算模块连接示意图。

图6为一实施例中的图像获取模块连接示意图。

图7为一实施例提供的终端设备的硬件结构示意图。

图8为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 图像获取模块

M20 提取模块

M30 定位模块

M40 筛选模块

M50 计算模块

D10 第一计算单元

D20 第二计算单元

D30 第三计算单元

D40 图像获取单元

D50 比对单元

D60 识别单元

1 基准圆轮廓

2 第一排序圆轮廓

3 第二排序圆轮廓

4 第三排序圆轮廓

5 第四排序圆轮廓

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1至图8。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

相机坐标系：相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，图像坐标系为二维直角坐标系。

世界坐标系：世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。

块状物或标志块：具有一定形状和尺寸的结构。例如，长方体、正方体等。

轮廓：构成图形或物体的外缘的线条。例如，圆轮廓，即为圆形；多边形轮廓，即为多边形。

中心点：圆轮廓的中心点为圆心，多边形轮廓的中心点为外接圆圆心。

姿态变换矩阵：为机器人正运动学标准矩阵，用于表述两个坐标系之间的变换关系，本申请中用于表述相机坐标系和世界坐标系之间的变换关系。

请参阅图1，本实施例提供一种基于机器视觉的工业设备识别定位方法，包括以下步骤：

S100，获取图像采集指令，根据所述图像采集指令采集预设在工业设备上的目标区域的图像；所述目标区域例如可以设置为一个块状物，所述块状物固定安装在工业现场的工业设备上。该块状物的形状、尺寸和安装在工业设备上的位置可以根据实际情况进行灵活调节，只要能够实现本申请的技术方案即可。例如，可以将该块状物设置为一个具有颜色、形状和尺寸的标志块，该标志块的颜色可以根据工业现场的加工环境进行灵活设定，使固定设置在机器人手臂上的双目相机可以对标志块清晰成像，且成像中标志块颜色特征明显。

S200，获取提取指令，根据所述提取指令提取出目标区域图像内的所有轮廓；

S300，获取定位指令，根据所述定位指令将所有轮廓的中心点定位在预设坐标系下的三维坐标中；选择所述三维坐标中不位于同一直线上的任意三个中心点，根据选择的三个中心点在预设坐标系下所对应的三维坐标计算抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。例如可以通过双目视觉算法将所有轮廓的中心点定位在预设坐标系下的三维坐标中。预设坐标系包括相机坐标系和/或世界坐标系，相机坐标系与世界坐标系之间可以进行转换。其中，轮廓包括多边形轮廓、圆轮廓或者同时包括多边形轮廓和原轮廓。本申请实施例中，预设坐标系选择相机坐标系。

具体地，如图2所示，在一示例性实施例中，

S100，获取图像采集指令，根据所述图像采集指令采集预设在工业设备上的目标区域图像；

S200，获取提取指令，根据所述提取指令提取出所述目标区域图像内所有轮廓；

S310，通过双目视觉算法将目标区域内所有轮廓的中心点定位在相机坐标系下的三维坐标中；

S320，选择所述三维坐标中不位于同一直线上的任意三个中心点，按照选择的三个中心点在相机坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

S330，根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

S340，根据所述法向量以及三个中心点在相机坐标系下的三维坐标，计算所述轮廓在相机坐标系下的变换矩阵；本申请中的变换矩阵为姿态变换矩阵，姿态变换矩阵为机器人正运动学标准矩阵，用于表述两个坐标系之间的变换关系，本申请中用于表述相机坐标系和世界坐标系之间的变换关系。由于轮廓设置在目标区域上，所以根据轮廓计算出的姿态变换矩阵实际上也是目标区域的姿态变换矩阵；

S350，根据所述姿态变换矩阵计算机器人抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

作为示例，根据上述示例性实施例记载可知，

S310，通过双目视觉算法将块状物或标志块上所有轮廓的中心点定位在相机坐标系下的三维坐标中；

S320，选择所述三维坐标中不位于同一直线上的任意三个中心点，按照选择的三个中心点在相机坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量。例如，选择标志块上不共线的三个中心点P₁，P₂，P₃；根据三个中心点计算出第一向量

和第二向量

如下，

第一向量为：

第二向量为：

S330，根据所述第一向量和所述第二向量确定三个中心点所在面的法向量。例如，设标志块所在平面的法向量为

则法向量

由平面上的两条互不平行的第一向量

和第二向量叉乘得到：

S340，根据所述法向量以及三个中心点在相机坐标系下的三维坐标，计算轮廓在相机坐标系下的姿态变换矩阵。由于轮廓设置在块状物或标志块上，所以根据轮廓计算出的姿态变换矩阵实际上也是块状物或标志块的姿态变换矩阵。例如，将已得到的法向量在相机坐标系下进行表达，通过双目视觉算法也得到了各中心点在相机坐标系下的坐标，即可得出块状物或标志块到相机坐标系的姿态变换矩阵T_4×4：

式中，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂和r₃₃为旋转矩阵参数；t₁₁、t₂₁和t₃₁为平移变量；姿态变换矩阵T_4×4为机器人正运动学标准矩阵，用于表述两个坐标系之间的变换关系。

S350，根据所述姿态变换矩阵计算机器人抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。根据姿态变换矩阵计算机器人需要的旋转角度，具体包括有：以相机坐标系为基准作动轴旋转，分别计算抓取工业设备时机器人需要绕X轴的旋转角度α，需要绕Y轴的旋转角度β，以及需要绕Z轴的旋转角度γ。具体有：

α＝atan2(r₃₂，r₃₃)；

γ＝atan2(r₂₁，r₁₁)。

atan2是一个函数，在C语言里返回的是指方位角，C语言中atan2的函数原型为double atan2(double y,double x)，返回以弧度表示的y/x的反正切。y和x的值的符号决定了正确的象限。也可以理解为计算复数x+yi的辐角。

根据上述实施例描述可知，本发明设置出具有形状、尺寸和颜色的块状物或标志块，再将设置的块状物或标志块固定安装在工业现场中的工业设备上。通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块的图像。提取出块状物或标志块图像内所有轮廓，通过双目视觉算法将块状物或标志块上所有轮廓的中心点定位在相机坐标系下的三维坐标中。选择相机坐标系下三维坐标中不位于同一直线上的任意三个中心点，根据选择的三个中心点计算出两个互不平行的向量，并根据计算出的这个两个向量计算所选择出的三个中心点所在平面的法向量。根据计算出的法向量和所选择的三个中心点在相机坐标系下对应的三维坐标计算抓取工业设备时，机器人需要绕相机坐标系X轴、Y轴和Z轴的旋转角度。

在一示例性实施例中，目标区域上还设置有用于区分工业设备的标志；获取所述标志的图像，将所述标志的图像与预设数据库中的图像进行比对，根据比对结果区分工业设备，识别出工业设备的编号。所述标志为轮廓，所述轮廓包括多边形轮廓和/或圆轮廓；根据轮廓在目标区域的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备。具体地，块状物或标志块上设置有用于区分工业设备的标志，这些标志例如可以包括多边形轮廓和/或圆轮廓；根据轮廓在块状物或标志块上的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备，识别出工业设备的编号。若目标区域包括多个不同半径圆轮廓；设置其中一个圆轮廓为基准圆轮廓，其余不同半径的圆轮廓设置为排序圆轮廓；将所述基准圆轮廓的圆心点设置为目标区域的中心点，环绕目标区域的中心点对排序圆轮廓进行排序；获取所有排序圆轮廓环绕目标区域的中心点进行排序后的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备，识别出工业设备的编号。

在一示例性实施例中，在块状物或标志块上设置多个不同半径的圆轮廓；设置最小半径的圆轮廓为基准圆轮廓，其余半径的圆轮廓为排序圆轮廓；将最小半径圆轮廓的圆心点设置为块状物或标志块的中心点，环绕最小半径圆轮廓的圆心点对排序圆轮廓进行排序；获取所有排序圆轮廓环绕最小半径圆轮廓的圆心点进行排序后的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。例如，如图3所示，1为基准圆轮廓，2至5为排序圆轮廓，分别为第一排序圆轮廓2、第二排序圆轮廓3、第三排序圆轮廓4、第四排序圆轮廓5。排序圆轮廓的排序包括：将基准圆轮廓的圆心设置为目标区域的中心点，环绕目标区域的中心点在目标区域上设置多个放置区，将所述排序圆轮廓排列在所述放置区。如图3所示，将基准圆轮廓1的圆心设置为块状物或标志块的中心点，环绕目标区域的中心点在块状物或标志块上设置多个放置区，将其余的排序圆轮廓2至5分别排列在所述放置区。根据排序圆轮廓2至5环绕基准圆轮廓进行不同排序，每一种排序对应一个或一类工业设备的编号，获取所有排序圆轮廓排序后的图像，将该图像与预设数据库中的图像进行比对，得到同一类工业设备的不同编号或者不同类工业设备的不同编号，从而实现工业设备的区分，识别出工业设备的编号。

在一些示例性实施例中，还可以根据轮廓形状进行区分，例如，标志块上设置不同形状的轮廓，将每一种轮廓赋予不同的数值，例如将三边形轮廓赋予数值3，四边形轮廓赋予数值4等，然后根据不同轮廓形状所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。还可以根据轮廓的颜色来区分同一类工业设备的不同编号，例如将红色设置为数值1，黄色设置为数值2，蓝色设置为数值3等，然后根据不同轮廓颜色所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。还可以根据轮廓内设置的不同图案区分同一类工业设备的不同编号，例如，图案可以为数字图案、字母图案等，将包含在轮廓内的图案所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。

根据上述实施例描述可知，本发明设置出具有形状、尺寸和颜色的块状物或标志块，再将设置的块状物或标志块固定安装在工业现场中的工业设备上。通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块上设置的标志图像。并将标志图像与预设数据库中的图像进行比对，根据匹配出的比对结果得到当前工业设备对应的设备编号，从而能够识别出所有工业设备的设备编号。

如图4所示，本发明还提供一种基于机器视觉的工业设备识别定位系统，包括有：

图像获取模块M10，用于根据图像采集指令采集预设在工业设备上的目标区域的图像；所述目标区域例如可以设置为一个块状物，所述块状物固定安装在工业现场的工业设备上。该块状物的形状、尺寸和安装在工业设备上的位置可以根据实际情况进行灵活调节，只要能够实现本申请的技术方案即可。例如，可以将该块状物设置为一个具有颜色、形状和尺寸的标志块，该标志块的颜色可以根据工业现场的加工环境进行灵活设定，使固定设置在机器人手臂上的双目相机可以对标志块清晰成像，且成像中标志块颜色特征明显。

提取模块M20，与图像获取模块M10连接，用于根据提取指令提取出所述目标区域图像内的所有轮廓；

定位模块M30，与提取模块M20连接，用于根据定位指令将所述所有轮廓的中心点定位在预设坐标系下的三维坐标中；例如可以通过双目视觉算法将所有轮廓的中心点定位在预设坐标系下的三维坐标中。预设坐标系包括相机坐标系和/或世界坐标系，相机坐标系与世界坐标系之间可以进行转换。其中，轮廓包括多边形轮廓、圆轮廓或者同时包括多边形轮廓和原轮廓。本申请实施例中，预设坐标系选择相机坐标系。

筛选模块M40，与定位模块M30连接，用于选择所述三维坐标中不位于同一直线上的任意三个中心点；

计算模块M50，与筛选模块M40连接，根据筛选模块M40选择的三个中心点在预设坐标系下所对应的三维坐标计算抓取工业设备时机器人需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

具体地，在一示例性实施例中，如图5所示，所述计算模块M50包括有第一计算单元D10、第二计算单元D20和第三计算单元D30；

所述第一计算单元D10用于根据筛选模块M40选择的三个中心点在预设坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

所述第二计算单元D20用于根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

所述第三计算单元D30用于根据所述法向量以及三个中心点在预设坐标系下的三维坐标，计算所述轮廓在预设坐标系下的变换矩阵；本申请中的变换矩阵为姿态变换矩阵，姿态变换矩阵为机器人正运动学标准矩阵，用于表述两个坐标系之间的变换关系，本申请中用于表述相机坐标系和世界坐标系之间的变换关系。根据所述姿态变换矩阵计算抓取工业设备时机器人需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

根据上述示例性实施例记载，具体有：

图像获取模块M10，根据所述图像采集指令采集预设在工业设备上的目标区域的图像；

提取模块M20，根据所述提取指令提取出目标区域图像内的所有轮廓；

定位模块M30，通过双目视觉算法将块状物或标志块上所有轮廓的中心点定位在相机坐标系下的三维坐标中；

筛选模块M40，用于选择所述三维坐标中不位于同一直线上的任意三个中心点；

计算模块M50，与筛选模块M40连接，根据筛选模块M40选择的三个中心点在预设坐标系下所对应的三维坐标计算抓取工业设备时机器人需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

具体地，如图5所示，第一计算单元D10按照筛选模块M40选择的三个中心点在相机坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量。例如，选择标志块上不共线的三个中心点P₁，P₂，P₃；根据三个中心点计算出第一向量

和第二向量

如下，第一向量为：

第二向量为：

根据所述第一向量和所述第二向量确定三个中心点所在面的法向量。例如，设标志块所在平面的法向量为

则法向量

由平面上的两条互不平行的第一向量

和第二向量

叉乘得到：

根据所述法向量以及三个中心点在相机坐标系下的三维坐标，计算标志块在相机坐标系下的姿态变换矩阵。例如，将已得到的法向量在相机坐标系下进行表达，通过双目视觉算法也得到了各中心点在相机坐标系下的坐标，即可得出块状物或标志块到相机坐标系的姿态变换矩阵：

式中，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂和r₃₃为旋转矩阵参数；t₁₁、t₂₁和t₃₁为平移变量；姿态变换矩阵T_4×4为机器人正运动学标准矩阵，用于表述两个坐标系之间的变换关系。

根据所述姿态变换矩阵计算机器人抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。根据姿态变换矩阵计算机器人需要的旋转角度，具体包括有：以相机坐标系为基准作动轴旋转，分别计算抓取工业设备时机器人需要绕X轴的旋转角度α，需要绕Y轴的旋转角度β，以及需要绕Z轴的旋转角度γ。具体有：

α＝atan2(r₃₂，r₃₃)；

γ＝atan2(r₂₁，r₁₁)。

atan2是一个函数，在C语言里返回的是指方位角，C语言中atan2的函数原型为double atan2(double y,double x)，返回以弧度表示的y/x的反正切。y和x的值的符号决定了正确的象限。也可以理解为计算复数x+yi的辐角。

根据上述实施例描述可知，本发明设置出具有形状、尺寸和颜色的块状物或标志块，再将设置的块状物或标志块固定安装在工业现场中的工业设备上。通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块的图像。提取出块状物或标志块图像内所有轮廓，通过双目视觉算法将块状物或标志块上所有轮廓的中心点定位在相机坐标系下的三维坐标中。选择相机坐标系下三维坐标中不位于同一直线上的任意三个中心点，根据选择的三个中心点计算出两个互不平行的向量，并根据这个两个向量计算所选择出的三个中心点所在平面的法向量。根据计算出的法向量和所选择的三个中心点在相机坐标系下对应的三维坐标计算抓取工业设备时，机器人需要绕相机坐标系X轴、Y轴和Z轴的旋转角度。

在一示例性实施例中，如图6所示，所述图像获取模块M10还包括有图像获取单元D40、比对单元D50和识别单元D60；

所述图像获取单元D40用于获取设置在目标区域上用于区分工业设备的标志图像；

所述比对单元D50与图像获取单元D40连接，用于将所述图像获取单元D40获取的标志图像与预设数据库中的图像进行比对；

所述识别单元D60与比对单元D50连接，用于根据比对结果区分工业设备，识别出工业设备的编号。

具体地，目标区域上还设置有用于区分工业设备的标志；图像获取单元D40获取所述标志的图像，将获取标志的图像与比对单元D50中预设数据库中的图像进行比对，识别单元D60根据比对结果区分工业设备，识别出工业设备的编号。所述标志为轮廓，所述轮廓包括多边形轮廓和/或圆轮廓；根据轮廓在目标区域的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备。具体地，块状物或标志块上设置有用于区分工业设备的标志，这些标志例如可以包括多边形轮廓和/或圆轮廓；根据轮廓在块状物或标志块上的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备。

在一示例性实施例中，若目标区域包括多个不同半径圆轮廓；设置其中一个圆轮廓为基准圆轮廓，其余不同半径的圆轮廓设置为排序圆轮廓；将所述基准圆轮廓的圆心点设置为目标区域的中心点，环绕目标区域的中心点对排序圆轮廓进行排序；获取所有排序圆轮廓环绕目标区域的中心点进行排序后的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备，识别出工业设备的编号。

具体地，在块状物或标志块上设置多个不同半径的圆轮廓；设置最小半径的圆轮廓为基准圆轮廓，其余半径的圆轮廓为排序圆轮廓；将最小半径圆轮廓的圆心点设置为块状物或标志块的中心点，环绕最小半径圆轮廓的圆心点对排序圆轮廓进行排序；获取所有排序圆轮廓环绕最小半径圆轮廓的圆心点进行排序后的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备，识别出工业设备的编号。例如，如图3所示，1为基准圆轮廓，2至5为排序圆轮廓，分别为第一排序圆轮廓2、第二排序圆轮廓3、第三排序圆轮廓4、第四排序圆轮廓5。排序圆轮廓的排序包括：将基准圆轮廓的圆心设置为目标区域的中心点，环绕目标区域的中心点在目标区域上设置多个放置区，将所述排序圆轮廓排列在所述放置区。如图3所示，将基准圆轮廓1的圆心设置为块状物或标志块的中心点，环绕目标区域的中心点在块状物或标志块上设置多个放置区，将其余的排序圆轮廓2至5分别排列在所述放置区。根据排序圆轮廓2至5环绕基准圆轮廓进行不同排序，每一种排序对应一个或一类工业设备的编号，获取所有排序圆轮廓排序后的图像，将该图像与预设数据库中的图像进行比对，得到同一类工业设备的不同编号或者不同类工业设备的不同编号，从而实现工业设备的区分。

在一些示例性实施例中，还可以根据轮廓形状进行区分，例如，标志块上设置不同形状的轮廓，将每一种轮廓赋予不同的数值，例如将三边形轮廓赋予数值3，四边形轮廓赋予数值4等，然后根据不同轮廓形状所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。还可以根据轮廓的颜色来区分同一类工业设备的不同编号，例如将红色设置为数值1，黄色设置为数值2，蓝色设置为数值3等，然后根据不同轮廓颜色所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。还可以根据轮廓内设置的不同图案区分同一类工业设备的不同编号，例如，图案可以为数字图案、字母图案等，将包含在轮廓内的图案所对应的图像与预设数据库中的图像进行比对，根据比对结果来区分同一类工业设备的不同编号。

还设置有存储单元，用于存储上述预设数据库中的图像。

根据上述实施例描述可知，本发明设置出具有形状、尺寸和颜色的块状物或标志块，再将设置的块状物或标志块固定安装在工业现场中的工业设备上。通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块上设置的标志图像。并将标志图像与预设数据库中的图像进行比对，根据匹配出的比对结果得到当前工业设备对应的设备编号，从而能够识别出所有工业设备的设备编号。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中识别定位方法所包含步骤的指令(instructions)。

图7为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图8为本申请的一个实施例提供的终端设备的硬件结构示意图。图8是对图7在实现过程中的一个具体的实施例。如图8所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图8实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。

综上所述，本发明提供一种基于机器视觉的工业设备识别定位方法、系统和设备，通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块的图像。提取出块状物或标志块图像内所有轮廓，通过双目视觉算法将标志块上所有轮廓的中心点定位在相机坐标系下的三维坐标中。选择相机坐标系下三维坐标中不位于同一直线上的任意三个中心点，根据选择的三个中心点计算出两个互不平行的向量，并根据计算出的这个两个向量计算所选择出的三个中心点所在平面的法向量。根据计算出的法向量和所选择的三个中心点在相机坐标系下对应的三维坐标计算抓取工业设备时，机器人需要绕相机坐标系X轴、Y轴和Z轴的旋转角度。通过设置在机器人手臂上的双目相机运用计算机视觉技术识别块状物或标志块，采集块状物或标志块上设置的标志的图像。并将标志图像与预设数据库中的图像进行比对，根据比对结果区分当前工业设备，从而能够识别出所有工业设备的设备编号。与现有技术相比，本发明不仅能够获得机器人抓取工业设备需要的旋转角度，还可以识别工业设备的编号。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于机器视觉的工业设备识别定位方法，其特征在于，包括以下步骤：

获取目标区域的图像；

提取出目标区域图像内的所有轮廓；

将所有轮廓的中心点定位在预设坐标系下的三维坐标中；根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

2.根据权利要求1所述的基于机器视觉的工业设备识别定位方法，其特征在于，根据选择的三个中心点在预设坐标系下所对应的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度，包括有：

按照不位于同一直线上的三个中心点在预设坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

根据所述法向量以及三个中心点在预设坐标系下的三维坐标，计算所述轮廓在预设坐标系下的变换矩阵，根据所述变换矩阵计算抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

3.根据权利要求1或2所述的基于机器视觉的工业设备识别定位方法，其特征在于：所述预设坐标系包括相机坐标系或世界坐标系。

4.根据权利要求1或2所述的基于机器视觉的工业设备识别定位方法，其特征在于：目标区域上还设置有用于区分工业设备的标志；获取所述标志的图像，将所述标志的图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

5.根据权利要求4所述的基于机器视觉的工业设备识别定位方法，其特征在于：所述标志为轮廓，所述轮廓包括多边形轮廓和/或圆轮廓；

根据轮廓在目标区域的位置、轮廓形状、轮廓颜色、轮廓大小、轮廓包含的图案区分工业设备。

6.根据权利要求4所述的基于机器视觉的工业设备识别定位方法，其特征在于：所述标志为设置在目标区域上的多个不同半径圆轮廓；其中一个圆轮廓为基准圆轮廓，其余圆轮廓为排序圆轮廓；所述基准圆轮廓的圆心点为目标区域的中心点，排序圆轮廓环绕目标区域的中心点设置；

获取所有排序圆轮廓的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

7.根据权利要求6所述的基于机器视觉的工业设备识别定位方法，其特征在于：最小半径圆轮廓为基准圆轮廓，其余半径圆轮廓为排序圆轮廓；排序圆轮廓环绕最小半径圆轮廓的圆心点设置；

获取所有排序圆轮廓的图像，将该图像与预设数据库中的图像进行比对，根据比对结果区分工业设备。

8.一种基于机器视觉的工业设备识别定位系统，其特征在于，包括有：

图像获取模块，用于获取目标区域的图像；

提取模块，用于提取出目标区域图像内的所有轮廓；

定位模块，用于将所有轮廓的中心点定位在预设坐标系下的三维坐标中；

计算模块，用于根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标计算抓取工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

9.根据权利要求8所述的基于机器视觉的工业设备识别定位系统，其特征在于，所述计算模块包括有第一计算单元、第二计算单元和第三计算单元；

所述第一计算单元用于根据不位于同一直线上的三个中心点在预设坐标系下的三维坐标进行计算，获得互不平行的第一向量和第二向量；

所述第二计算单元用于根据所述第一向量和所述第二向量确定三个中心点所在面的法向量；

所述第三计算单元用于根据所述法向量以及三个中心点在预设坐标系下的三维坐标，计算所述轮廓在预设坐标系下的变换矩阵，并根据所述变换矩阵计算抓取所述工业设备需要绕所述预设坐标系X轴、Y轴和Z轴的旋转角度。

10.根据权利要求8所述的基于机器视觉的工业设备识别定位系统，其特征在于，所述图像获取模块还包括有图像获取单元、比对单元和识别单元；

所述图像获取单元用于获取设置在目标区域上用于区分工业设备的标志的图像；

所述比对单元与图像获取单元连接，用于将获取的标志图像与预设数据库中的图像进行比对；

所述识别单元与比对单元连接，用于根据比对结果区分工业设备。

11.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。

12.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。

Images