CN116958220B - 相机视野范围的生成方法及装置、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种相机视野范围的生成方法及装置、存储介质、电子设备。其中，该方法包括：控制3D相机采集目标工件的工件点云；采用所述工件点云创建所述目标工件的参考点集；控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；在所述参考点集中查找与所述工件像素点匹配的观测点集；采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。通过本发明，解决了相关技术不能生成2D相机在示教点位的有效视野范围的技术问题，提高了示教的效率与准确性。

Description

相机视野范围的生成方法及装置、存储介质、电子设备

技术领域

本发明涉及相机检测技术领域，更具体地，涉及一种相机视野范围的生成方法及装置、存储介质、电子设备。

背景技术

相关技术中，随着科技的发展，市面上涌现出了许多基于不同原理的3D相机，比如结构光、线激光、双目视觉和时间飞行法（TOF）等。这些三维相机可以获得其视野内的三维信息，从而实现对物体的类型识别、姿态估计、尺寸测量等实用功能。工业生产过程中，工件不可避免会因为生产工艺的限制，而偶发性的产生各种表面缺陷，现在已经逐渐有了通过2D工业相机采集工件表面图像搭配AI检测提供人工肉眼检测的解决方案，该方案检测效果稳定，且效率更高。

相关技术中，对于每个型号的工件，尤其是外观复杂的工件，都需要对2D相机的采集轨迹进行示教，从而使得依照该轨迹，2D相机可以完整的采集工件的表面图像n幅。目前主流方式为机械臂携带一个2D相机对工件表面进行采集。在示教过程一般通过人工调整机械臂的点位，同时观察在当前点位采集的2D图像是否合适来逐个录入机械臂的点位。但该方法缺少一个用于判断目前示教出来的采集轨迹是否已经完整覆盖了整个工件的方法。人工只能根据经验判断是否把容易产生重大的缺陷已经录入采集轨迹之中，但难以判断是否可以对工件表面完整采集，或是否已经覆盖了必须要覆盖的位置，为了保证2D相机能在所有的点位采集能完全覆盖工件的全局视野，只能设置多个视野范围重复甚至相同的点位，导致2D相机在根据点位序列扫描工件时，点位多，效率低，扫描得到的重复图像多，图像数据处理量大。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

为了解决现有技术的不足，本发明提供了一种相机视野范围的生成方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种相机视野范围的生成方法，包括：控制3D相机采集目标工件的工件点云；采用所述工件点云创建所述目标工件的参考点集；控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；在所述参考点集中查找与所述工件像素点匹配的观测点集；采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。

进一步地，采用所述工件点云创建所述目标工件的参考点集包括：获取所述目标工件的标准数字模型；将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；采用所述参考点云中的所有点创建所述目标工件的参考点集。

进一步地，在所述参考点集中查找与所述工件像素点匹配的观测点集包括：在统一坐标系中确定所述2D相机在所述示教点位的光心位置，计算所述2D相机的解析度；针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

进一步地，根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集包括：针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；判断所述投影距离是否小于所述解析度；若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

进一步地，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集包括：确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；将所述最小直线距离对应的指定临时点添加至所述观测点集；针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；判断所述第二直线距离是否小于所述解析度*1/2；若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

进一步地，控制2D相机在示教点位采集所述目标工件的局部图像包括：在统一坐标系中确定所述2D相机在所述示教点位的光心位置；从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；根据所述四条最大视野射线计算所述2D相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

进一步地，采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围包括：将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；将所述第二颜色所覆盖的范围确定为所述2D相机在所述示教点位的有效视野范围。

根据本申请实施例的另一方面，还提供了一种相机视野范围的生成装置，包括：第一控制模块，用于控制3D相机采集目标工件的工件点云；创建模块，用于采用所述工件点云创建所述目标工件的参考点集；第二控制模块，用于控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；查找模块，用于在所述参考点集中查找与所述工件像素点匹配的观测点集；生成模块，用于采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。

进一步地，所述创建模块包括：获取单元，用于获取所述目标工件的标准数字模型；配准单元，用于将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；转换单元，用于采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；创建单元，用于采用所述参考点云中的所有点创建所述目标工件的参考点集。

进一步地，所述查找模块包括：处理单元，用于在统一坐标系中确定所述2D相机在所述示教点位的光心位置，计算所述2D相机的解析度；生成单元，用于针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；查找单元，用于根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；创建单元，用于计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

进一步地，所述查找单元包括：计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；判断子单元，用于判断所述投影距离是否小于所述解析度；添加子单元，用于若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

进一步地，所述创建单元包括：选择子单元，用于确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；添加子单元，用于将所述最小直线距离对应的指定临时点添加至所述观测点集；计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；判断子单元，用于判断所述第二直线距离是否小于所述解析度*1/2；添加子单元，用于若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

进一步地，所述第二控制模块包括：确定单元，用于在统一坐标系中确定所述2D相机在所述示教点位的光心位置；发射单元，用于从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；采集单元，用于根据所述四条最大视野射线计算所述2D相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

进一步地，所述生成模块包括：配置单元，用于将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；显示单元，用于将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；确定单元，用于将所述第二颜色所覆盖的范围确定为所述2D相机在所述示教点位的有效视野范围。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。

根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，控制3D相机采集目标工件的工件点云；采用工件点云创建目标工件的参考点集，控制2D相机在示教点位采集目标工件的局部图像，其中，局部图像包括若干个工件像素点，在参考点集中查找与工件像素点匹配的观测点集，采用观测点集围成的点云区域生成2D相机在示教点位的有效视野范围，通过利用3D相机创建目标工件的参考点集，然后利用2D相机采集的局部图像的像素点在参考点集中查找匹配的观测点集，最后将观测点集围成的点云区域确定为2D相机在当前示教点位的有效视野范围，解决了相关技术不能生成2D相机在示教点位的有效视野范围的技术问题，提高了示教的效率与准确性，可辅助人工实现高效率的表面采集轨迹示教，避免配置重复或者相近点位的冗余情况，更避免了重要筛查部位缺少对应的采集点位的情况，从而避免了工件因为缺少必要的检测而造成生产损失。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种控制器的硬件结构框图；

图2是根据本发明实施例的一种相机视野范围的生成方法的流程图；

图3是本发明实施例中2D相机的视野区域的示意图；

图4是本发明实施例显示有效视野范围的示意图；

图5是根据本发明实施例的一种相机视野范围的生成装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在识别装置、控制器、服务器、计算机、控制设备或者类似的运算装置中执行。以运行在控制器上为例，图1是本发明实施例的一种控制器的硬件结构框图。如图1所示，控制器可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述控制器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述控制器的结构造成限定。例如，控制器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储操作控制器的程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种相机视野范围的生成方法对应的识别程序，处理器102通过运行存储在存储器104内的识别程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至控制器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括控制器的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种相机视野范围的生成方法，图2是根据本发明实施例的一种相机视野范围的生成方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，控制3D相机采集目标工件的工件点云；

在本实施例中，3D相机固定设置在目标工件的上方，3D相机是大视野相机，工件点云为目标工件的完整点云，2D相机可以设置在灵活移动的机械臂上。将大视野的3D相机、2D相机与机械臂做好手眼标定，3D相机独立于机械臂安装，如安装于工件上方的龙门架上，2D相机安装于机械臂末端，随着机械臂移动。

步骤S204，采用工件点云创建目标工件的参考点集；

步骤S206，控制2D相机在示教点位采集目标工件的局部图像，其中，局部图像包括若干个工件像素点；

2D相机距离目标工件的距离较近，精度较高，每次采集只能采集到目标工件的局部图像。

步骤S208，在参考点集中查找与工件像素点匹配的观测点集；

步骤S210，采用观测点集围成的点云区域生成2D相机在示教点位的有效视野范围。

通过上述步骤，控制3D相机采集目标工件的工件点云；采用工件点云创建目标工件的参考点集，控制2D相机在示教点位采集目标工件的局部图像，其中，局部图像包括若干个工件像素点，在参考点集中查找与工件像素点匹配的观测点集，采用观测点集围成的点云区域生成2D相机在示教点位的有效视野范围，通过利用3D相机创建目标工件的参考点集，然后利用2D相机采集的局部图像的像素点在参考点集中查找匹配的观测点集，最后将观测点集围成的点云区域确定为2D相机在当前示教点位的有效视野范围，解决了相关技术不能生成2D相机在示教点位的有效视野范围的技术问题，提高了示教的效率与准确性，可辅助人工实现高效率的表面采集轨迹示教，避免配置重复或者相近点位的冗余情况，更避免了重要筛查部位缺少对应的采集点位的情况，从而避免了工件因为缺少必要的检测而造成生产损失。

在本实施例的一个实施方式中，采用工件点云创建目标工件的参考点集包括：获取目标工件的标准数字模型；将工件点云与标准数字模型进行点云配准，得到标准数字模型至工件点云的变换矩阵；采用变换矩阵将标准数字模型的模型点云转换为与工件点云的姿态对应的参考点云；采用参考点云中的所有点创建目标工件的参考点集。

本实施例的点云配准是求两个点云之间的变换矩阵，通过求出的变换矩阵，能够将源点云变换到目标点云相同的坐标系下，如采用公式:，其中/>和/>就是源点云变换到目标点云中的一对对应点，而配准的目的就是求得两者之间的变换矩阵/>。

本实施例的标准数字模型是从目标工件的供应商得到的3D标准数模T，工件放置于检测台上位于大视野3D相机的有效视野内（可人工放置，也可机械臂自动上料，也可传送带来料），无需将工件的姿态摆放成示教时的零点姿态；3D相机采集，得到场景内的工件点云S，将点云与工件数模/>进行点云配准，得到/>至/>的变换矩阵/>，再通过/>获得将点云转至/>姿态后的对应点云/>（参考点集）；建立一个与点云/>包含点数相同的集合F{0,0,0,0...,0},表示此时每个点对应的标志位均为0，表示还未被2D相机所采集过。

在本实施例的一个实施方式中，控制2D相机在示教点位采集目标工件的局部图像包括：在统一坐标系中确定2D相机在示教点位的光心位置；从光心位置发射四条最大视野射线，其中，四条最大视野射线中相邻两条最大视野射线的夹角相同；根据四条最大视野射线计算2D相机在示教点位的视野区域，采集目标工件在视野区域内的局部图像，并将局部图像中的像素点从相平面的坐标系转换为统一坐标系。

图3是本发明实施例中2D相机的视野区域的示意图，对于2D相机，通过标定获得其4个视野射线的直线方程，方块代表2D相机，4条线代表4条最大视野射线，平面为视野区域，即该2D相机的视野区域为该4条最大视野红线与底面（最大视野射线与物体的接触点形成的面）组成的四棱锥。

设2D相机分辨率为HxW，则对于其中的每一个像素（h为当前像素的行数，w为当前像素的列数），可以从光心出发对该像素射出一条射线，基于相机内参标定得到的焦距fx和fy，以及主点的坐标(cx,cy），可以将像素坐标/>（w,h)转为图像坐标/>((w-cx/fx),(h-cy)/fy,z)，即从像素的二维坐标得到了在相平面上的三维坐标（如果是在相机坐标系下坐参考时，像平面上所有点z值为1，但这里因为已经通过手眼标定统一至机械臂base坐标系，所以z值在机械臂处于不同点位时不同，就有z暂时替代表示）。

在本实施例中，在参考点集中查找与工件像素点匹配的观测点集包括：

S11，在统一坐标系中确定2D相机在示教点位的光心位置，计算2D相机的解析度；

人工示教时，2D相机对工件表面的采集点位（即机械臂的示教点位），假设当前示教第1个点位，机械臂点位为r0，则根据手眼标定的手眼矩阵G，可以得到当前2D相机的光心坐标(x,y,z)，即为光心位置的坐标，本实施例中，所有的位置点（坐标点），射线，直线等都是基于同一个统一坐标系，该坐标系可以是机械臂底座中心为原点的三维坐标系，也可以是用户自定义原点的三维坐标系，如所有坐标系通过手眼标定转换为统一的机械臂的base坐标系（基座坐标系）。

可选的，计算当前解析度时，可以通过2D相机拍到的实际场景的长度除相机分辨率的行数，或者通过2D相机拍到的实际场景的宽度除以相机分辨率的长度，得到每个像素的实际物理宽度，将每个像素的实际物理宽度作为2D相机的解析度。

S12，针对局部图像中的每个工件像素点，生成工件像素点和光心位置之间的直线方程；

以光心坐标为(/>,/>,/>)，工件像素点坐标为（/>）为例，光心/>与当前的/>可两点确定得到一条直线方程/>=/>=。

S13，根据直线方程和解析度在参考点集中查找与工件像素点匹配的临时点集；

在一个示例中，根据直线方程和解析度在参考点集中查找与工件像素点匹配的临时点集包括：针对参考点集中的每个参考点，计算参考点与直线方程之间的投影距离；判断投影距离是否小于解析度；若投影距离小于解析度，将对应参考点添加至临时点集。

对于参考点集中的每一个三维点/>,/>,/>),计算其与得到的直线方程的投影距离/>（使用点到直线的最短距离公式），对于每个/>，首先判断其是否小于解析度，如果不满足则跳过该点，如果满足，则将/>加入临时点集的集合Y中；如果Y最后为空集合，则表示该像素在机械臂当前姿态下未能拍到工件，当前的示教点位没有有效视野范围。

S14，计算临时点集中每个临时点与光心位置之间的第一直线距离，根据第一直线距离和解析度和临时点集创建观测点集。

在一个示例中，根据第一直线距离和解析度和临时点集创建观测点集包括：确定所有临时点的直线距离集合，在直线距离集合中选择最小直线距离；将最小直线距离对应的指定临时点添加至观测点集；针对参考点集中的每个参考点，计算参考点与指定临时点之间的第二直线距离；判断第二直线距离是否小于解析度*1/2；若第二直线距离小于解析度*1/2，将对应参考点添加至观测点集。

如果临时点集Y非空，对于Y中的每个点，计算其与光心的距离（通过两点间距离公式），取最终最小的结果的对应点记为/>，表示该点为该像素的直接观测到工件的表面点，在集合F中将其对应的标志位改为1，添加至观测点集；因为工件参考点集的密度往往大于相机的解析度，所以还需要以l/2为搜索半径，对于参考点集/>中的每一个三维点/>计算其与/>的距离，如果得到距离小于1/2*解析度，则表示该点也属于该像素对于工件表面的观测点，在集合F中将其对应的标志位改为1。直到局部图像H行W列的像素点均搜索过是否存在其对应的观测点，结束搜索。

可选的，采用观测点集围成的点云区域生成2D相机在示教点位的有效视野范围包括：将观测点集中的每个点的标志位配置为第二标识符，将参考点集中除观测点集之外的其他点的标志位配置为第一标识符，其中，第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；将第一标识符对应的点云显示为第一颜色，第二标识符对应的点云显示为第二颜色；将第二颜色所覆盖的范围确定为2D相机在示教点位的有效视野范围。

在一个示例中，由于参考点集是与标准数字模型T的点集的数量相同且是一一对应的，因此也可以将参考点集替换表为标准数字模型的数模点集，更新显示界面上的参考点集T的颜色，对应F中为0的点显示为红色，F中为1对应的三维点显示为绿色，红色表示未采集过该部位的图像，绿色表示已经采集，用户可根据显示结果直观看到哪些部位还未采集，然后增加对该部位的采集点位，采集后重复以上步骤再次更新界面上的参考点集T的颜色，直到用户对当前采集覆盖率满意。

图4是本发明实施例显示有效视野范围的示意图，虚线框覆盖的范围为2D相机在当前的示教点位采集目标工件的有效视野范围。

本实施例的方案提供了一种通过2D相机成像原理，与物体数模搭配计算出当前图像具体拍的为数模中哪些部分区域的方案，利用本方案，2D相机多次采集后，可通过数模着色判断出哪些部位还未被采集过，从而工人可轻易添加对这些部位的采集轨迹，提高了示教的效率与准确性。本实施例提供的一种识别当前二维图像与物体三维表面信息的对应方法，可用于辅助人工实现高效率的表面采集轨迹示教，结果直观显示，避免了人工可能存在重复或者相近点位的冗余情况，更避免了重要筛查部位缺少对应的采集点位的情况，从而避免了工件因为缺少必要的检测而造成生产损失。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用机械设备的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件控制机械设备的形式体现出来，该软件存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台机械设备（识别装置等）执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种相机视野范围的生成装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种相机视野范围的生成装置的结构框图，如图5所示，该装置包括：第一控制模块50，创建模块52，第二控制模块54，查找模块56，其中，

第一控制模块50，用于控制3D相机采集目标工件的工件点云；

创建模块52，用于采用所述工件点云创建所述目标工件的参考点集；

第二控制模块54，用于控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；

查找模块56，用于在所述参考点集中查找与所述工件像素点匹配的观测点集；生成模块，用于采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。

可选的，所述创建模块包括：获取单元，用于获取所述目标工件的标准数字模型；配准单元，用于将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；转换单元，用于采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；创建单元，用于采用所述参考点云中的所有点创建所述目标工件的参考点集。

可选的，所述查找模块包括：处理单元，用于在统一坐标系中确定所述2D相机在所述示教点位的光心位置，计算所述2D相机的解析度；生成单元，用于针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；查找单元，用于根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；创建单元，用于计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

可选的，所述查找单元包括：计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；判断子单元，用于判断所述投影距离是否小于所述解析度；添加子单元，用于若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

可选的，所述创建单元包括：选择子单元，用于确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；添加子单元，用于将所述最小直线距离对应的指定临时点添加至所述观测点集；计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；判断子单元，用于判断所述第二直线距离是否小于所述解析度*1/2；添加子单元，用于若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

可选的，所述第二控制模块包括：确定单元，用于在统一坐标系中确定所述2D相机在所述示教点位的光心位置；发射单元，用于从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；采集单元，用于根据所述四条最大视野射线计算所述2D相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

可选的，所述生成模块包括：配置单元，用于将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；显示单元，用于将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；确定单元，用于将所述第二颜色所覆盖的范围确定为所述2D相机在所述示教点位的有效视野范围。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，控制3D相机采集目标工件的工件点云；

S2，采用所述工件点云创建所述目标工件的参考点集；

S3，控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；

S4，在所述参考点集中查找与所述工件像素点匹配的观测点集；

S5，采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，控制3D相机采集目标工件的工件点云；

S2，采用所述工件点云创建所述目标工件的参考点集；

S3，控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；

S4，在所述参考点集中查找与所述工件像素点匹配的观测点集；

S5，采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种相机视野范围的生成方法，其特征在于，包括：

控制3D相机采集目标工件的工件点云；

采用所述工件点云创建所述目标工件的参考点集；

控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；

在所述参考点集中查找与所述工件像素点匹配的观测点集；

采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围；

其中，在所述参考点集中查找与所述工件像素点匹配的观测点集包括：在统一坐标系中确定所述2D相机在所述示教点位的光心位置，计算所述2D相机的解析度；针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

2.如权利要求1所述的方法，其特征在于，采用所述工件点云创建所述目标工件的参考点集包括：

获取所述目标工件的标准数字模型；

将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；

采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；

采用所述参考点云中的所有点创建所述目标工件的参考点集。

3.如权利要求1所述的方法，其特征在于，根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集包括：

针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；

判断所述投影距离是否小于所述解析度；

若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

4.如权利要求1所述的方法，其特征在于，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集包括：

确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；

将所述最小直线距离对应的指定临时点添加至所述观测点集；

针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；

判断所述第二直线距离是否小于所述解析度*1/2；

若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

5.如权利要求1所述的方法，其特征在于，控制2D相机在示教点位采集所述目标工件的局部图像包括：

在统一坐标系中确定所述2D相机在所述示教点位的光心位置；

从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；

根据所述四条最大视野射线计算所述2D相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

6.如权利要求1所述的方法，其特征在于，采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围包括：

将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；

将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；

将所述第二颜色所覆盖的范围确定为所述2D相机在所述示教点位的有效视野范围。

7.一种相机视野范围的生成装置，其特征在于，包括：

第一控制模块，用于控制3D相机采集目标工件的工件点云；

创建模块，用于采用所述工件点云创建所述目标工件的参考点集；

第二控制模块，用于控制2D相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；

查找模块，用于在所述参考点集中查找与所述工件像素点匹配的观测点集；

生成模块，用于采用所述观测点集围成的点云区域生成所述2D相机在所述示教点位的有效视野范围；

其中，所述查找模块包括：处理单元，用于在统一坐标系中确定所述2D相机在所述示教点位的光心位置，计算所述2D相机的解析度；生成单元，用于针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；查找单元，用于根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；创建单元，用于计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6中任一项所述的相机视野范围的生成方法的步骤。

9.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至6中任一项所述的相机视野范围的生成方法的步骤。