CN107886501A - 视觉定位方法及终端设备 - Google Patents

Abstract

本发明适用于工业自动化技术领域，提供了一种视觉定位方法及终端设备。该方法包括：获取图像采集装置采集到的初始图像；识别所述初始图像中是否包含目标产品；在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张；根据所述目标图像，判断所述目标产品是否为静止状态；在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置；将所述空间位置发送至操作机器人。本发明将视觉定位与操作机器人相结合，节省工装治具的开发成本和制作成本，节省工装治具的设计时间，减少产品生产过程中的人力成本，从而降低产品的生产成本，提高生产效率。

Description

视觉定位方法及终端设备

技术领域

本发明属于工业自动化技术领域，尤其涉及一种视觉定位方法及终端设备。

背景技术

当前网络终端类产品的代工厂受限于客户要求，产品特点为订单多，型号多，每个订单批量少。为了提高生产效率，代工厂需要为产品定制工装治具，以便于对产品生产组装或者连接各种线材对产品进行上电测试。当一个型号的产品完成生产之后，该工装治具由于电源、网口、开关、USB等端口的位置与下一型号的产品不一致，不能参与下一型号产品的生产，代工厂需要开发定制全新的工装治具。由于当前网络终端类产品功能大同小异，各个品牌商家主打外观个性化，端口设置多样，灵活多变的小批量订单，进一步增加了代工厂工装治具的开发成本和制作成本。此外，在生产过程中需要人工操作工装治具，由人力将产品摆正位置，插拔各个接口线材等。

目前代工厂对于小批量订单产品定制工装治具的成本高，工装治具的利用率低；生产过程中需要人力将产品摆正位置，插拔各个接口线材，人力成本高，生产效率低。

发明内容

有鉴于此，本发明实施例提供了一种视觉定位方法及终端设备，以解决目前代工厂生产产品过程中定制工装治具的成本高，人力成本高及生产效率低问题。

本发明实施例的第一方面提供了一种视觉定位方法，包括：

获取图像采集装置采集到的初始图像；

识别所述初始图像中是否包含目标产品；

在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张；

根据所述目标图像，判断所述目标产品是否为静止状态；

在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置；

将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

本发明实施例的第二方面提供了一种视觉定位装置，包括：

第一获取模块，用于获取图像采集装置采集到的初始图像；

识别模块，用于识别所述初始图像中是否包含目标产品；

第二获取模块，用于在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张；

判断模块，用于根据所述目标图像，判断所述目标产品是否为静止状态；

分析模块，用于在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置；

发送模块，用于将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

本发明实施例的第三方面提供了一种视觉定位终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的视觉定位方法。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的视觉定位方法。

本发明实施例与现有技术相比存在的有益效果是：通过识别初始图像中是否包含目标产品，确定工作台上是否有目标产品；通过判断目标产品是否为静止状态，确认是否可以对目标产品的端口定位；通过分析目标产品上各端口的空间位置，并将空间位置发送至操作机器人，使操作机器人能够准确对目标产品上的端口进行操作，将视觉定位与操作机器人相结合，取代由人工与工装治具进行端口操作，能够不使用工装治具，节省工装治具的开发成本和制作成本，节省工装治具的设计时间，利用操作机器人的自动化操作，减少产品生产过程中的人力成本，从而降低产品的生产成本，提高生产效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的视觉定位方法的实现流程图；

图2是本发明实施例提供的视觉定位方法中判断所述目标产品是否为静止状态的实现流程图；

图3是本发明实施例提供的视觉定位方法中计算两张目标图像间偏差值的实现流程图；

图4是本发明实施例提供的视觉定位方法中判断对应像素点是否存在差异的实现流程图；

图5是本发明实施例提供的视觉定位方法中分析端口空间位置的实现流程图；

图6是本发明实施例提供的视觉定位方法中操作机器人对端口进行操作的实现流程图；

图7是本发明实施例提供的视觉定位装置的示意图；

图8是本发明实施例提供的视觉定位终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1为本发明实施例提供的视觉定位方法的实现流程图，详述如下：

在S101中，获取图像采集装置采集到的初始图像。

在本实施例中，图像采集装置可以是相机、有线摄像机或者无线摄像机等。图像采集装置的摄像头像素可以大于或等于预设像素值，例如摄像头像素可以大于或等于200万像素，或者摄像头像素大于或等于300万像素等，以保证初始图像中包含足够的有效信息便于终端设备进行图像处理。图像采集装置的图像采集帧数可以小于或等于预设帧数，例如图像采集帧数可以≤10帧/秒，或者图像采集帧数≤8帧/秒等，预设帧数的设置可以根据工作台上目标产品的传送速度进行设置，以保证在目标产品移动时，终端设备能够根据采集到的各帧图像间的差异识别出目标产品为移动状态。初始图像为包含工作台的图像，可以分为工作台上有目标产品的图像和工作台上没有目标产品的图像。

在S102中，识别所述初始图像中是否包含目标产品。

在本实施例中，目标产品可以由传送带传送，目标产品输送到工作台后，传送带暂停，或者目标产品被辅助器具推送至专门的工作台。终端设备识别初始图像中是否包含目标产品，以判断目标产品是否到达工作台位置。

终端设备可以根据异色处理算法识别初始图像中是否包含目标产品，例如终端设备通过区分背景颜色和目标产品颜色来识别初始图像中是否包含目标产品。通过区分背景颜色和目标产品颜色来识别初始图像中是否包含目标产品，能够减少图像处理的数据量，降低终端设备的存储空间占用量。

终端设备也可以根据轮廓提取算法识别初始图像中是否包含目标产品。例如，终端设备提取初始图像中的轮廓，将初始图像中的轮廓与目标产品的轮廓进行对比，识别初始图像中是否包含目标产品。

在S103中，在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像。所述预设张数大于或等于三张。

在本实施例中，若识别出初始图像中包含目标产品，则表明目标产品到达工作台。由于目标产品是由传送带传送或者辅助器具推动，目标产品到达工作台后可能仍然处于移动状态。对于移动状态的目标产品不能进行视觉定位和端口操作，在目标产品被固定或因摩擦力处于静止状态后才能进行视觉定位和端口操作，因此需要获取预设张数的包含目标产品的目标图像，以便根据目标图像判断目标产品是处于静止状态还是移动状态。虽然终端设备可以通过对比两张目标图像判断目标产品的状态，但这样容易出现误判。为确保判断目标产品的状态的准确度，预设张数大于或等于三张。预设张数的值越大，通过目标图像对目标产品的状态识别越准确，但相应的，图像处理的数据量也会增大，因此可以取适当的预设张数，例如预设张数为3张、4张等。

具体来说，当预设张数为2张时，如果目标产品的外表面为相同纯色且无花纹标识，则根据两张目标图像识别出的目标产品的状态会出现一定误差，当预设张数为3张或3张以上时，可以按照一定规则对预设张数的目标图像识别，从而消除该误差，后面将会结合具体实施例进行说明。

若识别出初始图像中没有包含目标产品，则表明目标产品未到达工作台，终端设备可以不保存该初始图像，继续获取图像采集装置采集到的初始图像，直到识别出初始图像中包含目标产品后，再获取预设张数的包含目标产品的目标图像。其中，预设张数的目标图像为图像采集装置先后依次采集到的相邻若干帧图像。终端设备可以将初始图像作为预设张数的目标图像的第一张图像，也可以将初始图像的后一帧图像作为预设张数的目标图像的第一张图像。

在S104中，根据所述目标图像，判断所述目标产品是否为静止状态。

在本实施例中，根据获取到的预设张数的目标图像，可以通过对比目标图像是否相同来判断目标产品是否为静止状态。

作为本发明的一个实施例，如图2所示，S104可以包括：

在S201中，根据图像相似度算法，分别计算所述预设张数的目标图像中每两张目标图像间的偏差值。

在本实施例中，图像相似度算法可以为PSNR(Peak Signal to Noise Ratio)峰值信噪比算法、感知哈希算法(perceptual hash algorithm)、灰度图像直方图算法或像素点对比算法等。每两张目标图像间的偏差值可以是各个前后相邻两张目标图像之间的偏差值，也可以是预设张数中所有两两组合的目标图像之间的偏差值。例如预设张数为3张，分别依次记为图像1、图像2和图像3，则前后相邻两张目标图像之间的偏差值包括图像1与图像2的偏差值及图像2与图像3的偏差值；所有两两组合的目标图像之间的偏差值包括图像1与图像2的偏差值，图像1和图像3的偏差值，及图像2和图像3的偏差值。

作为本发明的一个实施例，如图3所示，S201可以包括：

在S301中，在两张目标图像的对应位置上分别选取第一预设个数的像素点。

在本实施例中，终端设备计算两张目标图像之间的偏差值时，首先在各个目标图像上的对应位置分别选取第一预设个数的像素点。其中对应位置可以为位置相同的区域。第一预设个数可以为目标图像包含的像素点总个数，也可以为目标图像包含的部分像素点的个数。例如，第一预设个数可以取为10000个或20000个等。

在S302中，将两张目标图像中每对对应的像素点中的两个像素点进行对比，判断每对对应像素点中的两个像素点是否存在差异。

其中，对应像素点为两张目标图像上对应位置的像素点。可以通过对比对应像素点中的两个像素点的像素参数来判断对应像素点中的两个像素点是否存在差异。

作为本发明的一个实施例，如图4所示，S302可以包括：

在S401中，计算两张目标图像中每对所述对应像素点中的两个像素点之间的匹配度。所述匹配度包括R参数匹配度、G参数匹配度、B参数匹配度和亮度匹配度。

其中，对应像素点中的两个像素点之间的匹配度可以为对应像素点中的两个像素点的像素参数的比值，R、G、B依次为像素的红绿蓝三个标准色参数，例如，一张图像上的一个像素点记为α，另一张图像上的一个像素点记为β，则两张目标图像上该对对应像素点的R参数匹配度可以表示为αR/βR，G参数匹配度可以表示为αG/βG，B参数匹配度可以表示为αB/βB，亮度匹配度可以表示为αcd/βcd。

在S402中，判断所述匹配度是否全部位于预设阈值范围内。

在本实施例中，预设阈值范围可以根据需求进行设定。考虑到图像采集装置采集到的图像存在一定的噪声，如果只设置预设阈值为1，那么由于噪声的存在，会使所有目标图像的识别结果均为存在差异，不能正确识别出目标产品是否为静止状态。因此设置一个预设阈值范围。例如预设阈值范围可以设为95％～105％或者97％～103％等。在此以预设阈值范围为95％～105％为例，则判定公式如下：

在S403中，若所述匹配度全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点不存在差异。

其中，仍以预设阈值范围为95％～105％为例，若计算得到的匹配度满足式(1)，则匹配度全部位于预设阈值范围内，判断该对应像素点中的两个像素点不存在差异。

在S404中，若所述匹配度没有全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点存在差异。

其中，仍以预设阈值范围为95％～105％为例，若计算得到的匹配度不满足式(1)，即对应像素点像素参数的匹配度至少有一个不位于预设阈值范围内，则匹配度没有全部位于预设阈值范围内，判断该对应像素点中的两个像素点存在差异。

在本实施例中，通过计算对应像素点中的两个像素点之间的匹配度是否全部位于预设阈值范围内，判断对应像素点中的两个像素点是否存在差异，能够消除噪声影响，准确快速的判断出一对对应像素点是否存在差异。依照此方法可以高效准确的判断出两张目标图像中每对对应像素点中的两个像素点是否存在差异，以便后续的图像识别。

在S303中，根据两张目标图像中存在差异的对应像素点的对数与所述第一预设个数计算两张目标图像间的偏差值。

在此，以第一预设个数为10000个为例进行说明，若计算得出的有8对对应像素点存在差异，则计算这两张目标图像间的偏差值为0.0008；若计算得出的有3对对应像素点存在差异，则计算这两张目标图像间的偏差值为0.0003。

在本实施例中，在两张目标图像上选取第一预设个数的对应像素点，对比每对对应像素点中的两个像素点是否存在差异，根据存在差异的对应像素点对数与第一预设个数计算得出两张目标图像间的偏差值，依照此方法，可以高效准确的计算出预设张数的目标图像中每两张目标图像间的偏差值，以便于终端设备根据计算出的偏差值判断目标产品是否为静止状态。

在S202中，将计算出的各个所述偏差值分别与预设偏差阈值进行对比。

其中，预设偏差阈值可以为0.0005或0.0007等。将由预设张数的目标图像计算出的各个偏差值分别与预设偏差阈值进行对比。

在S203中，若计算出的各个所述偏差值均小于所述预设偏差阈值，则判断所述目标产品为静止状态。

在本实施例中，若计算出的各个偏差值均小于预设偏差阈值，则表明预设张数的目标图像均不存在差异，因此判断目标产品为静止状态。若计算出的各个偏差值中任一偏差值大于预设偏差阈值，则表明预设张数的目标图像中有至少一张目标图像与其他目标图像存在差异，因此判断目标产品为移动状态。

以预设偏差阈值为0.0005为例，假设根据预设张数的目标图像计算得出两个偏差阈值分别为0.0002和0.0003，则判断目标产品为静止状态；假设根据预设张数的目标图像计算得出两个偏差阈值分别为0.0007和0.0003，则判断目标产品为移动状态。

可选地，在判断目标产品为移动状态后，终端设备将获取到的目标图像中时间上最早的一张目标图像去除，重新从图像采集装置获取一张目标图像与剩余的目标图像组成预设张数的目标图像。终端设备根据更新后的预设张数的目标图像重新判断目标产品的状态。重复此过程，直到判断得出目标产品为静止状态为止。

在本实施例中，通过计算目标图像中每两张图像的偏差值，并将偏差值与预设偏差阈值对比，实现目标产品状态的判断，能够准确及时的判断出目标产品为静止状态，以便于后续及时对目标产品进行定位和端口操作，能够避免目标产品已经静止但终端设备未进行下一步骤的情况，减少整个视觉定位过程的时间，提高视觉定位的效率，从而提高目标产品的生产效率。

在S105中，在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置。

在本实施例中，基准图像为终端设备内存储的目标产品的图像。以基准图像为参考，通过图像匹配算法可以分析出目标图像上目标产品上各端口的空间位置。图像匹配算法可以为尺度不变特征转换(Scale-invariant feature transform，SIFT)算法、SURF(Speeded-Up Robust Features)算法、Harris-SIFT算法等。目标产品的端口可以包括电源、开关、RJ45接口、RJ11接口等。与基准图像相匹配的目标图像可以为设备终端用于判断目标产品为静止状态的目标图像中时间上的最后一张图像。

作为本发明的一个实施例，如图5所示，所述空间位置包括端口位置和端口方向，S105可以包括：

在S501中，在所述基准图像的预设区域内选取第二预设个数的基准特征点，所述目标图像中与各个所述基准特征点对应的像素点为第一像素点。

其中，预设区域可以设置为端口与产品面板交界处、复位按钮和刻字LOGO等对比度相对强烈的区域。这些区域内的基准特征点更容易在图像中识别定位。第二预设个数可以为180个、190个或200个等。预设区域内包含一个端口。

在S502中，分别计算各个所述基准特征点与对应的第一像素点之间的角度变换值，并计算所有所述角度变换值的角度平均值。

在本实施例中，根据SIFT算法可以计算出基准图像中的基准特征点与对应的第一像素点之间的角度变换值。将各个基准特征点对应的角度变换值取平均值，得到角度平均值。角度平均值可以用于对端口的旋转追踪，用于判定目标图像中端口相对于基准图像的角度方向。

在S503中，根据所述角度平均值计算得出所述预设区域内端口的端口方向。

通过预设区域内基准特征点求得的角度平均值，可以计算得到预设区域内端口的端口方向。

在S504中，分别计算各个所述基准特征点与对应的第一像素点之间的坐标变换值，并计算所有所述坐标变换值的坐标平均值。

在本实施例中，根据SIFT算法可以计算出基准图像中的基准特征点与对应的第一像素点之间的坐标变换值。将各个基准特征点对应的坐标变换值取平均值，得到坐标平均值。坐标平均值可以用于对端口的平移追踪，用于判定目标图像中端口相对于基准图像的位置坐标。

在S505中，根据所述坐标平均值计算得出所述预设区域内端口的端口位置。

通过预设区域内基准特征点求得的坐标平均值，可以计算得到预设区域内端口的端口位置。

在本实施例中，通过SIFT算法匹配基准图像和目标图像，实现对目标产品上端口的定位。SIFT算法能够对视角变化、仿射变换、噪声等保持一定程度的匹配稳定性，从而确保端口定位的稳定性，并且经过优化的SIFT匹配算法计算快速，能够减少定位时间。

作为本发明的一个实施例，由于工作台上的目标产品外形高度相同，端口口高度在任意摆放的情况下处于同一高度。所以可以将问题简化为二维空间定位的问题。由于端口定位被简化为二维空间问题，所以SIFT算法可以采用高斯二维卷积核公式。

高斯二维卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

其中，G(x,y,σ)是尺度可变高斯函数，(x,y)是尺度坐标。σ大小决定图像的平滑程度。σ值较大则对应粗糙尺度(低分辨率)，即对应图像的概貌特征；σ值较小则对应精细尺度(高分辨率)，即对应图像的细节特征。为了有效的在尺度空间检测到稳定的特征点，提出高斯差分尺度空间(DOG scale-space)，可以利用不同尺度的高斯二维卷积核与图像卷积生成。

在S106中，将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

在本实施例中，终端设备将目标产品上端口的空间位置信息发送至操作机器人，操作机器人根据空间位置信息对端口进行操作。其中，操作机器人为能根据控制指令控制机械臂等执行操作的工业机器人，例如六轴关节式机器人。操作机器人可以根据端口的种类对端口进行对应的操作。操作机器人对端口可执行的操作包括跳跃操作、插拔操作和平动式操作等。例如，对于垂直于工作台的按钮式端口执行“门”式跳跃动作，对于接线式端口执行插拔操作等。

作为本发明的一个实施例，如图6所示，S106可以包括：

在S601中，所述操作机器人根据所述基准图像和所述空间位置分析操作对应的起点坐标和终点坐标；

在S602中，所述操作机器人根据所述起点坐标和所述终点坐标对所述目标产品上的端口进行操作。

在本实施例中，操作机器人内部可以预先存储有基准图像，根据基准图像接收到端口的空间位置分析出端口在目标产品上的实际位置。操作机器人根据基准图像可以确定端口的类型，并确定对应的操作种类，分析操作对应的起点坐标和终点坐标。操作机器人根据起点坐标和终点坐标对目标产品上的端口进行相应的操作。

采用本实施例，代工厂可以将大批多年前采购、当前闲置的操作机器人与视觉定位终端设备结合，重新利用，节约设备采购资金；可以在小批量、非标准订单产品上实现机器代替人工；大多数产品无需再开发制作流水线生产定位的工装治具，节约人力物力。

本发明实施例通过识别初始图像中是否包含目标产品，确定工作台上是否有目标产品；通过判断目标产品是否为静止状态，确认是否可以对目标产品的端口定位；通过分析目标产品上各端口的空间位置，并将空间位置发送至操作机器人，使操作机器人能够准确对目标产品上的端口进行操作，将视觉定位与操作机器人相结合，取代由人工与工装治具进行端口操作，能够不使用工装治具，节省工装治具的开发成本和制作成本，节省工装治具的设计时间，利用操作机器人的自动化操作，减少产品生产过程中的人力成本，从而降低产品的生产成本，提高生产效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的视觉定位方法，图7示出了本发明实施例提供的视觉定位装置的示意图。为了便于说明，仅示出了与本实施例相关的部分。

参照图7，该装置包括第一获取模块71、识别模块72、第二获取模块73、判断模块74、分析模块75和发送模块76。

第一获取模块71，用于获取图像采集装置采集到的初始图像。

识别模块72，用于识别所述初始图像中是否包含目标产品。

第二获取模块73，用于在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张。

判断模块74，用于根据所述目标图像，判断所述目标产品是否为静止状态；

分析模块75，用于在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置。

发送模块76，用于将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

优选地，判断模块74用于：

根据图像相似度算法，分别计算所述预设张数的目标图像中每两张目标图像间的偏差值；

将计算出的各个所述偏差值分别与预设偏差阈值进行对比；

若计算出的各个所述偏差值均小于所述预设偏差阈值，则判断所述目标产品为静止状态。

优选地，判断模块74用于：

在两张目标图像的对应位置上分别选取第一预设个数的像素点；

将两张目标图像中每对对应的像素点中的两个像素点进行对比，判断每对对应像素点中的两个像素点是否存在差异；

根据两张目标图像中存在差异的对应像素点的对数与所述第一预设个数计算两张目标图像间的偏差值。

优选地，判断模块74用于：

计算两张目标图像中每对所述对应像素点中的两个像素点之间的匹配度；所述匹配度包括R参数匹配度、G参数匹配度、B参数匹配度和亮度匹配度；

判断所述匹配度是否全部位于预设阈值范围内；

若所述匹配度全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点不存在差异；

若所述匹配度没有全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点存在差异。

优选地，分析模块75用于：

在所述基准图像的预设区域内选取第二预设个数的基准特征点，所述目标图像中与各个所述基准特征点对应的像素点为第一像素点；

分别计算各个所述基准特征点与对应的第一像素点之间的角度变换值，并计算所有所述角度变换值的角度平均值；

根据所述角度平均值计算得出所述预设区域内端口的端口方向；

分别计算各个所述基准特征点与对应的第一像素点之间的坐标变换值，并计算所有所述坐标变换值的坐标平均值；

根据所述坐标平均值计算得出所述预设区域内端口的端口位置。

本发明实施例通过识别初始图像中是否包含目标产品，确定工作台上是否有目标产品；通过判断目标产品是否为静止状态，确认是否可以对目标产品的端口定位；通过分析目标产品上各端口的空间位置，并将空间位置发送至操作机器人，使操作机器人能够准确对目标产品上的端口进行操作，将视觉定位与操作机器人相结合，取代由人工与工装治具进行端口操作，能够不使用工装治具，节省工装治具的开发成本和制作成本，节省工装治具的设计时间，利用操作机器人的自动化操作，减少产品生产过程中的人力成本，从而降低产品的生产成本，提高生产效率。

图8是本发明一实施例提供的视觉定位终端设备的示意图。如图8所示，该实施例的视觉定位终端设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82，例如视觉定位程序。所述处理器80执行所述计算机程序82时实现上述各个视觉定位方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块71至76的功能。

示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序82在所述视觉定位终端设备8中的执行过程。例如，所述计算机程序82可以被分割成第一获取模块、识别模块、第二获取模块、判断模块、分析模块和发送模块，各模块具体功能如下：

第一获取模块，用于获取图像采集装置采集到的初始图像。

识别模块，用于识别所述初始图像中是否包含目标产品。

第二获取模块，用于在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张。

判断模块，用于根据所述目标图像，判断所述目标产品是否为静止状态。

分析模块，用于在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置。

发送模块，用于将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

所述视觉定位终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视觉定位终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是视觉定位终端设备8的示例，并不构成对视觉定位终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视觉定位终端设备还可以包括输入输出设备、网络接入设备、总线、显示器等。

所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器81可以是所述视觉定位终端设备8的内部存储单元，例如视觉定位终端设备8的硬盘或内存。所述存储器81也可以是所述视觉定位终端设备8的外部存储设备，例如所述视觉定位终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述视觉定位终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述视觉定位终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视觉定位方法，其特征在于，包括：

获取图像采集装置采集到的初始图像；

识别所述初始图像中是否包含目标产品；

在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张；

根据所述目标图像，判断所述目标产品是否为静止状态；

在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置；

将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

2.如权利要求1所述的视觉定位方法，其特征在于，所述根据所述目标图像，判断所述目标产品是否为静止状态包括：

根据图像相似度算法，分别计算所述预设张数的目标图像中每两张目标图像间的偏差值；

将计算出的各个所述偏差值分别与预设偏差阈值进行对比；

若计算出的各个所述偏差值均小于所述预设偏差阈值，则判断所述目标产品为静止状态。

3.如权利要求2所述的视觉定位方法，其特征在于，所述根据图像相似度算法，分别计算所述预设张数的目标图像中每两张目标图像间的偏差值包括：

在两张目标图像的对应位置上分别选取第一预设个数的像素点；

将两张目标图像中每对对应的像素点中的两个像素点进行对比，判断每对对应像素点中的两个像素点是否存在差异；

根据两张目标图像中存在差异的对应像素点的对数与所述第一预设个数计算两张目标图像间的偏差值。

4.如权利要求3所述的视觉定位方法，其特征在于，所述将两张目标图像中每对对应的像素点中的两个像素点进行对比，判断每对对应像素点中的两个像素点是否存在差异包括：

计算两张目标图像中每对所述对应像素点中的两个像素点之间的匹配度；所述匹配度包括R参数匹配度、G参数匹配度、B参数匹配度和亮度匹配度；

判断所述匹配度是否全部位于预设阈值范围内；

若所述匹配度全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点不存在差异；

若所述匹配度没有全部位于所述预设阈值范围内，则判断所述对应像素点中的两个像素点存在差异。

5.如权利要求1-4任一项所述的视觉定位方法，其特征在于，所述空间位置包括端口位置和端口方向，所述根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置包括：

在所述基准图像的预设区域内选取第二预设个数的基准特征点，所述目标图像中与各个所述基准特征点对应的像素点为第一像素点；

分别计算各个所述基准特征点与对应的第一像素点之间的角度变换值，并计算所有所述角度变换值的角度平均值；

根据所述角度平均值计算得出所述预设区域内端口的端口方向；

分别计算各个所述基准特征点与对应的第一像素点之间的坐标变换值，并计算所有所述坐标变换值的坐标平均值；

根据所述坐标平均值计算得出所述预设区域内端口的端口位置。

6.如权利要求1所述的视觉定位方法，其特征在于，所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作包括：

所述操作机器人根据所述基准图像和所述空间位置分析操作对应的起点坐标和终点坐标；

所述操作机器人根据所述起点坐标和所述终点坐标对所述目标产品上的端口进行操作。

7.一种视觉定位装置，其特征在于，包括：

第一获取模块，用于获取图像采集装置采集到的初始图像；

识别模块，用于识别所述初始图像中是否包含目标产品；

第二获取模块，用于在识别出所述初始图像中包含目标产品后，获取预设张数的包含目标产品的目标图像；所述预设张数大于或等于三张；

判断模块，用于根据所述目标图像，判断所述目标产品是否为静止状态；

分析模块，用于在判断出所述目标产品为静止状态后，根据基准图像和所述目标图像分析所述目标产品上各端口的空间位置；

发送模块，用于将所述空间位置发送至操作机器人，以使所述操作机器人根据所述空间位置对所述目标产品上的端口进行操作。

8.如权利要求7所述的视觉定位装置，其特征在于，判断模块用于：

根据图像相似度算法，分别计算所述预设张数的目标图像中每两张目标图像间的偏差值；

将计算出的各个所述偏差值分别与预设偏差阈值进行对比；

若计算出的各个所述偏差值均小于所述预设偏差阈值，则判断所述目标产品为静止状态。

9.一种视觉定位终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。