CN111145218B - 一种基于YOLO算法的mini-LED芯片精密定位方法 - Google Patents

Abstract

本发明公开了一种基于YOLO算法的mini‑LED芯片精密定位方法，包括步骤：设定待跟踪的mini‑LED芯片中的mark图片，设置预定像素位置；启动传送带后开启相机；将mark图片作为模板存入模板文件中；从第一帧图像起的每一帧图像都进行目标检测，得到每一帧图像中mark图片的置信度和像素位置；根据图像的置信度与设定的置信度阈值的大小关系，确定图像匹配情况；将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较，调节传送带的速度；当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时，停止传送带，完成定位。本发明采用YOLO的深度学习目标检测算法，通过实时跟踪mini‑LED芯片位置，并实时调整传送带速度，达到精确定位的效果，有效地提高mini‑LED的生产效率。

Description

一种基于YOLO算法的mini-LED芯片精密定位方法

技术领域

本发明涉及目标跟踪定位的技术领域，尤其涉及一种基于YOLO算法的mini-LED芯片精密定位方法。

背景技术

目前，随着计算机视觉技术的发展，基于视觉的运动目标检测与跟踪成为当前研究热点，在视频监控、虚拟现实、人机交互、行星探测、精确制导等诸多方面都有广泛的应用前景。

YOLO算法是一种基于深度学习神经网络框架的物体检测算法，该算法将输入的图像分为7乘7的网格，并以每个网格为中心预置5个默认框，算法的输出是在每个网格处预测以该5个默认框为基础的偏移，并同时预测对应的类别。5个预置的默认框是通过在大量物体检测数据集上进行聚类得到的5种具有代表性的框，因而能保证输出框的准确性与算法回归的收敛性。该方法可以消除由于视野场景发生变化带来的检测累计误差，即使背景十分复杂，也可以识别目标物体。

白光LED是一种新型半导体全固态照明光源。与传统照明技术相比，这种新型光源具有高效节能、长寿命、小体积、易维护、绿色环保、使用安全、耐候性好等领先优势，被公认为是未来照明光源之首选。

白光LED封装是推动国际半导体照明和显示迅速发展的关键工艺，而荧光粉涂覆是目前国际上实现蓝光LED向白光LED转换的主流技术。目前很多机器使用模板匹配的方法来实现LED的自动上料过程中芯片的自动定位，这样使用模板匹配的传统方法有个问题，当环境变化时，比如光强变化，当终端执行机构高度变化时，需要重新相机标定，否则会导致匹配的严重不准确，可靠性很低，但是这样很麻烦。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于YOLO算法的mini-LED芯片精密定位方法。本发明能够实现对芯片的持续跟踪，具有速度快、实时性好、对于环境变化的实用性强等优点，相较于传统方法，能够提高定位的准确性和可靠性，能够提高生产效率。

本发明的目的能够通过以下技术方案实现：

一种基于YOLO算法的mini-LED芯片精密定位方法，包括步骤：

设定待跟踪的mini-LED芯片中的mark图片，设置在图像中的预定像素位置，令预定像素位置作为芯片最终要停留的位置；相机放置到指定拍摄位置，启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机；

将作为特定目标的mark图片作为模板存入模板文件中，作为训练的样本；

将出现mark图片的第一帧图像作为第一帧图像，使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测，得到每一帧图像中mark图片的置信度和像素位置；

判断图像的置信度是否大于设定的置信度阈值：

如果第i帧图像的置信度大于等于置信度阈值，则表示跟踪成功，第i帧图像的目标跟踪完成，将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中，令i＝i+1，进行下一帧图像的目标跟踪；

如果置信度小于置信度阈值，则第i帧图像中没有特定目标，令i＝i+1，进行下一帧图像的目标跟踪；

将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较，调节传送带的速度；

当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时，停止传送带，完成定位。

具体地，所述设置在图像中的预定像素位置，方法为：将mini-LED芯片放置在理想终点位置，查看图片取得mark点的中心像素的坐标，令该坐标作为预定像素位置。

具体地，所述每一帧图像中的mark图片的检测结果包括置信度{a1,a2,…,an}和对应的像素位置{S1,S2,…,Sn}；其中，n表示帧数，置信度表示匹配到目标的可能性，置信度越高，匹配到目标的可能性就越高，超过置信度阈值Thres表示成功匹配并跟踪到目标。像素位置S是根据传送带方向来决定，如果传送带方向是沿X轴方向，则S是取像素坐标(x,y)的x值。

具体地，所述将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较，调节传送带的速度的步骤中，实时像素位置与预定像素位置越近，传送带的速度需要控制得越小，传送带的速度调节公式为：

v＝k/S

其中v是传送带速度，k是系数，S是mark图片的像素位置{x,y}的x值。k系数通过试凑法或根据具体运行情况来确定。

本发明相较于现有技术，具有以下的有益效果：

当前，目前很多机器使用模板匹配的方法来实现mini-LED的自动上料过程中芯片的自动定位，这种方法抗干扰能力弱，对环境变化敏感，生产效率不高。采用本发明可以利用深度学习的优点能很有效的提高机器的抗干扰能力，环境变化适应性强，定位精度高，可以大幅提高生产效率。

附图说明

图1是本发明提供的基于YOLO算法的mini-LED芯片目标跟踪定位过程的方法流程图。

图2是本发明提供的传送带结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示为一种基于YOLO算法的mini-LED芯片精密定位方法的流程图，所述方法包括步骤：

(1)设定待跟踪的mini-LED芯片中的mark图片，设置在图像中的预定像素位置，令预定像素位置作为芯片最终要停留的位置；相机放置到指定拍摄位置，启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机；

所述mark图片用于作为训练样本，本发明中目标检测就是检测匹配这个mark图片，也就是实时跟踪这个mark图片，mark图片是整个大芯片的一个小标记，是芯片的一个固定位置标记。整个图像中是独一无二的，通过检测这个标记来代替检测整个芯片。

传送带的结构如图2所示，在本实施例中，移动轴使相机的视野能覆盖传送带，然后固定相机在传送带正上方中间(2)的正上方，在视野的起点(1)处放置芯片，拍摄一张图片，截取芯片上的mark点图片作为待跟踪的目标，并设置在图像中的预定像素位置的x轴坐标D作为芯片最终要停留的位置。

所述设置在图像中的预定像素位置，方法为：将mini-LED芯片放置在理想终点位置(2)，查看图片取得mark点的中心像素的X坐标，令该坐标作为预定像素位置D。

(2)将作为特定目标的mark图片作为模板存入模板文件中，作为训练的样本；

在本发明中，将匹配成功的每个位置的mark图片都作为训练样本，增大训练样本数量，提高可靠性。

(3)将出现mark图片的第一帧图像作为第一帧图像，使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测，得到每一帧图像中mark图片的置信度和像素位置；

所述每一帧图像中的mark图片的检测结果包括置信度{a1,a2,…,an}和对应的像素位置{S1,S2,…,Sn}；其中，n表示帧数，置信度表示匹配到目标的可能性，置信度越高，匹配到目标的可能性就越高，超过置信度阈值Thres表示成功匹配并跟踪到目标。像素位置S是根据传送带方向来决定，如果传送带方向是沿X轴方向，则S是取像素坐标(x,y)的x值。

(4)判断图像的置信度是否大于设定的置信度阈值：

如果第i帧图像的置信度大于等于置信度阈值，则表示跟踪成功，第i帧图像的目标跟踪完成，将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中，令i＝i+1，进行下一帧图像的目标跟踪；

如果置信度小于置信度阈值，则第i帧图像中没有特定目标，令i＝i+1，进行下一帧图像的目标跟踪；

(5)将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较，调节传送带的速度；

对于成功匹配并跟踪到的目标，将用于控制传送带的运动速度，实时跟踪到的目标像素位置S与设定的预定像素位置D进行比较，S越接近D，则传送带速度要设置的越小。传送带的速度调节公式为：

v＝k/S

其中v是传送带速度，k是系数，S是mark图片的像素位置{x,y}的x值。

(6)当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时，停止传送带，完成定位。

判断目标像素位置S与预定位置D的距离，如果D-S≤diff，则停止传送带，diff表示此次定位的允许误差，停止相机拍摄和目标跟踪，定位完成，进行下一步喷涂作业。否则按照步骤(5)控制传送带的速度。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于YOLO算法的mini-LED芯片精密定位方法，其特征在于，包括步骤：

设定待跟踪的mini-LED芯片中的mark图片，设置在图像中的预定像素位置，令预定像素位置作为芯片最终要停留的位置；相机放置到指定拍摄位置，启动传送带后开启相机实时逐帧采集图像并将图像实时发送给计算机；

将作为特定目标的mark图片作为模板存入模板文件中，作为训练的样本；

将出现mark图片的第一帧图像作为第一帧图像，使用YOLO检测算法从第一帧图像起的每一帧图像都进行目标检测，得到每一帧图像中mark图片的置信度和像素位置；

根据图像的置信度与设定的置信度阈值的大小关系，确定图像匹配情况，具体为：

如果第i帧图像的置信度大于等于置信度阈值，则表示跟踪成功，第i帧图像的目标跟踪完成，将匹配到的mark图片从第i帧图像中截取出来作为新的模板存入模板文件中，令i=i+1，进行下一帧图像的目标跟踪；

如果置信度小于置信度阈值，则第i帧图像中没有特定目标，令i=i+1，进行下一帧图像的目标跟踪；

将mark图片在所检测帧图像中的像素位置与预定像素位置进行比较，调节传送带的速度，其中，实时像素位置与预定像素位置越近，传送带的速度需要控制得越小，传送带的速度调节公式为：

v=k/S

其中v是传送带速度，k是系数，S是mark图片的像素位置{x,y}的x值；

当实时的mark图片的像素位置与像素预定位置距离相差小于等于允许误差时，停止传送带，完成定位。

2.根据权利要求1所述的方法，其特征在于，所述设置在图像中的预定像素位置，方法为：将mini-LED芯片放置在理想终点位置，查看图片取得mark点的中心像素的坐标，令该坐标作为预定像素位置。

Images