CN112529937A - 一种agv视觉目标识别与跟踪系统及方法 - Google Patents

Abstract

本申请公开了一种AGV视觉目标识别与跟踪系统及方法，包括：获取第i帧图像；初始状态下i＝1；对第i帧图像输出目标识别结果；提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回上一步。

Description

一种AGV视觉目标识别与跟踪系统及方法

技术领域

本申请涉及工业智能控制技术领域，特别是涉及一种AGV视觉目标识别与跟踪系统及方法。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

目前，AGV应用发展非常迅速，各种智慧工厂引进智能运输系统提高生产效益，AGV的智能化程度成为现代生产物流自动化水平的评判标准。但是工业车间应用场景越来越复杂，对AGV的精度、稳定性、灵活性的要求也不断增加，传统的AGV运输模式不能很好地适应应用环境的变化，智能化水平不足。随着计算机技术和人工智能的发展，使得基于视觉技术的AGV在研究和生产领域得到很大的重视，在智慧工厂中AGV运动过程中进行有效的识别与跟踪具有较大的应用前景。

发明内容

为了解决现有技术的不足，本申请提供了一种AGV视觉目标识别与跟踪系统及方法；

第一方面，本申请提供了一种AGV视觉目标识别与跟踪方法；

一种AGV视觉目标识别与跟踪方法，包括：

S101：获取第i帧图像；初始状态下i＝1；

S102：对第i帧图像输出目标识别结果；

S103：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

S104：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；

根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回S103。

第二方面，本申请提供了一种AGV视觉目标识别与跟踪装置；

一种AGV视觉目标识别与跟踪装置，包括：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本申请还提供了一种AGV视觉目标识别与跟踪系统；

一种AGV视觉目标识别与跟踪系统，包括：自动导引运输车AGV；

所述自动导引运输车AGV前端设置有视觉传感器；

所述自动导引运输车AGV还谁有工控机；所述工控机与视觉传感器连接；

所述工控机通过驱动器驱动自动导引运输车AGV车轮的转动；

所述工控机，包括以下模块：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

与现有技术相比，本申请的有益效果是：

本申请面向AGV视觉目标识别与跟踪系统，AGV装配视觉传感器，基于深度学习训练目标模型并进行检测，提高了其对周围环境的感知能力，工控机用于处理视觉感知信息，将决策结果通信给控制模块，分层管理，随着人体目标的移动进行准确实时跟踪，便于实现AGV在工业车间运行的灵活性和智能性。

本申请附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请的AGV视觉目标识别与跟踪系统总体架构示意图；

图2为本申请的改进SSD目标检测网络示意图；

图3为本申请的改进KCF目标跟踪算法示意图；

图4(a)-图4(c)为本申请的人体跟踪结果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了一种AGV视觉目标识别与跟踪方法；

如图1和图3所示，一种AGV视觉目标识别与跟踪方法，包括：

S101：获取第i帧图像；初始状态下i＝1；

S102：对第i帧图像输出目标识别结果；

S103：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

S104：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；

根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回S103。

作为一个或多个实施例，所述S101：获取第i帧图像；是通过自动导引运输车AGV自身携带的视觉传感器来获取。

进一步地，所述视觉传感器，采用单目相机，对自动导引运输车AGV行进方向进行图像采集。

进一步地，所述自动导引运输车AGV，还设有工控机，所述工控机与视觉传感器连接，用于接收视觉传感器采集的图像，并对接收的图像进行处理与感知，并通过通信协议向运动控制单元发送指令。

进一步地，所述运动控制单元，用于接收工控机的控制指令，将控制指令按照设定的通信准则进行解码，进而控制自动导引运输车AGV行进。

作为一个或多个实施例，所述S102：对第i帧图像输出目标识别结果；具体步骤包括：

将第i帧图像，输入到训练后的目标识别模型中，输出目标识别结果。

进一步地，所述训练后的目标识别模型；训练步骤包括：

构建训练集，所述训练集为已知目标标签的图像；

构建卷积神经网络；

将训练集输入到卷积神经网络中，对网络进行训练；

训练终止时，得到训练后的目标识别模型。

进一步地，所述已知目标标签的图像为已知人体下半身区域的图像。

进一步地，所述人体下半身区域是指人体腰部以下脚部以上的位置，样本数据根据工业场景的应用进行采集，提高数据样本环境自适应的准确性。标签是通过矩形框的方法将样本目标按照最小最大面积包围的准则进行框选，并将标注后的样本按照7:3的比例划分为训练集和测试集。

进一步地，如图2所示，所述卷积神经网络为ResNet卷积神经网络。

模型的训练是指利用标注好的数据集，基于SSD检测算法生成目标识别模型；目标的识别是指利用训练阶段生成目标识别模型，再次基于SSD检测算法，在输入的初始帧(即第1帧)图像中识别出目标在图像中的位置和大小。

作为一个或多个实施例，所述S103：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；具体步骤包括：

提取第i帧图像中的方向梯度直方图(Histogram of Oriented Gradient,HOG)特征；

当i＝1时，基于KCF(Kernel Correlation Filter)的相关滤波跟踪算法和第i帧图像中图像特征，初始化滤波跟踪器和跟踪参数，生成待跟踪目标模板；

当i≥2时，在不同跟踪框尺度下，基于KCF(Kernel Correlation Filter)的相关滤波跟踪算法，计算第i帧图像的图像特征与待跟踪目标模板的相关性。

作为一个或多个实施例，如图4(a)、图4(b)和图4(c)所示，所述S104：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别；具体步骤包括：

选择目标相关性响应值最大的尺度因子作为第i帧图像跟踪框尺寸。

根据第i帧图像跟踪框尺寸，确定第i帧图像目标所在位置，进而更新跟踪滤波器，得到每一帧的目标位置和状态。

作为一个或多个实施例，所述S104：根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；具体步骤包括：

根据第i帧图像目标跟踪框的中心点横坐标相对于图像帧中心点横坐标的位置，判断AGV的左右转向，若第i帧图像目标跟踪框的中心点横坐标小于图像帧中心点横坐标，则AGV需左转，反之AGV需右转；

根据第i帧图像目标跟踪框的尺寸相对于第i-1帧图像图像目标跟踪框的尺寸大小，判断判断AGV的前后运动方向，若第i帧跟踪框的尺寸小于上一帧图像目标跟踪框的尺寸，则说明目标有向前运动的趋势，AGV需加速前进，维持AGV与人体之间规定的距离范围。

借助OpenCV视觉库处理输入视频序列，建立上下位机之间的通信协议，实现AGV对目标的跟踪。

在自动导引运输车AGV开始识别时，待跟踪的人体在自动导引运输车AGV前方行进方向1米处左右，停留3-5秒，检测待跟踪目标的类型和位置，识别成功后提示开始跟踪运动。

基于KCF核相关滤波跟踪算法，提取识别后第一帧目标的HOG特征，初始化跟踪滤波器，生成待跟踪目标模板。在下一帧读取时，判断当前图像特征与目标模板之间的相关性，确定当前帧目标所在位置，并融合尺度自适应策略，尺度更新池S＝{1,1.05,0.95}，选取目标响应值最大的尺度因子更新当前帧的目标尺寸，进而更新跟踪滤波器，如此循环，得到每一帧的目标的位置和状态。

借助OpenCV视觉库处理输入视频序列，是指将采集的每一帧输入图像进行图像处理，灰度化并通过直方图均衡化提高目标的对比度，保证AGV跟踪的实时性与准确性。

上下位机之间的通信协议，是指在工控机通过相机感知外部环境，根据AGV与跟踪目标之间的位置关系做出决策，向运动控制模块发送通信指令，包括指令类型、AGV左右轮的转向和AGV左右轮的转速。

得到目标的位置和状态之后，判断AGV与跟踪人体目标之间的位置关系，如表1所示。根据当前帧目标跟踪框的中心点横坐标相对于图像帧中心点横坐标的位置，判断AGV的左右转向；根据当前帧目标跟踪框的尺寸相对于上一帧图像目标跟踪框的尺寸大小，判断判断AGV的前后运动方向，维持AGV与人体之间规定的距离范围。

表1

注：

1.centerX0是指图像帧中心点横坐标，X是指当前帧目标跟踪框的中心点横坐标；

2.S0是指上一帧图像目标跟踪框的尺寸大小，S是指当前帧图像目标跟踪框的尺寸大小。

实施例二

本实施例提供了一种AGV视觉目标识别与跟踪装置；

一种AGV视觉目标识别与跟踪装置，包括：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

此处需要说明的是，上述获取模块、目标识别模块、特征提取模块和目标跟踪模块对应于实施例一中的步骤S101至步骤S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

实施例五

本实施例还提供了一种AGV视觉目标识别与跟踪系统；

一种AGV视觉目标识别与跟踪系统，包括：自动导引运输车AGV；

所述自动导引运输车AGV前端设置有视觉传感器；

所述自动导引运输车AGV还谁有工控机；所述工控机与视觉传感器连接；

所述工控机通过驱动器驱动自动导引运输车AGV车轮的转动；

所述工控机，包括以下模块：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种AGV视觉目标识别与跟踪方法，其特征是，包括：

获取第i帧图像；初始状态下i＝1；

对第i帧图像输出目标识别结果；

提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；

根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回上一步。

2.如权利要求1所述的一种AGV视觉目标识别与跟踪方法，其特征是，

对第i帧图像输出目标识别结果；具体步骤包括：

将第i帧图像，输入到训练后的目标识别模型中，输出目标识别结果。

3.如权利要求1所述的一种AGV视觉目标识别与跟踪方法，其特征是，

所述训练后的目标识别模型；训练步骤包括：

构建训练集，所述训练集为已知目标标签的图像；

构建卷积神经网络；

将训练集输入到卷积神经网络中，对网络进行训练；

训练终止时，得到训练后的目标识别模型；

所述已知目标标签的图像为已知人体下半身区域的图像。

4.如权利要求1所述的一种AGV视觉目标识别与跟踪方法，其特征是，

提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；具体步骤包括：

提取第i帧图像中的方向梯度直方图特征；

当i＝1时，基于KCF的相关滤波跟踪算法和第i帧图像中图像特征，初始化滤波跟踪器和跟踪参数，生成待跟踪目标模板；

当i≥2时，在不同跟踪框尺度下，基于KCF的相关滤波跟踪算法，计算第i帧图像的图像特征与待跟踪目标模板的相关性。

5.如权利要求1所述的一种AGV视觉目标识别与跟踪方法，其特征是，

根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别；具体步骤包括：

选择目标相关性响应值最大的尺度因子作为第i帧图像跟踪框尺寸；

根据第i帧图像跟踪框尺寸，确定第i帧图像目标所在位置，进而更新跟踪滤波器，得到每一帧的目标位置和状态。

6.如权利要求1所述的一种AGV视觉目标识别与跟踪方法，其特征是，

根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；具体步骤包括：

根据第i帧图像目标跟踪框的中心点横坐标相对于图像帧中心点横坐标的位置，判断AGV的左右转向，若第i帧图像目标跟踪框的中心点横坐标小于图像帧中心点横坐标，则AGV需左转，反之AGV需右转；

根据第i帧图像目标跟踪框的尺寸相对于第i-1帧图像图像目标跟踪框的尺寸大小，判断判断AGV的前后运动方向，若第i帧跟踪框的尺寸小于上一帧图像目标跟踪框的尺寸，则说明目标有向前运动的趋势，AGV需加速前进，维持AGV与人体之间规定的距离范围。

7.一种AGV视觉目标识别与跟踪装置，其特征是，包括：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。

10.一种AGV视觉目标识别与跟踪系统，其特征是，包括：自动导引运输车AGV；

所述自动导引运输车AGV前端设置有视觉传感器；

所述自动导引运输车AGV还谁有工控机；所述工控机与视觉传感器连接；

所述工控机通过驱动器驱动自动导引运输车AGV车轮的转动；

所述工控机，包括以下模块：

获取模块，其被配置为：获取第i帧图像；初始状态下i＝1；

目标识别模块，其被配置为：对第i帧图像输出目标识别结果；

特征提取模块，其被配置为：提取第i帧图像中的图像特征；i为正整数；当i＝1时，根据识别目标生成初始目标模板；当i≥2时，计算目标模板与第i帧图像的相关性；

目标跟踪模块，其被配置为：根据目标模板与第i帧图像的相关性，对第i帧图像中的目标位置和状态进行识别，并根据第i帧图像中的目标特征，更新目标模板；根据第i帧图像中的目标位置和状态识别结果，控制自动导引运输车AGV的转动角度和前进速度；对i进行加一处理，然后，返回特征提取模块。

Images