CN113724296B - 一种运动背景下的物料跟踪方法、装置、存储介质及终端 - Google Patents

一种运动背景下的物料跟踪方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN113724296B
CN113724296B CN202111288755.2A CN202111288755A CN113724296B CN 113724296 B CN113724296 B CN 113724296B CN 202111288755 A CN202111288755 A CN 202111288755A CN 113724296 B CN113724296 B CN 113724296B
Authority
CN
China
Prior art keywords
image
feature
frame information
detection frame
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111288755.2A
Other languages
English (en)
Other versions
CN113724296A (zh
Inventor
贾冰
佟达
宿南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Qingxiang Technology Co ltd
Original Assignee
Hangzhou Qingxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Qingxiang Technology Co ltd filed Critical Hangzhou Qingxiang Technology Co ltd
Priority to CN202111288755.2A priority Critical patent/CN113724296B/zh
Publication of CN113724296A publication Critical patent/CN113724296A/zh
Application granted granted Critical
Publication of CN113724296B publication Critical patent/CN113724296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动背景下的物料跟踪方法、装置、存储介质及终端，方法包括：从待跟踪流水线上物料的视频流中确定第一图像和第二图像；将两个图像输入物料跟踪模型中输出第一图像和第二图像的多个目标检测框信息以及每个目标的特征对应的向量映射；从输出的参数中选择不同的参数进一步计算第一图像和第二图像之间的空间相似性距离、结构相似性距离以及时间相似性距离；将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并基于判定值确定第一图像和第二图像中的物料标识是否关联成功。因此，本申请可以提升工厂流水线上物料的识别准确度，进而提升了物料目标的跟踪效率。

Description

一种运动背景下的物料跟踪方法、装置、存储介质及终端
技术领域
本发明涉及机器视觉识别技术领域，特别涉及一种运动背景下的物料跟踪方法、装置、存储介质及终端。
背景技术
在当前的制造业中，机器自动化提高了生产效率，促进了制造业的发展。随着自动化的价值在其他行业中发挥的作用越来越大，使得对自动化跟踪和追溯的需求也越大。跟踪和追溯功能对于食品、饮料、制药以及工业运营来说无疑变得至关重要，在这些运营中，需要100%的可追溯性来记录和报告其流程，并在出现错误时追溯到其来源。因此，物料的跟踪对其他行业也变得越来越重要。随着机器视觉技术的发展，研究人员越发渴望物料的跟踪更加精确。
在现有技术中，针对于工厂车间的交叉传送带上物料实时跟踪环境，现有的多目标跟踪算法，当跟踪目标被其他障碍物遮挡后再出现时，算法将认为该目标消失，重新赋予一个跟踪id号，与该目标原始的跟踪id号不同，无法判断是否属于同一个跟踪目标，所以此方法并不适合于工厂物料跟踪的复杂环境。由于这种跟踪方法并不适合应用在自动化生产车间的复杂物料跟踪环境中，当物料目标遮挡后，再次重新识别的效果较差，从而降低了物料目标识别的精确度，进而降低了物料目标的跟踪效率。
发明内容
本申请实施例提供了一种运动背景下的物料跟踪方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种运动背景下的物料跟踪方法，方法包括：
从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离；
根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离；
计算第一图像与第二图像之间各检测框信息的时间相似性距离；
将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。
可选的，从待跟踪流水线上物料的视频流中确定第一图像与第二图像，包括：
通过实时传输协议地址获取待跟踪流水线上物料的实时视频流；
按照预设尺寸大小将实时视频流划分为图片序列；
从图片序列中获取第一张图像，并将第一帧图像确定为第一图像；
从图片序列中获取与第一张图像相邻的下一帧图像，并将与第一张图像相邻的下一帧图像确定为第二图像。
可选的，物料跟踪模型包括特征提取网络、互相关网络、第一卷积层和第二卷积层、softmax分类器、检测网络、多尺度感知注意网络；
将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，包括：
将第一图像与第二图像输入特征提取网络中，得到每个图像的第一特征图；
将每个图像的第一特征图输入互相关网络中经过平均池化降维后，得到每个图像的第二特征图；
采用第一卷积层和第二卷积层将每个图像的第二特征图进行卷积处理后，得到每个图像的第三特征图和第四特征图；
将每个图像的第三特征图和第四特征图进行塑形处理，得到每个图像的第一特征与第二特征；
根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图；
根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射。
可选的，根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图，包括：
将每个图像的第一特征与第二特征进行转置操作，得到每个图像的第一转置结果与第二转置结果；
将第一特征与第一转置结果作积，得到每个图像的第一自注意力图；
将第二特征与第二转置结果作积，得到每个图像的第二自注意力图；
将第一特征与第二转置结果作积，得到每个图像的第一互注意力图；
将第一互注意力图转置后输入softmax分类器，输出每个图像的第二互注意力图。
可选的，根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标检测框信息的特征对应的向量映射，包括：
将每个图像的第一自注意力图、第一互注意力图做和得到通道级别的注意力图；
将通道级别的注意力图与第一特征图作积并做和后得到特征F1；
将特征F1输入检测网络中得到每个图像的多个目标检测框信息；
将每个图像的第二自注意力图与第二互注意力图按照以上步骤得到特征F2；
将特征F2输入多尺度感知注意网络中，输出每个目标的特征对应的向量映射。
可选的，根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离，包括：
从第一图像对应的多个目标检测框信息中确定出目标检测框信息；
遍历第二图像对应的多个待检测框信息；
计算目标检测框信息与多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离；
将多个马氏平方距离中最小的多个马氏平方距离确定为空间相似性距离；
继续执行从第一图像对应的多个目标检测框信息中确定出目标测框信息的步骤，直到第一图像对应的多个目标检测框全部遍历结束，生成第一图像与第二图像之间各检测框信息的空间相似性距离。
可选的，计算目标检测框信息与多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离，包括：
从多个待检测框信息中获取第一个待检测框信息；
将第一个待检测框信息与目标检测框信息做差得到第一差值，并将第一差值进行转置操作后生成转置差值；
将第一个待检测框信息与目标检测框信息做差得到第二差值，并计算第二差值的协方差的倒数；
将转置差值与第二差值的协方差的倒数作积后，生成马氏平方距离；
按照上述步骤将多个待检测框信息中全部待检测框信息处理后，生成多个马氏平方距离。
第二方面，本申请实施例提供了一种运动背景下的物料跟踪装置，装置包括：
图像确定模块，用于从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
数据输出模块，用于将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
空间相似性距离计算模块，用于根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离；
结构相似性距离计算模块，用于根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离；
时间相似性距离计算模块，用于计算第一图像与第二图像之间各检测框信息的时间相似性距离；
判定模块，用于将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，运动背景下的物料跟踪装置首先从待跟踪流水线上物料的视频流中确定第一图像与第二图像，再将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，然后根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离，再根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离，其次计算第一图像与第二图像之间各检测框信息的时间相似性距离，最后将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。由于本申请通过计算空间相似性距离、结构相似性距离以及时间相似性距离综合判定两个图像中的物料目标是否为同一个，来确定两个图像中的物料标识是否关联成功，从而提升工厂流水线上物料的识别准确度，同时提升了物料目标的跟踪效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种运动背景下的物料跟踪方法的流程示意图；
图2是本申请实施例提供的一种运动背景下的物料跟踪过程的过程示意框图；
图3是本申请实施例提供的一种运动背景下的物料跟踪装置的结构示意图；
图4是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种运动背景下的物料跟踪方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过计算空间相似性距离、结构相似性距离以及时间相似性距离综合判定两个图像中的物料目标是否为同一个，来确定两个图像中的物料标识是否关联成功，从而提升工厂流水线上物料的识别准确度，同时提升了物料目标的跟踪效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图2，对本申请实施例提供的运动背景下的物料跟踪方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的运动背景下的物料跟踪装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种运动背景下的物料跟踪方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
其中，待跟踪流水线是当前需要跟踪的某一个工厂中某一条流水线。该流水线上架设有多个摄像头，用来采集流水线上的视频流。
通常，第一图像和第二图像是视频流中相邻的两张图像。
在一种可能的实现方式中，首先通过实时传输协议地址获取待跟踪流水线上物料的实时视频流，然后按照预设尺寸大小将实时视频流划分为图片序列，再从图片序列中获取第一张图像，并将第一帧图像确定为第一图像，最后从图片序列中获取与第一张图像相邻的下一帧图像，并将与第一张图像相邻的下一帧图像确定为第二图像。
例如，首先通过实时流传输协议地址获得摄像头的实时视频流，并处理成640*640大小的图片序列，最后按照时间的先后顺序从图片序列中抽取第一张图像确定为第一图像，并抽取与第一张图像相邻的图像确定为第二图像。
S102，将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
其中，物料跟踪模型是用于工厂流水线上物料跟踪的数学模型，该数学模型由卷积神经网络创建。
通常，物料跟踪模型包括特征提取网络、互相关网络、第一卷积层和第二卷积层、softmax分类器、检测网络、多尺度感知注意网络。特征提取网络可以是CSPDarknet53网络。检测网络可以是yolov5检测算法。
在本申请实施例中，首先将第一图像与第二图像输入特征提取网络中，得到每个图像的第一特征图，再将每个图像的第一特征图输入互相关网络中经过平均池化降维后，得到每个图像的第二特征图，然后采用第一卷积层和第二卷积层将每个图像的第二特征图进行卷积处理后，得到每个图像的第三特征图和第四特征图，再将每个图像的第三特征图和第四特征图进行塑形处理，得到每个图像的第一特征与第二特征，其次根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图，最后根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射。
具体的，根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图时，首先将每个图像的第一特征与第二特征进行转置操作，得到每个图像的第一转置结果与第二转置结果，再将第一特征与第一转置结果作积，得到每个图像的第一自注意力图，然后将第二特征与第二转置结果作积，得到每个图像的第二自注意力图，再将第一特征与第二转置结果作积，得到每个图像的第一互注意力图，最后将第一互注意力图转置后输入softmax分类器，输出每个图像的第二互注意力图。
具体的，在根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标检测框信息的特征对应的向量映射时，首先将每个图像的第一自注意力图、第一互注意力图做和得到通道级别的注意力图，再将通道级别的注意力图与第一特征图作积并做和后得到特征F1，然后将特征F1输入检测网络中得到每个图像的多个目标检测框信息，再将每个图像的第二自注意力图与第二互注意力图按照以上步骤得到特征F2，最后将特征F2输入多尺度感知注意网络中，输出每个目标的特征对应的向量映射。
在一种可能的实现方式中，基于步骤S101可以得到相邻的两个图像帧，首先将相邻的两个图像帧输入特征提取网络中，提取出特征图Feature，将特征提取网络提取出的Feature特征送入互相关网络，在互相关网络中Feature经过平均池化降维获得更加凝练的特征图
Figure 386864DEST_PATH_IMAGE001
，然后有两个不同的卷积层作用于
Figure 937931DEST_PATH_IMAGE002
得到两个特征图
Figure 206101DEST_PATH_IMAGE003
和
Figure 463907DEST_PATH_IMAGE004
，将
Figure 424910DEST_PATH_IMAGE005
和
Figure 712541DEST_PATH_IMAGE006
再塑形为特征
Figure 722085DEST_PATH_IMAGE007
和
Figure 162294DEST_PATH_IMAGE008
，之后
Figure 28618DEST_PATH_IMAGE009
和
Figure 491961DEST_PATH_IMAGE010
分别乘以各自的转置矩阵得到各自的自注意力图，
Figure 101934DEST_PATH_IMAGE011
和
Figure 147381DEST_PATH_IMAGE012
的转置相乘得到
Figure 653449DEST_PATH_IMAGE009
的互注意力图，这个互注意力图转置之后通过一个softmax分类器就是
Figure 135246DEST_PATH_IMAGE012
的互注意力图，然后，对每个分支，自注意力图和互注意力图相加获得通道级别的注意力图，和原始输入特征图Feature相乘再相加得到输出特征F1与F2。F1是用于检测任务的一般特征，F2是用于再识别的特定特征。将F1输入到检测头中提取目标检测框信息
Figure 814489DEST_PATH_IMAGE013
，本系统推荐使用更快更好的yolov5检测算法，将F2输入到多尺度感知注意网络中，多尺度感知网络就是不同分支采用不同的下采样倍率获得不同尺度的特征图，然后融合产生的特征通过空间注意力加强，最终输出不同目标的特征的向量映射
Figure 901394DEST_PATH_IMAGE014
。
S103，根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离；
其中，目标检测框信息是根据物料跟踪模型检测到的工厂流水线上每个物料上的检测框信息，该信息可能包含每个物料的标识、位置以及类型。可以理解为每个目标为传送带上的每个物料，物料根据模型针对每个物料标识了检测框及关联的相关信息。
在本申请实施例中，在计算空间相似性距离时，首先从第一图像对应的多个目标检测框信息中确定出目标检测框信息，再遍历第二图像对应的多个待检测框信息，然后计算目标检测框信息与多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离，再将多个马氏平方距离中最小的多个马氏平方距离确定为空间相似性距离，最后继续执行从第一图像对应的多个目标检测框信息中确定出目标测框信息的步骤，直到第一图像对应的多个目标检测框全部遍历结束，生成第一图像与第二图像之间各检测框信息的空间相似性距离。
具体的，在计算目标检测框信息与多个待检测框信息之间的马氏平方距离时，分为以下步骤：
1.1、从多个待检测框信息中获取第一个待检测框信息；
1.2、将第一个待检测框信息与目标检测框信息做差得到第一差值，并将第一差值进行转置操作后生成转置差值；
1.3、将第一个待检测框信息与目标检测框信息做差得到第二差值，并计算第二差值的协方差的倒数；
1.4、将转置差值与第二差值的协方差的倒数作积后，生成马氏平方距离；
循环遍历的方式按照步骤1.1-1.4将多个待检测框信息中全部待检测框信息全部处理后，生成多个马氏平方距离。
通常，第一图像可以看作是当前帧，第二图像可以看作是下一帧。
在一种可能的实现方式中，在计算当前帧上某一个目标检测框信息与下一帧上所有的检测框信息之间的马氏平方距离
Figure 640679DEST_PATH_IMAGE015
时，计算公式为：
Figure 850251DEST_PATH_IMAGE016
其中，
Figure 802027DEST_PATH_IMAGE017
是下一帧的第
Figure 9017DEST_PATH_IMAGE018
个检测框，
Figure 919204DEST_PATH_IMAGE019
是当前帧的目标检测框，T是转置操作，COV是求协方差。
S104，根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离；
通常，通过余弦距离
Figure 578856DEST_PATH_IMAGE020
来度量
Figure 412951DEST_PATH_IMAGE021
的结构特征和
Figure 208868DEST_PATH_IMAGE022
对应的结构特征，来更加准确地预测ID。
在一种可能的实现方式中，在计算当前帧上某一个目标检测框信息与下一帧上所有的检测框信息之间的余弦距离
Figure 24377DEST_PATH_IMAGE023
时，计算公式为：
Figure 233642DEST_PATH_IMAGE024
其中，
Figure 42067DEST_PATH_IMAGE025
是当前帧上多个目标检测框信息
Figure 958070DEST_PATH_IMAGE026
的特征向量映射，
Figure 944481DEST_PATH_IMAGE027
是每个目标的特征对应的向量映射，
Figure 375462DEST_PATH_IMAGE028
是余弦相似度。
S105，计算第一图像与第二图像之间各检测框信息的时间相似性距离；
通常，在计算时间相似性距离时，通过待跟踪流水线上一些参数值和预先设定的参数进行计算。
具体的，时间相似性距离
Figure 472731DEST_PATH_IMAGE029
的计算公式为：
Figure 508820DEST_PATH_IMAGE030
Figure 151285DEST_PATH_IMAGE031
其中，
Figure 335142DEST_PATH_IMAGE032
是传送带的固定长度，
Figure 236102DEST_PATH_IMAGE033
是物料宽度由人为设置，
Figure 861118DEST_PATH_IMAGE034
是遮挡前最后一次的检测框，
Figure 454911DEST_PATH_IMAGE035
是通过遮挡的传送带后再次出现的检测框，
Figure 581523DEST_PATH_IMAGE036
代表传送带运行速度，
Figure 551753DEST_PATH_IMAGE037
是视频帧率，所以
Figure 93593DEST_PATH_IMAGE038
也代表经历遮挡帧后再次出现的检测框。
S106，将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。
在一种可能的实现方式中，将空间相似性距离、结构相似性距离以及时间相似性距离加权求和，公式为：
Figure 795970DEST_PATH_IMAGE039
Figure 688839DEST_PATH_IMAGE040
其中
Figure 682334DEST_PATH_IMAGE041
是空间相似性距离，
Figure 281943DEST_PATH_IMAGE042
是结构相似性距离，
Figure 217538DEST_PATH_IMAGE043
是时间相似性距离，
Figure 332124DEST_PATH_IMAGE044
分别是这三种相似性的比例参数，针对于特定的工厂物料人为设置，
Figure 316261DEST_PATH_IMAGE045
为总相似性度量。
当
Figure 832693DEST_PATH_IMAGE046
时，其中
Figure 188457DEST_PATH_IMAGE047
是针对该工厂人为设置的相似性阈值，说明目标关联成功。
进一步地，将跟踪的消息实时显示在web端。继续从步骤S101中的视频流中遍历确定第一张图像与第二张图像执行步骤S102-步骤S106进行不断的跟踪。
例如图2所示，图2是本申请提供的一种运动背景下的物料跟踪的流程示意框图，应用在算法服务器，首先获取流水线上监控的实时视频流，再将该实时视频流分解为图片帧，并从图片帧中从初始图片帧开始获取相邻的两张图片，然后将相邻的两张图片输入特征提取网络、互相关网络中得到特征F1和特征F2，再将特征F1输入检测头中得到目标检测框信息，并将F2输入多尺度感知注意网络中得到每个目标的向量映射，最后基于目标检测框信息与每个目标的向量映射计算空间相似性、结构相似性以及时间相似性，并将空间相似性、结构相似性以及时间相似性进行加权求和得到判定值，以及用判定值判定相邻的两个图片中的物料标识是否存在关联，判断接收后继续从图片帧中依次获取相邻的量帧图像继续判定，直到全部的图像帧遍历判定结束，以及将跟踪数据实时显示在web端。
在本申请实施例中，运动背景下的物料跟踪装置首先从待跟踪流水线上物料的视频流中确定第一图像与第二图像，再将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，然后根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离，再根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离，其次计算第一图像与第二图像之间各检测框信息的时间相似性距离，最后将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。由于本申请通过计算空间相似性距离、结构相似性距离以及时间相似性距离综合判定两个图像中的物料目标是否为同一个，来确定两个图像中的物料标识是否关联成功，从而提升工厂流水线上物料的识别准确度，同时提升了物料目标的跟踪效率。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图3，其示出了本发明一个示例性实施例提供的运动背景下的物料跟踪装置的结构示意图。该运动背景下的物料跟踪装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像确定模块10、数据输出模块20、空间相似性距离计算模块30、结构相似性距离计算模块40、时间相似性距离计算模块50、判定模块60。
图像确定模块10，用于从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
数据输出模块20，用于将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
空间相似性距离计算模块30，用于根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离；
结构相似性距离计算模块40，用于根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离；
时间相似性距离计算模块50，用于计算第一图像与第二图像之间各检测框信息的时间相似性距离；
判定模块60，用于将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。
需要说明的是，上述实施例提供的运动背景下的物料跟踪装置在执行运动背景下的物料跟踪方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运动背景下的物料跟踪装置与运动背景下的物料跟踪方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，运动背景下的物料跟踪装置首先从待跟踪流水线上物料的视频流中确定第一图像与第二图像，再将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，然后根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离，再根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离，其次计算第一图像与第二图像之间各检测框信息的时间相似性距离，最后将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。由于本申请通过计算空间相似性距离、结构相似性距离以及时间相似性距离综合判定两个图像中的物料目标是否为同一个，来确定两个图像中的物料标识是否关联成功，从而提升工厂流水线上物料的识别准确度，同时提升了物料目标的跟踪效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的运动背景下的物料跟踪方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的运动背景下的物料跟踪方法。
请参见图4，为本申请实施例提供了一种终端的结构示意图。如图4所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及运动背景下的物料跟踪应用程序。
在图4所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的运动背景下的物料跟踪应用程序，并具体执行以下操作：
从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离；
根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离；
计算第一图像与第二图像之间各检测框信息的时间相似性距离；
将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。
在一个实施例中，处理器1001在执行从待跟踪流水线上物料的视频流中确定第一图像与第二图像时，具体执行以下操作：
通过实时传输协议地址获取待跟踪流水线上物料的实时视频流；
按照预设尺寸大小将实时视频流划分为图片序列；
从图片序列中获取第一张图像，并将第一帧图像确定为第一图像；
从图片序列中获取与第一张图像相邻的下一帧图像，并将与第一张图像相邻的下一帧图像确定为第二图像。
在一个实施例中，处理器1001在执行将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射时，具体执行以下操作：
将第一图像与第二图像输入特征提取网络中，得到每个图像的第一特征图；
将每个图像的第一特征图输入互相关网络中经过平均池化降维后，得到每个图像的第二特征图；
采用第一卷积层和第二卷积层将每个图像的第二特征图进行卷积处理后，得到每个图像的第三特征图和第四特征图；
将每个图像的第三特征图和第四特征图进行塑形处理，得到每个图像的第一特征与第二特征；
根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图；
根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射。
在一个实施例中，处理器1001在执行根据每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图时，具体执行以下操作：
将每个图像的第一特征与第二特征进行转置操作，得到每个图像的第一转置结果与第二转置结果；
将第一特征与第一转置结果作积，得到每个图像的第一自注意力图；
将第二特征与第二转置结果作积，得到每个图像的第二自注意力图；
将第一特征与第二转置结果作积，得到每个图像的第一互注意力图；
将第一互注意力图转置后输入softmax分类器，输出每个图像的第二互注意力图。
在一个实施例中，处理器1001在执行根据每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到第一图像与第二图像各自对应的多个目标检测框信息以及每个目标检测框信息的特征对应的向量映射时，具体执行以下操作：
将每个图像的第一自注意力图、第一互注意力图做和得到通道级别的注意力图；
将通道级别的注意力图与第一特征图作积并做和后得到特征F1；
将特征F1输入检测网络中得到每个图像的多个目标检测框信息；
将每个图像的第二自注意力图与第二互注意力图按照以上步骤得到特征F2；
将特征F2输入多尺度感知注意网络中，输出每个目标的特征对应的向量映射。
在一个实施例中，处理器1001在执行根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离时，具体执行以下操作：
从第一图像对应的多个目标检测框信息中确定出目标检测框信息；
遍历第二图像对应的多个待检测框信息；
计算目标检测框信息与多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离；
将多个马氏平方距离中最小的多个马氏平方距离确定为空间相似性距离；
继续执行从第一图像对应的多个目标检测框信息中确定出目标测框信息的步骤，直到第一图像对应的多个目标检测框全部遍历结束，生成第一图像与第二图像之间各检测框信息的空间相似性距离。
在一个实施例中，处理器1001在执行计算目标检测框信息与多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离时，具体执行以下操作：
从多个待检测框信息中获取第一个待检测框信息；
将第一个待检测框信息与目标检测框信息做差得到第一差值，并将第一差值进行转置操作后生成转置差值；
将第一个待检测框信息与目标检测框信息做差得到第二差值，并计算第二差值的协方差的倒数；
将转置差值与第二差值的协方差的倒数作积后，生成马氏平方距离；
按照上述步骤将多个待检测框信息中全部待检测框信息处理后，生成多个马氏平方距离。
在本申请实施例中，运动背景下的物料跟踪装置首先从待跟踪流水线上物料的视频流中确定第一图像与第二图像，再将第一图像与第二图像输入物料跟踪模型中，输出第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，然后根据第一图像与第二图像各自对应的多个目标检测框信息计算第一图像与第二图像之间各检测框信息的空间相似性距离，再根据第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将余弦距离确定为第一图像与第二图像之间各检测框信息的结构相似性距离，其次计算第一图像与第二图像之间各检测框信息的时间相似性距离，最后将空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当每个目标判定值小于预设相似性阈值时，确定第一图像与第二图像中的物料标识关联成功。由于本申请通过计算空间相似性距离、结构相似性距离以及时间相似性距离综合判定两个图像中的物料目标是否为同一个，来确定两个图像中的物料标识是否关联成功，从而提升工厂流水线上物料的识别准确度，同时提升了物料目标的跟踪效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，运动背景下的物料跟踪的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种运动背景下的物料跟踪方法，其特征在于，所述方法包括：
从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
将所述第一图像与第二图像输入物料跟踪模型中，输出所述第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
根据所述第一图像与所述第二图像各自对应的多个目标检测框信息计算所述第一图像与所述第二图像之间各检测框信息的空间相似性距离；
根据所述第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将所述余弦距离确定为第一图像与所述第二图像之间各检测框信息的结构相似性距离；
计算所述第一图像与所述第二图像之间各检测框信息的时间相似性距离；
将所述空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当所述每个目标判定值小于预设相似性阈值时，确定所述第一图像与第二图像中的物料标识关联成功；其中，
所述物料跟踪模型包括特征提取网络、互相关网络、第一卷积层和第二卷积层、softmax分类器、检测网络、多尺度感知注意网络；
所述将所述第一图像与第二图像输入物料跟踪模型中，输出所述第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射，包括：
将所述第一图像与第二图像输入所述特征提取网络中，得到每个图像的第一特征图；
将所述每个图像的第一特征图输入所述互相关网络中经过平均池化降维后，得到每个图像的第二特征图；
采用所述第一卷积层和第二卷积层将所述每个图像的第二特征图进行卷积处理后，得到每个图像的第三特征图和第四特征图；
将所述每个图像的第三特征图和第四特征图进行塑形处理，得到每个图像的第一特征与第二特征；
根据所述每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图；
根据所述每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到所述第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射。
2.根据权利要求1所述的方法，其特征在于，所述从待跟踪流水线上物料的视频流中确定第一图像与第二图像，包括：
通过实时传输协议地址获取待跟踪流水线上物料的实时视频流；
按照预设尺寸大小将所述实时视频流划分为图片序列；
从所述图片序列中获取第一张图像，并将所述第一张图像确定为第一图像；
从所述图片序列中获取与所述第一张图像相邻的下一帧图像，并将所述与所述第一张图像相邻的下一帧图像确定为第二图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图，包括：
将所述每个图像的第一特征与第二特征进行转置操作，得到每个图像的第一转置结果与第二转置结果；
将所述第一特征与所述第一转置结果作积，得到每个图像的第一自注意力图；
将所述第二特征与所述第二转置结果作积，得到每个图像的第二自注意力图；
将所述第一特征与所述第二转置结果作积，得到每个图像的第一互注意力图；
将所述第一互注意力图转置后输入所述softmax分类器，输出每个图像的第二互注意力图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到所述第一图像与所述第二图像各自对应的多个目标检测框信息以及每个目标检测框信息的特征对应的向量映射，包括：
将所述每个图像的第一自注意力图、第一互注意力图做和得到通道级别的注意力图；
将所述通道级别的注意力图与所述第一特征图作积并做和后得到特征F1；
将所述特征F1输入所述检测网络中得到每个图像的多个目标检测框信息；
将所述每个图像的第二自注意力图与所述第二互注意力图按照以上步骤得到特征F2；
将所述特征F2输入所述多尺度感知注意网络中，输出所述每个目标的特征对应的向量映射。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像与所述第二图像各自对应的多个目标检测框信息计算所述第一图像与所述第二图像之间各检测框信息的空间相似性距离，包括：
从所述第一图像对应的多个目标检测框信息中确定出目标检测框信息；
遍历所述第二图像对应的多个待检测框信息；
计算所述目标检测框信息与所述多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离；
将所述多个马氏平方距离中最小的多个马氏平方距离确定为空间相似性距离；
继续执行所述从所述第一图像对应的多个目标检测框信息中确定出目标测框信息的步骤，直到所述第一图像对应的多个目标检测框全部遍历结束，生成所述第一图像与所述第二图像之间各检测框信息的空间相似性距离。
6.根据权利要求5所述的方法，其特征在于，所述计算所述目标检测框信息与所述多个待检测框信息之间的马氏平方距离，得到多个马氏平方距离，包括：
从所述多个待检测框信息中获取第一个待检测框信息；
将所述第一个待检测框信息与所述目标检测框信息做差得到第一差值，并将所述第一差值进行转置操作后生成转置差值；
将所述第一个待检测框信息与所述目标检测框信息做差得到第二差值，并计算所述第二差值的协方差的倒数；
将所述转置差值与所述第二差值的协方差的倒数作积后，生成马氏平方距离；
按照上述步骤将所述多个待检测框信息中全部待检测框信息处理后，生成多个马氏平方距离。
7.一种运动背景下的物料跟踪装置，其特征在于，所述装置包括：
图像确定模块，用于从待跟踪流水线上物料的视频流中确定第一图像与第二图像；
数据输出模块，用于将所述第一图像与第二图像输入物料跟踪模型中，输出所述第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射；
空间相似性距离计算模块，用于根据所述第一图像与所述第二图像各自对应的多个目标检测框信息计算所述第一图像与所述第二图像之间各检测框信息的空间相似性距离；
结构相似性距离计算模块，用于根据所述第一图像的多个目标检测框信息的特征向量映射与每个目标的特征对应的向量映射计算余弦距离，并将所述余弦距离确定为第一图像与所述第二图像之间各检测框信息的结构相似性距离；
时间相似性距离计算模块，用于计算所述第一图像与所述第二图像之间各检测框信息的时间相似性距离；
判定模块，用于将所述空间相似性距离、结构相似性距离以及时间相似性距离加权求和后生成每个检测框的目标判定值，并当所述每个目标判定值小于预设相似性阈值时，确定所述第一图像与第二图像中的物料标识关联成功；其中，
所述物料跟踪模型包括特征提取网络、互相关网络、第一卷积层和第二卷积层、softmax分类器、检测网络、多尺度感知注意网络；
所述数据输出模块具体用于：
将所述第一图像与第二图像输入所述特征提取网络中，得到每个图像的第一特征图；
将所述每个图像的第一特征图输入所述互相关网络中经过平均池化降维后，得到每个图像的第二特征图；
采用所述第一卷积层和第二卷积层将所述每个图像的第二特征图进行卷积处理后，得到每个图像的第三特征图和第四特征图；
将所述每个图像的第三特征图和第四特征图进行塑形处理，得到每个图像的第一特征与第二特征；
根据所述每个图像的第一特征与第二特征得到每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图；
根据所述每个图像的第一自注意力图、第二自注意力图、第一互注意力图以及第二互注意力图得到所述第一图像与第二图像各自对应的多个目标检测框信息以及每个目标的特征对应的向量映射。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1~6任意一项的方法步骤。
9.一种用于运动背景下的物料跟踪终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1~6任意一项的方法步骤。
CN202111288755.2A 2021-11-02 2021-11-02 一种运动背景下的物料跟踪方法、装置、存储介质及终端 Active CN113724296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288755.2A CN113724296B (zh) 2021-11-02 2021-11-02 一种运动背景下的物料跟踪方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288755.2A CN113724296B (zh) 2021-11-02 2021-11-02 一种运动背景下的物料跟踪方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN113724296A CN113724296A (zh) 2021-11-30
CN113724296B true CN113724296B (zh) 2022-03-08

Family

ID=78686463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288755.2A Active CN113724296B (zh) 2021-11-02 2021-11-02 一种运动背景下的物料跟踪方法、装置、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113724296B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402294B (zh) * 2020-03-10 2022-10-18 腾讯科技（深圳）有限公司 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN111523447B (zh) * 2020-04-22 2023-01-31 北京邮电大学 车辆跟踪方法、装置、电子设备及存储介质
CN111652912B (zh) * 2020-06-10 2021-02-26 北京嘀嘀无限科技发展有限公司 车辆计数方法和系统、数据处理设备及智能拍摄设备
CN112037249A (zh) * 2020-07-21 2020-12-04 贵州宽凳智云科技有限公司北京分公司 一种对摄像装置影像中物体进行跟踪的方法及装置

Also Published As

Publication number Publication date
CN113724296A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
CN107808122B (zh) 目标跟踪方法及装置
CN111179307A (zh) 一种全卷积分类及回归孪生网络结构的视觉目标跟踪方法
CN112785625B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
US8363902B2 (en) Moving object detection method and moving object detection apparatus
WO2016068869A1 (en) Three dimensional object recognition
CN111640089A (zh) 一种基于特征图中心点的缺陷检测方法及装置
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN112927353A (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN112509011B (zh) 一种静止商品统计方法、终端设备及其存储介质
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN112766045B (zh) 场景变化检测方法、系统、电子装置及存储介质
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN116188805B (zh) 海量图像的图像内容分析方法、装置和图像信息网络
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114359172A (zh) 一种库存或陈列场景下的条烟多面检测识别方法及系统
CN112085752B (zh) 一种图像的处理方法、装置、设备及介质
CN113724296B (zh) 一种运动背景下的物料跟踪方法、装置、存储介质及终端
KR20130017258A (ko) 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법
CN110321808B (zh) 遗留物与盗移物检测方法、设备和存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN114820755B (zh) 一种深度图估计方法及系统
Park et al. Depth image correction for intel realsense depth camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A material tracking method, device, storage medium, and terminal in a moving background

Effective date of registration: 20230924

Granted publication date: 20220308

Pledgee: Bank of Jiangsu Limited by Share Ltd. Hangzhou branch

Pledgor: Hangzhou Qingxiang Technology Co.,Ltd.

Registration number: Y2023330002154