CN112070807A - 多目标跟踪方法和电子装置 - Google Patents
多目标跟踪方法和电子装置 Download PDFInfo
- Publication number
- CN112070807A CN112070807A CN202011256912.7A CN202011256912A CN112070807A CN 112070807 A CN112070807 A CN 112070807A CN 202011256912 A CN202011256912 A CN 202011256912A CN 112070807 A CN112070807 A CN 112070807A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- matching
- tracking
- feature similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000033001 locomotion Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000013528 artificial neural network Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本申请涉及一种多目标跟踪方法和电子装置，其中，该多目标跟踪方法通过在目标在当前图像帧中的图像位置特征和图像像素特征两个维度上分别计算检测目标集合中每个检测目标与跟踪轨迹集合中每条跟踪轨迹对应的跟踪目标之间的特征相似度，得到图像位置特征相似度和图像像素特征相似度；并联图像位置特征相似度和图像像素特征相似度，得到联合特征相似度；根据联合特征相似度进行目标匹配及对跟踪轨迹进行更新，解决了相关技术中多目标跟踪算法容易出现错误匹配的问题，提高了目标匹配的准确率。
Description
技术领域
本申请涉及目标跟踪领域，特别是涉及多目标跟踪方法和电子装置。
背景技术
在自动驾驶感知领域中，摄像头是一种非常重要的传感器，通过图像感知技术，可以检测车辆周围大部分障碍物、交通标识和地面标识等，是自动驾驶车辆规范、安全行使的重要前提。
在图像感知领域中多目标跟踪算法是一项非常关键技术，该算法决定了图像感知输出的目标是否准确、稳定。图像多目标跟踪是指在图像序列中，逐帧地检测图像中的感兴趣目标，然后不断更新这些目标在移动过程中的运动信息，从而得到这些目标完整的运动轨迹。目前主流的图像多目标跟踪算法中，以神经网络的检测结果（包括目标类别，图像中像素位置等信息）作为输入，对前后两帧图像检测到的目标进行匹配，根据匹配结果对目标进行信息更新。匹配算法在很大程度上决定了跟踪结果的优与劣，大多数的匹配算法首先计算目标在前后两帧图像中的像素位置相似度，然后用匈牙利算法进行全局最优匹配。然而在车辆转弯、颠簸的时候，会经常出现目标错误匹配、漏匹配的情况，导致输出目标出现身份切换、丢失、属性突变等情况，导致自动驾驶车辆无法进行正确决策。
发明内容
本申请实施例提供了一种多目标跟踪方法和电子装置，以至少解决相关技术的多目标跟踪算法容易出现错误匹配的问题。
第一个方面，在本实施例中提供了一种多目标跟踪方法，包括：
对图像序列中的当前图像帧进行多目标检测得到检测目标集合，所述检测目标集合包括一个或多个第一目标的信息，每个所述第一目标的信息包括各所述第一目标的当前时刻的第一图像位置信息和各所述第一目标的当前时刻的第一图像像素信息；
获取对所述图像序列中当前图像帧之前的历史图像帧进行多目标跟踪得到的跟踪轨迹集合，其中，所述跟踪轨迹集合包括一条或多条被分类为相同目标的第二目标的跟踪轨迹，每条所述第二目标的跟踪轨迹包括各历史时刻的每个所述第二目标的信息，每个所述第二目标的信息包括各所述第二目标的第二图像位置信息和各所述第二目标的第二图像像素信息；
根据各历史时刻的各所述第二目标的第二图像位置信息和采集当前图像帧时图像采集装置的运动信息，预测各所述第二目标在当前图像帧中的第三图像位置信息；
根据各所述第一目标的第一图像位置信息和各所述第二目标的第三图像位置信息，确定各所述第一目标与各所述第二目标的图像位置特征相似度；
根据各所述第二目标的第一图像像素信息和各所述第二目标的第二图像像素信息，确定各所述第一目标与各所述第二目标的图像像素特征相似度；
并联所述图像位置特征相似度和所述图像像素特征相似度，得到联合特征相似度；
根据所述联合特征相似度对各所述第一目标和各所述第二目标进行匹配，并根据匹配结果更新所述跟踪轨迹集合。
在其中的一些实施例中，并联所述图像位置特征相似度和所述图像像素特征相似度，得到联合特征相似度包括：
获取采集当前图像帧时所述图像采集装置的运动信息；
根据采集当前图像帧时所述图像采集装置的运动信息，确定所述图像位置特征相似度的第一权重系数以及所述图像像素特征相似度的第二权重系数；
根据所述第一权重系数和所述第二权重系数，确定所述图像位置特征相似度与所述图像像素特征相似度的加权和，得到所述联合特征相似度。
在其中的一些实施例中，根据所述联合特征相似度对各所述第一目标和各所述第二目标进行匹配，并根据匹配结果更新所述跟踪轨迹集合包括：
根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标；
根据所述匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹，以及根据作为非匹配目标的第一目标的信息在所述跟踪轨迹集合中生成作为非匹配目标的第一目标的跟踪轨迹。
在其中的一些实施例中，
所述方法还包括：对所述图像序列中的当前图像帧进行多目标图像特征提取，得到每个所述第一目标的第一图像卷积特征；对所述图像序列中的当前图像帧之前的历史图像帧进行多目标图像特征提取，得到每条所述第二目标的跟踪轨迹中各所述第二目标的第二图像卷积特征；
在根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，所述方法还包括：
根据所述第一图像卷积特征和所述第二图像卷积特征，确定各作为非匹配目标的第一目标与各所述第二目标的图像卷积特征相似度；
根据所述图像卷积特征相似度对各作为非匹配目标的第一目标与各所述第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新所述跟踪轨迹集合中与作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
在其中的一些实施例中，
所述方法还包括：根据所述图像采集装置的标定参数，在预设坐标系中确定各所述第一目标的第一图像位置信息对应的第一物理位置；在所述预设坐标系中确定各所述第二目标的第三图像位置信息对应的第二物理位置；根据所述第二物理位置和采集当前图像帧时所述图像采集装置的运动信息，在所述预设坐标系中预测各所述第二目标在当前时刻的第三物理位置；确定每个所述第一物理位置和每个所述第三物理位置的物理位置特征相似度；
在根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，所述方法还包括：判断所述匹配对中的第一目标的第一物理位置与第二目标的第三物理位置的所述物理位置特征相似度是否低于预设阈值；若是，则解除所述匹配对的匹配关系，并将所述匹配对中的第一目标作为非匹配目标。
在其中的一些实施例中，在解除所述匹配对的匹配关系，并将所述匹配对中的第一目标作为非匹配目标之后，所述方法还包括：
根据所述物理位置特征相似度对各作为非匹配目标的第一目标和各所述第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新所述跟踪轨迹集合中与该作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
在其中的一些实施例中，所述第三图像位置信息和第三物理位置信息是由卡尔曼滤波器预测的；
根据匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹包括：根据所述匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配的第二目标所属的跟踪轨迹的状态参数和该第二目标所属的跟踪轨迹对应的卡尔曼滤波器参数，其中，所述状态参数包括以下至少之一：目标的置信度、跟踪状态、跟踪年龄，所述卡尔曼滤波器参数包括以下至少之一：卡尔曼滤波器的状态量、卡尔曼滤波器的测量量、相关滤波的特征矩阵和核矩阵；
根据作为非匹配目标的第一目标的信息在所述跟踪轨迹集合中生成新的跟踪轨迹包括：根据作为非匹配目标的第一目标的信息，在所述跟踪轨迹集合中生成所述新的跟踪轨迹的状态参数和所述新的跟踪轨迹对应的卡尔曼滤波器参数，所述新的跟踪轨迹的状态参数包括以下至少之一：目标的类别、目标的置信度、跟踪状态、跟踪年龄。
在其中的一些实施例中，所述方法还包括：
根据对当前图像帧以及历史图像帧中各所述第一目标和各所述第二目标的匹配结果，确定所述跟踪轨迹集合中每条所述第二目标的跟踪轨迹未发生更新的图像帧；
统计每条所述第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数；
若所述第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数大于预设帧数，则将所述第二目标的跟踪轨迹从所述跟踪轨迹集合中删除。
在其中的一些实施例中，所述局部最优匹配包括：
步骤1：为待匹配的第一目标集合中每个第一目标和待匹配的第二目标集合中每个第二目标添加标记，并将所述标记初始化为表示被标记的目标尚未被成功匹配的第一标记；其中，所述待匹配的第一目标集合为所述检测目标集合或者由作为非匹配目标的第一目标组成的集合，所述待匹配的第二目标集合为由各所述第二目标组成的集合；
步骤2：在待匹配的第一目标集合中被标记为所述第一标记的第一目标中确定待匹配的第二目标集合中每个被标记为所述第一标记的第二目标的特征相似度最高的第一目标，记录每个被标记为所述第一标记的第二目标与特征相似度最高的第一目标的第一对应关系；以及在待匹配的第二目标集合中被标记为所述第一标记的第二目标中确定待匹配的第一目标集合中每个被标记为所述第一标记的第一目标的特征相似度最高的第二目标，记录每个被标记为所述第一标记的第一目标与特征相似度最高的第二目标的第二对应关系；其中，所述特征相似度为所述联合特征相似度、所述图像卷积特征相似度或者所述物理位置特征相似度；
步骤3：判断待匹配的第一目标集合中被标记为所述第一标记的第一目标和待匹配的第二目标集合中被标记为所述第一标记的第二目标是否同时具有所述第一对应关系和所述第二对应关系，以及待匹配的第一目标集合中被标记为所述第一标记的第一目标和待匹配的第二目标集合中被标记为所述第一标记的第二目标的所述特征相似度是否大于设定相似度阈值；若均是，则确定第一目标和第二目标成功匹配，并将成功匹配的第一目标和第二目标的标记更新为表示被标记的目标被成功匹配的第二标记；
步骤4：重复上述步骤2和步骤3，直至没有第一目标和第二目标被成功匹配，则确定待匹配的第一目标集合中仍被标记为第一标记的第一目标未匹配成功。
第二个方面，在本实施例中还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一个方面所述的多目标跟踪方法。
相比于相关技术，本申请实施例提供的多目标跟踪方法和电子装置，解决了相关技术中多目标跟踪算法容易出现错误匹配的问题，提高了目标匹配的准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的车载终端的硬件结构框图；
图2是根据本申请实施例的多目标跟踪方法的流程图；
图3是根据本申请优选实施例的多目标跟踪方法的流程图；
图4是根据本申请优选实施例的检测目标和跟踪轨迹位置关系的示意图；
图5是根据本申请优选实施例的响应矩阵R的计算过程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在车载终端中执行。图1是本发明实施例的车载终端的硬件结构框图。如图1所示，该车载终端可以包括一个或多个处理器102（图1中仅示出一个）和用于存储数据的存储器104。其中，处理器102可以包括但不限于微控制单元（Microcontroller Unit，简称为MCU）或可编程逻辑器件（Field Programmable GateArray，简称为FPGA）等的处理装置。
可选地，上述车载终端还可以包括用于通信功能的传输设备106以及输入输出设备108。其中，输入输出设备108例如可以包括但不限于以下至少之一的输入设备：键盘、鼠标、触控板、麦克风、传感器等。输入输出设备108还可以包括但不限于以下至少之一的输出设备：显示器、喇叭、灯、振动反馈装置等。
本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述车载终端的结构造成限定。例如，车载终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的车载终端的应用程序测试方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至车载终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括车载终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种多目标跟踪方法。图2是根据本申请实施例的多目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，对图像序列中的当前图像帧进行多目标检测得到检测目标集合，检测目标集合包括一个或多个第一目标的信息，每个第一目标的信息包括各第一目标的当前时刻的第一图像位置信息和各第一目标的当前时刻的第一图像像素信息。
其中，对当前图像帧进行多目标检测可以采用经训练的神经网络来检测当前图像帧中的所有检测目标，并为每个第一目标赋予标识信息，得到第一目标集合。在上述步骤中，这些被检测出来的目标被称为第一目标。在本实施例中，采用神经网络进行多目标检测避免了人工提取第一目标的特征信息导致的特征提取效率低和客观性低的问题。
其中，多目标检测的结果至少包括第一目标在与当前图像帧相对应的当前时刻的图像位置信息。图像位置信息通常通过与第一目标外接的矩形框的长宽和矩形框的中心坐标来表示。
在本实施例中，根据多目标检测的结果，将外接矩形框内被框岀的图像的图像像素信息作为第一目标在当前时刻的图像像素信息。在一些实施例中，通过神经网络还可以检测每个检测目标的类别信息，例如，在自动驾驶领域中应用多目标跟踪方法的情况下，这些类别信息包括但不限于以下之一：车辆、行人、普通障碍物等。
步骤S202，获取对图像序列中当前图像帧之前的历史图像帧进行多目标跟踪得到的跟踪轨迹集合，其中，跟踪轨迹集合包括一条或多条被分类为相同目标的第二目标的跟踪轨迹，每条第二目标的跟踪轨迹包括各历史时刻的每个第二目标的信息，每个第二目标的信息包括各第二目标的第二图像位置信息和各第二目标的第二图像像素信息。
在本实施例中，对当前图像帧之前的历史图像帧进行多目标跟踪得到的跟踪轨迹集合。这些跟踪轨迹集合中的每条跟踪轨迹包括在多个历史图像帧中某个被分类为属于相同目标的目标的信息，这些目标在本实施例中被称为第二目标。每条跟踪轨迹包括至少一个第二目标，每个第二目标来自于历史时刻对应的历史图像帧中的某一个被成功匹配到这条跟踪轨迹的第一目标。正因为如此，与第一目标的信息类似地，第二目标的信息也包括图像位置信息和图像像素信息。第二目标的信息中图像位置信息和图像像素信息的来源通常相同，例如，第二目标的信息也来源于诸如基于神经网络的目标检测模型。
步骤S203，根据各历史时刻的各第二目标的第三图像位置信息和采集当前图像帧时图像采集装置的运动信息，预测各第二目标在当前图像帧中的第三图像位置信息。
在诸如自动驾驶领域中，采集图像序列的图像采集装置（例如摄像头）和被跟踪的目标均可能存在运动，因此，已经被跟踪的某个目标在当前图像帧中的图像位置由图像采集装置和这个目标本身的运动决定。因此，在进行第一目标与第二目标的图像位置和图像像素的相似度匹配之前，先要获得第二目标在当前图像帧中的预测位置。其中，各历史时刻的各第二目标的图像位置的信息表征了在历史时刻中第二目标与图像采集装置的相对运动趋势，而采集当前图像帧时图像采集装置的运动信息则表征了在当前时刻图像采集装置的运动速度、加速度、方向等是否发生了变化，进而预测第二目标在当前图像帧中的图像位置信息。
例如，以自动驾驶为例，当车辆在当前时刻左转弯时，预测第二目标在当前图像帧中的图像位置相对于上一帧的图像位置而言，其位置将更偏向于图像帧的右侧。当车辆在当前时刻的运动信息与上一时刻的运动信息相同时，则可以直接根据各历史时刻的各第二目标的图像位置预测第二目标在当前图像帧中的图像位置。
步骤S204，根据各第一目标的第一图像位置信息和各第二目标的第三图像位置信息，确定各第一目标与各第二目标的图像位置特征相似度。
步骤S205，根据各第二目标的第一图像像素信息和各第二目标的第二图像像素信息，确定各第一目标与各第二目标的图像像素特征相似度。
在上述步骤S204和步骤S205中，在目标的像素特征和目标在当前图像帧中的位置特征两个维度上分别计算检测目标集合中每个第一目标与跟踪轨迹集合中每条跟踪轨迹对应的第二目标之间的特征相似度，得到图像像素特征相似度和图像位置特征相似度。其中，在计算相似度时，由于一条跟踪轨迹可能包括多个第二目标，虽然每个第二目标均被分类为相同的目标，但是每个第二目标都具有各自的图像像素信息，因此，在进行图像像素特征相似度时，可以从被分类为相同目标的多个第二目标中选取任意一个第二目标（例如第一个第二目标或者最后一个第二目标）的图像像素信息来与第一目标计算图像像素信息相似度，也可以将被分类为相同目标的多个第二目标分别与第一目标计算图像像素信息相似度之后，通过加权平均的方式计算最终的图像像素特征相似度。
步骤S206，并联图像位置特征相似度和图像像素特征相似度，得到联合特征相似度。
在步骤S206中的并联图像像素特征相似度和图像位置特征相似度例如可以是求取这两个特征相似度的加权和。其中，图像像素特征相似度和图像位置特征相似度具有相同的个数，均为检测目标集合中第一目标的数量乘以跟踪轨迹集合中跟踪轨迹的数量。在计算加权和时，较优地两个矩阵的权重系数根据图像采集装置（摄像头）相对于真实世界的运动来确定。
例如，以自动驾驶场景中摄像头固定搭载在车辆前方为例，摄像头的运动信息可以等同于车辆的运动信息，可以通过车辆的相应传感器例如IMU、轮速计等获取。在获取拍摄当前图像帧的摄像头的运动信息之后，根据运动信息，分别确定图像位置特征相似度对应的第一权重系数以及图像像素特征相似度对应的第二权重系数；根据第一权重系数和第二权重系数，确定图像位置特征相似度与图像像素特征相似度的加权和，得到联合特征相似度。
在本实施例中，通过摄像头相对于真实世界的运动信息来确定这两个特征相似度的权重系数，能够进一步提高联合特征相似度在目标匹配中的可靠性。
步骤S207，根据联合特征相似度对各第一目标和各第二目标进行匹配，并根据匹配结果更新跟踪轨迹集合。
其中，当前图像帧中检测出来的第一目标在匹配到一个第二目标之后，就将这个第一目标加入到这个第二目标对应的跟踪轨迹中。或者，当前图像帧中的第一目标未匹配到任何一个第二目标，则这个第一目标会被认为是在当前图像帧中新出现的目标，该新出现的目标将会被初始化后加入到跟踪轨迹集合中成为一个新的跟踪轨迹。跟踪轨迹通常由跟踪轨迹标识来区分，即具有相同的跟踪轨迹标识的目标属于同一个跟踪轨迹，被认为是相同目标的轨迹跟踪结果。
通过上述步骤，相对于相关技术中仅根据目标在前后两帧图像中的像素位置相似度进行匹配而言，在本实施例中通过并联目标的图像像素特征相似度和图像位置特征相似度得到联合特征相似度，从而得到更为可靠的匹配结果，根据该更可靠的匹配结果进行目标匹配，降低目标误匹配的可能性。
需要说明的是，在本实施例的流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，在图2中，步骤S204和步骤S205可以按照顺序执行，也可以互换顺序执行，也可以同时执行，并不限定。
在其中一些实施例中，在步骤S207中根据联合特征相似度进行目标匹配，得到新的跟踪轨迹集合时，可以先根据联合特征相似度对检测目标集合中的第一目标与第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第二目标作为非匹配目标；然后根据匹配对中第一目标的信息，更新跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹，以及根据作为非匹配目标的第一目标的信息在跟踪轨迹集合中生成作为非匹配目标的第一目标的跟踪轨迹。
采用局部最优匹配，为了进一步降低目标的漏匹配，还可以进一步结合图像卷积特征进行目标匹配。为了得到图像卷积特征，可对图像序列中的当前图像帧进行多目标图像特征提取，得到每个第一目标的第一图像卷积特征；对图像序列中的当前图像帧之前的历史图像帧进行多目标图像特征提取，得到每条第二目标的跟踪轨迹中各第二目标的第二图像卷积特征。
其中，卷积特征由人工神经网络的卷积层提取得到。在采用人工神经网络进行多目标检测时，通过人工神经网络也可以同时得到被检测出来的各第一目标的图像卷积特征。
在得到各个目标的图像卷积特征之后，在根据联合特征相似度对各第一目标与各第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，则可以根据第一图像卷积特征和第二图像卷积特征，确定各作为非匹配目标的第一目标与各第二目标的图像卷积特征相似度；根据图像卷积特征相似度对各作为非匹配目标的第一目标与各第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新跟踪轨迹集合中与作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
在本实施例中，利用每个第一目标和第二目标的图像卷积特征对第一目标和第二目标进行二次匹配，使得作为非匹配目标的一些第一目标和第二目标被匹配为新的匹配对，从而降低目标的漏匹配。
在上述的目标匹配中，还可以根据物理位置特征对匹配对进行后校验，以剔除误匹配的目标对。例如，在其中一些实施例中，至少根据图像采集装置的标定参数，在预设坐标系中确定各第一目标的第一图像位置信息对应的第一物理位置；在预设坐标系中确定各第二目标的第三图像位置信息对应的第二物理位置；根据第二物理位置和采集当前图像帧时图像采集装置的运动信息，在预设坐标系中预测各第二目标在当前时刻的第三物理位置；确定每个第一物理位置和每个第三物理位置的物理位置特征相似度。
在得到物理位置特征相似度，以及在根据联合特征相似度对各第一目标与各第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，则可以判断匹配对中的第一目标的第一物理位置与第二目标的第三物理位置的物理位置特征相似度是否低于预设阈值；若是，则解除匹配对的匹配关系，并将匹配对中的第一目标作为非匹配目标。
其中，解除匹配对的匹配关系例如可以是将联合特征相似度中对应的特征值置零，从而使得后续的目标匹配过程中，被解除匹配关系的两个目标不会被再次匹配为匹配对。
在其中一些实施例中，还可以根据物理位置特征相似度对第一目标和第二目标进行目标匹配，例如，在解除匹配对的匹配关系，并将匹配对中的第一目标作为非匹配目标之后，根据物理位置特征相似度对各作为非匹配目标的第一目标和各第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新跟踪轨迹集合中与该作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
在上述实施例中，第二目标在当前图像帧中的图像位置和物理位置可以由卡尔曼滤波器预测得到。
在上述实施例中，根据匹配对中第一目标的信息，更新跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹时，可以根据匹配对中第一目标的信息，更新跟踪轨迹集合中与该第一目标匹配的第二目标所属的跟踪轨迹的状态参数和该第二目标所属的跟踪轨迹对应的卡尔曼滤波器参数，其中，状态参数包括以下至少之一：目标的置信度、跟踪状态、跟踪年龄，卡尔曼滤波器参数包括以下至少之一：卡尔曼滤波器的状态量、卡尔曼滤波器的测量量、相关滤波的特征矩阵和核矩阵。
在上述实施例中，根据作为非匹配目标的第一目标的信息在跟踪轨迹集合中生成新的跟踪轨迹包括：根据作为非匹配目标的第一目标的信息，在跟踪轨迹集合中生成新的跟踪轨迹的状态参数和新的跟踪轨迹对应的卡尔曼滤波器参数，新的跟踪轨迹的状态参数包括以下至少之一：目标的类别、目标的置信度、跟踪状态、跟踪年龄。
在进行多目标跟踪时，如果在经过连续的多个图像帧之后，某条跟踪轨迹均未被更新过，则该跟踪轨迹对应的目标可能已经丢失，对于这些跟踪轨迹，应当从跟踪轨迹集合中删除，以降低运算量。为了达到上述目的，在本实施例中，可以根据对当前图像帧以及历史图像帧中各第一目标和各第二目标的匹配结果，确定跟踪轨迹集合中每条第二目标的跟踪轨迹未发生更新的图像帧；统计每条第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数；若第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数大于预设帧数，则将第二目标的跟踪轨迹从跟踪轨迹集合中删除。
在本实施例中的局部最优匹配可以采用如下的方式：
步骤1：为待匹配的第一目标集合中每个第一目标和待匹配的第二目标集合中每个第二目标添加标记，并将标记初始化为表示被标记的目标尚未被成功匹配的第一标记；其中，待匹配的第一目标集合为检测目标集合或者由作为非匹配目标的第一目标组成的集合，待匹配的第二目标集合为由各第二目标组成的集合；
步骤2：在待匹配的第一目标集合中被标记为第一标记的第一目标中确定待匹配的第二目标集合中每个被标记为第一标记的第二目标的特征相似度最高的第一目标，记录每个被标记为第一标记的第二目标与特征相似度最高的第一目标的第一对应关系；以及在待匹配的第二目标集合中被标记为第一标记的第二目标中确定待匹配的第一目标集合中每个被标记为第一标记的第一目标的特征相似度最高的第二目标，记录每个被标记为第一标记的第一目标与特征相似度最高的第二目标的第二对应关系；其中，特征相似度为联合特征相似度、图像卷积特征相似度或者物理位置特征相似度；
步骤3：判断待匹配的第一目标集合中被标记为第一标记的第一目标和待匹配的第二目标集合中被标记为第一标记的第二目标是否同时具有第一对应关系和第二对应关系，以及待匹配的第一目标集合中被标记为第一标记的第一目标和待匹配的第二目标集合中被标记为第一标记的第二目标的特征相似度是否大于设定相似度阈值；若均是，则确定第一目标和第二目标成功匹配，并将成功匹配的第一目标和第二目标的标记更新为表示被标记的目标被成功匹配的第二标记；
步骤4：重复上述步骤2和步骤3，直至没有第一目标和第二目标被成功匹配，则确定待匹配的第一目标集合中仍被标记为第一标记的第一目标未匹配成功。
通过上述的方式，遍历每一个第一目标和第二目标，并进行多次循环匹配，直至没有满足条件的目标对为止，则终止目标匹配过程。相对于相关技术中采用匈牙利算法等进行全局最优匹配而言，由于使用联合特征相似度提高了目标匹配的可靠性，使得使用局部最优匹配进行目标匹配的匹配可靠性能够得到保障；经实验表明，其目标误匹配率低于根据单特征相似度进行全局最优匹配的方式。
下面将通过优选实施例对本申请实施例进行描述和说明。
在本优选实施例中，以车辆的自动驾驶中应用的多目标跟踪为例对多目标跟踪方法进行说明。图3是根据本申请优选实施例的多目标跟踪方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，获取车载摄像头在当前时刻采集的图像帧，以及当前时刻车辆的运动信息。
车辆的运动信息包括车辆在世界坐标系的x、y、z轴方向的速度vx，vy，vz，横摆角速度yaw rate，滚转角速度roll rate，纵摇角速率pitch rate，可以通过惯性测量仪（Inertial Measurement Unit，简称为IMU）、轮速计等传感器得到。
步骤S302，对图像帧进行多目标检测，得到检测目标集合，并确定检测目标集合中每个检测目标的图像位置信息、图像像素信息、图像卷积特征信息和物理位置信息。
检测目标包括但不限于车辆、行人等，通常不包括空中的目标。在本实施例中可以采用神经网络进行多目标检测。其中，神经网络模型输出的每个检测目标的信息包括检测目标在当前时刻的图像位置信息以及目标的类别。图像位置采用外接矩形框标记，外接矩形框采用该矩形框的中心点在图像中的位置以及矩形框的长和宽来表示。根据每个检测目标的外接矩形框标记的图像，可以获取每个检测目标的图像像素信息。
对每帧图像帧进行的多目标检测得到的多个目标的检测信息可以以检测目标集合或者列表的形式存在。
在采用神经网络进行多目标检测时，通过经训练的神经网络模型中的卷积层还可以得到基于各个目标的图像像素信息生成的图像卷积特征。本优选实施例中的图像卷积特征为一个128维浮点型向量。
在本实施例中，检测目标和跟踪目标的物理位置采用相同的坐标系的坐标值表示，例如，该相同的坐标系为世界坐标系。目标的物理位置信息可以由车载摄像头的标定参数和目标在图像中的位置，得到目标在世界坐标系中的物理位置。在其中一些实施例中，可以根据车上装有其他传感器，例如激光雷达、毫米波雷达，通过数据融合的方式得到更加精确的物理位置。
步骤S303，获取对历史图像帧进行多目标跟踪得到的跟踪轨迹集合，并确定与跟踪轨迹集合中每个跟踪轨迹对应的跟踪目标的图像位置信息、图像像素信息、图像卷积特征信息和物理位置信息。
其中，跟踪轨迹对应的跟踪目标的图像位置信息和物理位置信息基于该跟踪目标在上一个被检测到该跟踪目标的图像帧中的图像位置信息和物理位置信息，结合车辆的运动信息预测得到。
步骤S304，根据每个检测目标和每个跟踪目标的图像位置信息，计算每个检测目标与每个跟踪目标之间的图像位置特征相似度矩阵M1。
在本实施例中，计算每个图像帧中检测目标与跟踪目标的相似度时，仅计算同类别目标之间的相似度，不同类别的目标不进行相似度计算。
在计算图像位置特征相似度M1时，设跟踪轨迹集合中每条跟踪轨迹对应的跟踪目标数量为lt，检测目标集合中的检测目标数量ld，图像卷积特征矩阵的大小为
，图4是根据本申请优选实施例的检测目标和跟踪目标位置关系的示意图。参考图4，定义检测框为
，跟踪目标i与检测目标j的图像位置相似度计算方式如下：
定义：
则，
根据车辆的运动信息，
可以作出相应的调整，比如当车辆在转弯时（横摆角较大），
设定为较大的值，例如0.7。
步骤S305，根据每个检测目标和每个跟踪目标的图像像素信息，计算每个检测目标与每个跟踪目标之间的图像像素特征相似度矩阵M2。
在本优选实施例中，计算图像像素特征相似度M2时，采用图像相关滤波方面的算法，取跟踪目标与检测目标的响应矩阵R的最大值作为两者的相似度。图5是根据本申请优选实施例的响应矩阵R的计算过程示意图，参考图5，以核相关算法（Kernel CorrelationFilter，简称为KCF）为例，若跟踪目标的外接矩形框大小与检测目标的外接矩形框大小接近，中心点距离小于设定的阈值，则计算两者的核相关性。
相关滤波算对多帧图像的同一目标的图像卷积特征进行训练得到一个目标的特征矩阵x，设检测目标的特征矩阵为z，可以得到一个响应矩阵R，图像像素特征相似度计算方式为：
在本优选实施例中，所有的特征矩阵都是单帧计算的，单个图像帧的检测目标和跟踪目标计算得到特征矩阵，如图5所示，每一个跟踪目标都会有一个特征矩阵x，每一个检测目标都会有一个特征矩阵z，相关滤波器中可以计算得到一个核矩阵k，R=f（x，z，k）。上述的滤波算法可以为卡尔曼滤波算法。
上述的i和j指跟踪目标i的序号与检测目标j的序号。
步骤S306，并联图像位置特征相似度矩阵M1和图像像素特征相似度矩阵M2，得到联合特征相似度矩阵M。
对M1和M2进行并联，即分配权重求和，权重需要根据车辆的运动状态进行调整，是一个调试值。设图像位置特征的权重为
，图像像素特征的权重为
。则
每一次匹配都会得到一个匹配表，经过串并联之后，最终只得到一个匹配表。
步骤S307，根据联合特征相似度矩阵M对检测目标和跟踪目标进行局部最优匹配，成功匹配的检测目标和跟踪目标作为匹配对，未成功匹配的检测目标作为非匹配目标。
步骤S308，根据每个作为非匹配目标的检测目标的图像卷积特征和每个跟踪目标的图像卷积特征，计算每个非匹配目标与每个跟踪目标之间的图像卷积特征相似度矩阵M3。
在本优选实施例中，目标的图像卷积特征采用一个128维向量，由神经网络模型输出，跟踪目标的图像卷积特征是一个列表，记录了最近n帧的所有图像卷积特征向量，设跟踪目标的卷积特征向量为
（第i个目标的第k个卷积特征向量），检测目标的卷积特征向量为
，图像卷积特征相似度计算方式为：
最近n帧的所有图像卷积特征向量，设跟踪目标的卷积特征向量为
（第i个目标的第k个卷积特征向量），检测目标的卷积特征向量为
（第j个检测目标）。
步骤S309，根据图像卷积特征相似度矩阵M3对非匹配目标和跟踪目标进行局部最优匹配，成功匹配的非匹配目标和跟踪目标作为新的匹配对，未成功匹配的非检测目标仍作为非匹配目标。
步骤S310，根据每个检测目标的物理位置信息和每个跟踪目标的物理位置信息，计算每个检测目标与每个跟踪目标之间的物理位置特征相似度矩阵M4。
目标的物理位置坐标为
,设定一个距离阈值DT，由于摄像头的距离计算精度跟目标的距离正相关，所以D是一个需要调试的动态值。物理位置特征相似度的计算方式为：
步骤S311，根据物理相似度矩阵M4对匹配对进行后校验，校验失败的解除匹配关系。
根据物理相似度M4对匹配项和非匹配项进行后校验，匹配项中的物理位置相差较大则解除匹配。在本步骤中，对之前的匹配结果进行一个后校验，分别设定一个解除关联的阈值D1（负数）和建立关联的阈值D2（正数），当匹配上的物理相似度M4的相似度小于D1时解除匹配关系。D2是后续局部最优匹配算法中的匹配阈值。
步骤S312，根据物理相似度矩阵M4对非匹配目标和跟踪目标进行局部最优匹配，成功匹配的非匹配目标和跟踪目标作为新的匹配对，未成功匹配的非检测目标仍作为非匹配目标。
步骤S313，根据匹配结果更新跟踪轨迹集合中的跟踪轨迹。
在上述步骤中，得到匹配结果的可能出现三种结果：
结果一：没有匹配项的检测目标，进行轨迹初始化，包括类别、置信度等信息，初始化相关滤波的特征矩阵和核矩阵，建立图像位置运动模型和物理位置运动模型并分别初始化卡尔曼滤波器参数。
其中，图像位置卡尔曼滤波器的状态量为：
其中
为目标在图像中的外接框的中心位置，
为中心位置的速度，
为外接框的宽和高。
状态更新矩阵为：
测量量为：
状态转换矩阵为：
物理位置卡尔曼滤波器的状态量为：
其中
为目标在世界坐标系中位置，
为目标的运动速度。
状态更新矩阵为：
测量量为：
状态转换矩阵为：
结果二：跟踪轨迹有匹配的检测目标（即跟踪轨迹对应的跟踪目标有匹配的检测目标），更新该目标的各个属性，包括置信度、跟踪状态、跟踪年龄等，更新图像位置和物理位置卡尔曼滤波器，更新相关滤波的特征矩阵和核矩阵，更新目标的卷积特征向量列表。
结果三：跟踪轨迹没有匹配的检测目标（即跟踪轨迹对应的跟踪目标没有匹配的检测目标），判断丢失帧数是否超过设定阈值，若超过则删除该跟踪轨迹，否则更新置信度、跟踪状态、丢失帧数等信息。
在上述实施例中，跟踪目标的图像位置和物理位置的信息可以采用下列的方式预测：
根据车辆的当前的运动状态和两帧图像的时间间隔dt预测下一帧跟踪目标的运动状态。用第n帧预测的目标图像位置和物理位置与第n+1的检测目标进行匹配关联，以此循环不断地更新目标的轨迹。
其中，图像位置预测：
其中，物理位置预测：
其中，S1、S2是卡尔曼滤波器中的状态量，A1、A2是卡尔曼滤波器中的状态更新矩阵。
在更新了跟踪轨迹之后，对于车载摄像头获取到的下一帧图像，继续采用上述的步骤S301至步骤S313进行多目标跟踪，其中，在对当前图像帧进行多目标检测时步骤S313中得到的跟踪轨迹集合将在对下一帧图像帧的多目标检测的步骤S303中被使用。
在上述步骤中使用的局部最优匹配包括如下步骤：
步骤1：为待匹配的第一目标集合中每个第一目标和待匹配的第二目标集合中每个第二目标添加标记，并将标记初始化为表示被标记的目标尚未被成功匹配的第一标记；其中，待匹配的第一目标集合为检测目标集合或者由作为非匹配目标的第一目标组成的集合，待匹配的第二目标集合为由各第二目标组成的集合；
步骤2：在待匹配的第一目标集合中被标记为第一标记的第一目标中确定待匹配的第二目标集合中每个被标记为第一标记的第二目标的特征相似度最高的第一目标，记录每个被标记为第一标记的第二目标与特征相似度最高的第一目标的第一对应关系；以及在待匹配的第二目标集合中被标记为第一标记的第二目标中确定待匹配的第一目标集合中每个被标记为第一标记的第一目标的特征相似度最高的第二目标，记录每个被标记为第一标记的第一目标与特征相似度最高的第二目标的第二对应关系；其中，特征相似度为联合特征相似度、图像卷积特征相似度或者物理位置特征相似度；
步骤3：判断待匹配的第一目标集合中被标记为第一标记的第一目标和待匹配的第二目标集合中被标记为第一标记的第二目标是否同时具有第一对应关系和第二对应关系，以及待匹配的第一目标集合中被标记为第一标记的第一目标和待匹配的第二目标集合中被标记为第一标记的第二目标的特征相似度是否大于设定相似度阈值；若均是，则确定第一目标和第二目标成功匹配，并将成功匹配的第一目标和第二目标的标记更新为表示被标记的目标被成功匹配的第二标记；
步骤4：重复上述步骤2和步骤3，直至没有第一目标和第二目标被成功匹配，则确定待匹配的第一目标集合中仍被标记为第一标记的第一目标未匹配成功。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对图像序列中的当前图像帧进行多目标检测得到检测目标集合，检测目标集合包括一个或多个第一目标的信息，每个第一目标的信息包括各第一目标的当前时刻的第一图像位置信息和各第一目标的当前时刻的第一图像像素信息；
S2，获取对图像序列中当前图像帧之前的历史图像帧进行多目标跟踪得到的跟踪轨迹集合，其中，跟踪轨迹集合包括一条或多条被分类为相同目标的第二目标的跟踪轨迹，每条第二目标的跟踪轨迹包括各历史时刻的每个第二目标的信息，每个第二目标的信息包括各第二目标的第二图像位置信息和各第二目标的第二图像像素信息；
S3，根据各历史时刻的各第二目标的第二图像位置信息和采集当前图像帧时图像采集装置的运动信息，预测各第二目标在当前图像帧中的第三图像位置信息；
S4，根据各第一目标的第一图像位置信息和各第二目标的第三图像位置信息，确定各第一目标与各第二目标的图像位置特征相似度；
S5，根据各第二目标的第一图像像素信息和各第二目标的第二图像像素信息，确定各第一目标与各第二目标的图像像素特征相似度；
S6，并联图像位置特征相似度和图像像素特征相似度，得到联合特征相似度；
S7，根据联合特征相似度对各第一目标和各第二目标进行匹配，并根据匹配结果更新跟踪轨迹集合。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多目标跟踪方法，其特征在于包括：
对图像序列中的当前图像帧进行多目标检测得到检测目标集合，所述检测目标集合包括一个或多个第一目标的信息，每个所述第一目标的信息包括各所述第一目标的当前时刻的第一图像位置信息和各所述第一目标的当前时刻的第一图像像素信息；
获取对所述图像序列中当前图像帧之前的历史图像帧进行多目标跟踪得到的跟踪轨迹集合，其中，所述跟踪轨迹集合包括一条或多条被分类为相同目标的第二目标的跟踪轨迹，每条所述第二目标的跟踪轨迹包括各历史时刻的每个所述第二目标的信息，每个所述第二目标的信息包括各所述第二目标的第二图像位置信息和各所述第二目标的第二图像像素信息；
根据各历史时刻的各所述第二目标的第二图像位置信息和采集当前图像帧时图像采集装置的运动信息，预测各所述第二目标在当前图像帧中的第三图像位置信息；
根据各所述第一目标的第一图像位置信息和各所述第二目标的第三图像位置信息，确定各所述第一目标与各所述第二目标的图像位置特征相似度；
根据各所述第二目标的第一图像像素信息和各所述第二目标的第二图像像素信息，确定各所述第一目标与各所述第二目标的图像像素特征相似度；
并联所述图像位置特征相似度和所述图像像素特征相似度，得到联合特征相似度；
根据所述联合特征相似度对各所述第一目标和各所述第二目标进行匹配，并根据匹配结果更新所述跟踪轨迹集合。
2.根据权利要求1所述的方法，其特征在于，并联所述图像位置特征相似度和所述图像像素特征相似度，得到联合特征相似度包括：
获取采集当前图像帧时所述图像采集装置的运动信息；
根据采集当前图像帧时所述图像采集装置的运动信息，确定所述图像位置特征相似度的第一权重系数以及所述图像像素特征相似度的第二权重系数；
根据所述第一权重系数和所述第二权重系数，确定所述图像位置特征相似度与所述图像像素特征相似度的加权和，得到所述联合特征相似度。
3.根据权利要求1所述的方法，其特征在于，根据所述联合特征相似度对各所述第一目标和各所述第二目标进行匹配，并根据匹配结果更新所述跟踪轨迹集合包括：
根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标；
根据所述匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹，以及根据作为非匹配目标的第一目标的信息在所述跟踪轨迹集合中生成作为非匹配目标的第一目标的跟踪轨迹。
4.根据权利要求3所述的方法，其特征在于，
所述方法还包括：对所述图像序列中的当前图像帧进行多目标图像特征提取，得到每个所述第一目标的第一图像卷积特征；对所述图像序列中的当前图像帧之前的历史图像帧进行多目标图像特征提取，得到每条所述第二目标的跟踪轨迹中各所述第二目标的第二图像卷积特征；
在根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，所述方法还包括：
根据所述第一图像卷积特征和所述第二图像卷积特征，确定各作为非匹配目标的第一目标与各所述第二目标的图像卷积特征相似度；
根据所述图像卷积特征相似度对各作为非匹配目标的第一目标与各所述第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新所述跟踪轨迹集合中与作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
5.根据权利要求3所述的方法，其特征在于，
所述方法还包括：根据所述图像采集装置的标定参数，在预设坐标系中确定各所述第一目标的第一图像位置信息对应的第一物理位置；在所述预设坐标系中确定各所述第二目标的第三图像位置信息对应的第二物理位置；根据所述第二物理位置和采集当前图像帧时所述图像采集装置的运动信息，在所述预设坐标系中预测各所述第二目标在当前时刻的第三物理位置；确定每个所述第一物理位置和每个所述第三物理位置的物理位置特征相似度；
在根据所述联合特征相似度对各所述第一目标与各所述第二目标进行局部最优匹配，将匹配成功的第一目标和第二目标作为匹配对，将未匹配成功的第一目标作为非匹配目标之后，所述方法还包括：判断所述匹配对中的第一目标的第一物理位置与第二目标的第三物理位置的所述物理位置特征相似度是否低于预设阈值；若是，则解除所述匹配对的匹配关系，并将所述匹配对中的第一目标作为非匹配目标。
6.根据权利要求5所述的方法，其特征在于，在解除所述匹配对的匹配关系，并将所述匹配对中的第一目标作为非匹配目标之后，所述方法还包括：
根据所述物理位置特征相似度对各作为非匹配目标的第一目标和各所述第二目标进行局部最优匹配，将新匹配成功的作为非匹配目标的第一目标和第二目标作为新的匹配对，并根据新匹配成功的作为非匹配目标的第一目标的信息更新所述跟踪轨迹集合中与该作为非匹配目标的第一目标新匹配成功的第二目标所属的跟踪轨迹。
7.根据权利要求3至6中任一项所述的方法，其特征在于，所述第三图像位置信息和第三物理位置信息是由卡尔曼滤波器预测的；
根据匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配成功的第二目标所属的跟踪轨迹包括：根据所述匹配对中第一目标的信息，更新所述跟踪轨迹集合中与该第一目标匹配的第二目标所属的跟踪轨迹的状态参数和该第二目标所属的跟踪轨迹对应的卡尔曼滤波器参数，其中，所述状态参数包括以下至少之一：目标的置信度、跟踪状态、跟踪年龄，所述卡尔曼滤波器参数包括以下至少之一：卡尔曼滤波器的状态量、卡尔曼滤波器的测量量、相关滤波的特征矩阵和核矩阵；
根据作为非匹配目标的第一目标的信息在所述跟踪轨迹集合中生成新的跟踪轨迹包括：根据作为非匹配目标的第一目标的信息，在所述跟踪轨迹集合中生成所述新的跟踪轨迹的状态参数和所述新的跟踪轨迹对应的卡尔曼滤波器参数，所述新的跟踪轨迹的状态参数包括以下至少之一：目标的类别、目标的置信度、跟踪状态、跟踪年龄。
8.根据权利要求3至6中任一项所述的方法，其特征在于，所述方法还包括：
根据对当前图像帧以及历史图像帧中各所述第一目标和各所述第二目标的匹配结果，确定所述跟踪轨迹集合中每条所述第二目标的跟踪轨迹未发生更新的图像帧；
统计每条所述第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数；
若所述第二目标的跟踪轨迹未发生更新的图像帧中连续的图像帧的帧数大于预设帧数，则将所述第二目标的跟踪轨迹从所述跟踪轨迹集合中删除。
9.根据权利要求3至6中任一项所述的方法，其特征在于，所述局部最优匹配包括：
步骤1：为待匹配的第一目标集合中每个第一目标和待匹配的第二目标集合中每个第二目标添加标记，并将所述标记初始化为表示被标记的目标尚未被成功匹配的第一标记；其中，所述待匹配的第一目标集合为所述检测目标集合或者由作为非匹配目标的第一目标组成的集合，所述待匹配的第二目标集合为由各所述第二目标组成的集合；
步骤2：在待匹配的第一目标集合中被标记为所述第一标记的第一目标中确定待匹配的第二目标集合中每个被标记为所述第一标记的第二目标的特征相似度最高的第一目标，记录每个被标记为所述第一标记的第二目标与特征相似度最高的第一目标的第一对应关系；以及在待匹配的第二目标集合中被标记为所述第一标记的第二目标中确定待匹配的第一目标集合中每个被标记为所述第一标记的第一目标的特征相似度最高的第二目标，记录每个被标记为所述第一标记的第一目标与特征相似度最高的第二目标的第二对应关系；其中，所述特征相似度为所述联合特征相似度、图像卷积特征相似度或者物理位置特征相似度；
步骤3：判断待匹配的第一目标集合中被标记为所述第一标记的第一目标和待匹配的第二目标集合中被标记为所述第一标记的第二目标是否同时具有所述第一对应关系和所述第二对应关系，以及待匹配的第一目标集合中被标记为所述第一标记的第一目标和待匹配的第二目标集合中被标记为所述第一标记的第二目标的所述特征相似度是否大于设定相似度阈值；若均是，则确定第一目标和第二目标成功匹配，并将成功匹配的第一目标和第二目标的标记更新为表示被标记的目标被成功匹配的第二标记；
步骤4：重复上述步骤2和步骤3，直至没有第一目标和第二目标被成功匹配，则确定待匹配的第一目标集合中仍被标记为第一标记的第一目标未匹配成功。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至9中任一项所述的多目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011256912.7A CN112070807B (zh) | 2020-11-11 | 2020-11-11 | 多目标跟踪方法和电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011256912.7A CN112070807B (zh) | 2020-11-11 | 2020-11-11 | 多目标跟踪方法和电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070807A true CN112070807A (zh) | 2020-12-11 |
| CN112070807B CN112070807B (zh) | 2021-02-05 |
Family
ID=73655586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011256912.7A Active CN112070807B (zh) | 2020-11-11 | 2020-11-11 | 多目标跟踪方法和电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070807B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
| CN112819859A (zh) * | 2021-02-02 | 2021-05-18 | 重庆特斯联智慧科技股份有限公司 | 一种应用于智慧安防的多目标跟踪方法及装置 |
| CN112837349A (zh) * | 2021-02-09 | 2021-05-25 | 普联技术有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN113052877A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于多摄像头融合的多目标追踪方法 |
| CN113325415A (zh) * | 2021-04-20 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | 车辆雷达数据和相机数据的融合方法及系统 |
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
| CN115619832A (zh) * | 2022-12-20 | 2023-01-17 | 浙江莲荷科技有限公司 | 多摄像头协同进行多目标轨迹确认方法、系统及相关装置 |
| WO2023087860A1 (zh) * | 2021-11-17 | 2023-05-25 | 上海高德威智能交通系统有限公司 | 一种目标轨迹的生成方法、装置、电子设备及介质 |
| WO2023093086A1 (zh) * | 2021-11-26 | 2023-06-01 | 上海商汤智能科技有限公司 | 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330920A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学 | 一种基于深度学习的监控视频多目标追踪方法 |
| CN109325967A (zh) * | 2018-09-14 | 2019-02-12 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、介质以及设备 |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN111652909A (zh) * | 2020-04-21 | 2020-09-11 | 南京理工大学 | 一种基于深度哈希特征的行人多目标追踪方法 |
| CN111680587A (zh) * | 2020-05-26 | 2020-09-18 | 河海大学常州校区 | 一种基于多目标跟踪的鸡群活动量实时估算方法及系统 |
| CN111739053A (zh) * | 2019-03-21 | 2020-10-02 | 四川大学 | 一种复杂场景下的在线多行人检测跟踪方法 |
| CN111771371A (zh) * | 2018-02-27 | 2020-10-13 | 图森有限公司 | 用于在线实时多对象跟踪的系统和方法 |
-
2020
- 2020-11-11 CN CN202011256912.7A patent/CN112070807B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330920A (zh) * | 2017-06-28 | 2017-11-07 | 华中科技大学 | 一种基于深度学习的监控视频多目标追踪方法 |
| CN111771371A (zh) * | 2018-02-27 | 2020-10-13 | 图森有限公司 | 用于在线实时多对象跟踪的系统和方法 |
| CN109325967A (zh) * | 2018-09-14 | 2019-02-12 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、介质以及设备 |
| CN111739053A (zh) * | 2019-03-21 | 2020-10-02 | 四川大学 | 一种复杂场景下的在线多行人检测跟踪方法 |
| CN110782483A (zh) * | 2019-10-23 | 2020-02-11 | 山东大学 | 基于分布式相机网络的多视图多目标跟踪方法及系统 |
| CN111652909A (zh) * | 2020-04-21 | 2020-09-11 | 南京理工大学 | 一种基于深度哈希特征的行人多目标追踪方法 |
| CN111680587A (zh) * | 2020-05-26 | 2020-09-18 | 河海大学常州校区 | 一种基于多目标跟踪的鸡群活动量实时估算方法及系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112883819B (zh) * | 2021-01-26 | 2023-12-08 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112819859A (zh) * | 2021-02-02 | 2021-05-18 | 重庆特斯联智慧科技股份有限公司 | 一种应用于智慧安防的多目标跟踪方法及装置 |
| CN112819859B (zh) * | 2021-02-02 | 2023-06-02 | 重庆特斯联智慧科技股份有限公司 | 一种应用于智慧安防的多目标跟踪方法及装置 |
| CN112837349A (zh) * | 2021-02-09 | 2021-05-25 | 普联技术有限公司 | 一种目标跟踪方法、设备及计算机可读存储介质 |
| CN113052877A (zh) * | 2021-03-22 | 2021-06-29 | 中国石油大学(华东) | 一种基于多摄像头融合的多目标追踪方法 |
| CN113325415A (zh) * | 2021-04-20 | 2021-08-31 | 武汉光庭信息技术股份有限公司 | 车辆雷达数据和相机数据的融合方法及系统 |
| CN113325415B (zh) * | 2021-04-20 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | 车辆雷达数据和相机数据的融合方法及系统 |
| WO2023087860A1 (zh) * | 2021-11-17 | 2023-05-25 | 上海高德威智能交通系统有限公司 | 一种目标轨迹的生成方法、装置、电子设备及介质 |
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
| WO2023093086A1 (zh) * | 2021-11-26 | 2023-06-01 | 上海商汤智能科技有限公司 | 目标跟踪及相关模型的训练方法、装置、设备、介质、计算机程序产品 |
| CN115619832B (zh) * | 2022-12-20 | 2023-04-07 | 浙江莲荷科技有限公司 | 多摄像头协同进行多目标轨迹确认方法、系统及相关装置 |
| CN115619832A (zh) * | 2022-12-20 | 2023-01-17 | 浙江莲荷科技有限公司 | 多摄像头协同进行多目标轨迹确认方法、系统及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070807B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070807B (zh) | 多目标跟踪方法和电子装置 | |
| CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
| CN111612841B (zh) | 目标定位方法及装置、移动机器人及可读存储介质 | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| LU102028B1 (en) | Multiple view multiple target tracking method and system based on distributed camera network | |
| CN109298396A (zh) | 一种无人机定位方法、装置及计算机可读存储介质 | |
| Jiao et al. | 2-entity random sample consensus for robust visual localization: Framework, methods, and verifications | |
| CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN110631588A (zh) | 一种基于rbf网络的无人机视觉导航定位方法 | |
| CN112184757A (zh) | 运动轨迹的确定方法及装置、存储介质、电子装置 | |
| CN109829933A (zh) | 影像目标追踪方法及装置 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN110033012A (zh) | 一种基于通道特征加权卷积神经网络的生成式目标跟踪方法 | |
| CN116645396A (zh) | 轨迹确定方法、装置、计算机可读存储介质及电子设备 | |
| CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN115546705A (zh) | 目标识别方法、终端设备及存储介质 | |
| CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
| CN106127119B (zh) | 基于彩色图像和深度图像多特征的联合数据关联方法 | |
| CN112631333B (zh) | 无人机的目标跟踪方法、装置及图像处理芯片 | |
| CN110472092B (zh) | 一种街景图片的地理定位方法及系统 | |
| CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
| CN116109047A (zh) | 一种基于三维智能检测的智能调度方法 | |
| CN117242489A (zh) | 目标跟踪方法及装置、电子设备、计算机可读介质 | |
| CN112446355B (zh) | 一种公共场所行人识别方法及人流统计系统 | |
| CN112818837A (zh) | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220316 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: No.c101, chuanggu start up zone, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |