CN117876416B - 多目标跟踪方法、装置、设备及存储介质 - Google Patents
多目标跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117876416B CN117876416B CN202410275146.0A CN202410275146A CN117876416B CN 117876416 B CN117876416 B CN 117876416B CN 202410275146 A CN202410275146 A CN 202410275146A CN 117876416 B CN117876416 B CN 117876416B
- Authority
- CN
- China
- Prior art keywords
- frame
- target detection
- target
- description
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 420
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 85
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 60
- 238000011156 evaluation Methods 0.000 claims description 38
- 230000033001 locomotion Effects 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 19
- 230000009471 action Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 229920001651 Cyanoacrylate Polymers 0.000 description 1
- 239000004830 Super Glue Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请属于计算机视觉技术领域，提供了一种多目标跟踪方法、装置、设备及存储介质，方法包括：获取M个初始轨迹框；基于M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；基于每个目标检测框与对应的预测轨迹框之间的匹配度，判断各个目标检测框是否被遮挡；当L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个被遮挡目标检测框与对应的预测轨迹框匹配，得到每个被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集。本申请的技术方案，能够提高跟踪目标ID的稳定性和可靠性。
Description
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种多目标跟踪方法、装置、设备及存储介质。
背景技术
目标跟踪是计算机视觉中非常重要的任务之一，其广泛应用于多个领域。目前，通过检测和数据关联结合的方法解决多目标跟踪任务。该方法首先使用检测算法检测视频流中每一帧图像；然后，通过关联策略，将前后帧的图像中的检测框关联。关联策略可以采用匈牙利算法，以求解由检测框之间交并比（Intersection over Union，IOU）构成的代价矩阵，从而完成前后帧的关联，以确定跟踪目标的唯一身份标识号码（IDentity，ID）。但是，在检测检测框的过程中，会碰到环境光照、目标姿态、背景物体或同类物体的遮挡现象。也可能在部署过程，神经网络量化损失导致检测框偏大、偏小或者消失。上述两种情况都会使得检测和数据关联结合的方法存在漏检和检出不全的缺陷，进而出现目标跟丢和错跟等目标ID不正常跳变的现象。
相关技术中，为了解决上述技术问题，引入表观特征，以通过邻近帧表观特征的相似性确定ID是否一致。例如，使用针对具体任务训练良好身份重识别（ReID）模型，进而保证在一定时间间隔内检测框丢失的条件下，重新恢复跟踪目标的ID。
但是，当检测框被遮挡，则该检测框只包含目标的局部区域，若在满足目标轨迹和目标检测框匹配条件之后，采用指数移动平均（Exponential Moving Average，EMA）的方法更新表观特征，则检测框的被遮挡部分会污染目标轨迹的特征；而当目标轨迹和检测框不匹配，将产生新的目标轨迹。也即上述两种情况都会造成目标轨迹的跟踪ID在跟踪过程中出现跳变，从而降低了跟踪ID的稳定性和可靠性。
发明内容
本申请实施例提供了一种多目标跟踪方法、装置、设备及存储介质，能够提高跟踪目标ID的稳定性和可靠性。该技术方案如下：
根据本申请实施例的第一方面，提供了一种多目标跟踪方法，该方法包括：
获取M个初始轨迹框，该M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数；
基于该M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数；
基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡；
当该L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个该被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，该基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡，包括：
计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比；
基于每个该交并比，判断各个该目标检测框是否被遮挡。
在一种可能的实现方式中，该计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比，包括：
对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及对每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别；
计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。
在一种可能的实现方式中，该基于每个该交并比，判断各个该目标检测框是否被遮挡，包括：
针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配；或
当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡；或
当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。
在一种可能的实现方式中，该基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个该被遮挡目标检测框与对应的预测轨迹框匹配，包括：
基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度；
对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个该第二图像块进行特征提取，得到各个该第二图像块的第二特征点集；
基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个该第二图像块的第二特征点集，建立各个该第二图像块的第二描述算子集；
基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配，包括：
计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素；
基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵；
基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，包括：
针对一个该第一描述算子集以及对应的该第二描述算子集，该第一描述算子集包括K个第一描述算子，对应的该第二描述算子集包括J个第二描述算子；K，J为大于或等于1的整数；
计算每个该第一描述算子与对应的该第二描述算子的评估值，得到H个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；H为大于或等于1的整数；
从H个评估值中选择A个目标评估值，每个该目标评估值大于预设评估值；A为大于或等于1的整数；
对K、J以及A进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。
在一种可能的实现方式中，在得到每个该被遮挡目标检测框对应的目标轨迹框之后，还包括：
基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。
在一种可能的实现方式中，该方法，还包括：
当该L个目标检测框中Q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，Q为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，该基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，包括：
基于每个该未被遮挡目标检测框，从该第t+1帧图像中获取各个该未被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度；
对每个该第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个该第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；
基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，包括：
对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵；
基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征进行计算，得到第二代价矩阵，包括：
对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。
在一种可能的实现方式中，在得到各个该未被遮挡目标检测框对应的第二目标轨迹框之后，还包括：
获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数；
计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；
对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。
根据本申请实施例的第二方面，提供了一种多目标跟踪装置，该装置包括：
第一获取模块，用于获取M个初始轨迹框，该M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数；
第二获取模块，用于基于该M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数；
判断模块，用于基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个该目标检测框是否被遮挡；
第一匹配模块，用于当该L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，判断模块，包括：
计算单元，用于计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比；
判断单元，用于基于每个该交并比，判断各个该目标检测框是否被遮挡。
在一种可能的实现方式中，该计算单元，包括：
分类子单元，用于对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别；
第一计算子单元，用于计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。
在一种可能的实现方式中，该判断单元，包括：
第一判断子单元，用于针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配；或
第二判断子单元，用于当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡；或
第三判断子单元，用于当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。
在一种可能的实现方式中，该第一匹配模块，包括：
第一抠取单元，用于基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度；
第一特征提取单元，用于对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个该第二图像块进行特征提取，得到各个该第二图像块的第二特征点集；
建立单元，用于基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个第二图像块的第二特征点集，建立各个该第二图像块的第二描述算子集；
第一匹配单元，用于基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第一匹配单元，包括：
第二计算子单元，用于计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素；
第一生成子单元，用于基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵；
第一匹配子单元，用于基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第二计算子单元，包括：
针对一个该第一描述算子集以及对应的该第二描述算子集，该第一描述算子集包括K个第一描述算子，对应的该第二描述算子集包括J个第二描述算子；K，J为大于或等于1的整数；
计算每个该第一描述算子与对应的该第二描述算子的评估值，得到H个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；H为大于或等于1的整数；
从H个评估值中选择A个目标评估值，每个该目标评估值大于预设评估值；A为大于或等于1的整数；
对K、J以及A进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。
在一种可能的实现方式中，该装置，还包括：
确定模块，用于基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。
在一种可能的实现方式中，该装置，还包括：
第二匹配模块，用于当该L个目标检测框中Q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，Q为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，该第二匹配模块，包括：
第二抠取单元，用于基于每个该未被遮挡目标检测框，从该第t+1帧图像中获取各个该未被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度；
第二特征提取单元，用于对每个该第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个该第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；
第二匹配单元，用于基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第二匹配单元，包括：
第三计算子单元，用于对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵；
第二匹配子单元，用于基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第三计算子单元，包括：
对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。
在一种可能的实现方式中，该装置，还包括：
第三获取模块，用于获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数；
计算模块，用于计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；
求和模块，用于对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。
根据本申请实施例的第三方面，提供了一种计算机设备，其特征在于，该计算机设备包括处理器和存储器，该存储器用于存储至少一段程序，该至少一段程序由该处理器加载并执行如上述的多目标跟踪方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有至少一段程序，该至少一段程序由处理器加载并执行以实现如上述的多目标跟踪方法。
在本申请实施例中，本申请实施例提供了一种多目标跟踪方法，通过计算每个目标检测框与对应的相同类别的预测轨迹框的交并比，判断各个目标检测框是否被遮挡，当L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该每个被遮挡目标检测框与对应的预测轨迹框匹配，解决了目标检测框被遮挡时，被遮挡目标检测框与对应的预测轨迹框之间匹配不精准的问题，进而解决了目标轨迹的跟踪ID在跟踪过程中出现跳变的问题，也提高了目标轨迹的跟踪ID的稳定性和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种实施环境的示意图；
图2A是根据本申请实施例提供的一种多目标跟踪方法的流程示意图；
图2B是根据本申请实施例提供的一种目标检测框是否被遮挡的第一个示例流程示意图；
图2C是根据本申请实施例提供的一种目标检测框是否被遮挡的第二个示例流程示意图；
图3是根据本申请实施例提供的一种初始轨迹框的结构示意图；
图4是根据本申请实施例提供的一种预测轨迹框的结构示意图；
图5是根据本申请实施例提供的一种目标检测框的结构示意图；
图6是根据本申请实施例提供的一种被遮挡目标检测框的结构示意图；
图7A是根据本申请实施例提供的一种当目标检测框被遮挡时，对被遮挡目标检测框与对应的预测轨迹框进行匹配的流程示意图；
图7B是根据本申请实施例提供的图7A中步骤71的一个示例流程示意图；
图7C是根据本申请实施例提供的图7B中步骤714的一个示例流程示意图；
图7D是根据本申请实施例提供的图7C中步骤7141的一个示例流程示意图；
图8是根据本申请实施例提供的一种第一图像块的结构示意图；
图9是根据本申请实施例提供的一种第一描述算子集的结构示意图；
图10A是根据本申请实施例提供的一种当目标检测框未被遮挡时，将未被遮挡目标检测框与对应的预测轨迹框进行匹配的流程示意图；
图10B是根据本申请实施例提供的图10A中步骤101的一个示例流程示意图；
图10C是根据本申请实施例提供的图10A中步骤103的一个示例流程示意图；
图11是根据本申请实施例提供的一种归一化的第三图像块的结构示意图；
图12是根据本申请实施例提供的一种归一化的第三图像块的表观特征的结构示意图；
图13是根据本申请实施例提供的一种多目标跟踪装置的结构示意图；
图14是根据本申请实施例提供的一种终端的结构示意图；
图15是根据本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。
这些术语只是用于将一个元素与另一个元素区别开。例如，在不脱离各种示例的范围的情况下，第一动作能够被称为第二动作，并且类似地，第二动作也能够被称为第一动作。第一动作和第二动作都可以是动作，并且在某些情况下，可以是单独且不同的动作。
其中，至少一个是指一个或一个以上，例如，至少一个动作可以是一个动作、两个动作、三个动作等任意大于等于一的整数个动作。而多个是指两个或者两个以上，例如，多个动作可以是两个动作、三个动作等任意大于等于二的整数个动作。
图1是根据本申请实施例提供的一种实施环境的示意图，该实施环境可以包括终端101以及服务器102。
在终端101中，设有多目标跟踪需要的卡尔曼滤波器以及卷积神经网络（Convolutional Neural Network，CNN）模型等。
在一些实施例中，卡尔曼滤波器用于将第t帧图像对应的M个初始轨迹，映射到第t+1帧图像中，得到第t+1帧图像对应的N个预测轨迹。M、N以及t为大于或等于1的整数。
在一些实施例中，卷积神经网络用于对第t+1帧图像进行检测，得到第t+1帧图像中每个检测跟踪目标对应的目标检测框。
终端101可以为具有多目标跟踪功能的智能手机、可穿戴设备、个人电脑、膝上型便携计算机、平板电脑、智能电视和车载终端等。
服务器102可以是一台服务器、也可以是由多台服务器组成的服务器集群，或者，也可以是一个云处理中心。
终端101通过有线或无线网络与服务器102相连。
在一些实施例中，无线网络或者有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2A是根据本申请实施例提供的一种多目标跟踪方法的流程示意图，如图2A所示，在本申请实施例中以应用于具有多目标跟踪功能的终端上，在终端上设有卡尔曼滤波器以及卷积神经网络等为例进行说明。该方法包括以下步骤：
在步骤21中，终端获取M个初始轨迹框，该M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数。
在一些实施例中，基于预设算法获取预设视频流中的第t帧图像，然后获取第t帧图像对应的M个初始轨迹，M个初始轨迹中每个初始轨迹包括初始轨迹框。可选地，如图3所示，每个实线框表示一个初始轨迹框。
可选地，以M个初始轨迹中一个初始轨迹为例进行解释说明。该初始轨迹包括初始轨迹框的信息、初始轨迹框的类别的置信度、初始轨迹框的类别的索引、初始轨迹框的跟踪ID以及初始轨迹框的表观特征。其中，初始轨迹框的类别可以为人、车以及标志物中的任意一项。需要说明的是，可以从相关技术中得到预设算法，本申请的实施例不对预设算法做具体的限定。
可选地，根据预设算法对第t帧图像中与该初始轨迹对应的部分图像进行识别，得到该初始轨迹的类别；根据该初始轨迹框的类别，获取该初始轨迹框的类别的置信度以及类别的索引。
可选地，初始轨迹框为一个初始跟踪目标的边框，用于指示该初始跟踪目标的位置以及运动信息等。可选地，初始轨迹框信息包括第一顶点的坐标以及第二顶点的坐标。其中，第一顶点的坐标以及第二顶点的坐标可以根据第t帧图像所在的预设坐标系得到。
可选地，第一顶点可以为初始轨迹框的左上角对应的点。第二顶点可以为初始轨迹框的右下角对应的点，也即第一顶点与第二顶点在该初始轨迹的初始轨迹框的一条对角线上。可选地，使用预设算法对第一顶点的坐标以及第二顶点的坐标进行计算，得到该初始轨迹的跟踪ID。
可选地，初始轨迹框的特征可以为初始轨迹框的表观特征。其中，表观特征可以包括颜色特征、纹理特征、形状特征以及空间关系特征等。颜色特征以及纹理特征均用于描述第t帧图像中区域内的景物表面性质。形状特征描述第t帧图像中每个初始跟踪目标的外边界以及整个形状区域等。空间关系特征描述第t帧图像中M个初始跟踪目标之间的相互空间位置等。
可选地，可以使用LBP（Local Binary Pattern）算法获取初始轨迹框的表观特征。
可选地，M个初始轨迹中第i个初始轨迹可以表示为：。
式中，表示第i个初始轨迹对应的初始轨迹框的第一顶点的坐标。表示第i个初始轨迹对应的初始轨迹框的第二顶点的坐标。/>表示初始轨迹的类别的置信度。以及/>表示第i个初始轨迹的初始轨迹框的类别索引。/>表示第i个初始轨迹的初始轨迹框的跟踪ID。/>表示第i个初始轨迹的初始轨迹框的表观特征。i为大于或等于1，且小于等于M的整数。
在步骤22中，终端基于该M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数。
在一些实施例中，从预设视频流获取第t+1帧图像，使用预设线性状态方程将M个初始轨迹映射至第t+1帧图像上，得到第t+1帧图像对应的N个预测轨迹。
可选地，N个预测轨迹中第j个预测轨迹可以表示为：
。
式中，（）表示第j个预测轨迹对应的预测轨迹框的第一顶点的坐标。（）表示第j个预测轨迹对应的预测轨迹框的第二顶点的坐标。/>表示第j个预测轨迹的类别的置信度。/>表示第j个预测轨迹框框的类别索引。/>表示第j个预测轨迹框的跟踪ID。/>表示第j个预测轨迹框的表观特征。j为大于或等于1，且小于等于N的整数。第j个预测轨迹对应的预测轨迹框指示第t+1帧图像中第j个预测跟踪目标的位置以及运动信息等。
可选地，如图4所示，每个虚线框表示一个预测轨迹框，每个预测轨迹框与N个预测轨迹中对应的预测轨迹匹配。
在一些实施例中，如图5所示，在获取第t+1帧图像之后，对第t+1帧图像进行目标检测，得到第t+1帧图像中的N个检测跟踪目标，将N个检测跟踪目标中每个检测跟踪目标的边框，均作为一个目标检测框。
可选地，可以使用YOLO（You Only Look Once）算法对第t+1帧图像进行检测，得到N个目标检测框。可选地，可以使用预设算法计算每个目标检测框对应的类别、类别的置信度以及类别的索引等信息。
可选地，N个目标检测框中第n个目标检测框可以表示为：。
式中，表示第n个目标检测框的第一顶点的坐标。表示第n个目标检测框的第二顶点的坐标。/>表示第n个目标检测框的类别的置信度、以及/>表示第n个目标检测框的类别索引。以/>表示第n个目标检测框的跟踪ID。以/>表示第n个目标检测框的表观特征。n为大于或等于1，且小于等于N的整数。
在步骤23中，终端基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个目标检测框是否被遮挡。
在一些实施例中，如图2B所示，上述步骤22，包括如下步骤：
在步骤231中，终端计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比。
在一些实施例中，以一个目标检测框与对应的预测轨迹框为例进行解释说明。计算该目标检测框与对应的预测轨迹框的交集面积和并集面积的比值，该比值也即该目标检测框与对应的预测轨迹框的交并比。
在步骤232中，终端基于每个该交并比，判断各个该目标检测框是否被遮挡。
在一种可能的实现方式中，如图2C所示，上述步骤231，包括如下步骤：
在步骤2311中，终端对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及对每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别。
可选地，终端对第t+1帧图像中与每个目标检测框对应的部分图像进行识别，得到每个目标检测框对应的类别。同理，终端对第t+1帧图像中与每个预测轨迹框对应的部分图像进行识别，得到该N个预测轨迹框中每个预测轨迹框对应的类别。
在步骤2312中，终端计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。
在一些实施例中，以识别到的一个类别为例进行解释说明。在L个目标检测框中，U个目标检测框属于该类别。其中，该类别可以为车。U为等大于或等于1，且小于或等于L的整数。在N个预测轨迹框中，V个预测轨迹框属于该类别。V为大于或等于1，且小于或等于N的整数。
可选地，在对上述类别的U个目标检测框以及V个预测轨迹框进行交并比计算时，以U个目标检测框中一个目标检测框为例进行解释说明。计算该目标检测框与V个预测轨迹框中每个预测轨迹框的交并比。也即该目标检测框对应V个交并比。
在一些实施例中，上述步骤232，可以通过如下实现方式实现：
第一种实现方式：针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配。
在一些实施例中，该交并比对应的相同类别的目标检测框以及对应的预测轨迹框不匹配可以理解为，该目标检测框不在对应的预测轨迹框的邻近区域。也即该目标检测框对应的实际跟踪目标丢失。
第二种实现方式：当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡。
第三种实现方式：当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。
也即在第二种实现方式以及第三种实现方式中，与该交并比对应的相同类别的目标检测框以及预测轨迹框匹配。但是，第二种方式中的该交并比小于第二预设阈值，则表明该交并比偏小。也即该交并比对应的目标检测框被遮挡。如图6所示，目标检测框包括未被遮挡区域，而被遮挡区域因为被遮挡而无法被检测到，因此，被遮挡目标检测框的面积小于目标检测框的实际面积，进而导致被遮挡目标检测框对应的交并比偏小。而第三种方式中的该交并比大于第二预设阈值，则表明该交并比正常，也即该交并比对应的目标检测框未被遮挡。
需要说明的是，第一预设阈值以及第二预设阈值可以根据实际需要进行预设，本申请的实施例不对第一预设阈值以及第二预设阈值进行具体限定。
在步骤24中，当该L个目标检测框中P个目标检测框被遮挡，则终端基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个该被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
在一些实施例中，为了避免每个被遮挡目标检测框中被遮挡部分，影响第t帧图像以及第t+1帧图像的关联的准确性，当该L个目标检测框中P个目标检测框被遮挡，获取每个被遮挡目标检测框的第一特征点集，基于每个被遮挡目标检测框的第一特征点集，获取每个被遮挡目标检测框对应的第一描述算子集。以及获取每个预测轨迹框的第二特征点集，基于每个预测轨迹框的第二特征点集，获取每个预测轨迹框的第二描述算子集，基于该每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该各个被遮挡目标检测框与对应的预测轨迹框匹配。
在一些实施例中，得到每个该被遮挡目标检测框对应的第一目标轨迹框之后，通过每个第一目标轨迹框可以得到对应的第一实际跟踪目标的第一目标轨迹。
需要说明的是，上述实施例以应用于终端为例进行解释说明。另外，本申请的实施例还可以应用于服务器。
在本申请的实施例中，通过计算每个目标检测框与对应的相同类别的预测轨迹框的交并比，判断各个目标检测框是否被遮挡，当L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该每个被遮挡目标检测框与对应的预测轨迹框匹配，解决了目标检测框被遮挡时，被遮挡目标检测框与对应的预测轨迹框之间匹配不精准的问题，进而解决了目标轨迹的跟踪ID在跟踪过程中出现跳变的问题，也提高了目标轨迹的跟踪ID的稳定性和可靠性。
图2A所示实施例是本申请实施例的一种简要流程，下面，基于图7A对本申请的技术方案进行进一步说明。图7A是根据本申请实施例提供的在当该L个目标检测框中P个目标检测框被遮挡时，将每个被遮挡目标检测框与对应的目标检测框进行匹配的流程示意图，在本申请实施例中以应用于具有多目标跟踪功能的终端上，在终端上设有卡尔曼滤波器以及卷积神经网络等为例进行说明为例进行说明。该方法包括以下步骤：
在步骤71中，当该L个目标检测框中P个目标检测框被遮挡，则终端基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
在一些实施例中，终端将每个被遮挡目标检测框与对应的预测轨迹框匹配，也可以理解为将该每个被遮挡目标检测框与对应的预测轨迹框关联，进而实现目标跟踪。
在一些实施例中，如图7B所示，上述步骤71，包括如下步骤：
在步骤711中，终端基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度。
在一些实施例中，如图8所示，以一个被遮挡目标检测框为例进行解释说明。获取该被遮挡目标检测框的坐标信息，使用预设抠图算法从第t+1帧图像中将与该坐标信息对应的部分图像抠取出来，得到被遮挡目标检测框对应的第一图像块。同理，可以得到对应的预测轨迹框的第二图像块。
可选地，将P个目标检测框中置信度小于预设置信度的被遮挡目标检测框进行删除，也即不再参与后续步骤，进而提高第t帧图像以及第t+1帧图像的关联的准确性。
需要说明的是，预设抠图算法可以通过深度学习实现，本申请的实施例不对抠预设抠图算法做具体的限定。
在步骤712中，终端对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个第二图像块进行特征提取，得到各个该第二图像块的第二特征点集。
在一些实施例中，如图9所示，以一个第一图像块为例进行解释说明。对该第一图像块中的特征点进行提取，得到该第一图像块中至少一个第一特征点，也即得到该被遮挡目标检测框对应的第一特征点集。同理，可以得到对应的预测轨迹框的第二特征点集。
可选地，可以使用SIFT（Scale Invariant Feature Transfor，尺度不变特征变换）算法以及SuperPoint算法任意一种，对该第一图像块以及第二图像块中的特征点进行提取。
在步骤713中，终端基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个该第二图像块的第二特征点集，建立各个该第二图像块的第二描述算子集。
在一些实施例中，每个第一描述算子集中包括至少一个第一描述算子。如图9所示，以一个第一特征点集为例进行解释说明。使用该第一特征点集中每个第一特征点，建立各个第一特征点对应的第一描述算子，也即得到该第一特征点集对应的第一描述算子集。
在一些实施例中，每个第二描述算子集中包括至少一个第二描述算子。以一个第二特征点集为例进行解释说明。使用该第二特征点集中每个第二特征点，建立各个第二特征点对应的第二描述算子，也即得到该第二特征点集对应的第二描述算子集。
可选地，可以使用SURF（Speeded Up Robust Features）算法以及SuperGlue算法中任意一种，得到第一特征点集对应的第一描述算子集和第二特征点集对应的第二描述算子集。
在步骤714中，终端基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一些实施例中，以一个第一描述算子集以及P个第二描述算子集中对应的第二描述算子集为例进行解释说明。对于该第一描述算子集中一个第一描述算子，将该第一描述算子与对应的第二描述算子集中每个第二描述算子进行计算，以确定该第一描述算子与对应的第二描述算子集中每个第二描述算子是否匹配，从而确定该第一描述算子集与对应的第二描述算子集之间的匹配情况。同理，可以确定每个第一描述算子集与对应的第二描述算子集的匹配情况，进而将每个被遮挡目标检测框与对应的预测轨迹框匹配。
在一些实施例中，如图7C所示，上述步骤714，包括如下步骤：
在步骤7141中，终端计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素。
可选地，以一个第一描述算子集和对应的第二描述算子集为例进行解释说明。通过每个第一描述算子与对应的第二描述算子匹配情况，确定该第一描述算子集与对应的第二描述算子集的矩阵元素。
在一些实施例中，如图7D所示，上述步骤7141，包括如下步骤：
在步骤71411中，针对一个第一描述算子集以及对应的该第二描述算子集，第一描述算子集包括K个第一描述算子，对应的第二描述算子集包括J个第二描述算子；K，J为大于或等于1的整数。
在步骤71412中，终端计算每个该第一描述算子与对应的该第二描述算子的评估值，得到H个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；H为大于或等于1的整数。
可选地，可以通过如下公式，计算每个第一描述算子以及对应的每个第二描述算子的评估值：
。
式中，表示第k个第一描述算子；/>表示第j个第二描述算子。k为大于或等于1，且小于或等于K的整数。j为大于或等于1，且小于或等于J的整数。
在步骤71413中，终端从H个评估值中选择A个目标评估值，每个该目标评估值大于预设评估值；A为大于或等于1的整数。
可选地，当大于预设评估阈值时，将/>作为目标评估值。
在步骤71414中，终端对K、J以及A进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。
可选地，上述步骤71414可以通过如下公式，计算获得该第一描述算子集以及对应的第二描述算子集对应的矩阵元素：
。
式中，K为该第一描述算子集中第一描述算子的数量；J为对应的第二描述算子集中第二描述算子的数量。A表示该第一描述算子集以及对应的第二描述算子集对应的目标评估值的数量。表示第/>个第一描述算子集。/>表示第/>个第二描述算子集。/>，/>为大于或等于1，且小于或等于P的整数。
在步骤7142中，终端基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵。
可选地，以为例进行解释说明，使用预设算法将/>放置在第一代价矩阵的第/>行第/>列的位置。同理，将每个矩阵元素放置到第一代价矩阵中对应位置，从而得到第一代价矩阵。
本申请的实施例，使用每个第一描述算子集以及对应的第二描述算子集对应的矩阵元素，生成第一代价矩阵，能够准确指示每个被遮挡目标检测框与对应预测轨迹框之间的相似程度，进而实现每个被遮挡目标检测框与对应预测轨迹框的准确匹配。
在步骤7143中，终端基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一些实施例中，使用匈牙利算法对该第一代价矩阵进行列处理和行处理，得到第一最优解，进而使用该第一最优解将每个被遮挡目标检测框与对应的预测轨迹框匹配。其中，该第一最优解指示将每个被遮挡目标检测框与对应的预测轨迹框匹配所需的最小代价。
在步骤72中，终端基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。
在一些实施例中，以一个目标检测框为例，进行解释说明。当该目标检测框被遮挡，若使用该被遮挡目标检测框确定第一运动轨迹，会导致第一运动轨迹被污染，也即第一运动轨迹不准确。为了解决上述问题，本申请的实施例，不通过该被遮挡目标检测框，获取对应的第一运动轨迹，而是直接将第t帧图像中与该被遮挡目标检测框对应的预测轨迹框作为第一运动轨迹。
可选地，上述步骤72可以通过如下公式实现：
第个第一运动轨迹的表观特征=/>。
式中，表示第/>个初始轨迹框的表观特征。/>为大于或等于1，且小于或等于P的整数。
也即，将第个初始轨迹框的表观特征直接作为第/>个第一运动轨迹的表观特征，进而可以得到第/>个第一运动轨迹，以避免第/>个被遮挡目标检测框降低第/>个第一运动轨迹的准确度。
需要说明的是，上述实施例以应用于终端为例进行解释说明。另外，本申请的实施例还可以应用于服务器。
在本申请的实施例中，通过计算每个目标检测框与对应的相同类别的预测轨迹框的交并比，判断各个目标检测框是否被遮挡，当L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该每个被遮挡目标检测框与对应的预测轨迹框匹配，解决了目标检测框被遮挡时，被遮挡目标检测框与对应的预测轨迹框之间匹配不精准的问题，进而解决了目标轨迹的跟踪ID在跟踪过程中出现跳变的问题，也提高了目标轨迹的跟踪ID的稳定性和可靠性。
下面，基于图10A对本申请的技术方案进行进一步说明。图10A是根据本申请实施例提供的在当该L个目标检测框中Q个该目标检测框未被遮挡时，将每个未被遮挡目标检测框与对应的预测轨迹框进行匹配的流程示意图，在本申请实施例中以应用于具有多目标跟踪功能的终端上，在终端上设有卡尔曼滤波器以及卷积神经网络等为例进行说明为例进行说明。该方法包括以下步骤：
在步骤101中，当该L个目标检测框中Q个目标检测框未被遮挡，终端基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，Q为大于或等于1，且小于或等于L的整数。
在一些实施例中，得到每个未被遮挡目标检测框对应的第二目标轨迹框之后，通过每个第二目标轨迹框可以得到对应的第二实际跟踪目标的第二目标轨迹。
在一些实施例中，如图10B所示，上述步骤101，包括如下步骤：
在步骤1011中，终端基于每个该未被遮挡目标检测框，从该第t+1帧图像中获取各个该未被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度。
步骤1011与步骤711同理，本申请的实施例不再进行赘述。
在步骤1012中，终端对每个第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；
可选地，以一个第三图像块为例进行解释说明。如图11所示，为了便于对该第三图像块进行处理，从而提高图像处理效率，以节省算力，在获取该第三图像块之后，对该第三图像块进行归一化，得到归一化的第三图像块。可选地，归一化的第三图像块的大小为r×r。r为正数。同理，可以得到归一化的第四图像块。
在一些实施例中，如图12所示，在得到归一化的第三图像块之后，对该归一化的第三图像块进行特征提取，得到该归一化的第三图像块的表观特征。将该表观特征作为该未被遮挡目标检测框的表观特征。同理，可以得到每个未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征。
可选地，可以使用LBP、HOG（Histogram of Oriented Gradients）以及CNN方法中任意一种对该归一化的第三图像块以及归一化的第四图像块进行特征提取。
在步骤1013中，终端基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一些实施例中，将该每个未被遮挡目标检测框与对应的预测轨迹框匹配，可以理解为将每个未被遮挡目标检测框与对应的预测轨迹框关联，进而实现目标跟踪。
在一些实施例中，如图10C所示，上述步骤103，包括如下步骤：
在步骤1031中，终端对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵。
可选地，以对一个未被遮挡目标检测框的表观特征进行计算为例进行解释说明。对该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征进行计算，得到该未被遮挡目标检测框的表观特征与对应的预测轨迹框的表观特征对应的矩阵元素。同理，可以得到每个未被遮挡目标检测框的表观特征与对应的预测轨迹框对应的矩阵元素，使用每个未被遮挡目标检测框的表观特征与对应的预测轨迹框对应的矩阵元素，生成第二代价矩阵。
在步骤1032中，终端基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
可选地，使用匈牙利算法，对该第二代价矩阵进行列处理和行处理，得到第二最优解，进而使用该第二最优解将每个未被遮挡目标检测框与对应的预测轨迹框匹配。其中，该第一最优解指示将每个未被遮挡目标检测框与对应的预测轨迹框匹配所需的最小代价。
在一些实施例中，上述步骤1031，包括：终端对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。
可选地，上述步骤1031可以通过如下公式实现：
。
式中，表示第/>个未被遮挡目标检测的表观特征与对应的第/>个预测轨迹框的表观特征对应的矩阵元素。/>表示第/>个未被遮挡目标检测的表观特征。表示第/>个预测轨迹框的表观特征。/>,/>均为大于或等于1，且小于或等于Q的整数。
在步骤102中，终端获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数。
在一些实施例中，可以根据实际需要预设每个未被遮挡目标检测框的表观特征的第一比例参数，以及该对应的预测轨迹框的表观特征的第二比例参数。其中，该对应的预测轨迹框的表观特征的第二比例参数表示更新强度，也即表示对应的预测轨迹框的表观特征对对应的第二运动轨迹的贡献程度。
在步骤103中，终端计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值。
在一些实施例中，以一个未被遮挡目标检测框对应的预测轨迹框为例进行解释说明。通过改变该预测轨迹框的表观特征的第二比例参数的数值大小，可以控制该预测轨迹框的表观特征对对应的第二运动轨迹的贡献程度，进而控制该未被遮挡目标检测框的表观特征对对应的第二运动轨迹的贡献程度。
在步骤104中，终端对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。
在一些实施例中，上述步骤104可以通过如下公式实现：
第个第二运动轨迹的表观特征=/>。
式中，为第/>个预测轨迹框的表观特征对应的第二比例参数。/>为第个未被遮挡目标检测框的表观特征的第一比例参数。
本申请的实施例，在每个未被遮挡目标检测框未被遮挡的时候，则使用第t+1帧图像的每个未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，得到各个未被遮挡目标检测框的第二运动轨迹，以提高目标追踪的效率，进而节省算力。
图13是根据本申请实施例提供的一种多目标跟踪装置1300的结构示意图，装置包括：
第一获取模块1301，用于获取M个初始轨迹框，该M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数；
第二获取模块1302，用于基于该M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个该预测轨迹框为该第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示该第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数；
判断模块1303，用于基于每个该目标检测框与对应的预测轨迹框之间的匹配度，判断各个目标检测框是否被遮挡；
第一匹配模块1304，用于当该L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个被遮挡目标检测框与对应的预测轨迹框匹配，得到每个该被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示该第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，判断模块1303，包括：
计算单元，用于计算每个该目标检测框与对应的该预测轨迹框之间的交并比，每个交并比指示对应的该目标检测框与对应的该预测轨迹框之间的交并比；
判断单元，用于基于每个该交并比，判断各个该目标检测框是否被遮挡。
在一种可能的实现方式中，该计算单元，包括：
分类子单元，用于对每个该目标检测框进行分类，得到各个该目标检测框的类别；以及对每个该预测轨迹框进行分类，得到各个该预测轨迹框的类别；
第一计算子单元，用于计算每个该目标检测框与对应的相同类别的该预测轨迹框的交并比。
在一种可能的实现方式中，该判断单元，包括：
第一判断子单元，用于针对一个该交并比，当该交并比小于第一预设阈值，则该交并比对应的该目标检测框与对应的该预测轨迹框不匹配；或
第二判断子单元，用于当该交并比大于第一预设阈值，且小于第二预设阈值，则该交并比对应的该目标检测框被遮挡；或
第三判断子单元，用于当该交并比大于第二预设阈值，则该交并比对应的该目标检测框未被遮挡。
在一种可能的实现方式中，该第一匹配模块1304，包括：
第一抠取单元，用于基于每个该被遮挡目标检测框，从该第t+1帧图像中获取与各个该被遮挡目标检测框对应的第一图像块；以及基于每个该预测轨迹框，从该第t+1帧图像中获取与各个该预测轨迹框对应的第二图像块；每个该被遮挡目标检测框的置信度大于或等于预设置信度；
第一特征提取单元，用于对每个该第一图像块进行特征提取，得到各个该第一图像块的第一特征点集；以及对每个第二图像块进行特征提取，得到各个该第二图像块的第二特征点集；
建立单元，用于基于每个该第一图像块的第一特征点集，建立各个该第一图像块的第一描述算子集；以及基于每个该预测轨迹框的第二特征点集，建立各个该预测轨迹框的第二描述算子集；
第一匹配单元，用于基于每个该第一描述算子集以及对应的该第二描述算子集，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第一匹配单元，包括：
第二计算子单元，用于计算每个该第一描述算子集与对应的该第二描述算子集的矩阵元素；
第一生成子单元，用于基于每个该第一描述算子集与对应的该第二描述算子集的矩阵元素，生成第一代价矩阵；
第一匹配子单元，用于基于该第一代价矩阵，将各个该被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第二计算子单元，包括：
针对一个该第一描述算子集以及对应的该第二描述算子集，该第一描述算子集包括K个第一描述算子，对应的该第二描述算子集包括J个第二描述算子；K，J为大于或等于1的整数；
计算每个该第一描述算子与对应的该第二描述算子的评估值，得到H个评估值；每个该评估值指示一个第一描述算子与对应的第二描述算子的匹配度；H为大于或等于1的整数；
从H个评估值中选择A个目标评估值，每个该目标评估值大于预设评估值；A为大于或等于1的整数；
对K、J以及A进行计算，得到该第一描述算子集以及对应的该第二描述算子集的该矩阵元素。
在一种可能的实现方式中，该装置，还包括：
确定模块，用于基于每个该初始轨迹框，确定与各个该初始轨迹框对应的目标检测框的第一运动轨迹。
在一种可能的实现方式中，该装置，还包括：
第二匹配模块，用于当该L个目标检测框中Q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配，得到各个该未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示该第t+1帧图像中一个第二实际跟踪目标的位置，Q为大于或等于1，且小于或等于L的整数。
在一种可能的实现方式中，该第二匹配模块，包括：
第二抠取单元，用于基于每个该被遮挡目标检测框，从该第t+1帧图像中获取各个该被遮挡目标检测框对应的第三图像块；以及基于对应的每个该预测轨迹框，从该第t+1帧图像中获取与对应的各个该预测轨迹框对应的第四图像块；每个该目标检测框的置信度大于或等于预设置信度；
第二特征提取单元，用于对每个第三图像块进行特征提取，得到各个该第三图像块对应的该未被遮挡目标检测框的表观特征；以及对每个第四图像块进行特征提取，得到各个该第四图像块对应的该预测轨迹框的表观特征；
第二匹配单元，用于基于每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第二匹配单元，包括：
第三计算子单元，用于对每个该未被遮挡目标检测框的表观特征以及对应的该预测轨迹框的表观特征进行计算，得到第二代价矩阵；
第二匹配子单元，用于基于该第二代价矩阵，将各个该未被遮挡目标检测框与对应的该预测轨迹框匹配。
在一种可能的实现方式中，该第三计算子单元，包括：
对每个该未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到该第二代价矩阵。
在一种可能的实现方式中，该装置，还包括：
第三获取模块，用于获取每个该未被遮挡目标检测框的表观特征的第一比例参数，以及对应的该预测轨迹框的表观特征的第二比例参数；
计算模块，用于计算每个该未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个该预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；
求和模块，用于对每个第二乘积值以及对应的第三乘积值求和，得到各个该未被遮挡目标检测框的第二运动轨迹。
需要说明的是：上述实施例提供的多目标跟踪装置在执行相应步骤时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多目标跟踪装置与多目标跟踪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在本申请实施例中，通过计算每个目标检测框与对应的相同类别的预测轨迹框的交并比，判断各个目标检测框是否被遮挡，当L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及对应的预测轨迹框的第二描述算子集，将该每个被遮挡目标检测框与对应的预测轨迹框匹配，解决了目标检测框被遮挡时，被遮挡目标检测框与对应的预测轨迹框之间匹配不精准的问题，进而解决了目标轨迹的跟踪ID在跟踪过程中出现跳变的问题，也提高了目标轨迹的跟踪ID的稳定性和可靠性。
本申请的实施例还提供了一种计算机设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现如上的方法。
以计算机设备为终端为例，图14是本申请实施例提供的一种终端的结构示意图，参见图14，终端1400可以是：智能手机、平板电脑、MP3播放器（Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1400包括有：处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心，比如4核心处理器、14核心处理器等。处理器1401可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1401所执行以实现本申请中方法实施例提供的多目标跟踪方法中终端执行的过程。
在一些实施例中，终端1400还可选包括有：外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地，外围设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407和电源1408中的至少一种。
外围设备接口1403可被用于将I/O（Input/Output，输入/输出）相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。
射频电路1404用于接收和发射RF（Radio Frequency，射频）信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路1404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或WiFi（Wireless Fidelity，无线保真）网络。在一些实施例中，射频电路1404还可以包括NFC（Near Field Communication，近距离无线通信）有关的电路，本申请对此不加以限定。
显示屏1405用于显示UI（User Interface，用户页面）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405可以为一个，设置在终端1400的前面板；在另一些实施例中，显示屏1405可以为至少两个，分别设置在终端1400的不同表面或呈折叠设计；在另一些实施例中，显示屏1405可以是柔性显示屏，设置在终端1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD（Liquid Crystal Display，液晶显示屏）、OLED（Organic Light-EmittingDiode，有机发光二极管）等材质制备。
摄像头组件1406用于采集图像或视频。在一些实施例中，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR（Virtual Reality，虚拟现实）拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。
电源1408用于为终端1400中的各个组件进行供电。电源1408可以是交流电、直流电、一次性电池或可充电电池。当电源1408包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1400还包括有一个或多个传感器1409。该一个或多个传感器1409包括但不限于：加速度传感器1410、陀螺仪传感器1411、压力传感器1412、光学传感器1413以及接近传感器1414。
加速度传感器1410可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1410可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1410采集的重力加速度信号，控制显示屏1405以横向视图或纵向视图进行用户页面的显示。加速度传感器1410还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1411可以检测终端1400的机体方向及转动角度，陀螺仪传感器1411可以与加速度传感器1410协同采集用户对终端1400的三维动作。处理器1401根据陀螺仪传感器1411采集的数据，可以实现如下功能：动作感应（比如根据用户的倾斜操作来改变UI）、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1412可以设置在终端1400的侧边框和/或显示屏1405的下层。当压力传感器1412设置在终端1400的侧边框时，可以检测用户对终端1400的握持信号，由处理器1401根据压力传感器1412采集的握持信号进行左右手识别或快捷操作。当压力传感器1412设置在显示屏1405的下层时，由处理器1401根据用户对显示屏1405的压力操作，实现对UI页面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1413用于采集环境光强度。在一个实施例中，处理器1401可以根据光学传感器1413采集的环境光强度，控制显示屏1405的显示亮度。具体地，当环境光强度较高时，调高显示屏1405的显示亮度；当环境光强度较低时，调低显示屏1405的显示亮度。在另一个实施例中，处理器1401还可以根据光学传感器1413采集的环境光强度，动态调整摄像头组件1406的拍摄参数。
接近传感器1414，也称距离传感器，通常设置在终端1400的前面板。接近传感器1414用于采集用户与终端1400的正面之间的距离。在一个实施例中，当接近传感器1414检测到用户与终端1400的正面之间的距离逐渐变小时，由处理器1401控制显示屏1405从亮屏状态切换为息屏状态；当接近传感器1414检测到用户与终端1400的正面之间的距离逐渐变大时，由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图14中示出的结构并不构成对终端1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
以计算机设备为服务器为例，图15是本申请实施例提供的一种服务器的结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器（Central Processing Units，CPU）1501和一个或多个的存储器1502，其中，该一个或多个存储器1502中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1501加载并执行以实现上述多目标跟踪方法。当然，该服务器1500还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1500还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请的实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上的图像处理模型的生成方法。可选地，计算机可读存储介质可以是只读内存（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact-DiscRead-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (16)
1.一种多目标跟踪方法，其特征在于，包括：
获取M个初始轨迹框，所述M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数；
基于所述M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个所述预测轨迹框为所述第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示所述第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数；
基于每个所述目标检测框与对应的预测轨迹框之间的匹配度，判断各个所述目标检测框是否被遮挡；
当所述L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个所述被遮挡目标检测框与对应的预测轨迹框匹配，得到每个所述被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示所述第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
2.根据权利要求1所述的方法，其特征在于，所述基于每个所述目标检测框与对应的预测轨迹框之间的匹配度，判断各个所述目标检测框是否被遮挡，包括：
计算每个所述目标检测框与对应的所述预测轨迹框之间的交并比，每个交并比指示对应的所述目标检测框与对应的所述预测轨迹框之间的交并比；
基于每个所述交并比，判断各个所述目标检测框是否被遮挡。
3.根据权利要求2所述的方法，其特征在于，所述计算每个所述目标检测框与对应的所述预测轨迹框之间的交并比，每个交并比指示对应的所述目标检测框与对应的所述预测轨迹框之间的交并比，包括：
对每个所述目标检测框进行分类，得到各个所述目标检测框的类别；以及对每个所述预测轨迹框进行分类，得到各个所述预测轨迹框的类别；
计算每个所述目标检测框与对应的相同类别的所述预测轨迹框的交并比。
4.根据权利要求3所述的方法，其特征在于，所述基于每个所述交并比，判断各个所述目标检测框是否被遮挡，包括：
针对一个所述交并比，当所述交并比小于第一预设阈值，则所述交并比对应的所述目标检测框与对应的所述预测轨迹框不匹配；或
当所述交并比大于第一预设阈值，且小于第二预设阈值，则所述交并比对应的所述目标检测框被遮挡；或
当所述交并比大于第二预设阈值，则所述交并比对应的所述目标检测框未被遮挡。
5.根据权利要求1所述的方法，其特征在于，所述基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个所述被遮挡目标检测框与对应的预测轨迹框匹配，包括：
基于每个所述被遮挡目标检测框，从所述第t+1帧图像中获取与各个所述被遮挡目标检测框对应的第一图像块；以及基于每个所述预测轨迹框，从所述第t+1帧图像中获取与各个所述预测轨迹框对应的第二图像块；每个所述被遮挡目标检测框的置信度大于或等于预设置信度；
对每个所述第一图像块进行特征提取，得到各个所述第一图像块的第一特征点集；以及对每个所述第二图像块进行特征提取，得到各个所述第二图像块的第二特征点集；
基于每个所述第一图像块的第一特征点集，建立各个所述第一图像块的第一描述算子集；以及基于每个所述第二图像块的第二特征点集，建立各个所述第二图像块的第二描述算子集；
基于每个所述第一描述算子集以及对应的所述第二描述算子集，将各个所述被遮挡目标检测框与对应的所述预测轨迹框匹配。
6.根据权利要求5所述的方法，其特征在于，所述基于每个所述第一描述算子集以及对应的所述第二描述算子集，将各个所述被遮挡目标检测框与对应的所述预测轨迹框匹配，包括：
计算每个所述第一描述算子集与对应的所述第二描述算子集的矩阵元素；
基于每个所述第一描述算子集与对应的所述第二描述算子集的矩阵元素，生成第一代价矩阵；
基于所述第一代价矩阵，将各个所述被遮挡目标检测框与对应的所述预测轨迹框匹配。
7.根据权利要求6所述的方法，其特征在于，所述计算每个所述第一描述算子集与对应的所述第二描述算子集的矩阵元素，包括：
针对一个所述第一描述算子集以及对应的所述第二描述算子集，所述第一描述算子集包括K个第一描述算子，对应的所述第二描述算子集包括J个第二描述算子；K，J为大于或等于1的整数；
计算每个所述第一描述算子与对应的所述第二描述算子的评估值，得到H个评估值；每个所述评估值指示一个第一描述算子与对应的第二描述算子的匹配度；H为大于或等于1的整数；
从H个评估值中选择A个目标评估值，每个所述目标评估值大于预设评估值；A为大于或等于1的整数；
对K、J以及A进行计算，得到所述第一描述算子集以及对应的所述第二描述算子集的所述矩阵元素。
8.根据权利要求1所述的方法，其特征在于，在得到每个所述被遮挡目标检测框对应的目标轨迹框之后，还包括：
基于每个所述初始轨迹框，确定与各个所述初始轨迹框对应的目标检测框的第一运动轨迹。
9.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
当所述L个目标检测框中Q个目标检测框未被遮挡，基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个所述未被遮挡目标检测框与对应的所述预测轨迹框匹配，得到各个所述未被遮挡目标检测框对应的第二目标轨迹框，每个第二目标轨迹框指示所述第t+1帧图像中一个第二实际跟踪目标的位置，Q为大于或等于1，且小于或等于L的整数。
10.根据权利要求9所述的方法，其特征在于，所述基于每个未被遮挡目标检测框的特征以及对应的预测轨迹框的特征，将各个所述未被遮挡目标检测框与对应的所述预测轨迹框匹配，包括：
基于每个所述未被遮挡目标检测框，从所述第t+1帧图像中获取各个所述未被遮挡目标检测框对应的第三图像块；以及基于对应的每个所述预测轨迹框，从所述第t+1帧图像中获取与对应的各个所述预测轨迹框对应的第四图像块；每个所述目标检测框的置信度大于或等于预设置信度；
对每个所述第三图像块进行特征提取，得到各个所述第三图像块对应的所述未被遮挡目标检测框的表观特征；以及对每个所述第四图像块进行特征提取，得到各个所述第四图像块对应的所述预测轨迹框的表观特征；
基于每个所述未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个所述未被遮挡目标检测框与对应的所述预测轨迹框匹配。
11.根据权利要求10所述的方法，其特征在于，所述基于每个所述未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征，将各个所述未被遮挡目标检测框与对应的所述预测轨迹框匹配，包括：
对每个所述未被遮挡目标检测框的表观特征以及对应的所述预测轨迹框的表观特征进行计算，得到第二代价矩阵；
基于所述第二代价矩阵，将各个所述未被遮挡目标检测框与对应的所述预测轨迹框匹配。
12.根据权利要求11所述的方法，其特征在于，所述对每个所述未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征进行计算，得到第二代价矩阵，包括：
对每个所述未被遮挡目标检测框的表观特征以及对应的预测轨迹框的表观特征的第一乘积值进行计算，得到所述第二代价矩阵。
13.根据权利要求9所述的方法，其特征在于，在得到各个所述未被遮挡目标检测框对应的第二目标轨迹框之后，还包括：
获取每个所述未被遮挡目标检测框的表观特征的第一比例参数，以及对应的所述预测轨迹框的表观特征的第二比例参数；
计算每个所述未被遮挡目标检测框的表观特征与对应的第一比例参数的第二乘积值；以及计算对应的每个所述预测轨迹框的表观特征与对应的第二比例参数的第三乘积值；
对每个第二乘积值以及对应的第三乘积值求和，得到各个所述未被遮挡目标检测框的第二运动轨迹。
14.一种多目标跟踪装置，其特征在于，包括：
第一获取模块，用于获取M个初始轨迹框，所述M个初始轨迹中每个初始轨迹框为第t帧图像中一个初始跟踪目标的位置；M，t为大于或等于1的整数；
第二获取模块，用于基于所述M个初始轨迹框，获取第t+1帧图像中的N个预测轨迹框及L个目标检测框；每个所述预测轨迹框为所述第t+1帧图像中一个预测跟踪目标的位置；每个目标检测框指示所述第t+1帧图像中一个检测跟踪目标的位置；N，L为大于或等于1的整数；
判断模块，用于基于每个所述目标检测框与对应的预测轨迹框之间的匹配度，判断各个所述目标检测框是否被遮挡；
第一匹配模块，用于当所述L个目标检测框中P个目标检测框被遮挡，则基于每个被遮挡目标检测框的第一描述算子集以及第二描述算子集，将各个所述被遮挡目标检测框与对应的预测轨迹框匹配，得到每个所述被遮挡目标检测框对应的第一目标轨迹框；每个第一描述算子集指示一个被遮挡目标检测框的第一特征点集；每个第二描述算子集指示一个预测轨迹框的第二特征点集，每个第一目标轨迹框指示所述第t+1帧图像中一个第一实际跟踪目标的位置；P为大于或等于1，且小于或等于L的整数。
15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序，所述至少一段程序由所述处理器加载并执行如权利要求1至权利要求13中任一项所述的多目标跟踪方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至权利要求13中任一项所述的多目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275146.0A CN117876416B (zh) | 2024-03-12 | 2024-03-12 | 多目标跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410275146.0A CN117876416B (zh) | 2024-03-12 | 2024-03-12 | 多目标跟踪方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876416A CN117876416A (zh) | 2024-04-12 |
| CN117876416B true CN117876416B (zh) | 2024-06-04 |
Family
ID=90583344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410275146.0A Active CN117876416B (zh) | 2024-03-12 | 2024-03-12 | 多目标跟踪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876416B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984920A (zh) * | 2014-04-25 | 2014-08-13 | 同济大学 | 一种基于稀疏表示与多特征点的三维人脸识别方法 |
| CN113947108A (zh) * | 2021-10-15 | 2022-01-18 | 福州大学 | 一种基于yolo v5的球员追踪检测方法 |
| CN114638855A (zh) * | 2022-01-21 | 2022-06-17 | 山东汇创信息技术有限公司 | 一种多目标跟踪方法、设备及介质 |
| WO2022127180A1 (zh) * | 2020-12-17 | 2022-06-23 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
-
2024
- 2024-03-12 CN CN202410275146.0A patent/CN117876416B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984920A (zh) * | 2014-04-25 | 2014-08-13 | 同济大学 | 一种基于稀疏表示与多特征点的三维人脸识别方法 |
| WO2022127180A1 (zh) * | 2020-12-17 | 2022-06-23 | 深圳云天励飞技术股份有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN113947108A (zh) * | 2021-10-15 | 2022-01-18 | 福州大学 | 一种基于yolo v5的球员追踪检测方法 |
| CN114638855A (zh) * | 2022-01-21 | 2022-06-17 | 山东汇创信息技术有限公司 | 一种多目标跟踪方法、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于YOLOv3与卡尔曼滤波的多目标跟踪算法;任珈民;宫宁生;韩镇阳;;计算机应用与软件;20200512(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876416A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN110544272B (zh) | 脸部跟踪方法、装置、计算机设备及存储介质 | |
| CN110222789B (zh) | 图像识别方法及存储介质 | |
| CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN110675412B (zh) | 图像分割方法、图像分割模型的训练方法、装置及设备 | |
| CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
| CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
| CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN111931712B (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN111639639B (zh) | 检测文本区域的方法、装置、设备及存储介质 | |
| CN110135329B (zh) | 从视频中提取姿势的方法、装置、设备及存储介质 | |
| CN112395921B (zh) | 异常行为检测方法、装置及系统 | |
| CN111538009B (zh) | 雷达点的标记方法和装置 | |
| CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
| CN117876416B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN112990424B (zh) | 神经网络模型训练的方法和装置 | |
| CN112861565B (zh) | 确定轨迹相似度的方法、装置、计算机设备和存储介质 | |
| CN113435530B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN116681755B (zh) | 位姿预测方法和装置 | |
| CN112836714B (zh) | 一种智能模型的训练方法及装置 | |
| CN113129221B (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |