CN116758119B - 基于运动补偿、联动的多目标循环检测跟踪方法及系统 - Google Patents

基于运动补偿、联动的多目标循环检测跟踪方法及系统 Download PDF

Info

Publication number
CN116758119B
CN116758119B CN202310772558.0A CN202310772558A CN116758119B CN 116758119 B CN116758119 B CN 116758119B CN 202310772558 A CN202310772558 A CN 202310772558A CN 116758119 B CN116758119 B CN 116758119B
Authority
CN
China
Prior art keywords
target
camera
linkage
frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310772558.0A
Other languages
English (en)
Other versions
CN116758119A (zh
Inventor
向其权
文坚
李小波
邓滔
叶舟
胡世林
付强
汤二仁
谭丹
徐嘉
杨培源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bitshutu Technology Co ltd
Original Assignee
Chongqing Bitshutu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Bitshutu Technology Co ltd filed Critical Chongqing Bitshutu Technology Co ltd
Priority to CN202310772558.0A priority Critical patent/CN116758119B/zh
Publication of CN116758119A publication Critical patent/CN116758119A/zh
Application granted granted Critical
Publication of CN116758119B publication Critical patent/CN116758119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种基于运动补偿、联动的多目标循环检测跟踪方法及系统，步骤S1:获取目标位置；步骤S2:利用相机运动补偿对目标位置进行增强对齐，再通过运动预测模型预测目标区域；步骤S3:外观特征提取器进行特征提取，指数平均移动EMA更新策略输出当前帧与第个轨迹的外观特征状态；步骤S4:根据预测目标区域和检测框的马氏距离，得出运动成本；根据外观特征状态与历史帧的余弦距离，得出外观成本；步骤S5:对外观成本和运动成本加权和，输出目标物的ID、位置；步骤S6：判断目标大小是否符合预设临界值，若小于预设临界值控制联动相机进行实时调整倍数，若即将出视野控制将目标物居中。本发明提高了跟踪效率、匹配质量，减少了匹配时间。

Description

基于运动补偿、联动的多目标循环检测跟踪方法及系统
技术领域
本发明涉及目标跟踪技术领域，特别涉及一种基于运动补偿、联动的多目标循环检测跟踪方法及系统。
背景技术
目标实时跟踪在安防、渔政监管、交通等各个领域都有广泛的应用，但跟踪算法在复杂的应用环境存在诸多干扰，如背景相似干扰、光照条件变化、尺寸变化、遮挡、快速运动和运动模糊等，容易出现跟丢或跟错的情况。
目前的实时跟踪算法大多基于卡尔曼滤波预测运动状态，基于简单的卷积神经网络(CNN)来提取其外观特征。寻常的卡尔曼滤波容易受到光照、尺度、颜色、旋转等变化图像的影响，并且忽略了检测噪声尺度的信息，目标跟踪高度敏感与物体尺寸，当目标物远离相机，尺寸变小，导致目标检测算法无法正确检出目标位置信息，进而导致跟踪丢失；当目标物出视野，目标物视野丢失，未与相机进行有效的联动，也会导致跟踪丢失。如何联动相机对多目标进行实时高效的跟踪有着迫切的业务需求，相关技术也有待进一步研究。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于运动补偿、联动的多目标循环检测跟踪方法及系统，提高跟踪效率、匹配质量，减少匹配时间。
本发明的技术方案是：
一种基于运动补偿、联动的多目标循环检测跟踪方法，包括如下步骤：
步骤S1:获取联动相机监测图像中检测框的目标位置；
步骤S2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域
步骤S3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
步骤S4:根据所述步骤S2中预测目标区域和所述步骤1中检测框的马氏距离，得出运动成本AS；根据所述步骤3中外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；
步骤S5:对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置；
步骤S6：根据所述步骤S5中目标物的位置信息判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中；重复步骤1至6。
进一步地，还包括步骤S7：根据所述步骤S5中目标物的ID、位置进行实时渲染，并推送至流媒体平台。
进一步地，所述步骤7：根据所述步骤S5中目标物的ID、位置进行实时渲染，并推送至流媒体平台，包括：
步骤7.1：所述步骤S5中目标物的ID、位置使用WebSocket将所述目标物ID实时推送至客户端，所述客户端使用WebSocket接收数据，提供ID显示界面供用户选择跟踪目标，选取所述跟踪目标后将选择的ID发送至服务器，存取所述跟踪目标的ID、位置；
步骤7.2：根据所述跟踪目标的ID和位置进行补帧渲染；
其中，所述服务器根据ID和检测框对帧进行实行渲染，将选取的所述跟踪目标ID和检测框用不同颜色渲染区别；
步骤7.3：将渲染后的帧推送至流媒体平台，输出HTTP-FLV视频流。
进一步地，所述步骤7.2：根据所述跟踪目标的ID和位置进行补帧渲染前，还包括：
判断补帧次数是否超过补帧的最大数量ΔT，如果补帧次数超过ΔT，清空当前数据，等待新的检测结果；
式中：ΔT为补帧的最大数量，为一个常数，FPS为相机每秒传输帧数。
进一步地，所述获取联动相机监测图像中检测框的目标位置，包括：
采用联动相机采集监测图像，所述监测图像根据图像多目标检测算法确定检测框及对应的目标位置，所述目标位置设为Zi，Zi包括左上位置[X0,Y0]，宽度W，高度H。
进一步地，所述步骤S2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域包括：
步骤2.1：使用增强相关系数算法ECC(Enhanced Correlation Coefficient)进行增强对齐对相机运动补偿，减少噪声的影响，纠正图形；
步骤2.2：根据帧与目标运动状态关系，使用自适应计算噪声卡尔曼滤波算法建立运动预测模型，通过所述运动预测模型得到最优估计，输出新的预测目标区域
其中，Xi为常量噪音协方差值，CK为状态k时检测的置信度。
进一步地，所述步骤S3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态包括：
步骤S3.1：外观特征提取器获取所述目标位置Zi，根据所述目标位置截取目标物图像；
步骤S3.2：根据所述目标物图像使用外观特征提取器获得目标的目标物特征，使用指数滑动平均EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
式中表示动量项，取常量，/>表示当前匹配检测的外观融合。
进一步地，所述步骤S5：对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置，包括：
将所述外观成本Aa和所述运动成本AS进行加权和得到成本矩阵C，使用匈牙利算法将成本矩阵C与历史成本矩阵进行匹配(初始状态下，每个目标物会从0开始自动分配ID)，输出目标物ID、位置，成本矩阵C计算方程为：
式中：为权重因子。
进一步地，所述步骤S6：
根据所述步骤S5中目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数，包括：
实时判断所述目标物大小，预设宽度临界值为ΔW，预设高度临界值为ΔH，目标宽度为W，目标高度为H，若(W＜ΔW)|(H＜ΔH)为真，则计算偏移量Δβ，有以下三种情况：
第一种：若目标宽度W小于预设宽度临界值ΔW，即W＜ΔW，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔW-W)+2.5*Z
第二种：若目标高度H小于预设高度临界值ΔH，即H＜ΔH，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔH-H)+2.5*Z
第三种：若目标高度H小于预设高度临界值ΔH，且目标宽度W小于预设宽度临界值ΔW，即W＜ΔW&H＜ΔH
偏移量Δβ采用以下公式：
Δβ＝3*(ΔH-H)+3*(ΔW-W)+2.5*Z
式中：Z为相机当前倍数；
根据获得的所述偏移量Δβ，将所述偏移量Δβ带入所述联动相机的3D控制接口，控制所述联动相机调整倍数。
本发明的另一个技术方案是：
一种基于相机运动补偿、联动的多目标循环检测跟踪系统，包括：
信息采集模块：用于获取联动相机监测图像中检测框的目标位置；
预测目标区域模块：用于先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域
外观特征提取模块：用于先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
目标位置计算模块：用于根据预测目标区域和检测框的马氏距离，得出运动成本AS；根据所述外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置；
联动相机控制模块：用于根据所述目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中。
采用上述技术方案具有以下有益效果：
本发明通过相机运动补偿以及运动预测模型输出新的预测目标区域，解决了现有卡尔曼滤波容易受到光照、尺度、颜色、旋转等变化图像的影响及忽略检测噪声尺度信息的问题。
采用外观特征提取器对所述目标位置进行特征提取取代简单的卷积神经网络CNN对外观特征提取不具区分性，可以提取更具区分性的特征；再通过指数平均移动EMA更新策略更新帧与轨迹的外观状态，该EMA更新策略可显著提高匹配质量，减少时间的消耗。通过判断目标物大小和位置是否超出预设临界值，当目标物过小，实时调整联动相机倍数进行放大；当位置即将出视野，联动相机3D控制将目标物居中，即检测框居中，从而有效避免因物体移动，尺寸变小，导致跟丢或者跟错的情况，提高了跟踪效率。
与下面结合附图和具体实施方式作进一步的说明。
附图说明
图1为具体实施例1跟踪方法的流程图:
图2为具体实施例2跟踪方法的流程图；
图3为具体实施例3跟踪系统的原理框图；
图4为具体实施例3增设图像处理输出模块的原理框图。
具体实施方式
具体实施例1：
参见图1所示一种基于运动补偿、联动的多目标循环检测跟踪方法，包括如下步骤：
步骤S1:获取联动相机监测图像中检测框的目标位置，即循环目标检测。
采用联动相机采集监测图像，所述联动相机采用设有变焦的云台摄像机或者带有变焦的球机、前端视频分析处理器，该联动相机采用现有海康、大华、宇视带3D控制接口的云台相机。所述监测图像根据多目标检测算法(deepsort算法)确定检测框的目标位置，所述目标位置设为Zi，Zi包括左上位置[X0,Y0]，宽度W，高度H。
步骤S2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域包括：
步骤S2.1：使用增强相关系数算法ECC(Enhanced Correlation Coefficient)进行增强对齐对相机运动补偿，减少噪声的影响，
Xr和Wr分别代表两张图片内容差异大小，W＝warp(X)表示优化目标函数，通过反复迭代从而求解W＝warp(X)中Xr和Wr所对应的变换矩阵。使用相机运动补偿，有效消除在光照、尺度、颜色、旋转等图像变化的影响，提高了跟踪效率。
步骤S2.2：使用自适应计算噪声卡尔曼滤波算法建立运动预测模型，通过所述运动预测模型得到最优估计，输出新的预测目标区域即可能的候选区域。
其中，Xi为常量噪音协方差值，CK为状态k时检测的置信度。
本发明首先通过相机运动补偿消除图像变化的影响，如旋转、颜色等。然后利用运动预测模型使用卡尔曼滤波预测框未来可能出现的位置，使用马氏距离算出预测的位置与步骤S1获得的目标位置的距离，从而判断步骤S1的目标位置与历史帧的位置是否匹配。
步骤S3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态包括：
步骤S3.1：外观特征提取器获取所述目标位置Zi，根据所述目标位置截取目标物图像，该外观特征提取器采用全方位网络(Omni-Scale Network,OSNet)；
步骤S3.2：根据所述目标物图像使用外观特征提取器获得目标的目标物特征，使用EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
式中，表示动量项，取常量0.9，/>表示前一帧的外观特征状态，/>表示当前匹配检测的外观融合。
该外观特征提取器取代简单的卷积神经网络CNN，因为寻常的卡尔曼滤波容易受到光照、尺度、颜色、旋转等变化图像的影响，采用简单的卷积神经网络CNN提取外观特征，忽略了检测噪声尺度的信息。而外观特征提取器以全方位网络(Omni-Scale Network,OSNet)为主干网络，可以提取更具区分性的特征。此外引入了新的特征更新策略，本策略以指数平均移动EMA的方式更新帧与轨迹的外观状态，EMA更新策略可显著提高匹配质量，减少了匹配的时间的消耗。
步骤S4:根据所述步骤S2中预测目标区域和所述步骤1中检测框的马氏距离，得出运动成本AS；根据所述步骤3中外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；
计算所述步骤S2的预测目标区域和所述步骤S1中检测框的马氏距离作为运动成本As，运动成本As为该检测框是上一帧框的概率；
使用余弦距离计算出外观特征状态与历史帧之间的外观相似度，作为外观成本Aa，外观成本Aa表示该检测框的图像是上一帧框的图像的概率。
运动成本As和外观成本Aa从数据上来说就是一个矩阵。
步骤S5:对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置。包括：
将所述外观成本Aa和所述运动成本AS进行加权和得到成本矩阵C是，使用匈牙利算法将成本矩阵C与历史成本矩阵进行匹配：初始状态下，每个目标物会从0开始自动分配ID，输出目标物ID、位置，该目标物的来自步骤S1中获得的目标位置。成本矩阵C计算方程为：
式中：为权重因子，取值0.97。
步骤S6：根据所述步骤S5中目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中，即检测框居中，重复步骤1至6，进行循环检测。
所述根据所述步骤S5中目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数。包括：
实时判断所述目标物大小和位置，预设宽度临界值为ΔW，预设高度临界值为ΔH，目标宽度为W，目标高度为H，若(W<ΔW)|(H<ΔH)为真，目标宽度或者目标高度有一个小于预设临界值或者都小于预设临界值。则计算偏移量Δβ，有以下三种情况：
第一种：若目标宽度W小于预设宽度临界值ΔW，即W<ΔW，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔW-W)+2.5*Z
第二种：若目标高度H小于预设高度临界值ΔH，即H<ΔH，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔH-H)+2.5*Z
第三种：若目标高度H小于预设高度临界值ΔH，且目标宽度W小于预设宽度临界值ΔW，即W<ΔW&H<ΔH
偏移量Δβ采用以下公式：
Δβ＝3*(ΔH-H)+3*(ΔW-W)+2.5*Z
式中：Z为相机当前倍数；
根据获得的所述偏移量Δβ，将所述偏移量Δβ带入所述联动相机的3D控制接口，该相机3D接口自动控制，控制所述联动相机调整联动相机的放大倍数，重复步骤1至6。
再判断目标位置是否出视野，若所述目标物即将出视野，该即将出视野是根据S1步骤检测框的位置，如果检测框的位置距边界少于300个像素，就判定为即将出视野。调用相机3D控制将目标物居中，即检测框居中，所述联动相机调整云台，提高跟踪效率。
本发明采用与联动相机进行联动，当目标物过小，可调用相机3D控制进行相机倍数放大，提高检测算法的检出率，有效避免因物体移动，尺寸变小，导致跟丢的情况。当目标物即将出视野，调用3D控制对目标物进行居中，达到长久实时跟踪的目的。
本发明是基于多目标循环检测方法、相机运动补偿、运动预测模型、外观外观特征提取器、EMA更新策略、相机3D控制，实现的一种快捷通用且跟踪效率较高的多目标实时跟踪算法。
通过多目标检测算法循环输出目标位置信息，经运动补偿进行增强对齐，综合对比运动预测模型的预测目标区域、外观特征状态以确定跟踪目标，并实时监测物体大小和位置，当物体尺寸小于某个临界值或者目标即将出视野，根据尺寸、相机倍数综合计算出偏移量Δβ，基于3D控制联动相机，使联动相机转动云台或者进行变倍，进而提高了跟踪效率，减少跟丢或者跟错的情况。
具体实施例2：
参见图2所示，本实施例的特征是：还包括步骤S7：根据所述步骤S5中目标物的ID、位置进行实时渲染，并推送至流媒体平台，包括：
步骤7.1：所述步骤S5获得的目标物ID、大小和位置使用WebSocket将所述目标物ID实时推送至客户端，即前端，所述客户端使用WebSocket接收数据，提供ID显示界面供用户选择跟踪目标，选取所述跟踪目标后将选择的ID发送至服务器，即后端，存取所述跟踪目标的ID、大小和位置；
步骤7.2：根据所述跟踪目标的ID、大小和位置进行补帧渲染；
该补帧次数主要是出于效率的考虑，因为多目标检测算法不会识别每一帧数据，需要补帧模块对未检测的帧进行补帧操作。如通常相机的FPS值为25，即每一秒会产生25帧图片，多目标检测算法通常只检测前3帧的某一帧，剩余的24帧就没有检测框，剩余的帧图片需要沿用检测那一帧的检测框数据进行补帧，使用下面的公式算出需要补帧的最大数量ΔT。
式中：ΔT为补帧的最大数量，为一个常数，取0.33，FPS为相机每秒传输帧数。
可能地，在进行补帧前，判断补帧次数是否超过补帧的最大数量ΔT，如果补帧次数超过ΔT，清空当前数据，等待新的检测结果，提高了效率。
进行补帧后，所述服务器根据ID和检测框对帧进行实行渲染，选择的所述跟踪目标ID和检测框用不同颜色渲染区别，以便直观区分正在跟踪的对象。本具体实施例中：选择的所述跟踪目标ID和检测框渲染为红色，其他ID和检测框渲染成非红色。
步骤7.3：将渲染后的帧推送至流媒体平台，输出HTTP-FLV视频流。
其它特征与具体实施例1相同，故本具体实施例在此省略。
具体实施例3：
参见图3所示，一种基于相机运动补偿、联动的多目标循环检测跟踪系统，包括：信息采集模块1、预测目标区域模块2、外观特征提取模块3、目标位置计算模块4、联动相机控制模块5，
信息采集模块1：用于获取联动相机监测图像中检测框的目标位置；
预测目标区域模块2：用于先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域
外观特征提取模块3：用于先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
目标位置计算模块4：用于根据预测目标区域和检测框的马氏距离，得出运动成本AS；根据所述外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置；
联动相机控制模块5：用于根据所述目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中。本系统各模块的具体操作用途与上述具体实施例1的一种基于运动补偿、联动的多目标循环检测跟踪方法相同，故本具体实施例在此省略
参见图4所示，可能地，还包括图像处理输出模块6，用于根据中目标物的ID、位置进行实时渲染，并推送至流媒体平台。本系统各模块的具体用途与上述具体实施例2的一种基于运动补偿、联动的多目标循环检测跟踪方法相同，故本具体实施例在此省略。
以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：包括如下步骤：
步骤S1:获取联动相机监测图像中检测框的目标位置；
步骤S2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域
步骤S3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
步骤S4:根据所述步骤S2中预测目标区域和所述步骤S1中检测框的马氏距离，得出运动成本AS；根据所述步骤S3中外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；
步骤S5:对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置；
步骤S6：根据所述步骤S5中目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；
包括：
实时判断所述目标物大小，预设宽度临界值为ΔW，预设高度临界值为ΔH，目标宽度为W，目标高度为H，若(W<ΔW)|(H<ΔH)为真，则计算偏移量Δβ，有以下三种情况：
第一种：若目标宽度W小于预设宽度临界值ΔW，即W<ΔW，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔW-W)+2.5*Z
第二种：若目标高度H小于预设高度临界值ΔH，即H<ΔH，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔH-H)+2.5*Z
第三种：若目标高度H小于预设高度临界值ΔH，且目标宽度W小于预设宽度临界值ΔW，即W<ΔW&H<ΔH
偏移量Δβ采用以下公式：
Δβ＝3*(ΔH-H)+3*(ΔW-W)+2.5*Z
式中：Z为相机当前倍数；
根据获得的所述偏移量Δβ，将所述偏移量Δβ带入所述联动相机的3D控制接口，控制所述联动相机调整倍数；
再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中；重复步骤S1至S6。
2.根据权利要求1所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：还包括步骤S7：根据所述步骤S5中目标物的ID、位置进行实时渲染，并推送至流媒体平台。
3.根据权利要求2所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述步骤S7：根据所述步骤S5中目标物的ID、位置进行实时渲染，并推送至流媒体平台，包括：
步骤S7.1：所述步骤S5中目标物的ID、位置使用WebSocket将所述目标物ID实时推送至客户端，所述客户端使用WebSocket接收数据，提供ID显示界面供用户选择跟踪目标，选取所述跟踪目标后将选择的ID发送至服务器，存取所述跟踪目标的ID、位置；
步骤S7.2：根据所述跟踪目标的ID和位置进行补帧渲染；
其中，所述服务器根据ID和检测框对帧进行实行渲染，将选取的所述跟踪目标ID和检测框用不同颜色渲染区别；
步骤S7.3：将渲染后的帧推送至流媒体平台，输出HTTP-FLV视频流。
4.根据权利要求3所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述步骤S7.2：根据所述跟踪目标的ID和位置进行补帧渲染前，还包括：
判断补帧次数是否超过补帧的最大数量ΔT，如果补帧次数超过ΔT，清空当前数据，等待新的检测结果；
式中：ΔT为补帧的最大数量，为一个常数，FPS为相机每秒传输帧数。
5.根据权利要求1所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述获取联动相机监测图像中检测框的目标位置，包括：
采用联动相机采集监测图像，所述监测图像根据图像多目标检测算法确定检测框及对应的目标位置，所述目标位置设为Zi，Zi包括左上位置[X0,Y0]，宽度W，高度H。
6.根据权利要求1或2所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述步骤S2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域包括：
步骤S2.1：使用增强相关系数算法ECC(Enhanced Correlation Coefficient)进行增强对齐对相机运动补偿，减少噪声的影响，
Xr和Wr分别代表两张图片内容差异大小，W＝warp(X)表示优化目标函数，通过反复迭代从而求解W＝warp(W)中Xr和Wr所对应的变换矩阵；
步骤S2.2：根据帧与目标运动状态关系，使用自适应计算噪声卡尔曼滤波算法建立运动预测模型，通过所述运动预测模型得到最优估计，输出新的预测目标区域
其中，Xi为常量噪音协方差值，CK为状态k时检测的置信度。
7.根据权利要求1或2所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述步骤S3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态包括：
步骤S3.1：外观特征提取器获取所述目标位置Zi，根据所述目标位置截取目标物图像；
步骤S3.2：根据所述目标物图像使用外观特征提取器获得目标的目标物特征，使用指数滑动平均EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
式中表示动量项，取常量，/>表示当前匹配检测的外观融合。
8.根据权利要求1或2所述一种基于运动补偿、联动的多目标循环检测跟踪方法，其特征在于：所述步骤S5:对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置，包括：
将所述外观成本Aa和所述运动成本AS进行加权和得到成本矩阵C，使用匈牙利算法将成本矩阵C与历史成本矩阵进行匹配，初始状态下，每个目标物会从0开始自动分配ID，输出目标物ID、位置，成本矩阵C计算方程为：
式中：为权重因子。
9.一种基于相机运动补偿、联动的多目标循环检测跟踪系统，其特征在于：包括
信息采集模块：用于获取联动相机监测图像中检测框的目标位置；
预测目标区域模块：用于先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域
外观特征提取模块：用于先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动EMA更新策略输出当前帧i与第t个轨迹的外观特征状态
目标位置计算模块：用于根据预测目标区域和检测框的马氏距离，得出运动成本AS；根据所述外观特征状态/>与历史帧的余弦距离，得出外观成本Aa；对所述外观成本Aa和所述运动成本AS进行加权和，得到成本矩阵C，使用成本矩阵C进行跟踪匹配，输出目标物的ID、位置；
联动相机控制模块：用于根据所述目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量Δβ，根据所述偏移量Δβ控制所述联动相机进行实时调整倍数；包括：
实时判断所述目标物大小，预设宽度临界值为ΔW，预设高度临界值为ΔH，目标宽度为W，目标高度为H，若(W<ΔW)|(H<ΔH)为真，则计算偏移量Δβ，有以下三种情况：
第一种：若目标宽度W小于预设宽度临界值ΔW，即W<ΔW，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔW-W)+2.5*Z
第二种：若目标高度H小于预设高度临界值ΔH，即H<ΔH，则偏移量Δβ采用以下公式：
Δβ＝5*(ΔH-H)+2.5*Z
第三种：若目标高度H小于预设高度临界值ΔH，且目标宽度W小于预设宽度临界值ΔW，即W<ΔW&H<ΔH
偏移量Δβ采用以下公式：
Δβ＝3*(ΔH-H)+3*(ΔW-W)+2.5*Z
式中：Z为相机当前倍数；
根据获得的所述偏移量Δβ，将所述偏移量Δβ带入所述联动相机的3D控制接口，控制所述联动相机调整倍数；
再判断目标位置是否出视野，若即将出视野调用联动相机3D控制将目标物居中。
CN202310772558.0A 2023-06-27 2023-06-27 基于运动补偿、联动的多目标循环检测跟踪方法及系统 Active CN116758119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310772558.0A CN116758119B (zh) 2023-06-27 2023-06-27 基于运动补偿、联动的多目标循环检测跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310772558.0A CN116758119B (zh) 2023-06-27 2023-06-27 基于运动补偿、联动的多目标循环检测跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN116758119A CN116758119A (zh) 2023-09-15
CN116758119B true CN116758119B (zh) 2024-04-19

Family

ID=87954965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310772558.0A Active CN116758119B (zh) 2023-06-27 2023-06-27 基于运动补偿、联动的多目标循环检测跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN116758119B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质
CN114007018A (zh) * 2021-12-30 2022-02-01 深圳维特智能科技有限公司 一种相机控制方法、装置以及相机系统
WO2022142918A1 (zh) * 2020-12-31 2022-07-07 深圳云天励飞技术股份有限公司 多目标跟踪系统及方法
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN115412668A (zh) * 2022-07-04 2022-11-29 浙江大华技术股份有限公司 跟踪拍摄方法、装置及计算机可读存储介质
CN115760999A (zh) * 2022-11-01 2023-03-07 重庆比特数图科技有限公司 一种基于gis辅助的单目相机校准和目标地理位置提取方法
CN116309731A (zh) * 2023-03-09 2023-06-23 江苏大学 一种基于自适应卡尔曼滤波的多目标动态跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105858A (zh) * 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
CN110782483A (zh) * 2019-10-23 2020-02-11 山东大学 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111683204A (zh) * 2020-06-18 2020-09-18 南方电网数字电网研究院有限公司 无人机拍摄方法、装置、计算机设备和存储介质
WO2022142918A1 (zh) * 2020-12-31 2022-07-07 深圳云天励飞技术股份有限公司 多目标跟踪系统及方法
WO2022217840A1 (zh) * 2021-04-15 2022-10-20 南京莱斯电子设备有限公司 一种复杂背景下高精度多目标跟踪方法
CN114007018A (zh) * 2021-12-30 2022-02-01 深圳维特智能科技有限公司 一种相机控制方法、装置以及相机系统
CN115412668A (zh) * 2022-07-04 2022-11-29 浙江大华技术股份有限公司 跟踪拍摄方法、装置及计算机可读存储介质
CN115760999A (zh) * 2022-11-01 2023-03-07 重庆比特数图科技有限公司 一种基于gis辅助的单目相机校准和目标地理位置提取方法
CN116309731A (zh) * 2023-03-09 2023-06-23 江苏大学 一种基于自适应卡尔曼滤波的多目标动态跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yunhao Du,et al.Strongsort:Make deepsort great again.《IEEE Transactions on Multimedia》.2023,第8725-8737页. *
基于轻量模型的红外安防多目标跟踪算法研究;金荣璐;《万方数据知识服务平台》;20230505;全文 *

Also Published As

Publication number Publication date
CN116758119A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
WO2020173226A1 (zh) 一种时空行为检测方法
CN110728697B (zh) 基于卷积神经网络的红外弱小目标检测跟踪方法
CN110009665A (zh) 一种遮挡环境下的目标检测跟踪方法
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
CN110136171B (zh) 一种目标跟踪过程中判断遮挡的方法
CN111161309B (zh) 一种车载视频动态目标的搜索与定位方法
CN113052873A (zh) 一种在线自监督学习场景适应的单目标跟踪方法
Lee et al. Low-complexity background subtraction based on spatial similarity
CN113379789A (zh) 一种复杂环境下运动目标跟踪方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN109658441B (zh) 基于深度信息的前景检测方法及装置
CN117218161B (zh) 一种鱼缸内鱼类轨迹跟踪方法及系统
CN116758119B (zh) 基于运动补偿、联动的多目标循环检测跟踪方法及系统
CN115511804A (zh) 一种基于管道自适应滤波的海上红外弱小目标检测方法
CN115439771A (zh) 一种改进dsst的红外激光光斑跟踪方法
CN114764820A (zh) 一种基于对比度的红外弱小目标检测、跟踪方法和系统
CN115797396A (zh) 一种克服光照突变的混合高斯模型前景分割方法
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
CN115439777A (zh) 一种基于多特征融合与运动估计的视频卫星目标跟踪方法
CN112288775B (zh) 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112188212B (zh) 一种高清监控视频智能转码的方法及装置
CN110244746B (zh) 一种基于视觉注意的机器人动态障碍物避开方法及系统
CN111161304B (zh) 一种快速背景估计的遥感视频目标轨迹跟踪方法
CN114387484A (zh) 一种基于yolov4改进的口罩佩戴检测方法及系统
CN114429489A (zh) 基于多核相关滤波融合的移动机器人目标遮挡跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant