CN112258553A - 一种基于多源图像融合的全天时目标跟踪方法 - Google Patents

一种基于多源图像融合的全天时目标跟踪方法 Download PDF

Info

Publication number
CN112258553A
CN112258553A CN202010996310.9A CN202010996310A CN112258553A CN 112258553 A CN112258553 A CN 112258553A CN 202010996310 A CN202010996310 A CN 202010996310A CN 112258553 A CN112258553 A CN 112258553A
Authority
CN
China
Prior art keywords
target
image
visible light
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010996310.9A
Other languages
English (en)
Other versions
CN112258553B (zh
Inventor
林存宝
李云涛
廖育荣
倪淑燕
李磊
谢晴
李兆铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202010996310.9A priority Critical patent/CN112258553B/zh
Publication of CN112258553A publication Critical patent/CN112258553A/zh
Application granted granted Critical
Publication of CN112258553B publication Critical patent/CN112258553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多源图像融合的全天时目标跟踪方法，在红外图像与可见光图像逐帧跟踪前对每帧中目标的可跟踪性进行判断，当其满足可跟踪性条件时对其进行跟踪；基于多源图像目标跟踪过程中判断当前帧图像目标区域与下一帧图像目标区域之间的相似度是否满足跟踪可靠性条件，然后根据不同的情况选取不同的目标跟踪策略；由此可见，本发明针对红外与可见光图像融合目标跟踪中相关问题，充分利用可见光图像和红外图像在昼夜条件下的成像特点与优势，从跟前预判、参数设置、遮挡处理、中断接续四个方面探索创新解决机制，以提高多源图像融合全天时目标稳定跟踪实际性能。

Description

一种基于多源图像融合的全天时目标跟踪方法
技术领域
本发明属于信息处理技术领域，尤其涉及一种基于多源图像融合的全天时 目标跟踪方法。
背景技术
视觉目标跟踪作为计算机视觉领域中一个重要且基础的研究内容，在防空 反导、情报侦察等军用领域，以及视频监控、自动驾驶等民用领域都具有极为 广泛的应用。传统的视觉目标跟踪方法通常基于单一类型传感器，如可见光、 红外传感器等。可见光传感器具有空间分辨率高、色彩丰富的特点，能够较好 的反映目标颜色、纹理等特征，便于构建多特征目标模型进而对其进行跟踪， 但其在光照变化、环境阴影、纹理相近、夜间成像等条件下通常难以实现对目 标的持续稳定跟踪。红外传感器基于目标辐射强度对其实施探测，能够较好的 适应光照、阴影等环境变化，但其空间分辨率一般较低，且缺乏目标颜色和纹 理等信息，导致在目标交叉运动和存在背景红外干扰条件下容易丢失目标。由 此可见，基于单一类型传感器往往难以满足各种复杂变化条件下的目标持续稳 定跟踪要求。
为了解决单一类型传感器无法满足复杂变化条件下目标持续稳定跟踪问题， 研究人员提出了基于多传感器数据融合的目标跟踪方法。当前基于多传感器数 据融合的目标跟踪主要是利用可见光和红外传感器，其跟踪方法可以划分为三 种类型：第一类是像素级图像融合目标跟踪方法，该类方法首先将配准后的可 见光和红外图像进行融合得到新的图像，新的图像中同时包含了可见和红外两 个波段的互补和冗余信息，以此构建包含双波段特征的目标模型进而对其进行 跟踪。该类方法虽然期望融合后图像中能够同时包含互补且充分的可见和红外 波段目标特征信息，但融合后的图像往往较难保证各特征的完整性和准确性， 导致其实际跟踪效果具有较大不确定性。第二类是特征级图像融合目标跟踪方 法，该类方法首先提取可见光和红外图像各自的目标特征，然后将二者的特征 采用一定方法进行融合得到目标的双波段特征描述，以此为基础对目标进行持 续跟踪。该类方法通过将目标的双波段特征进行融合得到对目标的更为充分描 述，但双波段特征提取与融合过程通常需要较大计算量，一定程度上限制了算 法的处理速度。第三类是决策级图像融合目标跟踪方法，该类方法首先在可见 光和红外图像序列中独立进行目标特征建模，然后通过构建联合目标函数，或 是根据各自目标跟踪置信度加权融合的方式更新目标位置，以此实现对目标的 持续稳定跟踪。该类方法充分利用各波段独立特征进行目标跟踪，对光照、阴 影等环境变化具有较好鲁棒性，但一般较难实现超越二者较优者的实际跟踪效 果。
从当前的研究进展来看，上述三类红外与可见光图像融合目标跟踪方法近 年来性能不断提升，但在目标无法有效检测、障碍物遮挡，以及算法参数设置 和中断接续跟踪等方面仍存在明显不足，暴露出目标定位精度不高、重叠率与 成功率较低、算法实时性较差等问题，相对包含复杂变化场景的全天时目标稳 定跟踪实际需求仍有较大差距。
发明内容
为解决上述问题，本发明提供一种基于多源图像融合的全天时目标跟踪方 法，充分利用可见光图像和红外图像在昼夜条件下的成像特点与优势，提高对 各类目标的全天时稳定跟踪性能。
一种基于多源图像融合的全天时目标跟踪方法，包括以下步骤：
S1：判断相互配准后的当前帧可见光图像和红外图像是否满足预设的可跟 踪性条件，若有一个满足，则进入步骤S2，若不满足，则结束跟踪；
S2：根据当前帧可见光图像的目标区域与当前帧红外图像的目标区域分别 确定下一帧可见光图像的目标候选区域与下一帧红外图像的目标候选区域；
S3：获取当前帧可见光图像中目标区域和下一帧可见光图像中目标候选区 域之间的相似度ρv(z)、当前帧红外图像中目标区域和下一帧红外图像中目标候 选区域之间的相似度ρw(z)；
S4：判断相似度ρv(z)和相似度ρw(z)是否满足预设的目标跟踪可靠性条件， 若同时满足，则进入步骤S5；若只有其中一个相似度满足目标跟踪可靠性条件， 则进入步骤S6；若均不满足，则进入步骤S7；
S5：将相似度ρv(z)和相似度ρw(z)中的最大值对应的目标候选区域作为下一 帧可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可 见光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤 S1～S4，实现目标的全天时跟踪；
S6：将满足目标跟踪可靠性条件的相似度对应的目标候选区域作为下一帧 可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可见 光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤S1～S4， 实现目标的全天时跟踪；
S7：根据步骤S71～S76实现目标的全天时跟踪，具体为：
S71：获取当前帧前面有效跟踪目标的k帧连续的可见光图像和红外图像， 得到可见光图像候选序列和红外图像候选序列；其中，判定某帧可见光图像和 红外图像是否有效跟踪目标的方法为：相似度ρv(z)和相似度ρw(z)同时满足目标 跟踪可靠性条件，或者有任意一个相似度ρv(z)和相似度ρw(z)满足目标跟踪可靠 性条件；
S72：分别将可见光图像候选序列和红外图像候选序列作为当前候选序列执 行以下步骤，得到可见光图像候选序列和红外图像候选序列对应的平移矢量预 测值：
获取当前候选序列任意相邻的两帧图像中目标区域中心位置之间的平移矢 量；将所有平移矢量求和，得到平移矢量总和；获取当前候选序列中第一帧图 像的起始时刻与当前帧图像的起始时刻之间的时间差值；将平移矢量总和与时 间差值的比值作为平移矢量预测值；
S73：将当前帧可见光图像对应的平移矢量预测值与其自身的目标区域中心 位置的和值作为下一帧可见光图像的目标区域中心预测位置；将当前帧红外图 像对应的平移矢量预测值与其自身的目标区域中心位置的和值作为下一帧红外 图像的目标区域中心预测位置；
S74：任意选取步骤S73得到的确定目标区域中心预测位置后的下一帧可见 光图像和红外图像的其中一个作为当前帧测试图像；获取当前帧测试图像的目 标区域中心预测位置相对于其对应的第一帧图像中的目标区域中心位置在X与 Y方向的累加平移量；判断所述的X与Y方向的累加平移量是否同时小于设定 阈值，若满足，则进入步骤S75；若不满足，则在下一帧可见光图像和红外图像 重新检测并得到目标的位置，然后执行步骤S1～S4，重新对目标进行全天时跟踪；
S75：将用于框选目标区域的目标跟踪窗口的尺寸扩大α倍，且α不小于1；
S76：将步骤S71中得到的可见光图像候选序列中最后一帧可见光图像的目 标区域作为下一帧可见光图像的目标区域，将红外图像候选序列中最后一帧红 外图像的目标区域作为下一帧红外图像的目标区域，然后将确定目标区域后的 下一帧可见光图像和红外图像作为新的当前帧可见光图像和红外图像，扩大后 的目标跟踪窗口作为框选新的下一帧可见光图像和红外图像的目标候选区域的 窗口，重新执行步骤S1～S4，实现目标的全天时跟踪；其中，扩大后的目标跟踪 窗口框选新的下一帧可见光图像和红外图像的目标候选区域后，还要对得到的 目标候选区域进行降采样，使得最终的目标候选区域与上一帧的目标候选区域 的带宽保持一致。
进一步地，对于可见光图像，所述预设的可跟踪性条件为：
mean[Ivt(x，y)]≥Tvtl&mean[Ivb(x，y)]≥Tvbl
其中，Ivt(x，y)表示可见光图像中目标区域的像素值，Ivb(x，y)表示可见光 图像中背景区域的像素值，mean[Ivt(x，y)]表示可见光图像中目标区域的像素均 值，mean[Ivb(x，y)]表示可见光图像中背景区域的像素均值，Tvtl、Tvbl表示预设 的目标可跟踪性阈值；
对于红外图像，所述预设的可跟踪性条件为：
MP[Iwt(x，y)]/MP[Iwb(x，y)]≥Twc
其中，Iwt(x，y)表示红外图像中目标区域像素值，Iwb(x，y)表示红外图像中 背景区域像素值，MP[]表示对特定区域中灰度值大于设定值的像素取平均值， 其中，特定区域为目标区域和背景区域，MP[Iwt(x，y)]/MP[Iwb(x，y)]表示目标 区域与背景区域之间的对比度，Twc表示预设的对比度阈值。
进一步地，目标可跟踪性阈值Tvtl、Tvbl以及对比度阈值Twc的设定方法为：
Sa：分别将可见光图像和红外图像作为样本图像执行监督学习样本获取操 作，得到可见光监督学习样本与红外监督学习样本，其中，所述监督学习样本 获取操作包括以下步骤：
采用设定帧数的样本图像构建图像数据集；
获取图像数据集中各样本图像中目标区域真实中心位置坐标(xg，yg)；
基于均值漂移算法获取图像数据集中各样本图像中目标区域预测中心位置 坐标(xot，yot)；
将坐标(xg，yg)与坐标(xot，yot)之间的距离小于10个像素点的样本图像构建监 督学习样本；
Sb：将可见光监督学习样本各图像中目标区域的像素均值的均值作为目标 可跟踪性阈值Tvtl，背景区域的像素均值的均值作为目标可跟踪性阈值Tvbl；
Sc：将红外监督学习样本中各图像中目标区域与背景区域之间对比度的均 值作为对比度阈值Twc。
进一步地，步骤S4中的目标跟踪可靠性条件为：
相似度ρv(z)大于设定阈值Tvs，相似度ρw(z)大于设定阈值Tws。
进一步地，所述阈值Tvs与阈值Tws的设定方法为：分别将阈值Tvs与阈值Tws作 为当前阈值执行以下步骤：
采用设定帧数的与当前阈值对应的图像类别相同的图像构建图像数据集；
获取图像数据集中各图像中目标真实中心位置坐标(xg，yg)；
基于多源图像融合的全天时目标跟踪方法获取图像数据集中各图像中目标 预测中心位置坐标(xot，yot)；
将坐标(xg，yg)与坐标(xot，yot)之间的差值小于10个像素点的图像构建监督学 习样本；
将监督学习样本中相邻两帧图像之间的目标区域的相似度的均值作为最终 的当前阈值。
进一步地，根据当前帧可见光图像的目标区域确定下一帧可见光图像的目 标候选区域具体为：
将当前帧可见光图像的目标区域作为下一帧可见光图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的可见光图像上进行目标 搜索，得到目标候选区域；
根据当前帧红外图像的目标区域确定下一帧红外图像的目标候选区域具体 为：
将当前帧红外图像的目标区域作为下一帧红外图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的红外图像上进行目标搜 索，得到目标候选区域。
进一步地，分别将可见光图像和红外图像作为样本图像执行相似度获取操 作，得到当前帧可见光图像中目标区域和下一帧可见光图像中目标候选区域之 间的相似度ρv(z)、当前帧红外图像中目标区域和下一帧红外图像中目标候选区 域之间的相似度ρw(z)，其中，所述相似度获取操作为：
基于均值漂移目标跟踪框架将当前帧样本图像中目标区域中包含的像素点 划分为m个bin单元，并对各bin单元进行编号；
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure BDA0002692639000000081
其中，qu为编号为u的bin单元对应的核概率密度，且u＝1，2，...，m，i＝1，2，...，n， n为当前帧样本图像中目标区域中包含的像素个数，z0为当前帧样本图像中目标 区域的中心像素点的位置坐标，xi为当前帧样本图像中目标区域的任一像素点的 位置坐标，k(·)为核函数，h为框选目标区域的目标跟踪窗口的带宽，δ(·)为delta 函数，b(xi)表示获取像素点xi所属的bin单元的编号；
基于均值漂移目标跟踪框架将下一帧样本图像中目标候选区域中包含的像 素点划分为m个bin单元，并对各bin单元进行编号；
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure BDA0002692639000000082
其中，pu(z)为编号为u的bin单元对应的核概率密度；
根据如下公式计算相似度ρ(z)：
Figure BDA0002692639000000083
进一步地，分别将可见光图像和红外图像作为样本图像执行目标候选区域 中心位置获取操作，得到下一帧可见光图像的目标候选区域中心位置与下一帧 红外图像的目标候选区域中心位置，所述目标候选区域中心位置获取操作具体 为：
Figure BDA0002692639000000091
Figure BDA0002692639000000092
其中，z1为下一帧样本图像的目标候选区域中心位置坐标，wi为权重，g为 核函数的导数。
有益效果：
本发明提供一种基于多源图像融合的全天时目标跟踪方法，在红外图像与 可见光图像逐帧跟踪前对每帧中目标的可跟踪性进行判断，当其满足可跟踪性 条件时对其进行跟踪；基于多源图像目标跟踪过程中判断当前帧图像目标区域 与下一帧图像目标区域之间的相似度是否满足跟踪可靠性条件，然后根据不同 的情况选取不同的目标跟踪策略；其中，红外图像与可见光图像对应的相似度 均满足跟踪可靠性条件时，选取相似度较高者作为下一帧图像的目标位置；红 外图像与可见光图像对应的相似度均不满足跟踪可靠性条件，即目标被遮挡条 件下采用预测方式确定下一帧图像的目标位置，并以递增方式确定候选目标窗 口，同时当目标丢失位置预测平移矢量累加值小于目标尺寸时，采用之前最后一次稳定跟踪目标作为匹配模板，当其大于目标尺寸时则通过目标检测重新进 行跟踪；最后，红外图像与可见光图像对应的相似度仅有一个满足跟踪可靠性 条件，即当一个图像序列丢失目标时，将其设置为另一个跟踪状态图像序列目 标位置：
由此可见，本发明针对红外与可见光图像融合目标跟踪中相关问题，充分 利用可见光图像和红外图像在昼夜条件下的成像特点与优势，从跟前预判、参 数设置、遮挡处理、中断接续四个方面探索创新解决机制，以提高多源图像融 合全天时目标稳定跟踪实际性能。
附图说明
图1为本发明提供的一种基于多源图像融合的全天时目标跟踪方法的流程 图；
图2为本发明提供的一种可见光图像序列中目标区域和背景区域示意图；
图3为本发明提供的一种红外图像序列中目标区域和背景区域示意图；
图4为本发明提供的一种目标区域中断时连续跟踪示意图；
图5为本发明提供的一种可见光和红外图像的样本图像集示意图；
图6为本发明提供的红外与可见光目标跟踪过程中，红外或可见光出现目 标丢失现象时的成像示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，一种基于多源图像融合的全天时目标跟踪方法，包括以下步 骤：
S1：判断相互配准后的当前帧可见光图像和红外图像是否满足预设的可跟 踪性条件，若有一个满足，则进入步骤S2，若不满足，则结束跟踪。
需要说明的是，红外图像与可见光图像经过配准后，目标在两类图像中位 置坐标相同。
进一步地，对于配准之后的可见光图像和红外图像，在逐帧跟踪前对每帧 中的目标可跟踪性进行判断，以避免目标实质无法跟踪所带来的误跟踪情况。 对于可见光图像，当目标与其周围背景都处于接近零值时，根据下式对夜间条 件下的目标可跟踪性进行判断：
mean[Ivt(x，y)]≥Tvtl&mean[Ivb(x，y)]≥Tvbl
其中，Ivt(x，y)表示可见光图像中目标区域的像素值，Ivb(x，y)表示可见光 图像中背景区域的像素值，mean[Ivt(x，y)]表示可见光图像中目标区域的像素均 值，mean[Ivb(x，y)]表示可见光图像中背景区域的像素均值，Tvtl、Tvbl表示预设 的目标可跟踪性阈值。
也就是说，对于可见光图像，选取目标区域和其周围背景区域，计算二者 均值，当二者同时小于所设置阈值Tvtl与Tvbl时，认为可见光图像中目标不具备可 跟踪性，如漆黑夜间难以对可见光图像目标进行跟踪。
对于红外图像，根据下式对目标与背景红外辐射强度接近下的目标可跟踪 性进行判断：
MP[Iwt(x，y)]/MP[Iwb(x，y)]≥Twc
其中，Iwt(x，y)表示红外图像中目标区域像素值，Iwb(x，y)表示红外图像中 背景区域像素值，MP[]表示对特定区域中灰度值大于设定值的像素取平均值， 其中，特定区域为目标区域和背景区域，MP[Iwt(x，y)]/MP[Iwb(x，y)]表示目标 区域与背景区域之间的对比度，Twc表示预设的对比度阈值。
也就是说，对于红外图像，选取目标区域和其周围背景区域，通过类最大 值池化方法求取高灰度值部分均值，计算目标与背景对比度，当对比度小于设 定阈值Tic时，认为红外图像中目标不具备可跟踪性，由此根据可见光和红外图 像的可跟踪性开展目标跟踪操作。
进一步地，目标可跟踪性阈值Tvtl、Tvbl以及对比度阈值Twc的设定方法为：
Sa：分别将可见光图像和红外图像作为样本图像执行监督学习样本获取操 作，得到可见光监督学习样本与红外监督学习样本，其中，所述监督学习样本 获取操作包括以下步骤：
采用设定帧数的样本图像构建图像数据集；
获取图像数据集中各样本图像中目标区域真实中心位置坐标(xg，yg)；
基于均值漂移算法获取图像数据集中各样本图像中目标区域预测中心位置 坐标(xot，yot)；
将坐标(xg，yg)与坐标(xot，yot)之间的距离小于10个像素点的样本图像构建监 督学习样本；
Sb：将可见光监督学习样本各图像中目标区域的像素均值的均值作为目标 可跟踪性阈值Tvtl，背景区域的像素均值的均值作为目标可跟踪性阈值Tvbl；
Sc：将红外监督学习样本中各图像中目标区域与背景区域之间对比度的均 值作为对比度阈值Twc。
S2：根据当前帧可见光图像的目标区域与当前帧红外图像的目标区域分别 确定下一帧可见光图像的目标候选区域与下一帧红外图像的目标候选区域。
例如，若可见光图像序列和红外图像序列均包括3帧图像，其中，可见光 图像序列包括第一帧可见光图像、第二帧可见光图像以及第三帧可见光图像， 红外图像序列第一帧红外图像、第二帧红外图像以及第三帧红外图像，其中， 第一帧可见光图像与第一帧红外图像是配准的图像，第二帧可见光图像与第二 帧红外图像是配准的图像，第三帧可见光图像与第三帧红外图像是配准的图像。 参见图2以及图3，其中，图2表示可见光图像序列中第一帧可见光图像，图3 表示红外图像序列中第一帧红外图像。在图2中区域T为第一帧可见光图像中 目标区域，区域B为第一帧可见光图像中背景区域，在图3中区域T′为第一帧 红外图像中目标区域，区域B′为第一帧红外图像中背景区域，其中，区域T与 区域T′的位置坐标相同，区域B与区域B′的位置坐标相同。
进一步地，根据当前帧可见光图像的目标区域确定下一帧可见光图像的目 标候选区域具体为：
将当前帧可见光图像的目标区域作为下一帧可见光图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的可见光图像上进行目标 搜索，得到目标候选区域；
进一步地，根据当前帧红外图像的目标区域确定下一帧红外图像的目标候 选区域具体为：
将当前帧红外图像的目标区域作为下一帧红外图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的红外图像上进行目标搜 索，得到目标候选区域。
S3：获取当前帧可见光图像中目标区域和下一帧可见光图像中目标候选区 域之间的相似度ρv(z)、当前帧红外图像中目标区域和下一帧红外图像中目标候 选区域之间的相似度ρw(z)。
进一步地，相似度ρv(z)和相似度ρw(z)的获取方法为：分别将可见光图像和 红外图像作为样本图像执行相似度获取操作，得到当前帧可见光图像中目标区 域和下一帧可见光图像中目标候选区域之间的相似度ρv(z)、当前帧红外图像中 目标区域和下一帧红外图像中目标候选区域之间的相似度ρw(z)，其中，所述相 似度获取操作为：
基于均值漂移目标跟踪框架将当前帧样本图像中目标区域中包含的像素点 划分为m个bin单元，并对各bin单元进行编号；例如，将像素值0～25的像素 点划分为一个bin单元，将26～50的像素点划分为另一个bin单元。
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure BDA0002692639000000141
其中，qu为编号为u的bin单元对应的核概率密度，且u＝1，2，...，m，n为当前 帧样本图像中目标区域中包含的像素个数，z0为当前帧样本图像中目标区域的 中心像素点的位置坐标，xi为当前帧样本图像中目标区域的任一像素点的位置坐 标，k(·)为核函数，h为框选目标区域的目标跟踪窗口的带宽，δ(·)为delta函数， b(xi)表示获取像素点xi所属的bin单元的编号。
基于均值漂移目标跟踪框架将下一帧样本图像中目标候选区域中包含的像 素点划分为m个bin单元，并对各bin单元进行编号。
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure BDA0002692639000000142
其中，pu(z)为编号为u的bin单元对应的核概率密度。
将Bhattacharyya系数作为样本图像目标区域和下一帧样本图像中目标候选 区域的相似度度量函数ρ(z)：
Figure BDA0002692639000000143
也就是说，将可见光图像和红外图像作为样本图像代入上述相似度获取操 作中，即可得到相似度ρv(z)和相似度ρw(z)。
进一步地，分别将可见光图像和红外图像作为样本图像执行目标候选区域 中心位置获取操作，得到下一帧可见光图像的目标候选区域中心位置与下一帧 红外图像的目标候选区域中心位置，所述目标候选区域中心位置获取操作具体 为：
Figure BDA0002692639000000151
Figure BDA0002692639000000152
其中，z1为下一帧样本图像的目标候选区域中心位置坐标，wi为权重，g为 核函数的导数。
需要说明的是，在利用如前所述的均值漂移框架更新下一帧目标位置后， 此时可以得到当前帧与下一帧的相似度函数及候选目标中心位置。由于前后两 帧相似度函数较小时通常意味着目标跟踪稳定性较差，容易出现目标丢失现象， 因此通过设置步骤S4中的相似度(Similarity)阈值来判断目标跟踪可靠性。
S4：判断相似度ρv(z)和相似度ρw(z)是否满足预设的目标跟踪可靠性条件， 若同时满足，则进入步骤S5；若只有其中一个相似度满足目标跟踪可靠性条件， 则进入步骤S6；若均不满足，则进入步骤S7。
所述目标跟踪可靠性条件为：相似度ρv(z)大于设定阈值Tvs，相似度ρw(z)大 于设定阈值Tws。
也就是说，当可见光与红外图像中前后两帧相似度函数ρv(z)和ρw(z)满足各 自阈值，此时认为目标处于稳定跟踪状态，下一帧中最优目标位置为相似度较 高图像候选目标位置：
Figure BDA0002692639000000161
进一步地，为了提高本文所提出目标跟踪算法的适用性，采用基于监督学 习的方法来设置算法所涉及阈值。所述阈值Tvs与阈值Tws的设定方法为：分别将 阈值Tvs与阈值Tws作为当前阈值执行以下步骤：
采用设定帧数的与当前阈值对应的图像类别相同的图像构建图像数据集；
获取图像数据集中各图像中目标真实中心位置坐标(xg，yg)；
基于多源图像融合的全天时目标跟踪方法获取图像数据集中各图像中目标 预测中心位置坐标(xot，yot)；
将坐标(xg，yg)与坐标(xot，yot)之间的差值小于10个像素点的图像构建监督学 习样本；
将监督学习样本中相邻两帧图像之间的目标区域的相似度的均值作为最终 的当前阈值。
例如，通过对整个数据集中累计超过20000帧可见光和红外图像进行独立 跟踪测试，以中心位置误差大于10像素作为评判跟踪正确性与否标准：
Figure BDA0002692639000000162
通过选取如图4所示满足中心位置误差＜10范围内的目标跟踪对比度数值， 将其作为监督学习样本，求其均值获得对应可见光或红外图像序列目标可靠跟 踪阈值：
Figure BDA0002692639000000163
其中，N为与当前阈值对应的图像类别相同的图像的帧数，如可见光图像的 帧数、红外图像的帧数，
Figure BDA0002692639000000171
为第j幅图像对应的阈值分量，
Figure BDA0002692639000000172
为第j幅图像对 应的阈值分量；以此类推求得目标可跟踪性阈值Tvtl、Tvbl与Twc，从而提高相关阈 值设置的合理性和相对准确性。
S5：将相似度ρv(z)和相似度ρw(z)中的最大值对应的目标候选区域作为下一 帧可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可 见光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤 S1～S4，实现目标的全天时跟踪。
S6：将满足目标跟踪可靠性条件的相似度对应的目标候选区域作为下一帧 可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可见 光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤S1～S4， 实现目标的全天时跟踪。
也就是说，在基于均值漂移框架的红外与可见光目标跟踪过程中，有时会 出现二者之一或同时目标丢失的现象。如图6所示，当二者之一出现目标丢失 现象时，如可见光图像序列可正常跟踪目标，而红外图像序列无法稳定跟踪目 标，为了让红外波段依然保持潜在目标跟踪能力，此时通过下式来更新红外图 像序列目标位置：
zi＝zv＝zotifρv(z)≥Tvsandρw(z)＜Tws
S7：由于目标跟踪过程中可能会出现目标遮挡情况，此时根据前述多源融 合目标跟踪方法，其红外与可见光相似度函数可能均降至阈值以下：
ρv(z)＜Tvs&ρw(z)＜Tws
此时根据步骤S71～S76实现目标的全天时跟踪，具体为：
S71：获取当前帧前面有效跟踪目标的k帧连续的可见光图像和红外图像， 得到可见光图像候选序列和红外图像候选序列；其中，判定某帧可见光图像和 红外图像是否有效跟踪目标的方法为：相似度ρv(z)和相似度ρw(z)同时满足目标 跟踪可靠性条件，或者有任意一个相似度ρv(z)和相似度ρw(z)满足目标跟踪可靠 性条件。
S72：分别将可见光图像候选序列和红外图像候选序列作为当前候选序列执 行以下步骤，得到可见光图像候选序列和红外图像候选序列对应的平移矢量预 测值：
获取当前候选序列任意相邻的两帧图像中目标区域中心位置之间的平移矢 量；将所有平移矢量求和，得到平移矢量总和；获取当前候选序列中第一帧图 像的起始时刻与当前帧图像的起始时刻之间的时间差值；将平移矢量总和与时 间差值的比值作为平移矢量预测值。
具体的，平移矢量预测值的计算公式为：
Figure BDA0002692639000000181
其中，其中，Δzn表示平移矢量预测值；tn表示当前帧图像的起始时刻；tn-k表 示当前候选序列中第一帧图像的起始时刻；Δzr表示当前候选序列任意相邻的两 帧图像中目标区域中心位置之间的平移矢量；k表示帧个数。
S73：将当前帧可见光图像对应的平移矢量预测值与其自身的目标区域中心 位置的和值作为下一帧可见光图像的目标区域中心预测位置；将当前帧红外图 像对应的平移矢量预测值与其自身的目标区域中心位置的和值作为下一帧红外 图像的目标区域中心预测位置。
S74：任意选取步骤S73得到的确定目标区域中心预测位置后的下一帧可见 光图像和红外图像的其中一个作为当前帧测试图像；获取当前帧测试图像的目 标区域中心预测位置相对于其对应的第一帧图像中的目标区域中心位置在X与 Y方向的累加平移量；判断所述的X与Y方向的累加平移量是否同时小于设定 阈值，若满足，则进入步骤S75；若不满足，则在下一帧可见光图像和红外图像 重新检测并得到目标的位置，然后执行步骤S1～S4，重新对目标进行全天时跟踪。
也就是说，当红外与可见光图像同时丢失目标时，如障碍物对目标完全遮 挡，此时采用前述所示预测方法进行目标位置更新。由于障碍物遮挡导致当前 位置处的目标模型主要为障碍物信息，而非实际目标特征信息，当目标再次出 现后通常无法有效接续跟踪。为解决这一问题，当采用预测方法进行目标位置 更新后，计算目标位移预测X与Y方向的累加平移量，当二者均小于目标边界 框对应长度和宽度时，目标模板采用此前最后一次稳定跟踪时的目标模型，即：
qn＝qn-kifvx＜Wand vy＜H
当目标位移预测X与Y方向的累加平移量超过目标边界框对应长度或宽度 时，此时预测边界框中可能完全为背景信息，则采用现有的目标检测的方法来 重新定位目标边界框，以此实现对目标的接续跟踪。
S75：将用于框选目标区域的目标跟踪窗口的尺寸扩大α倍，且α不小于1。
也就是说，在目标跟踪相似度函数降低到阈值以下时，一方面是由于目标 确实受到遮挡，另一方面则可能是目标跟踪出现偏差，导致预测边界框与真实 边界框重合率降低。如图5所示，为了解决这一问题，当目标跟踪相似度函数 降低到阈值以下时，动态调节目标跟踪窗口带宽，令其以如下形式渐变增加带 宽：
hn＝αhn-1
其中α为大于1(如1.05)的渐变因子，同时，在后续的处理过程中，需要 采用降采样处理令渐变窗口与原跟踪窗口大小一致，以此保证目标跟踪实时性。
S76：将步骤S71中得到的可见光图像候选序列中最后一帧可见光图像的目 标区域作为下一帧可见光图像的目标区域，将红外图像候选序列中最后一帧红 外图像的目标区域作为下一帧红外图像的目标区域，然后将确定目标区域后的 下一帧可见光图像和红外图像作为新的当前帧可见光图像和红外图像，扩大后 的目标跟踪窗口作为框选新的下一帧可见光图像和红外图像的目标候选区域的 窗口，重新执行步骤S1～S4，实现目标的全天时跟踪；其中，扩大后的目标跟踪 窗口框选新的下一帧可见光图像和红外图像的目标候选区域后，还要对得到的 目标候选区域进行降采样，使得最终的目标候选区域与上一帧的目标候选区域 的带宽保持一致。
由此可见，本发明提供的一种基于多源图像融合的全天时目标稳定跟踪方 法，首先在红外与可见光图像逐帧跟踪前对每帧中目标的可跟踪性进行判断， 当其满足可跟踪性条件时对其进行跟踪；然后采用基于均值漂移目标跟踪框架 对多源图像进行融合目标跟踪，以相似度较大者作为目标更新位置；对于目标 可跟踪性和跟踪可靠性判断中所涉及的阈值参数，采用监督学习方法通过大量 数据计算得到；跟踪过程中当出现目标遮挡时采用预测方式确定目标位置，同 时以递增方式扩大候选目标窗口；跟踪过程中目标丢失进行接续跟踪时，将目 标丢失图像序列目标位置设置为稳定跟踪图像序列目标位置，并根据位置预测 平移矢量大小合理确定匹配模板及重新检测跟踪方式。本发明充分利用可见光 和红外图像信息互补特点，可提高全天时条件下的目标稳定跟踪性能。
本发明与现有技术相比，其显著优点在于：(1)全天时中漆黑夜间条件下8 位数据格式通常难以对可见光图像中目标实施有效跟踪，而红外成像下对于冷 目标或辐射强度与背景相近目标通常也难以有效跟踪，此时利用边界框内数据 所构建目标模型包含较多背景信息，以此为目标模板会带来明显误跟踪情况。 本发明通过在跟踪前结合最大值池化等思想对目标可跟踪性进行预判，通过可 靠目标模型进行跟踪，进而提高目标跟踪的稳定性。(2)传统多源融合目标跟 踪算法参数选取主要依赖经验等主观设置，对不同场景目标跟踪任务的适用性 较差。本发明基于监督学习思想采用超过20000帧图像对算法参数进行训练设 置，保证了跟踪算法具有较好的适用性。(3)目标遮挡过程中可能出现红外与 可见光相似度函数均降至阈值以下情况，此时根据前述算法无法有效确定目标 在下一帧位置。本发明基于之前稳定跟踪位置预测目标下一帧位置，并通过带 宽渐进增大策略来扩大目标搜索范围，以实现对目标的再次捕获。(4)当红外 与可见光图像其中之一丢失目标后，令丢失图像序列目标位置与稳定跟踪图像 序列位置保持一致。二者同时丢失目标时，当目标预测位置X与Y方向累加像 素小于目标宽度与高度时，利用最后一次稳定跟踪目标作为特征匹配模板来接 续跟踪。当目标预测位置X与Y方向累加像素大于目标宽度与高度时，则利用 目标检测算法进行目标跟踪。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形， 但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于多源图像融合的全天时目标跟踪方法，其特征在于，包括以下步骤：
S1：判断相互配准后的当前帧可见光图像和红外图像是否满足预设的可跟踪性条件，若有一个满足，则进入步骤S2，若不满足，则结束跟踪；
S2：根据当前帧可见光图像的目标区域与当前帧红外图像的目标区域分别确定下一帧可见光图像的目标候选区域与下一帧红外图像的目标候选区域；
S3：获取当前帧可见光图像中目标区域和下一帧可见光图像中目标候选区域之间的相似度ρv(z)、当前帧红外图像中目标区域和下一帧红外图像中目标候选区域之间的相似度ρw(z)；
S4：判断相似度ρv(z)和相似度ρw(z)是否满足预设的目标跟踪可靠性条件，若同时满足，则进入步骤S5；若只有其中一个相似度满足目标跟踪可靠性条件，则进入步骤S6；若均不满足，则进入步骤S7；
S5：将相似度ρv(z)和相似度ρw(z)中的最大值对应的目标候选区域作为下一帧可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可见光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤S1～S4，实现目标的全天时跟踪；
S6：将满足目标跟踪可靠性条件的相似度对应的目标候选区域作为下一帧可见光图像和红外图像的最终目标区域；将确定最终目标区域后的下一帧可见光图像和红外图像，作为新的当前帧可见光图像和红外图像重新执行步骤S1～S4，实现目标的全天时跟踪；
S7：根据步骤S71～S76实现目标的全天时跟踪，具体为：
S71：获取当前帧前面有效跟踪目标的k帧连续的可见光图像和红外图像，得到可见光图像候选序列和红外图像候选序列；其中，判定某帧可见光图像和红外图像是否有效跟踪目标的方法为：相似度ρv(z)和相似度ρw(z)同时满足目标跟踪可靠性条件，或者有任意一个相似度ρv(z)和相似度ρw(z)满足目标跟踪可靠性条件；
S72：分别将可见光图像候选序列和红外图像候选序列作为当前候选序列执行以下步骤，得到可见光图像候选序列和红外图像候选序列对应的平移矢量预测值：
获取当前候选序列任意相邻的两帧图像中目标区域中心位置之间的平移矢量；将所有平移矢量求和，得到平移矢量总和；获取当前候选序列中第一帧图像的起始时刻与当前帧图像的起始时刻之间的时间差值；将平移矢量总和与时间差值的比值作为平移矢量预测值；
S73：将当前帧可见光图像对应的平移矢量预测值与其自身的目标区域中心位置的和值作为下一帧可见光图像的目标区域中心预测位置；将当前帧红外图像对应的平移矢量预测值与其自身的目标区域中心位置的和值作为下一帧红外图像的目标区域中心预测位置；
S74：任意选取步骤S73得到的确定目标区域中心预测位置后的下一帧可见光图像和红外图像的其中一个作为当前帧测试图像；获取当前帧测试图像的目标区域中心预测位置相对于其对应的第一帧图像中的目标区域中心位置在X与Y方向的累加平移量；判断所述的X与Y方向的累加平移量是否同时小于设定阈值，若满足，则进入步骤S75；若不满足，则在下一帧可见光图像和红外图像重新检测并得到目标的位置，然后执行步骤S1～S4，重新对目标进行全天时跟踪；
S75：将用于框选目标区域的目标跟踪窗口的尺寸扩大α倍，且α不小于1；
S76：将步骤S71中得到的可见光图像候选序列中最后一帧可见光图像的目标区域作为下一帧可见光图像的目标区域，将红外图像候选序列中最后一帧红外图像的目标区域作为下一帧红外图像的目标区域，然后将确定目标区域后的下一帧可见光图像和红外图像作为新的当前帧可见光图像和红外图像，扩大后的目标跟踪窗口作为框选新的下一帧可见光图像和红外图像的目标候选区域的窗口，重新执行步骤S1～S4，实现目标的全天时跟踪；其中，扩大后的目标跟踪窗口框选新的下一帧可见光图像和红外图像的目标候选区域后，还要对得到的目标候选区域进行降采样，使得最终的目标候选区域与上一帧的目标候选区域的带宽保持一致。
2.如权利要求1所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，对于可见光图像，所述预设的可跟踪性条件为：
mean[Ivt(x，y)]≥Tvtl&mean[Ivb(x，y)]≥Tvbl
其中，Ivt(x，y)表示可见光图像中目标区域的像素值，Ivb(x，y)表示可见光图像中背景区域的像素值，mean[Ivt(x，y)]表示可见光图像中目标区域的像素均值，mean[Ivb(x，y)]表示可见光图像中背景区域的像素均值，Tvtl、Tvbl表示预设的目标可跟踪性阈值；
对于红外图像，所述预设的可跟踪性条件为：
MP[Iwt(x，y)]/MP[Iwb(x，y)]≥Twc
其中，Iwt(x，y)表示红外图像中目标区域像素值，Iwb(x，y)表示红外图像中背景区域像素值，MP[]表示对特定区域中灰度值大于设定值的像素取平均值，其中，特定区域为目标区域和背景区域，MP[Iwt(x，y)]/MP[Iwb(x，y)]表示目标区域与背景区域之间的对比度，Twc表示预设的对比度阈值。
3.如权利要求2所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，目标可跟踪性阈值Tvtl、Tvbl以及对比度阈值Twc的设定方法为：
Sa：分别将可见光图像和红外图像作为样本图像执行监督学习样本获取操作，得到可见光监督学习样本与红外监督学习样本，其中，所述监督学习样本获取操作包括以下步骤：
采用设定帧数的样本图像构建图像数据集；
获取图像数据集中各样本图像中目标区域真实中心位置坐标(xg，yg)；
基于均值漂移算法获取图像数据集中各样本图像中目标区域预测中心位置坐标(xot，yot)；
将坐标(xg，yg)与坐标(xot，yot)之间的距离小于10个像素点的样本图像构建监督学习样本；
Sb：将可见光监督学习样本各图像中目标区域的像素均值的均值作为目标可跟踪性阈值Tvtl，背景区域的像素均值的均值作为目标可跟踪性阈值Tvbl；
Sc：将红外监督学习样本中各图像中目标区域与背景区域之间对比度的均值作为对比度阈值Twc。
4.如权利要求1所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，步骤S4中的目标跟踪可靠性条件为：
相似度ρv(z)大于设定阈值Tvs，相似度ρw(z)大于设定阈值Tws。
5.如权利要求4所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，所述阈值Tvs与阈值Tws的设定方法为：分别将阈值Tvs与阈值Tws作为当前阈值执行以下步骤：
采用设定帧数的与当前阈值对应的图像类别相同的图像构建图像数据集；
获取图像数据集中各图像中目标真实中心位置坐标(xg,yg)；
基于多源图像融合的全天时目标跟踪方法获取图像数据集中各图像中目标预测中心位置坐标(xot,yot)；
将坐标(xg,yg)与坐标(xot,yot)之间的差值小于10个像素点的图像构建监督学习样本；
将监督学习样本中相邻两帧图像之间的目标区域的相似度的均值作为最终的当前阈值。
6.如权利要求1所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，根据当前帧可见光图像的目标区域确定下一帧可见光图像的目标候选区域具体为：
将当前帧可见光图像的目标区域作为下一帧可见光图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的可见光图像上进行目标搜索，得到目标候选区域；
根据当前帧红外图像的目标区域确定下一帧红外图像的目标候选区域具体为：
将当前帧红外图像的目标区域作为下一帧红外图像的初始目标区域；
采用均值漂移算法在确定了下一帧初始目标区域的红外图像上进行目标搜索，得到目标候选区域。
7.如权利要求1所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，分别将可见光图像和红外图像作为样本图像执行相似度获取操作，得到当前帧可见光图像中目标区域和下一帧可见光图像中目标候选区域之间的相似度ρv(z)、当前帧红外图像中目标区域和下一帧红外图像中目标候选区域之间的相似度ρw(z)，其中，所述相似度获取操作为：
基于均值漂移目标跟踪框架将当前帧样本图像中目标区域中包含的像素点划分为m个bin单元，并对各bin单元进行编号；
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure FDA0002692638990000061
其中，qu为编号为u的bin单元对应的核概率密度，且u＝1,2,...,m，i＝1,2,...,n，n为当前帧样本图像中目标区域中包含的像素个数，z0为当前帧样本图像中目标区域的中心像素点的位置坐标，xi为当前帧样本图像中目标区域的任一像素点的位置坐标，k(·)为核函数，h为框选目标区域的目标跟踪窗口的带宽，δ(·)为delta函数，b(xi)表示获取像素点xi所属的bin单元的编号；
基于均值漂移目标跟踪框架将下一帧样本图像中目标候选区域中包含的像素点划分为m个bin单元，并对各bin单元进行编号；
构建当前帧样本图像中各bin单元对应的核概率密度如下：
Figure FDA0002692638990000062
其中，pu(z)为编号为u的bin单元对应的核概率密度；
根据如下公式计算相似度ρ(z)：
Figure FDA0002692638990000071
8.如权利要求7所述的一种基于多源图像融合的全天时目标跟踪方法，其特征在于，分别将可见光图像和红外图像作为样本图像执行目标候选区域中心位置获取操作，得到下一帧可见光图像的目标候选区域中心位置与下一帧红外图像的目标候选区域中心位置，所述目标候选区域中心位置获取操作具体为：
Figure FDA0002692638990000072
Figure FDA0002692638990000073
其中，z1为下一帧样本图像的目标候选区域中心位置坐标，wi为权重，g为核函数的导数。
CN202010996310.9A 2020-09-21 2020-09-21 一种基于多源图像融合的全天时目标跟踪方法 Active CN112258553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996310.9A CN112258553B (zh) 2020-09-21 2020-09-21 一种基于多源图像融合的全天时目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996310.9A CN112258553B (zh) 2020-09-21 2020-09-21 一种基于多源图像融合的全天时目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112258553A true CN112258553A (zh) 2021-01-22
CN112258553B CN112258553B (zh) 2022-11-15

Family

ID=74232781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996310.9A Active CN112258553B (zh) 2020-09-21 2020-09-21 一种基于多源图像融合的全天时目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112258553B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674319A (zh) * 2021-08-23 2021-11-19 浙江大华技术股份有限公司 一种目标跟踪的方法、系统、设备及计算机存储介质
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116994338A (zh) * 2023-09-25 2023-11-03 四川中交信通网络科技有限公司 一种基于行为识别的站点无纸化稽查管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及系统、存储介质及电子终端
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886048A (zh) * 2017-10-13 2018-04-06 西安天和防务技术股份有限公司 目标跟踪方法及系统、存储介质及电子终端
CN108765452A (zh) * 2018-05-11 2018-11-06 西安天和防务技术股份有限公司 一种复杂背景下运动目标检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王凯等: "基于红外和可见光融合的目标跟踪", 《计算机系统应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674319A (zh) * 2021-08-23 2021-11-19 浙江大华技术股份有限公司 一种目标跟踪的方法、系统、设备及计算机存储介质
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116543378B (zh) * 2023-07-05 2023-09-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116994338A (zh) * 2023-09-25 2023-11-03 四川中交信通网络科技有限公司 一种基于行为识别的站点无纸化稽查管理系统
CN116994338B (zh) * 2023-09-25 2024-01-12 四川中交信通网络科技有限公司 一种基于行为识别的站点无纸化稽查管理系统

Also Published As

Publication number Publication date
CN112258553B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN112258553B (zh) 一种基于多源图像融合的全天时目标跟踪方法
CN109684921B (zh) 一种基于三维激光雷达的道路边界检测与跟踪方法
CN109949375B (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN110675418A (zh) 一种基于ds证据理论的目标轨迹优化方法
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN108769550B (zh) 一种基于dsp的图像显著分析系统及方法
CN110458862A (zh) 一种遮挡背景下的运动目标跟踪方法
CN111612823A (zh) 一种基于视觉的机器人自主跟踪方法
CN112950696A (zh) 导航地图的生成方法及生成装置、电子设备
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
Zhao et al. A robust stereo feature-aided semi-direct SLAM system
CN103428408A (zh) 一种适用于帧间的图像稳像方法
CN109978919A (zh) 一种基于单目相机的车辆定位方法及系统
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
CN114264297B (zh) Uwb和视觉slam融合算法的定位建图方法及系统
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN115218906A (zh) 面向室内slam的视觉惯性融合定位方法及系统
CN114821280A (zh) 一种基于滑动窗口的slam局部实时重定位方法
CN114723811A (zh) 一种非结构化环境四足机器人立体视觉定位建图方法
CN116147618B (zh) 一种适用动态环境的实时状态感知方法及系统
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN115731287A (zh) 基于集合与拓扑空间的运动目标检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant