CN115830064B - 一种基于红外脉冲信号的弱小目标跟踪方法及装置 - Google Patents
一种基于红外脉冲信号的弱小目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN115830064B CN115830064B CN202211301405.XA CN202211301405A CN115830064B CN 115830064 B CN115830064 B CN 115830064B CN 202211301405 A CN202211301405 A CN 202211301405A CN 115830064 B CN115830064 B CN 115830064B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- points
- target point
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于红外脉冲信号的弱小目标跟踪方法及装置，所述方法包括：将获得的脉冲时间序列重构为图像序列，通过红外弱小目标检测获得各帧图像上目标点的位置，采用时间滤波器和方向性滤波器确定各目标点的初步运动轨迹，通过计算余弦相似度排除各目标点运动轨迹中的异常点得到各目标点的精确运动轨迹，将各目标点在每帧图像上的位置进行关联，得到红外多弱小目标跟踪视频。本发明能够在复杂的运动情况下对缺少语义信息的红外弱小目标进行连续跟踪，同时能够对未检测出的目标点进行二次检测。
Description
技术领域
本发明涉及目标检测跟踪技术领域，尤其涉及一种基于红外脉冲信号的弱小目标跟踪方法及装置。
背景技术
在红外脉冲图像中，许多需要跟踪检测的目标物体仅有亮度信息，缺少重要的纹理信息，同时一些目标物体在红外脉冲图像中的位置会相互重叠。现有的目标检测技术无法根据脉冲信号得到清晰的目标物体，同时，对于缺少语义信息和红外辐射能量较弱的目标物体，现有的目标检测技术无法连续在每一帧图像上定位出其精确位置，从而难以对目标物体进行连续跟踪。
发明内容
鉴于此，本发明实施例提供了一种基于红外脉冲信号的弱小目标跟踪方法及装置，以解决现有技术不能对红外辐射能量较弱的目标物体和缺少语义信息的目标物体进行连续跟踪的问题。
本发明的一个方面提供了一种基于红外脉冲信号的弱小目标跟踪方法，该方法包括以下步骤：
获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与所述脉冲相机镜头距离的先验信息；
根据所述先验信息调整第一时间窗口，采用调整后的第一时间窗口在所述脉冲时间序列中采集帧数据并重构为图像序列；所述图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱；
采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体；
采用时间滤波器按照第二时间窗口滑动提取所述图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹；
获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点；
获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，所述第一设定值等于按照所述第二时间窗口单次滑动提取的图像数；
根据排除异常点以及补漏后的初步运动轨迹对所述图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频；
其中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用所述方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将所述初步运动坐标矩阵中所述漏检目标点所在的图像作为漏检图像，在所述漏检图像的前一帧图像中找到所述漏检目标点对应点的第一位置坐标，在所述漏检图像的后一帧图像中找到所述漏检目标点对应点的第二位置坐标，将所述第一位置坐标和所述第二位置坐标的平均值作为所述漏检目标点的补充位置坐标，并将计算得到的所述补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为所述漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中。
在一些实施例中，根据所述先验信息调整第一时间窗口，包括：
根据各目标物体的实际运动速度以及与所述脉冲相机镜头距离计算各目标物体在镜头中的观测速度；
根据所述观测速度设置所述第一时间窗口，计算式为：
其中，w表示所述第一时间窗口，k为可控超参数，v表示所述观测速度。
在一些实施例中，采用调整后的第一时空窗口在所述脉冲时间序列中采集帧数据并重构为图像序列，包括：
根据所述第一时间窗口将所述脉冲相机得到的所述脉冲时间序列划分为多个单位序列，将每个单位序列中的多帧脉冲数据进行叠加后按照脉冲强弱构建像素值形成单帧图像，各单位序列对应的单帧图像组合构成图像序列。
在一些实施例中，所述方向性滤波器通过8个通道对所述时间滤波器输出的所述初步运动坐标矩阵进行卷积计算，所述方向性滤波器的每个通道得到一个输出值，其中得到输出值最大的通道方向即为各目标点的初步运动方向。
在一些实施例中，获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，包括：
在同一个初步运动轨迹中，依次选取各目标点作为起始目标点，将所述起始目标点分别与所述初步运动轨迹中其他目标点连接并计算得到多个位移向量，计算任意两个位移向量间的余弦相似度，并构建余弦相似度矩阵；将所述余弦相似度矩阵中不满足所述第一门限的余弦相似度分布对应的目标点标记为所述初步运动轨迹中的异常点。
在一些实施例中，所述第二时间窗口为单次在所述图像序列中提取的图像的数量。
本发明的另一方面提供了一种基于红外脉冲信号的弱小目标跟踪装置，该装置包括：
自适应脉冲重建模块：获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与所述脉冲相机镜头距离的先验信息；根据所述先验信息调整第一时间窗口，采用调整后的第一时间窗口在所述脉冲时间序列中采集帧数据并重构为图像序列；所述图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱；
目标检测模块：采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体；
方向滤波模块：采用时间滤波器按照第二时间窗口滑动提取所述图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹；
余弦相似度计算模块：获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点并排除；
插值二次检测模块：获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，所述第一设定值等于按照所述第二时间窗口单次滑动提取的图像数；其中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用所述方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将所述初步运动坐标矩阵中所述漏检目标点所在的图像作为漏检图像，在所述漏检图像的前一帧图像中找到所述漏检目标点对应点的第一位置坐标，在所述漏检图像的后一帧图像中找到所述漏检目标点对应点的第二位置坐标，将所述第一位置坐标和所述第二位置坐标的平均值作为所述漏检目标点的补充位置坐标，并将计算得到的所述补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为所述漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中；
目标跟踪模块：根据排除异常点以及补漏后的初步运动轨迹对所述图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述方法的步骤。
本发明的有益效果至少是：
本发明所述基于红外脉冲信号的弱小目标跟踪方法及装置，通过设置第一时间窗口能够将脉冲信号转化为清晰的图像序列，从而能够清晰地在图像序列中呈现出各目标点的位置。
进一步地，通过计算任意两个向量间的余弦相似度能够排除各初步运动轨迹中的异常点，从而形成各目标点的精确运动轨迹。
进一步地，将排除异点后各初步运动轨迹中目标点的数量与第一设定值进行比较，避免出现不能及时发现目标点漏检的情况。
进一步地，通过对二次检测仍然没有检测到的目标点进行插值计算，将计算得到的坐标作为漏检目标点的坐标并加入对应目标点的运动轨迹中，以确保各目标点在每帧图像中都存在，从而实现对各目标点的连续跟踪。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例所述一种基于红外脉冲信号的弱小目标跟踪方法。
图2为本发明一实施例所述第二时间窗口在所述图像序列上滑动提取图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
神经视觉脉冲信号，是一种模拟生物视觉感知结构与机理来处理视觉信息的模型、方法与系统。该方法通过模拟神经形态的脉冲信号的模式，实现图像信号的传输。这种方法可以解决传统的视觉相机对于高速运动场景下采集到的信息模糊，采样数据冗余，对传输带宽要求高等问题，神经形态的脉冲信号具有高动态范围、高时域分辨率的特征，在高速场景下可以表达出比传统相机更丰富的视觉信息。
红外图像可以根据辐射能量差异将目标物体与背景区分开来，然而在红外图像场景下，会存在许多仅有亮度信息而缺少纹理信息的目标物体需要检测并跟踪，并且这些目标物体可能会出现相互遮盖、交叉运动等复杂情况。现有的目标检测技术不能完全检测出每一帧图像上丢失语义信息的目标物体和辐射能量较弱的目标物体。
为了解决这个问题，本发明的一个方面提供了一种基于红外脉冲信号的弱小目标跟踪方法，如图1所示，该方法包括步骤S101～S107：
S101：获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与脉冲相机镜头距离的先验信息。
S102：根据先验信息调整第一时间窗口，采用调整后的第一时间窗口在脉冲时间序列中采集帧数据并重构为图像序列；图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱。
S103：采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体。
S104：采用时间滤波器按照第二时间窗口滑动提取图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹。
S105：获取方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点。
S106：获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，第一设定值等于按照第二时间窗口单次滑动提取的图像数。
S107：根据排除异常点以及补漏后的初步运动轨迹对图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频。
在步骤S101中，脉冲相机连续拍摄多个目标物体得到一个电压随时间变化的脉冲信号序列。
在步骤S102中，根据各目标物体的实际运动速度以及与脉冲相机镜头距离设置第一时间窗口，第一时间窗口将脉冲相机得到的脉冲时间序列划分为多个单位序列，将每个单位序列中的多帧脉冲数据进行叠加后按照脉冲强弱构建像素值形成单帧图像，各单位序列对应的单帧图像组合构成图像序列。其中，图像序列中的每帧图像都是由多个像素点构成的，电压值越大得到的像素点的像素值越大，像素值越大其对应的像素点越清晰。
在步骤S106中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将初步运动坐标矩阵中漏检目标点所在的图像作为漏检图像，在漏检图像的前一帧图像中找到漏检目标点对应点的第一位置坐标，在漏检图像的后一帧图像中找到漏检目标点对应点的第二位置坐标，将第一位置坐标和第二位置坐标的平均值作为漏检目标点的补充位置坐标，并将计算得到的补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中。
在本实施例中，根据先验信息调整第一时间窗口，包括：
根据各目标物体的实际运动速度以及与脉冲相机镜头距离计算各目标物体在镜头中的观测速度，根据观测速度设置第一时间窗口，计算式为：
其中，w表示第一时间窗口，k为可控超参数，v表示观测速度。
在一些实施例中，根据各目标物体的实际运动速度以及各目标物到脉冲相机镜头的实际距离设置第一时间窗口设置为2s，则得到的脉冲时间序列每两秒重构一次像素值形成一张图像，将得到的多张图像组合输出为清晰的图像序列。
在另一些实施例中，观测速度的表达式为：
其中，v1表示观测速度，v2表示目标物体的实际运动速度，d1表示脉冲相机镜头到光传感器的距离，d2表示目标物体到脉冲相机镜头的实际距离。
在步骤S103中，采用双邻域梯度算法(Double-Neighborhood Gradient Method)获取图像序列中每帧图像上所有目标点的位置坐标。双邻域梯度算法采用一个三通道的滤波器对每帧图像进行卷积计算，得到两张关于该图像上所有目标点的特征图，计算两个特征图之间的双邻域梯度，通过计算得到的双邻域梯度对图像中的所有目标点进行增强，排除噪点，得到图像上所有目标点的位置坐标。
在本实施例中，双邻域梯度算法(Double-Neighborhood Gradient Method)将检测到的每帧图像上目标点所在的位置记为1，其他不存在目标点的位置记为0。
在步骤S104中，第二时间窗口在图像序列上单次滑动提取相同数量的图像，第二时间窗口将提取得到的图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵。其中，初步运动坐标矩阵是一个01坐标矩阵，存在目标点的位置赋值1，不存在目标点的位置赋值0。方向性滤波器通过8个通道对各初步运动坐标矩阵上的目标点进行卷积计算，方向性滤波器的每个通道得到一个输出值，其中得到输出值最大的通道方向即为各目标点的初步运动方向。
在本实施例中，方向性滤波器通过上、下、左、右、左上、左下、右上、右下8个通道对各初步运动坐标矩阵上的目标点进行卷积计算，计算得到的值最大的一个通道对应的方向即为各目标点的初步运动方向。
在本实施例中，第二时间窗口为单次在图像序列中提取的图像的数量。
在一些实施例中，如图2所示，第二时间窗口设置为3帧，即第二时间窗口每次在图像序列中滑动提取三张图片，将三张图片中所有目标点的位置坐标进行叠加，转化为各目标点的初步运动坐标矩阵。
在步骤S105中，获取方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，包括：
在同一个初步运动轨迹中，依次选取各目标点作为起始目标点，将起始目标点分别与初步运动轨迹中其他目标点连接并计算得到多个位移向量，计算任意两个位移向量间的余弦相似度，并构建余弦相似度矩阵；将余弦相似度矩阵中不满足第一门限的余弦相似度分布对应的目标点标记为该初步运动轨迹中的异常点。将异常点排除后即形成各目标点的精确运动轨迹。其中，第一门限为根据各目标点的初步运动轨迹设置的余弦相似度的范围。
在本实施例中，第一设定值为第二时间窗口在图像序列上单次提取的图像中各目标点的实际数量。
在一些实施例中，采用方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于第一设定值，则在漏检目标点对应的运动轨迹上找到相邻两个目标点之间距离明显大于其他相邻两个目标点之间距离的位置，说明该位置存在漏检目标点，在初步运动坐标矩阵中找到漏检目标点所在的漏检图像，在漏检图像的前一帧图像中找到漏检目标点对应点的第一位置坐标，在漏检图像的后一帧图像中找到漏检目标点对应点的第二位置坐标，将第一位置坐标和第二位置坐标的平均值作为漏检目标点的位置坐标，并将计算得到的漏检目标点的位置坐标加入到该漏检目标点对应的运动轨迹中。
在步骤S107中，将图像序列中的每一帧图像计算检测后输出，得到各目标点在每帧图像中的位置坐标并对每帧图像上的目标点进行编号，将图像序列中相同编号的目标点进行关联，将得到的带有各目标点位置坐标以及编号的图像序列输出形成红外多弱小目标的连续跟踪视频。
另一方面本发明提供了一种一种基于红外脉冲信号的弱小目标跟踪装置，该装置包括：
自适应脉冲重建模块：获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与脉冲相机镜头距离的先验信息；根据先验信息调整第一时间窗口，采用调整后的第一时间窗口在脉冲时间序列中采集帧数据并重构为图像序列；图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱。
目标检测模块：采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体。
方向滤波模块：采用时间滤波器按照第二时间窗口滑动提取图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹。
余弦相似度计算模块：获取方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点。
插值二次检测模块：获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，第一设定值等于按照所述第二时间窗口单次滑动提取的图像数。其中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用所述方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将所述初步运动坐标矩阵中所述漏检目标点所在的图像作为漏检图像，在所述漏检图像的前一帧图像中找到所述漏检目标点对应点的第一位置坐标，在所述漏检图像的后一帧图像中找到所述漏检目标点对应点的第二位置坐标，将所述第一位置坐标和所述第二位置坐标的平均值作为所述漏检目标点的补充位置坐标，并将计算得到的所述补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为所述漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中。
目标跟踪模块：根据排除异常点以及补漏后的初步运动轨迹对图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频。
下面结合具体实施例对本发明进行说明：
本发明一个方面提供了一种基于红外脉冲信号的弱小目标跟踪方法，包括：
步骤1：获取先验、通过脉冲时间序列自适应调整时间窗口重构图像序列
通过已知的各目标物体的运动速度、各目标物体与脉冲相机镜头之间的距离等先验信息，使得模块可以自适应的调整图像重构的第一时间窗口，通过设定的第一时间窗口对输入的脉冲时间序列重构出相对清晰、易于检测弱小目标的红外图像序列。
步骤2：目标检测
已有的双邻域梯度算法(Double-Neighborhood Gradient Method)，通过滤波器对图像序列中的一帧图像卷积计算，得到两张关于该帧图像的特征图，计算两个特征图之间的双邻域梯度，通过计算得到的双邻域梯度对该帧图像中的所有目标点进行增强，排除噪点，得到该帧图像上所有目标点的位置坐标。依次对图像序列中的每帧图像进行卷积计算，得到图像序列中所有目标点的坐标位置。
步骤3：当前帧及前后帧目标点的及其周围关联点的检测
采用时间滤波器按照第二时间窗口滑动提取所述图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹；
通过多通道的方向性滤波器对通过了时间滤波器输出的初步运动坐标矩阵进行卷积滤波计算，得到各目标点的大致运动方向，形成各目标点的初步运动轨迹。
步骤4：余弦相似度的计算
获取方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，在同一个初步运动轨迹中，任意选取一个目标点作为起始目标点，将起始目标点分别与该初步运动轨迹中任意一个目标点连接并计算得到多个位移向量，计算任意两个位移向量间的余弦相似度，找到不满足系统设定的第一门限的余弦相似度对应的目标点，并将该目标点标记为异常，得到各目标点的精确运动轨迹。
步骤5：对于未检测出的目标的插值
获取排除异常点后各初步运动轨迹上相应目标点被检测到的数量，将检测到的各目标点的数量与系统设定值比较，若检测得到的各目标点的数量不满足系统设定值，则对漏检位置进行插值计算。找到漏检目标点所在初步运动坐标矩阵，则采用方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然不满足系统设定值，则将初步运动坐标矩阵中漏检目标点所在的图像作为漏检图像，在漏检图像的前一帧图像中找到漏检目标点对应点的第一位置坐标，在漏检图像的后一帧图像中找到漏检目标点对应点的第二位置坐标，将第一位置坐标和第二位置坐标的平均值作为漏检目标点的补充位置坐标，并将计算得到的补充位置坐标加入到对应的目标点的运动轨迹中。
步骤6：整合插值结果和检测结果形成目标追踪输出
通过循环运算，对每帧图像上的目标点进行编号标注，并将图片序列上相同编号的目标点进行关联，整合插值计算得到的目标点结果，形成各目标点的最终运动轨迹，输出为红外多弱小目标跟踪视频。
本发明另一个方面提供了一种基于红外脉冲信号的弱小目标跟踪装置，包括：
自适应脉冲重建模块，通过先验知识可以将脉冲相机拍摄得到的脉冲时间序列自适应的转化为相对清晰的图像序列。
目标检测模块，采用已有的红外弱小目标检测技术，实现点目标的检测，输出图片序列中各目标点坐标。
方向性滤波模块，通过时间滤波器和方向性滤波器，形成各目标点的初步运动轨迹。
余弦相似度计算模块，对各初步运动轨迹中任意两点构成的位移向量之间的余弦相似度，排除余弦相似度不满足系统设定值的点，形成各目标点的精确运动轨迹。
插值二次检测模块，对漏检的目标点，进行插值二次检测运算，以保证各目标点在图像序列的每帧图像上都存在。
综上所述，本发明所述基于红外脉冲信号的弱小目标跟踪方法及装置，通过设置第一时间窗口能够将脉冲信号转化为清晰的图像序列，从而能够清晰地在图像序列中呈现出各目标点的位置。
进一步地，通过计算任意两个向量间的余弦相似度能够排除各初步运动轨迹中的异常点，从而形成各目标点的精确运动轨迹。
进一步地，将排除异点后各初步运动轨迹中目标点的数量与第一设定值进行比较，避免出现不能及时发现目标点漏检的情况。
进一步地，通过对二次检测仍然没有检测到的目标点进行插值计算，将计算得到的坐标作为漏检目标点的坐标并加入对应目标点的运动轨迹中，以确保各目标点在每帧图像中都存在，从而实现对各目标点的连续跟踪。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于红外脉冲信号的弱小目标跟踪方法，其特征在于，该方法包括以下步骤：
获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与所述脉冲相机镜头距离的先验信息；
根据所述先验信息调整第一时间窗口，采用调整后的第一时间窗口在所述脉冲时间序列中采集帧数据并重构为图像序列；所述图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱；
采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体；
采用时间滤波器按照第二时间窗口滑动提取所述图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹；
获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点；
获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，所述第一设定值等于按照所述第二时间窗口单次滑动提取的图像数；根据排除异常点以及补漏后的初步运动轨迹对所述图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频；
其中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用所述方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将所述初步运动坐标矩阵中所述漏检目标点所在的图像作为漏检图像，在所述漏检图像的前一帧图像中找到所述漏检目标点对应点的第一位置坐标，在所述漏检图像的后一帧图像中找到所述漏检目标点对应点的第二位置坐标，将所述第一位置坐标和所述第二位置坐标的平均值作为所述漏检目标点的补充位置坐标，并将计算得到的所述补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为所述漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中。
2.根据权利要求1所述的基于红外脉冲信号的弱小目标跟踪方法，其特征在于，根据所述先验信息调整第一时间窗口，包括：
根据各目标物体的实际运动速度以及与所述脉冲相机镜头距离计算各目标物体在镜头中的观测速度；
根据所述观测速度设置所述第一时间窗口，计算式为：
其中，w表示所述第一时间窗口，k为可控超参数，v表示所述观测速度。
3.根据权利要求2所述的基于红外脉冲信号的弱小目标跟踪方法，其特征在于，采用调整后的第一时空窗口在所述脉冲时间序列中采集帧数据并重构为图像序列，包括：
根据所述第一时间窗口将所述脉冲相机得到的所述脉冲时间序列划分为多个单位序列，将每个单位序列中的多帧脉冲数据进行叠加后按照脉冲强弱构建像素值形成单帧图像，各单位序列对应的单帧图像组合构成图像序列。
4.根据权利要求1所述的基于红外脉冲信号的弱小目标跟踪方法，其特征在于，所述方向性滤波器通过8个通道对所述时间滤波器输出的所述初步运动坐标矩阵进行卷积计算，所述方向性滤波器的每个通道得到一个输出值，其中得到输出值最大的通道方向即为各目标点的初步运动方向。
5.根据权利要求4所述的基于红外脉冲信号的弱小目标跟踪方法，其特征在于，获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，包括：
在同一个初步运动轨迹中，依次选取各目标点作为起始目标点，将所述起始目标点分别与所述初步运动轨迹中其他目标点连接并计算得到多个位移向量，计算任意两个位移向量间的余弦相似度，并构建余弦相似度矩阵；将所述余弦相似度矩阵中不满足所述第一门限的余弦相似度分布对应的目标点标记为所述初步运动轨迹中的异常点并排除。
6.根据权利要求1所述的基于红外脉冲信号的弱小目标跟踪方法，其特征在于，所述第二时间窗口为单次在所述图像序列中提取的图像的数量。
7.一种基于红外脉冲信号的弱小目标跟踪装置，其特征在于，包括：
自适应脉冲重建模块：获取由脉冲相机连续拍摄多个目标物体得到的脉冲时间序列，获取包含各目标物体的实际运动速度以及与所述脉冲相机镜头距离的先验信息；根据所述先验信息调整第一时间窗口，采用调整后的第一时间窗口在所述脉冲时间序列中采集帧数据并重构为图像序列；所述图像序列中每一帧图像的像素用于反映相应位置脉冲的强弱；
目标检测模块：采用双邻域梯度算法获取所述图像序列中每帧图像上所有目标点的位置坐标；其中，每个目标点对应一个目标物体；
方向滤波模块：采用时间滤波器按照第二时间窗口滑动提取所述图像序列中的图像，将每次提取的各图像中所有目标点的位置坐标进行叠加，并转化为初步运动坐标矩阵以记载各目标点在提取的所有图像中的位置；采用方向性滤波器对各初步运动坐标矩阵进行卷积计算，得到各目标点的初步运动轨迹；
余弦相似度计算模块：获取所述方向性滤波器输出的各初步运动轨迹中目标点的位置坐标，根据同一个初步运动轨迹中任意两个目标点的位置坐标计算位移向量，并两两计算各位移向量之间的余弦相似度，将不满足第一门限的余弦相似度标记为异常，根据异常余弦相似度的分布查找并排除各初步运动轨迹中的异常点；
插值二次检测模块：获取排除异常点后各初步运动轨迹上相应目标点被检测到的次数；若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，所述第一设定值等于按照所述第二时间窗口单次滑动提取的图像数；其中，若存在一初步运动轨迹中相应目标点被检测到的次数小于第一设定值，则对该初步运动轨迹相应目标点漏检的位置进行插值补漏，包括：采用所述方向性滤波器对漏检目标点所在的初步运动坐标矩阵进行二次检测，若二次检测得到的目标点的数量仍然小于所述第一设定值，则将所述初步运动坐标矩阵中所述漏检目标点所在的图像作为漏检图像，在所述漏检图像的前一帧图像中找到所述漏检目标点对应点的第一位置坐标，在所述漏检图像的后一帧图像中找到所述漏检目标点对应点的第二位置坐标，将所述第一位置坐标和所述第二位置坐标的平均值作为所述漏检目标点的补充位置坐标，并将计算得到的所述补充位置坐标加入到对应的目标点的运动轨迹中；若二次检测得到的目标点的数量满足所述第一设定值，则将二次检测得到的目标点的位置坐标作为所述漏检目标点的位置坐标并加入到对应的目标点的运动轨迹中；目标跟踪模块：根据排除异常点以及补漏后的初步运动轨迹对所述图像序列中每一帧图像的目标点进行编码并关联，输出为红外多弱小目标跟踪视频。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301405.XA CN115830064B (zh) | 2022-10-24 | 2022-10-24 | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301405.XA CN115830064B (zh) | 2022-10-24 | 2022-10-24 | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830064A CN115830064A (zh) | 2023-03-21 |
| CN115830064B true CN115830064B (zh) | 2023-06-27 |
Family
ID=85525266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211301405.XA Active CN115830064B (zh) | 2022-10-24 | 2022-10-24 | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830064B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777947B (zh) * | 2023-06-21 | 2024-02-13 | 上海汉朔信息科技有限公司 | 一种用户轨迹识别预测方法、装置及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090015678A1 (en) * | 2007-07-09 | 2009-01-15 | Hoogs Anthony J | Method and system for automatic pose and trajectory tracking in video |
| CN104660904A (zh) * | 2015-03-04 | 2015-05-27 | 深圳市欧珀通信软件有限公司 | 拍摄主体识别方法及装置 |
| CN106846257A (zh) * | 2016-11-14 | 2017-06-13 | 山东理工大学 | 一种基于模糊技术的红外弱小目标图像边缘增强算法 |
| CN112686895B (zh) * | 2021-03-11 | 2021-05-18 | 成都点泽智能科技有限公司 | 红外弱小目标的检测方法、装置及服务器 |
-
2022
- 2022-10-24 CN CN202211301405.XA patent/CN115830064B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830064A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN109190581B (zh) | 图像序列目标检测识别方法 | |
| US10462362B2 (en) | Feature based high resolution motion estimation from low resolution images captured using an array source | |
| Uittenbogaard et al. | Privacy protection in street-view panoramas using depth and multi-view imagery | |
| CN109684925B (zh) | 一种基于深度图像的人脸活体检测方法及设备 | |
| CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
| CN109460764B (zh) | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 | |
| CN111861880B (zh) | 基于区域信息增强与块自注意力的图像超分与融合方法 | |
| KR20140015892A (ko) | 영상 정합 장치 및 방법 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN115830064B (zh) | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 | |
| CN111222432A (zh) | 人脸活体检测方法、系统、设备及可读存储介质 | |
| CN110009670A (zh) | 基于fast特征提取和piifd特征描述的异源图像配准方法 | |
| CN110689554B (zh) | 用于红外图像序列的背景运动估计方法、装置及存储介质 | |
| WO2022179251A1 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN109785357B (zh) | 一种适用于战场环境的机器人智能化全景光电侦察的方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN110335308B (zh) | 基于视差约束与双向环形检验的双目视觉里程计计算方法 | |
| Min et al. | Noise reduction in high dynamic range images | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
| CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
| KR20140038749A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| US20220329771A1 (en) | Method of pixel-by-pixel registration of an event camera to a frame camera | |
| CN110276722B (zh) | 一种视频图像拼接方法 | |
| Zhou et al. | Human recognition based on face profiles in video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |