CN111402299B - 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置 - Google Patents

基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置 Download PDF

Info

Publication number
CN111402299B
CN111402299B CN202010271262.7A CN202010271262A CN111402299B CN 111402299 B CN111402299 B CN 111402299B CN 202010271262 A CN202010271262 A CN 202010271262A CN 111402299 B CN111402299 B CN 111402299B
Authority
CN
China
Prior art keywords
target
target object
remote sensing
sensing image
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010271262.7A
Other languages
English (en)
Other versions
CN111402299A (zh
Inventor
姚力波
刘勇
林迅
周强
刘瑜
孙炜玮
赵志勇
臧洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval Aeronautical University
Original Assignee
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval Aeronautical University filed Critical Naval Aeronautical University
Priority to CN202010271262.7A priority Critical patent/CN111402299B/zh
Publication of CN111402299A publication Critical patent/CN111402299A/zh
Application granted granted Critical
Publication of CN111402299B publication Critical patent/CN111402299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置。其中,该方法包括:检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪。以提高基于静止轨道凝视卫星的遥感图像目标跟踪的准确性。

Description

基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置
技术领域
本发明实施例涉及卫星遥感技术领域,尤其涉及一种基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置。
背景技术
随着遥感卫星技术的发展,通过静止轨道凝视卫星采集的遥感图像进行动态目标对象(如舰船)的跟踪,以成为遥感卫星技术应用的热点。目前,在基于遥感图像进行动态目标对象跟踪时,通常是先对遥感图像进行目标检测,然后再基于检测到的目标对象进行目标跟踪。但是,由于静止轨道凝视卫星成像视场范围大,使得其采集的遥感图像空间分辨率较低,再加上受海杂波、碎云等因素影响,目标对象与背景环境对比度较低,导致目标检测结果中存在较多的虚假目标。此外由于静止轨道凝视卫星的轨道高、成像帧频低,使得其对目标对象的定位数据误差较大,严重影响目标跟踪的准确性。
发明内容
本发明实施例提供一种基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置,以提高基于静止轨道凝视卫星的遥感图像目标跟踪的准确性。
第一方面,本发明实施例提供了一种基于静止轨道凝视卫星的遥感图像目标跟踪方法,方法包括:
检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;
根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;
根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪。
第二方面,本发明实施例还提供了一种基于静止轨道凝视卫星的遥感图像目标跟踪装置,该装置包括:
目标检测模块,用于检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;
目标位置确定模块,用于根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;
目标跟踪模块,用于根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪。
第三方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所述的基于静止轨道凝视卫星的遥感图像目标跟踪方法。
第四方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的基于静止轨道凝视卫星的遥感图像目标跟踪方法。
本发明实施例的技术方案,检测到静止轨道凝视卫星采集的当前遥感图像中包含的目标对象后,确定目标对象的像素坐标和目标幅度特征;根据目标对象的像素坐标和当前遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型确定目标对象的目标位置信息,进而根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。本发明实施例在确定目标对象的位置信息时,先以目标对象的像素坐标和参考对象的参考位置信息为基准,校正位置求解模型,再通过校正后的该位置求解模型确定目标对象的目标位置信息,解决了静止轨道凝视卫星对目标对象定位误差大的问题,提高了目标对象的目标位置信息确定的准确性。且本发明实施例基于多假设跟踪算法对当前遥感图像进行目标跟踪时,不但依据目标对象的位置信息,还结合了其幅度特征,能够更为精准的确定出跟踪轨迹中的虚假轨迹,以提高基于静止轨道凝视卫星的遥感图像目标跟踪的准确性,为遥感图像的目标跟踪提供了一种新思路。
附图说明
图1是本发明实施例一提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图;
图2是本发明实施例二提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图;
图3是本发明实施例三提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图;
图4是本发明实施例四提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪装置的结构示意图;
图5本发明实施例五中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图,本实施例可适用于对静止轨道凝视卫星采集的可观测性较差(即分辨率较低)的遥感图像进行目标跟踪的情况。该方法可以由本发明实施例提供的基于静止轨道凝视卫星的遥感图像目标跟踪装置来执行,该装置可采用硬件和/或软件的方式实现。如图1所示,具体包括如下步骤:
S101,检测当前帧遥感图像中包含的目标对象,并确定目标对象的像素坐标和目标幅度特征。
其中,本发明实施例中的遥感图像可以是静止轨道凝视卫星按照预设的成像帧频,采集的遥感图像。目标对象可以为任意遥感图像可以拍摄到的动态目标对象,如可以是海上行驶的舰船、陆地上行驶的汽车等。对此本实施例不进行限定。目标对象的像素坐标可以是目标对象在遥感图像中对应的像素坐标;目标对象的目标幅度特征可以是目标对象在遥感图像中对应的幅度值。
可选的,本步骤检测当前帧遥感图像中包含的目标对象时,可以是基于待检测的目标对象的图像特征,从遥感图像中查找具有该图像特征的对象作为目标对象。但是考虑到静止轨道凝视卫星采集的遥感图像的分辨率较低,待检测的目标对象可能只占其中的几个或十几个像素,可观测性较差,并且海杂波在当前帧遥感图像中分布也不均匀,所以基于图像特征进行目标检测容易出现目标对象漏检,或检测出虚假目标对象的情况。为了避免这种情况出现,本实施例还可以是基于峰值信噪比局部显著图算法,检测当前帧遥感图像中包含的目标对象。具体的,峰值信噪比定量描述了目标最大可能幅度相对于环境噪声幅度的比值,其定义为:
Figure BDA0002443230060000041
其中,sal(x,y)为遥感图像中像素点(x,y)处的峰值信噪比;I(x,y)为遥感图像中像素点(x,y)处的幅度值;μb和σb分别为遥感图像中像素点(x,y)周围一定范围内的背景噪声幅度均值和标准差。可选的,为了更好的统计图像背景的统计特征,本发明实施例可以以像素点(x,y)为中心,采用双窗(内矩形和外矩形)的方法计算该像素点(x,y)对应的μb和σb。优选的,内矩形尺寸可以略大于目标对象尺寸的像素数,外矩形尺寸取值为内矩形尺寸的二倍。
本步骤可以针对当前帧遥感图像中的每一像素,都进行上述公式(1)的计算,得到每个像素点对应的峰值信噪比。然后根据预先设置的信噪比分割阈值,按照如下公式(2),对当前帧遥感图像进行二值化图像分割:
Figure BDA0002443230060000042
其中,W(x,y)为二值化后的遥感图像中像素点(x,y)处的像素值;sal(x,y)为遥感图像中像素点(x,y)处的峰值信噪比;th为信噪比分割阈值。
本步骤可以是对当前遥感图像中的每个像素点的峰值信噪比,按照上述公式(2)完成对当前遥感图像的二值化处理,对于二值化后的遥感图像,判断其中像素值为1的连通区域是否满足区域尺寸限制条件,如果满足,就将该连通区域作为目标对象。其中,区域尺寸限制条件可以是根据当前帧遥感图像分辨率下的目标对象的最大尺寸和最小尺寸设定的。例如,假设待检测的目标对象为舰船目标,其在当前帧遥感图像的分辨率下,所占像素在2-50个像素范围内,则可以是判断二值化后的遥感图像中,像素值为1的连通区域是否在2-50个像素范围内,如果是,则将该连通区域作为目标对象。
可选的,在针对检测出的目标对象,确定其像素坐标和目标幅度特征时,可以是根据所述目标对象在所述当前帧遥感图像中的像素信息,确定所述目标对象的像素坐标和目标幅度特征。具体的,可以是计算目标对象所在区域的中心位置(如区域的质心)作为该目标对象的像素坐标。将目标对象所在区域内的各像素点的幅度值中的最大幅度值或幅度均值作为该目标对象的目标幅度特征。
需要说明的是,本步骤从当前帧遥感图像中检测出的目标对象的数量可以为一个或多个,由于静止轨道凝视卫星的成像范围广,所以通常情况下,每一帧遥感图像中检测出的目标对象的数量通常为多个。
S102,根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和目标对象的像素坐标,确定目标对象的目标位置信息。
其中,当前帧遥感图像对应的参考对象可以是通过第三方检测系统在与静止轨道凝视卫星采集当前帧遥感图像相同的场景下,采集到的该场景下包含的检测对象,第三方检测系统中可以记录有参考对象的运行状态信息和属性信息等。其中,运行状态信息可以包括位置信息、行驶速度信息、行驶方向信息等;属性信息可以包括名称、标识等。例如,如果目标对象是海上行驶的舰船,则该第三方检测系统可以是船舶自动识别系统(AutomaticIdentification System,AIS系统)。该AIS系统可检测记录舰船的位置、速度、航向、舰船名称、水上移动通信业务标识码(Maritime Mobile Service Identify,MMSI)等。
可选的,本发明实施例确定当前帧遥感图像对应的参考对象的参考位置信息的过程可以是:确定所述当前帧遥感图像的成像范围和成像时刻;基于第三方检测系统,查找所述成像时刻在所述成像范围内的参考对象,并获取所述参考对象的参考位置信息。具体的,可以是确定静止轨道凝视卫星采集当前帧遥感图像的成像时刻,如将当前帧遥感图像的帧数与静止轨道凝视卫星的成像频率的乘积作为当前帧遥感图像的成像时刻,将静止轨道凝视卫星的扫描成像范围作为当前帧遥感图像的成像范围。在确定了当前帧遥感图像的成像范围和成像时刻后,查找第三方检测系统在该成像时刻,针对该成像范围检测到的对象作为当前帧遥感图像对应的参考对象,并从第三方检测系统中获取该参考对象的运行状态信息和属性信息,其中,至少要获取第三方检测系统检测到的该参考对象的位置信息。需要说明的是,本发明实施例从第三方检测系统中获取的当前帧遥感图像对应的参考对象的数量可以为一个或多个。
其中,位置求解模型可以是用于求解遥感图像中的某一像素坐标(x,y),在实际空间中对应的位置信息(如经纬度信息)的模型。可选的,该位置求解模型可以是有理多项式系数(Rational Polynomial Coefficients,RPC)模型。示例性的,若该位置求解模型为三次多项式,则该位置求解模型可以通过下述公式(3)表示:
Figure BDA0002443230060000051
其中,lat为纬度信息,lon为经度信息;;a0,a1,…,a9和b0,b1,…,b9为位置求解模型的模型参数;(x,y)为遥感图像中的像素坐标。
可选的,对于静止轨道凝视卫星,其都配置有对应的位置求解模型,但是介于静止轨道凝视卫星轨道高、低成像帧频等特性,导致直接基于原始配置的位置求解模型计算的目标对象位置误差较大。所以本发明实施例为了解决该问题,根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,对该位置求解模型的模型参数进行校正,使得校正后的位置求解模型可以精准求解目标对象的目标位置信息。
在本发明实施例中,由于目标对象和参考对象都是在同一范围、同一时间采集的,所以目标对象和参考对象之间可能存在关联,即有的参考对象和有的目标对象对应同一目标。所以本发明实施例校正位置求解模型的具体过程可以是先根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为目标关联对。然后再根据目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型。如,将每一目标关联对中的目标对象的像素坐标作为公式(3)中的像素坐标(x,y),该目标关联对中的参考对象的参考位置信息作为公式(3)中的纬度信息lat和经度信息lon,求解公式(3)中的模型参数a0,a1,…,a9和b0,b1,…,b9,并更新该位置求解模型的模型参数,更新了模型参数后的位置求解模型,即为校正后的位置求解模型。优选的,可以采用最小二乘法求解出公式(3)中的位置求解模型的模型参数a0,a1,…,a9和b0,b1,…,b9
可选的,介于遥感图像空间分辨率低,再加上受海杂波、碎云等因素影响,导致S101检测的目标对象中可能存在虚假目标,所以根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,确定出的具有关联关系的目标对象和参考对象中,可能也存在虚假目标关联的参考对象,即出现错误的关联对,为了保证本步骤校正位置求解模型的准确性,本步骤在校正位置求解模型时还可以是:根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为候选关联对;剔除所述候选关联对中的错误关联对,得到目标关联对;根据所述目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型。需要说明的是,本发明实施例具体如何确定具有关联关系的目标对象和参考对象,以及如何进行关联对的剔除操作将在后续实施例进行详细介绍。
可选的,本步骤基于校正后的位置求解模型,确定目标对象的目标位置信息时,可以是将S101确定的目标对象的像素坐标输入到校正后的位置求解模型中,基于校正后的位置求解模型更新的新模型参数和输入的像素坐标,计算出该像素坐标对应的经度信息和纬度信息作为该目标对象的目标位置信息。
可选的,本发明实施例在校正位置求解模型时,可以是针对每一帧遥感图像都校正一次位置求解模型,也可以是选择第一帧遥感图像校正后,后续各帧遥感图像跳过本步骤校正位置求解模型的过程,直接基于第一帧遥感图像校正后的位置求解模型确定目标对象的目标位置信息。
S103,根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。
其中,多假设跟踪(MHT)算法是一种在数据关联发生冲突时,形成多假设以延迟做决定的逻辑。MHT算法把多种假设继续传递,让后续的测量数据解决这种不确定性。
可选的,本发明实施例在采用MHT算法对当前遥感图像进行目标跟踪时,不但结合目标对象的目标位置信息,还结合了目标对象的目标幅度特征,具体跟踪过程可以是:(1)将S102通过校正后的位置求解模型计算得到的目标对象的目标位置信息(即经度信息和纬度信息)和S101确定的目标对象的目标幅度特征(即目标对象的幅度值)作为第一输入;(2)基于构建的目标运动模型预测出的目标对象的运动状态参数(其中,该运动状态参数中包括预测位置信息和预测幅度特征)作为第二输入;(3)根据第一输入和第二输入生成目标对象针对当前帧遥感图像对应的行驶轨迹;(4)根据目标对象及其行驶轨迹在上一帧遥感图像中的对数相似度,以及该目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度增量(包括运动状态相似度增量和幅度状态相似度增量),计算该目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度;(5)如果该对数相似度大于对数相似度阈值,则保留该行驶轨迹,即将该行驶轨迹作为该目标对象在当前帧遥感图像中对应的跟踪轨迹。本实施例结合目标对象的目标幅度特征和目标位置信息进行目标跟踪,极大的提高了目标跟踪的准确性。需要说明的是,本发明实施例在实现上述跟踪过程时,如何构建的目标运动模型,以及具体采用的相关计算公式将在后续实施例进行详细介绍。
可选的,由于不同帧的遥感图像检测到的目标对象的数量是动态变化的,同时又存在虚假目标,所以,本发明实施例可以通过M/N逻辑法进行目标对象行驶轨迹的管理。也就是说在行驶轨迹起始时,当满足N次扫描中M次有效量测时,将暂时的行驶轨迹变为确定行驶轨迹。若已存在行驶轨迹,在从某一时刻开始连续L个时刻都没有相应的量测值更新,则认为此行驶轨迹终止。若少于L次,则认为暂时被漏检,将预测值作为该行驶轨迹的更新。
本实施例提供的基于静止轨道凝视卫星的遥感图像目标跟踪方法,检测到静止轨道凝视卫星采集的当前遥感图像中包含的目标对象后,确定目标对象的像素坐标和目标幅度特征;根据目标对象的像素坐标和当前遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型确定目标对象的目标位置信息,进而根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。本发明实施例在确定目标对象的位置信息时,先以目标对象的像素坐标和参考对象的参考位置信息为基准,校正位置求解模型,再通过校正后的该位置求解模型确定目标对象的目标位置信息,解决了静止轨道凝视卫星对目标对象定位误差大的问题,提高了目标对象的目标位置信息确定的准确性。且本发明实施例基于多假设跟踪算法对当前遥感图像进行目标跟踪时,不但依据目标对象的位置信息,还结合了其幅度特征,能够更为精准的确定出跟踪轨迹中的虚假轨迹,以提高基于静止轨道凝视卫星的遥感图像目标跟踪的准确性,为遥感图像的目标跟踪提供了一种新思路。
实施例二
图2为本发明实施例二提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图。本实施例在上述实施例的基础上,进行了进一步的优化,给出了根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型的具体情况介绍。具体给出了如何根据所述目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,以及如何剔除所述候选关联对中的错误关联对,得到目标关联对的具体情况介绍。参见图2,该方法具体包括:
S201,检测当前帧遥感图像中包含的目标对象,并确定目标对象的像素坐标和目标幅度特征。
S202,根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为候选关联对。
可选的,本步骤用于从当前帧遥感图像对应的各目标对象和各参考对象中,确定出相互关联的各目标对象和参考对象,每组相互关联的目标对象和参考对象作为一个候选关联对。具体的,先将S201确定出的各目标对象的像素坐标代入到校正前的位置求解模型中,计算出各目标对象对应的粗略位置信息。然后基于目标对象的粗略位置信息和参考对象的参考位置信息,构建最小化关联代价函数,如下述公式(4):
Figure BDA0002443230060000081
上述代价函数需要满足最大距离和关联唯一性约束条件:
Figure BDA0002443230060000091
其中,NGEO为第k帧遥感图像中检测出的目标对象的数目;NAIS为第k帧遥感图像对应的参考对象的数目;Sij为第i个目标对象和第j个参考对象的关联指示变量,其中,Sij=1表示第i个目标对象和第j个参考对象关联,Sij=0表示第i个目标对象和第j个参考对象不关联;εd为预设限制距离,其取值可以是目标对象和参考对象两者定位误差之和;Dij表示第i个目标对象的粗略位置信息和第j个参考对象的参考位置信息在地心坐标系下的弧线长距离,其计算式为:
Dij=R·arccos[sinlatisinlatj+coslaticoslatjcos(loni-lonj)]   (6)
其中,R为地球半径,(lati,;loni)为第i个目标对象的粗略位置信息;(latj,;lonj)为第j个参考对象的参考位置信息。
本步骤求解该代价函数时,可以根据预先设定的候选关联对的预设数目(如Nk),基于匈牙利(Hungarian)算法,从各目标对象中选择预设数目的目标对象,从各参考对象中选择预设数目的参考对象,使得关联代价函数(4)最小,其中,每个最小关联代价函数对应的一对目标对象和参考对象作为一候选关联对。可选的,预测数目Nk可略小于当前帧遥感图像对应的参考对象的数目。
S203,基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对,得到初筛选关联对。
本步骤是对候选关联对进行初步的错误关联对筛选,得到初筛选关联对。由于本步骤是基于随机一致性抽样算法进行错误关联对剔除的,为了提高初筛选结果的准确性和全面性,可以是重复执行至少两次,以得到最大数目的初筛选关联对。具体的,针对每一次基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对的操作,可以通过如下子步骤来执行:
S2031,将候选关联对随机分为第一关联对组和第二关联对组;其中,所述第一关联对组中包括至少三对候选关联对。
具体的,本子步骤可以是从候选关联对中随机选择至少三对候选关联对作为第一关联对组,剩余候选关联对作为第二关联对组。
S2032,根据第一关联对组中的目标对象的像素坐标和参考对象的参考位置信息,求解误差补偿模型的模型参数,得到已知模型参数的误差补偿模型。
其中,误差补偿模型用于表征参考对象的参考位置信息所对应的像素坐标,与目标对象的像素坐标之间的转换关系。具体的,所述误差补偿模型的表达式为:
Figure BDA0002443230060000101
其中,(x,y)为目标对象的像素坐标;(x′,y′)为参考对象的参考位置信息对应的像素坐标;(ei,fi)为误差补偿模型的模型参数。
具体的,本子步骤可以是针对第一关联对组中的每一个候选关联对,将该候选关联对中的目标对象的像素坐标作为公式(7)中的(x,y),将参考对象的参考位置信息输入到校正前的位置求解模型中,反推出该参考位置信息对应的像素坐标,作为公式(7)中的(x′,y′),从而得到未知数为误差补偿模型的模型参数(ei,fi)的方程组(即该候选关联对对应的方程组)。将第一关联对组中各候选关联对对应的方程组进行联立,即可求解出误差补偿模型的模型参数,得到已知模型参数的误差补偿模型。可选的,当第一关联对组中的候选关联对的数量大于3时,可以采用最小二乘法来求解误差补偿模型的模型参数。
S2033,根据已知模型参数的误差补偿模型,和第二关联对组中的目标对象的像素坐标和参考对象的参考位置信息,计算第二关联对组中,各候选关联对的像素误差。
具体的,本子步骤在计算第二关联对组中各候选关联对的像素误差时,可以是针对其中的每一候选关联对,将其中的参考对象的参考位置信息输入到校正前的位置求解模型中,反推出参考对象的参考位置信息对应的像素坐标(x′,y′),然后将该像素坐标(x′,y′),代入到S2032得到的已知模型参数的误差补偿模型中,计算得到像素坐标(x,y);并将其与该候选关联对中的目标对象的像素坐标的坐标差值,作为该候选关联对的像素误差。
S2034,剔除第二关联对组中像素误差大于误差阈值的错误关联对,得到本次初筛选关联对。
具体的,判断S2033中计算的第二关联对组中各候选关联对的像素误差是否大于误差阈值,将像素误差大于误差阈值的候选关联对作为错误关联对剔除,保留剩余的候选关联对作为本次的第二关联对组中的初筛选关联对。
需要说明的是,由于本步骤中的第一关联对组和第二关联对组是随机分配的,每次初步筛选实质上是用第一关联对组的候选关联对确定误差补偿模型后,从第二关联对组中的候选关联对中筛选出一些初筛选关联对。此时对于第一关联对组,没有对其中的候选关联对组进行错误关联对的判断,所以,为了提高本步骤得到的初筛选关联对的准确性和全面性,需要重复多次执行本步骤的操作,以得到最大数目的初筛选关联对。
S204,从初筛选关联对中剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,得到目标关联对。
本步骤是对候选关联对再次进行错误关联对筛选,得到最终的目标关联对。具体的,本步骤的执行过程可以包括以下几步骤:
(1),根据第三方检测系统提供的各参考对象的名称、标识等固定不变的属性信息,判断初筛选关联对中的各参考对象是否也都出现在各历史帧的遥感图像中;若不存在,则将其所属的候选关联对从初筛选关联对中剔除,得到二次筛选关联对。针对每个二次筛选关联对,由于其中的参考对象也在各历史帧遥感图像中出现过,所以根据该参考对象在当前帧遥感图像和历史帧遥感图像中关联的各目标对象的像素坐标,基于校正前的位置求解模型,计算各像素坐标对应的位置信息,将各位置信息按照其对应的遥感图像的帧序进行排序,即可得到该二次筛选关联对中的目标对象的历史行驶轨迹集合。对于该二次筛选关联对中的参考对象,可以根据第三方检测系统中记录的该参考对象在当前帧成像时刻以及该当前帧成像时刻之前的位置信息,确定其参考对象的历史行驶轨迹集合。
(2),基于下述公式(8)-公式(10)计算目标对象的历史行驶轨迹集合与参考对象的历史行驶轨迹集合之间的轨迹相似度,作为所述目标对象所属二次筛选关联对的轨迹相似度:
Figure BDA0002443230060000111
Figure BDA0002443230060000112
Figure BDA0002443230060000113
其中,
Figure BDA0002443230060000114
为第i个目标对象的历史行驶轨迹集合;
Figure BDA0002443230060000115
为第j个参考对象的历史行驶轨迹集合;
Figure BDA0002443230060000116
Figure BDA0002443230060000117
Figure BDA0002443230060000118
之间的轨迹相似度;am为第i个目标对象的历史行驶轨迹集合中的第m条行驶轨迹;bn为第j个参考对象的历史行驶轨迹集合中的第n条行驶轨迹。
可选的,本实施例基于Hausdorff距离计算轨迹相似度时,不考虑轨迹的时空有序性,基于第三方检测系统确定的参考对象历史行驶轨迹的点迹稠密,基于遥感图像序列确定的目标对象历史行驶轨迹的点迹稀疏,因此,计算
Figure BDA0002443230060000119
时,每一个目标对象i只考虑其时间戳前后相邻的参考对象j,计算
Figure BDA00024432300600001110
时,每一个参考对象j只考虑其时间戳最近的目标对象i,从而将时序信息引入Hausdorff距离中。
(3),将(2)中计算的各二次筛选关联对对应的轨迹相似度,与设定的轨迹相似度阈值εT进行比较,从二次筛选关联对中,剔除轨迹相似度小于等于轨迹相似度阈值(即
Figure BDA0002443230060000121
)的错误关联对,剩余的二次筛选关联对即为最终的目标对关联。
S205,根据目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型。
S206,基于校正后的位置求解模型和所述目标对象的像素坐标,确定目标对象的目标位置信息。
S207,根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。
需要说明的是,本实施例中S203-S204给出了如何剔除所述候选关联对中的错误关联对,得到目标关联对的过程。
本实施例提供的基于静止轨道凝视卫星的遥感图像目标跟踪方法,检测到静止轨道凝视卫星采集的当前遥感图像中包含的目标对象,并确定出其像素坐标和目标幅度特征后;根据目标对象的像素坐标和当前遥感图像对应的参考对象的参考位置信息,确定目标对象和参考对象对应的候选关联对,并对候选关联对进行两次筛选后得到目标关联对来校正位置求解模型,并基于校正后的位置求解模型确定目标对象的目标位置信息,进而根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。本发明实施例通过构建并求解最小关联代价函数来确定目标对象和参考对象对应的候选关联对,并通过两种不同的方式,对候选关联对进行了双重筛选,提高了目标关联对确定的准确性,为后续校正位置求解模型,准确确定目标对象的目标位置信息,以实现精准目标跟踪奠定了基础。
实施例三
图3为本发明实施例三提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪方法的流程图。本实施例在上述各实施例的基础上,进行了进一步的优化,给出了根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪的具体情况介绍。
在介绍本实施例之前,先对本实施例采用多假设跟踪算法对当前帧遥感图像进行目标跟踪时,需要建立的模型进行介绍:
由于静止轨道凝视卫星采集的遥感图像空间分辨率低,不能够提供较好的目标对象的细节和特征信息,因此,建立综合位置信息和幅度信息的目标对象模型zk:
zk=(lonk,latk,ampk)   (11)
其中,k为第k帧遥感图像的成像时刻(即本实施例中第k帧遥感图像对应的成像时刻为k时刻);(lonk,latk)为k时刻目标对象的位置信息(即经度信息和纬度信息),ampk为目标对象的目标幅度特征,则目标对象k时刻的状态xk可以表示为:
Figure BDA0002443230060000131
其中,λk
Figure BDA0002443230060000132
分别表示k时刻目标对象沿着经度和纬度方向的位置分量;
Figure BDA0002443230060000133
Figure BDA0002443230060000134
分别表示k时刻目标对象沿着经度和纬度方向的速度分量。ak为k时刻目标对象的目标幅度特征,由此建立目标对象的量测方程:
zk=Hkxk+wk   (13)
其中,测量噪声wk~N(0,Rk),噪声矩阵
Figure BDA0002443230060000135
σp是对位置求解模型校正后的位置信息沿经度和纬度方向定位标准差,σa是目标幅度的标准差,观测矩阵
Figure BDA0002443230060000136
目标对象相对于真北方向的航速sk和航向θk可以表示为:
Figure BDA0002443230060000137
Figure BDA00024432300600001318
其中,
Figure BDA0002443230060000139
Figure BDA00024432300600001310
分别表示k时刻目标对象沿着经度和纬度方向的速度分量。
时间间隔为T的两个成像时刻
Figure BDA00024432300600001311
Figure BDA00024432300600001312
之间的目标对象状态转移模型可以表示为:
Figure BDA00024432300600001313
其中,λ1
Figure BDA00024432300600001314
表示目标对象在第一成像时刻的位置和速度;λ2
Figure BDA00024432300600001315
表示目标对象在第二成像时刻的位置和速度;
Figure BDA00024432300600001316
Figure BDA00024432300600001317
表示目标对象沿着经度和纬度方向的速度分量。
目标对象的运动模型为:
xk=fk-1(xk-1)+Gk-1vk-1   (17)
其中,fk-1为状态转移函数,Gk-1为过程噪声矩阵,vk-1为过程噪声,定义
Figure BDA0002443230060000141
vk-1~N(0,Bk)为多维高斯随机变量,
Figure BDA0002443230060000142
σv为过程噪声的标准差。综上得到:
Figure BDA0002443230060000143
式中,λk-1
Figure BDA0002443230060000148
分别表示k-1时刻目标对象沿着经度和纬度方向的位置分量,
Figure BDA0002443230060000144
Figure BDA0002443230060000145
分别表示k-1时刻目标对象沿着经度和纬度方向的速度分量;
Figure BDA0002443230060000146
Figure BDA0002443230060000147
分别表示k-1时刻目标对象沿着经度和纬度方向的加速度分量;Tk-1表示相邻两帧遥感图像之间的时间间隔;ak-1为k-1时刻目标对象的目标幅度特征。
上式为非线性,采用1阶扩展卡尔曼(Kalman)滤波进行状态预测和更新。
参见图3,该方法具体包括:
S301,检测当前帧遥感图像中包含的目标对象,并确定目标对象的像素坐标和目标幅度特征。
S302,根据目标对象的像素坐标和当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和目标对象的像素坐标,确定目标对象的目标位置信息。
S303,确定目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征。
具体的,结合上述介绍的模型,本步骤在确定目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征时,可以是根据公式(18),结合上一帧(即k-1时刻)遥感图像的成像时刻下目标对象的相关信息,计算目标对象在当前帧(即k时刻)遥感图像的成像时刻下的状态xk,并将计算得到的xk代入到公式(13)中,计算表征位置信息和幅度特征的zk,即可得到预测位置信息和预测幅度特征。
S304,根据目标对象的目标幅度特征、目标位置信息、预测位置信息和预测幅度特征,确定目标对象的行驶轨迹。
具体的,本步骤可以是基于MHT算法,将目标对象的目标幅度特征、目标位置信息作为第一输入,将目标对象的预测位置信息和预测幅度特征作为第二输入,形成波门,然后基于波门技术确定目标对象的行驶轨迹。
S305,根据目标对象及其行驶轨迹在上一帧遥感图像中的对数相似度,以及目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度增量,计算目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度。
具体的,本步骤可以是通过下述公式(19)计算目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度:
Lij(k)=Lij(k-1)+ΔLij(k)   (19)
其中,Lij(k)为第i个目标对象与第j条行驶轨迹在第k帧遥感图像中对应的对数相似度;Lij(k-1)为第i个目标对象与第j条行驶轨迹在第k-1帧遥感图像中对应的对数相似度;ΔLij(k)为第i个目标对象与第j条行驶轨迹在第k帧遥感图像中对应的对数相似度增量。为了提高目标跟踪的准确性,本实施例中的对数相似度增量包括运动状态相似度增量和幅度状态相似度增量,即:
Figure BDA0002443230060000151
其中,所述运动状态相似度增量的表达式为:
Figure BDA0002443230060000152
其中,
Figure BDA0002443230060000153
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的运动状态相似度增量;PD为检测概率;λf为虚警的空间密度;S为新息协方差矩阵;dij为第i个目标对象与第j条行驶轨迹之间的马氏距离;
所述幅度状态相似度增量的表达式为:
Figure BDA0002443230060000154
其中,
Figure BDA0002443230060000155
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的幅度状态相似度增量;ai为第i个目标对象的目标幅度特征;ampj表示第j条行驶轨迹的预测幅度特征;c1为奇异量测值出现概率。
S306,若目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,则将行驶轨迹作为目标对象在当前帧遥感图像中对应的跟踪轨迹。
具体的,本步骤可以是将S305计算得到的目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度,与预设的对数相似度阈值进行比较,如果大于对数相似度阈值,则保留该行驶轨迹,即将行驶轨迹作为目标对象在当前帧遥感图像中对应的跟踪轨迹。
可选的,由于目标对象中可能存在虚假目标,所以为了提高目标跟踪的准确性,本实施例除了引入对数相似度约束条件外,还可以引入距离约束条件。具体的可以是计算目标对象在当前帧遥感图像和上一帧遥感图像间的行驶距离;若目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,且行驶距离小于该目标对象的最大行驶距离,则将该行驶轨迹作为该目标对象在当前帧遥感图像中对应的跟踪轨迹。
具体的,可以是将目标对象在当前帧遥感图像的目标位置信息作为公式(6)中(lati,;loni)的输入,将目标对象在上一帧遥感图像的目标位置信息作为公式(6)中(latj,;lonj)的输入,基于公式(6)计算弧线长距离Dij作为目标对象在当前帧遥感图像和上一帧遥感图像间的行驶距离。然后判断该行驶距离是否小于目标对象的最大行驶距离。其中,目标对象的最大行驶距离可以是通过目标对象的最大行驶速度和相邻两帧遥感图像的成像间隔时间计算得到。如果目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,且行驶距离小于该目标对象的最大行驶距离,则本实施例将该驶轨迹作为该目标对象在当前帧遥感图像中对应的跟踪轨迹。
本实施例提供的基于静止轨道凝视卫星的遥感图像目标跟踪方法,确定静止轨道凝视卫星采集的当前遥感图像中包含的目标对象的像素坐标和目标幅度特征后;根据目标对象的像素坐标和当前遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型确定目标对象的目标位置信息;在对目标对象进行目标跟踪时,先预测目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征,结合目标对象在当前帧遥感图像中的目标位置信息和目标幅度特征,确定目标对象的行驶轨迹。在计算目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度时,所用的对数相似度增量包括运动状态相似度增量和幅度状态相似度增量,极大的提高了目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度的准确性,从而使得后续基于该对数相似度做出的是否保留该行驶轨迹的决定更为精准,极大的提高遥感图像目标跟踪的准确性。
实施例四
图4为本发明实施例四提供的一种基于静止轨道凝视卫星的遥感图像目标跟踪装置的结构框图,该装置可执行本发明实施例一到实施例三提供的基于静止轨道凝视卫星的遥感图像目标跟踪方法,具备执行方法相应的功能模块和有益效果。如图4所示,该装置可以包括:
目标检测模块401,用于检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;
目标位置确定模块402,用于根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;
目标跟踪模块403,用于根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪。
本实施例提供的基于静止轨道凝视卫星的遥感图像目标跟踪装置,检测到静止轨道凝视卫星采集的当前遥感图像中包含的目标对象后,确定目标对象的像素坐标和目标幅度特征;根据目标对象的像素坐标和当前遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型确定目标对象的目标位置信息,进而根据目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对当前帧遥感图像进行目标跟踪。本发明实施例在确定目标对象的位置信息时,先以目标对象的像素坐标和参考对象的参考位置信息为基准,校正位置求解模型,再通过校正后的该位置求解模型确定目标对象的目标位置信息,解决了静止轨道凝视卫星对目标对象定位误差大的问题,提高了目标对象的目标位置信息确定的准确性。且本发明实施例基于多假设跟踪算法对当前遥感图像进行目标跟踪时,不但依据目标对象的位置信息,还结合了其幅度特征,能够更为精准的确定出跟踪轨迹中的虚假轨迹,以提高基于静止轨道凝视卫星的遥感图像目标跟踪的准确性,为遥感图像的目标跟踪提供了一种新思路。
进一步的,上述目标检测模块401具体用于:
基于峰值信噪比局部显著图算法,检测当前帧遥感图像中包含的目标对象;
根据所述目标对象在所述当前帧遥感图像中的像素信息,确定所述目标对象的像素坐标和目标幅度特征。
进一步的,上述目标位置确定模块402包括:
关联对确定单元,用于根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为候选关联对;
关联对剔除单元,用于剔除所述候选关联对中的错误关联对,得到目标关联对;
模型构建单元,用于根据所述目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型。
进一步的,所述关联对剔除单元包括:
第一关联对剔除子单元,用于基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对,得到初筛选关联对;
第二关联对剔除子单元,用于从初筛选关联对中剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,得到目标关联对。
进一步的,所述第一关联对剔除子单元执行基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对的操作时,重复执行至少两次;
相应的,所述第一关联对剔除子单元每次执行基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对的操作时,具体用于:
将所述候选关联对随机分为第一关联对组和第二关联对组;其中,所述第一关联对组中包括至少三对候选关联对;
根据所述第一关联对组中的目标对象的像素坐标和参考对象的参考位置信息,求解误差补偿模型的模型参数,得到已知模型参数的误差补偿模型;其中,所述误差补偿模型用于表征参考对象的参考位置信息所对应的像素坐标,与目标对象的像素坐标之间的转换关系;
根据所述已知模型参数的误差补偿模型,和所述第二关联对组中的目标对象的像素坐标和参考对象的参考位置信息,计算所述第二关联对组中,各候选关联对的像素误差;
剔除第二关联对组中像素误差大于误差阈值的错误关联对,得到本次初筛选关联对。
进一步的,所述误差补偿模型的表达式为:
Figure BDA0002443230060000181
其中,(x,y)为目标对象的像素坐标;(x′,y′)为参考对象的参考位置信息对应的像素坐标;(ei,fi)为误差补偿模型的模型参数。
进一步的,所述装置还包括:
成像信息确定模块,用于确定所述当前帧遥感图像的成像范围和成像时刻;
参考对象确定模块,用于基于第三方检测系统,查找所述成像时刻在所述成像范围内的参考对象,并获取所述参考对象的参考位置信息。
进一步的,上述目标跟踪模块403包括:
信息预测单元,用于确定所述目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征;
行驶轨迹确定单元,用于根据所述目标对象的目标幅度特征、目标位置信息、预测位置信息和预测幅度特征,确定所述目标对象的行驶轨迹;
对数相似度计算单元,用于根据所述目标对象及其行驶轨迹在上一帧遥感图像中的对数相似度,以及所目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度增量,计算所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度;其中,所述对数相似度增量包括运动状态相似度增量和幅度状态相似度增量;
跟踪轨迹确定单元,用于若所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,则将所述行驶轨迹作为所述目标对象在当前帧遥感图像中对应的跟踪轨迹。
进一步的,所述运动状态相似度增量的表达式为:
Figure BDA0002443230060000191
其中,
Figure BDA0002443230060000192
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的运动状态相似度增量;PD为检测概率;λf为虚警的空间密度;S为新息协方差矩阵;dij为第i个目标对象与第j条行驶轨迹之间的马氏距离;
所述幅度状态相似度增量的表达式为:
Figure BDA0002443230060000193
其中,
Figure BDA0002443230060000194
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的幅度状态相似度增量;ai为第i个目标对象的目标幅度特征;ampj表示第j条行驶轨迹的预测幅度特征;c1为奇异量测值出现概率。
进一步的,上述目标跟踪模块403还包括:
行驶距离确定单元,用于计算目标对象在当前帧遥感图像和上一帧遥感图像间的行驶距离;
上述跟踪轨迹确定单元,用于若所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,且所述行驶距离小于所述目标对象的最大行驶距离,则将所述行驶轨迹作为所述目标对象在当前帧遥感图像中对应的跟踪轨迹。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备50的框图。图5显示的设备50仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图5所示,该设备50以通用计算设备的形式表现。该设备50的组件可以包括但不限于:一个或者多个处理器或者处理单元501,系统存储器502,连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)504和/或高速缓存存储器505。设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508,可以存储在例如系统存储器502中,这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信,还可与一个或者多个使得用户能与该设备交互的设备通信,和/或与使得该设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且,设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器512通过总线503与设备50的其它模块通信。应当明白,尽管图中未示出,可以结合设备50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元501通过运行存储在系统存储器502中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的基于静止轨道凝视卫星的遥感图像目标跟踪方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述实施例所述的基于静止轨道凝视卫星的遥感图像目标跟踪方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员应该明白,上述的本发明实施例的各模块或各操作可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于静止轨道凝视卫星的遥感图像目标跟踪方法,其特征在于,包括:
检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;
根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;
根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪;
根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,包括:
根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为候选关联对;
剔除所述候选关联对中的错误关联对,得到目标关联对;
根据所述目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型;
剔除所述候选关联对中的错误关联对,得到目标关联对,包括:
基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对,得到初筛选关联对;
从初筛选关联对中剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,得到目标关联对;具体的,根据第三方检测系统提供的各参考对象的名称、标识等固定不变的属性信息,判断初筛选关联对中的各参考对象是否也都出现在各历史帧的遥感图像中;若不存在,则将其所属的候选关联对从初筛选关联对中剔除,得到二次筛选关联对;获取该二次筛选关联对中的目标对象的历史行驶轨迹集合以及参考对象的历史行驶轨迹集合;计算目标对象的历史行驶轨迹集合与参考对象的历史行驶轨迹集合之间的轨迹相似度,作为所述目标对象所属二次筛选关联对的轨迹相似度,将计算的各二次筛选关联对对应的轨迹相似度,与设定的轨迹相似度阈值进行比较,从二次筛选关联对中,剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,剩余的二次筛选关联对即为最终的目标关联对;
所述根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,包括:
每一帧遥感图像都校正一次位置求解模型;或,
选择第一帧遥感图像校正位置求解模型后,将第一帧遥感图像校正的位置求解模型作为后续各帧遥感图像的校正后的位置求解模型;
根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪,包括:
确定所述目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征;
根据所述目标对象的目标幅度特征、目标位置信息、预测位置信息和预测幅度特征,确定所述目标对象的行驶轨迹;
根据所述目标对象及其行驶轨迹在上一帧遥感图像中的对数相似度,以及所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度增量,计算所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度;其中,所述对数相似度增量包括运动状态相似度增量和幅度状态相似度增量;
计算目标对象在当前帧遥感图像和上一帧遥感图像间的行驶距离;
若所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,且所述行驶距离小于所述目标对象的最大行驶距离,则将所述行驶轨迹作为所述目标对象在当前帧遥感图像中对应的跟踪轨迹。
2.根据权利要求1所述的方法,其特征在于,检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征,包括:
基于峰值信噪比局部显著图算法,检测当前帧遥感图像中包含的目标对象;
根据所述目标对象在所述当前帧遥感图像中的像素信息,确定所述目标对象的像素坐标和目标幅度特征。
3.根据权利要求1所述的方法,其特征在于,所述基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对的操作,重复执行至少两次;
相应的,每一次基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对时,包括:
将所述候选关联对随机分为第一关联对组和第二关联对组;其中,所述第一关联对组中包括至少三对候选关联对;
根据所述第一关联对组中的目标对象的像素坐标和参考对象的参考位置信息,求解误差补偿模型的模型参数,得到已知模型参数的误差补偿模型;其中,所述误差补偿模型用于表征参考对象的参考位置信息所对应的像素坐标,与目标对象的像素坐标之间的转换关系;
根据所述已知模型参数的误差补偿模型,和所述第二关联对组中的目标对象的像素坐标和参考对象的参考位置信息,计算所述第二关联对组中,各候选关联对的像素误差;
剔除所述第二关联对组中像素误差大于误差阈值的错误关联对,得到本次初筛选关联对。
4.根据权利要求3所述的方法,其特征在于,所述误差补偿模型的表达式为:
Figure FDA0004108600850000031
其中,(x,y)为目标对象的像素坐标;(x′,y′)为参考对象的参考位置信息对应的像素坐标;(ei,fi)为误差补偿模型的模型参数。
5.根据权利要求1所述的方法,其特征在于,根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型之前,还包括:
确定所述当前帧遥感图像的成像范围和成像时刻;
基于第三方检测系统,查找所述成像时刻在所述成像范围内的参考对象,并获取所述参考对象的参考位置信息。
6.根据权利要求1所述的方法,其特征在于,所述运动状态相似度增量的表达式为:
Figure FDA0004108600850000041
其中,
Figure FDA0004108600850000042
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的运动状态相似度增量;PD为检测概率;λf为虚警的空间密度;S为新息协方差矩阵;dij为第i个目标对象与第j条行驶轨迹之间的马氏距离;
所述幅度状态相似度增量的表达式为:
Figure FDA0004108600850000043
其中,
Figure FDA0004108600850000044
为第i个目标对象与第j条行驶轨迹,在第k帧遥感图像中对应的幅度状态相似度增量;ai为第i个目标对象的目标幅度特征;ampj表示第j条行驶轨迹的预测幅度特征;c 1为奇异量测值出现概率。
7.一种基于静止轨道凝视卫星的遥感图像目标跟踪装置,其特征在于,包括:
目标检测模块,用于检测当前帧遥感图像中包含的目标对象,并确定所述目标对象的像素坐标和目标幅度特征;
目标位置确定模块,用于根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,并基于校正后的位置求解模型和所述目标对象的像素坐标,确定所述目标对象的目标位置信息;
目标跟踪模块,用于根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪;
进一步的,上述目标位置确定模块包括:
关联对确定单元,用于根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,确定具有关联关系的目标对象和参考对象,作为候选关联对;
关联对剔除单元,用于剔除所述候选关联对中的错误关联对,得到目标关联对;
模型构建单元,用于根据所述目标关联对中的目标对象的像素坐标和参考对象的参考位置信息,更新位置求解模型的模型参数信息,以得到校正后的位置求解模型;
进一步的,所述关联对剔除单元包括:
第一关联对剔除子单元,用于基于随机一致性抽样算法,从候选关联对中剔除像素误差大于误差阈值的错误关联对,得到初筛选关联对;
第二关联对剔除子单元,用于从初筛选关联对中剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,得到目标关联对;
具体的,根据第三方检测系统提供的各参考对象的名称、标识等固定不变的属性信息,判断初筛选关联对中的各参考对象是否也都出现在各历史帧的遥感图像中;若不存在,则将其所属的候选关联对从初筛选关联对中剔除,得到二次筛选关联对;获取该二次筛选关联对中的目标对象的历史行驶轨迹集合以及参考对象的历史行驶轨迹集合;计算目标对象的历史行驶轨迹集合与参考对象的历史行驶轨迹集合之间的轨迹相似度,作为所述目标对象所属二次筛选关联对的轨迹相似度,将计算的各二次筛选关联对对应的轨迹相似度,与设定的轨迹相似度阈值进行比较,从二次筛选关联对中,剔除轨迹相似度小于等于轨迹相似度阈值的错误关联对,剩余的二次筛选关联对即为最终的目标关联对;
所述根据所述目标对象的像素坐标和所述当前帧遥感图像对应的参考对象的参考位置信息,校正位置求解模型,包括:
每一帧遥感图像都校正一次位置求解模型;或,
选择第一帧遥感图像校正位置求解模型后,将第一帧遥感图像校正的位置求解模型作为后续各帧遥感图像的校正后的位置求解模型;
根据所述目标对象的目标幅度特征和目标位置信息,采用多假设跟踪算法对所述当前帧遥感图像进行目标跟踪,包括:
确定所述目标对象在当前帧遥感图像中的预测位置信息和预测幅度特征;
根据所述目标对象的目标幅度特征、目标位置信息、预测位置信息和预测幅度特征,确定所述目标对象的行驶轨迹;
根据所述目标对象及其行驶轨迹在上一帧遥感图像中的对数相似度,以及所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度增量,计算所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度;其中,所述对数相似度增量包括运动状态相似度增量和幅度状态相似度增量;
计算目标对象在当前帧遥感图像和上一帧遥感图像间的行驶距离;
若所述目标对象及其行驶轨迹在当前帧遥感图像中的对数相似度大于对数相似度阈值,且所述行驶距离小于所述目标对象的最大行驶距离,则将所述行驶轨迹作为所述目标对象在当前帧遥感图像中对应的跟踪轨迹。
CN202010271262.7A 2020-04-08 2020-04-08 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置 Active CN111402299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010271262.7A CN111402299B (zh) 2020-04-08 2020-04-08 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010271262.7A CN111402299B (zh) 2020-04-08 2020-04-08 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN111402299A CN111402299A (zh) 2020-07-10
CN111402299B true CN111402299B (zh) 2023-05-05

Family

ID=71431506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010271262.7A Active CN111402299B (zh) 2020-04-08 2020-04-08 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN111402299B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686095B (zh) * 2020-12-04 2022-08-19 中国人民解放军海军航空大学 一种静止轨道凝视卫星遥感图像舰船目标航迹关联方法
CN112862863B (zh) * 2021-03-04 2023-01-31 广东工业大学 一种基于状态机的目标跟踪定位方法
CN113393497B (zh) * 2021-07-07 2022-08-09 中国人民解放军海军航空大学 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备
CN115100541B (zh) * 2022-07-21 2023-06-06 米脂县宇宝北斗农业发展有限公司 一种卫星遥感数据的处理方法、系统及云平台
CN115359423A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的区域识别方法、装置、设备及存储介质
CN116188519B (zh) * 2023-02-07 2023-10-03 中国人民解放军海军航空大学 一种基于视频卫星的舰船目标运动状态估计方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859245A (zh) * 2019-01-22 2019-06-07 深圳大学 视频目标的多目标跟踪方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859245A (zh) * 2019-01-22 2019-06-07 深圳大学 视频目标的多目标跟踪方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A Novel Ship-Tracking Method for GF-4 Satellite Sequential Images";Libo Yao et al.;《sensors》;20180622;第1-14页 *

Also Published As

Publication number Publication date
CN111402299A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402299B (zh) 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN112526513B (zh) 基于聚类算法的毫米波雷达环境地图构建方法及装置
CN109543680B (zh) 兴趣点的位置确定方法、装置设备和介质
US20050190951A1 (en) Composite Hough transform for multitarget multisensor tracking
EP3505958B1 (en) System and method for integration of data received from gmti radars and electro optical sensors
CN110081881A (zh) 一种基于无人机多传感器信息融合技术的着舰引导方法
CN115375870B (zh) 回环检测优化方法、电子设备及计算机可读存储装置
CN116907509A (zh) 基于图像匹配的auv水下辅助导航方法、系统、设备及介质
CN111443370B (zh) 车辆定位方法、装置、设备及车辆
CN116953744A (zh) 一种导航卫星非视距信号识别方法和导航卫星定位方法
EP3657212A1 (en) Method and system of decomposition of composite targets on elements of a radar target signature with a super-resolution, using the total signal spectrum
CN109389119B (zh) 兴趣点区域确定方法、装置、设备和介质
CN109270566B (zh) 导航方法、导航效果测试方法、装置、设备和介质
CN111397602A (zh) 一种宽频电磁指纹与组合导航融合的高精度定位方法与设备
RU7755U1 (ru) Пилотажно-навигационный комплекс
CN115147482A (zh) 一种位姿初始化方法
CN114035189A (zh) 一种道路隐患定位方法、装置、电子设备及存储介质
CN109829440B (zh) 一种检测道路差异的方法、装置、电子设备及存储介质
CN116704037B (zh) 一种基于图像处理技术的卫星失锁重定位方法及系统
CN111428608B (zh) 交通工具定位方法、装置、计算机设备和存储介质
CN113819918B (zh) 一种定位方法、装置、电子设备以及存储介质
CN114593751B (zh) 外参标定方法、装置、介质及电子设备
WO2024139465A1 (zh) 定位信息处理方法、装置、设备和介质
Yang et al. Evaluation of covariance and information performance measures for dynamic object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant