CN111260694A - 卫星遥感视频目标跟踪方法及装置 - Google Patents
卫星遥感视频目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN111260694A CN111260694A CN202010084747.5A CN202010084747A CN111260694A CN 111260694 A CN111260694 A CN 111260694A CN 202010084747 A CN202010084747 A CN 202010084747A CN 111260694 A CN111260694 A CN 111260694A
- Authority
- CN
- China
- Prior art keywords
- frame
- detected
- target
- template frame
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明实施例提供一种卫星遥感视频目标跟踪方法及装置，方法包括将模板帧和待检测帧进行角度一致性处理；利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和待检测帧的初始特征图分解为低频分量部分和高频分量部分，借助OctConv对包含两种不同分量的特征图进行卷积运算，通过Octave CNN网络生成模板帧特征和待检测帧特征，通过基网络SiamRPN确定目标待检测帧；将目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。本发明进行跟踪目标角度一致性操作，提高了目标跟踪的精度。本发明采用多频特征表示方式进行特征增强，使得特征表达能力增强，跟踪识别能力增强。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种卫星遥感视频目标跟踪方法 及装置。
背景技术
目前，基于卫星视频的目标跟踪领域逐步发展，在军事侦查、机场港口 等大范围区域机动目标监管和灾害救援等任务中的作用愈发明显，与此同时 由于卫星平台自身特性给视频跟踪带来了极大的难度。如今大部分主流跟踪 算法有效地解决在自然场景中的跟踪难题，然而基于卫星平台的视频跟踪任 务，受到高动态目标类内尺寸差异大、高动态目标旋转变化多、背景复杂导 致的易混干扰目标多等因素影响，使得跟踪算法的跟踪性能受到极大影响。 因此，如何有效地设计出鲁棒性强的跟踪算法，成为当前基于卫星平台的视 频跟踪任务的难点之一。
针对视频跟踪领域而言，由于目标跟踪技术不断取得新的进展和突破， 国内外涌现出了大量创新的方法，其中以相关滤波类算法和深度学习类算法 最具代表性。相关滤波类算法的引入使得跟踪算法在时效性方面有较大的提 升，但大部分相关滤波类算法对于卫星拍摄的大范围场景中复杂背景干扰、 相似物易混淆等情况仍然存在较大缺陷，难以获得较高的跟踪准确性。
另外，深度学习类算法的引入对于复杂场景下的跟踪性能有较大程度上 地提升，在跟踪精度方面颇受关注。然而，深度学习类算法往往需要引入在 线调整机制，导致其在跟踪速度上有所欠缺。
SiamRPN是最近提出的在传统全卷积孪生网络基础上引入区域候选 (RPN)模块的高性能跟踪算法，进一步提升了多尺度测试的能力，有效地 确保了跟踪精度。然而由于基于卫星平台拍摄的跟踪视频中背景通常较为复 杂，目标特征显著性不足，使得跟踪过程中目标容易与易混虚警产生混淆， 并且由于高动态目标类内尺寸差异大和目标自身旋转变化多的特性，使得目 标难以被正确捕获，特别是难以维持长时稳定的跟踪。
发明内容
针对现有技术中的问题，本发明实施例提供一种卫星遥感视频目标跟踪 方法及装置。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种卫星遥感视频目标跟踪方法，包括：
利用Textboxes++网络获取模板帧和多个待检测帧的角度信息，并将模板 帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪 遥感目标；
利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的 初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分 量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道， 借助OctConv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增 强特征图和多个待检测帧的增强特征图；
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和 回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧；
将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出 结果为斜框跟踪。
进一步地，所述利用Textboxes++网络获取模板帧和多个待检测帧的角度 信息，并将模板帧和多个待检测帧进行角度一致性处理，具体包括：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box 中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息 的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的 default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示， 回归出来的带有角度信息的阈值框以四点坐标
进行 表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-” 高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中 待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角 度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模 型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的 角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度 Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧 中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检 测分支。
进一步地，所述利用插片式OctConv卷积操作方式将经过角度一致化 处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留 图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别 存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行 卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图，具体 包括：
利用插片式Octconv卷积操作方式，定义X,Y为卷积层输入特征张量 和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频 率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积 核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和XL进行卷积构建输出 张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表 频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷 积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统 一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表 低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一 层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为 ain＝aout＝a。
进一步地，将所述模板帧的增强特征图和多个待检测帧的增强特征图通 过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分 类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧，具 体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后 分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加至4k 的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧 特征
和回归分支的待检测帧特征
其中k代表anchor box数量；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选 择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选 帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此 时根据所对应的n值确定最终的目标待检测帧。
第二方面，本发明实施例提供了一种卫星遥感视频目标跟踪装置，包括：
角度一致性处理模块，用于利用Textboxes++网络获取模板帧和多个待检 测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中， 所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块，用于利用插片式OctConv卷积操作方式将经过角度 一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保 留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别 存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行卷 积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块，用于将所述模板帧的增强特征图和多个待检测帧的增强 特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积 层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检 测帧；
斜框跟踪模块，用于将所述目标待检测帧映射到原来的图像上，并进行 坐标变换，使得输出结果为斜框跟踪。
进一步地，所述角度一致性处理模块，具体用于：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box 中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息 的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的 default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示， 回归出来的带有角度信息的阈值框以四点坐标
进行 表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-” 高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中 待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角 度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模 型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的 角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度 Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧 中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检 测分支。
进一步地，所述多频特征表示模块，具体用于：
利用插片式Octconv卷积操作方式，定义X,Y为卷积层输入特征张量 和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频 率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积 核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和XL进行卷积构建输出 张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表 频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷 积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统 一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表 低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一 层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为 ain＝aout＝a。
进一步地，所述网络构建模块，具体用于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后 分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加至4k 的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧 特征
和回归分支的待检测帧特征
其中k代表anchor box数量；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选 择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选 帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此 时根据所对应的n值确定最终的目标待检测帧。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述 程序时实现如第一方面所述卫星遥感视频目标跟踪方法的步骤。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其 上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述卫 星遥感视频目标跟踪方法的步骤。
由上面技术方案可知，本发明实施例提供的卫星遥感视频目标跟踪方法 及装置，考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行跟 踪目标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感目标 较为频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为突出。 此外，本发明实施例考虑卫星平台的遥感目标跟踪视场一般具有背景复杂、 干扰目标多等特点，对于跟踪精度方面会造成较大程度上的影响，因此，本 发明实施例采用多频特征表示方式进行特征增强，使得特征表达能力增强，识别能力增强，同时还降低了信息冗余度，有利于更准确地追踪目标的方向 信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的卫星遥感视频目标跟踪方法的流程图；
图2为本发明一实施例提供的卫星遥感视频目标跟踪方法的总流程图；
图3为本发明一实施例提供的基于多频特征表示的特征增强提取的具体 操作过程示意图；
图4为本发明一实施例提供的卫星遥感视频目标跟踪装置的结构示意 图；
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。
SiamRPN是最近提出的在传统全卷积孪生网络基础上引入区域候选 (RPN)模块的高性能跟踪算法，进一步提升了多尺度测试的能力，有效地 确保了跟踪精度。然而由于基于卫星平台拍摄的跟踪视频中背景通常较为复 杂，目标特征显著性不足，使得跟踪过程中目标容易与易混虚警产生混淆， 并且由于高动态目标类内尺寸差异大和目标自身旋转变化多的特性，使得目 标难以被正确捕获，特别是难以维持长时稳定的跟踪。针对该问题，本发明 实施例基于SiamRPN的基网络引入多频率特征表示方法和变角度自适应策 略，提出了一种新型有效的基于角度一致性SiamRPN的卫星遥感目标跟踪方 法。本发明实施例提供的方法能够在拥有深度学习类算法高精确度优点的同 时，弥补了跟踪速度较慢的缺陷，逐渐向兼顾精度和速度的方向发展。下面 将通过具体实施例对本发明提供的卫星遥感视频目标跟踪方法及装置进行 解释说明。
图1示出了本发明实施例提供的卫星遥感视频目标跟踪方法的流程 图。如图1所示，本发明实施例提供的卫星遥感视频目标跟踪方法包括如 下步骤：
步骤101：利用Textboxes++网络获取模板帧和多个待检测帧的角度信息， 并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含 有待跟踪遥感目标；
在本步骤中，先进行角度信息提取并进行角度一致性处理。例如可以首 先引入Textboxes++网络，在特征图上运用Text-box layer预测目标存在概率， 得到模板帧中待跟踪遥感目标带有角度信息的边界框和模板帧的角度信息， 然后利用Textboxes++网络获得待检测帧图像的角度信息并将其进行角度一 致性处理。
步骤102：利用插片式OctConv卷积操作方式将经过角度一致化处理后 的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信 息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不 同的通道，借助OctConv对包含两种不同分量的特征图进行卷积运算，获得 模板帧的增强特征图和多个待检测帧的增强特征图；
在本步骤中，OctConv卷积是指八度卷积Octave Convolution(简称 OctConv)。
在本步骤中，经过上一步角度信息提取和角度一致性变化后，利用“插片 式”OctConv卷积操作方式将输出的模板帧特征图和待检测帧特征图分解为保 留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别 存储在两个不同的通道，并借助Octave Convolution以对包含两种不同分量的 特征图进行卷积运算。
步骤103：将所述模板帧的增强特征图和多个待检测帧的增强特征图通 过OctaveCNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分 类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧；
在本步骤中，经过上一步图像的特征提取，通过Octave CNN网络生成模 板帧特征和待检测帧特征，经过一个3×3卷积层生成分类分支和回归分支； 通过基网络SiamRPN确定最终的目标待检测帧。
步骤104：将所述目标待检测帧映射到原来的图像上，并进行坐标变换， 使得输出结果为斜框跟踪。
在本步骤中，将最终的目标待检测帧进行坐标变化映射到原图像，使输 出结果变为斜框跟踪。
由上面技术方案可知，本发明实施例提供的卫星遥感视频目标跟踪方 法，考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行跟踪目 标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感目标较为 频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为突出。此外， 本发明实施例考虑卫星平台的遥感目标跟踪视场一般具有背景复杂、干扰目 标多等特点，对于跟踪精度方面会造成较大程度上的影响，因此，本发明实 施例采用多频特征表示方式进行特征增强，使得特征表达能力增强，识别能 力增强，同时还降低了信息冗余度，有利于更准确地追踪目标的方向信息。
下面结合图2对本实施例提供卫星遥感目标跟踪方法进行详细说明。如 图2所示，该方法包括以下处理过程：
第一步：角度信息提取并进行角度一致性处理
第1.1步预测目标存在概率和输出边界框：在Textboxes++模块将模板 帧的角度信息提取出来，Text-box layer将在特征图上预测Box中目标存在概 率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框。以b0代表与模 板帧中待跟踪遥感目标的groundtruth相匹配的default box。其中，default box 以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈 值框以四点坐标
进行表示，得到四点坐标分别是 在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-”高度的一半。通过位置偏置 (Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)进一步得出模板帧中待跟踪遥 感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)。
第1.2步获得模板帧图像的角度信息：用α
表示输出的带有 角度信息的边界框的长边框与横轴x正方向所夹角度，进而获取模板帧的角 度信息，计算公式如下
第1.3步获得待检测帧图像的角度信息并进行角度一致性处理：以 β代表当前待检测帧中待跟踪遥感目标的角度信息。选择每隔十帧将待检 测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的角度信息以 进行角度一致性变化。以Δθn表示待检测帧图像需要旋转的角度。将待检 测帧图像分别旋转角度Δθ1＝β-α和Δθ2＝β-α+π，使待跟踪遥感目标旋转至与 模板帧中目标相同角度，并将旋转不同角度后的待检测帧图像作为候选帧 送入待检测分支。
第二步：基于多频特征表示的特征增强提取
利用“插片式”Octconv卷积操作方式，定义X,Y为卷积层输入特征张量 和输出特征张量，W为与之匹配的卷积核。输入特征张量X按照高、低频 率分量因式分解为X＝{XH,XL}，输出特征张量Y由此因式分解为Y＝{YH,YL}。 卷积核W按照高、低频分量可分解为W＝{WH,WL}，分别与XH和XL进行卷积构 建输出张量。输出特征张量从而表示为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中L→H、H→L代表不同频率间的信息传递，L→L、H→H代表频 率自身的信息更新，该步骤中介绍的基于多频特征表示的特征增强提取的 具体操作过程如图3所示。
在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷积操作； 在YH→L的构建中，对XH进行平均池化操作。在YL的构建中，统一采用传 统卷积方式进行运算。同时定义一个比例因子a，其代表低频分量的占比。 第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数 分别设定为ain＝a,aout＝0，中间的隐藏层的超参数a设定为ain＝aout＝a。
第三步：孪生SiamRPN基网络的构建
第3.1步生成分类分支和回归分支：模板帧和待检测帧通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层 后分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加 至4k的回归分支的模板帧特征
并产生通道数不变的分类分支的待 检测帧特征
和回归分支的待检测帧特征
其中k代表anchor box数量,anchor box采用[0.33,0.5,1,2,3]五种不同的长宽比。
第3.2步最终待检测帧的确定：通过基网络SiamRPN，分别求得作 为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相 应的响应值点集。当其中一个候选帧中的待跟踪目标旋转至与模板帧中目 标方向一致时，响应会大大增加，效果最好。根据其所对应的n值确定最 终的待检测帧。
第四步：输出结果的确定
待检测帧映射到原来的图像上时，坐标进行变换，使输出结果变成一 种斜框跟踪。
由此可见，本实施例提供的卫星遥感目标跟踪方法，首先选择基于区 域建议的孪生网络(SiamRPN)作为基网络架构，以获取自然的多尺度测 试能力，适应目标类内尺寸的差异性。然后在特征提取阶段，引入一种新 型的多频率特征表示方式，使用Octconv替换基网络中AlexNet中的各层 卷积运算，以增强特征表达能力，减轻目标周域背景复杂带来的影响。在 待检测帧候选样本生成阶段，构建变角度自适应模块，采用Textboxes++ 提取样本角度信息并对待检测帧图像进行角度一致性变化操作，从而适应 待跟踪目标的旋转变化。最后，对最终待检测帧进行坐标变换映射到原来 的图像上，使输出结果变成一种斜框跟踪。
基于上述实施例的内容，在本实施例中，所述利用Textboxes++网络获取 模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一 致性处理，具体包括：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box 中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息 的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的 default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示， 回归出来的带有角度信息的阈值框以四点坐标
进行 表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-” 高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中 待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角 度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模 型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的 角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度 Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧 中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检 测分支。
在本实施例中，采用Textboxes++提取样本角度信息并对待检测帧图 像进行角度一致性变化操作，从而适应待跟踪目标的旋转变化。由此可见， 本实施例考虑卫星遥感目标跟踪的过程中会有目标角度的旋转变化，进行 跟踪目标角度一致性操作，提高目标跟踪的精度，有效地处理待跟踪遥感 目标较为频繁的旋转变化，在目标旋转变化多的长时跟踪视频中表现尤为 突出。
基于上述实施例的内容，在本实施例中，所述利用插片式OctConv卷 积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检 测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像 细节信息的高频分量部分，分别存储在两个不同的通道，借助OctConv对 包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多 个待检测帧的增强特征图，具体包括：
利用插片式OctConv卷积操作方式，定义X,Y为卷积层输入特征张量 和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频 率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积 核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和XL进行卷积构建输出 张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表 频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷 积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统 一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表 低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一 层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为 ain＝aout＝a。
在本实施例中，在特征提取阶段，引入了一种新型的多频率特征表示 方式，使用OctConv替换基网络中AlexNet中的各层卷积运算，以增强特 征表达能力，减轻目标周域背景复杂带来的影响。本实施例采用多频特征 表示方式进行特征增强，使得特征表达能力增强，识别能力增强，同时还 降低了信息冗余度，因此，有利于更准确地追踪目标的方向信息。
基于上述实施例的内容，在本实施例中，将所述模板帧的增强特征图 和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征和多 个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络 SiamRPN确定最终的目标待检测帧，具体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后 分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加至4k 的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧 特征
和回归分支的待检测帧特征
其中k代表anchor box数量， anchor box采用[0.33,0.5,1,2,3]五种不同的长宽比；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选 择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选 帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此 时根据所对应的n值确定最终的目标待检测帧。
在本实施例中，选择基于区域建议的孪生网络(SiamRPN)作为基网 络架构，以获取自然的多尺度测试能力，适应目标类内尺寸的差异性。然 后在待检测帧候选样本生成阶段，构建变角度自适应模块，最后，对最终 待检测帧进行坐标变换映射到原来的图像上，使输出结果变成一种斜框跟 踪。
图4示出了本发明实施例提供的卫星遥感视频目标跟踪装置的结构示意 图。如图4所示，本发明实施例提供的卫星遥感视频目标跟踪装置包括：角 度一致性处理模块21、多频特征表示模块22、网络构建模块23和斜框跟踪 模块24，其中：
角度一致性处理模块21，用于利用Textboxes++网络获取模板帧和多个 待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其 中，所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块22，用于利用插片式OctConv卷积操作方式将经过角 度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为 保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分 别存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行 卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块23，用于将所述模板帧的增强特征图和多个待检测帧的增 强特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷 积层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待 检测帧；
斜框跟踪模块24，用于将所述目标待检测帧映射到原来的图像上，并进 行坐标变换，使得输出结果为斜框跟踪。
基于上述实施例的内容，在本实施例中，所述角度一致性处理模块21， 具体用于：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box 中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息 的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的 default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示， 回归出来的带有角度信息的阈值框以四点坐标
进行 表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-” 高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中 待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角 度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模 型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的 角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度 Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧 中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检 测分支。
基于上述实施例的内容，在本实施例中，所述多频特征表示模块22， 具体用于：
利用插片式Octconv卷积操作方式，定义X,Y为卷积层输入特征张量 和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频 率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积 核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和XL进行卷积构建输出 张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表 频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷 积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统 一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表 低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一 层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
基于上述实施例的内容，在本实施例中，所述网络构建模块23，具体用 于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后 分别产生通道数增加至2k的分类分支的模板帧特征和通道数增加至4k 的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧 特征
和回归分支的待检测帧特征
其中k代表anchor box数量， anchor box采用[0.33,0.5,1,2,3]五种不同的长宽比；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选 择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选 帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此 时根据所对应的n值确定最终的目标待检测帧。
由于本发明实施例提供的卫星遥感视频目标跟踪装置，可以用于执行上 述实施例所述的卫星遥感视频目标跟踪方法，其工作原理和有益效果类似， 故此处不再详述，具体内容可参见上述实施例的介绍。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图 5，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303 和通信总线304；
其中，所述处理器301、存储器302、通信接口303通过所述通信总线 304完成相互间的通信；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器 执行所述计算机程序时实现上述卫星遥感视频目标跟踪方法的全部步骤，例 如，所述处理器执行所述计算机程序时实现下述过程：利用Textboxes++网络 获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角 度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多 个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助OctConv对 包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个 待检测帧的增强特征图；将所述模板帧的增强特征图和多个待检测帧的增强 特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积 层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检 测帧；将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输 出结果为斜框跟踪。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照 上面实施例的描述。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读 存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程 序被处理器执行时实现上述卫星遥感视频目标跟踪方法的全部步骤，例如， 所述处理器执行所述计算机程序时实现下述过程：利用Textboxes++网络获取 模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一 致性处理；其中，所述模板帧中包含有待跟踪遥感目标；利用插片式OctConv 卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测 帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信 息的高频分量部分，分别存储在两个不同的通道，借助OctConv对包含两种 不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧 的增强特征图；将所述模板帧的增强特征图和多个待检测帧的增强特征图通 过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分 类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧；将 所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为 斜框跟踪。
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照 上面实施例的描述。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并 作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。 基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部 分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产 品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是 个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的 全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说 明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以 是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多 个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现 本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的 情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各 实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡 献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在 计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用 以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 执行各个实施例或者实施例的某些部分所述的卫星遥感视频目标跟踪方 法。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个 实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实 体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含” 或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的 过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的 其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。 在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书 中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中 以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以 将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种卫星遥感视频目标跟踪方法，其特征在于，包括：
利用Textboxes++网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧；
将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
2.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，所述利用Textboxes++网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理，具体包括：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
进行表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-”高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
3.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，所述利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图，具体包括：
利用插片式OctConv卷积操作方式，定义X,Y为卷积层输入特征张量和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和XL进行卷积构建输出张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
4.根据权利要求1所述的卫星遥感视频目标跟踪方法，其特征在于，将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧，具体包括：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加至4k的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧特征
和回归分支的待检测帧特征
其中k代表anchor box数量；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
5.一种卫星遥感视频目标跟踪装置，其特征在于，包括：
角度一致性处理模块，用于利用Textboxes++网络获取模板帧和多个待检测帧的角度信息，并将模板帧和多个待检测帧进行角度一致性处理；其中，所述模板帧中包含有待跟踪遥感目标；
多频特征表示模块，用于利用插片式OctConv卷积操作方式将经过角度一致化处理后的模板帧的初始特征图和多个待检测帧的初始特征图分解为保留图像粗略信息的低频分量部分和保留图像细节信息的高频分量部分，分别存储在两个不同的通道，借助OctConv对包含两种不同分量的特征图进行卷积运算，获得模板帧的增强特征图和多个待检测帧的增强特征图；
网络构建模块，用于将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征和多个待检测帧特征，并经卷积层生成分类分支和回归分支，以及通过基网络SiamRPN确定最终的目标待检测帧；
斜框跟踪模块，用于将所述目标待检测帧映射到原来的图像上，并进行坐标变换，使得输出结果为斜框跟踪。
6.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述角度一致性处理模块，具体用于：
将模板帧送入Textboxes++网络，利用Text-box layer在特征图上预测Box中待跟踪遥感目标存在概率，并输出模板帧中待跟踪遥感目标带有角度信息的边界框，以b0代表与模板帧中待跟踪遥感目标的ground truth相匹配的default box；其中，default box以中心点坐标和宽高b0＝(x0,y0,w0,h0)进行表示，回归出来的带有角度信息的阈值框以四点坐标
进行表示，得到四点坐标分别是在x轴上“+”、“-”宽度的一半，在y轴上“+”、“-”高度的一半，通过位置偏置(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)得出模板帧中待跟踪遥感目标带有角度信息的边界框q＝(x1,y1,x2,y2,x3,y3,x4,y4)；
用α表示输出的带有角度信息的边界框的长边框与横轴x正方向所夹角度，按照第一关系模型获取模板帧的角度信息；其中，
第一关系模型为：
将待检测帧送入Textboxes++网络获取待检测帧中待跟踪遥感目标的角度信息β；
以Δθn表示待检测帧图像需要旋转的角度，将待检测帧分别旋转角度Δθ1＝β-α和Δθ2＝β-α+π，使待检测帧中的待跟踪遥感目标旋转至与模板帧中的目标相同角度，并将旋转不同角度后的待检测帧作为候选帧送入待检测分支。
7.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述多频特征表示模块，具体用于：
利用插片式OctConv卷积操作方式，定义X,Y为卷积层输入特征张量和输出特征张量，W为与之匹配的卷积核，输入特征张量X按照高、低频率分量因式分解为X＝{XH,XL}，输出特征张量Y因式分解为Y＝{YH,YL}，卷积核W按照高、低频分量分解为W＝{WH,WL}，分别与XH和xL进行卷积构建输出张量，输出特征张量为：
YH＝YH→H+YL→H
YL＝YL→L+YH→L
其中，L→H、H→L代表不同频率间的信息传递，L→L、H→H代表频率自身的信息更新；
其中，在YH的构建中，将XL上采样折叠为普通卷积，后执行传统卷积操作；在YH→L的构建中，对XH进行平均池化操作，在YL的构建中，统一采用传统卷积方式进行运算，同时定义一个比例因子a，a＞0，其代表低频分量的占比，第一层卷积层的超参数分别设定为ain＝0,aout＝a，最后一层卷积层的超参数分别设定为ain＝a,aout＝0，中间的隐藏层的超参数设定为ain＝aout＝a。
8.根据权利要求5所述的卫星遥感视频目标跟踪装置，其特征在于，所述网络构建模块，具体用于：
将所述模板帧的增强特征图和多个待检测帧的增强特征图通过Octave CNN网络生成模板帧特征
和待检测帧特征
经过一个3×3卷积层后分别产生通道数增加至2k的分类分支的模板帧特征
和通道数增加至4k的回归分支的模板帧特征
并产生通道数不变的分类分支的待检测帧特征
和回归分支的待检测帧特征
其中k代表anchor box数量；
通过基网络SiamRPN，分别求得作为候选帧的n个待检测帧最终被选择的候选区域的位置信息，映射得到相应的响应值点集，当其中一个候选帧中的待跟踪目标旋转至与模板帧中目标方向一致时，响应效果最好，此时根据所对应的n值确定最终的目标待检测帧。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述卫星遥感视频目标跟踪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述卫星遥感视频目标跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084747.5A CN111260694B (zh) | 2020-02-10 | 2020-02-10 | 卫星遥感视频目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010084747.5A CN111260694B (zh) | 2020-02-10 | 2020-02-10 | 卫星遥感视频目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260694A true CN111260694A (zh) | 2020-06-09 |
| CN111260694B CN111260694B (zh) | 2023-06-20 |
Family
ID=70952610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010084747.5A Active CN111260694B (zh) | 2020-02-10 | 2020-02-10 | 卫星遥感视频目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260694B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951300A (zh) * | 2020-07-09 | 2020-11-17 | 江苏大学 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
| CN112148059A (zh) * | 2020-10-12 | 2020-12-29 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
| CN112417958A (zh) * | 2020-10-16 | 2021-02-26 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
| CN112561956A (zh) * | 2020-11-25 | 2021-03-26 | 中移（杭州）信息技术有限公司 | 视频目标跟踪方法、装置、电子设备及存储介质 |
| CN111951300B (zh) * | 2020-07-09 | 2024-05-14 | 江苏大学 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894097A (zh) * | 2010-07-23 | 2010-11-24 | 哈尔滨工业大学 | 卡尔曼滤波与经验模态分解有机结合的机动目标跟踪方法 |
| US20130283240A1 (en) * | 2013-02-12 | 2013-10-24 | Concurix Corporation | Application Tracing by Distributed Objectives |
| US20160110885A1 (en) * | 2014-10-21 | 2016-04-21 | Government Of The United States As Represented By The Secretary Of The Air Force | Cloud based video detection and tracking system |
| CN108492321A (zh) * | 2018-03-26 | 2018-09-04 | 安徽大学 | 一种多模态目标跟踪方法及装置 |
| CN109242884A (zh) * | 2018-08-14 | 2019-01-18 | 西安电子科技大学 | 基于JCFNet网络的遥感视频目标跟踪方法 |
| US20190050693A1 (en) * | 2017-08-14 | 2019-02-14 | Ehsan Taghavi | Generating labeled data for deep object tracking |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
-
2020
- 2020-02-10 CN CN202010084747.5A patent/CN111260694B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894097A (zh) * | 2010-07-23 | 2010-11-24 | 哈尔滨工业大学 | 卡尔曼滤波与经验模态分解有机结合的机动目标跟踪方法 |
| US20130283240A1 (en) * | 2013-02-12 | 2013-10-24 | Concurix Corporation | Application Tracing by Distributed Objectives |
| US20160110885A1 (en) * | 2014-10-21 | 2016-04-21 | Government Of The United States As Represented By The Secretary Of The Air Force | Cloud based video detection and tracking system |
| US20190050693A1 (en) * | 2017-08-14 | 2019-02-14 | Ehsan Taghavi | Generating labeled data for deep object tracking |
| CN108492321A (zh) * | 2018-03-26 | 2018-09-04 | 安徽大学 | 一种多模态目标跟踪方法及装置 |
| CN109242884A (zh) * | 2018-08-14 | 2019-01-18 | 西安电子科技大学 | 基于JCFNet网络的遥感视频目标跟踪方法 |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| FUKUN BI 等: "Remote Sensing Target Tracking in UAV Aerial Video Based on Saliency Enhanced MDnet", IEEE ACCESS, pages 76731 - 76740 * |
| JIAYI SUN 等: "Cost-Efficient Node Deployment for Intrusion Detection in Underwater Sensor Networks", 2019 IEEE 25TH INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEMS (ICPADS), pages 633 - 638 * |
| 王兵学 等: "一种在线学习的目标跟踪与检测方法", vol. 40, no. 8 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951300A (zh) * | 2020-07-09 | 2020-11-17 | 江苏大学 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
| CN111951300B (zh) * | 2020-07-09 | 2024-05-14 | 江苏大学 | 一种用于城市工况下的智能汽车多目标跟踪方法 |
| CN112148059A (zh) * | 2020-10-12 | 2020-12-29 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
| CN112148059B (zh) * | 2020-10-12 | 2022-07-05 | 四川科陆新能电气有限公司 | 一种用于光伏发电站的mppt最大功率跟踪方法 |
| CN112417958A (zh) * | 2020-10-16 | 2021-02-26 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
| CN112417958B (zh) * | 2020-10-16 | 2022-05-06 | 武汉大学 | 一种遥感影像旋转目标检测方法 |
| CN112561956A (zh) * | 2020-11-25 | 2021-03-26 | 中移（杭州）信息技术有限公司 | 视频目标跟踪方法、装置、电子设备及存储介质 |
| CN112561956B (zh) * | 2020-11-25 | 2023-04-28 | 中移（杭州）信息技术有限公司 | 视频目标跟踪方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260694B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| JP6902611B2 (ja) | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 | |
| CN108961303B (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
| CN111260694A (zh) | 卫星遥感视频目标跟踪方法及装置 | |
| CN109993800A (zh) | 一种工件尺寸的检测方法、装置及存储介质 | |
| CN108875903B (zh) | 图像检测的方法、装置、系统及计算机存储介质 | |
| CN111161222A (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| CN113609984A (zh) | 一种指针式仪表读数识别方法、装置及电子设备 | |
| Yuan et al. | Superpixels with content-adaptive criteria | |
| CN114565035A (zh) | 一种舌象分析方法、终端设备及存储介质 | |
| CN112489207B (zh) | 一种空间约束的密集匹配点云平面基元提取方法 | |
| CN110660048A (zh) | 一种基于形状特征的皮革表面缺陷检测算法 | |
| US9875528B2 (en) | Multi-frame patch correspondence identification in video | |
| CN110046623B (zh) | 一种图像特征点提取方法和相机 | |
| Chen et al. | Patch-based stereo matching using 3D convolutional neural networks | |
| Geng et al. | A novel color image segmentation algorithm based on JSEG and Normalized Cuts | |
| CN112417958B (zh) | 一种遥感影像旋转目标检测方法 | |
| JP2014230283A (ja) | ピクチャーを処理する方法および装置 | |
| CN113947524A (zh) | 基于全卷积图神经网络的全景图片显著性预测方法及设备 | |
| CN112529081A (zh) | 基于高效注意力校准的实时语义分割方法 | |
| CN112464948A (zh) | 一种基于仿生学的自然场景目标轮廓提取方法及系统 | |
| Shen et al. | Structure Preserving Large Imagery Reconstruction | |
| JP2007187934A (ja) | 電子地図線形状データ作成方法 | |
| Zhao et al. | IR saliency detection via a GCF-SB visual attention framework | |
| CN114821128B (zh) | 一种尺度自适应的模板匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |