CN115222776B - 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质 - Google Patents

匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115222776B
CN115222776B CN202211137820.6A CN202211137820A CN115222776B CN 115222776 B CN115222776 B CN 115222776B CN 202211137820 A CN202211137820 A CN 202211137820A CN 115222776 B CN115222776 B CN 115222776B
Authority
CN
China
Prior art keywords
target
frame image
image
current frame
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211137820.6A
Other languages
English (en)
Other versions
CN115222776A (zh
Inventor
李冬冬
简濠骏
蒯杨柳
文贡坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211137820.6A priority Critical patent/CN115222776B/zh
Publication of CN115222776A publication Critical patent/CN115222776A/zh
Application granted granted Critical
Publication of CN115222776B publication Critical patent/CN115222776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉技术领域的一种匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质，该方法包括：采用标注后的低帧频图像序列的第一帧图像对相关滤波器进行训练，得到相关滤波器系数；将当前帧图像和前一帧图像进行图像匹配，得到当前帧的目标预测位置；根据当前帧的目标预测位置和前一帧更新的位置滤波器，得到当前帧的目标位置；根据当前帧的目标位置和前一帧更新的尺度滤波器，得到当前帧的目标尺度；根据当前帧的目标位置和目标尺度更新相关滤波器；根据当前帧图像对应的POS信息和目标位置，采用空间前方交会方法，对目标进行定位。采用本方法可提升视觉目标跟踪的精度；同时提升无源目标定位方法的定位精度。

Description

匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质。
背景技术
近年来，低帧频图像序列（帧频≤5fps）在移动成像、无线数据传输及存储容量受限等复杂场景得到了广泛应用。相比于流畅视频（帧频在25 ~30fps之间）具有以下几点优势：1）数据的存储量少、2）无线传输的带宽小、3）处理的计算量小。针对无人机数据存储、传输和计算资源有限的特点，在硬件性能没有大幅提升的前提下，应用低帧频图像序列对目标跟踪和定位是重要的发展方向。长期以来，科研工作者的注意力主要集中在流畅视频中的视觉目标跟踪问题，并在理论和应用上积累了丰富的研究成果。然而，在低帧频图像序列中，相邻两帧的时间间隔更长、目标的时空连贯性差、目标外观与尺度变化剧烈，给目标跟踪带来了新的挑战。
随着无人机朝着小型、敏捷和快速的方向不断发展，应用低帧频图像序列对目标跟踪和定位逐渐成为研究热点。视觉目标跟踪一直是计算机视觉领域的热点和难点问题，有着广阔的现实应用需求和发展前景。长期以来，科研工作者对此开展许多研究，并取得了丰硕的成果。基于相关滤波器的目标跟踪方法以其计算速度快、复杂度低的特点在无人机领域广泛应用。Bolme等提出的MOSSE跟踪方法，首次把相关滤波的概念引入到目标跟踪领域，速度达到了600多fps。而后，Danelljan等在MOSSE方法的基础上加入了尺度相关滤波器进行目标尺度估计，提出了DSST方法，速度上有所降低但鲁棒性有提高。Li等提出的AuToTrack方法对目标跟踪的速度和精度做了一个平衡。然而，现有视觉目标跟踪方法在流畅（连续帧）图像序列条件性能表现较好，但在低帧频图像序列条件下往往表现一般。这些方法通常直接将前一帧图像的目标跟踪结果作为当前帧图像的目标预测位置。考虑到低帧频图像序列具有相邻帧的目标运动大的特点，此类方法的目标预测位置与目标实际位置相隔较远，以此目标预测位置为中心搜索当前帧图像的目标位置，往往跟踪表现一般，甚至跟丢目标，跟踪性能有待进一步提高。
相比于单站测角测距等有源目标定位技术，基于空间前方交会的目标定位技术是一种无源目标定位方法。该方法利用包含同一目标的多幅图像的内外方位元素和目标图像坐标，结合空间几何关系对目标位置测量。由于其不需要向外发射信号，仅通过光电吊舱被动接收目标辐射信号用于定位，因而具有非接触性、隐秘性等优势，但其定位精度仍有待进一步提升。
发明内容
基于此，有必要针对上述技术问题，提供一种匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质。
一种匹配辅助视觉目标跟踪方法，所述方法包括：
获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对所述低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 399404DEST_PATH_IMAGE001
；所述相关滤波器包括位置滤波器
Figure 32773DEST_PATH_IMAGE002
和尺度滤波器
Figure 292853DEST_PATH_IMAGE003
。
将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2。
根据所述当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换参数；根据空间变换参数，将前一帧图像中目标位置
Figure 902826DEST_PATH_IMAGE005
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 931961DEST_PATH_IMAGE006
。
根据所述前一帧图像更新的位置滤波器
Figure 969188DEST_PATH_IMAGE007
以当前帧图像的目标预测位置
Figure 716564DEST_PATH_IMAGE008
为中心搜索当前帧图像的目标位置
Figure 864648DEST_PATH_IMAGE009
。
根据采用前一帧图像更新的尺度滤波器
Figure 748291DEST_PATH_IMAGE010
和目标尺度
Figure 723462DEST_PATH_IMAGE011
，以所述当前帧图像的目标位置
Figure 692555DEST_PATH_IMAGE013
为中心搜索当前帧图像的目标尺度
Figure 644331DEST_PATH_IMAGE014
。
根据所述当前帧图像的目标位置
Figure 648059DEST_PATH_IMAGE015
和目标尺度
Figure 27088DEST_PATH_IMAGE017
，更新当前帧图像的相关滤波器
Figure 483477DEST_PATH_IMAGE019
；当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置。
根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标。
一种匹配辅助视觉目标跟踪装置，所述装置包括：
数据获取模块，用于获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对所述低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 238943DEST_PATH_IMAGE020
；所述相关滤波器包括位置滤波器
Figure 97178DEST_PATH_IMAGE021
和尺度滤波器
Figure 414152DEST_PATH_IMAGE022
。
图像匹配模块，用于将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2；根据所述当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换模型（如：仿射变换）参数；根据空间变换参数，将前一帧图像中目标位置
Figure 92258DEST_PATH_IMAGE024
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 385836DEST_PATH_IMAGE025
。
目标跟踪模块，用于根据所述前一帧图像更新的位置滤波器
Figure 98577DEST_PATH_IMAGE026
以当前帧图像的目标预测位置
Figure 819408DEST_PATH_IMAGE027
为中心搜索当前帧图像的目标位置
Figure 250390DEST_PATH_IMAGE028
；根据采用前一帧图像更新的尺度滤波器
Figure 347659DEST_PATH_IMAGE029
和目标尺度
Figure 180485DEST_PATH_IMAGE030
，以所述当前帧图像的目标位置
Figure 839262DEST_PATH_IMAGE031
为中心搜索当前帧图像的目标尺度
Figure 757540DEST_PATH_IMAGE032
；根据所述当前帧图像的目标位置
Figure 392920DEST_PATH_IMAGE034
和目标尺度
Figure 80254DEST_PATH_IMAGE035
，更新当前帧图像的相关滤波器
Figure 408467DEST_PATH_IMAGE037
；当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置。
目标定位模块，用于根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法的步骤。
上述匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质，所述方法包括：获取无人机航拍的低帧频图像序列，并根据对低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到相关滤波器系数；根据当前帧图像和前一帧图像采用图像匹配的方式，得到当前帧图像的目标预测位置；根据当前帧图像的目标预测位置和前一帧图像更新的位置滤波器，得到当前帧图像的目标位置；根据当前帧图像的目标位置和前一帧图像更新的尺度滤波器，得到当前帧图像的目标尺度；根据当前帧图像的目标位置和目标尺度，分别更新位置滤波器和尺度滤波器；根据当前帧图像对应的POS信息和目标跟踪结果，通过空间前方交会方法，求解目标的地理坐标；本方法在DSST及同类型的视觉目标跟踪方法基础上，通过图像匹配提供更可靠的目标预测位置，防止错误的目标预测位置引入模型污染，提升了视觉目标跟踪的精度，同时提升无源目标定位方法的定位精度。
附图说明
图1为一个实施例中匹配辅助视觉目标跟踪方法的应用场景图；
图2为一个实施例中匹配辅助视觉目标跟踪方法的流程示意图；
图3为另一个实施例中匹配辅助视觉目标跟踪方法的流程示意图；
图4为另一个实施例中匹配辅助视觉目标跟踪装置的结构框图；
图5为另一个实施例中电子设备的内部结构图；
图6为另一个实施例中三组实测数据首帧图像，其中（a）为DaTa1首帧图像，（b）为DaTa2首帧图像，（c）为DaTa3首帧图像；
图7为另一个实施例中两种算法的实时性对比图，其中（a）为DSST跟踪耗时折线图，（b）为匹配辅助跟踪耗时折线图；
图8为另一个实施例中DaTa 1 数据鲁棒性实验的关键帧展示（隔10帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图9为另一个实施例中DaTa 1数据鲁棒性实验的关键帧展示（隔30帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图10为另一个实施例中DaTa 2数据鲁棒性实验的关键帧展示（隔10帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图11为另一个实施例中DaTa 2数据鲁棒性实验的关键帧展示（隔30帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图12为另一个实施例中DaTa 3数据云台晃动实验的关键帧展示（流畅，DSST跟踪），其中，（a）为1847帧云台开始转动，（b）为1848帧目标跟丢，（c）为1855帧目标跟丢，（d）为1856帧云台停止转动再次跟上目标；
图13为另一个实施例中中DaTa 3数据云台晃动实验的关键帧展示（连续，匹配辅助跟踪），其中，（a）为1847帧云台开始转动，（b）为1848帧依旧跟上目标，（c）为1855帧依旧跟上目标，（d）为1856帧云台停止转动帧依旧跟上目标；
图14为另一个实施例中DaTa 3数据鲁棒性实验的关键帧展示（隔5帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图15为另一个实施例中DaTa 3数据鲁棒性实验的关键帧展示（隔10帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图16为另一个实施例中DaTa 3数据鲁棒性实验的关键帧展示（隔30帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；
图17为另一个实施例中DSST目标跟踪与定位结果（DaTa 1）；
图18为另一个实施例中基于DaTa 1数据的低帧频条件对两种算法的目标定位结果影响对比图，其中（a）为隔5帧的低频图像序列，（b）为隔10帧的低频图像序列，（c）为隔30帧的低频图像序列。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的匹配辅助视觉目标跟踪方法，可以应用于如图1所示的应用环境中。其中，无人机102通过网络与服务器104通过网络进行通信。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种匹配辅助视觉目标跟踪方法，该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤200：获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 282882DEST_PATH_IMAGE038
；相关滤波器包括位置滤波器
Figure 987533DEST_PATH_IMAGE039
和尺度滤波器
Figure 529372DEST_PATH_IMAGE040
。
具体的，对低帧频图像序列的第一帧图像进行标注后的结果是低帧频图像序列第一帧标注图像，即在低帧频图像序列的第一帧图像中对目标进行位置和尺度标注得到的。
利用第一帧标注图像对用于视频跟踪的位置滤波器和尺度滤波器进行初始化。
步骤202：将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2。
步骤204：根据当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换模型（如：仿射变换）参数；根据空间变换参数，将前一帧图像中目标位置
Figure 762908DEST_PATH_IMAGE042
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 891663DEST_PATH_IMAGE043
。
通过图像匹配方法计算当前帧图像的目标预测位置，根据采用前一帧图像更新的位置滤波器以所述目标预测位置为中心搜索当前帧图像的目标位置，根据采用前一帧图像更新的尺度滤波器以所述的目标位置为中心搜索当前帧图像的目标尺度，根据所述当前帧图像的目标位置和目标尺度分别对位置滤波器和尺度滤波器进行更新。
具体的，图像匹配的方式可以为基于灰度的匹配算法、基于变化域的匹配算法或基于特征的匹配算法。
纯图像匹配目标跟踪方法和鉴别尺度空间跟踪器（DiscriminaTive Scale SpaceTracker，简称：DSST）或同类型的视觉目标跟踪方法具有良好的互补特性：1）纯图像匹配跟踪方法能较可靠地预测下一帧图像中目标位置，并且即使目标在相邻两帧间发生较大的位移或被遮挡时，仍然表现出良好的鲁棒性。但连续的图像匹配会造成匹配误差累积，导致目标跟踪误差越来越大，且不具备对目标尺度变化的适应性。2）DSST或同类型的视觉目标跟踪方法能较好地适应目标的尺度变化，但目标在相邻两帧间发生较大的位移或被遮挡时，往往会因预测位置与真实位置相差较大而无法较好地搜索目标，甚至跟丢目标。因此，结合纯图像匹配目标跟踪方法和DSST或同类型的视觉目标跟踪方法可以弥补各自的缺陷。纯图像匹配目标跟踪方法可以为DSST或同类型的视觉目标跟踪方法提供下一帧中较可靠的预测位置，DSST或同类型的视觉跟踪方法（如：MOSSE、KCF、CSK、CN等等）以可靠的预测位置为中心搜索目标，并进一步确定目标尺度变化，从而消除单次匹配误差，避免匹配误差累积，提高目标跟踪的精确性和鲁棒性。
DSST或同类型的视觉跟踪方法（如：MOSSE、KCF、CSK、CN等等）的共同点：直接将前一帧图像的跟踪结果作为下一帧图像的目标预测位置其他算法基本过程不改变，将目标预测位置改成由图像匹配获得。
在DSST或同类型的视觉目标跟踪方法的基础上，使用图像匹配方法辅助跟踪，提升了跟踪方法的性能。
步骤206根据采用前一帧图像更新的位置滤波器
Figure 868846DEST_PATH_IMAGE044
以当前帧图像的目标预测位置
Figure 796351DEST_PATH_IMAGE045
为中心搜索当前帧图像的目标位置
Figure 200787DEST_PATH_IMAGE046
。
具体的，以预测位置为中心裁剪图像，提取目标特征表示，利用位置滤波器卷积目标特征表示，得到当前帧图像的位置跟踪结果。
通过图像匹配提供的目标预测位置更可靠。
步骤208：根据采用前一帧图像更新的尺度滤波器
Figure 315374DEST_PATH_IMAGE047
和目标尺度
Figure 96248DEST_PATH_IMAGE049
，以当前帧图像的目标位置
Figure 612680DEST_PATH_IMAGE051
为中心搜索当前帧图像的目标尺度
Figure 188018DEST_PATH_IMAGE053
。
步骤210：根据当前帧图像的目标位置
Figure 789901DEST_PATH_IMAGE055
和目标尺度
Figure 887649DEST_PATH_IMAGE057
，更新当前帧图像的相关滤波器
Figure 993009DEST_PATH_IMAGE059
；当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置。
具体的，以当前帧图像的目标位置为中心剪裁图像，得到目标区域和背景区域；根据所述目标区域和背景区域分别计算目标和背景的直方图分布；根据所述目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据所述目标的似然概率图和所述目标特征表示对相关滤波器进行训练，更新位置滤波器。以当前帧图像的目标位置为中心，根据目标尺度
Figure 4827DEST_PATH_IMAGE060
裁剪图像，得到可变大小块；提取可变大小块的特征表示用于计算训练样本；根据得到的训练样本对相关滤波器进行训练，更新尺度滤波器；
步骤212：根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标。
目标定位方法是一种无源目标定位技术，不需要向外发射信号仅通过接收信号对目标测量，具有较强隐秘性。
上述匹配辅助视觉目标跟踪方法中，所述方法包括：获取无人机航拍的低帧频图像序列，并根据对低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到相关滤波器系数；根据当前帧图像和前一帧图像采用图像匹配的方式，得到当前帧图像的目标预测位置；根据目标预测位置和前一帧图像更新的位置滤波器，得到当前帧图像的目标位置；根据当前帧图像的目标位置和前一帧图像更新的尺度滤波器，得到当前帧图像的目标尺度；根据当前帧图像的目标位置和目标尺度，分别更新位置滤波器和尺度滤波器；根据当前帧图像对应的POS信息和目标跟踪结果，通过空间前方交会方法，求解目标的地理坐标；本方法在DSST及同类型的视觉目标跟踪方法基础上，通过图像匹配提供更可靠的目标预测位置，防止错误的目标预测位置引入模型污染，提升了视觉目标跟踪的精度，同时提升无源目标定位方法的定位精度。
本方法中提出的匹配辅助跟踪、定位框架具有良好的通用性，可以将任意视觉跟踪方法、任意图像匹配方法和无源目标定位方法结合。例如： DSST+SIFT+空间前方交会定位。
在其中一个实施例中，当前帧图像对应的POS信息包括：无人机位置、吊舱角度、焦距、像素尺寸；步骤212包括：根据当前帧图像对应的POS信息中吊舱角度
Figure 828426DEST_PATH_IMAGE061
，计算旋转矩阵,旋转矩阵表达式为：
Figure 216682DEST_PATH_IMAGE062
（1）
其中，R为像空间辅助坐标系
Figure 442127DEST_PATH_IMAGE064
NED坐标系
Figure 359268DEST_PATH_IMAGE066
地理坐标系的旋转矩阵；
Figure 935743DEST_PATH_IMAGE067
和
Figure 596531DEST_PATH_IMAGE069
分别为绕Z轴和Y轴旋转的旋转矩阵；
Figure 177947DEST_PATH_IMAGE070
为吊舱的方位角、
Figure 531568DEST_PATH_IMAGE071
为吊舱的俯仰角。
根据当前帧图像对应的POS信息中无人机的位置和焦距，采用空间前方交会模型，构造两个包含目标点A的位置的方程。两个包含目标点A的位置的方程为：
Figure 329760DEST_PATH_IMAGE072
（2）
其中，
Figure 794240DEST_PATH_IMAGE073
为基于NED坐标系的目标点A的位置；
Figure 728697DEST_PATH_IMAGE074
，
Figure 518799DEST_PATH_IMAGE075
；
Figure 273128DEST_PATH_IMAGE076
；
Figure 806878DEST_PATH_IMAGE077
；
Figure 595842DEST_PATH_IMAGE078
；
Figure 291266DEST_PATH_IMAGE079
为焦距，
Figure 798471DEST_PATH_IMAGE080
，
Figure 371797DEST_PATH_IMAGE081
、
Figure 280847DEST_PATH_IMAGE082
、
Figure 147172DEST_PATH_IMAGE083
为旋转矩阵的元素；
Figure 141672DEST_PATH_IMAGE084
为当前帧图像的目标位置坐标；
Figure 751645DEST_PATH_IMAGE085
为基于WGS-84空间直角坐标系的无人机位置；
Figure 780781DEST_PATH_IMAGE086
；
Figure 552428DEST_PATH_IMAGE087
；
若获得n幅包含目标点A的图像，则构造2n个方程，其中，
Figure 299804DEST_PATH_IMAGE088
：
Figure 447889DEST_PATH_IMAGE090
（3）
其中
Figure 331531DEST_PATH_IMAGE092
是目标点A在NED坐标系下的坐标，
Figure 775544DEST_PATH_IMAGE093
、
Figure 479058DEST_PATH_IMAGE094
分别为系数矩阵和常数项矩阵。
根据最小二乘原理对2n个方程进行求解，得到目标点A在NED坐标系下的坐标，其计算表达式为：
Figure 696413DEST_PATH_IMAGE095
（4）
根据NED坐标系与地理坐标系的转换关系，将目标点A在NED坐标系下的坐标转换到地理坐标系，得到目标点A的实际地理坐标。
具体的，已知大地坐标系下点A的坐标
Figure 168982DEST_PATH_IMAGE096
，其在空间直角系（WGS-84）下的坐标为
Figure 813590DEST_PATH_IMAGE097
。选定任一点B作为地理NED坐标系的原点，其在大地坐标系和空间直角坐标系（WGS-84）下的坐标分别是
Figure 4400DEST_PATH_IMAGE098
和
Figure 759867DEST_PATH_IMAGE099
。
北东地坐标系（NED坐标系）与地理坐标系的转换关系的表达式为：
Figure 352522DEST_PATH_IMAGE100
其中，
Figure 168031DEST_PATH_IMAGE101
、
Figure 580558DEST_PATH_IMAGE102
分别为空间直角坐标系（WGS-84）中A点和B点的坐标，
Figure 139715DEST_PATH_IMAGE103
为北东地坐标系中的坐标，上标T代表转置的含义，下标C表示大地坐标系，下标J表示NED坐标系，
Figure 88342DEST_PATH_IMAGE104
，其中，
Figure 74753DEST_PATH_IMAGE105
分别为纬度和经度；
Figure 240155DEST_PATH_IMAGE106
为坐标转换矩阵。
大地坐标系与空间直角坐标系均为地理坐标系。
在其中一个实施例中，步骤200包括：获取无人机航拍的低帧频图像序列和对应的POS信息；对低帧频图像序列的第一帧图像的目标进行标注，并以标注目标位置为中心进行剪裁，得到搜索区域，搜索区域包括目标区域和背景区域；根据目标区域和背景区域分别计算目标和背景的直方图分布；根据目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据目标的似然概率图和目标特征表示对相关滤波器进行训练，得到位置滤波器系数；对低帧频图像序列的第一帧图像的目标进行标注，并以标注目标为中心提取可变大小块的特征表示计算训练样本；根据得到的训练样本对相关滤波器进行训练，得到尺度滤波器系数。
在其中一个实施例中，步骤204包括：采用特征算子分别从当前帧图像和前一帧图像中提取一组特征，得到当前帧图像和前一帧图像的一组特征点及对应的特征向量；根据当前帧图像和前一帧图像的特征向量，采用欧氏距离附加核线约束条件进行粗匹配，再对得到的粗匹配结果采用RANSAC算法精匹配，得到合格的匹配点对；根据合格的匹配点对和空间变换模型，采用RANSAC算法拟合得到最优的空间变换参数；根据空间变换参数将前一帧图像中目标位置
Figure 337424DEST_PATH_IMAGE108
转换到当前帧图像，得到目标预测位置
Figure 904671DEST_PATH_IMAGE109
。注意：当T=2时，前一帧图像是T=1帧图像，最终跟踪结果即标注的目标位置。
在其中一个实施例中，步骤206包括：以当前帧图像的目标预测位置
Figure 796404DEST_PATH_IMAGE111
为中心剪裁当前帧图像，得到搜索区域；提取搜索区域的HOG特征，得到目标特征表示；采用训练好的位置滤波器
Figure 183523DEST_PATH_IMAGE112
卷积目标特征表示，得到当前帧图像的目标位置结果
Figure 84483DEST_PATH_IMAGE114
。
在其中一个实施例中，步骤208包括：以目标位置
Figure 506237DEST_PATH_IMAGE115
为中心，根据前一帧图像的目标尺度
Figure 834450DEST_PATH_IMAGE116
裁剪当前帧图像，得到大小可变的搜索区域块；提取搜索区域块的HOG特征，得到目标特征表示；采用训练好的尺度滤波器
Figure 708865DEST_PATH_IMAGE117
卷积目标特征表示，得到当前帧图像的目标尺度结果
Figure 649402DEST_PATH_IMAGE118
。
在其中一个实施例中，步骤：根据当前帧图像的目标位置
Figure 925662DEST_PATH_IMAGE119
和目标尺度
Figure 424777DEST_PATH_IMAGE121
，更新当前帧图像的相关滤波器
Figure 52067DEST_PATH_IMAGE122
，包括：以当前帧图像的目标位置
Figure 29250DEST_PATH_IMAGE123
为中心剪裁图像，得到搜索区域，搜索区域包括目标区域和背景区域；根据目标区域和背景区域分别计算目标和背景的直方图分布；根据目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据目标的似然概率图和目标特征表示对相关滤波器进行训练，更新位置滤波器系数；以当前帧图像的目标位置
Figure 691176DEST_PATH_IMAGE123
为中心，根据目标尺度
Figure 95612DEST_PATH_IMAGE124
裁剪图像，得到可变大小块；提取可变大小块的特征表示用于计算训练样本；根据得到的训练样本对相关滤波器进行训练，更新尺度滤波器系数。
在一个实施例中，如图3所示，提供了一种适用于无人机低帧频图像序列的匹配辅助视觉目标跟踪方法的流程图，具体包括以下步骤：
第一步，利用低帧频图像序列的第一帧标注图像训练得到相关滤波器系数（以DSST为基准算法），完成初始化。
1.1以标注目标位置为中心裁剪得到搜索区域（目标标注框+背景padding）；
1.2基于搜索图像的目标区域和背景区域分别计算得到目标和背景的直方图分布；
1.3基于目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图
Figure 944620DEST_PATH_IMAGE125
，搜索区域上任一点
Figure 725494DEST_PATH_IMAGE126
属于目标的概率如下：
Figure 241926DEST_PATH_IMAGE127
（5）
其中，
Figure 584308DEST_PATH_IMAGE128
表示像素点
Figure 655032DEST_PATH_IMAGE130
的像素值。
1.4提取搜索图像的HOG特征，得到目标特征表示
Figure 239597DEST_PATH_IMAGE131
，训练得到相关滤波器系数
Figure 344956DEST_PATH_IMAGE133
，优化函数如下：
Figure 91195DEST_PATH_IMAGE134
（6）
其中，
Figure 180374DEST_PATH_IMAGE136
为特征维数，
Figure 37472DEST_PATH_IMAGE137
为相关滤波器系数，
Figure 528496DEST_PATH_IMAGE138
是期望输出，*为循环卷积操作。
第二步，通过图像匹配获得当前帧图像的目标预测位置。
2.1利用SIFT（Scale InvarianT FeaTure Transform）算子分别从上一帧和当前帧图像的图像中提取特征，生成两组特征点及其对应的128维特征向量；
2.2匹配两幅图像的特征向量，首先利用欧氏距离粗匹配（附加核线约束），再利用RANSAC（Random Sample Consensus）算法精匹配；
2.3利用2.2中合格的匹配点对，通过RANSAC算法拟合获得最优的仿射变换参数；
2.4通过仿射变换将上一帧图像的最终跟踪结果转换到当前帧，获得目标预测位置。
第三步，以当前帧图像的预测位置为中心利用前一帧图像更新的位置滤波器搜索目标位置。
3.1以预测位置为中心裁剪图像得到搜索区域；
3.2提取搜索图像的HOG特征，得到目标特征表示；
3.3基于训练好的位置滤波器卷积目标特征表示，得到当前帧图像的位置跟踪结果。
第四步，以当前帧目标位置为中心，利用前一帧图像更新的尺度滤波器搜索目标尺度。根据当前帧图像的目标位置和尺度，更新位置滤波器和尺度滤波器。4.1 以所述目标位置为中心裁剪图像得到搜索区域；
4.2 提取尺度样本，得到目标尺度表示；
4.3 基于训练好的尺度滤波器卷积目标尺度表示，得到当前帧图像的目标尺度；
4.4 利用当前帧图像的目标位置和尺度，更新位置滤波器和尺度滤波器；
第五步，利用空间前方交会模型实现目标定位。
5.1获取当前帧图像信息，包括图像的POS信息如无人机位置
Figure 445636DEST_PATH_IMAGE139
、吊舱角度
Figure 756532DEST_PATH_IMAGE140
、焦距
Figure 417320DEST_PATH_IMAGE141
和像素尺寸
Figure 264316DEST_PATH_IMAGE142
和当前帧图像的目标位置。
5.2将当前帧图像信息添加到位置解算器中，获得目标实际地理坐标。位置解算器的解算过程如下，根据空间前方交会模型，已知一幅包含目标点A的图像可以列出包含两个目标位置
Figure 352358DEST_PATH_IMAGE143
的方程如式（2）所示。
若图像（包含目标点A）的数量
Figure 150549DEST_PATH_IMAGE144
，则列出如式（3）所示的2n个方程。
根据最小二乘原理求解出最优的目标位置，其具体计算公式如式（4）所示。
再将北东地坐标系下的目标点A转换到地理坐标系（如WGS-84）下。
针对无人机数据存储、传输和计算资源有限的特点，应用低帧频图像序列对目标跟踪与定位是重要的发展方向，实现纯图像匹配的目标跟踪方法和DSST或同类型的视觉目标跟踪方法有效地互补融合是低帧频图像序列目标跟踪性能提升的关键。
应该理解的是，虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一匹配辅助视觉目标跟踪装置，包括：数据获取模块、图像匹配模块、目标跟踪模块和目标定位模块，其中：
数据获取模块，用于获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 615029DEST_PATH_IMAGE146
；相关滤波器包括位置滤波器
Figure 815066DEST_PATH_IMAGE147
和尺度滤波器
Figure 74009DEST_PATH_IMAGE148
。
图像匹配模块，用于将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2；根据当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换模型（如：仿射变换）参数；根据空间变换参数，将前一帧图像中目标位置
Figure 93918DEST_PATH_IMAGE150
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 627667DEST_PATH_IMAGE152
。
目标跟踪模块，用于根据采用前一帧图像更新的位置滤波器
Figure 416632DEST_PATH_IMAGE153
以当前帧图像的目标预测位置
Figure 112055DEST_PATH_IMAGE155
为中心搜索当前帧图像的目标位置
Figure 619260DEST_PATH_IMAGE156
；根据采用前一帧图像更新的尺度滤波器
Figure 180867DEST_PATH_IMAGE158
和目标尺度
Figure DEST_PATH_IMAGE159
，以当前帧图像的目标位置
Figure DEST_PATH_IMAGE161
为中心搜索当前帧图像的目标尺度
Figure 621076DEST_PATH_IMAGE162
；根据当前帧图像的目标位置
Figure DEST_PATH_IMAGE163
和目标尺度
Figure 18559DEST_PATH_IMAGE121
，更新当前帧图像的相关滤波器
Figure DEST_PATH_IMAGE165
；当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置。
目标定位模块，用于根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标。
在其中一个实施例中，当前帧图像对应的POS信息包括：无人机位置、吊舱角度、焦距和像素尺寸；目标定位模块，还用于根据当前帧图像对应的POS信息中吊舱角度
Figure 278639DEST_PATH_IMAGE166
，计算旋转矩阵,旋转矩阵表达式如式（1）所示。
根据当前帧图像对应的POS信息中无人机的位置和焦距，采用空间前方交会模型，构造两个包含目标点A的位置的方程；方程如式（2）所示。
若获得n幅包含目标点A的图像，则构造如式（3）所示的2n个方程，其中，
Figure 154191DEST_PATH_IMAGE168
。
根据最小二乘原理对2n个方程进行求解，得到目标点A在NED坐标系下的坐标，其计算表达式如式（4）所示。
根据NED坐标系与地理坐标系的转换关系，将目标点A在NED坐标系下的坐标转换到地理坐标系，得到目标点A的实际地理坐标。
在其中一个实施例中，数据获取模块，还用于获取无人机航拍的低帧频图像序列和对应的POS信息；对低帧频图像序列的第一帧图像的目标进行标注，并以标注目标位置为中心进行剪裁，得到搜索区域，搜索区域包括目标区域和背景区域；根据目标区域和背景区域分别计算目标和背景的直方图分布；根据目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据目标的似然概率图和目标特征表示对相关滤波器进行训练，得到位置滤波器系数；对低帧频图像序列的第一帧图像的目标进行标注，并以标注目标为中心提取可变大小块的特征表示计算训练样本；根据得到的训练样本对相关滤波器进行训练，得到尺度滤波器系数。
在其中一个实施例中，图像匹配模块，还用于采用特征算子分别从当前帧图像和前一帧图像中提取一组特征，得到当前帧图像和前一帧图像的一组特征点及对应的特征向量；根据当前帧图像和前一帧图像的特征向量，采用欧氏距离附加核线约束条件进行粗匹配，再对得到的粗匹配结果采用RANSAC算法精匹配，得到合格的匹配点对；根据合格的匹配点对和空间变换模型，采用RANSAC算法拟合得到最优的空间变换参数；根据空间变换参数将前一帧图像中目标位置
Figure DEST_PATH_IMAGE169
转换到当前帧图像，得到目标预测位置
Figure 684792DEST_PATH_IMAGE170
。
在其中一个实施例中，目标跟踪模块，还用于以当前帧图像的目标预测位置
Figure DEST_PATH_IMAGE171
为中心剪裁当前帧图像，得到搜索区域；提取搜索区域的HOG特征，得到目标特征表示；采用训练好的位置滤波器
Figure 253177DEST_PATH_IMAGE172
卷积目标特征表示，得到当前帧图像的目标位置结果
Figure 734973DEST_PATH_IMAGE174
。
在其中一个实施例中，目标跟踪模块，还用于以目标位置
Figure 883058DEST_PATH_IMAGE174
为中心，根据前一帧图像的目标尺度
Figure DEST_PATH_IMAGE175
裁剪当前帧图像，得到大小可变的搜索区域块；提取搜索区域块的HOG特征，得到目标特征表示；采用训练好的尺度滤波器
Figure 32280DEST_PATH_IMAGE176
卷积目标特征表示，得到当前帧图像的目标尺度结果。
在其中一个实施例中，目标跟踪模块，还用于以当前帧图像的目标位置
Figure 505986DEST_PATH_IMAGE178
为中心剪裁图像，得到搜索区域，搜索区域包括目标区域和背景区域；根据目标区域和背景区域分别计算目标和背景的直方图分布；根据目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据目标的似然概率图和目标特征表示对相关滤波器进行训练，更新位置滤波器系数；以当前帧图像的目标位置
Figure 209500DEST_PATH_IMAGE178
为中心，根据目标尺度
Figure DEST_PATH_IMAGE179
裁剪图像，得到可变大小块；提取可变大小块的特征表示用于计算训练样本；根据得到的训练样本对相关滤波器进行训练，更新尺度滤波器系数。
关于匹配辅助视觉目标跟踪装置的具体限定可以参见上文中对于匹配辅助视觉目标跟踪方法的限定，在此不再赘述。上述匹配辅助视觉目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种匹配辅助视觉目标跟踪方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
在一个验证性实施例中，本实施例基于M300无人机和禅思 H20T光电吊舱实验设备采集了三组实测数据，并通过实验对比分析了两种方法的实时性、鲁棒性。表1和表2分别是实测数据说明和目标点的RTK精确位置。图6为三组实测数据首帧图像，其中（a）为DaTa1首帧图像，（b）为DaTa2首帧图像，（c）为DaTa3首帧图像。
表1 实测数据说明
Figure 692434DEST_PATH_IMAGE180
表2目标点的RTK位置
Figure DEST_PATH_IMAGE181
首先，对DSST目标跟踪算法与匹配辅助跟踪算法的实时性进行对比实验。
采用三组实测数据的前500帧。在流畅条件下，以二者均能跟踪上目标为前提，统计实时处理速度。实验环境为Dell计算机，实验平台Windows 10版本，64位操作系统，处理器2.90 GHz，内存为32GB，编程环境为Visual STudio 2015版本。
图7是两种算法的实时性对比图，其中（a）为DSST跟踪耗时折线图，（b）为匹配辅助跟踪耗时折线图。可以看出DSST 目标跟踪的处理速度更快，在三组实测数据上的平均处理速度高达23.4003 FPS，满足流畅条件下的实时性要求。而匹配辅助跟踪算法的处理速度则相对较慢，在三组实测数据上的平均处理速度仅能达到1.5509 FPS。但是DSST 跟踪在DaTa3数据集的云台大角度转动时会跟丢目标，而匹配辅助跟踪仍然能够跟上目标。
表3是对两种算法的处理速度的统计。可以看出DSST 跟踪算法的处理速度是匹配辅助跟踪的15倍左右，说明在相邻两帧时间间隔拉长到15倍的低帧频图像序列条件下，匹配辅助跟踪算法的处理速度跟DSST跟踪算法相当可以达到实时。在流畅条件下，匹配辅助跟踪算法通过隔帧跟踪（15帧以上）其实时性可以优于DSST跟踪算法。
表3两种算法的处理速度
Figure 197627DEST_PATH_IMAGE182
其次，对DSST目标跟踪算法与匹配辅助跟踪算法的鲁棒性进行对比实验。
采用三组实测数据，分别设置流畅条件和低帧频条件两类实验，其中低帧频图像序列分为隔5帧、隔10帧及隔30帧三组分别测试算法的鲁棒性。实验环境为Dell计算机，实验平台Windows 10版本，64位操作系统，处理器2.90 GHz，内存为32GB，编程环境为VisualSTudio 2015版本。
该实验分成两部分。第一、统计低帧频条件下两种算法的跟踪性能，进而对比分析二者的鲁棒性。第二、基于DaTa 1数据测试目标跟丢对目标定位精度的影响。
第一、统计低帧频条件下两种算法的跟踪性能，进而对比分析二者的鲁棒性。将三组实测数据分别按照隔5、10和30帧的条件生成了低帧频图像序列，在低帧频图像序列基础上对两种方法的跟踪鲁棒性进行实验，并对比分析实验结果。
DaTa 1数据(初始帧 0)实验。在流畅（连续帧）和隔5帧条件下，DSST目标跟踪和匹配辅助跟踪算法整个过程能很好地跟上目标，二者跟踪性能表现差异不大。图8是两种算法鲁棒性实验在隔10帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪，图9是两种算法鲁棒性实验在隔30帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪。从图8、图9可以看出，DSST目标跟踪算法分别在第240帧和第690帧开始跟丢目标，而匹配辅助跟踪算法在整个过程能很好地跟上目标，后者的跟踪性能表现明显优于DSST目标跟踪算法。
DaTa 2数据(初始帧 680)实验。在流畅（连续帧）条件下，DSST目标跟踪和匹配辅助跟踪算法整个过程能很好地跟上目标，二者跟踪性能表现差异不大。在隔5帧条件下，DSST目标跟踪在部分帧目标跟丢，而匹配辅助跟踪算法能在整个过程很好地跟上目标。图10是两种算法鲁棒性实验在隔10帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪，图11是两种算法鲁棒性实验在隔30帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪。从图10、图11可以看出，DSST目标跟踪算法分别在第850帧和第740帧开始跟丢目标，而匹配辅助跟踪算法在整个过程能很好地跟上目标，后者的跟踪性能表现明显优于DSST目标跟踪算法。
DaTa 3数据(初始帧 1827)实验。图12是两种算法鲁棒性实验在隔10帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪，图13是两种算法鲁棒性实验在隔30帧条件下的关键帧展示，其中（a）为DSST跟踪，（b）为匹配辅助跟踪。从图12、图13可以看出，DSST跟踪算法在第1847~1855帧云台大角度转动时，目标会短暂地跟丢，但当云台稳定后在第1856帧能迅速再次跟上目标，而匹配辅助跟踪算法不会跟丢目标。
图14为DaTa 3数据鲁棒性实验两种算法的关键帧展示（隔5帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；图15为DaTa 3数据鲁棒性实验两种算法的关键帧展示（隔10帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪；图16中DaTa 3数据鲁棒性实验两种算法的关键帧展示（隔30帧），其中（a）为DSST跟踪，（b）为匹配辅助跟踪。从图14-图16可以看出，DSST目标跟踪算法分别在第1847帧、第1847帧和第1857帧开始跟丢目标，而匹配辅助跟踪算法在整个过程能很好地跟上目标，后者的跟踪性能表现明显优于DSST目标跟踪算法。
综上所述，将DSST目标跟踪和匹配辅助跟踪在3组数据不同帧频条件下的跟踪性能统计如表4所示。可以看出，匹配辅助跟踪算法在低帧频条件下的鲁棒性优于DSST跟踪。
表 4 跟踪性能（鲁棒性）实验结果汇总
Figure DEST_PATH_IMAGE183
说明：
Figure DEST_PATH_IMAGE185
表示可以跟上目标，
Figure DEST_PATH_IMAGE187
表示无法跟上目标，
Figure DEST_PATH_IMAGE189
表示部分帧丢跟目标。
第二、基于DaTa 1数据测试目标跟丢对目标定位精度的影响。图17是基于DaTa 1数据的流畅（连续帧）、隔5帧、隔10帧和隔30帧四组DSST 目标跟踪与定位结果。可以看出在流畅（连续帧）和隔5帧条件下，目标定位精度变化趋势相近，而在隔10帧和隔30帧条件下，DSST跟踪算法分别在第240帧和第690帧目标跟丢后，目标定位误差开始变大，定位精度逐渐降低。
图18是基于DaTa 1数据的低帧频条件对两种算法的目标定位结果影响对比图，其中（a）为隔5帧的低频图像序列，（b）为隔10帧的低频图像序列，（c）为隔30帧的低频图像序列。从图18可以看出，在隔5帧的低帧频图像序列时，DSST 目标跟踪与匹配辅助跟踪算法的目标定位精度基本相等，但在隔10帧或30帧的低帧频图像序列时，DSST目标跟踪算法的定位精度先是与匹配辅助跟踪算法的目标定位精度基本相等，然后分别在第240帧和第690帧跟丢目标，导致目标定位精度逐渐降低。相比于DSST目标跟踪算法，匹配辅助跟踪算法在第0~1000帧均能够跟上目标，保持良好的目标定位精度，这表明数据帧频的越低，匹配辅助跟踪与定位算法相比于DSST目标跟踪与定位算法的表现更优越。
在低帧频图像序列条件下，本发明的实时性、鲁棒性及定位精度均优于DSST视觉目标跟踪算法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种匹配辅助视觉目标跟踪方法，其特征在于，所述方法包括：
获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对所述低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 630315DEST_PATH_IMAGE001
；所述相关滤波器包括位置滤波器
Figure 471233DEST_PATH_IMAGE002
和尺度滤波器
Figure 807536DEST_PATH_IMAGE003
；当前帧图像对应的POS信息包括：无人机位置、吊舱角度、焦距、像素尺寸；
将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2；
根据所述当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换参数；根据空间变换参数，将前一帧图像中目标位置
Figure 126522DEST_PATH_IMAGE004
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 995995DEST_PATH_IMAGE005
；
根据采用前一帧图像更新的位置滤波器
Figure 742235DEST_PATH_IMAGE006
以当前帧图像的目标预测位置
Figure 300255DEST_PATH_IMAGE007
为中心搜索当前帧图像的目标位置
Figure 422932DEST_PATH_IMAGE008
；
根据采用前一帧图像更新的尺度滤波器
Figure 648377DEST_PATH_IMAGE009
和目标尺度
Figure 565517DEST_PATH_IMAGE010
，以所述当前帧图像的目标位置
Figure 876413DEST_PATH_IMAGE011
为中心搜索当前帧图像的目标尺度
Figure 537201DEST_PATH_IMAGE012
；
根据所述当前帧图像的目标位置
Figure 351573DEST_PATH_IMAGE011
和目标尺度
Figure 970774DEST_PATH_IMAGE013
，更新当前帧图像的相关滤波器；
当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置；
根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标；
其中，获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对所述低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 503386DEST_PATH_IMAGE014
，包括：
获取无人机航拍的低帧频图像序列和对应的POS信息；
对所述低帧频图像序列的第一帧图像的目标进行标注，并以标注目标位置为中心进行剪裁，得到搜索区域，所述搜索区域包括目标区域和背景区域；
根据所述目标区域和所述背景区域分别计算目标和背景的直方图分布；
根据所述目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；
提取搜索区域的HOG特征，得到目标特征表示；
根据所述目标的似然概率图和所述目标特征表示对相关滤波器进行训练，得到位置滤波器系数；
对所述低帧频图像序列的第一帧图像的目标进行标注，并以标注目标为中心提取可变大小块的特征表示计算训练样本；
根据得到的训练样本对相关滤波器进行训练，得到尺度滤波器系数。
2.根据权利要求1所述的方法，其特征在于，根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标，步骤中所述空间前方交会模型定位方法的具体步骤包括：
根据所述当前帧图像对应的POS信息中吊舱角度，计算旋转矩阵，所述旋转矩阵表达式为：
Figure 967865DEST_PATH_IMAGE015
其中，R为像空间辅助坐标系
Figure 403788DEST_PATH_IMAGE016
NED坐标系
Figure 928311DEST_PATH_IMAGE016
地理坐标系的旋转矩阵；
Figure 948219DEST_PATH_IMAGE017
和
Figure 950810DEST_PATH_IMAGE018
分别为绕Z轴和Y轴旋转的旋转矩阵；
Figure 5354DEST_PATH_IMAGE019
为吊舱的方位角、
Figure 700777DEST_PATH_IMAGE020
为吊舱的俯仰角；
根据当前帧图像对应的POS信息中无人机的位置和焦距，采用空间前方交会模型，构造两个包含目标点A的位置的方程；所述两个包含目标点A的位置的方程为：
Figure 942403DEST_PATH_IMAGE021
其中，
Figure 14264DEST_PATH_IMAGE022
为基于NED坐标系的目标点A的位置；
Figure 923314DEST_PATH_IMAGE023
，
Figure 524060DEST_PATH_IMAGE024
；
Figure 784140DEST_PATH_IMAGE025
；
Figure 128534DEST_PATH_IMAGE026
；
Figure 892090DEST_PATH_IMAGE027
；
Figure 427852DEST_PATH_IMAGE028
为焦距，
Figure 909648DEST_PATH_IMAGE029
，
Figure 57733DEST_PATH_IMAGE030
、
Figure 675796DEST_PATH_IMAGE031
、
Figure 883924DEST_PATH_IMAGE032
为旋转矩阵的元素；
Figure 853017DEST_PATH_IMAGE033
为当前帧图像的目标位置坐标；
Figure 539213DEST_PATH_IMAGE034
为基于WGS-84空间直角坐标系的无人机位置；
Figure 277362DEST_PATH_IMAGE035
；
Figure 656391DEST_PATH_IMAGE036
；
若获得n幅包含目标点A的图像，则构造2n个方程，其中，
Figure 847200DEST_PATH_IMAGE037
为大于等于2的整数；构造的2n个方程为：
Figure 337088DEST_PATH_IMAGE038
其中，
Figure 929743DEST_PATH_IMAGE039
是目标点A在NED坐标系下的坐标，
Figure 479673DEST_PATH_IMAGE040
、
Figure 924823DEST_PATH_IMAGE041
分别为系数矩阵和常数项矩阵；
根据最小二乘原理对2n个方程进行求解，得到目标点A在NED坐标系下的坐标，其计算表达式为：
Figure 952822DEST_PATH_IMAGE042
根据NED坐标系与地理坐标系的转换关系，将目标点A在NED坐标系下的坐标转换到地理坐标系，得到目标点A的实际地理坐标。
3.根据权利要求1所述的方法，其特征在于，根据所述当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换参数；根据空间变换参数，将前一帧图像中目标位置
Figure 399984DEST_PATH_IMAGE043
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 120815DEST_PATH_IMAGE044
，包括：
采用特征算子分别从所述当前帧图像和所述前一帧图像中提取一组特征，得到当前帧图像和前一帧图像的一组特征点及对应的特征向量；
根据当前帧图像和前一帧图像的特征向量，采用欧氏距离附加核线约束条件进行粗匹配，再对得到的粗匹配结果采用RANSAC算法精匹配，得到合格的匹配点对；
根据所述合格的匹配点对和空间变换模型，采用RANSAC算法拟合得到最优的空间变换参数；
根据所述空间变换参数将前一帧图像中目标位置
Figure 551796DEST_PATH_IMAGE043
转换到当前帧图像，得到目标预测位置
Figure 383486DEST_PATH_IMAGE045
。
4.根据权利要求1所述的方法，其特征在于，根据采用前一帧图像更新的位置滤波器
Figure 950734DEST_PATH_IMAGE046
以当前帧图像的目标预测位置
Figure 842466DEST_PATH_IMAGE047
为中心搜索当前帧图像的目标位置
Figure 495165DEST_PATH_IMAGE048
，包括：
以当前帧图像的目标预测位置
Figure 130545DEST_PATH_IMAGE049
为中心剪裁当前帧图像，得到搜索区域；
提取搜索区域的HOG特征，得到目标特征表示；
采用训练好的位置滤波器
Figure 552299DEST_PATH_IMAGE050
卷积目标特征表示，得到当前帧图像的目标位置结果
Figure 614933DEST_PATH_IMAGE051
。
5.根据权利要求1所述的方法，其特征在于，根据采用前一帧图像更新的尺度滤波器
Figure 253463DEST_PATH_IMAGE052
和目标尺度
Figure 692534DEST_PATH_IMAGE053
，以所述当前帧图像的目标位置
Figure 968795DEST_PATH_IMAGE051
为中心搜索当前帧图像的目标尺度
Figure 202330DEST_PATH_IMAGE055
，包括：
以所述目标位置
Figure 829621DEST_PATH_IMAGE051
为中心，根据前一帧图像的目标尺度
Figure 541225DEST_PATH_IMAGE056
裁剪当前帧图像，得到大小可变的搜索区域块；
提取搜索区域块的HOG特征，得到目标特征表示；
采用训练好的尺度滤波器
Figure 937571DEST_PATH_IMAGE057
卷积目标特征表示，得到当前帧图像的目标尺度结果
Figure 342008DEST_PATH_IMAGE058
。
6.根据权利要求1所述的方法，其特征在于，根据所述当前帧图像的目标位置
Figure 456594DEST_PATH_IMAGE051
和目标尺度
Figure 971889DEST_PATH_IMAGE059
，更新当前帧图像的相关滤波器
Figure 222742DEST_PATH_IMAGE060
，包括
以当前帧图像的目标位置
Figure 830703DEST_PATH_IMAGE051
为中心剪裁图像，得到目标区域和背景区域；
根据所述目标区域和背景区域分别计算目标和背景的直方图分布；
根据所述目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；
提取搜索区域的HOG特征，得到目标特征表示；
根据所述目标的似然概率图和所述目标特征表示对相关滤波器进行训练，更新位置滤波器系数；
以当前帧图像的目标位置
Figure 167006DEST_PATH_IMAGE051
为中心，根据目标尺度
Figure 485992DEST_PATH_IMAGE061
裁剪图像，得到可变大小块；
提取可变大小块的特征表示用于计算训练样本；
根据得到的训练样本对相关滤波器进行训练，更新尺度滤波器系数。
7.一种匹配辅助视觉目标跟踪装置，其特征在于，所述装置包括：
数据获取模块，用于获取无人机航拍的低帧频图像序列和对应的POS信息，并根据对所述低帧频图像序列的第一帧图像进行标注后的结果对相关滤波器进行训练，得到训练后的相关滤波器
Figure 856931DEST_PATH_IMAGE062
；所述相关滤波器包括位置滤波器
Figure 603170DEST_PATH_IMAGE063
和尺度滤波器
Figure 161190DEST_PATH_IMAGE064
；当前帧图像对应的POS信息包括：无人机位置、吊舱角度、焦距、像素尺寸；
图像匹配模块，用于将低帧频图像序列的第T帧图像和第T-1帧图像分别作为当前帧图像和前一帧图像，其中T=2；根据所述当前帧图像与前一帧图像进行匹配，获得同名特征点对，进一步获得空间变换参数；根据空间变换参数，将前一帧图像中目标位置
Figure 549446DEST_PATH_IMAGE065
转换到当前帧图像，得到当前帧图像的目标预测位置
Figure 509312DEST_PATH_IMAGE066
；
目标跟踪模块，用于根据所述前一帧图像更新的位置滤波器
Figure 426452DEST_PATH_IMAGE067
以当前帧图像的目标预测位置
Figure 2927DEST_PATH_IMAGE068
为中心搜索当前帧图像的目标位置
Figure 663716DEST_PATH_IMAGE069
；根据采用前一帧图像更新的尺度滤波器
Figure 478088DEST_PATH_IMAGE070
和目标尺度
Figure 831709DEST_PATH_IMAGE071
，以所述当前帧图像的目标位置
Figure 140154DEST_PATH_IMAGE069
为中心搜索当前帧图像的目标尺度
Figure 339055DEST_PATH_IMAGE072
；根据所述当前帧图像的目标位置
Figure 804671DEST_PATH_IMAGE069
和目标尺度
Figure 594772DEST_PATH_IMAGE072
，更新当前帧图像的相关滤波器
Figure 349102DEST_PATH_IMAGE073
；当T小于低帧频图像序列中图像帧的数量时，设置T=T+1，将当前帧图像和前一帧图像分别更新为第T帧图像和第T-1帧图像，进入下一轮迭代，直到T大于低帧频图像序列中图像帧的数量，输出每帧图像的目标位置；
目标定位模块，用于根据低帧频图像序列对应的POS信息和每帧图像的目标位置，利用空间前方交会模型定位方法求解目标的北东地坐标，进一步通过坐标系转换得到目标的地理坐标；
其中，数据获取模块，还用于获取无人机航拍的低帧频图像序列和对应的POS信息；对所述低帧频图像序列的第一帧图像的目标进行标注，并以标注目标位置为中心进行剪裁，得到搜索区域，所述搜索区域包括目标区域和背景区域；根据所述目标区域和所述背景区域分别计算目标和背景的直方图分布；根据所述目标和背景的直方图分布，逐像素计算搜索区域内每个像素属于目标的概率，得到目标的似然概率图；提取搜索区域的HOG特征，得到目标特征表示；根据所述目标的似然概率图和所述目标特征表示对相关滤波器进行训练，得到位置滤波器系数；对所述低帧频图像序列的第一帧图像的目标进行标注，并以标注目标为中心提取可变大小块的特征表示计算训练样本；根据得到的训练样本对相关滤波器进行训练，得到尺度滤波器系数。
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
CN202211137820.6A 2022-09-19 2022-09-19 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质 Active CN115222776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211137820.6A CN115222776B (zh) 2022-09-19 2022-09-19 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211137820.6A CN115222776B (zh) 2022-09-19 2022-09-19 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN115222776A CN115222776A (zh) 2022-10-21
CN115222776B true CN115222776B (zh) 2022-12-27

Family

ID=83617654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211137820.6A Active CN115222776B (zh) 2022-09-19 2022-09-19 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115222776B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975315B (zh) * 2024-04-02 2024-06-07 中国电建集团华东勘测设计研究院有限公司 一种基于无人机影像的库区地质灾害差分识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114042A1 (zh) * 2017-12-15 2019-06-20 深圳云天励飞技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110569855A (zh) * 2019-08-08 2019-12-13 北京航科威视光电信息技术有限公司 基于相关滤波与特征点匹配融合的长时间目标跟踪算法
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam系统、多传感器融合方法及机器人、介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
JP6647134B2 (ja) * 2016-05-12 2020-02-14 日本放送協会 被写体追跡装置及びそのプログラム
CN108765458B (zh) * 2018-04-16 2022-07-12 上海大学 基于相关滤波的高海况无人艇海面目标尺度自适应跟踪方法
CN112150511A (zh) * 2020-11-02 2020-12-29 电子科技大学 一种基于图像匹配与改进核相关滤波器结合的目标跟踪算法
CN114359337B (zh) * 2021-12-07 2022-09-16 中国人民解放军国防科技大学 Rgbt视觉目标跟踪方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114042A1 (zh) * 2017-12-15 2019-06-20 深圳云天励飞技术有限公司 目标跟踪方法、装置、电子设备及存储介质
CN110569855A (zh) * 2019-08-08 2019-12-13 北京航科威视光电信息技术有限公司 基于相关滤波与特征点匹配融合的长时间目标跟踪算法
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam系统、多传感器融合方法及机器人、介质

Also Published As

Publication number Publication date
CN115222776A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US8437501B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
EP2399239B1 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
US9098229B2 (en) Single image pose estimation of image capture devices
CN112419374A (zh) 一种基于图像配准的无人机定位方法
CN113192646A (zh) 目标检测模型构建方法及不同目标间距离监控方法、装置
CN115222776B (zh) 匹配辅助视觉目标跟踪方法、装置、电子设备和存储介质
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN116758146A (zh) 基于图像的无人机集群目标定位方法、装置、设备及介质
CN116310852A (zh) 双时相遥感影像无监督分类与变化检测方法及系统
CN116972880A (zh) 定位算法的精度检测装置
CN115861891B (zh) 视频目标检测方法、装置、设备及介质
CN115952248B (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN106570911B (zh) 一种基于daisy描述子的脸部卡通画合成方法
CN111951304B (zh) 基于互监督孪生网络的目标跟踪方法、装置与设备
CN114155415A (zh) 一种多数据融合的车辆检测方法、系统、设备及存储介质
CN113592929B (zh) 一种无人机航摄影像实时拼接方法与系统
Luo et al. JointLoc: A Real-time Visual Localization Framework for Planetary UAVs Based on Joint Relative and Absolute Pose Estimation
CN117576218B (zh) 一种自适应的视觉惯导里程计输出方法
CN116030212B (zh) 一种建图方法、设备、车辆及存储介质
CN114750147B (zh) 机器人的空间位姿确定方法、装置和机器人
CN116977677B (zh) 基于聚类的图像特征点匹配筛选方法、装置、设备及介质
CN118397060A (zh) Sfm模型的全局一致性尺度恢复方法
Guo et al. From Satellite to Ground: Satellite Assisted Visual Localization with Cross-view Semantic Matching
CN118096615A (zh) 卫星图像处理方法、装置、介质及电子设备
CN117115334A (zh) 基于全局姿态约束的农田三维场景一致性重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant