CN110400330A - 基于融合imu的光电吊舱图像跟踪方法及跟踪系统 - Google Patents

基于融合imu的光电吊舱图像跟踪方法及跟踪系统 Download PDF

Info

Publication number
CN110400330A
CN110400330A CN201910742637.0A CN201910742637A CN110400330A CN 110400330 A CN110400330 A CN 110400330A CN 201910742637 A CN201910742637 A CN 201910742637A CN 110400330 A CN110400330 A CN 110400330A
Authority
CN
China
Prior art keywords
target
image
tracking
result
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910742637.0A
Other languages
English (en)
Inventor
罗世彬
王钰婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Haixun Automation Technology Co Ltd
Original Assignee
Hunan Haixun Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Haixun Automation Technology Co Ltd filed Critical Hunan Haixun Automation Technology Co Ltd
Priority to CN201910742637.0A priority Critical patent/CN110400330A/zh
Publication of CN110400330A publication Critical patent/CN110400330A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于融合IMU的光电吊舱图像跟踪方法，包括如下步骤：S1系统启动；S2前端采集；S3初始化；S4图像数据传输；S5图像跟踪；S6相关信息的计算；S7伺服响应；S8找到目标位置。本发明还提供一种图像跟踪系统。本发明基于IMU光电吊舱跟踪系统可通过IMU求得目标姿态、速度，根据目标速度、姿态、时间以及目标在上帧的位置，预测得到目标搜索区域，不会发生丢失目标的情况，计算量更小，从而加快目标检测，实现目标跟踪。该系统能够有效实现目标跟踪，有小型、快速、可靠性高、精度高等特点，是一种能同时满足高精度要求和战略安全需要的目标跟踪技术。

Description

基于融合IMU的光电吊舱图像跟踪方法及跟踪系统
技术领域
本发明涉及图像跟踪领域，特别地，涉及一种基于融合IMU的光电吊舱图像跟踪方法及系统。
背景技术
光电吊舱在目标检测、跟踪等方面发挥着重要的作用，可广泛用于陆地、海上、空中和空间的侦察。现阶段，所有工业园区都安装了大量摄像头，但是其只能拍摄指定区域并且不能完成目标的跟踪。除此之外，受到外界环境的影响极大，由于夜晚光线不足，视频影像极不清晰。这些原因的存在，导致了园区的安全受到威胁。将光电吊舱安装在工业园区，能够有效实现目标的实时监测与跟踪，并且在光电吊舱中安装红外相机，可有力克服夜晚光线不足的问题。所以研发一种可快速定位且高精度的光电吊舱有着重要的现实意义。
发明人检索到相关方案有如下：
专利1：与本发明最接近的方案—《一种基于视频图像的高压线检测及跟踪方法》，专利申请号：201610919282.4。该专利涉及一种基于视频图像的高压线检测及跟踪方法，根据光电吊舱系统采集到的视频信息，采用了线形目标检测算法，捕获实现整帧图像中线形目标检出，然后启动跟踪，采用线性目标跟踪算法，按照序列帧跟踪历史信息确认之前锁定的线性目标在当前帧图像中的位置，并输出其俯仰方向与视频中心点位置的偏差量，最终通过伺服系统逆向调整相机俯仰角，使得电线中心居于视频图像中心附近。完成了对高压线等线性目标的识别和跟踪。该专利提高了无人机电力巡检工作效率。图1示出了该专利高压线检测、跟踪方法流程图。
专利2：《基于机载光电吊舱位置和姿态的目标定位系统》，专利申请号：201510938847.9。该专利公开了一种基于机载光电吊舱位置和姿态的目标定位系统，该系统设置在机载光电吊舱内部；该测量系统具有：获得所在机载光电吊舱俯仰角θ和横滚角γ信息的动态倾角获取模块；获得所在机载光电吊舱经度Bc、纬度Lc、高度Hc和偏航角φ信息的定位模块；处理模块根据机载光电吊舱的经纬高以及地面参考点的经度Bm、纬度Lm和高度Hm，最终转化成东北天坐标系(Xwk,Ywk,Zwk)；处理模块根据机载光电吊舱获取的目标图像，获取图像中目标的像素坐标(u,v)；结合吊舱的相机的焦距f、吊舱与相机轴中心成像在海面上的距离Yc以及地面参考点的大地直角坐标系(Xck,Yck,Zck)生成的平移矩阵T1，将目标的像素坐标最终得到目标的实际经纬度和高程，完成目标的测量。
专利3：《一种用于光电吊舱的无源定位算法》，专利申请号：201611135739.9。该专利提出一种用于光电吊舱的无源定位算法，吊舱通过手动搜索或图像跟踪的方式，将目标锁定在光轴线中心，此时将吊舱通过IMU(惯性测量单元)、GPS(全球定位系统)和方位俯仰两框架测角器获取的对目标的观测信息，包括自身GPS坐标，吊舱航向俯仰横滚姿态和框架方位俯仰角度。至少获取两组观测信息，通过误差修正、坐标转换和三角变换获取目标精确位置。测试结果显示，该专利精度高、适应性强、稳定性好。
上述三个专利文件存在如下缺陷：
专利1：采用的针对于线性目标的跟踪算法，对于其他形状的跟踪目标没有应用普遍性；对于简单背景检测效率高，但对于复杂背景检测效果比较差；没有预测功能，容易造成跟踪目标的丢失。
专利2：需要获取光电吊舱以及参考点的经纬度信息，计算过程复杂，受成像效果影响较大导致定位精度不高；并且无法抗遮挡。
专利3：需要手动控制吊舱运动状态；需要进行坐标转换，计算过程复杂，耗时长；无法对目标下一位置进行预测；不抗遮挡。
综上分析，上述三个技术方案以及现有技术或者其结合均不能得到本发明的技术方案，也不能给出技术启示。
发明内容
本发明目的在于提供一种基于融合IMU的光电吊舱图像跟踪方法，基于IMU光电吊舱跟踪系统可通过IMU求得目标姿态、速度，根据目标速度、姿态、时间以及目标在上帧的位置，预测得到目标搜索区域，不会发生丢失目标的情况，计算量小，从而加快目标检测，实现目标跟踪。该系统能够有效实现目标跟踪，有小型、快速、可靠性高、精度高等特点，是一种能同时满足高精度要求和战略安全需要的目标跟踪技术。
为实现上述目的，本发明采用的技术方案为：
本发明提供的一方面提供一种基于融合IMU的光电吊舱图像跟踪方法，包括如下步骤：
S1系统启动：光电吊舱系统启动；
S2前端采集：采用FPGA进行前端图像数据采集，并进行图像预处理；
S3初始化：IMU初始化，进行归零；
S4图像数据传输：在FPGA采集完数据之后，通过SRIO口将数据从FPGA传输到DSP中进行目标检测，锁定目标；
S5图像跟踪：DSP采用NCC跟踪算法进行图像跟踪，得到视觉跟踪信息的结果；
S6相关信息的计算：将视觉跟踪信息结果或者目标所在的位置信息传输至DSP，根据相机的视场角、焦距、以及视觉跟踪信息的结果计算出脱靶量信息，并将脱靶信息传输给伺服系统；
S7伺服响应：DSP将脱靶量信息传输给伺服系统后，计算得到相机的偏转角，在IMU里计算出角速度，伺服系统给伺服电机指令，旋转到对应指定的位置，根据目标位置预估计方法从而对目标的下一帧位置进行预测；
S8找到目标位置：根据预测的中心位置对目标区域进行放大，进行图像匹配，找到目标所在的位置。
作为本发明的进一步方案，所述步骤S8包括：采用相关性归一化算法进行图像匹配，并将相关性归一化算法的阈值设定为0.75，若相关性系数大于0.75，表示跟踪到真实目标，即找到目标所在的位置；
若相关性系数小于或等于0.75，则进入步骤S5图像跟踪，依次循环，直至找到目标所在的位置。
作为本发明的进一步方案，所述步骤S5图像跟踪采用的是相关系数相关性的NCC跟踪算法，在第一帧通过目标检测确定目标后，提取模板，在第二帧及后面的跟踪帧都是在模板基础上进行相关性系数计算。
作为本发明的进一步方案，所述步骤S4中目标检测所使用的方法为：首先在计算机上训练分类器，再将训练好的模块移植到DSP平台。
作为本发明的进一步方案，NCC跟踪算法的包括以下几个步骤：
a图像的模板提取：采用目标检测算法的结果作为目标模板的初始位置；
b计算模板图像和目标图像的积分图：计算图像直方图采用积分图的方式来简便计算，使得计算量大大减小；
积分图计算方法：
上式中，I(x,y)表示模板图像与积分图像，SAT(x,y)为积分结果图；
c计算模板图像和目标图像的相关性参数：根据相关性归一化算法(NCC)的公式来进行计算，最后对系数进行归一化处理，最终的结果处于0-1；
d根据阈值得到匹配或者不匹配的结果：将相关性归一化算法的阈值设定为0.75，相关性系数大于0.75表示跟踪到真实目标，否则则需要重新进行匹配；
e输出结果：将计算的结果进行输出，如果跟踪准确，则将结果进行输出，如未找到目标，需要放大搜索区域，重新进行计算，得到最终的结果；
f进行模板更新，使得跟踪更加稳定：在目标运动的过程中，进行模板更新，保持模板的准确性。
作为本发明的进一步方案，步骤S6中，脱靶量信息解算过程为：
图像在焦平面上成像，Δx和Δy分别为目标中心在水平和垂直方向相对于图像中心的位移，其中Δθ表示水平方向旋转角度，ΔΨ表示垂直方向旋转角度，w表示图像宽度，h表示图像高度，θ为初试水平角度，Ψ为初始垂直方向角度；成立下式：
求解式(1)得到式(2)：
由上面的两个公式可以得出图像跟踪的脱靶量信息
作为本发明的进一步方案，所述步骤S7中，目标位置预估计方法为：首先在图像跟踪算法实时性的基础上，相邻两帧图像之间会得到一个变化的角度，伺服系统能根据瞬时的角度信息，根据不同的帧率，用角度比上每帧图像所用的平均时间，得到目标转动的角速度，再根据角速度乘上对应的时间，就可以得到下一帧目标出现的位置信息。
本发明的另一方面提供一种基于IMU光电吊舱跟踪系统，所述跟踪系统采用上述所述的光电吊舱图像跟踪方法。
本发明具有以下有益效果：
(1)基于IMU光电吊舱跟踪系统是通过IMU求得目标姿态、速度，根据目标速度、姿态、时间以及目标在上帧的位置，获得目标搜索区域，然后通过目标检测获得目标位置，实现目标跟踪。传统跟踪系统同样是通过在目标搜索区域中进行目标检测获得目标位置，但是其搜索区域总是通过扩大上一帧的目标位置来确定，这可能导致在搜索区域检测不到目标，那么跟踪系统会进一步以上一帧目标位置为基础，扩大搜索区域，直到检测到目标为止，这会导致加大计算量，延长检测时间。
本发明提供一种基于融合IMU的光电吊舱图像跟踪方法，基于IMU光电吊舱跟踪系统可通过IMU求得目标姿态、速度，根据目标速度、姿态、时间以及目标在上帧的位置，预测得到目标搜索区域，不会发生丢失目标的情况，计算量更小，从而加快目标检测，实现目标跟踪。该系统能够有效实现目标跟踪，有小型、快速、可靠性高、精度高等特点，是一种能同时满足高精度要求和战略安全需要的目标跟踪技术。
通过实验测试，结果如下表格：
计算时间 可靠性
传统方法 13.5ms 78.2％
本发明实施例 6.1ms 87％
(2)传统的光电吊舱系统，为了得到稳定的跟踪效果，采用较负责的跟踪算法，使得硬件计算资源不够，然后就选定多核的计算方式，导致整个硬件系统发热较厉害，无法真正做到长时间工作而不发生损伤的情况，而本发明，在提高了跟踪效果的前提下，并未采用较复杂的算法，也没有采用高功率的硬件设备，能够长时间进行工作，而且不会发生发热导致死机的现象。
(3)目前的技术来说，对于跟踪中的目标，如果进入遮挡状态，或者是部分遮挡，或者是光线问题，常采用的方法是等目标出来后重新进行检测，当然这是比较通用的方法，若目标是短时间或部分遮挡，本发明通过对其轨迹和位置的预测，可以预测出目标的具体位置，从而可以在短时间内实现遮挡或部分遮挡的目标跟踪。
(4)结合说明书附图中图5-6的仿真实验结果，进行分析得知：和现有方法相比，计算时间13.5ms减少到了6.1ms，跟踪成功率从78.2％增加到87％，本发明方法在减少计算量显著提升跟踪效率的同时，也能更准确的跟踪目标。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是现有技术中高压线检测、跟踪方法流程示意图；
图2是本发明实施例提供的一种基于融合IMU的光电吊舱图像跟踪方法流程示意图；
图3是本发明实施例中NCC(normalized cross correlation归一化互相关)跟踪算法流程示意图；
图4是本发明实施例提供的一种基于IMU光电吊舱跟踪系统结构示意图；
图5是本发明实施例提供的一种基于融合IMU的光电吊舱图像跟踪方法丢失概率和匹配时间曲线图；
图6是传统方法丢失概率和匹配时间曲线图。
具体实施方式
以下将结合实施例对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
实施例1
本发明实施例1提供一种基于融合IMU的光电吊舱图像跟踪方法，包括如下步骤：
S1系统启动：光电吊舱系统启动；
S2前端采集：采用FPGA(现场可编程门阵列)进行前端图像数据采集，并进行简单的图像预处理，如：图像灰度化、直方图均衡化。
S3初始化：惯性测量单元(IMU)初始化，进行归零；
S4图像数据传输：在FPGA采集完数据之后，通过SRIO口将数据从FPGA传输到DSP(Digital Signal Processing数字信号处理)中进行目标检测，锁定目标；
S5图像跟踪：DSP采用NCC跟踪算法进行图像跟踪，得到视觉跟踪信息的结果；
S6相关信息的计算：将视觉跟踪信息结果或者目标所在的位置信息传输至DSP，根据工业相机的视场角、焦距、以及视觉跟踪信息的结果计算出脱靶量信息，并将脱靶信息传输给伺服系统；
S7伺服响应：图像处理板(DSP)将脱靶量信息传输给伺服系统后，计算得到相机的偏转角，在IMU里计算出角速度，伺服系统给伺服电机指令，旋转到对应指定的位置，根据目标位置预估计方法从而对目标的下一帧位置进行预测；
S8找到目标位置：根据预测的中心位置对目标区域进行放大，进行图像匹配，
一般按照工程经验和工程测试的结果，相关性归一化算法的阈值设定为0.75，若相关性系数大于0.75，表示跟踪到真实目标，即找到目标所在的位置；
若相关性系数小于或等于0.75，则进行进入步骤S5图像跟踪，依次循环，直至找到目标所在的位置。
本发明实施例中，S5图像跟踪采用的是相关系数相关性的跟踪算法(NCC)，在第一帧通过目标检测确定目标后，提取模板，在第二帧及后面的跟踪帧都是在模板基础上进行相关性系数计算，相关性越大，则是目标的可能性越大。
本发明实施例中采用的主要算法为：
(1)目标检测算法
目标检测所使用的方法为：首先在计算机上训练分类器，再将训练好的模块移植到DSP平台。训练所使用的样本来自最常用的数据库INRIA(Dalal N.Finding People inImages and Videos.Bibliogr.2006)该数据库包含训练集和测试集，训练集中有614张正样本(包含2416个行人)和1218张负样本，而测试集提供了288张正样本图像(包含1126个行人)和453张负样本图像。主要训练和检测流程具体如下：
a训练样本预处理，统一缩放为16*32像素尺寸；
b Harr样本特征提取以及参数优化；
c利用Adaboost算法进行分类器训练；
d将20级弱分类器组成强分类器进行训练得到检测模型；
e将得到的分类器模块移植到DSP平台；
(2)NCC跟踪算法
NCC跟踪算法的基本流程图如图3所示，主要包括以下几个步骤：
a图像的模板提取：本发明实施例中，目标的提取采用目标检测算法的结果作为目标模板的初始位置。
b计算模板图像和目标图像的积分图：计算图像直方图采用积分图的方式来简便计算，使得计算量大大减小。
积分图计算方法：
上式中，I(x,y)表示模板图像与积分图像，SAT(x,y)为积分结果图。
c计算模板图像和目标图像的相关性参数：根据相关性归一化算法(NCC)的公式来进行计算，最后对系数进行归一化处理，最终的结果处于0-1。
d根据阈值得到匹配或者不匹配的结果：一般按照工程经验和工程测试的结果，相关性归一化算法的阈值设定为0.75，相关性系数大于0.75表示跟踪到真实目标，大于在需要重新进行匹配。
e输出结果：将计算的结果进行输出，如果跟踪准确，则将结果进行输出，如未找到目标，需要放大搜索区域，重新进行计算，得到最终的结果。
f进行模板更新，使得跟踪更加稳定：在目标运动的过程中，姿态和形体都发生了一定的变化，需要在一段时间内进行模板更新，在保证跟踪良好的情况下，通常20帧更新一次，以保持模板的准确性，否则将容易造成目标丢失。
(3)脱靶量信息解算过程
图像在焦平面上成像，Δx和Δy分别为目标中心在水平和垂直方向相对于图像中心的位移。因此有式成立：
求解式(1)得到式(2)：
由上面的两个公式可以得出图像跟踪的脱靶量信息。其中Δθ表示水平方向旋转角度，ΔΨ表示垂直方向旋转角度，w表示图像宽度，h表示图像高度，θ为初试水平角度，Ψ为初始垂直方向角度。
(4)目标位置预估计方法
本发明实施例的目标位置预估计方法为：首先在图像跟踪算法实时性的基础上，相邻两帧图像之间会得到一个变化的角度，伺服系统可以根据瞬时的角度信息，根据不同的帧率，用角度比上每帧图像所用的平均时间，得到目标转动的角速度，再根据角速度乘上对应的时间，就可以得到下一帧目标出现的位置信息，从而起到预估的目的。
实施例2
本发明的实施例2提供一种基于IMU光电吊舱跟踪系统，所述跟踪系统采用实施例1所述的光电吊舱图像跟踪方法。
需要说明的是，在整个申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的试试方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (8)

1.基于融合IMU的光电吊舱图像跟踪方法，其特征在于，包括如下步骤：
S1系统启动：光电吊舱系统启动；
S2前端采集：采用FPGA进行前端图像数据采集，并进行图像预处理；
S3初始化：IMU初始化，进行归零；
S4图像数据传输：在FPGA采集完数据之后，通过SRIO口将数据从FPGA传输到DSP中进行目标检测，锁定目标；
S5图像跟踪：DSP采用NCC跟踪算法进行图像跟踪，得到视觉跟踪信息的结果；
S6相关信息的计算：将视觉跟踪信息结果或者目标所在的位置信息传输至DSP，根据相机的视场角、焦距、以及视觉跟踪信息的结果计算出脱靶量信息，并将脱靶信息传输给伺服系统；
S7伺服响应：DSP将脱靶量信息传输给伺服系统后，计算得到相机的偏转角，在IMU里计算出角速度，伺服系统给伺服电机指令，旋转到对应指定的位置，根据目标位置预估计方法从而对目标的下一帧位置进行预测；
S8找到目标位置：根据预测的中心位置对目标区域进行放大，进行图像匹配，找到目标所在的位置。
2.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S8包括：采用相关性归一化算法进行图像匹配，并将相关性归一化算法的阈值设定为0.75，若相关性系数大于0.75，表示跟踪到真实目标，即找到目标所在的位置；
若相关性系数小于或等于0.75，则进入步骤S5图像跟踪，依次循环，直至找到目标所在的位置。
3.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S5图像跟踪采用的是相关系数相关性的NCC跟踪算法，在第一帧通过目标检测确定目标后，提取模板，在第二帧及后面的跟踪帧都是在模板基础上进行相关性系数计算。
4.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S4中目标检测所使用的方法为：首先在计算机上训练分类器，再将训练好的模块移植到DSP平台。
5.根据权利要求3所述的光电吊舱图像跟踪方法，其特征在于，NCC跟踪算法的包括以下几个步骤：
a图像的模板提取：采用目标检测算法的结果作为目标模板的初始位置；
b计算模板图像和目标图像的积分图：计算图像直方图采用积分图的方式来简便计算，使得计算量大大减小；
积分图计算方法：
上式中，I(x,y)表示模板图像与积分图像，SAT(x,y)为积分结果图；
c计算模板图像和目标图像的相关性参数：根据相关性归一化算法(NCC)的公式来进行计算，最后对系数进行归一化处理，最终的结果处于0-1；
d根据阈值得到匹配或者不匹配的结果：将相关性归一化算法的阈值设定为0.75，相关性系数大于0.75表示跟踪到真实目标，否则则需要重新进行匹配；
e输出结果：将计算的结果进行输出，如果跟踪准确，则将结果进行输出，如未找到目标，需要放大搜索区域，重新进行计算，得到最终的结果；
f进行模板跟新，使得跟踪更加稳定：在目标运动的过程中，进行模板跟新，保持模板的准确性。
6.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，步骤S6中，脱靶量信息解算过程为：
图像在焦平面上成像，Δx和Δy分别为目标中心在水平和垂直方向相对于图像中心的位移，其中Δθ表示水平方向旋转角度，ΔΨ表示垂直方向旋转角度，w表示图像宽度，h表示图像高度，θ为初试水平角度，Ψ为初始垂直方向角度；成立下式：
求解式(1)得到式(2)：
由上面的两个公式可以得出图像跟踪的脱靶量信息。
7.根据权利要求1所述的光电吊舱图像跟踪方法，其特征在于，所述步骤S7中，目标位置预估计方法为：首先在图像跟踪算法实时性的基础上，相邻两帧图像之间会得到一个变化的角度，伺服系统能根据瞬时的角度信息，根据不同的帧率，用角度比上每帧图像所用的平均时间，得到目标转动的角速度，再根据角速度乘上对应的时间，就可以得到下一帧目标出现的位置信息。
8.一种基于IMU光电吊舱跟踪系统，其特征在于，所述跟踪系统采用权利要求1-7任意一项所述的光电吊舱图像跟踪方法。
CN201910742637.0A 2019-08-13 2019-08-13 基于融合imu的光电吊舱图像跟踪方法及跟踪系统 Pending CN110400330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910742637.0A CN110400330A (zh) 2019-08-13 2019-08-13 基于融合imu的光电吊舱图像跟踪方法及跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910742637.0A CN110400330A (zh) 2019-08-13 2019-08-13 基于融合imu的光电吊舱图像跟踪方法及跟踪系统

Publications (1)

Publication Number Publication Date
CN110400330A true CN110400330A (zh) 2019-11-01

Family

ID=68328107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910742637.0A Pending CN110400330A (zh) 2019-08-13 2019-08-13 基于融合imu的光电吊舱图像跟踪方法及跟踪系统

Country Status (1)

Country Link
CN (1) CN110400330A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860461A (zh) * 2020-08-05 2020-10-30 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN113156996A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种目标跟踪的吊舱控制自适应增益方法
CN113395448A (zh) * 2021-06-15 2021-09-14 西安视成航空科技有限公司 一种机载吊舱图像搜索跟踪处理系统
CN113792670A (zh) * 2021-09-16 2021-12-14 中国电子科技集团公司第五十四研究所 一种自适应重构的高精度机载目标识别方法
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN115908475A (zh) * 2023-03-09 2023-04-04 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统
CN117723058A (zh) * 2023-10-31 2024-03-19 中国人民解放军32806部队 一种无人机的自主目标搜索方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875419A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法
CN108036801A (zh) * 2017-12-30 2018-05-15 湖北航天技术研究院总体设计所 视轴惯性稳定参考基准装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875419A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN107392210A (zh) * 2017-07-12 2017-11-24 中国科学院光电技术研究所 一种基于tld算法的目标检测跟踪方法
CN108036801A (zh) * 2017-12-30 2018-05-15 湖北航天技术研究院总体设计所 视轴惯性稳定参考基准装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何佳: "《无人机视觉稳定跟踪系统云台系统硬件设计与实现》", 《硕士电子期刊》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860461A (zh) * 2020-08-05 2020-10-30 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN111860461B (zh) * 2020-08-05 2024-02-27 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN113156996A (zh) * 2021-04-28 2021-07-23 北京理工大学 一种目标跟踪的吊舱控制自适应增益方法
CN113395448A (zh) * 2021-06-15 2021-09-14 西安视成航空科技有限公司 一种机载吊舱图像搜索跟踪处理系统
CN113395448B (zh) * 2021-06-15 2023-02-21 西安视成航空科技有限公司 一种机载吊舱图像搜索跟踪处理系统
CN113792670A (zh) * 2021-09-16 2021-12-14 中国电子科技集团公司第五十四研究所 一种自适应重构的高精度机载目标识别方法
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN114280978B (zh) * 2021-11-29 2024-03-15 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN115908475A (zh) * 2023-03-09 2023-04-04 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统
CN115908475B (zh) * 2023-03-09 2023-05-19 四川腾盾科技有限公司 一种机载光电侦察吊舱图像预跟踪功能的实现方法及系统
CN117723058A (zh) * 2023-10-31 2024-03-19 中国人民解放军32806部队 一种无人机的自主目标搜索方法和系统

Similar Documents

Publication Publication Date Title
CN110400330A (zh) 基于融合imu的光电吊舱图像跟踪方法及跟踪系统
CN109936080B (zh) 一种无人机巡检输电线路的方法
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110889324A (zh) 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN107247458A (zh) 无人机视频图像目标定位系统、定位方法及云台控制方法
CN109613934A (zh) 一种无人机捕捉黑飞无人机的方法
CN107390704B (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN109685858A (zh) 一种单目摄像头在线标定方法
CN106096207B (zh) 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CN106971408A (zh) 一种基于时空转换思想的摄像机标定方法
CN106403900A (zh) 飞行物追踪定位系统及方法
CN109739254A (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN107065895A (zh) 一种植保无人机定高技术
Guo et al. Detecting and positioning of wind turbine blade tips for uav-based automatic inspection
CN109612333A (zh) 一种面向可重复使用火箭垂直回收的视觉辅助导引系统
CN113326752B (zh) 一种基于无人机的光伏电站识别方法及系统
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
CN109764864B (zh) 一种基于颜色识别的室内无人机位姿获取方法及系统
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
CN105403886B (zh) 一种机载sar定标器图像位置自动提取方法
CN113936031A (zh) 一种基于机器视觉的云影轨迹预测方法
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN103488801A (zh) 一种基于地理信息空间库的机场目标检测方法
CN112668397A (zh) 火情实时检测分析方法、系统、存储介质及电子设备
CN111523392B (zh) 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191101

WD01 Invention patent application deemed withdrawn after publication