CN113395448A - 一种机载吊舱图像搜索跟踪处理系统 - Google Patents

一种机载吊舱图像搜索跟踪处理系统 Download PDF

Info

Publication number
CN113395448A
CN113395448A CN202110659753.3A CN202110659753A CN113395448A CN 113395448 A CN113395448 A CN 113395448A CN 202110659753 A CN202110659753 A CN 202110659753A CN 113395448 A CN113395448 A CN 113395448A
Authority
CN
China
Prior art keywords
image
module
tracking
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110659753.3A
Other languages
English (en)
Other versions
CN113395448B (zh
Inventor
韩光韬
陈翠
郭小莉
王祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Shicheng Aviation Technology Co ltd
Original Assignee
Xi'an Shicheng Aviation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Shicheng Aviation Technology Co ltd filed Critical Xi'an Shicheng Aviation Technology Co ltd
Priority to CN202110659753.3A priority Critical patent/CN113395448B/zh
Publication of CN113395448A publication Critical patent/CN113395448A/zh
Application granted granted Critical
Publication of CN113395448B publication Critical patent/CN113395448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

本发明提供了一种机载吊舱图像搜索跟踪处理系统，包括视频采集模块、视频处理模块、处理器、系统控制器和伺服控制模块，视频采集模块将采集到的视频信息传送至视频处理模块、图像帧存模块和处理器，经过视频处理模块和图像帧存模块处理的视频信息传送至处理器，完成目标区域跟踪任务，实现对指定目标区域的目标实时跟踪，完成输出目标区域中心与视频采集模块的角偏差信息计算，并控制伺服控制模块使光电任务载荷对指定的目标区域，系统控制器通过系统接口分别与镜头控制模块和伺服控制模块之间信号连接，系统控制器控制镜头控制模块和伺服控制模块跟随目标转动，使目标始终处于视频采集模块的视场中心，实现对目标的自动连续跟踪。

Description

一种机载吊舱图像搜索跟踪处理系统
技术领域
本发明属于航空机载图像处理系统技术领域，具体涉及一种机载吊舱图像搜索跟踪处理系统。
背景技术
机载吊舱是一种先进的全天候高分辨率视频侦察跟踪系统，可昼夜不间断对设备周边一定范围内的可疑目标进行搜索、跟踪、监视和记录取证。通常采用全天候工作方式，白天通过自然光成像，夜晚通过隐蔽性激光夜视技术，对目标进行态势感知，完成侦查作业。
但是传统的成像侦查仪通常只是对目标区域内的图像或者视频信息的采集，无法对目标区域内的疑似目标进行跟踪处理，进而影响侦查仪使用过程中的灵活性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足，提供一种机载吊舱图像搜索跟踪处理系统，以解决上述背景技术中提出的问题。
为解决上述技术问题，本发明采用的技术方案是：一种机载吊舱图像搜索跟踪处理系统，包括视频采集模块、视频处理模块、处理器、系统控制器和伺服控制模块；
所述视频采集模块由光学镜头和摄像机组成，且其分别连接有用于控制镜头朝向的镜头控制模块和用于控制整体转动的伺服控制模块，通过光学镜头和摄像机完成视频信息的采集，并将采集到的视频信息传送至视频处理模块；
所述视频处理模块信号连接有图像帧存模块，经过视频处理模块和图像帧存模块处理的视频信息传送至处理器，所述处理器对经过视频处理模块和图像帧存模块处理的视频信息进行整合处理，产生目标质心信息，并形成跟踪波门始终套住被锁定的目标，并将信号传送至系统控制器，所述系统控制器通过系统接口分别与镜头控制模块和伺服控制模块之间信号连接，所述系统控制器控制镜头控制模块和伺服控制模块跟随目标转动，使目标始终处于视频采集模块的视场中心，实现对目标的自动连续跟踪。
优选的，所述系统接口还信号连接有通信模块和输出模块，所述通信模块用于与外接控制器之间信号连接，完成远程通信作用，所述输出模块用于对处理后的图像信息进行输出处理。
优选的，所述视频处理模块用于完成视频信息的预处理，所述图像帧存模块用于完成图像帧率转换的处理。
优选的，所述处理器采用DSP+FPGA架构，采用FPGA内部的LVDS信号收发器接收视频图像，将高速串行差分信号转换成TTL电平的并行数字图像信号，由FPGA逻辑完成TTL电平数字图像信息的采集，两路数字图像选择一路进行目标检测和跟踪处理；
所述DSP用于完成目标区域跟踪任务，实现对指定目标区域的目标实时跟踪，完成输出目标区域中心与视频采集模块的角偏差信息计算，并控制伺服控制模块使光电任务载荷对指定的目标区域，完成对疑似目标进行提示、字符信息叠加输出及视频图像转换输出，实现光电任务载荷的通讯控制。
优选的，所述目标实时跟踪包括以下步骤；
首先对每帧图像都进行角点检测，得到一个角点链；
然后将当前帧和前一帧的角点链进行基于矩特征的相关角点匹配，得到上一帧角点与当前帧之间的相应匹配点，进而得到光流链；
再对光流进行聚类得到候选类链，完成运动目标的跟踪。
优选的，所述角点检测算法公式为：
Figure BDA0003114731800000031
其中gi、gj分别表示图像i、j方向的导数；
gii、gij、gjj分别是边缘点处的二阶导数；
采用角点检测算法提取每帧图像中的角点，就可以得到角点链，被跟踪目标形状的完整与否与角度检测的结果相关，在检测中要保证重要的角点提取出来，增多检测的角点可能在图像中加入噪声点，在角点匹配和光流聚类中可根据光流特征的不同，将噪声点和目标点分离。
优选的，所述矩特征是用图像分布的各阶矩来描述灰度统计特性的矩描述方法，对于数字图像f(m，n)，(p+q)阶原点矩mpq,(p+q)阶中心矩μpq分别表示为：
Figure BDA0003114731800000032
Figure BDA0003114731800000033
上式中
Figure BDA0003114731800000034
是图像，f(m，n)的重心坐标，归一化中心矩ηpq定义为：
ηpq＝μpq/μ′00＝(p+q)/2 p+q＝2，3，k
在二阶和三阶中心矩的基础上，Hu构造了七个不变矩，证明了矩的平移不变性、旋转不变性以及比例不变性，七个不变矩的表达式为：
M1＝η20+η02
Figure BDA0003114731800000035
M3＝(η30-3η12)2+(3η21-η03)2
M4＝(η30+η12)2+(η21+η03)2
M5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
M6＝(η20-η02)([η30+η12)2-(η21+η03)2+4η11(η30+η12)(η21+η03)]
M7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η12+η03)2]+(η30-3η12)(η21+η03)[3(η30+η21)2-(η21+η03)2]
采用加权模板匹配算法对图像角点进行匹配；
加权模板相关匹配算法在当前帧中的对应点上，通过加权模板相关匹配技术可求得上一帧图像中
的角点，匹配的准则函数表示为：
Figure BDA0003114731800000041
式中，f1表示上一帧的图像函数，f2表示当前帧的图像函数，μ1，μ2是相应图像块的像素平均值，ri，j是一个权值为:
Figure BDA0003114731800000042
其中c表示r00与外层权值的比值；i,j的取值决定了匹配模板的大小；c＝(max|i|-1)/2；
从上面的准则函数可以看出，如果将两个对应图像块当做两个维数相同的矢量，那么准则
Figure BDA0003114731800000043
就是经过加权处理后，两个矢量之间夹角的余弦值，
Figure BDA0003114731800000044
越大，夹角则越小，两个矢量也就越相似；
在当前帧内，通过计算ψ来搜索与上一帧中的角点相匹配的匹配点，设定一个阈值ψth，如果某个角点和最相匹配的点间的匹配度ψ＞ψth，就称这是一个匹配对，对于序列中的头两帧，匹配上的点对才是有效的角点对，对这些角点对求特征光流，得到光流链。
优选的，所述光学镜头和摄像机分别是工业级相机和红外相机。
本发明与现有技术相比具有以下优点：
本发明先利用视频采集模块将采集到的视频信息传送至视频处理模块，视频处理模块用于完成视频信息的预处理，图像帧存模块用于完成图像帧率转换的处理，经过视频处理模块和图像帧存模块处理的视频信息传送至处理器，处理器的DSP+FPGA架构中，采用FPGA内部的LVDS信号收发器接收视频图像，将高速串行差分信号转换成TTL电平的并行数字图像信号，由FPGA逻辑完成TTL电平数字图像信息的采集，两路数字图像选择一路进行目标检测和跟踪处理，DSP用于完成目标区域跟踪任务，实现对指定目标区域的目标实时跟踪，完成输出目标区域中心与视频采集模块的角偏差信息计算，并控制伺服控制模块使光电任务载荷对指定的目标区域，完成对疑似目标进行提示、字符信息叠加输出及视频图像转换输出，实现光电任务载荷的通讯控制，利用处理器对经过视频处理模块和图像帧存模块处理的视频信息进行整合处理，产生目标质心信息，处理器将处理后的信号传送至系统控制器，系统控制器通过系统接口分别与镜头控制模块和伺服控制模块之间信号连接，系统控制器控制镜头控制模块和伺服控制模块跟随目标转动，使目标始终处于视频采集模块的视场中心，实现对目标的自动连续跟踪。
附图说明
图1是本发明原理框架图；
附图标记说明：
1-视频采集模块；11-光学镜头；12-摄像机；21-视频处理模块；22-图像帧存模块；3-处理器；4-系统控制器；5-系统接口；6-通信模块；7-输出模块；8-镜头控制模块；9-伺服控制模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种技术方案：一种机载吊舱图像搜索跟踪处理系统，包括视频采集模块1、视频处理模块2、处理器3、系统控制器4和伺服控制模块9；
所述视频采集模块1由光学镜头11和摄像机12组成，光学镜头11和摄像机12分别是工业级相机和红外相机。
所述视频采集模块1连接有用于控制镜头朝向的镜头控制模块8，还连接有用于控制整体转动的伺服控制模块9。
通过光学镜头11和摄像机12完成视频信息的采集，利用镜头控制模块8和伺服控制模块9完成不同区域的视频信息采集，完成跟踪作业。
所述视频采集模块1将采集到的视频信息传送至视频处理模块2，所述视频处理模块21信号连接有图像帧存模块22，视频处理模块21用于完成视频信息的预处理，所述图像帧存模块22用于完成图像帧率转换的处理。
经过视频处理模块21和图像帧存模块22处理的视频信息传送至处理器3，所述处理器3对经过视频处理模块21和图像帧存模块22处理的视频信息进行整合处理，产生目标质心信息，具体为所述处理器3采用DSP+FPGA架构，采用FPGA内部的LVDS信号收发器接收视频图像，将高速串行差分信号转换成TTL电平的并行数字图像信号，由FPGA逻辑完成TTL电平数字图像信息的采集，两路数字图像选择一路进行目标检测和跟踪处理；
所述DSP用于完成目标区域跟踪任务，实现对指定目标区域的目标实时跟踪，完成输出目标区域中心与视频采集模块1的角偏差信息计算，并控制伺服控制模块9使光电任务载荷对指定的目标区域，完成对疑似目标进行提示、字符信息叠加输出及视频图像转换输出，实现光电任务载荷的通讯控制。
所述目标实时跟踪包括以下步骤；首先对每帧图像都进行角点检测，得到一个角点链；然后将当前帧和前一帧的角点链进行基于矩特征的相关角点匹配，得到上一帧角点与当前帧之间的相应匹配点，进而得到光流链；再对光流进行聚类得到候选类链，完成运动目标的跟踪。
所述角点检测算法公式为：
Figure BDA0003114731800000071
其中gi、gj分别表示图像i、j方向的导数；
gii、gij、gjj分别是边缘点处的二阶导数；
采用角点检测算法提取每帧图像中的角点，就可以得到角点链，被跟踪目标形状的完整与否与角度检测的结果相关，在检测中要保证重要的角点提取出来，增多检测的角点可能在图像中加入噪声点，在角点匹配和光流聚类中可根据光流特征的不同，将噪声点和目标点分离。
所述矩特征是用图像分布的各阶矩来描述灰度统计特性的矩描述方法，对于数字图像f(m，n)，(p+q)阶原点矩mpq,(p+q)阶中心矩μpq分别表示为：
Figure BDA0003114731800000072
Figure BDA0003114731800000073
上式中
Figure BDA0003114731800000074
是图像，f(m，n)的重心坐标，归一化中心矩ηpq定义为：
ηpq＝μpq/μ′00＝(p+q)/2 p+q＝2，3，k
在二阶和三阶中心矩的基础上，Hu构造了七个不变矩，证明了矩的平移不变性、旋转不变性以及比例不变性，七个不变矩的表达式为：
M1＝η20+η02
Figure BDA0003114731800000075
M3＝(η30-3η12)2+(3η21-η03)2
M4＝(η30+η12)2+(η21+η03)2
M5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
M6＝(η20-η02)[(η30+η12)2-(η21+η03)2+4η11(η30+η12)(η21+η03)]
M7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η12+η03)2]+(η30-3η12)(η21+η03)[3(η30+η21)2-(η21+η03)2]
采用加权模板匹配算法对图像角点进行匹配；
加权模板相关匹配算法在当前帧中的对应点上，通过加权模板相关匹配技术可求得上一帧图像中
的角点，匹配的准则函数表示为：
Figure BDA0003114731800000081
式中，f1表示上一帧的图像函数，f2表示当前帧的图像函数，μ1，μ2是相应图像块的像素平均值，ri，j是一个权值为:
Figure BDA0003114731800000082
其中c表示r00与外层权值的比值；i,j的取值决定了匹配模板的大小；c＝(max|i|-1)/2；
从上面的准则函数可以看出，如果将两个对应图像块当做两个维数相同的矢量，那么准则
Figure BDA0003114731800000083
就是经过加权处理后，两个矢量之间夹角的余弦值，
Figure BDA0003114731800000084
越大，夹角则越小，两个矢量也就越相似。
在当前帧内，通过计算ψ来搜索与上一帧中的角点相匹配的匹配点，设定一个阈值ψth，如果某个角点和最相匹配的点间的匹配度ψ＞ψth，就称这是一个匹配对，对于序列中的头两帧，匹配上的点对才是有效的角点对，对这些角点对求特征光流，得到光流链。
处理器3将处理后的信号传送至系统控制器4，所述系统控制器4通过系统接口5分别与镜头控制模块8和伺服控制模块9之间信号连接，所述系统控制器4控制镜头控制模块8和伺服控制模块9跟随目标转动，使目标始终处于视频采集模块1的视场中心，实现对目标的自动连续跟踪。
所述系统接口5还信号连接有通信模块6和输出模块7，所述通信模块6用于与外接控制器之间信号连接，完成远程通信作用，所述输出模块7用于对处理后的图像信息进行输出处理。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种机载吊舱图像搜索跟踪处理系统，其特征在于：包括视频采集模块(1)、视频处理模块(2)、处理器(3)、系统控制器(4)和伺服控制模块(9)；
所述视频采集模块(1)由光学镜头(11)和摄像机(12)组成，且其分别连接有用于控制镜头朝向的镜头控制模块(8)和用于控制整体转动的伺服控制模块(9)，通过光学镜头(11)和摄像机(12)完成视频信息的采集，并将采集到的视频信息传送至视频处理模块(2)；
所述视频处理模块(21)信号连接有图像帧存模块(22)，经过视频处理模块(21)和图像帧存模块(22)处理的视频信息传送至处理器(3)，所述处理器(3)对经过视频处理模块(21)和图像帧存模块(22)处理的视频信息进行整合处理，产生目标质心信息，并形成跟踪波门始终套住被锁定的目标，并将信号传送至系统控制器(4)，所述系统控制器(4)通过系统接口(5)分别与镜头控制模块(8)和伺服控制模块(9)之间信号连接，所述系统控制器(4)控制镜头控制模块(8)和伺服控制模块(9)跟随目标转动，使目标始终处于视频采集模块(1)的视场中心，实现对目标的自动连续跟踪。
2.根据权利要求1所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述系统接口(5)还信号连接有通信模块(6)和输出模块(7)，所述通信模块(6)用于与外接控制器之间信号连接，完成远程通信作用，所述输出模块(7)用于对处理后的图像信息进行输出处理。
3.根据权利要求2所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述视频处理模块(21)用于完成视频信息的预处理，所述图像帧存模块(22)用于完成图像帧率转换的处理。
4.根据权利要求3所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述处理器(3)采用DSP+FPGA架构，采用FPGA内部的LVDS信号收发器接收视频图像，将高速串行差分信号转换成TTL电平的并行数字图像信号，由FPGA逻辑完成TTL电平数字图像信息的采集，两路数字图像选择一路进行目标检测和跟踪处理；
所述DSP用于完成目标区域跟踪任务，实现对指定目标区域的目标实时跟踪，完成输出目标区域中心与视频采集模块(1)的角偏差信息计算，并控制伺服控制模块(9)使光电任务载荷对指定的目标区域，完成对疑似目标进行提示、字符信息叠加输出及视频图像转换输出，实现光电任务载荷的通讯控制。
5.根据权利要求4所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述目标实时跟踪包括以下步骤；
首先对每帧图像都进行角点检测，得到一个角点链；
然后将当前帧和前一帧的角点链进行基于矩特征的相关角点匹配，得到上一帧角点与当前帧之间的相应匹配点，进而得到光流链；
再对光流进行聚类得到候选类链，完成运动目标的跟踪。
6.根据权利要求5所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述角点检测算法公式为：
Figure FDA0003114731790000021
其中gi、gj分别表示图像i、j方向的导数；
gii、gij、gjj分别是边缘点处的二阶导数；
采用角点检测算法提取每帧图像中的角点，就可以得到角点链，被跟踪目标形状的完整与否与角度检测的结果相关，在检测中要保证重要的角点提取出来，增多检测的角点可能在图像中加入噪声点，在角点匹配和光流聚类中可根据光流特征的不同，将噪声点和目标点分离。
7.根据权利要求6所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述矩特征是用图像分布的各阶矩来描述灰度统计特性的矩描述方法，对于数字图像f(m，n)，(p+q)阶原点矩mpq,(p+q)阶中心矩μpq分别表示为：
Figure FDA0003114731790000031
Figure FDA0003114731790000032
上式中
Figure FDA0003114731790000033
是图像，f(m，n)的重心坐标，归一化中心矩ηpq定义为：
ηpq＝μpq/μ′00＝(p+q)/2 p+q＝2，3，k
在二阶和三阶中心矩的基础上，Hu构造了七个不变矩，证明了矩的平移不变性、旋转不变性以及比例不变性，七个不变矩的表达式为：
M1＝η20+η02
Figure FDA0003114731790000034
M3＝(η30-3η12)2+(3η21-η03)2
M4＝(η30+η12)2+(η21+η03)2
M5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]
M6＝(η20-η02)
[(η30+η12)2-(η21+η03)2+4η11(η30+η12)(η21+η03)]
M7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η12+η03)2]+(η30-3η12)(η21+η03)[3(η30+η21)2-(η21+η03)2]
采用加权模板匹配算法对图像角点进行匹配；
加权模板相关匹配算法在当前帧中的对应点上，通过加权模板相关匹配技术可求得上一帧图像中的角点，匹配的准则函数表示为：
Figure FDA0003114731790000035
式中，f1表示上一帧的图像函数，f2表示当前帧的图像函数，μ1，μ2是相应图像块的像素平均值，ri，j是一个权值为：
Figure FDA0003114731790000041
其中c表示r00与外层权值的比值；i，j的取值决定了匹配模板的大小；c＝(max|i|-1)/2；
从上面的准则函数可以看出，如果将两个对应图像块当做两个维数相同的矢量，那么准则
Figure FDA0003114731790000042
就是经过加权处理后，两个矢量之间夹角的余弦值，
Figure FDA0003114731790000043
越大，夹角则越小，两个矢量也就越相似；
在当前帧内，通过计算ψ来搜索与上一帧中的角点相匹配的匹配点，设定一个阈值ψth，如果某个角点和最相匹配的点间的匹配度ψ＞ψth，就称这是一个匹配对，对于序列中的头两帧，匹配上的点对才是有效的角点对，对这些角点对求特征光流，得到光流链。
8.根据权利要求1所述的一种机载吊舱图像搜索跟踪处理系统，其特征在于，所述光学镜头(11)和摄像机(12)分别是工业级相机和红外相机。
CN202110659753.3A 2021-06-15 2021-06-15 一种机载吊舱图像搜索跟踪处理系统 Active CN113395448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659753.3A CN113395448B (zh) 2021-06-15 2021-06-15 一种机载吊舱图像搜索跟踪处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659753.3A CN113395448B (zh) 2021-06-15 2021-06-15 一种机载吊舱图像搜索跟踪处理系统

Publications (2)

Publication Number Publication Date
CN113395448A true CN113395448A (zh) 2021-09-14
CN113395448B CN113395448B (zh) 2023-02-21

Family

ID=77621131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659753.3A Active CN113395448B (zh) 2021-06-15 2021-06-15 一种机载吊舱图像搜索跟踪处理系统

Country Status (1)

Country Link
CN (1) CN113395448B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885312A (zh) * 2021-11-06 2022-01-04 深圳市明日系统集成有限公司 光电跟踪系统及方法
CN117270580A (zh) * 2023-11-21 2023-12-22 长春通视光电技术股份有限公司 无人机载光电吊舱目标跟踪的伺服控制方法、系统和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505647A (ja) * 1997-04-01 2001-04-24 ロッキード マーティン コーポレイション 一体型レーザ／赤外線前方監視光学装置
CN101811578A (zh) * 2010-04-23 2010-08-25 福建省电力有限公司福州电业局 电力巡检无人直升机专用光电吊舱
CN104616322A (zh) * 2015-02-10 2015-05-13 山东省科学院海洋仪器仪表研究所 船载红外目标图像辨识跟踪方法及其装置
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪系统及方法
CN207869285U (zh) * 2017-12-27 2018-09-14 北京中科戎大科技股份有限公司 一种机载光电吊舱超高清视频图像处理系统
CN108733066A (zh) * 2018-05-07 2018-11-02 中国人民解放军国防科技大学 一种基于吊舱姿态反馈的目标跟踪控制方法
CN110400330A (zh) * 2019-08-13 2019-11-01 湖南海迅自动化技术有限公司 基于融合imu的光电吊舱图像跟踪方法及跟踪系统
CN111932588A (zh) * 2020-08-07 2020-11-13 浙江大学 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN112489091A (zh) * 2020-12-18 2021-03-12 湖南华南光电(集团)有限责任公司 一种基于直瞄模板的全捷联图像导引头目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505647A (ja) * 1997-04-01 2001-04-24 ロッキード マーティン コーポレイション 一体型レーザ／赤外線前方監視光学装置
CN101811578A (zh) * 2010-04-23 2010-08-25 福建省电力有限公司福州电业局 电力巡检无人直升机专用光电吊舱
CN104616322A (zh) * 2015-02-10 2015-05-13 山东省科学院海洋仪器仪表研究所 船载红外目标图像辨识跟踪方法及其装置
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪系统及方法
CN207869285U (zh) * 2017-12-27 2018-09-14 北京中科戎大科技股份有限公司 一种机载光电吊舱超高清视频图像处理系统
CN108733066A (zh) * 2018-05-07 2018-11-02 中国人民解放军国防科技大学 一种基于吊舱姿态反馈的目标跟踪控制方法
CN110400330A (zh) * 2019-08-13 2019-11-01 湖南海迅自动化技术有限公司 基于融合imu的光电吊舱图像跟踪方法及跟踪系统
CN111932588A (zh) * 2020-08-07 2020-11-13 浙江大学 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
CN112489091A (zh) * 2020-12-18 2021-03-12 湖南华南光电(集团)有限责任公司 一种基于直瞄模板的全捷联图像导引头目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万文静: "一种基于矩特征和特征光流的运动目标跟踪方法", 《计测技术》 *
金明磊: "直升机光电吊舱自动跟踪技术在输电线路巡检中的应用", 《计算技术与自动化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885312A (zh) * 2021-11-06 2022-01-04 深圳市明日系统集成有限公司 光电跟踪系统及方法
CN117270580A (zh) * 2023-11-21 2023-12-22 长春通视光电技术股份有限公司 无人机载光电吊舱目标跟踪的伺服控制方法、系统和设备

Also Published As

Publication number Publication date
CN113395448B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
CN113395448B (zh) 一种机载吊舱图像搜索跟踪处理系统
CN107016690B (zh) 基于视觉的无人机入侵检测与识别系统及方法
Bulanon et al. Image fusion of visible and thermal images for fruit detection
CN103997624B (zh) 重叠域双摄像头目标跟踪系统及方法
Zin et al. Fusion of infrared and visible images for robust person detection
Kim et al. GAN-based synthetic data augmentation for infrared small target detection
CN112906531B (zh) 一种基于非监督分类的多源遥感影像时空融合方法及系统
CN111505632A (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
Ryu et al. Heterogeneous gray-temperature fusion-based deep learning architecture for far infrared small target detection
CN110567324B (zh) 一种基于ds证据理论的多目标群威胁度预测装置及方法
CN114612359A (zh) 基于特征提取的可见光与红外图像融合方法
Tuominen et al. Cloud detection and movement estimation based on sky camera images using neural networks and the Lucas-Kanade method
Wang et al. Robust detection of infrared maritime targets for autonomous navigation
CN102324033B (zh) 风电安全智能预警应急系统图像处理方法
CN104182992A (zh) 一种基于全景视觉的海上弱小目标检测方法
Anderson et al. Algorithm fusion in forward-looking long-wave infrared imagery for buried explosive hazard detection
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法
Marnissi et al. Thermal image enhancement using generative adversarial network for pedestrian detection
Zhang et al. SwinSeg: Swin transformer and MLP hybrid network for ship segmentation in maritime surveillance system
CN111581418B (zh) 一种基于图像关联人物信息的目标人员搜索方法
Lan et al. Automatic ship target classification based on aerial images
CN108171168B (zh) 弱小目标变动智能图像检测方法及装置
CN112329796A (zh) 基于视觉显著性的红外成像卷云检测方法和装置
EP4022503A1 (en) A method for training shallow convolutional neural networks for infrared target detection using a two-phase learning strategy
Wang et al. Highly Reliable Vehicle Detection through CNN with Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant