CN113111890A - 一种基于水天线的远距离水面红外目标快速跟踪方法 - Google Patents
一种基于水天线的远距离水面红外目标快速跟踪方法 Download PDFInfo
- Publication number
- CN113111890A CN113111890A CN202110377750.0A CN202110377750A CN113111890A CN 113111890 A CN113111890 A CN 113111890A CN 202110377750 A CN202110377750 A CN 202110377750A CN 113111890 A CN113111890 A CN 113111890A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- water
- image
- water surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008569 process Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种基于水天线的远距离水面红外目标快速跟踪方法,能借助水面图像中水天线的特点规划出目标在整幅图像中可能存在的区域,然后在该区域内提取出候选的目标,最终通过滤波器模板与候选目标的匹配定位到跟踪的目标。通过相邻帧水面目标在图像中移动的距离,求取当前状态下目标的移动速度,再综合考虑水面目标的速度和尺度得到模型更新率的关系式。本发明设计改进了确定目标搜索区域的方法,使得搜索区域确定在水天线区域内,缩小了搜索区域范围,加快了目标跟踪速度;通过设计的自适应目标速度与尺度的模型更新方式,使得滤波器模型能够更好的表示目标,提高了跟踪精度。
Description
技术领域
本发明涉及一种基于水天线的远距离水面红外目标快速跟踪方法,属于目标检测跟踪领域,适用于在水面环境下的舰艇追踪、视频监控等远距离红外目标跟踪方面的对不同运动速度目标跟踪的问题。
背景技术
目标检测与识别是计算机视觉领域中的重要课题,在医疗诊断、交通运输、军事安全和航空航天等领域有广泛的应用前景。但在一些特殊环境中,水下无人航行器除了通过主被动声纳对水下目标侦查外,或者声纳设备出现故障,还需要一种辅助红外视觉设备探出水面,对水面目标进行观察甚至跟踪,那么就需要控制好对目标的跟踪距离,如果跟踪距离过近,容易被目标发现,失去了跟踪的隐蔽性(当然,有时也会存在故意主动暴露自身,以示警方式跟随目标),而跟踪距离过远则容易导致目标丢失,使得跟踪失败。在对水面目标进行跟踪时,一般情况下,当目标出现在水天线附近时,对目标进行跟踪,既能满足跟踪的隐蔽性要求,还能实现对目标的准确跟踪。对远距离的目标跟踪是通过设备捕捉到的视频图像,跟踪指定目标的位置与轮廓,估计指定目标的运动速度、行进方向以及运动轨迹等信息,通过以上过程完成对目标行为的理解,进而实现更高级的任务。
目标跟踪在计算机视觉领域一直是研究的热点。然而在快速移动、目标受到长时间遮挡、背景杂乱等复杂场景下跟踪结果仍然面临很大的挑战性。因此,众多优秀的判别式与生成式目标跟踪算法相继被推出。王悦行在文章《海天背景下红外舰船目标实时跟踪算法研究》中提出了一种均值移位(mean-shift)和海天线检测相结合的红外目标实时跟踪算法,该算法对目标的跟踪具有较好的鲁棒性,但是它不能对跟踪前对初始帧目标的大小和位置实现快速检测,以及在目标存在明显尺寸变化时,不能实现模板尺寸的自适应,从而影响了跟踪的效果;而且当水面红外目标突然提速、或移动方向突变、或被海浪遮挡等因素,导致目标位置突变的问题,该算法也不能很好的解决。文献《Fast Visual Tracking viaDense Spatio-temporal Context Learning》提出时空上下文学习跟踪(STC)算法,该算法是基于帧间目标运动较小的假设,而且模型采用固定速率更新,因此在目标快速运动时容易导致跟踪失败,同时在目标被遮挡时易产生模型更新错误导致目标漂移,从而使得跟踪误差增大。刘威在文章《时空上下文学习长时目标跟踪》中提出了一种利用相关滤波技术和时空上下文模型,实现对目标的精确定位,同时利用目标位置置信图对时空上下文模型进行更新,提高了模型的自适应能力,但当目标外观变化较大时,对目标的跟踪效果不理想。Oron等人在文献《Locally orderless tracking》提出一种对目标区域分块的跟踪方法,首先对图像目标区域进行分块处理,根据像素匹配的相似性预测目标的下一帧所在位置,提高跟踪的精确度,但跟踪速度很慢。黄浩淼在文章《融合TLD框架的DSST实时目标跟踪改进算法》中提出了一种融合TLD框架的DSST实时目标跟踪改进算法(TLD-DSST),该算法改进了DSST算法的位置滤波器,同时引入朴素贝叶斯分类器改进TLD检测器,能够实现对快速运动目标的精准定位,但是在相似目标重发生叠时可能会导致对目标的跟踪失败。文献《Discriminative Scale Space Tracking》中提出了一种目标跟踪改进算法(FDSST),该算法是对DSST算法进行特征降维和插值处理,降低了计算量,大大提高了计算速度,但是在目标被严重遮挡、目标在视野中暂时丢失和帧间目标位置大范围偏移时可能会导致对目标的跟踪失败。文献《High-speed tracking with Kernelized Correlation Filters》在CSK算法的基础上,提出采用HOG多通道特征替换灰度特征,并通过高斯核函数简化循环矩阵傅里叶对角化计算,提高了算法的鲁棒性,但对于目标尺度发生变化的情况,容易跟踪漂移,所以对目标的跟踪效果不理想。在文献《A multiscale fast correlation filtertracking algorithm based on fusion features》中,火云莲等人提出一种融合多特征的相关滤波跟踪算法,通过提取多种特征构建目标表观模型,进行降维后重新构造特征矩阵并融合入相关滤波器,虽然提高了对目标跟踪的精度,但模型变得复杂,降低了跟踪的实时性。
目前,对于目标跟踪方法中速度的改进大多是通过对目标特征进行处理或者是多区域并行搜索来提升目标跟踪精度;而在对目标模型的建立方面则大多数通过每一帧单独建立或者按照固定更新速率把目标特征加入到模型中去,从而得到准确的目标模型。因此,针对远距离目标的跟踪,本发明通过使用水天线来约束目标检测范围,缩减搜索目标时的区域,去除无关的背景区域部分,从而减少运算量,从而加快对远距离目标的跟踪速度。并对远距离目标跟踪过程中结合目标速度与尺度改进模版更新率,把能够准确地反映目标形态的特征,保证目标模型对目标准确的表示,在进行相关滤波计算时才能得到较大的置信度,获得目标的位置更加准确。因此,对于水面红外目标,无论是运动速度和尺度变化过快,还是突然提速、或移动方向突变、或被海浪遮挡、或红外视觉设备所在的载体受波浪影响摇晃等,本发明专利所用方法都能很好的解决。
发明内容
针对上述现有技术,本发明要解决的技术问题是改进远距离水面红外跟踪目标的搜索区域,以及改进模板更新率的方法。通过使用水天线来缩小目标可能存在的区域,减少一部分不必要的背景区域,减少计算量,提升对目标跟踪速度;同时提出一种综合考虑目标速度与尺度的滤波器模型更新方法,从而保证滤波器模型对目标更加准确的表示。
本发明的目的是这样实现的:步骤如下:
步骤一:读取水面图像序列,并对第一帧图像手动标记跟踪目标,提取初始目标区域特征,建立最初的滤波器模型;
步骤二:对于后续水面图像序列,通过对跟踪过程中前一帧的目标位置及大小进行确定,以前一帧确定的目标中心位置作为中心点,并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域,然后通过滤波器模型求取目标区域响应图;若存在大于设定值的响应值,则响应值最大的目标即为跟踪目标,则进行步骤六;若不存在大于设定值的响应值,则没有找到跟踪目标,则进行步骤三;
步骤三:若步骤二方法未找到跟踪目标,利用一种利用水天线约束远距离红外水面目标搜索区域的方法,首先获取水天线,然后通过使用水天线对整幅图像的搜索区域进行划分来,并确定的目标搜索区域,缩小Edge Boxes的检测范围,减少Edge Boxes检测样本,同时提取出搜索区域的目标特征;
步骤四:在目标搜索区域内使用Edge Boxes提取候选目标,然后通过滤波器模版与候选的目标进行相关运算,选出响应值最大的目标即为跟踪目标;
步骤五:根据相邻帧图像中目标的移动距离,求取当前状态下目标的移动速度,采用一种基于目标速度和尺度的滤波器模型更新方法,即综合考虑水面目标的尺度和运动速度来求取模板更新率,进而更新相关滤波器模型;
步骤六:判断是否为最后一帧图像,如果是,则结束跟踪过程,否则跳转到下一帧的目标跟踪过程中去,重复步骤二~步骤六。
本发明还包括这样一些结构特征:
1.步骤三中一种改进的利用水天线远距离水面红外目标搜索区域的方法包括:
步骤1.1:对远距离水面红外目标进行跟踪时,先确定当前跟踪过程中远距离水面红外目标的搜索范围;由于图像中包含水天线,故有min{yl,yr}≤hp;首先限定一个角度阈值αT,当α≤αT时,α表示水天线角度(|α|≤90°),限定Edge Boxes搜索范围的上下边界分别为ymax和ymin,其计算公式为:
ymin=min{yl,yr}-ha (|α|≤αT)
其中:hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示水天线左端点的Y轴坐标,yr表示水天线右端点的Y轴坐标;
限定Edge Boxes搜索范围的左右边界为xmax和xmin,其计算公式为:
xmax=xi+3wan(|α|≤αT,n≥1,xmax≤wp)
xmin=xi-2wan(|α|≤αT,n≥1,xmin≥0)
其中wa为前一帧框中目标的宽度,(xi,yi)为前一帧目标框的左上角像素点位置坐标,wp为整幅图像的宽度,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度;
当|α|>αT时,将原图像坐标系以图像左下角像素点为圆心旋转α度,此坐标系上的水天线倾斜角度为0°,限定Edge Boxes搜索范围的上下边界分别为y′max和y′min,其计算公式为:
y′max=ha+ylcosα(min{yl,yr}≤hp,|α|>αT)
y′min=ylcosα-ha(|α|>αT)
其中hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示旋转前水天线左端点的Y轴坐标,yr表示旋转前水天线右端点的Y轴坐标;
限定Edge Boxes搜索范围的左右边界为x′max和x′min,其计算公式为:
x′min=yisinα+xicosα-2wan(|α|>αT,n≥1,x′min≥ylsinα)
其中wa为前一帧框中目标的宽度,wp为整幅图像的宽度,(xi,yi)为旋转前原坐标系中前一帧目标框的左上角像素点位置坐标,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度;
步骤1.2:坐标进行旋转后,假设在旋转后坐标系中目标框的左上角像素点位置坐标为(x′,y′),通过坐标旋转变换回原坐标系的目标框左上角像素点位置坐标为(x,y),变换公式如下:
2.步骤五中的一种基于目标速度和尺度的滤波器模型更新方法包括:
步骤2.1:定义水面目标跟踪过程中目标速度为相邻帧预测框中心像素点在图像中的欧式距离;
步骤2.2:设计一种综合考虑目标的尺度和运动速度来设置模板更新率,适应目标尺寸的变化,模板更新率的修正公式:
其中,η′为修正后滤波器模型实际更新速率,Pmax为目标跟踪框长宽中的最大值,反应了目标尺度,ε为模板误差;最后将修正后的更新率再代入该方法中,改善跟踪效果。
与现有技术相比,本发明的有益效果是:1.本发明设计了一种Edge Boxes与水天线结合的远距离水面红外目标区域搜索的方法,使用水天线来缩小目标可能存在的区域,在水天线区域中用Edge Boxes生成候选的目标,解决了因水面红外目标速度突然提速、或移动方向突变、或被海浪遮挡、或红外视觉设备所在的载体受波浪影响摇晃等因素,而导致目标位置突变的问题,减少不必要的背景区域,加快了对远距离水面目标的跟踪速度和准确度。2.本发明设计了依据目标速度和尺度进行自适应调整更新率的模型更新方法。综合考虑远距离水面红外目标的运动速度与尺度来设置模板更新率,对于远距离目标的速度与尺度变化有了更好的适应性,使得整个跟踪过程中滤波器模型能够很好的将目标特征的变化融入到模型中去,从而优化了滤波器的结构,改善了对目标的跟踪效果,可以有效解决水面红外目标运动速度和尺度变化过快的跟踪效果问题。
附图说明
图1为目标跟踪方法流程图;
图2为水天线限定的目标存在范围;
图3(a)-(b)为水天线坐标旋转示意图:其中(a)水天线与坐标角度图,(b)α>αT坐标周旋转示意;
图4(a)-(b)为增加水天线约束方法前后跟踪效果图:其中FDSST算法跟踪效果图,(b)有水天线约束范围的FDSST算法跟踪效果图。
图5(a)-(d)为改进模板更新率方法前后跟踪效果图:其中(a)(c)FDSST算法跟踪效果图,(b)(d)改进模板更新率后FDSST算法跟踪效果图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
结合图1,本发明提供的一种基于水天线的远距离水面红外目标快速跟踪方法,其流程包括:
步骤一:在读取水面图像序列后,对第一帧图像手动标记跟踪目标,提取初始目标区域特征,建立最初的滤波器模型;
步骤二:对于后续水面图像序列,通过对跟踪过程中前一帧的目标位置及大小进行确定,以前一帧确定的目标中心位置作为中心点,并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域,然后通过滤波器模型求取目标区域响应图。若存在大于设定值的响应值,则响应值最大的目标即为跟踪目标,则进行步骤六;若不存在大于设定值的响应值,说明没有找到跟踪目标,则进行步骤三;
步骤三:若步骤二方法未找到跟踪目标,则需要一种利用水天线约束远距离红外水面目标搜索区域的方法,首先借鉴专利201710362932.4的水天线提取方法获取水天线,然后通过使用水天线对整幅图像的搜索区域进行划分来,并按照一种基于水天线远距离水面目标搜索区域的方法来确定的目标搜索区域,缩小Edge Boxes的检测范围,从而减少Edge Boxes检测样本,同时提取出搜索区域的目标特征;
步骤四:在目标搜索区域内使用Edge Boxes提取候选目标,然后通过滤波器模版与候选的目标进行相关运算,选出响应值最大的目标即为跟踪目标;
步骤五:根据相邻帧图像中目标的移动距离,求取当前状态下目标的移动速度,采用一种基于目标速度和尺度的滤波器模型更新方法,即综合考虑水面目标的尺度和运动速度来求取模板更新率,进而更新相关滤波器模型;
步骤六:判断是否为最后一帧图像,如果是,则结束跟踪过程,否则跳转到下一帧的目标跟踪过程中去,重复步骤二~步骤六。
具体的,本发明的第一个改进之处为步骤三中提到的一种基于水天线远距离红外水面目标搜索区域的方法,其具体步骤包括:
步骤1.1:水面航行时拍摄到的水面图像均在平视的状态下,此时图像中包含了个区域:天空区域、水天线区域和水面区域。在对远距离水面目标进行跟踪时,若目标出现,则目标出现在水天线区域附近,因此如果能确定水天线区域,针对水天线区域进行目标跟踪,可以减少无关样本,大大提升了跟踪速度。
在对远距离水面红外目标进行跟踪时,为了加快对远距离水面红外目标的跟踪速度,本文提出一种新的确定搜索区域的方法,针对水天线区域进行目标跟踪。首先通过水天线确定当前跟踪过程中目标的搜索范围。由于图像中包含水天线,故有min{yl,yr}≤hp,然后限定一个角度阈值αT,当α≤αT时,α表示水天线角度(|α|≤90°),限定Edge Boxes搜索范围的上下边界分别为ymax和ymin,其计算公式为:
ymin=min{yl,yr}-ha (|α|≤αT)
其中hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示水天线左端点的Y轴坐标,yr表示水天线右端点的Y轴坐标。
限定Edge Boxes搜索范围的左右边界为xmax和xmin,其计算公式为:
xmax=xi+3wan(|α|≤αT,n≥1,xmax≤wp)
xmin=xi-2wan(|α|≤αT,n≥1,xmin≥0)
其中wa为前一帧框中目标的宽度,(xi,yi)为前一帧目标框的左上角像素点位置坐标,wp为整幅图像的宽度,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度。搜索范围如图2所示。
当|α|>αT时,按以上方法规划的搜索范围虽然小于整幅图像搜索的范围,但是有时可能会存在较多的候选目标,容易影响算法运行速度。只需要将原图像坐标系以图像左下角像素点为圆心旋转α度,此坐标系上的水天线倾斜角度为0°(此时左右端点到X轴的距离一样,即y′l=y′r),限定Edge Boxes搜索范围的上下边界分别为y′max和y′min,其计算公式为:
y′min=y′l-ha(|α|>αT)
其中hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示旋转前水天线左端点的Y轴坐标,yr表示旋转前水天线右端点的Y轴坐标,其中y′l=ylcosα,y′l表示旋转后水天线到X轴的距离。将y′l=ylcosα代入上式可以得到下式:
y′min=ylcosα-ha(|α|>αT)
对上式进行进一步的化简可以得到下式:
y′max=ha+ylcosα(min{yl,yr}≤hp,|α|>αT)
y′min=ylcosα-ha(|α|>αT)
其中hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示旋转前水天线左端点的Y轴坐标,yr表示旋转前水天线右端点的Y轴坐标。
限定Edge Boxes搜索范围的左右边界为x′max和x′min,其计算公式为:
x′min=x′i-2wan(|α|>αT,n≥1,x′min≥ylsinα)
其中wa为前一帧框中目标的宽度,(x′i,y′i)为旋转后前一帧目标框的左上角像素点位置坐标,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度。其中x′i和y′i的计算公式为:
其中(xi,yi)为旋转前原坐标系中前一帧目标框的左上角像素点位置坐标。将其代入x′max和x′min的计算公式中有:
x′min=yisinα+xicosα-2wan(|α|>αT,n≥1,x′min≥ylsinα)
其中wa为前一帧框中目标的宽度,wp为整幅图像的宽度,(xi,yi)为旋转前原坐标系中前一帧目标框的左上角像素点位置坐标,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度。旋转示意图及搜索范围如图3所示。
步骤1.2:坐标进行旋转后,需要搜索到的远距离水面目标位置信息通过旋转坐标变换回原来的坐标系上。假设在旋转后坐标系中目标框的左上角像素点位置坐标为(x′,y′),通过坐标旋转变换回原坐标系的目标框左上角像素点位置坐标为(x,y),变换公式如下:
图4(a)是采用直接常规的FDSST算法,针对水面目标进行跟踪的效果图。图4(b)图像是利用本专利提的基于水天线远距离目标搜索的区域方法的FDSST算法跟踪效果图。
通过图4(a)与图4(b)的对比结果可以发现,在对远距离水面目标进行跟踪,当特殊情况发生时,通过常规的FDSST算法找不到符合要求的目标时,需要在整幅图像范围内重新定位目标,存在定位错误目标问题(如图4(a)中第3幅),而图4(b)采用了改进后的算法,由于有了水天线约束后,搜索范围减少,候选轮廓数量也变少,这会极大减少模版匹配的时间,也减少了目标与滤波器模版做相关运算的时间,所以加入了水天线约束的改进算法速度变快了。
通过这一步的改进,在对远距离水面目标的跟踪过程中,使用水天线与EdgeBoxes结合的搜索方法可以在整幅图像中更加合理的小范围区域内搜索远距离目标,并且不受目标偏移距离的影响。对于未采用水天线方案的方法来说,水天线的使用缩小了搜索区域,减少不必要的背景区域,进而减少跟踪过程中的计算量,加快跟踪速度;对于采用水天线方案的方法来说,通过基于水天线的搜索目标区域方法,水天线与Edge Boxes结合的搜索方法,虽然搜索略慢一些,但可以有效解决了因水面红外目标速度突然提速、或移动方向突变、或被海浪遮挡、或红外视觉设备所在的载体受波浪影响摇晃等因素,而导致目标位置突变的问题。
具体的,本发明中的第二个改进之处为步骤五中提到的一种基于目标速度和尺度的滤波器模型更新的方法,其主要步骤包括:
步骤2.1:在相关滤波算法中,滤波器模型按照模板更新的方式进行,即:
Yi=(1-η′)Yi-1+η′Xi
如果使用较低的更新率,则它会缓慢更新模板,跟踪器与目标差别会越来越大,且更新率低会限制跟踪器随着目标改变而改变的特性。但是,选择较大的学习率可以使模板快速更新,跟踪器更倾向于对在背景中快速移动的目标的跟踪,因此需要设计自适应目标速度的滤波器模型的更新方法,使η随着目标速度变化进行自适应调整。
首先,定义目标跟踪过程中目标速度为相邻帧预测框中心像素点在图像中的欧式距离,即速度v的计算公式为:
其中,点(xn,yn)为当前帧预测目标位置的中心在图像中像素点位置,点(xn-1,yn-1)为前一帧目标位置的中心在图像中像素点位置。
步骤2.2:在文献《Adaptive Learning Rate for Visual Tracking usingCorrelation Filters》中提出一种基于目标速度调节模板更新率的方法,其中滤波器模型的更新率η与v的关系式为:
其中η为滤波器模型更新率,v为目标移动速度。虽然模版更新速率随速度变化有时会及时更新而避免为模版引入误差,但是当成像设备与目标受到外界因素干扰时可能会出现抖动导致远距离水面目标速度突变,此时只考虑远距离水面目标移动的速度而设定更新率在目标尺度过大和过小时会造成模版更新率也相对设定的过大和过小,所以为了解决这种问题应该综合考虑目标的尺度和运动速度来设置模板更新率,从而适应目标尺寸的变化。因此得到如下模板更新率的修正公式:
其中,η′为修正后滤波器模型实际更新速率,Pmax为目标跟踪框长宽中的最大值,反应了目标尺度,ε为模板误差。其中η的范围在0~1之间,通常算法对其取值都较小,一般在0.025左右。且η的取值随速度v增大而增大。为了增大模板更新率对目标运动速度适应区间,通过大量实验,不断对不同尺度与速度大小的远距离水面目标进行更新率的调整,当限定η′的范围在0~0.2之间时具有最佳的跟踪效果。其中分母当速度v大于目标跟踪框长宽中最大值Pmax的1.5倍时,认为此时目标运动状态为快速运动。当目标速度较小时,目标周围背景和自身外观变化都相对较小,应尽量保留原来模板的信息;当目标速度逐渐增大时,周围环境变化与自身变化相对较大,需增强对这些变化的适应性;而当速度大到一定程度时,模板更新率已经很大,达到饱和状态。修正后的模板更新率与运动速率的曲线在速率为1.5Pmax时,斜率达到最大值。然而原有的模板更新率在速度较快时,其值趋向于1,不能适应目标尺度的变化。因此修正后的模板更新率,更加适合目标运动的变化规律且适用速度区间更广,可以有效解决水面红外目标运动速度和尺度变化过快的跟踪效果问题。最后将修正后的更新率再代入到方法中,改善目标的跟踪效果。
图5(a)(c)是采用直接常规的FDSST算法,针对水面目标进行跟踪的效果图。图5(b)(d)是利用本专利提出的改进模板更新率的方法的FDSST算法跟踪效果图。
通过图5(a)(c)与图5(b)(d)的对比结果可以发现,目标在第72帧被遮挡,直到101帧被完全遮挡在视野中消失,原算法在目标第一次被严重遮挡后就不能跟上目标。而改进后的算法在目标经历了由远及近再到远的过程、目标艇转向时自身发生形变、目标被岩石遮挡到完全遮挡在视野中丢失以及拍摄视角的晃动调焦等一系列问题后仍能跟踪上目标,这是因为滤波器模板更新率综合考虑了速度和目标尺度,使得滤波器更新模板更加精确。
这种综合考虑目标的尺度和运动速度的模板更新率,可以解决的问题是:当成像设备与目标受到外界因素干扰时可能会出现抖动导致水面目标速度突变,而且只考虑目标移动的速度而设定更新率在目标尺度过大和过小时会造成模版更新率也相对设定的过大和过小。
综上,本发明公开了一种基于水天线的远距离水面红外目标快速跟踪方法。该方法能借助水面图像中水天线的特点规划出目标在整幅图像中可能存在的区域,然后在该区域内提取出候选的目标,最终通过滤波器模板与候选目标的匹配定位到跟踪的目标。通过相邻帧水面目标在图像中移动的距离,求取当前状态下目标的移动速度,再综合考虑水面目标的速度和尺度得到模型更新率的关系式。本发明设计改进了确定目标搜索区域的方法,使得搜索区域确定在水天线区域内,缩小了搜索区域范围,加快了目标跟踪速度;通过设计的自适应目标速度与尺度的模型更新方式,使得滤波器模型能够更好的表示目标,提高了跟踪精度。
Claims (3)
1.一种基于水天线的远距离水面红外目标快速跟踪方法,其特征在于:步骤如下:
步骤一:读取水面图像序列,并对第一帧图像手动标记跟踪目标,提取初始目标区域特征,建立最初的滤波器模型;
步骤二:对于后续水面图像序列,通过对跟踪过程中前一帧的目标位置及大小进行确定,以前一帧确定的目标中心位置作为中心点,并以目标高度和宽度按照一定公式求取下一帧的目标搜索区域,然后通过滤波器模型求取目标区域响应图;若存在大于设定值的响应值,则响应值最大的目标即为跟踪目标,则进行步骤六;若不存在大于设定值的响应值,则没有找到跟踪目标,则进行步骤三;
步骤三:若步骤二方法未找到跟踪目标,利用一种利用水天线约束远距离红外水面目标搜索区域的方法,首先获取水天线,然后通过使用水天线对整幅图像的搜索区域进行划分来,并确定的目标搜索区域,缩小Edge Boxes的检测范围,减少Edge Boxes检测样本,同时提取出搜索区域的目标特征;
步骤四:在目标搜索区域内使用Edge Boxes提取候选目标,然后通过滤波器模版与候选的目标进行相关运算,选出响应值最大的目标即为跟踪目标;
步骤五:根据相邻帧图像中目标的移动距离,求取当前状态下目标的移动速度,采用一种基于目标速度和尺度的滤波器模型更新方法,即综合考虑水面目标的尺度和运动速度来求取模板更新率,进而更新相关滤波器模型;
步骤六:判断是否为最后一帧图像,如果是,则结束跟踪过程,否则跳转到下一帧的目标跟踪过程中去,重复步骤二~步骤六。
2.根据权利要求1所述的一种基于水天线的远距离水面红外目标快速跟踪方法,其特征在于:步骤三中一种改进的利用水天线远距离水面红外目标搜索区域的方法包括:
步骤1.1:对远距离水面红外目标进行跟踪时,先确定当前跟踪过程中远距离水面红外目标的搜索范围;由于图像中包含水天线,故有min{yl,yr}≤hp;首先限定一个角度阈值αT,当α≤αT时,α表示水天线角度(|α|≤90°),限定Edge Boxes搜索范围的上下边界分别为ymax和ymin,其计算公式为:
ymin=min{yl,yr}-ha (|α|≤αT)
其中:hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示水天线左端点的Y轴坐标,yr表示水天线右端点的Y轴坐标;
限定Edge Boxes搜索范围的左右边界为xmax和xmin,其计算公式为:
xmax=xi+3wan(|α|≤αT,n≥1,xmax≤wp)
xmin=xi-2wan(|α|≤αT,n≥1,xmin≥0)
其中wa为前一帧框中目标的宽度,(xi,yi)为前一帧目标框的左上角像素点位置坐标,wp为整幅图像的宽度,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度;
当|α|>αT时,将原图像坐标系以图像左下角像素点为圆心旋转α度,此坐标系上的水天线倾斜角度为0°,限定Edge Boxes搜索范围的上下边界分别为y′max和y′min,其计算公式为:
y′max=ha+ylcosα(min{yl,yr}≤hp,|α|>αT)
y′min=ylcosα-ha(|α|>αT)
其中hp为整幅图像的高度,ha为前一帧框中目标的高度,其中yl表示旋转前水天线左端点的Y轴坐标,yr表示旋转前水天线右端点的Y轴坐标;
限定Edge Boxes搜索范围的左右边界为x′max和x′min,其计算公式为:
x′min=yisinα+xicosα--2wan(|α|>αT,n≥1,x′min≥ylsinα)
其中wa为前一帧框中目标的宽度,wp为整幅图像的宽度,(xi,yi)为旋转前原坐标系中前一帧目标框的左上角像素点位置坐标,为尽可能减少搜索范围,设n为搜索的循环次数,通过循环方式逐渐扩大搜索的左右边界,左右边界最终达到图像的最大宽度;
步骤1.2:坐标进行旋转后,假设在旋转后坐标系中目标框的左上角像素点位置坐标为(x′,y′),通过坐标旋转变换回原坐标系的目标框左上角像素点位置坐标为(x,y),变换公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110377750.0A CN113111890B (zh) | 2021-04-08 | 2021-04-08 | 一种基于水天线的远距离水面红外目标快速跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110377750.0A CN113111890B (zh) | 2021-04-08 | 2021-04-08 | 一种基于水天线的远距离水面红外目标快速跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113111890A true CN113111890A (zh) | 2021-07-13 |
CN113111890B CN113111890B (zh) | 2022-09-27 |
Family
ID=76714650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110377750.0A Active CN113111890B (zh) | 2021-04-08 | 2021-04-08 | 一种基于水天线的远距离水面红外目标快速跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111890B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842049A (zh) * | 2022-04-19 | 2022-08-02 | 武汉博宇光电系统有限责任公司 | 一种红外目标跟踪方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205611A (ja) * | 2008-02-29 | 2009-09-10 | Fujitsu Ltd | 画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラム |
US20100073218A1 (en) * | 2008-09-24 | 2010-03-25 | Lockheed Martin Corpration | Method and apparatus for radar surveillance and detection of sea targets |
CN102708382A (zh) * | 2012-05-11 | 2012-10-03 | 北京航空航天大学 | 一种基于变处理窗口和变坐标系的多目标跟踪方法 |
CN104778695A (zh) * | 2015-04-10 | 2015-07-15 | 哈尔滨工程大学 | 一种基于梯度显著性的水天线检测方法 |
KR20150109083A (ko) * | 2014-03-19 | 2015-10-01 | 국방과학연구소 | 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법 |
CN110097562A (zh) * | 2019-05-20 | 2019-08-06 | 哈尔滨工业大学(威海) | 海面溢油区域图像探测方法 |
CN111323756A (zh) * | 2019-12-30 | 2020-06-23 | 北京海兰信数据科技股份有限公司 | 一种基于深度学习的航海雷达目标检测方法及装置 |
CN111626290A (zh) * | 2019-12-31 | 2020-09-04 | 中国航天科工集团八五一一研究所 | 一种复杂海面环境下的红外舰船目标检测识别方法 |
CN112037272A (zh) * | 2020-08-30 | 2020-12-04 | 哈尔滨工程大学 | 一种基于相关滤波的快速区域搜索的目标跟踪方法 |
-
2021
- 2021-04-08 CN CN202110377750.0A patent/CN113111890B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205611A (ja) * | 2008-02-29 | 2009-09-10 | Fujitsu Ltd | 画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラム |
US20100073218A1 (en) * | 2008-09-24 | 2010-03-25 | Lockheed Martin Corpration | Method and apparatus for radar surveillance and detection of sea targets |
CN102708382A (zh) * | 2012-05-11 | 2012-10-03 | 北京航空航天大学 | 一种基于变处理窗口和变坐标系的多目标跟踪方法 |
KR20150109083A (ko) * | 2014-03-19 | 2015-10-01 | 국방과학연구소 | 거리 적응적 탐지 문턱값 적용에 의한 적외선 해상 표적 탐지장치 구현 방법 |
CN104778695A (zh) * | 2015-04-10 | 2015-07-15 | 哈尔滨工程大学 | 一种基于梯度显著性的水天线检测方法 |
CN110097562A (zh) * | 2019-05-20 | 2019-08-06 | 哈尔滨工业大学(威海) | 海面溢油区域图像探测方法 |
CN111323756A (zh) * | 2019-12-30 | 2020-06-23 | 北京海兰信数据科技股份有限公司 | 一种基于深度学习的航海雷达目标检测方法及装置 |
CN111626290A (zh) * | 2019-12-31 | 2020-09-04 | 中国航天科工集团八五一一研究所 | 一种复杂海面环境下的红外舰船目标检测识别方法 |
CN112037272A (zh) * | 2020-08-30 | 2020-12-04 | 哈尔滨工程大学 | 一种基于相关滤波的快速区域搜索的目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
YANG XIN等: "An improved target tracking algorithm based on spatio-temporal context under occlusions", 《MULTIDIMENSIONAL SYSTEMS & SIGNAL PROCESSING》 * |
侯建华等: "基于深度学习的多目标跟踪关联模型设计", 《自动化学报》 * |
管凤旭: "An Improved Tracking Algorithm for Occlusion Problem Based on STAPLE", 《2020 13TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842049A (zh) * | 2022-04-19 | 2022-08-02 | 武汉博宇光电系统有限责任公司 | 一种红外目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113111890B (zh) | 2022-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232350B (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
CN113850848B (zh) | 无人艇载航海雷达与视觉图像协同的海上多目标长期检测与跟踪方法 | |
AU2019203516B2 (en) | Method for Processing A Stream of Video Images | |
US8144931B1 (en) | Real time correlator system and method | |
CN108830879A (zh) | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 | |
Chang et al. | YolTrack: Multitask learning based real-time multiobject tracking and segmentation for autonomous vehicles | |
Sun et al. | A multiple template approach for robust tracking of fast motion target | |
CN110033472B (zh) | 一种复杂红外地面环境下的稳定目标跟踪方法 | |
CN114708300B (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
CN109993770B (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
CN110378411B (zh) | 一种基于交互式多模型的支持向量机辅助水下机动目标跟踪方法 | |
Yu et al. | Object detection-tracking algorithm for unmanned surface vehicles based on a radar-photoelectric system | |
CN116310607A (zh) | 一种基于聚类分割原理的无人船三维点云处理方法 | |
CN108469729B (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
CN112613565A (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
Xing et al. | NoisyOTNet: A robust real-time vehicle tracking model for traffic surveillance | |
CN116977902B (zh) | 一种边海防车载光电稳定平台目标跟踪方法及系统 | |
CN113111890B (zh) | 一种基于水天线的远距离水面红外目标快速跟踪方法 | |
Le et al. | Human detection and tracking for autonomous human-following quadcopter | |
CN116665097A (zh) | 一种结合上下文感知的自适应目标跟踪方法 | |
CN107194947B (zh) | 一种自适应自纠正的目标跟踪方法 | |
CN113470074B (zh) | 一种基于分块判别的自适应时空正则化目标跟踪方法 | |
KR20230106057A (ko) | 인공신경망을 이용한 6자유도 자세 추정 방법 및 장치 | |
CN114821113A (zh) | 基于自适应鲁棒核的单目视觉惯性slam方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |