CN116929149B - 一种基于图像制导的目标识别及制导方法 - Google Patents
一种基于图像制导的目标识别及制导方法 Download PDFInfo
- Publication number
- CN116929149B CN116929149B CN202311182065.8A CN202311182065A CN116929149B CN 116929149 B CN116929149 B CN 116929149B CN 202311182065 A CN202311182065 A CN 202311182065A CN 116929149 B CN116929149 B CN 116929149B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- template
- feature map
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 39
- 238000011068 loading method Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 17
- 238000011835 investigation Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000010494 dissociation reaction Methods 0.000 claims description 3
- 230000005593 dissociations Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010304 firing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/06—Aiming or laying means with rangefinder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
本发明公开一种基于图像制导的目标识别及制导方法，属于计算机视觉领域。光电载荷导引头光轴弹目距离解算；侦查地面特定目标与人选目标特征匹配；目标锁定与持续跟踪；目标失锁与重新捕获。本发明与传统人在回路控制的激光制导武器相比，既保留人在回路选择锁定的察打方式，又新增“射后不管，自主察打”的图像制导模式，丰富了导弹的智能制导模式，提高参与作战人员的效率，降低由于无线链路延时导致的人为操作失误的概率，提高作战效能；本发明提及的目标识别与跟踪方法，满足计算量小，实时性高，准确率高的要求，能够在低功耗嵌入式平台上完成计算，有效提高了导引头整体的计算效能，为智能导引头的使用提供了简便可靠的实现方法。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于图像制导的目标识别及制导方法。
背景技术
目标识别与跟踪是计算机视觉研究领域的热点，在视频监控、导航、军事、人机交互、虚拟现实、自动驾驶等多个领域都有着广泛的应用。简单来说，目标识别就是对视频中的特定目标类型进行定位，目标跟踪即对给定的目标在连续时间序列上进行分析跟踪，以确定视频中目标的确切位置。
目前，在军事武器智能化的趋势下，基于图像制导的无人值守空中载具平台逐渐成为未来武器发展的一个重点方向。相比于原有需要人工激光引导的武器，采用图像制导的武器具备“发射前锁定、发射后不管”的特点，广泛地被应用到未来智能武器平台上。一方面，各类无人值守的发射平台和打击目标的差异性，对目标搜索和捕获及其修正的功能需求有所不同；另一方面，武器弹药在发射初期冲击和振动较大，在飞行过程中飞行速度较快，由远及近接近目标的过程，需要尽可能早的发现可疑目标并进行稳定地锁定直至打击到目标。因此，基于图像制导的武器依然存在诸多难点有待研究解决。
发明内容
本发明的目的在于提供一种基于图像制导的目标识别及制导方法，以解决背景技术中的问题。
为解决上述技术问题，本发明提供了一种基于图像制导的目标识别及制导方法，包括：
步骤一，光电载荷导引头光轴弹目距离解算；
步骤二，侦查地面特定目标与人选目标特征匹配；
步骤三，目标锁定与持续跟踪；
步骤四，目标失锁与重新捕获；
所述步骤二包括：
（1）有两种发现目标的方式，一种为自主侦查，即离线预训练特定多类目标识别；另一种为装载模板方式；操作手通过人工视觉监控方式对目标进行搜索，发现目标后选定区域提取该目标模板特征，进行局部模板匹配后，引导光电载荷设备对目标进行锁定跟踪；
（2）装载模板的图像指已确定需要进行跟踪的目标图像，具体的装载方式为离线装载或在线装载；
（3）装载目标模板的图像通过孪生网络模型B的模板特征提取分支，局部搜索区域图像通过模型B的搜索分支提取搜索区特征图；
（4）模板特征图在搜索区域特征图上做滑动滤波计算得到响应特征图，并得到响应图最大响应值和其位置；将响应特征图上的亚像素坐标经过映射回原图的计算公式如下，其中Fw，Fh分别表示响应特征图宽和高，Iw，Ih分别表示原图宽和高，Nw，Nh分别表示特征提取网络模型的输入宽和高，Rw和Rh分别表示由原图缩放后进过网络模型得到响应图宽和高的缩放系数：；所述步骤三包括：
（1）侦查阶段确定目标后，且弹目距离到达预设阈值DisThd，转入跟踪算法对目标进行锁定；装载的目标模板按照目标模板特征匹配方法得到初始位置初始化跟踪器并转入持续的跟踪状态；
（2）目标跟踪状态感知器通过分析跟踪器响应图，目标响应峰值与背景的差值变换规律；当响应持续低于历史统计值，则认为跟踪器目标状态不稳定；
所述步骤四包括：
（1）根据所述步骤三判断跟踪器状态的方法，对连续N帧的响应图状态做平滑处理，计算方式如下公式所示：；其中，Ts表示跟踪器状态，n为连续采样的帧计数，/>为采样的状态分数，/>为判断平滑状态分数阈值；
（2）当Ts=0时，表示当前平滑过后的跟踪器状态为失锁，认为目标丢失或遮挡；此时，以判断失锁前N帧的历史轨迹位置预测点处开局部窗进入局部识别模型A2，若连续M帧均局部重补失败则进入全局识别模型A1进行重补；
（3）当重补到目标后，再次进入步骤三对目标进行锁定与持续跟踪；
其中，模板匹配方法包括如下实现方式：对得到模板特征图和初始预测搜索区域特征图；将模板特征图与初始预测搜索区域特征图滑动匹配，计算得到模板特征图在初始预测搜索区域特征图中的响应特征图；通过响应特征图确定跟踪目标在当前帧的位置信息并以模板目标原始尺寸为匹配目标的初始尺寸；经过模板特征匹配方法在全局图像中找到目标所在位置；
其中，局部重新识别的中心位置的预测方式：采用LSTM预测模型，使用目标的历史轨迹数据，即图像空间平面X,Y方向的历史坐标值作为输入样本数据对目标可能出现运动出现的位置进行预测。
在一种实施方式中，所述步骤一包括：
（1）以机载发射载具为例，弹体发射的初速度为；发射时，弹体光轴与发射平台航向X轴方向夹角为/>，与滚转方向Y轴夹角/>，与俯仰方向Z轴夹角/>；
弹体初速度在X，Y，Z三个轴向方向的分解速度计算方式如下：
；
（2）取相对发射处地面相对高度为参与计算，弹体在不考虑外部推进装载的作用下，落体时间计算公式：
；
其中g为加速度；相对高度是以当地海拔高度为起点的高度，是当时的真实高度；（3）弹体在落地前任意时刻的速度和姿态角/>，离开发射平台的时间为t，弹体距离落点的空间相对位置/>，其计算方式如下：
；
（4）导弹距离落点的距离的计算方式如下：
。在一种实施方式中，所述步骤二中的第（3）步中，待跟踪的目标模板图像和以该目标为中心的搜索区域图像，需要按照孪生网络模型网络模型设计输入尺寸分别进行双线性插值图像缩放操作。
本发明提供一种图像制导装置，包括：
图像获取模块，用于获取图像传感器采集的图像和加载装载的目标模板；
目标识别模块，为针对预设定目标类别离线预训练的检测识别模型，使用采集的图像进行逐帧侦查发现特定目标，实现自主侦查发现；
目标匹配模块，采用人工设定目标模板，将目标模板特征和全局，或者局部图像提取的卷积特征图进行滑动滤波特征匹配得到响应特征图，并计算得到模板在原图对应位置；
目标跟踪模块，使用特征匹配给定的区域初始化跟踪器，转入跟踪后对目标区域持续的预测以保持对待打击目标的锁定；
跟踪器评估模块，对跟踪器状态进行评估，以保证目标在有干扰情况下能够进入局部或全局的识别对目标进行重新捕获；
轨迹预测模块，采集目标在图像空间上历史运动轨迹信息，使用LSTM长短时递归神经网络对目标可能的运动位置进行预测；在需要重新捕获的时候进行初步定位目标，然后使用局部识别方法进行重补找回。
本发明提供一种目标跟踪装置，包括相互耦接的存储器、处理器、摄像器件；其中，所述存储器用于存储程序指令和目标模板，所述处理器用于执行所述存储器中存储的程序指令，以实现目标跟踪方法；所述摄像器件采集实时图像。
在一种实施方式中，所述目标跟踪装置包括微型计算机、服务器、笔记本电脑、平板电脑在内的移动设备；所述存储装置包括U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘；所述处理器包括CPU、具有信号的处理能力的集成电路芯片、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明提供一种计算机可读存储介质，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述任一目标跟踪、匹配方法的步骤。
本发明提供的一种基于图像制导的目标识别及制导方法，具有以下有益效果：
（1）本发明与传统人在回路控制的激光制导武器相比，既保留人在回路选择锁定的察打方式，又新增“射后不管，自主察打”的图像制导模式，丰富了导弹的智能制导模式，提高参与作战人员的效率，降低由于无线链路延时导致的人为操作失误的概率，提高作战效能；
（2）本发明提及的目标识别与跟踪方法，满足计算量小，实时性高，准确率高的要求，能够在低功耗嵌入式平台上完成计算，有效提高了导引头整体的计算效能，为智能导引头的使用提供了简便可靠的实现方法。
附图说明
图1是本发明基于图像制导的目标识别及制导方法的总流程图；
图2是本发明弹体初速度解算方式的示意图；
图3是本发明制导过程中侦查与锁定效果图；
图4是本发明跟踪器状态评估响应示意图；
图5是本发明目标模板特征匹配的原理图；
图6是本发明中使用历史轨迹预测示意图；
图7是本发明轨迹预测实验数据图；
图8是本发明实施例中导引头飞行轨迹示意图；
图9是本发明图像制导设备一实施例的框架示意图；
图10是本发明图像制导设备一实施例的结构示意图；
图11是本发明存储装置一实施例的框架示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种基于图像制导的目标识别及制导方法作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明中的术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提出一种基于图像制导的目标识别及制导方法，首先通过发送平台的操作手设定导弹飞行的工作模式和打击目标的类型；导弹通过GPS或者其它预设飞行轨迹飞向目标可能存在的方位；图像制导开启后，自主模式下，全局识别在视场图像中进行设定目标的搜索，发现目标后，按照预设的目标筛选策略（距离视场中心最近或者该类目标结果中置信度最高的）的目标转入目标跟踪，对该目标进行有效锁定，控制导弹伺服舵机调整角度，引导导弹导引头光轴指向目标。人在回路模式下，操作手发射前装载目标图像模板，飞行过程中图像制导开启后，进行全局的目标模板匹配方式搜索目标，确定目标后转入跟踪锁定；发射平台火控操作手可以通过观看数据链回传的图像，在有效的操作时间内，对跟踪目标进行修正或切换目标直至导弹击中目标。
根据如图1所示的总流程图，本发明提供的基于图像制导的目标识别及制导方法包括如下步骤：
一、光电载荷导引头光轴弹目距离解算
（1）本发明中论述的计算方法以机载发射载具为例，弹体发射的初速度为；发射时，弹体光轴与发射平台航向X轴方向夹角为/>，与滚转方向Y轴夹角/>，与俯仰方向Z轴夹角/>，如图2所示。则弹体初速度在X，Y，Z三个轴向方向的分解速度计算方式如下：
；（2）导弹飞行高度，按照所取水平面的位置可分为：绝对高度，即以海平面为起点的高度；相对高度，即以当地海拔高度为起点的高度，是当时的真实高度。采用气压表可以测出绝对高度；采用无线电波反射原理才能测出相对高度。本发明的方法取相对发射处地面相对高度为/>参与计算。弹体在不考虑外部推进装载的作用下，落体时间计算公式：
，g为加速度；（3）弹体在落地前任意时刻的速度/>和姿态角，离开发射平台的时间为t，弹体距离落点的空间相对位置/>，其计算方式如下：
；（6）导弹距离落点的距离（弹目距离）的计算方式如下：
；
二、侦查地面特定目标与人选目标特征匹配
（1）本发明有两种发现目标的方式，一种为自主侦查（离线预训练特定多类目标识别）；另一种为装载模板方式。操作手通过人工视觉监控方式对目标进行搜索，发现目标后选定区域提取该目标模板特征，进行局部模板匹配后，引导光电载荷设备对目标进行锁定跟踪。
（2）本发明中装载模板的图像指已确定需要进行跟踪的目标图像，具体的装载方式可以是离线装载和在线装载（如上所述人工选择）。
（3）装载目标模板的图像通过孪生网络模型B的模板特征提取分支，局部搜索区域图像通过模型B的搜索分支提取搜索区特征图。待跟踪的目标模板图像和以该目标为中心的搜索区域图像，需要按照孪生网络模型网络模型设计输入尺寸分别进行双线性插值图像缩放操作。
（4）模板特征图在搜索区域特征图上做滑动滤波计算得到响应特征图，并得到响应图最大响应值和其位置（目标尺寸使用模板尺寸）。将响应特征图上的亚像素坐标经过映射回原图的计算公式如下，其中Fw，Fh分别表示响应特征图宽和高，Iw，Ih分别表示原图宽和高，Nw，Nh分别表示特征提取网络模型的输入宽和高，Rw和Rh分别表示由原图缩放后进过网络模型得到响应图宽和高的缩放系数：
；三、目标锁定与持续跟踪
（1）侦查阶段确定目标后，且弹目距离到达预设阈值DisThd，即可转入跟踪算法对目标进行锁定。装载的目标模板按照本发明目标模板特征匹配方法得到初始位置初始化跟踪器并转入持续的跟踪状态。此次跟踪器为任意多尺度的目标跟踪器，例如KCF，SiamFC等等方法。特定目标识别（匹配）与跟踪锁定的效果图如图3所示。
（2）目标跟踪状态感知器通过分析跟踪器响应图，目标响应峰值与背景的差值变换规律。当响应持续低于历史统计值，则认为跟踪器目标状态不稳定。跟踪器正常状态和异常状态的响应图如图4所示。
四、目标失锁与重新捕获
（1）根据步骤三判断跟踪器状态的方法，对连续N帧的响应图状态做平滑处理，计算方式如下公式所示：
；其中，Ts表示平滑后判断的跟踪状态结果，n为连续采样的帧计数，/>为采样的状态分数，/>为判断平滑状态分数阈值；
（2）当Ts=0时，表示当前平滑过后的跟踪器状态为失锁（即可认为目标丢失或遮挡）。此时，以判断失锁前N帧的历史轨迹位置预测点处开局部窗进入局部识别模型A2（局部模板匹配方法B2），若连续M帧均局部重补失败则进入全局识别模型A1（全局模板匹配方法B1）进行重补。
（3）当重补到目标后，再次进入步骤三对目标进行锁定与持续跟踪。
其中，模板匹配方法有如下具体的实现方式：对得到模板特征图和初始预测搜索区域特征图；将模板特征图与初始预测搜索区域特征图滑动匹配，计算得到模板特征图在初始预测搜索区域特征图中的响应特征图；通过响应特征图确定跟踪目标在当前帧的位置信息并以模板目标原始尺寸为匹配目标的初始尺寸。图5为目标模板特征匹配的原理图，左上角为目标模板，经过本发明模板特征匹配方法在全局图像中找到目标所在位置。
其中，局部重新识别（匹配）的中心位置的预测方式：采用LSTM预测模型，使用目标的历史轨迹数据，即图像空间平面X,Y方向的历史坐标值作为输入样本数据对目标可能出现运动出现的位置进行预测；轨迹预测示意如图6所示，预测实验数据如图7所示。
本实施例中，弹体由飞行载体发射后，在飞行初段进行上述侦查发现目标，转入跟踪锁定持续跟踪，最终成功命中目标的飞行轨迹示意如图8所示。
请参阅图9，图9是本发明提供的图像制导装置的实施例框架示意图，该图像制导装置30包括：
图像获取模块31，用于获取图像传感器采集的图像和加载装载的目标模板；
目标识别模块32，为针对预设定目标类别离线预训练的检测识别模型，使用采集的图像进行逐帧侦查发现特定目标，实现自主侦查发现；
目标匹配模块33，采用人工设定目标模板，将目标模板特征和全局，或者局部图像提取的卷积特征图进行滑动滤波特征匹配得到响应特征图，并计算得到模板在原图对应位置；
目标跟踪模块34，该模块为多尺度跟踪器，使用特征匹配给定的区域初始化跟踪器，转入跟踪后对目标区域持续的预测以保持对待打击目标的锁定；
跟踪器评估模块35，对跟踪器状态进行评估，以保证目标在有干扰情况下能够进入局部或全局的识别（匹配）对目标进行重新捕获；
轨迹预测模块36，采集目标在图像空间上历史运动轨迹信息，使用LSTM长短时递归神经网络对目标可能的运动位置进行预测。在需要重新捕获的时候进行初步定位目标，然后使用局部识别（匹配）方法进行重补找回。
为实现上述技术问题，本发明采用的第三个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现如上述基于图像的识别跟踪制导方法。
请参阅图10，是本发明提供的装置的另一实施例框架示意图。具体而言，本实施例中目标跟踪装置40包括相互耦接的存储器41、处理器42、摄像器件43；其中，存储器41用于存储程序指令和目标模板，处理器42用于执行存储器41中存储的程序指令，以实现上述任一目标跟踪方法实施例中的步骤；摄像器件43采集实时图像。在一个具体的实施场景中，目标跟踪装置40可以包括但不限于：微型计算机、服务器。此外，目标跟踪装置40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。该存储装置41具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等可以存储程序指令的介质。
具体而言，处理器42用于控制其自身以及存储器41，以实现上述任一目标跟踪方法实施例中的步骤。处理器42还可以称为CPU(CentralProcessingUnit，中央处理单元)，处理器42可能是一种集成电路芯片，具有信号的处理能力，处理器42还可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。
在一实施例中，图像制导设备还可以进一步包括摄像器件43，处理器42还用于控制摄像器件43，以使摄像器件43对目标场景拍摄，以获取得到摄像器件拍摄得到的包含目标的图像。
请参阅图11，图11为本发明存储装置50一实施例的框架示意图。
本发明的实施方式中还提供一种计算机可读存储介质50，存储有能够被处理器运行的程序指令51，程序指令51用于实现上述任一目标跟踪、匹配方法的实施例中步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (3)
1.一种基于图像制导的目标识别及制导方法，其特征在于，包括：
步骤一，光电载荷导引头光轴弹目距离解算；
步骤二，侦查地面特定目标与人选目标特征匹配；
步骤三，目标锁定与持续跟踪；
步骤四，目标失锁与重新捕获；
所述步骤二包括：
（1）有两种发现目标的方式，一种为自主侦查，即离线预训练特定多类目标识别；另一种为装载模板方式；操作手通过人工视觉监控方式对目标进行搜索，发现目标后选定区域提取目标模板特征，进行局部模板匹配后，引导光电载荷设备对目标进行锁定跟踪；
（2）装载模板的图像指已确定需要进行跟踪的目标图像，具体的装载方式为离线装载或在线装载；
（3）装载目标模板的图像通过孪生网络模型B的模板特征提取分支，局部搜索区域图像通过模型B的搜索分支提取搜索区特征图；
（4）模板特征图在搜索区域特征图上做滑动滤波计算得到响应特征图，并得到响应图最大响应值和其位置；将响应特征图上的亚像素坐标经过映射回原图的计算公式如下，其中Fw，Fh分别表示响应特征图宽和高，Iw，Ih分别表示原图宽和高，Nw，Nh分别表示特征提取网络模型的输入宽和高，Rw和Rh分别表示由原图缩放后进过网络模型得到响应图宽和高的缩放系数：
；
所述步骤三包括：
（1）侦查阶段确定目标后，且弹目距离到达预设阈值DisThd，转入跟踪算法对目标进行锁定；装载的目标模板按照目标模板特征匹配方法得到初始位置初始化跟踪器并转入持续的跟踪状态；
（2）目标跟踪状态感知器通过分析跟踪器响应图，目标响应峰值与背景的差值变换规律；当响应持续低于历史统计值，则认为跟踪器目标状态不稳定；
所述步骤四包括：
（1）根据所述步骤三判断跟踪器状态的方法，对连续N帧的响应图状态做平滑处理，计算方式如下公式所示：
；
其中，Ts表示跟踪器状态，n为连续采样的帧计数，为采样的状态分数，/>为判断平滑状态分数阈值；
（2）当Ts=0时，表示当前平滑过后的跟踪器状态为失锁，认为目标丢失或遮挡；此时，以判断失锁前N帧的历史轨迹位置预测点处开局部窗进入局部识别模型A2，若连续M帧均局部重补失败则进入全局识别模型A1进行重补；
（3）当重补到目标后，再次进入步骤三对目标进行锁定与持续跟踪；
其中，模板匹配方法包括如下实现方式：对得到模板特征图和初始预测搜索区域特征图；将模板特征图与初始预测搜索区域特征图滑动匹配，计算得到模板特征图在初始预测搜索区域特征图中的响应特征图；通过响应特征图确定跟踪目标在当前帧的位置信息并以模板目标原始尺寸为匹配目标的初始尺寸；经过模板特征匹配方法在全局图像中找到目标所在位置；
其中，局部重新识别的中心位置的预测方式：采用LSTM预测模型，使用目标的历史轨迹数据，即图像空间平面X,Y方向的历史坐标值作为输入样本数据对目标可能出现运动出现的位置进行预测；
所述步骤一包括：
（1）以机载发射载具为例，弹体发射的初速度为；发射时，弹体光轴与发射平台航向X轴方向夹角为/>，与滚转方向Y轴夹角/>，与俯仰方向Z轴夹角/>；
弹体初速度在X，Y，Z三个轴向方向的分解速度计算方式如下：
；
（2）取相对发射处地面相对高度为参与计算，弹体在不考虑外部推进装载的作用下，落体时间计算公式：
；
其中g为加速度；相对高度是以当地海拔高度为起点的高度，是当时的真实高度；
（3）弹体在落地前任意时刻的速度和姿态角/>，离开发射平台的时间为t，弹体距离落点的空间相对位置/>，其计算方式如下：
；
（4）导弹距离落点的距离的计算方式如下：
。
2.如权利要求1所述的基于图像制导的目标识别及制导方法，其特征在于，所述步骤二中的第（3）步中，待跟踪的目标模板图像和以该目标为中心的搜索区域图像，需要按照孪生网络模型网络模型设计输入尺寸分别进行双线性插值图像缩放操作。
3.一种基于权利要求1所述基于图像制导的目标识别及制导方法的图像制导装置，其特征在于，包括：
图像获取模块，用于获取图像传感器采集的图像和加载装载的目标模板；
目标识别模块，为针对预设定目标类别离线预训练的检测识别模型，使用采集的图像进行逐帧侦查发现特定目标，实现自主侦查发现；
目标匹配模块，采用人工设定目标模板，将目标模板特征和全局，或者局部图像提取的卷积特征图进行滑动滤波特征匹配得到响应特征图，并计算得到模板在原图对应位置；
目标跟踪模块，使用特征匹配给定的区域初始化跟踪器，转入跟踪后对目标区域持续的预测以保持对待打击目标的锁定；
跟踪器评估模块，对跟踪器状态进行评估，以保证目标在有干扰情况下能够进入局部或全局的识别对目标进行重新捕获；
轨迹预测模块，采集目标在图像空间上历史运动轨迹信息，使用LSTM长短时递归神经网络对目标可能的运动位置进行预测；在需要重新捕获的时候进行初步定位目标，然后使用局部识别方法进行重补找回。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182065.8A CN116929149B (zh) | 2023-09-14 | 2023-09-14 | 一种基于图像制导的目标识别及制导方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311182065.8A CN116929149B (zh) | 2023-09-14 | 2023-09-14 | 一种基于图像制导的目标识别及制导方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116929149A CN116929149A (zh) | 2023-10-24 |
| CN116929149B true CN116929149B (zh) | 2024-01-19 |
Family
ID=88377385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311182065.8A Active CN116929149B (zh) | 2023-09-14 | 2023-09-14 | 一种基于图像制导的目标识别及制导方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116929149B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669480A (zh) * | 2019-01-03 | 2019-04-23 | 西安航天动力技术研究所 | 一种预测目标位置的导引头控制方法 |
| CN112558631A (zh) * | 2020-12-04 | 2021-03-26 | 北京理工大学 | 基于测量信息的带大落角约束变参数制导方法 |
| CN113096157A (zh) * | 2021-04-30 | 2021-07-09 | 华侨大学 | 一种可靠的局部目标跟踪方法及跟踪器 |
| CN113742840A (zh) * | 2021-08-17 | 2021-12-03 | 航天科工火箭技术有限公司 | 垂直起降可重复使用运载器试验样机快速弹道迭代计算法 |
| CN114581678A (zh) * | 2022-03-15 | 2022-06-03 | 中国电子科技集团公司第五十八研究所 | 一种模板特征匹配的自动跟踪与重识别方法 |
| CN115047903A (zh) * | 2022-05-07 | 2022-09-13 | 北京机械设备研究所 | 一种自动导引识别跟踪目标的方法以及装置 |
-
2023
- 2023-09-14 CN CN202311182065.8A patent/CN116929149B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669480A (zh) * | 2019-01-03 | 2019-04-23 | 西安航天动力技术研究所 | 一种预测目标位置的导引头控制方法 |
| CN112558631A (zh) * | 2020-12-04 | 2021-03-26 | 北京理工大学 | 基于测量信息的带大落角约束变参数制导方法 |
| CN113096157A (zh) * | 2021-04-30 | 2021-07-09 | 华侨大学 | 一种可靠的局部目标跟踪方法及跟踪器 |
| CN113742840A (zh) * | 2021-08-17 | 2021-12-03 | 航天科工火箭技术有限公司 | 垂直起降可重复使用运载器试验样机快速弹道迭代计算法 |
| CN114581678A (zh) * | 2022-03-15 | 2022-06-03 | 中国电子科技集团公司第五十八研究所 | 一种模板特征匹配的自动跟踪与重识别方法 |
| CN115047903A (zh) * | 2022-05-07 | 2022-09-13 | 北京机械设备研究所 | 一种自动导引识别跟踪目标的方法以及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116929149A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932588B (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| US8049869B2 (en) | Dual FOV imaging semi-active laser system | |
| EP2150836B1 (en) | Methods and apparatus for selecting a target from radar tracking data | |
| US20180164820A1 (en) | Machine vision enabled swarm guidance technology | |
| US7444002B2 (en) | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance | |
| CN105501457A (zh) | 基于红外视觉的固定翼无人机自动着陆引导方法及系统 | |
| US8686326B1 (en) | Optical-flow techniques for improved terminal homing and control | |
| CN109669480B (zh) | 一种预测目标位置的导引头控制方法 | |
| US7719664B1 (en) | Imaging semi-active laser system | |
| Danelljan et al. | A low-level active vision framework for collaborative unmanned aircraft systems | |
| Yang et al. | Surface vehicle detection and tracking with deep learning and appearance feature | |
| Cigla et al. | Onboard stereo vision for drone pursuit or sense and avoid | |
| CN115047903A (zh) | 一种自动导引识别跟踪目标的方法以及装置 | |
| JPH09170898A (ja) | 誘導装置 | |
| CN116929149B (zh) | 一种基于图像制导的目标识别及制导方法 | |
| US10240900B2 (en) | Systems and methods for acquiring and launching and guiding missiles to multiple targets | |
| KR101040305B1 (ko) | 영상 탐색 장치 및 이를 이용한 표적 결정 방법 | |
| KR101944631B1 (ko) | 사수의 조준 오차를 보정하는 무유도 로켓 조준 장치 및 그 방법 | |
| Li et al. | Design of UAV single object tracking algorithm based on feature fusion | |
| Gu et al. | Design and Development of Real-Time Automatic Tracking and Decision System for RoboMaster Competition Robot Using Convolutional Neural Networks | |
| Hughes et al. | Advances in automatic electro-optical tracking systems | |
| Allik et al. | Target learning, acquisition, and tracking on a guided projectile | |
| CN114526635B (zh) | 一种导引头捕获跟踪目标的方法 | |
| Garg et al. | Automated detection, locking and hitting a fast moving aerial object by image processing (suitable for guided missile) | |
| Sharma et al. | Target identification and control model of autopilot for passive homing missiles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |