CN109598746A - 一种跟踪图像模板生成的方法及装置 - Google Patents

一种跟踪图像模板生成的方法及装置 Download PDF

Info

Publication number
CN109598746A
CN109598746A CN201811605440.4A CN201811605440A CN109598746A CN 109598746 A CN109598746 A CN 109598746A CN 201811605440 A CN201811605440 A CN 201811605440A CN 109598746 A CN109598746 A CN 109598746A
Authority
CN
China
Prior art keywords
image
template
tracking
tracking image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811605440.4A
Other languages
English (en)
Other versions
CN109598746B (zh
Inventor
孙婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jouav Automation Technology Co ltd
Original Assignee
Chengdu Vertical And Horizontal Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Vertical And Horizontal Automation Technology Co Ltd filed Critical Chengdu Vertical And Horizontal Automation Technology Co Ltd
Priority to CN201811605440.4A priority Critical patent/CN109598746B/zh
Publication of CN109598746A publication Critical patent/CN109598746A/zh
Application granted granted Critical
Publication of CN109598746B publication Critical patent/CN109598746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明实施例提出一种跟踪图像模板生成的方法及装置。通过获取的每一帧环境图像中的真实相似区域中的图像信息生成新的跟踪图像模板，从而实时连续生成新的跟踪图像模板，解决了长时间跟踪过程中容易丢失目标的问题，故而跟踪的准确度以及可靠性高。

Description

一种跟踪图像模板生成的方法及装置
技术领域
本发明涉及目标跟踪技术领域，具体而言，涉及一种跟踪图像模板生成的方法及装置。
背景技术
目前，无人机利用目标跟踪算法在对目标物进行长时间跟踪过程中，往往会丢失跟踪目标，从而导致跟踪失败。特别是，在长时间跟踪过程中模板退化时，丢失跟踪目标的发生的概率很高，严重地影响了目标跟踪的效果，可能会导致无人机无法采集关于目标的很多重要的信息。
发明内容
有鉴于此，本发明的目的在于提供一种跟踪图像模板生成的方法及装置。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种跟踪图像模板生成的方法，包括：
在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板，其中，所述跟踪图像模板包含图像特征信息或原始像素值信息；
获取下一帧环境图像；
提取下一帧环境图像中包含的与所述跟踪图像模板匹配的真实相似区域；
依据所述真实相似区域内的图像信息生成新的跟踪图像模板；
重复获取下一帧图像，直到退出跟踪模式。
第二方面，本发明实施例还提供了一种跟踪图像模板生成的装置，包括：
模板创建单元：用于在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板，其中，所述跟踪图像模板包含图像特征信息或原始像素值信息；
图像获取单元：用于获取下一帧环境图像；
相似区域提取单元：用于提取下一帧环境图像中包含的与所述跟踪图像模板匹配的真实相似区域；
所述模板创建单元还用于依据所述真实相似区域内的图像信息生成新的跟踪图像模板；
所述图像获取单元还用于重复获取下一帧图像，直到退出跟踪模式。
本发明实施例提供的一种跟踪图像模板生成的方法及装置的有益效果：通过获取的每一帧环境图像中的真实相似区域中的图像信息生成新的跟踪图像模板，从而实时连续生成新的跟踪图像模板，解决了长时间跟踪过程中模板退化，容易丢失目标的问题，故而跟踪的准确度以及可靠性高。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的目标跟踪设备的连接框图；
图2示出了本发明实施例提供的跟踪图像模板生成的方法的流程示意图；
图3示出了本发明实施例提供的S10的子步骤示意图；
图4示出了本发明实施例提供的S30的子步骤示意图；
图5示出了本发明实施例提供的S40的子步骤示意图；
图6示出了本发明实施例提供的另一种可实现的跟踪图像模板生成的方法的流程示意图；
图7示出了本发明实施例提供的S50的子步骤示意图；
图8示出了本发明实施例提供的跟踪图像模板生成的装置的功能单元示意图。
图标：100-目标跟踪设备；101处理器；102-存储器；103-总线；104-通信接口；105-图像采集装置；201-模板创建单元；202-图像获取单元；203-相似区域提取单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种跟踪图像模板生成的方法，应用于目标跟踪设备100，目标跟踪设备100例如为无人机。如图1所示，目标跟踪设备100包括处理器101，存储器102、总线103、通信接口104以及图像采集装置105。处理器101、存储器102、通信接口104、及图像采集装置105通过总线103连接，处理器101用于执行存储器102中存储的可执行模块，例如计算机程序。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，跟踪图像模板生成的方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现成可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器102可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线103可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线103或一种类型的总线103。
目标跟踪设备100通过至少一个通信接口104(可以是有线或者无线)实现与外部的其它设备之间的通信连接。存储器102用于存储程序，例如跟踪图像模板生成的装置。跟踪图像模板生成的装置包括至少一个可以软件或固件(firmware)的形式存储于存储器102中或固化在目标跟踪设备100的操作系统(operating system，OS)中的软件功能模块。处理器101在接收到执行指令后，执行所述程序以实现跟踪图像模板生成的方法。
图像采集装置105可以是机载光电吊舱。图像采集装置105用于采集当前环境图像，并将采集到的当前环境图像传输给处理器101。图像采集装置105还用于接收处理器101发出的控制指令，并依据该控制指令调整其姿态，姿态例如为图像采集装置105的水平视角和垂直视角。
应当理解的是，图1所示的结构仅为目标跟踪设备100的结构应用示意图，目标跟踪设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
图2示出了应用于上述目标跟踪设备100的跟踪图像模板生成的方法：
S10：在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板。
具体地，跟踪图像模板包含图像特征信息或原始像素值信息。在一种可实现的方式中，目标跟踪设备100在接收到用户端传输的进入跟踪指令后，进入跟踪模式，处理器101开始依据接收到的环境图像构建初始的跟踪图像模板。在任一次对目标的跟踪过程中，第一次构建成功跟踪图像模板(即初始的跟踪图像模板)所依据的当前环境图像为初始帧图像。处理器101会依据初始帧图像中的指定区域内的图像信息构建初始的跟踪图像模板，其中，指定区域可以是预先设定的，例如预先设定为所获取的图像的中心面积为A的区域，或者为所获取的图像的右上角面积为B的区域，在此不做限定。在一种可实现的方式中，指定区域可以通过用户端指定得到。具体初始的跟踪图像模板的步骤请见下文的S101-S104。
S20：获取下一帧环境图像。
具体地，当构建成功初始的跟踪图像模板后，获取图像采集装置105传输的下一帧环境图像。
S30：提取下一帧环境图像中包含的与跟踪图像模板匹配的真实相似区域。
具体地，处理器101在获取到下一帧环境图像后，提取该下一帧环境图像中与跟踪图像模板匹配的区域，即真实相似区域。具体提取的步骤请见下文的S301-S303。
S40：依据真实相似区域内的图像信息生成新的跟踪图像模板。
具体地，结合在先的跟踪图像模板和真实相似区域内的图像信息构建新的跟踪图像模板。当新的跟踪图像模板生成后，替代在先的跟踪图像模板，即删除了在先的跟踪图像模板，即后续下一帧的比对的模板为新生成的跟踪图像模板。具体构建新的跟踪图像模板的步骤请见下文的S401-S405。在一种可实现的方式中，处理器101可以依据真实相似区域内的图像信息构建更新原有的跟踪图像模板。
当生成了新的跟踪图像模板后，重复获取下一帧图像，直到退出跟踪模式。
本发明实施例提供的跟踪图像模板生成的方法中：处理器101通过获取的每一帧环境图像中的真实相似区域中的图像信息生成新的跟踪图像模板。通过连续生成新的跟踪图像模板，解决了现有相关技术中长时间跟踪过程中模板退化，容易丢失目标的问题，故而跟踪的效果更好，结果更准确。
在图2的基础上，对于S10中“在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板”下面给出一种可实现的方式，具体请参见图3：
S101：依据特征提取算法提取初始帧中指定区域内多个特征点。
具体地，处理器101通过特征提取算法提取初始帧图像中每个属于目标的特征点。其中，特征的类型可以是目标的边缘、角、区域或者脊，在此不做限定。具体可实现的特征提取算法包括：方向梯度直方图算法(Histogram of Oriented Gradient,HOG)、局部二值模式算法(Local Binary Pattern，LBP)以及Haar-like特征提取算法，在此不做限定。
S102：判断特征点的数量是否大于预设的第一阈值。若是，则执行S103；若否，则执行S104。
具体地，当特征点的数量大于预设的第一阈值时，说明该初始帧图像中的目标特征明显，依据其特征点构建跟踪图像模板更有利于对目标进行跟踪，此时执行S103；反之，当特征点的数量小于或等于预设的第一阈值时，说明该初始帧图像中的目标特征模糊，依据其特征点构建跟踪图像模板不利于对目标进行跟踪，此时执行S104。
S103：依据多个特征点构建跟踪图像模板。
具体地，依据S101中提取的图像的多个特征点，构建跟踪图像模板，该跟踪图像模板包括上述的多个特征点和多个特征点的分布关系。
S104：依据指定区域内的原始像素值信息构建跟踪图像模板。
具体地，原始像素值信息可以是指定区域内的灰度值分布信息。
在图2的基础上，对于S30中“提取下一帧环境图像中包含的与跟踪图像模板匹配的真实相似区域”下面给出一种可实现的方式，具体请参见图4：
S301：将跟踪图像模板与下一帧环境图像内的预设定的多个疑似相似区域一一匹配，以得到一一对应的匹配值。
具体地，依据目标在上一帧图像(可能是初始帧)中的所占据的区域，预估在该下一帧图像中目标可能占用的多个区域，将可能占用的多个区域认定为多个疑似相似区域。利用遍历算法将跟踪图像模板与多个疑似相似区域一一匹配，从而得到一一对应的多个匹配值。例如多个疑似相似区域分别为甲、乙、丙以及丁区域，跟踪图像模板分别与甲、乙、丙以及丁区域的匹配值可能为0.2、0.1、0.77以及0.88，此例仅是为了便于理解，在此不做限定。
S302：将多个匹配值中的最大的匹配值确定为相似值。
具体地，匹配值越大即表征相似度越高，故将多个匹配值中的最大的匹配值确定为相似值，参见上例，即将0.88确定为跟踪图像模板与该下一帧图像的相似值。
S303：将与相似值对应的疑似相似区域确定为真实相似区域。
具体地，将与相似值对应的疑似相似区域确定为真实相似区域，参见上例，即将丁区域确定为真实相似区域。
在图4的基础上，对于S40中“依据真实相似区域内的图像信息构建新的跟踪图像模板”下面给出一种可实现的方式，具体请参见图5：
S401：判断相似值是否大于或等于预设的第二阈值。若是，则执行S402；若否，则结束。
具体地，当相似值小于预设的第二阈值时，说明跟踪失败，即是说，目标丢失或者目标超出了跟踪范围，此时结束跟踪，即自动退出跟踪模式。当相似值大于或等于预设的第二阈值时，说明还能检测到跟踪目标，此时执行S402。
S402：依据真实相似区域内的图像信息构建当前帧模板。
具体地，与S10同理，构建当前帧模板。在一种可实现的方式中，当前帧模板和初始的跟踪图像模板的构建依据可以相同，也可以不相同。
S403：判断相似值是否大于或等于预设的第三阈值。若是，则执行S404；若否，则执行S405。
具体地，当相似值大于或等于预设的第三阈值时，说明当前帧模板中的目标信息明确清楚，能够作为下一帧图像的比对模板，此时执行S404。当相似值小于预设的第三阈值时，此时执行S405。
S404：将当前帧模板配置为新的跟踪图像模板。
具体地，在一种可实现的方式中可以用当前帧模板替换在先的跟踪图像模板，新的跟踪图像模板即为当前帧模板。
S405：依据迭代算法、当前帧模板以及在先的跟踪图像模板生成新的跟踪图像模板。
具体地，据迭代算法、当前帧模板更新跟踪图像模板的表达式可以为：
Mk＝0.8*Mk-1+0.2*D，其中，Mk为新的跟踪图像模板、Mk-1为在先的跟踪图像模板、D为当前模板，0.8和0.2为比例系数，在其他可实现的方式中，也可以适当的调整比例系数。
在图2的基础上，本发明实施例还提供了一种可实现的跟踪图像模板生成的方法，该可实现的跟踪图像模板生成的方法，如图6所示：
S50：依据图像采集装置的水平视角、垂直视角、分辨率以及目标点在当前帧图像中的位置信息，调整图像采集装置的姿态。
具体地，目标点位于真实相似区域的中心，位置信息是目标点在像素坐标系的具体坐标。在一种可能的实现方式中，调整图像采集装置105的姿态使目标尽量处于视场中心，避免目标超出视场范围，即为了在获取下一帧图像时，使目标尽量处于即将获取到的下一帧图像的指定区域的位置。通过处理器101控制调整图像采集装置105的姿态，自动调节姿态，以便于采集被跟踪的目标的图像信息，从而解决无人机作业环境复杂，手动操作困难的问题，提高了机载光电目标实时跟踪的智能化，可操作性。具体调整的步骤，请见下文。
在图6的基础上，对于S50中“依据图像采集装置的水平视角、垂直视角、分辨率以及目标点在当前帧图像中的位置信息，调整图像采集装置的姿态”下面给出一种可实现的方式，具体请参见图7：
S501：依据图像采集装置的水平视角、垂直视角、分辨率以及目标点的位置信息计算出目标水平偏移角和目标垂直偏移角。
其中，目标水平偏移角表征被跟踪的目标与图像采集装置105的光轴的水平差角，目标垂直偏移角表征被跟踪的目标与图像采集装置105的光轴的垂直差角。
具体地，在一种可实现的方式中，依据图像采集装置的水平视角、分辨率以及目标点的位置信息计算出目标水平偏移角的表达式为：
AGL_h＝arctan((xn-w/2.0)/(w/2.0/tan(Fov_h/2.0)))；
在一种可实现的方式中，依据图像采集装置的垂直视角、分辨率以及目标点的位置信息计算出目标垂直偏移角的表达式为：
AGL_v＝arctan((yn-h/2.0)/(h/2.0/tan(Fov_v/2.0)))；
上述两个表达式中，Fov_h为水平视角、Fov_v垂直视角、h*w为图像分辨率、xn为目标点在像素坐标系统的横坐标、yn为目标点在像素坐标系统的纵坐标、AGL_h为目标水平偏移角、AGL_v为目标垂直偏移角。
S502：调整图像采集装置的姿态，直到目标水平偏移角和目标垂直偏移角均小于预设定的角度。
具体地，在一种可实现的方式中，依据目标水平偏移角、目标垂直偏移角以及图像采集装置105的控制参数计算出图像采集装置105需要的水平调整角速率和垂直调整角速率。再依据水平调整角速率和垂直调整角速率调整图像采集装置105的姿态，直到目标水平偏移角和目标垂直偏移角均小于预设定的角度。以使获取下一帧图像时，被跟踪的目标位于指定区域内。其中，控制参数可为光电吊舱的PID控制器(proportion integraldifferential，PID)参数。水平调整角速率和垂直调整角速率的表达式分别为：
w_pan＝p_pan*AGL_h+(w_pan_ipre+AGL_h*Δt*i_pan)；
w_tilt＝p_tilt*AGL_v+(w_tilt_ipre+AGL_v*Δt*i_tilt)；
其中，w_pan_ipre和w_tilt_ipre分别表示前一次反馈算得到的水平方向和垂直方向的积分分量；Δt表示相邻两次调整控制的时间间隔；p_tilt表示俯仰方向比例因子；i_tilt表示俯仰方向积分因子；d_tilt表示俯仰方向微分因子。
请参阅图8，图8为本发明实施例提供的一种跟踪图像模板生成的装置，可选的，该跟踪图像模板生成的装置可以应用于目标跟踪设备100。需要说明的是，本实施例所提供的跟踪图像模板生成的装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
如图8所示：该跟踪图像模板生成的装置包括：模板创建单元201、图像获取单元202以及相似区域提取单元203。
模板创建单元201：用于在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板，其中，跟踪图像模板包含图像特征信息或原始像素值信息。模板创建单元201可以执行S10。
具体地，模板创建单元201用于依据特征提取算法提取初始帧中指定区域内多个特征点。模板创建单元201可以执行S101。
模板创建单元201还用于当特征点的数量大于预设的第一阈值时，依据多个特征点构建跟踪图像模板。可以理解地，模板创建单元201可以执行上述实施例中的S102和S103。
模板创建单元201还用于当特征点的数量小于或等于预设的第一阈值时，依据指定区域内的原始像素值信息构建跟踪图像模板。可以理解地，模板创建单元201可以执行上述实施例中的S104。
图像获取单元202：用于获取下一帧环境图像。可以理解地，图像获取单元202可以执行上述实施例中的S20。
相似区域提取单元203：用于提取下一帧环境图像中包含的与跟踪图像模板匹配的真实相似区域。可以理解地的，相似区域提取单元203可以执行上述实施例中的S30。
具体地，相似区域提取单元203用于将跟踪图像模板与下一帧环境图像内的预设定的多个疑似相似区域一一匹配，以得到一一对应的匹配值。可以理解地，相似区域提取单元203可以执行上述实施例中的S301。
相似区域提取单元203还用于将多个匹配值中的最大的匹配值确定为相似值。可以理解地，相似区域提取单元203可以执行上述实施例中的S302。
相似区域提取单元203还用于将与相似值对应的疑似相似区域确定为真实相似区域。可以理解地，相似区域提取单元203可以执行上述实施例中的S303。
模板创建单元201还用于依据真实相似区域内的图像信息生成新的跟踪图像模板。可以理解地，模板创建单元201还可以执行上述实施例中的S40。
具体地，模板创建单元201用于当相似值大于或等于预设的第二阈值时，依据真实相似区域内的图像信息构建当前帧模板。可以理解地，模板创建单元201可以执行上述实施例中的S401和S402。
模板创建单元201还用于当相似值大于或等于预设的第三阈值时，将当前帧模板配置为新的跟踪图像模板。可以理解地，模板创建单元201可以执行上述实施例中的S403和S404。
模板创建单元201还用于当相似值小于预设的第三阈值时，依据迭代算法、当前帧模板以及在先的跟踪图像模板生成新的跟踪图像模板。可以理解地，模板创建单元201可以执行上述实施例中的S405。
图像获取单元202还用于重复获取下一帧图像，直到退出跟踪模式。可以理解地，图像获取单元202可以重复执行上述实施例中的S20。
综上所述，本发明实施例提供的跟踪图像模板生产的方法及装置中：首先，通过获取的每一帧环境图像中的真实相似区域中的图像信息生成新的跟踪图像模板，从而实时连续生成新的跟踪图像模板，解决了长时间跟踪过程中容易丢失目标的问题，故而跟踪的准确度以及可靠性高；其次，具备两种构建初始的跟踪图像模板的途径，当初始帧图像中的目标特征明显，依据其特征点构建跟踪图像模板更有利于对目标进行跟踪；最后，通过处理器控制调整图像采集装置的姿态，自动调节姿态，以便于采集被跟踪的目标的图像信息，从而解决无人机作业环境复杂，手动操作困难的问题，提高了机载光电目标实时跟踪的智能化，可操作性。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跟踪图像模板生成的方法，其特征在于，包括：
在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板，其中，所述跟踪图像模板包含图像特征信息或原始像素值信息；
获取下一帧环境图像；
提取下一帧环境图像中包含的与所述跟踪图像模板匹配的真实相似区域；
依据所述真实相似区域内的图像信息生成新的跟踪图像模板；
重复获取下一帧图像，直到退出跟踪模式。
2.根据权利要求1所述的跟踪图像模板生成的方法，其特征在于，所述依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板的步骤包括：
依据特征提取算法提取所述初始帧中指定区域内多个特征点；
当所述特征点的数量大于预设的第一阈值时，依据多个所述特征点构建所述跟踪图像模板；
当所述特征点的数量小于或等于预设的第一阈值时，依据所述指定区域内的原始像素值信息构建所述跟踪图像模板。
3.根据权利要求1所述的跟踪图像模板生成的方法，其特征在于，所述提取下一帧环境图像中包含的与所述跟踪图像模板匹配的真实相似区域的步骤包括：
将所述跟踪图像模板与下一帧环境图像内的预设定的多个疑似相似区域一一匹配，以得到一一对应的匹配值；
将多个所述匹配值中的最大的匹配值确定为相似值；
将与所述相似值对应的疑似相似区域确定为所述真实相似区域。
4.根据权利要求3所述的跟踪图像模板生成的方法，其特征在于，所述依据所述真实相似区域内的图像信息生成新的跟踪图像模板的步骤包括：
当所述相似值大于或等于预设的第二阈值时，依据所述真实相似区域内的图像信息构建当前帧模板；
当所述相似值大于或等于预设的第三阈值时，将所述当前帧模板配置为新的跟踪图像模板；
当所述相似值小于预设的第三阈值时，依据迭代算法、所述当前帧模板以及在先的跟踪图像模板生成新的跟踪图像模板。
5.根据权利要求1所述的跟踪图像模板生成的方法，其特征在于，在所述重复获取下一帧图像之前，还包括：
依据图像采集装置的水平视角、垂直视角、分辨率以及所述目标点在所述当前帧图像中的位置信息，调整所述图像采集装置的姿态，其中，所述目标点位于所述真实相似区域的中心。
6.根据权利要求5所述的跟踪图像模板生成的方法，其特征在于，所述依据图像采集装置的水平视角、垂直视角、分辨率以及所述目标点在所述当前帧图像中的位置信息，调整所述图像采集装置的姿态的步骤包括：
依据所述图像采集装置的水平视角、垂直视角、分辨率以及目标点的位置信息计算出目标水平偏移角和目标垂直偏移角，其中，所述目标水平偏移角表征被跟踪的目标与所述图像采集装置的光轴的水平差角，所述目标垂直偏移角表征被跟踪的目标与所述图像采集装置的光轴的垂直差角；
调整所述图像采集装置的姿态，直到所述目标水平偏移角和所述目标垂直偏移角均小于预设定的角度。
7.一种跟踪图像模板生成的装置，其特征在于，包括：
模板创建单元：用于在跟踪模式下，依据环境图像的初始帧的指定区域内的图像信息构建初始的跟踪图像模板，其中，所述跟踪图像模板包含图像特征信息或原始像素值信息；
图像获取单元：用于获取下一帧环境图像；
相似区域提取单元：用于提取下一帧环境图像中包含的与所述跟踪图像模板匹配的真实相似区域；
所述模板创建单元还用于依据所述真实相似区域内的图像信息生成新的跟踪图像模板；
所述图像获取单元还用于重复获取下一帧图像，直到退出跟踪模式。
8.根据权利要求7所述的跟踪图像模板生成的装置，其特征在于，
所述模板创建单元具体用于依据特征提取算法提取所述初始帧中指定区域内多个特征点；当所述特征点的数量大于预设的第一阈值时，依据多个所述特征点构建所述跟踪图像模板；当所述特征点的数量小于或等于预设的第一阈值时，依据所述指定区域内的原始像素值信息构建所述跟踪图像模板。
9.根据权利要求7所述的跟踪图像模板生成的装置，其特征在于，
所述相似区域提取单元具体用于将所述跟踪图像模板与下一帧环境图像内的预设定的多个疑似相似区域一一匹配，以得到一一对应的匹配值；将多个所述匹配值中的最大的匹配值确定为相似值；将与所述相似值对应的疑似相似区域确定为所述真实相似区域。
10.根据权利要求9所述的跟踪图像模板生成的装置，其特征在于，
所述模板创建单元具体用于当所述相似值大于或等于预设的第二阈值时，依据所述真实相似区域内的图像信息构建当前帧模板；当所述相似值大于或等于预设的第三阈值时，将所述当前帧模板配置为新的跟踪图像模板；当所述相似值小于预设的第三阈值时，依据迭代算法、所述当前帧模板以及在先的跟踪图像模板生成新的跟踪图像模板。
CN201811605440.4A 2018-12-26 2018-12-26 一种跟踪图像模板生成的方法及装置 Active CN109598746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811605440.4A CN109598746B (zh) 2018-12-26 2018-12-26 一种跟踪图像模板生成的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811605440.4A CN109598746B (zh) 2018-12-26 2018-12-26 一种跟踪图像模板生成的方法及装置

Publications (2)

Publication Number Publication Date
CN109598746A true CN109598746A (zh) 2019-04-09
CN109598746B CN109598746B (zh) 2021-10-22

Family

ID=65963548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811605440.4A Active CN109598746B (zh) 2018-12-26 2018-12-26 一种跟踪图像模板生成的方法及装置

Country Status (1)

Country Link
CN (1) CN109598746B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020630A (zh) * 2019-04-11 2019-07-16 成都乐动信息技术有限公司 评估动作完成度的方法、装置、存储介质及电子设备
CN110930428A (zh) * 2020-02-19 2020-03-27 成都纵横大鹏无人机科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184822A (zh) * 2015-09-29 2015-12-23 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN106250938A (zh) * 2016-07-19 2016-12-21 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
CN107016412A (zh) * 2017-03-29 2017-08-04 北京北昂科技有限公司 基于外观和运动连续性交叉验证的自适应模板更新策略
CN107403442A (zh) * 2016-05-19 2017-11-28 视辰信息科技(上海)有限公司 增强现实系统的跟踪方法和终端设备
US20180040133A1 (en) * 2016-08-08 2018-02-08 Qualcomm Incorporated Systems and methods for determining feature point motion
US20180114064A1 (en) * 2014-12-16 2018-04-26 Irobot Corporation Systems and Methods for Capturing Images and Annotating the Captured Images with Information
CN108830286A (zh) * 2018-03-30 2018-11-16 西安爱生技术集团公司 一种侦察无人机动目标自动检测与跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114064A1 (en) * 2014-12-16 2018-04-26 Irobot Corporation Systems and Methods for Capturing Images and Annotating the Captured Images with Information
CN105184822A (zh) * 2015-09-29 2015-12-23 中国兵器工业计算机应用技术研究所 一种目标跟踪模板更新方法
CN107403442A (zh) * 2016-05-19 2017-11-28 视辰信息科技(上海)有限公司 增强现实系统的跟踪方法和终端设备
CN106250938A (zh) * 2016-07-19 2016-12-21 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
US20180040133A1 (en) * 2016-08-08 2018-02-08 Qualcomm Incorporated Systems and methods for determining feature point motion
CN107016412A (zh) * 2017-03-29 2017-08-04 北京北昂科技有限公司 基于外观和运动连续性交叉验证的自适应模板更新策略
CN108830286A (zh) * 2018-03-30 2018-11-16 西安爱生技术集团公司 一种侦察无人机动目标自动检测与跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020630A (zh) * 2019-04-11 2019-07-16 成都乐动信息技术有限公司 评估动作完成度的方法、装置、存储介质及电子设备
CN110930428A (zh) * 2020-02-19 2020-03-27 成都纵横大鹏无人机科技有限公司 目标跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109598746B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
US9317762B2 (en) Face recognition using depth based tracking
WO2019129255A1 (zh) 一种目标跟踪方法及装置
EP3404612A1 (en) Monitoring object shape and deviation from design
US20130083990A1 (en) Using Videogrammetry to Fabricate Parts
CN108038415B (zh) 一种基于机器视觉的无人机自动检测与跟踪方法
KR20180034529A (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
EP3723046A1 (en) Target tracking method and device
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及系统
CN103247045A (zh) 一种从多视图中得到人造场景主方向及图像边缘的方法
CN110472599B (zh) 对象数量确定方法、装置、存储介质与电子设备
EP3531340A2 (en) Human body tracing method, apparatus and device, and storage medium
CN109598746A (zh) 一种跟踪图像模板生成的方法及装置
CN111553956A (zh) 拍摄装置的标定方法、装置、电子设备和存储介质
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
Dahlke et al. True 3D building reconstruction: Façade, roof and overhang modelling from oblique and vertical aerial imagery
CN110673183A (zh) 一种结合gps\ins的集装箱识别定位方法
CN103591953B (zh) 一种基于单摄像头的人员定位方法
CN109523573A (zh) 目标对象的跟踪方法和装置
CN108874269A (zh) 一种目标跟踪方法、装置及系统
JP6920949B2 (ja) 物体分布推定装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN105184768A (zh) 室内多摄像头同步高精度定位方法
CN116934863A (zh) 一种相机外参确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 7 / F, area a, building 6, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000

Patentee after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 6a7 / F, Jingrong International Plaza, No.200, Tianfu Fifth Street, hi tech Zone, Chengdu, Sichuan 610000

Patentee before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address