CN107481265A - 目标重定位方法及装置 - Google Patents

目标重定位方法及装置 Download PDF

Info

Publication number
CN107481265A
CN107481265A CN201710708401.6A CN201710708401A CN107481265A CN 107481265 A CN107481265 A CN 107481265A CN 201710708401 A CN201710708401 A CN 201710708401A CN 107481265 A CN107481265 A CN 107481265A
Authority
CN
China
Prior art keywords
target
coding information
tracked
field picture
specific objective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710708401.6A
Other languages
English (en)
Other versions
CN107481265B (zh
Inventor
周彬
陈志超
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201710708401.6A priority Critical patent/CN107481265B/zh
Publication of CN107481265A publication Critical patent/CN107481265A/zh
Application granted granted Critical
Publication of CN107481265B publication Critical patent/CN107481265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，提供一种目标重定位方法及装置，应用于无人机，所述方法包括：获取视频的丢失帧图像中的多个潜在目标；根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息；利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标；根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。本发明解决了现有技术中一旦发生目标丢失，无人机将无法迅速重新定位跟踪目标的问题，能够有效避免飞行停止或者误跟踪的情形，具有效率高和准确率高的优点。

Description

目标重定位方法及装置
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种目标重定位方法及装置。
背景技术
运动目标跟踪技术是一项融合了图像处理、模式识别、人工智能、自动控制等多个领域的高技术课题，同时也是实现智能机器人和智能化武器的关键技术之一，在很多领域有着广阔的应用前景和实际意义，例如，应用于无人机目标跟踪。
现代无人机跟踪系统已经能够较为准确的根据首帧目标图像获取非特定目标的运动轨迹，并且能够实时对待跟踪目标进行短时跟踪运算。针对单目标跟踪问题，目前的无人机跟踪系统主要集中在提高目标的短时跟踪性能上，即理想飞行情形下的性能，也就是未出现目标及场景的动态变化、遮挡、相似物干扰、光线剧烈变化等复杂外界环境干扰。但是，在跟踪过程中，一旦发生目标丢失的问题，无人机将无法迅速重新定位跟踪目标，导致出现飞行停止或者误跟踪的情况。
发明内容
本发明的目的在于提供一种目标重定位方法及装置，用以改善上述问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明提供了一种目标重定位方法，应用于无人机，所述方法包括：获取视频的丢失帧图像中的多个潜在目标，其中，丢失帧图像为视频中除起始帧图像外的任意一帧图像；根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息；利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标；根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。
第二方面，本发明提供了一种目标重定位装置，应用于无人机，所述装置包括潜在目标获取模块、编码信息获取模块、特定目标获得模块及执行模块。其中，潜在目标获取模块用于获取视频的丢失帧图像中的多个潜在目标，其中，丢失帧图像为视频中除起始帧图像外的任意一帧图像；编码信息获取模块用于根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息；特定目标获得模块用于利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标；执行模块用于根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。
相对现有技术，本发明具有以下有益效果：本发明提供的一种目标重定位方法及装置，当发生目标丢失时，首先获取丢失帧图像中的多个潜在目标；然后根据起始帧图像的颜色通道获取起始帧图像中待跟踪目标和背景图像的编码信息；再利用起始帧图像中待跟踪目标和背景图像的编码信息对多个潜在目标进行筛选，得到特定目标；最后根据特定目标与待跟踪目标的相似度，就能快速重定位出丢失的跟踪目标，解决了现有技术中一旦发生目标丢失，无人机将无法迅速重新定位跟踪目标的问题，能够有效避免飞行停止或者误跟踪的情形，具有效率高和准确率高的优点。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的无人机的方框示意图。
图2示出了本发明实施例提供的目标重定位方法流程图。
图3为图2示出的步骤S101的子步骤流程图。
图4为图2示出的步骤S102的子步骤流程图。
图5为图2示出的步骤S103的子步骤流程图。
图6为图2示出的步骤S104的子步骤流程图。
图7示出了本发明实施例提供的目标重定位装置的方框示意图。
图8为图7示出的目标重定位装置中潜在目标获取模块的方框示意图。
图9为图7示出的目标重定位装置中编码信息获取模块的方框示意图。
图10为图7示出的目标重定位装置中特定目标获得模块的方框示意图。
图11为图7示出的目标重定位装置中执行模块的方框示意图。
图标：100-无人机；101-存储器；102-存储控制器；103-处理器；200-目标重定位装置；201-潜在目标获取模块；2011-轮廓图获取单元；2012-轮廓图划分单元；2013-候选区域过滤单元；202-编码信息获取模块；2021-第一编码信息获得单元；2022-第二编码信息获得单元；203-特定目标获得模块；2031-直方图获得单元；2032-直方图转换单元；2033-目标响应图获得单元；2034-像素和计算单元；2035-设置单元；204-执行模块；2041-计算单元；2042-判断单元；2043-第一子执行单元；2044-第二子执行单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1示出了本发明实施例提供的无人机100的方框示意图。无人机100可以是，但不限于固定翼无人机、无人直升机和多旋翼无人机、伞翼无人机、扑翼无人机和无人飞船等等。所述无人机100包括目标重定位装置200、存储器101、存储控制器102及处理器103。
所述存储器101、存储控制器102及处理器103各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述目标重定位装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述无人机100的操作系统(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述目标重定位装置200包括的软件功能模块或计算机程序。
其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。
处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
第一实施例
请参照图2，图2示出了本发明较佳实施例提供的目标重定位方法流程图。目标重定位方法包括以下步骤：
步骤S101，获取视频的丢失帧图像中的多个潜在目标，其中，丢失帧图像为视频中除起始帧图像外的任意一帧图像。
在本发明实施例中，视频可以是无人机100采集的视频，例如，航拍的地理地貌、风景、人物等视频。丢失帧图像是可以是无人机100采集的视频中除起始帧图像外的任意一帧图像，且丢失帧图像中的待跟踪目标已丢失，也就是说，当无人机100采集的视频发生待跟踪目标丢失时，对应的一帧图像为丢失帧图像，此时需要重新定位出该丢失帧图像中的待跟踪目标。潜在目标可以是，但不限于与需要重新定位的待跟踪目标相类似的前景目标，例如，大小相类似、特征相类似等的前景目标。
作为一种实施方式，获取视频的丢失帧图像中的多个潜在目标的方法可以是：首先，根据边缘检测算法，对需要重新定位出待跟踪目标的丢失帧图像进行边缘检测，获取该丢失帧图像的轮廓图；然后，在得到丢失帧图像的轮廓图之后，结合起始帧图像中待跟踪目标的大小信息，对轮廓图进行划分，得到多个候选区域；最后，利用非极大值抑制算法，对上一步中得到的多个候选区域进行过滤，保留预设数目个(例如，5个)候选区域，则这些候选区域内的前景目标就是潜在目标。
请参照图3，步骤S101可以包括以下子步骤：
子步骤S1011，根据边缘检测算法，获取丢失帧图像的轮廓图。
在本发明实施例中，对丢失帧图像进行边缘检测之前，首先需要对无人机100采集的视频进行预处理，并保存成连续帧的方式。视频预处理可以是对视频的所有的视频帧图像进行图像校正、噪声过滤等处理，以减小视频帧图像的失真，将视频保存成连续帧方式的视频帧图像之后，获取发生待跟踪目标丢失的丢失帧图像，该丢失帧图像可以是从该连续帧方式的视频帧图像中除起始帧图像外的任意一帧图像。
在本发明实施例中，获取丢失帧图像的轮廓图的方法可以是，但不限于采用sobel算子作为模板来检测丢失帧图像的轮廓图，换句话说，sobel算子利用了两个3×3的方向模板(水平和垂直模板)与丢失帧图像中的每个像素点进行邻域卷积，这两个方向模板分别检测丢失帧图像的垂直边缘和水平边缘。
在本发明实施例中，采用sobel算子作为模板来检测丢失帧图像的轮廓图的方法可以是，但不限于：首先，假设h1为水平模板，h2为垂直模板，其中然后，假设丢失帧图像为f(x,y)，G1(x,y)、G2(x,y)分别表示丢失帧图像中每个像素点的水平方向的梯度和垂直方向的梯度，则G1(x,y)、G2(x,y)可以通过 得到；第三，丢失帧图像中每个像素点的水平方向的梯度和垂直方向的梯度确定之后，可以通过来计算每个像素点的梯度强度，并选取阈值T，若M(x,y)>T，则(x,y)为边缘点，由此得到丢失帧图像的轮廓图。
子步骤S1012，根据起始帧图像中待跟踪目标的大小信息，对轮廓图进行划分，得到多个候选区域。
在本发明实施例中，对轮廓图进行划分得到的每个候选区域的大小与起始帧图像中待跟踪目标的大小大致相同，且候选区域的个数可以由起始帧图像中待跟踪目标的大小和丢失帧图像的大小共同决定，也可以由用户预先确定，例如，预先设置将丢失帧图像划分为100个候选区域。
子步骤S1013，利用非极大值抑制算法，对多个候选区域进行过滤，得到多个潜在目标。
在本发明实施例中，由于子步骤S1012中得到的多个候选区域有交叉重叠的部分，因为需要对多个候选区域进行过滤，找到较佳的候选区域。作为一种实施方式，可以采用非极大值抑制算法对多个候选区域进行过滤，可以按照以下步骤进行多个候选区域的过滤：首先设定一个预定门限值(例如，0.5)，并将重叠的候选区域按照得分由高到低进行排序；然后选中得分最高的候选区域，分别计算其他候选区域与该候选区域的重叠率，如果任意一个候选区域对应的重叠率大于预定门限值，则将该候选区域删除；再从剩余的候选区域中选出一个得分最高的，重复上述过程，直至对所有的候选区域完成过滤，保留预设数目个(例如，5个)候选区域，则这些候选区域内的前景目标就是潜在目标。
步骤S102，根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息。
在本发明实施例中，第一编码信息可以是对起始帧图像中的待跟踪目标进行编码，得到的编码信息。获得第一编码信息的方法可以是，但不限于：首先，获取起始帧图像中的待跟踪目标的RGB颜色通道，并将每个颜色通道对应的所有像素点写入一个列，再将三个列进行合并；然后，将上一步中得到的所有像素点，按照像素值分为0-255的32个分类，每个分类对应一个编码值，也就是说，第1分类：编码值为1、像素值为0-7，第2分类：编码值为2、像素值为8-15，第3分类：编码值为3、像素值为16-23，第4分类：编码值为4、像素值为24-31……第32分类：编码值为32、像素值为248-255，这样就得到了起始帧图像中的待跟踪目标的每个像素点的编码值，也就是第一编码信息。
在本发明实施例中，第二编码信息可以是对起始帧图像中的背景图像进行编码，得到的编码信息。获得第二编码信息的方法可以是，但不限于：首先，获取起始帧图像中的背景图像的RGB颜色通道，并将每个颜色通道对应的所有像素点写入一个列，再将三个列进行合并；然后，将上一步中得到的所有像素点，按照像素值分为0-255的32个分类，每个分类对应一个编码值，也就是说，第1分类：编码值为1、像素值为0-7，第2分类：编码值为2、像素值为8-15，第3分类：编码值为3、像素值为16-23，第4分类：编码值为4、像素值为24-31……第32分类：编码值为32、像素值为248-255，这样就得到了起始帧图像中的背景图像的每个像素点的编码值，也就是第二编码信息。
请参照图4，步骤S102可以包括以下子步骤：
子步骤S1021，根据待跟踪目标中每个像素点的颜色通道和像素值，对待跟踪目标进行编码，得到第一编码信息。
子步骤S1022，根据背景图像每个像素点的颜色通道和像素值，对背景图像进行编码，得到第二编码信息。
步骤S103，利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标。
在本发明实施例中，得到起始帧图像中待跟踪目标和背景图像的编码信息之后，根据该编码信息对丢失帧图像中的多个潜在目标进行筛选，得到特定目标。对丢失帧图像中的多个潜在目标进行筛选的方法可以是，但不限于：首先，获取丢失帧图像中的前景图像和背景图像，并根据前景图像和背景图像对应得到前景直方图和背景直方图；第二，根据步骤S103中得到的第一编码信息，将前景直方图中的每个像素点的像素值替换为第一编码信息中的编码值，并根据步骤S103中得到的第二编码信息，将背景直方图中的每个像素点的像素值替换为第二编码信息中的编码值，从而将前景直方图和背景直方图对应转换为前景响应图和背景响应图；第三，根据以下公式：目标响应图＝前景响应图/(前景响应图+背景响应图)，得到丢失帧图像的目标响应图；第四，结合每个潜在目标在该目标响应图中对应的区域，计算构成每个潜在目标的所有像素点的像素和；第五，获取最大像素和对应的潜在目标，则该潜在目标就是特定目标。
请参照图5，步骤S103可以包括以下子步骤：
子步骤S1031，根据丢失帧图像，获取前景直方图和背景直方图。
在本发明实施例中，首先获取丢失帧图像中的前景图像和背景图像，然后根据前景图像和背景图像对应得到前景直方图和背景直方图，前景图像可以是，但不限于人物、动物、植物等。
子步骤S1032，根据第一编码信息和第二编码信息，将前景直方图和背景直方图对应转换为前景响应图和背景响应图。
子步骤S1033，利用前景响应图和背景响应图，获得丢失帧图像的目标响应图。
子步骤S1034，根据目标响应图，计算每个潜在目标的像素和。
子步骤S1035，获取最大像素和对应的潜在目标，并将该潜在目标设置为特定目标。
步骤S104，根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。
在本发明实施例中，相似度可以是特定目标与待跟踪目标之间的纹理、形状、尺寸等的相似程度，可以根据相似度计算公式获得特定目标与待跟踪目标的相似性得分，其中，n是丢失帧图像在视频中的帧数；f(x,y)是待跟踪目标的颜色直方值，t(x,y)是特定目标的颜色直方值，uf是待跟踪目标的颜色均值，σf是待跟踪目标的颜色标准差，ut是特定目标的颜色均值，σt是特定目标的颜色标准差。待跟踪目标的颜色直方值可以是待跟踪目标中任意一种基准颜色在颜色直方图中的值，特定目标的颜色直方值可以是特定目标中任意一种基准颜色在颜色直方图中的值，基准颜色可以是红绿蓝三原色。
作为一种实施方式，根据相似度计算公式得到特定目标与待跟踪目标的相似性得分之后，可以通过判断相似性得分是否大于或等于预设阈值，来判断特定目标是否为待跟踪目标。若相似性得分大于或等于预设阈值，则判定特定目标是待跟踪目标，则对该待跟踪目标重新进行目标跟踪。若相似性得分小于预设阈值，则判定特定目标不是待跟踪目标，则放弃丢失帧图像，并利用步骤S101-S104对丢失帧图像的后一帧图像进行待跟踪目标的重定位。
在本发明实施例中，预设阈值可以是，但不限于0.8。
请参照图6，步骤S104可以包括以下子步骤：
子步骤S1041，根据相似度计算公式获得特定目标与待跟踪目标的相似性得分，其中，n是丢失帧图像在视频中的帧数；f(x,y)是待跟踪目标的颜色直方值，t(x,y)是特定目标的颜色直方值，uf是待跟踪目标的颜色均值，σf是待跟踪目标的颜色标准差，ut是特定目标的颜色均值，σt是特定目标的颜色标准差。
子步骤S1042，判断相似性得分是否大于或等于预设阈值。
在本发明实施例中，如果相似性得分大于或等于预设阈值，则执行子步骤S1043，如果相似性得分小于预设阈值，则执行子步骤S1044。
子步骤S1043，判定特定目标是待跟踪目标。
子步骤S1044，判定特定目标不是待跟踪目标。
在本发明实施例中，无人机100在目标跟踪过程中，如果发生目标丢失，则首先获取丢失帧图像中的多个潜在目标，然后根据起始帧图像的颜色通道获取起始帧图像中待跟踪目标和背景图像的编码信息，再利用起始帧图像中待跟踪目标和背景图像的编码信息对多个潜在目标进行筛选，得到特定目标，最后根据特定目标与待跟踪目标的相似度，就能快速重定位出丢失的跟踪目标，解决了现有技术中一旦发生目标丢失，无人机100将无法迅速重新定位跟踪目标的问题，能够有效避免飞行停止或者误跟踪的情形。另外，通过特定目标与待跟踪目标的相似度来判断特定目标是否为待跟踪目标，若特定目标不是待跟踪目标，则放弃当前进行目标重定位的丢失帧图像，并对丢失帧图像的后一帧图像进行待跟踪目标的重定位，这样可以有效避免重定位的待跟踪目标为虚假目标的情况发生，具有效率高和准确率高的优点。
第二实施例
请参照图7，图7示出了本发明实施例提供的目标重定位装置200的方框示意图。目标重定位装置200包括潜在目标获取模块201、编码信息获取模块202、特定目标获得模块203及执行模块204。
潜在目标获取模块201，用于获取视频的丢失帧图像中的多个潜在目标，其中，丢失帧图像为视频中除起始帧图像外的任意一帧图像。
在本发明实施例中，潜在目标获取模块201可以用于执行步骤S101。
请参照图8，图8为图7示出的目标重定位装置200中潜在目标获取模块201的方框示意图。潜在目标获取模块201包括轮廓图获取单元2011、轮廓图划分单元2012及候选区域过滤单元2013。
轮廓图获取单元2011，用于根据边缘检测算法，获取丢失帧图像的轮廓图。
在本发明实施例中，轮廓图获取单元2011可以用于执行子步骤S1011。
轮廓图划分单元2012，用于根据起始帧图像中待跟踪目标的大小信息，对轮廓图进行划分，得到多个候选区域。
在本发明实施例中，轮廓图划分单元2012可以用于执行子步骤S1012。
候选区域过滤单元2013，用于利用非极大值抑制算法，对多个候选区域进行过滤，得到多个潜在目标。
在本发明实施例中，候选区域过滤单元2013可以用于执行子步骤S1013。
编码信息获取模块202，用于根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息。
在本发明实施例中，编码信息获取模块202可以用于执行步骤S102。
请参照图9，图9为图7示出的目标重定位装置200中编码信息获取模块202的方框示意图。编码信息获取模块202包括第一编码信息获得单元2021及第二编码信息获得单元2022。
第一编码信息获得单元2021，用于根据待跟踪目标中每个像素点的颜色通道和像素值，对待跟踪目标进行编码，得到第一编码信息。
在本发明实施例中，第一编码信息获得单元2021可以用于执行子步骤S1021。
第二编码信息获得单元2022，用于根据背景图像每个像素点的颜色通道和像素值，对背景图像进行编码，得到第二编码信息。
在本发明实施例中，第二编码信息获得单元2022可以用于执行子步骤S1022。
特定目标获得模块203，用于利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标。
在本发明实施例中，特定目标获得模块203可以用于执行步骤S103。
请参照图10，图10为图7示出的目标重定位装置200中特定目标获得模块203的方框示意图。特定目标获得模块203包括直方图获得单元2031、直方图转换单元2032、目标响应图获得单元2033、像素和计算单元2034及设置单元2035。
直方图获得单元2031，用于根据丢失帧图像，获取前景直方图和背景直方图。
在本发明实施例中，直方图获得单元2031可以用于执行子步骤S1031。
直方图转换单元2032，用于根据第一编码信息和第二编码信息，将前景直方图和背景直方图对应转换为前景响应图和背景响应图。
在本发明实施例中，直方图转换单元2032可以用于执行子步骤S1032。
目标响应图获得单元2033，用于利用前景响应图和背景响应图，获得丢失帧图像的目标响应图。
在本发明实施例中，目标响应图获得单元2033可以用于执行子步骤S1033。
像素和计算单元2034，用于根据目标响应图，计算每个潜在目标的像素和。
在本发明实施例中，像素和计算单元2034可以用于执行子步骤S1034。
设置单元2035，用于获取最大像素和对应的潜在目标，并将该潜在目标设置为特定目标。
在本发明实施例中，设置单元2035可以用于执行子步骤S1035。
执行模块204，用于根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。
在本发明实施例中，执行模块204可以用于执行步骤S104。
请参照图11，图11为图7示出的目标重定位装置200中执行模块204的方框示意图。执行模块204包括计算单元2041、判断单元2042、第一子执行单元2043及第二子执行单元2044。
计算单元2041，用于根据相似度计算公式获得特定目标与待跟踪目标的相似性得分，其中，n是丢失帧图像在视频中的帧数；f(x,y)是待跟踪目标的颜色直方值，t(x,y)是特定目标的颜色直方值，uf是待跟踪目标的颜色均值，σf是待跟踪目标的颜色标准差，ut是特定目标的颜色均值，σt是特定目标的颜色标准差。
在本发明实施例中，计算单元2041可以用于执行步骤S1041。
判断单元2042，用于判断相似性得分是否大于或等于预设阈值。
在本发明实施例中，判断单元2042可以用于执行步骤S1042。
在本发明实施例中，如果判断单元2042的执行结果为“是”，则转第一子执行单元2043执行子步骤S1043，如果判断单元2042的执行结果为“否”，则转第二子执行单元2044执行子步骤S1044。
第一子执行单元2043，用于判定特定目标是待跟踪目标。
在本发明实施例中，第一子执行单元2043可以用于执行步骤S1043。
第二子执行单元2044，用于判定特定目标不是待跟踪目标。
在本发明实施例中，第二子执行单元2044可以用于执行步骤S1044。
综上所述，本发明提供的一种目标重定位方法及装置，应用于无人机，所述方法包括：获取视频的丢失帧图像中的多个潜在目标，其中，丢失帧图像为视频中除起始帧图像外的任意一帧图像；根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，第一编码信息为待跟踪目标的编码信息，第二编码信息为背景图像的编码信息；利用第一编码信息和第二编码信息，对多个潜在目标进行筛选，得到特定目标；根据特定目标与待跟踪目标的相似度，判断特定目标是否为待跟踪目标。本发明解决了现有技术中一旦发生目标丢失，无人机将无法迅速重新定位跟踪目标的问题，能够有效避免飞行停止或者误跟踪的情形，具有效率高和准确率高的优点。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种目标重定位方法，其特征在于，应用于无人机，所述方法包括：
获取视频的丢失帧图像中的多个潜在目标，其中，所述丢失帧图像为所述视频中除起始帧图像外的任意一帧图像；
根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，所述第一编码信息为待跟踪目标的编码信息，所述第二编码信息为背景图像的编码信息；
利用第一编码信息和第二编码信息，对多个所述潜在目标进行筛选，得到特定目标；
根据特定目标与待跟踪目标的相似度，判断所述特定目标是否为所述待跟踪目标。
2.如权利要求1所述的方法，其特征在于，所述获取视频的丢失帧图像中的多个潜在目标的步骤，包括：
根据边缘检测算法，获取所述丢失帧图像的轮廓图；
根据所述起始帧图像中所述待跟踪目标的大小信息，对所述轮廓图进行划分，得到多个候选区域；
利用非极大值抑制算法，对多个候选区域进行过滤，得到多个潜在目标。
3.如权利要求1所述的方法，其特征在于，所述根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息的步骤，包括：
根据所述待跟踪目标中每个像素点的颜色通道和像素值，对所述待跟踪目标进行编码，得到所述第一编码信息；
根据所述背景图像每个像素点的颜色通道和像素值，对所述背景图像进行编码，得到所述第二编码信息。
4.如权利要求1所述的方法，其特征在于，所述利用第一编码信息和第二编码信息，对多个所述潜在目标进行筛选，得到特定目标的步骤，包括：
根据所述丢失帧图像，获得前景直方图和背景直方图；
根据所述第一编码信息和所述第二编码信息，将前景直方图和背景直方图对应转换为前景响应图和背景响应图；
利用所述前景响应图和所述背景响应图，获得所述丢失帧图像的目标响应图；
根据所述目标响应图，计算每个潜在目标的像素和；
获取最大像素和对应的潜在目标，并将该潜在目标设置为特定目标。
5.如权利要求1所述的方法，其特征在于，所述根据特定目标与待跟踪目标的相似度，判断所述特定目标是否为所述待跟踪目标的步骤，包括：
根据相似度计算公式获得所述特定目标与所述待跟踪目标的相似性得分，其中，n是所述丢失帧图像在视频中的帧数；f(x,y)是所述待跟踪目标的颜色直方值，t(x,y)是所述特定目标的颜色直方值，uf是所述待跟踪目标的颜色均值，σf是所述待跟踪目标的颜色标准差，ut是所述特定目标的颜色均值，σt是所述特定目标的颜色标准差；
判断所述相似性得分是否大于或等于预设阈值；
若是，则判定所述特定目标是待跟踪目标；
若否，则判定所述特定目标不是待跟踪目标。
6.一种目标重定位装置，其特征在于，应用于无人机，所述装置包括：
潜在目标获取模块，用于获取视频的丢失帧图像中的多个潜在目标，其中，所述丢失帧图像为所述视频中除起始帧图像外的任意一帧图像；
编码信息获取模块，用于根据起始帧图像的颜色通道，获取第一编码信息和第二编码信息，其中，所述第一编码信息为待跟踪目标的编码信息，所述第二编码信息为背景图像的编码信息；
特定目标获得模块，用于利用第一编码信息和第二编码信息，对多个所述潜在目标进行筛选，得到特定目标；
执行模块，用于根据特定目标与待跟踪目标的相似度，判断所述特定目标是否为所述待跟踪目标。
7.如权利要求6所述的装置，其特征在于，所述潜在目标获取模块包括：
轮廓图获取单元，用于根据边缘检测算法，获取所述丢失帧图像的轮廓图；
轮廓图划分单元，用于根据所述起始帧图像中所述待跟踪目标的大小信息，对所述轮廓图进行划分，得到多个候选区域；
候选区域过滤单元，用于利用非极大值抑制算法，对多个候选区域进行过滤，得到多个潜在目标。
8.如权利要求6所述的装置，其特征在于，所述编码信息获取模块包括：
第一编码信息获得单元，用于根据所述待跟踪目标中每个像素点的颜色通道和像素值，对所述待跟踪目标进行编码，得到所述第一编码信息；
第二编码信息获得单元，用于根据所述背景图像每个像素点的颜色通道和像素值，对所述背景图像进行编码，得到所述第二编码信息。
9.如权利要求6所述的装置，其特征在于，所述特定目标获得模块包括：
直方图获得单元，用于根据所述丢失帧图像，获得前景直方图和背景直方图；
直方图转换单元，用于根据所述第一编码信息和所述第二编码信息，将前景直方图和背景直方图对应转换为前景响应图和背景响应图；
目标响应图获得单元，用于利用所述前景响应图和所述背景响应图，获得所述丢失帧图像的目标响应图；
像素和计算单元，用于根据所述目标响应图，计算每个潜在目标的像素和；
设置单元，用于获取最大像素和对应的潜在目标，并将该潜在目标设置为特定目标。
10.如权利要求6所述的装置，其特征在于，所述执行模块包括：
计算单元，用于根据相似度计算公式获得所述特定目标与所述待跟踪目标的相似性得分，其中，n是所述丢失帧图像在视频中的帧数；f(x,y)是所述待跟踪目标的颜色直方值，t(x,y)是所述特定目标的颜色直方值，uf是所述待跟踪目标的颜色均值，σf是所述待跟踪目标的颜色标准差，ut是所述特定目标的颜色均值，σt是所述特定目标的颜色标准差；
判断单元，用于判断所述相似性得分是否大于或等于预设阈值；
第一子执行单元，用于判定所述特定目标是待跟踪目标；
第二子执行单元，用于判定所述特定目标不是待跟踪目标。
CN201710708401.6A 2017-08-17 2017-08-17 目标重定位方法及装置 Active CN107481265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710708401.6A CN107481265B (zh) 2017-08-17 2017-08-17 目标重定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710708401.6A CN107481265B (zh) 2017-08-17 2017-08-17 目标重定位方法及装置

Publications (2)

Publication Number Publication Date
CN107481265A true CN107481265A (zh) 2017-12-15
CN107481265B CN107481265B (zh) 2020-05-19

Family

ID=60601070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710708401.6A Active CN107481265B (zh) 2017-08-17 2017-08-17 目标重定位方法及装置

Country Status (1)

Country Link
CN (1) CN107481265B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN110472640A (zh) * 2019-08-15 2019-11-19 山东浪潮人工智能研究院有限公司 一种目标检测模型预测框处理方法及装置
CN115630532A (zh) * 2022-12-19 2023-01-20 安胜（天津）飞行模拟系统有限公司 一种全动飞行模拟机的快速重定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251362A (zh) * 2016-07-15 2016-12-21 中国电子科技集团公司第二十八研究所 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106845496A (zh) * 2016-12-30 2017-06-13 首都师范大学 精细目标识别方法和系统
US20170185860A1 (en) * 2015-05-19 2017-06-29 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170185860A1 (en) * 2015-05-19 2017-06-29 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
CN106251362A (zh) * 2016-07-15 2016-12-21 中国电子科技集团公司第二十八研究所 一种基于快速相关邻域特征点的滑窗目标跟踪方法及系统
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106845496A (zh) * 2016-12-30 2017-06-13 首都师范大学 精细目标识别方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108615248B (zh) * 2018-04-27 2022-04-05 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US11481923B2 (en) 2018-04-27 2022-10-25 Tencent Technology (Shenzhen) Company Limited Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN109658434A (zh) * 2018-12-26 2019-04-19 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109658434B (zh) * 2018-12-26 2023-06-16 成都纵横自动化技术股份有限公司 一种目标跟踪的方法及装置
CN109828488A (zh) * 2018-12-27 2019-05-31 北京航天福道高技术股份有限公司 采集传输一体化双光探测跟踪系统
CN110472640A (zh) * 2019-08-15 2019-11-19 山东浪潮人工智能研究院有限公司 一种目标检测模型预测框处理方法及装置
CN110472640B (zh) * 2019-08-15 2022-03-15 山东浪潮科学研究院有限公司 一种目标检测模型预测框处理方法及装置
CN115630532A (zh) * 2022-12-19 2023-01-20 安胜（天津）飞行模拟系统有限公司 一种全动飞行模拟机的快速重定位方法
CN115630532B (zh) * 2022-12-19 2023-05-05 安胜（天津）飞行模拟系统有限公司 一种全动飞行模拟机的快速重定位方法

Also Published As

Publication number Publication date
CN107481265B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN107481265A (zh) 目标重定位方法及装置
US20230005238A1 (en) Pixel-level based micro-feature extraction
US20210334524A1 (en) Gesture recognition method and terminal device and computer readable storage medium using the same
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN111428748B (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
EP3295424B1 (en) Systems and methods for reducing a plurality of bounding regions
KR101394242B1 (ko) 영상 감시 장치 및 영상 감시 방법
CN107851318A (zh) 用于对象跟踪的系统和方法
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN108256479A (zh) 人脸跟踪方法和装置
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN104463117A (zh) 一种基于视频方式的人脸识别样本采集方法及系统
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN104281839A (zh) 一种人体姿势识别方法和装置
CN113139521A (zh) 一种用于电力监控的行人越界标监测方法
CN106204658A (zh) 运动图像跟踪方法及装置
CN107292907A (zh) 一种对跟随目标进行定位的方法以及跟随设备
CN103345644A (zh) 在线训练的目标检测方法及装置
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
Zhang et al. Design and training of deep CNN-based fast detector in infrared SUAV surveillance system
CN113177439A (zh) 一种行人翻越马路护栏检测方法
CN106874867A (zh) 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法
CN103886324A (zh) 一种基于对数似然图像的尺度自适应目标跟踪方法
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant