CN107292284B - 目标重检测方法、装置及无人机 - Google Patents
目标重检测方法、装置及无人机 Download PDFInfo
- Publication number
- CN107292284B CN107292284B CN201710574298.0A CN201710574298A CN107292284B CN 107292284 B CN107292284 B CN 107292284B CN 201710574298 A CN201710574298 A CN 201710574298A CN 107292284 B CN107292284 B CN 107292284B
- Authority
- CN
- China
- Prior art keywords
- target
- color
- tracked
- potential
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域,提供一种目标重检测方法、装置及无人机,所述方法包括:获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像;根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标;根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定,本发明解决了现有技术中发生跟踪目标丢失时无人机无法迅速重新定位目标的问题,具有效率高和准确率高的优点。
Description
技术领域
本发明涉及计算机视觉技术领域,具体而言,涉及一种目标重检测方法、装置及无人机。
背景技术
运动目标跟踪技术是一项融合了图像处理、模式识别、人工智能、自动控制等多个领域的高技术课题,同时也是实现智能机器人和智能化武器的关键技术之一,在很多领域有着广阔的应用前景和实际意义、例如,应用于无人机目标跟踪。
现代无人机跟踪系统已经能够较为准确的根据首帧目标图像获取非特定跟踪目标运动轨迹,并且能够实时对待跟踪目标进行短时跟踪运算。针对单目标跟踪问题,目前的无人机跟踪系统主要集中在提高目标的短时跟踪性能上,即理想飞行情形下的性能,也就是未出现目标及场景的动态变化、遮挡、相似物干扰、光线剧烈等复杂外界环境干扰。但是,在跟踪过程中,一旦发生目标丢失的问题,无人机将无法迅速重新定位跟踪目标,导致出现飞行停止或者误跟踪的情况。
发明内容
本发明的目的在于提供一种目标重检测方法、装置及无人机,用以改善上述问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明提供了一种目标重检测方法,应用于无人机,所述方法包括:获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像;根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标;根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定。
第二方面,本发明提供了一种目标重检测装置,应用于无人机,所述装置包括潜在目标获取模块、潜在目标筛选模块及执行模块。其中,潜在目标获取模块用于获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像;潜在目标筛选模块用于根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标;执行模块用于根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定。
第三方面,本发明提供了一种无人机,其包括存储器、处理器、以及目标重检测装置,所述装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组。所述装置包括潜在目标获取模块、潜在目标筛选模块及执行模块。其中,潜在目标获取模块用于获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像;潜在目标筛选模块用于根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标;执行模块用于根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定。
相对现有技术,本发明具有以下有益效果:本发明提供的一种目标重检测方法、装置及无人机,无人机在目标跟踪过程中,如果发生目标丢失,则首先获取视频中除起始帧图像外的任意一帧图像中的多个潜在目标,然后根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标,再根据特定目标与待跟踪目标的相似度,就能快速重新检测出确定出丢失的跟踪目标,解决了现有技术中发生跟踪目标丢失时无人机无法迅速重新定位目标的问题,具有效率高和准确率高的优点。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的无人机的方框示意图。
图2示出了本发明实施例提供的目标重检测方法流程图。
图3为图2示出的步骤S101的子步骤流程图。
图4为图3示出的步骤S1013的子步骤流程图。
图5为图2示出的步骤S102的子步骤流程图。
图6为图2示出的步骤S103的子步骤流程图。
图7示出了本发明实施例提供的目标重检测装置的方框示意图。
图8为图7示出的目标重检测装置中潜在目标获取模块的方框示意图。
图9为图8示出的潜在目标获取模块中显著性区域获得单元的方框示意图。
图10为图7示出的目标重检测装置中潜在目标筛选模块的方框示意图。
图11为图7示出的目标重检测装置中执行模块的方框示意图。
图标:100-无人机;101-存储器;102-存储控制器;103-处理器;104-外设接口;105-网络通信模块;200-目标重检测装置;201-潜在目标获取模块;2011-第一图像获取单元;2012-显著性检测单元;2013-显著性区域获得单元;20131-显著性得分获取单元;20132-显著性区域选取单元;2014-潜在目标获得单元;202-潜在目标筛选模块;2021-第一投影矩阵获得单元;2022-第二投影矩阵获得单元;2023-颜色特征得分获取单元;2024-特定目标获取单元;203-执行模块;2031-相似度计算单元;2032-判断单元;2033-第一子执行单元;2034-第二子执行单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了本发明较佳实施例提供的无人机100的方框示意图。无人机100可以是,但不限于固定翼无人机、无人直升机和多旋翼无人机、伞翼无人机、扑翼无人机和无人飞船等等。所述无人机100包括目标重检测装置200、存储器101、存储控制器102、处理器103、外设接口104和网络通信模块105。
所述存储器101、存储控制器102、处理器103、外设接口104和网络通信模块105各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述目标重检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述无人机100的操作系统(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述目标重检测装置200包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可以是一种集成电路芯片,具有信号处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)、语音处理器以及视频处理器等;还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
网络通信模块105用于接收服务器发送的搜索结果数据以及发送用户的搜索数据。在本实施例中,网络通信模块105可以但不限于是网络通信芯片。
第一实施例
请参照图2,图2示出了本发明实施例提供的目标重检测方法流程图。目标重检测方法包括以下步骤:
步骤S101,获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像。
在本发明实施例中,视频可以是无人机100采集的视频,例如,航拍的地理地貌、风景、人物等视频。第一图像可以是无人机100采集的视频中除起始帧图像外的任意一帧图像,且第一图像中的待跟踪目标已丢失,也就是说,需要重新检测第一图像中的待跟踪目标。潜在目标可以是,但不限于与需要重新检测的待跟踪目标相类似的前景目标,例如,大小相类似、特征相类似等的前景目标。
作为一种实施方式,获取视频的第一图像中的多个潜在目标的方法可以是:首先,对需要重新检测待跟踪目标的第一图像进行显著性检测,得到显著图;然后,利用积分图方式,计算上一步得到的显著图中的每个显著性区域对应的显著性得分;最后,对上一步所得的每个显著性区域对应的显著性得分进行筛选,得到预设数目个(例如,5个)显著性得分对应的显著性区域,则这些显著性区域内的前景目标就是潜在目标。
请参照图3,步骤S101可以包括以下子步骤:
子步骤S1011,获取视频的第一图像。
在本发明实施例中,获取到无人机100采集的视频之后,对该视频进行预处理,并保存成连续帧的方式。预处理可以是对视频的视频帧图像进行图像校正、噪声过滤等处理,以减小视频帧图像的失真。将视频保存成连续帧方式的视频帧图像之后,第一图像就是从该连续帧方式的视频帧图像中获取的除起始帧图像外的任意一帧图像。
子步骤S1012,对第一图像进行显著性检测,得到多个显著性区域。
在本发明实施例中,对第一图像进行显著性检测可以采用基于区域对比度的检测方法,基于区域对比度的检测方法对第一图像进行显著性检测的步骤可以是:首先,将第一图像分割为多个区域,在为每个区域建立颜色直方图;然后,计算各个区域之间的颜色对比度,用每个区域和其他区域的颜色对比度加权和来定义该区域的显著性值,其中,权值由两个区域的空间距离确定。
作为一种实施方式,对于每个区域rk,定义其显著性值为;
其中,w(ri)表示区域ri的像素值,Dr(rk,ri)表示区域rk和区域ri的颜色距离,且其中,ck为像素点k的颜色,ci为像素点i的颜色,n1为区域rk所含颜色总数目,n2为区域ri所含颜色总数目,f为ck或者ci在第一图像的所有颜色中出现的概率。
子步骤S1013,获得满足预设条件的显著性区域。
在本发明实施例中,预设条件可以是,但不限于按照显著性得分由高到低的顺序,选取得分靠前的预设数目个(例如,5个)显著性得分对应的显著性区域。
请参照图4,步骤S1013可以包括以下子步骤:
子步骤S10131,利用积分图,获取每个显著性区域的显著性得分。
在本发明实施例中,显著性得分可以包括每个显著性区域的像素积分、尺寸、面积等,作为一种实施方式,利用积分图的方式,计算每个显著性区域的像素积分,该像素积分就是对应的显著性区域的显著性得分。任意一个显著性区域的像素积分可以根据公式其中,I(i,j)为该显著性区域中任意一个像素点的像素值。
子步骤S10132,按照显著性得分由高到低的顺序,选取预设数目个显著性得分对应的显著性区域。
在本发明实施例中,预设数目可以根据待跟踪目标的尺寸与第一图像的尺寸来确定,也可以是用户设置的某一个固定数值。
子步骤S1014,获取满足预设条件的显著性区域在第一图像内的位置,得到多个潜在目标。
步骤S102,根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标。
在本发明实施例中,颜色特征可以利用颜色直方图、颜色矩、颜色集、颜色聚合向量或者颜色相关图等方法来表示。作为一种实施方式,利用颜色直方图表示待跟踪目标和每个潜在目标的颜色特征。颜色直方图描述的是不同色彩在整幅图像中所占的比例,在本发明实施例中,通过11种基准颜色的颜色直方图来表示待跟踪目标和每个潜在目标的颜色特征。11种基准颜色可以包括黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄。
作为一种实施方式,对多个潜在目标进行筛选的方法可以是:首先,根据11种基准颜色,提取每个潜在目标对应的第一投影矩阵、以及待跟踪目标对应的第二投影矩阵;然后,将每个潜在目标对应的第一投影矩阵分别与待跟踪目标对应的第二投影矩阵相乘,得到每个潜在目标对应的颜色特征得分,并提取出颜色特征得分最高的潜在目标,则该潜在目标就是特定目标。第一投影矩阵可以是根据11种基准颜色,对任意一个潜在目标的颜色特征进行归一化,得到的每种基准颜色在该潜在目标的颜色特征中所占的比例所组成的数据集合。第二投影矩阵可以是根据11种基准颜色,对待跟踪目标的颜色特征进行归一化,得到的每种基准颜色在该待跟踪目标的颜色特征中所占的比例所组成的数据集合。
请参照图5,步骤S102可以包括以下子步骤:
子步骤S1021,根据基准颜色,对每个潜在目标的颜色特征进行归一化,得到每个潜在目标对应的第一投影矩阵。
子步骤S1022,根据基准颜色,对待跟踪目标的颜色特征进行归一化,得到第二投影矩阵。
子步骤S1023,根据第二投影矩阵和每个潜在目标对应的第一投影矩阵,获取每个潜在目标对应的颜色特征得分。
子步骤S1024,获取颜色特征得分最高的潜在目标在第一图像中的位置,得到特定目标。
步骤S103,根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定。
在本发明实施例中,相似度可以是特定目标与待跟踪目标之间的纹理、形状、尺寸等的相似程度,可以根据相似度计算公式来确定特定目标与待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差,颜色直方值可以是所述待跟踪目标中任意一种基准颜色在颜色直方图中的值。
作为一种实施方式,根据相似度计算公式得到特定目标与待跟踪目标的相似性得分之后,可以通过判断相似性得分是否大于或等于预设阈值,来判断特定目标是否为待跟踪目标。若相似性得分大于或等于预设阈值,则判定特定目标是待跟踪目标,则对该待跟踪目标重新进行目标跟踪。若相似性得分小于预设阈值,则判定特定目标不是待跟踪目标,则放弃第一图像,并利用步骤S101-S103对第一图像的后一帧图像进行待跟踪目标的重检测。
在本发明实施例中,预设阈值可以是,但不限于0.8。
请参照图6,步骤S103可以包括以下子步骤:
子步骤S1031,根据相似度计算公式获得所述特定目标与所述待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差。
子步骤S1032,判断相似性得分是否大于或等于预设阈值。
在本发明实施例中,如果相似性得分大于或等于预设阈值,则执行子步骤S1033,如果相似性得分小于预设阈值,则执行子步骤S1034。
子步骤S1033,判定特定目标是待跟踪目标。
子步骤S1034,判定特定目标不是待跟踪目标。
在本发明实施例中,无人机100在目标跟踪过程中,如果发生目标丢失,则首先获取视频中除起始帧图像外的任意一帧图像中的多个潜在目标,然后根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标,再根据特定目标与待跟踪目标的相似度,就能快速重新检测出确定出丢失的跟踪目标,解决了现有技术中发生跟踪目标丢失时无人机100无法迅速重新定位目标的问题。另外,通过特定目标与待跟踪目标的相似度来判断特定目标是否为待跟踪目标,若特定目标不是待跟踪目标,则放弃当前检测的第一图像,并对第一图像的后一帧图像进行待跟踪目标的重检测,这样可以有效避免重检测的待跟踪目标为虚假目标的情况发生,具有效率高和准确率高的优点。
第二实施例
请参照图7,图7示出了本发明实施例提供的目标重检测装置200的方框示意图。目标重检测装置200包括潜在目标获取模块201、潜在目标筛选模块202及执行模块203。
潜在目标获取模块201,用于获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像。
在本发明实施例中,潜在目标获取模块201可以用于执行步骤S101。
请参照图8,图8为图7示出的目标重检测装置200中潜在目标获取模块201的方框示意图。潜在目标获取模块201包括第一图像获取单元2011、显著性检测单元2012、显著性区域获得单元2013及潜在目标获得单元2014。
第一图像获取单元2011,用于获取视频的第一图像。
在本发明实施例中,第一图像获取单元2011可以用于执行子步骤S101。
显著性检测单元2012,用于对第一图像进行显著性检测,得到多个显著性区域。
在本发明实施例中,显著性检测单元2012可以用于执行子步骤S1012。
显著性区域获得单元2013,用于获得满足预设条件的显著性区域。
在本发明实施例中,显著性区域获得单元2013可以用于执行子步骤S1013。
请参照图9,图9为图8示出的潜在目标获取模块201中显著性区域获得单元2013的方框示意图。显著性区域获得单元2013包括显著性得分获取单元20131及显著性区域选取单元20132。
显著性得分获取单元20131,用于利用积分图,获取每个显著性区域的显著性得分。
在本发明实施例中,显著性得分获取单元20131可以用于执行子步骤S10131。
显著性区域选取单元20132,用于按照显著性得分由高到低的顺序,选取预设数目个显著性得分对应的显著性区域。
在本发明实施例中,显著性区域选取单元20132可以用于执行子步骤S10132。
潜在目标获得单元2014,用于获取满足预设条件的显著性区域在第一图像内的位置,得到多个潜在目标。
在本发明实施例中,潜在目标获得单元2014可以用于执行子步骤S1014。
潜在目标筛选模块202,用于根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标。
在本发明实施例中,潜在目标筛选模块202可以用于执行步骤S102。
请参照图10,图10为图7示出的目标重检测装置200中潜在目标筛选模块202的方框示意图。潜在目标筛选模块202包括第一投影矩阵获得单元2021、第二投影矩阵获得单元2022、颜色特征得分获取单元2023及特定目标获取单元2024。
第一投影矩阵获得单元2021,用于根据基准颜色,对每个潜在目标的颜色特征进行归一化,得到每个潜在目标对应的第一投影矩阵。
在本发明实施例中,第一投影矩阵获得单元2021可以用于执行子步骤S1021。
第二投影矩阵获得单元2022,用于根据基准颜色,对待跟踪目标的颜色特征进行归一化,得到第二投影矩阵。
在本发明实施例中,第二投影矩阵获得单元2022可以用于执行子步骤S1022。
颜色特征得分获取单元2023,用于根据第二投影矩阵和每个潜在目标对应的第一投影矩阵,获取每个潜在目标对应的颜色特征得分。
在本发明实施例中,颜色特征得分获取单元2023可以用于执行子步骤S1023。
特定目标获取单元2024,用于获取颜色特征得分最高的潜在目标在第一图像中的位置,得到特定目标。
在本发明实施例中,特定目标获取单元2024可以用于执行子步骤S1024。
执行模块203,用于根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定。
在本发明实施例中,执行模块203可以用于执行步骤S103。
请参照图11,图11为图7示出的目标重检测装置200中执行模块203的方框示意图。执行模块203包括相似度计算单元2031、判断单元2032、第一子执行单元2033及第二子执行单元2034。
相似度计算单元2031,用于根据相似度计算公式获得所述特定目标与所述待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差。
在本发明实施例中,相似度计算单元2031可以用于执行子步骤S1031。
判断单元2032,用于判断相似性得分是否大于或等于预设阈值。
在本发明实施例中,判断单元2032可以用于执行子步骤S1032。
在本发明实施例中,如果判断单元2032的执行结果为“是”,则转第一子执行单元2033执行子步骤S1033,如果判断单元2032的执行结果为“否”,则转第二子执行单元2034执行子步骤S1034。
第一子执行单元2033,用于判定特定目标是待跟踪目标。
在本发明实施例中,第一子执行单元2033可以用于执行子步骤S1033。
第二子执行单元2034,用于判定特定目标不是待跟踪目标。
在本发明实施例中,第二子执行单元2034可以用于执行子步骤S1034。
综上所述,本发明提供的一种目标重检测方法、装置及无人机,所述方法包括:获取视频的第一图像中的多个潜在目标,其中,第一图像为视频中除起始帧图像外的任意一帧图像;根据每个潜在目标的颜色特征,对多个潜在目标进行筛选,得到特定目标;根据特定目标与待跟踪目标的相似度,判断特定目标是否为待跟踪目标,其中,待跟踪目标由起始帧图像确定,本发明解决了现有技术中发生跟踪目标丢失时无人机无法迅速重新定位目标的问题,具有效率高和准确率高的优点。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (9)
1.一种目标重检测方法,其特征在于,应用于无人机,所述方法包括:
获取视频的第一图像中的多个潜在目标,其中,所述第一图像为所述视频中除起始帧图像外的任意一帧图像;
根据每个所述潜在目标的颜色特征,对多个所述潜在目标进行筛选,得到特定目标;
根据相似度计算公式获得所述特定目标与待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差,所述待跟踪目标由所述起始帧图像确定;
判断所述相似性得分是否大于或等于预设阈值;
若是,则判定所述特定目标是待跟踪目标;
若否,则判定所述特定目标不是待跟踪目标。
2.如权利要求1所述的方法,其特征在于,所述获取视频的第一图像中的多个潜在目标的步骤,包括:
获取所述视频的第一图像;
对所述第一图像进行显著性检测,得到多个显著性区域;
获得满足预设条件的显著性区域;
获取满足预设条件的显著性区域在所述第一图像内的位置,得到多个潜在目标。
3.如权利要求2所述的方法,其特征在于,所述获得满足预设条件的显著性区域的步骤,包括:
利用积分图,获取每个所述显著性区域的显著性得分;
按照所述显著性得分由高到低的顺序,选取预设数目个显著性得分对应的显著性区域。
4.如权利要求1所述的方法,其特征在于,所述根据每个所述潜在目标的颜色特征,对多个所述潜在目标进行筛选,得到特定目标的步骤,包括:
根据基准颜色,对每个潜在目标的颜色特征进行归一化,得到每个潜在目标对应的第一投影矩阵;
根据基准颜色,对所述待跟踪目标的颜色特征进行归一化,得到第二投影矩阵;
根据所述第二投影矩阵和每个潜在目标对应的第一投影矩阵,获取每个潜在目标对应的颜色特征得分;
获取颜色特征得分最高的潜在目标在所述第一图像中的位置,得到特定目标。
5.一种目标重检测装置,其特征在于,应用于无人机,所述装置包括:
潜在目标获取模块,用于获取视频的第一图像中的多个潜在目标,其中,所述第一图像为所述视频中除起始帧图像外的任意一帧图像;
潜在目标筛选模块,用于根据每个所述潜在目标的颜色特征,对多个所述潜在目标进行筛选,得到特定目标;
执行模块,用于:
根据相似度计算公式获得所述特定目标与待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差,所述待跟踪目标由所述起始帧图像确定;
判断所述相似性得分是否大于或等于预设阈值;
若是,则判定所述特定目标是待跟踪目标;
若否,则判定所述特定目标不是待跟踪目标。
6.如权利要求5所述的装置,其特征在于,所述潜在目标获取模块包括:
第一图像获取单元,用于获取所述视频的第一图像;
显著性检测单元,用于对所述第一图像进行显著性检测,得到多个显著性区域;
显著性区域获得单元,用于获得满足预设条件的显著性区域;
潜在目标获得单元,用于获取满足预设条件的显著性区域在所述第一图像内的位置,得到多个潜在目标。
7.如权利要求6所述的装置,其特征在于,所述显著性区域获得单元包括:
显著性得分获取单元,用于利用积分图,获取每个所述显著性区域的显著性得分;
显著性区域选取单元,用于按照所述显著性得分由高到低的顺序,选取预设数目个显著性得分对应的显著性区域。
8.如权利要求7所述的装置,其特征在于,所述潜在目标筛选模块包括:
第一投影矩阵获得单元,用于根据基准颜色,对每个潜在目标的颜色特征进行归一化,得到每个潜在目标对应的第一投影矩阵;
第二投影矩阵获得单元,用于根据基准颜色,对所述待跟踪目标的颜色特征进行归一化,得到第二投影矩阵;
颜色特征得分获取单元,用于根据所述第二投影矩阵和每个潜在目标对应的第一投影矩阵,获取每个潜在目标对应的颜色特征得分;
特定目标获得单元,用于获取颜色特征得分最高的潜在目标在所述第一图像中的位置,得到特定目标。
9.一种无人机,其特征在于,所述无人机包括:
存储器;
处理器;以及
目标重检测装置,所述装置存储于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组,其包括:
潜在目标获取模块,用于获取视频的第一图像中的多个潜在目标,其中,所述第一图像为所述视频中除起始帧图像外的任意一帧图像;
潜在目标筛选模块,用于根据每个所述潜在目标的颜色特征,对多个所述潜在目标进行筛选,得到特定目标;
执行模块,用于:
根据相似度计算公式获得所述特定目标与待跟踪目标的相似性得分,其中,n是所述第一图像在视频中的帧数;f(x,y)是所述待跟踪目标中任意一种基准颜色的颜色直方值,t(x,y)是所述特定目标的中任意一种基准颜色的颜色直方值,uf是所述待跟踪目标的颜色均值,是所述待跟踪目标的颜色方差,ut是所述特定目标的颜色均值,是所述特定目标的颜色方差,所述待跟踪目标由所述起始帧图像确定;
判断所述相似性得分是否大于或等于预设阈值;
若是,则判定所述特定目标是待跟踪目标;
若否,则判定所述特定目标不是待跟踪目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710574298.0A CN107292284B (zh) | 2017-07-14 | 2017-07-14 | 目标重检测方法、装置及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710574298.0A CN107292284B (zh) | 2017-07-14 | 2017-07-14 | 目标重检测方法、装置及无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107292284A CN107292284A (zh) | 2017-10-24 |
CN107292284B true CN107292284B (zh) | 2020-02-28 |
Family
ID=60100462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710574298.0A Active CN107292284B (zh) | 2017-07-14 | 2017-07-14 | 目标重检测方法、装置及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107292284B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446585B (zh) * | 2018-01-31 | 2020-10-30 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN111582062B (zh) * | 2020-04-21 | 2022-10-14 | 电子科技大学 | 一种基于YOLOv3的目标跟踪中的重检测方法 |
CN113255658B (zh) * | 2020-12-31 | 2023-05-30 | 深圳怡化电脑股份有限公司 | 一种介质鉴定方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794264A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 视频序列中人脸的实时检测与持续跟踪的方法及系统 |
CN101453660A (zh) * | 2007-12-07 | 2009-06-10 | 华为技术有限公司 | 一种视频目标跟踪方法和装置 |
CN104112279A (zh) * | 2013-04-19 | 2014-10-22 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN105023008A (zh) * | 2015-08-10 | 2015-11-04 | 河海大学常州校区 | 基于视觉显著性及多特征的行人再识别方法 |
CN105404847A (zh) * | 2014-09-16 | 2016-03-16 | 北京计算机技术及应用研究所 | 一种遗留物实时检测方法 |
CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博(北京)科技有限公司 | 一种目标跟踪方法及电子设备 |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
-
2017
- 2017-07-14 CN CN201710574298.0A patent/CN107292284B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794264A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 视频序列中人脸的实时检测与持续跟踪的方法及系统 |
CN101453660A (zh) * | 2007-12-07 | 2009-06-10 | 华为技术有限公司 | 一种视频目标跟踪方法和装置 |
CN104112279A (zh) * | 2013-04-19 | 2014-10-22 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN105404847A (zh) * | 2014-09-16 | 2016-03-16 | 北京计算机技术及应用研究所 | 一种遗留物实时检测方法 |
CN105023008A (zh) * | 2015-08-10 | 2015-11-04 | 河海大学常州校区 | 基于视觉显著性及多特征的行人再识别方法 |
CN106650630A (zh) * | 2016-11-11 | 2017-05-10 | 纳恩博(北京)科技有限公司 | 一种目标跟踪方法及电子设备 |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
Non-Patent Citations (2)
Title |
---|
An improved mean-shift tracking algorithm with spatial-color feature and new similarity measure;Lurong Shen etc.;《2011 International Conference on Multimedia Technology》;20111231;全文 * |
基于区域特征对比分析的图像显著性检测方法研究;候芳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140831;第2.4 节代表性的显著性检测方法以及第 3 章 基于多尺度局部特征和全局特征差异性的显著性检测方法 * |
Also Published As
Publication number | Publication date |
---|---|
CN107292284A (zh) | 2017-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10628961B2 (en) | Object tracking for neural network systems | |
US8792722B2 (en) | Hand gesture detection | |
US8750573B2 (en) | Hand gesture detection | |
CN111797653B (zh) | 基于高维图像的图像标注方法和装置 | |
US10922581B2 (en) | Method, system and apparatus for performing re-identification in images captured by at least two camera pairs operating with different environmental factors | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
CN107481265B (zh) | 目标重定位方法及装置 | |
CN103020992B (zh) | 一种基于运动颜色关联的视频图像显著性检测方法 | |
CN109784278B (zh) | 基于深度学习的海上弱小运动船舶实时检测方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
CN107292284B (zh) | 目标重检测方法、装置及无人机 | |
US20140126830A1 (en) | Information processing device, information processing method, and program | |
CN109859236B (zh) | 运动物体检测方法、系统、计算设备及存储介质 | |
KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
KR20210012012A (ko) | 물체 추적 방법들 및 장치들, 전자 디바이스들 및 저장 매체 | |
US20180047271A1 (en) | Fire detection method, fire detection apparatus and electronic equipment | |
CN112307853A (zh) | 航拍图像的检测方法、存储介质和电子装置 | |
WO2023142912A1 (zh) | 遗留物体的检测方法、装置及存储介质 | |
CN108205657A (zh) | 视频镜头分割的方法、存储介质和移动终端 | |
CN110795975B (zh) | 人脸误检优化方法及装置 | |
CN115661720A (zh) | 一种被遮挡车辆的目标跟踪识别方法及系统 | |
Makantasis et al. | Semi-supervised vision-based maritime surveillance system using fused visual attention maps | |
CN112329567A (zh) | 自动驾驶场景中目标检测的方法及系统、服务器及介质 | |
CN109635649B (zh) | 一种无人机侦察目标的高速检测方法及系统 | |
CN114140753A (zh) | 一种海洋船舶识别的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |