CN110428442A - 目标确定方法、目标确定系统和监控安防系统 - Google Patents
目标确定方法、目标确定系统和监控安防系统 Download PDFInfo
- Publication number
- CN110428442A CN110428442A CN201910725468.XA CN201910725468A CN110428442A CN 110428442 A CN110428442 A CN 110428442A CN 201910725468 A CN201910725468 A CN 201910725468A CN 110428442 A CN110428442 A CN 110428442A
- Authority
- CN
- China
- Prior art keywords
- frame image
- target
- tracked
- overlapping
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本公开提供了一种目标确定方法,包括:利用预定目标检测器对当前帧图像进行目标检测处理,得到所述当前帧图像的初步检测结果;根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框;在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理,得到所述当前帧图像的跟踪结果;根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果。本公开还提供了一种目标确定系统、监控安防系统、服务器和计算机可读介质。
Description
技术领域
本公开涉及计算机技术领域,特别涉及一种目标确定方法、目标确定系统、监控安防系统、服务器和计算机可读介质。
背景技术
随着互联网和人工智能技术的不断发展,越来越多的领域开始涉及自动化计算与分析,其中目标监控是最为重要的场景之一。常见的目标监控只依赖检测器输出的结果,当人流密度过大或者行人之间互相遮挡较为严重的时候,检测器很容易出现漏检和误检的情况。
发明内容
本公开旨在至少解决现有技术中存在的技术问题之一,提出了一种目标确定方法、目标确定系统、监控安防系统、服务器和计算机可读介质。
第一方面,本公开实施例提供了一种目标确定方法,包括:
利用预定目标检测器对当前帧图像进行目标检测处理,得到所述当前帧图像的初步检测结果;
根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框;
在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理,得到所述当前帧图像的跟踪结果;
根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果。
在一些实施例中,所述根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框的步骤包括:
判断所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果是否均不为空;
当判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果中至少一者为空时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框;
当判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果均不为空时,则针对所述前一帧图像的初步检测结果中每一个目标框,计算该目标框与所述当前帧图像的初步检测结果中各目标框之间的重叠度;
判断所述前一帧图像的初步检测结果中是否存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框;其中,所述预定重叠度范围为(a1,a2),a1≥0且a1<a2<1;
当判断出所述前一帧图像的初步检测结果中存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中存在需要进行单目标跟踪的目标框,并将所述前一帧图像的初步检测结果中与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框;
当判断出所述前一帧图像的初步检测结果中不存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框。
在一些实施例中,所述在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理的步骤包括:
获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器;
利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理。
在一些实施例中,所述获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器包括:
判断预先获取到的所述前一帧图像的跟踪结果是否为空;
当判断出预先获取到的所述前一帧图像的跟踪结果为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器;
当判断出预先获取到的所述前一帧图像的跟踪结果不为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,计算该待跟踪目标框与所述前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值;
针对每一个所述待跟踪目标框,判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值;
当判断出该待跟踪目标框所对应的重叠度最大值大于所述预定重叠度阈值时,则将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为所述重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器;
当判断出该待跟踪目标框所对应的重叠度最大值小于或等于所述预定重叠度阈值时,则将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
在一些实施例中,所述利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理的步骤之后,还包括:
从全部所述单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成所述当前帧图像的跟踪结果。
在一些实施例中,所述根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果的步骤包括:
将所述当前帧图像的跟踪结果中的目标框与所述当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为所述当前帧图像的最终检测结果。
在一些实施例中,所述去重融合处理具体包括:采用非极大值抑制算法进行去重融合。
第二方面,本公开实施例提供了一种目标确定系统,包括:
目标检测模块,用于利用预定目标检测器对当前帧图像进行目标检测处理,得到所述当前帧图像的初步检测结果;
处理模块,根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框;
目标跟踪模块,用于在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理,得到所述当前帧图像的跟踪结果;
结果确定模块,用于根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果。
在一些实施例中,所述处理模块包括:
第一判断子模块,用于判断所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果是否均不为空;
第一检测子模块,用于当所述第一判断子模块判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果中至少一者为空时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框;
计算子模块,用于当所述第一判断子模块判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果均不为空时,则针对所述前一帧图像的初步检测结果中每一个目标框,计算该目标框与所述当前帧图像的初步检测结果中各目标框之间的重叠度;
第二判断子模块,用于判断所述前一帧图像的初步检测结果中是否存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框;其中,所述预定重叠度范围为(a1,a2),a1≥0且a1<a2<1;
第二检测子模块,用于当所述第二判断子模块判断出所述前一帧图像的初步检测结果中存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中存在需要进行单目标跟踪的目标框,并将所述前一帧图像的初步检测结果中与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框;
第三检测子模块,用于当所述第二判断子模块判断出所述前一帧图像的初步检测结果中不存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框。
在一些实施例中,所述目标跟踪模块包括:
获取子模块,用于获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器;
处理子模块,用于利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理。
在一些实施例中,所述获取子模块包括:
第一判断单元,用于判断预先获取到的所述前一帧图像的跟踪结果是否为空;
第一初始化单元,用于当所述第一判断单元判断出预先获取到的所述前一帧图像的跟踪结果为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器;
计算单元,用于当所述第一判断单元判断出预先获取到的所述前一帧图像的跟踪结果不为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,计算该待跟踪目标框与所述前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值;
第二判断单元,用于针对每一个所述待跟踪目标框,判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值;
优化单元,用于当所述第二判断单元判断出该待跟踪目标框所对应的重叠度最大值大于所述预定重叠度阈值时,则将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为所述重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器;
第二初始化单元,用于当所述第二判断单元判断出该待跟踪目标框所对应的重叠度最大值小于或等于所述预定重叠度阈值时,则将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
在一些实施例中,所述目标跟踪模块包括还包括:
筛除子模块,用于从全部所述单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成所述当前帧图像的跟踪结果。
在一些实施例中,所述结果确定模块包括:
去重融合子模块,用于将所述当前帧图像的跟踪结果中的目标框与所述当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为所述当前帧图像的最终检测结果。
在一些实施例中,所述去重融合处理具体包括:采用非极大值抑制算法进行去重融合。
第三方面,本公开实施例提供了一种监控安防系统,包括:如上述第二方面中任一实现的目标确定系统。
第四方面,本公开实施例提供了一种服务器,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第五方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开实施例提供的目标确定方法、目标确定系统、监控安防系统、服务器和计算机可读介质,通过获取前一帧图像中需要进行单目标跟踪的目标框时以作为待跟踪目标框,并在当前帧图像中对各待跟踪目标框进行目标跟踪处理,得到当前帧图像的跟踪结果,最后根据当前帧图像的跟踪结果和初步检测结果,确定出当前帧图像的最终检测结果;本公开的技术方案利用目标跟踪技术以对待跟踪对象进行小范围的跟踪,能有效地弥补检测器出现的漏检情况,能有效提升检测结果的精准度。
附图说明
图1为本公开实施例提供的一种目标确定方法的流程图;
图2为本公开实施例中步骤S2的一种具体实现流程图;
图3为本公开实施例中步骤S4的一种具体实现流程图;
图4为本公开实施例中步骤S401的一种具体实现流程图;
图5为本公开实施例提供的一种目标确定系统的结构框图;
图6为本公开实施例中处理模块的一种结构框图;
图7为本公开实施例中目标跟踪模块的一种结构框图;
图8为本公开实施例中获取子模块的一种结构框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的一种目标确定方法、目标确定系统、监控安防系统、服务器和计算机可读介质统进行详细描述。
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
将理解的是,虽然本文可以使用术语第一、第二等来描述各种元件,但这些元件不应当受限于这些术语,这些术语仅用于区分一个对象和另一对象。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
为便于本领域技术人员更好的理解本公开的技术方案,现对相关技术进行描述。本公开的技术方案涉及目标检测技术和目标跟踪技术。
其中,目标检测(Object Detection)是指针对单帧图像信息,依据先验知识、或者显著等特性找到某些感兴趣的目标对象(用目标框来确定,目标框呈矩形,框定出目标对象);在对连续帧图像进行目标检测时,每一帧图像的目标检测都是独立的。
目标跟踪(Object Tracking)是指针对连续帧图像信息,基于先前帧图像中所检测出的目标对象,来对该目标对象在后续帧图像中进行定位(用跟踪框来确定,跟踪框呈矩形,框定出跟踪对象),即后续帧图像的定位结果与先前帧图像的检测结果存在一定关联。其中,单目标跟踪(Single Object Tracking)是指针对先前帧图像中所选定的单个目标,对其在后续帧图像中进行跟踪定位的技术。
在本公开中,目标检测和目标跟踪所确定的目标对象可以是物理世界中的各种目标。作为示例,目标可以是物理世界中的人、物品、动物、植物、建筑、地点等;也可以是具体的人或者动物的身体某部分,例如人脸、动物的头部等。
本公开的技术方案通过目标跟踪技术以对待跟踪对象进行小范围的跟踪,能有效地弥补检测器出现的漏检情况,能有效提升检测结果的精准度。
本公开的技术方案用于对视频中的各帧图像进行目标检测,该视频包括连续的多帧图像,每帧图像可以是通过安防摄像头、智能手机、平板电脑、个人计算机等终端设备获得。
图1为本公开实施例提供的一种目标确定方法的流程图,如图1所示,该目标确定方法用于当前帧图像中确定出其所包含的各目标对象,该目标确定方法包括:
步骤S1、利用预定目标检测器对当前帧图像进行目标检测处理,得到当前帧图像的初步检测结果。
预定目标检测器可以为现有技术中涉及的各种目标检测器。在实际应用中,可根据不同的应用场景选择相匹配、适宜的检测器;作为一个示例,在进行行人检测的场景中,可使用Mobilenet-SSD检测器或Shufflenet-SSD检测器。针对检测器的样本采集以及训练过程,其属于本领域的常规技术,此处不进行详细描述。需要说明的是,本公开的技术方案对所选用的预定目标检测器的具体类型也不作限定。
在步骤S1中,通过预定目标检测器对当前帧图像进行目标检测处理,得到当前帧图像的初步检测结果。此时,初步检测结果存在两种情况:其一,初步检测结果为空;其二,初步检测结果包括至少一个目标框以及各目标框的位置信息Location_det和置信度score_det;其中,位置信息Location_det和置信度score_det均由预定目标检测器输出。目标框的位置信息可用向量表示为:
Location_det=(xmin_det,ymin_det,w_det,h_det)
其中,xmin_det和ymin_det分别表示目标框的左上角的横、纵坐标,w_det和h_det分别表示目标框的宽和高。
步骤S2、根据预先获取到的前一帧图像的初步检测结果与当前帧图像的初步检测结果,检测前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出前一帧图像中存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框。
在步骤S2之前,已预先采用相同的预定目标检测器对前一帧图像进行目标检测处理,得到前一帧图像的初步检测结果。在步骤S2中,可根据前一帧图像的初步检测结果和当前帧图像的初步检测结果,来检测出前一帧图像中是否存在需要进行单目标跟踪的目标框。
需要说明的是,与现有技术中进行单目标跟踪时由人工从前一帧图像中确定待根据目标框的技术手段不同的是,本公开中基于前一帧图像和当前帧图像的初步检测结果的差异,来自动确定出前一帧图像中需要进行单目标跟踪的目标框(即是否需要在当前帧图像中进行目标跟踪处理),以实现“目标检测”与“目标跟踪”的结合。
图2为本公开实施例中步骤S2的一种具体实现流程图,如图2所示,在一些实施例中,步骤S2包括:
步骤S201、判断前一帧图像的初步检测结果和当前帧图像的初步检测结果是否均不为空。
在步骤S201中,当判断出前一帧图像的初步检测结果和当前帧图像的初步检测结果中至少一者为空时,则执行步骤S202;在步骤S201中,当判断出前一帧图像的初步检测结果和当前帧图像的初步检测结果均不为空时,则执行步骤S203。
步骤S202、检测出前一帧图像中不存在需要进行单目标跟踪的目标框。
步骤S203、针对前一帧图像的初步检测结果中每一个目标框,计算该目标框与当前帧图像的初步检测结果中各目标框之间的重叠度。
在通过步骤S201判断出前一帧图像和当前帧图像的初步检测结果均不为空时,则计算前一帧图像的初步检测结果中每一个目标框与当前帧图像的初步检测结果中每一个目标框之间的重叠度(又称为“交并比”,英文全称Intersection Over Union)。
其中,两个目标框之间的重叠度具体等于该两个目标框的交集的面积与该两个目标框的并集的面积之比。
假定,前一帧图像的初步检测结果中包括m个目标框,当前帧图像的初步检测结果中包括n个目标框,此时通过步骤S203可得到一个m×n的重叠度阵列Um×n:
其中,uij表示前一帧图像的初步检测结果中的第i个目标框与当前帧图像的初步检测结果中第j个目标测之间的重叠度。
前一帧图像的初步检测结果中第i个目标框与当前帧图像的初步检测结果中各目标框之间的重叠度,可表示为重叠向量U'i:
U'i=[ui1,ui2,···,uij,···,uin]
此时,重叠度阵列Um×n可表示为:
步骤S204、判断前一帧图像的初步检测结果中是否存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框。
上述预定重叠度范围为(a1,a2),其中,a1和a2满足:a1≥0且a1<a2<1;在一些实施例中,a1取值0。
针对前一帧图像的初步检测结果中的每一个目标框,均执行下述步骤:检测该目标框与当前帧图像的初步检测结果中至少之一的目标框的重叠度是否处于预定重叠度范围内(判断该目标框所对应的重叠向量U'i中是否存在处于预定重叠度范围内的数值);若检测出该目标框与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内(该目标框所对应的重叠向量U'i中存在处于预定重叠度范围内的数值)时,则表明该目标框与当前帧图像的初步检测结果中至少之一的目标框存在重叠且重叠区域面积相对较小,此时可将前一帧图像的初步检测结果中的该目标框进行记录,该目标框后续可用作待跟踪目标框;若检测出该目标框与当前帧图像的初步检测结果中各目标框的重叠度均处于预定重叠度范围外(该目标框所对应的重叠向量U'i中不存在处于预定重叠度范围内的数值)时,则该目标框后续不用作待跟踪目标框。
在步骤S204中,当判断出前一帧图像的初步检测结果中存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出前一帧图像中存在需要进行单目标跟踪的目标框,此后执行步骤S205;当判断出前一帧图像的初步检测结果中不存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,此后执行步骤S206。
步骤S205、检测出前一帧图像中存在需要进行单目标跟踪的目标框,并将前一帧图像的初步检测结果中与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框。
一般而言,相邻的两帧图像中所包含的目标对象相同或者存在较小差异;例如,假定前一帧图像中检测出包含目标对象a和目标对象b,则一般情况下会在当前帧图像中也会检测出目标对象a和目标对象b,且当前帧图像中目标对象a的位置应该位于前一帧图像中检测出目标对象a的位置的附近,当前帧图像中目标对象b的位置应该位于前一帧图像中检测出目标对象b的位置的附近;此时,若在当前帧图像中的目标对象b与目标对象a存在交叠时(假定目标对象b覆盖了目标对象a的部分区域),则基于现有的目标检测器对当前帧图像进行目标检测时,极大可能出现仅检测到目标对象b,而未检测到目标对象a,即出现了漏检。
为克服上述问题,本公开中从前一帧图像的初步检测结果中,选取与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,以作为待跟踪目标框;在后续对当前帧图像进行处理过程中,对待跟踪目标框进行目标跟踪处理,可从当前帧图像中确定出该待跟踪目标框所对应的跟踪框,从而降低漏检风险。
对于在当前帧图像中对待跟踪目标框进行目标跟踪处理的具体过程,可参见后续内容的描述。
步骤S206、检测出前一帧图像中不存在需要进行单目标跟踪的目标框。
在步骤S2中,当检测出前一帧图像中不存在需要进行单目标跟踪的目标框时,则执行步骤S3;当检测出前一帧图像中存在需要进行单目标跟踪的目标框时,则执行步骤S4。
步骤S3、将当前帧图像的初步检测结果作为当前帧图像的最终检测结果。
步骤S4、在当前帧图像中对各待跟踪目标框进行目标跟踪处理,得到当前帧图像的跟踪结果。
在步骤S4中,通过在当前帧图像中对各待跟踪目标框进行目标跟踪处理,可以得到当前帧图像的跟踪结果。
图3为本公开实施例中步骤S4的一种具体实现流程图,如图3所示,在一些实施例中,步骤S4包括:
步骤S401、获取当前帧图像中各待跟踪目标框所对应的单目标跟踪器。
图4为本公开实施例中步骤S401的一种具体实现流程图,如图4所示,在一些实施例中,步骤S401包括:
步骤S4011、判断预先获取到的前一帧图像的跟踪结果是否为空。
为方便描述,将本实施例中的“当前帧图像”记为第t帧图像,将“前一帧图像”记为第t-1帧图像;在以第t-1帧图像作为待处理图像,采用本公开提供的目标确定方法来确定第t-1帧图像的最终检测结果时,可能存在如下三种情况:其一、第t-2帧图像中不存在待跟踪目标框,此时无需在第t-1帧图像中进行目标跟踪处理,即前一帧图像的跟踪结果为空;其二、第t-2帧图像中存在待跟踪目标框,在第t-1帧图像中对第t-2帧图像中的待跟踪框进行目标跟踪时,得到的跟踪结果为空(跟踪结果包括0个跟踪框);其三、第t-2帧图像中存在待跟踪目标框,在第t-1帧图像中对第t-2帧图像中的待跟踪框进行目标跟踪时,得到的跟踪结果不为空(跟踪结果包括至少一个跟踪框)。即,前一帧图像的跟踪结果可能为空或非空。
在步骤S4011中,基于预先获取到的前一帧图像的跟踪结果,判断其是否为空,当判断出前一帧图像的跟踪结果为空时,此后执行步骤S4012;当判断出前一帧图像的结果不为空时,此后执行步骤S4013。
步骤S4012、针对前一帧图像中每一个待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
利用初始样本初始化出对应的单目标跟踪器的过程,属于本领域的常规技术,此处不进行详细描述。
步骤S4013、针对前一帧图像中每一个待跟踪目标框,计算该待跟踪目标框与前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值。
在步骤S4013中,针对前一帧图像中的每一个待跟踪目标框,计算该该待跟踪目标框与前一帧图像的跟踪结果中各跟踪框之间的重叠度;并针对每一个待跟踪目标框,确定出各待跟踪目标框所对应的重叠度最大值。
需要说明的是,为方便描述,将与选定的某个待跟踪目标框构成重叠最大值的跟踪框,记为该待跟踪目标框对应的“重叠最大跟踪框”。
在步骤S4013后,针对每一个待跟踪目标框,均按照下述步骤S4014~步骤S4016进行处理,直至全部待跟踪目标框均完成相应处理后进行步骤S4017。
步骤S4014、判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值。
当判断出该待跟踪目标框所对应的重叠度最大值大于预定重叠度阈值时,表明该待跟踪目标框与其对应的重叠最大跟踪框之间存在一定关联(两者可能框定了同一目标对象),此后则执行步骤S4015;当判断出该待跟踪目标框所对应的重叠度最大值小于或等于预定重叠度阈值时,则执行步骤S4016。
步骤S4015、将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器。
前一帧图像的跟踪结果中的各跟踪框,均是由单目标跟踪器对前一帧图像进行处理得到的结果,即每一个跟踪框均存在对应的一个单目标跟踪器(输出该跟踪框的单目标跟踪器)。
在步骤S4015中,考虑到该待跟踪目标框与其对应的重叠最大跟踪框之间存在一定关联,因此可直接使用该待跟踪目标框作为优化样本,以对其对应的重叠最大跟踪框所对应的单目标跟踪器进行优化处理即可,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器。
需要说明的是,根据选定的优化样本对已有的单目标跟踪器进行优化处理的过程,属于本领域的常规技术,此处不进行详细描述。
步骤S4016、将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
在步骤S4016中,考虑到该待跟踪目标框与其对应的重叠最大跟踪框之间不存在关联,因此需要以该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
需要说明的是,利用初始样本初始化出对应的单目标跟踪器的过程,属于本领域的常规技术,此处不进行详细描述。
步骤S402、利用全部单目标跟踪器对当前帧图像进行目标跟踪处理。
基于前述步骤401所获取到的全部单目标跟踪器,来对当前帧图像进行目标跟踪处理(在当前帧图像中对待跟踪目标框进行小范围的跟踪),可以得到当前帧图像的跟踪结果,此时跟踪结果包括多个跟踪框以及各目标框的位置信息Location_track和置信度score_track;其中,位置信息Location_track和置信度score_track均由预定目标检测器输出。目标框的位置信息可用向量表示为:
Location_track=(xmin_track,ymin_track,w_track,h_track)
其中,xmin_track和ymin_track分别表示跟踪框的左上角的横、纵坐标,w_track和h_track分别表示跟踪框的宽和高。
优选地,在步骤S402之后还包括:
步骤S403、从全部单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成当前帧图像的跟踪结果。
在步骤S403中,从步骤S402所获得的全部跟踪框中筛除置信度小于预定阈值的跟踪框,有利于提升最终检测结果的精准度。经过步骤S403处理后,当前帧图像的跟踪结果可能为空,也可能不为空。
需要说明的是,步骤S4包括上述步骤S401~步骤S403且不再S401包括步骤S4011~步骤S4016的情况,仅为本公开中的一种可选方案,其不会对本公开的技术方案产生限制;在本公开中,还可以采用其他方式来实现在当前帧图像中对各待跟踪目标框进行目标跟踪处理。例如,无论前一帧图像的跟踪结果是否为空,均直接针对前一帧图像中每一个待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器(不会存在对单目标跟踪器进行优化的处理逻辑),然后利用这些初始化出的单目标跟踪器来对当前帧图像进行跟踪处理,从而得到当前帧图像的跟踪结果。
步骤S5、根据当前帧图像的跟踪结果和初步检测结果,确定出当前帧图像的最终检测结果。
在一些实施例中,将当前帧图像的跟踪结果中的目标框与当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为当前帧图像的最终检测结果。
可选地,采用非极大值抑制算法来对当前帧图像的跟踪结果和初步检测结果进行去重融合。大致过程如下:首先,将当前帧图像的跟踪结果所包含的所有跟踪框和初步检测结果所包含的所有目标框取并集(即融合的过程),得到一个待处理框集合,待处理框集合中的跟踪框/目标框统称为待处理框;接着,从待处理框集合中,选取置信度最大的一个待处理框,作为当前最高分框并进行标记,并计算该当前最高分框与其他待处理框之间的重叠度;再接着,从待处理框集合中剔除与当前最高分框之间的重叠度大于一定阈值的待处理框(即去重的过程);接下来,从待处理框集合中未被标记的待处理框中选取置信度最大的一个,作为当前最高分框并进行标记,并计算该当前最高分框与其他未被标记的待处理框之间的重叠度;再接着,从待处理框集合中剔除与当前最高分框之间的重叠度大于一定阈值的未被标记的待处理框……以此循环,不断标记选取新的当前最高分框并进行标记,然后基于重叠度进行筛选,直至待处理框集合中的所有待处理框均被标记,此时得到的待处理框集合即为当前帧图像的最终检测结果。
需要说明的是,上述采用非极大值抑制算法来对当前帧图像的跟踪结果和初步检测结果进行去重融合的情况,其仅为本公开中的一种优选方案,可以有效防止单目标跟踪器的过拟合。本公开中还可以基于其他算法来实现根据跟踪结果和初步检测结果确定出当前帧图像的最终检测结果,例如直接将跟踪结果和初步检测结果求并集,从而得到最终检测结果。对于其他情况,此处不再一一举例说明。
本领域技术人员应该知晓的是,但凡基于当前帧图像的跟踪结果和初步检测结果,采用一定算法,以得到当前帧图像的最终检测结果的技术方案,均属于本公开的保护范围。
本公开的技术方案通过目标跟踪技术以对待跟踪对象进行小范围的跟踪,能有效地弥补检测器出现的漏检情况,能有效提升检测结果的精准度。
图5为本公开实施例提供的一种目标确定系统的结构框图,如图5所示,该目标确定系统可用于实现前述实施例提供的目标确定方法,该目标确定系统包括:目标检测模块1、处理模块2、目标跟踪模块3和结果确定模块4。
其中,目标检测模块1用于利用预定目标检测器对当前帧图像进行目标检测处理,得到当前帧图像的初步检测结果。
处理模块2用于根据预先获取到的前一帧图像的初步检测结果与当前帧图像的初步检测结果,检测前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框。
目标跟踪模块3用于在当前帧图像中对各待跟踪目标框进行目标跟踪处理,得到当前帧图像的跟踪结果。
结果确定模块4用于根据当前帧图像的跟踪结果和初步检测结果,确定出当前帧图像的最终检测结果;以及用于当处理模块2检测出前一帧图像中不存在需要进行单目标跟踪的目标框时,将当前帧图像的初步检测结果作为当前帧图像的最终检测结果。
图6为本公开实施例中处理模块的一种结构框图,如图6所示,在一些实施例中,处理模块2包括:第一判断子模块201、第一检测子模块202、计算子模块203、第二判断子模块204、第二检测子模块205和第三检测子模块206。
其中,第一判断子模块201用于判断前一帧图像的初步检测结果和当前帧图像的初步检测结果是否均不为空。
第一检测子模块202用于当第一判断子模块201判断出前一帧图像的初步检测结果和当前帧图像的初步检测结果中至少一者为空时,则检测出前一帧图像中不存在需要进行单目标跟踪的目标框。
计算子模块203用于当第一判断子模块判断出前一帧图像的初步检测结果和当前帧图像的初步检测结果均不为空时,则针对前一帧图像的初步检测结果中每一个目标框,计算该目标框与当前帧图像的初步检测结果中各目标框之间的重叠度。
第二判断子模块204用于判断前一帧图像的初步检测结果中是否存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框;其中,预定重叠度范围为(a1,a2),a1≥0且a1<a2<1。
第二检测子模块205用于当第二判断子模块判断出前一帧图像的初步检测结果中存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出前一帧图像中存在需要进行单目标跟踪的目标框,并将前一帧图像的初步检测结果中与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框。
第三检测子模块206用于当第二判断子模块判断出前一帧图像的初步检测结果中不存在与当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出前一帧图像中不存在需要进行单目标跟踪的目标框。
图7为本公开实施例中目标跟踪模块的一种结构框图,如图7所示,在一些实施例中,目标跟踪模块3包括:获取子模块301和处理子模块302。
其中,获取子模块301用于获取当前帧图像中各待跟踪目标框所对应的单目标跟踪器。
处理子模块302用于利用全部单目标跟踪器对当前帧图像进行目标跟踪处理。
图8为本公开实施例中获取子模块的一种结构框图,如图8所示,在一些实施例中,获取子模块301包括:第一判断单元3011、第一初始化单元3012、计算单元3013、第二判断单元3014、优化单元3015和第二初始化单元3016。
其中,第一判断单元3011用于判断预先获取到的前一帧图像的跟踪结果是否为空。
第一初始化单元3012用于当第一判断单元3011判断出预先获取到的前一帧图像的跟踪结果为空时,则针对前一帧图像中每一个待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
计算单元3013用于当第一判断单元3011判断出预先获取到的前一帧图像的跟踪结果不为空时,则针对每一个待跟踪目标框,计算该待跟踪目标框与前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值。
第二判断单元3014用于针对每一个待跟踪目标框,判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值。
优化单元3015用于当第二判断单元3014判断出该待跟踪目标框所对应的重叠度最大值大于预定重叠度阈值时,则将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器。
第二初始化单元3016用于当第二判断单元3014判断出该待跟踪目标框所对应的重叠度最大值小于或等于预定重叠度阈值时,则将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
继续参见图7所示,目标跟踪模块3还包括:筛除子模块303;筛除子模块303用于从全部单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成当前帧图像的跟踪结果。
在一些实施例中,结果确定模块4包括:去重融合子模块,用于将当前帧图像的跟踪结果中的目标框与当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为当前帧图像的最终检测结果。进一步可选地,去重融合处理具体包括:采用非极大值抑制算法进行去重融合。
需要说明的是,对于上述各模块、子模块和单元的具体描述,可参见前述实施例中对各步骤进行描述的内容,此处不再赘述。
本公开实施例还提供了一种监控安防系统,该监控安防系统包括前述实施例提供的目标确定系统,对于该目标确定系统的具体描述可参见前述内容,此处不再赘述。
本公开实施例还提供了一种服务器,该服务器包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述实施例所提供的目标确定方法。
本公开实施例还提供了一计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述实施例所提供的目标确定方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本公开的范围的情况下,可进行各种形式和细节上的改变。
Claims (17)
1.一种目标确定方法,其中,包括:
利用预定目标检测器对当前帧图像进行目标检测处理,得到所述当前帧图像的初步检测结果;
根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框;
在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理,得到所述当前帧图像的跟踪结果;
根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果。
2.根据权利要求1所述的方法,其中,所述根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框的步骤包括:
判断所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果是否均不为空;
当判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果中至少一者为空时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框;
当判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果均不为空时,则针对所述前一帧图像的初步检测结果中每一个目标框,计算该目标框与所述当前帧图像的初步检测结果中各目标框之间的重叠度;
判断所述前一帧图像的初步检测结果中是否存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框;其中,所述预定重叠度范围为(a1,a2),a1≥0且a1<a2<1;
当判断出所述前一帧图像的初步检测结果中存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中存在需要进行单目标跟踪的目标框,并将所述前一帧图像的初步检测结果中与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框;
当判断出所述前一帧图像的初步检测结果中不存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框。
3.根据权利要求1所述的方法,其中,所述在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理的步骤包括:
获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器;
利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理。
4.根据权利要求3所述的方法,其中,所述获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器的步骤包括:
判断预先获取到的所述前一帧图像的跟踪结果是否为空;
当判断出预先获取到的所述前一帧图像的跟踪结果为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器;
当判断出预先获取到的所述前一帧图像的跟踪结果不为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,计算该待跟踪目标框与所述前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值;
针对每一个所述待跟踪目标框,判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值;
当判断出该待跟踪目标框所对应的重叠度最大值大于所述预定重叠度阈值时,则将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为所述重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器;
当判断出该待跟踪目标框所对应的重叠度最大值小于或等于所述预定重叠度阈值时,则将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
5.根据权利要求3所述的方法,其中,所述利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理的步骤之后,还包括:
从全部所述单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成所述当前帧图像的跟踪结果。
6.根据权利要求1所述的方法,其中,所述根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果的步骤包括:
将所述当前帧图像的跟踪结果中的目标框与所述当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为所述当前帧图像的最终检测结果。
7.根据权利要求1所述的方法,其中,所述去重融合处理具体包括:采用非极大值抑制算法进行去重融合。
8.一种目标确定系统,其中,包括:
目标检测模块,用于利用预定目标检测器对当前帧图像进行目标检测处理,得到所述当前帧图像的初步检测结果;
处理模块,根据预先获取到的前一帧图像的初步检测结果与所述当前帧图像的初步检测结果,检测所述前一帧图像中是否存在需要进行单目标跟踪的目标框,并在检测出存在需要进行单目标跟踪的目标框时,将需要进行单目标跟踪的目标框作为待跟踪目标框;
目标跟踪模块,用于在所述当前帧图像中对各所述待跟踪目标框进行目标跟踪处理,得到所述当前帧图像的跟踪结果;
结果确定模块,用于根据所述当前帧图像的跟踪结果和初步检测结果,确定出所述当前帧图像的最终检测结果。
9.根据权利要求8所述的系统,其中,所述处理模块包括:
第一判断子模块,用于判断所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果是否均不为空;
第一检测子模块,用于当所述第一判断子模块判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果中至少一者为空时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框;
计算子模块,用于当所述第一判断子模块判断出所述前一帧图像的初步检测结果和所述当前帧图像的初步检测结果均不为空时,则针对所述前一帧图像的初步检测结果中每一个目标框,计算该目标框与所述当前帧图像的初步检测结果中各目标框之间的重叠度;
第二判断子模块,用于判断所述前一帧图像的初步检测结果中是否存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框;其中,所述预定重叠度范围为(a1,a2),a1≥0且a1<a2<1;
第二检测子模块,用于当所述第二判断子模块判断出所述前一帧图像的初步检测结果中存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中存在需要进行单目标跟踪的目标框,并将所述前一帧图像的初步检测结果中与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框,作为待跟踪目标框;
第三检测子模块,用于当所述第二判断子模块判断出所述前一帧图像的初步检测结果中不存在与所述当前帧图像的初步检测结果中至少之一的目标框的重叠度处于预定重叠度范围内的目标框时,则检测出所述前一帧图像中不存在需要进行单目标跟踪的目标框。
10.根据权利要求8所述的系统,其中,所述目标跟踪模块包括:
获取子模块,用于获取所述当前帧图像中各所述待跟踪目标框所对应的单目标跟踪器;
处理子模块,用于利用全部所述单目标跟踪器对所述当前帧图像进行目标跟踪处理。
11.根据权利要求10所述的系统,其中,所述获取子模块包括:
第一判断单元,用于判断预先获取到的所述前一帧图像的跟踪结果是否为空;
第一初始化单元,用于当所述第一判断单元判断出预先获取到的所述前一帧图像的跟踪结果为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器;
计算单元,用于当所述第一判断单元判断出预先获取到的所述前一帧图像的跟踪结果不为空时,则针对所述前一帧图像中每一个所述待跟踪目标框,计算该待跟踪目标框与所述前一帧图像的跟踪结果中各跟踪框之间的重叠度,并确定出该待跟踪目标框所对应的重叠度最大值;
第二判断单元,用于针对每一个所述待跟踪目标框,判断该待跟踪目标框所对应的重叠度最大值是否大于预定重叠度阈值;
优化单元,用于当所述第二判断单元判断出该待跟踪目标框所对应的重叠度最大值大于所述预定重叠度阈值时,则将该待跟踪目标框作为优化样本,对与该待跟踪目标框之间的重叠度为所述重叠度最大值的跟踪框所对应的单目标跟踪器进行优化处理,优化处理后得到的单目标跟踪器作为该待跟踪目标框对应的单目标跟踪器;
第二初始化单元,用于当所述第二判断单元判断出该待跟踪目标框所对应的重叠度最大值小于或等于所述预定重叠度阈值时,则将该待跟踪目标框作为初始样本,初始化出该待跟踪目标框所对应的单目标跟踪器。
12.根据权利要求10所述的系统,其中,所述目标跟踪模块包括还包括:
筛除子模块,用于从全部所述单目标跟踪器所输出的跟踪框中,筛除置信度小于预定阈值的跟踪框,剩余的跟踪框构成所述当前帧图像的跟踪结果。
13.根据权利要求8所述的系统,其中,所述结果确定模块包括:
去重融合子模块,用于将所述当前帧图像的跟踪结果中的目标框与所述当前帧图像的初步检测结果中的跟踪框进行去重融合处理,去重融合结果作为所述当前帧图像的最终检测结果。
14.根据权利要求8所述的系统,其中,所述去重融合处理具体包括:采用非极大值抑制算法进行去重融合。
15.一种监控安防系统,其中,包括:如上述权利要求8-14中任一所述的目标确定系统。
16.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
17.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910725468.XA CN110428442B (zh) | 2019-08-07 | 2019-08-07 | 目标确定方法、目标确定系统和监控安防系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910725468.XA CN110428442B (zh) | 2019-08-07 | 2019-08-07 | 目标确定方法、目标确定系统和监控安防系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428442A true CN110428442A (zh) | 2019-11-08 |
CN110428442B CN110428442B (zh) | 2022-04-12 |
Family
ID=68414548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910725468.XA Active CN110428442B (zh) | 2019-08-07 | 2019-08-07 | 目标确定方法、目标确定系统和监控安防系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428442B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110955243A (zh) * | 2019-11-28 | 2020-04-03 | 新石器慧通(北京)科技有限公司 | 行进控制方法、装置、设备、可读存储介质和移动装置 |
CN111369590A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 多目标跟踪方法、装置、存储介质及电子设备 |
CN111401255A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于识别分歧路口的方法和装置 |
CN111899275A (zh) * | 2020-08-12 | 2020-11-06 | 中国科学院长春光学精密机械与物理研究所 | 一种目标检测跟踪方法、装置及存储介质 |
CN112037256A (zh) * | 2020-08-17 | 2020-12-04 | 中电科新型智慧城市研究院有限公司 | 目标跟踪方法、装置、终端设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018058595A1 (zh) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | 目标检测方法、装置以及计算机系统 |
CN107992790A (zh) * | 2017-10-13 | 2018-05-04 | 西安天和防务技术股份有限公司 | 目标长时跟踪方法及系统、存储介质及电子终端 |
CN109214238A (zh) * | 2017-06-30 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 多目标跟踪方法、装置、设备及存储介质 |
CN109410243A (zh) * | 2018-10-16 | 2019-03-01 | 中电科新型智慧城市研究院有限公司 | 基于区域交叠与模板匹配的多目标跟踪方法 |
-
2019
- 2019-08-07 CN CN201910725468.XA patent/CN110428442B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018058595A1 (zh) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | 目标检测方法、装置以及计算机系统 |
CN109214238A (zh) * | 2017-06-30 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 多目标跟踪方法、装置、设备及存储介质 |
CN107992790A (zh) * | 2017-10-13 | 2018-05-04 | 西安天和防务技术股份有限公司 | 目标长时跟踪方法及系统、存储介质及电子终端 |
CN109410243A (zh) * | 2018-10-16 | 2019-03-01 | 中电科新型智慧城市研究院有限公司 | 基于区域交叠与模板匹配的多目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
NICHOLAS SARAH: "Integration of Small- and Wide-Field Visual Features in Target-Selective Descending Neurons of both Predatory and Nonpredatory Dipterans", 《THE JOURNAL OF NEUROSCIENCE : THE OFFICIAL JOURNAL OF THE SOCIETY FOR NEUROSCIENCE 》 * |
刘李漫 等: "基于目标序列分析的智能监控多目标自动检测跟踪", 《中南民族大学学报(自然科学版)》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110955243A (zh) * | 2019-11-28 | 2020-04-03 | 新石器慧通(北京)科技有限公司 | 行进控制方法、装置、设备、可读存储介质和移动装置 |
CN110955243B (zh) * | 2019-11-28 | 2023-10-20 | 新石器慧通(北京)科技有限公司 | 行进控制方法、装置、设备、可读存储介质和移动装置 |
CN111369590A (zh) * | 2020-02-27 | 2020-07-03 | 北京三快在线科技有限公司 | 多目标跟踪方法、装置、存储介质及电子设备 |
CN111401255A (zh) * | 2020-03-17 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于识别分歧路口的方法和装置 |
CN111401255B (zh) * | 2020-03-17 | 2023-05-12 | 阿波罗智联(北京)科技有限公司 | 用于识别分歧路口的方法和装置 |
CN111899275A (zh) * | 2020-08-12 | 2020-11-06 | 中国科学院长春光学精密机械与物理研究所 | 一种目标检测跟踪方法、装置及存储介质 |
CN112037256A (zh) * | 2020-08-17 | 2020-12-04 | 中电科新型智慧城市研究院有限公司 | 目标跟踪方法、装置、终端设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110428442B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428442A (zh) | 目标确定方法、目标确定系统和监控安防系统 | |
US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
CN110427905A (zh) | 行人跟踪方法、装置以及终端 | |
CN109253722B (zh) | 融合语义分割的单目测距系统、方法、设备及存储介质 | |
CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
CN104301630B (zh) | 一种视频图像拼接方法及装置 | |
Han et al. | Aerial image change detection using dual regions of interest networks | |
CN105893957B (zh) | 基于视觉湖面船只检测识别与跟踪方法 | |
CN109727275A (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN106558069A (zh) | 一种基于视频监控下的目标跟踪方法及系统 | |
CN106504274A (zh) | 一种基于红外摄像头下的视觉跟踪方法及系统 | |
US20140133753A1 (en) | Spectral scene simplification through background subtraction | |
Yildirim et al. | Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4 | |
CN115482523A (zh) | 轻量级多尺度注意力机制的小物体目标检测方法及系统 | |
CN109635649A (zh) | 一种无人机侦察目标的高速检测方法及系统 | |
CN111739088B (zh) | 基于视觉标签的定位方法及设备 | |
US20200394802A1 (en) | Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool | |
Zhang et al. | Multisensor fusion‐based maritime ship object detection method for autonomous surface vehicles | |
CN112150508A (zh) | 一种目标追踪方法、装置及相关设备 | |
CN110969138A (zh) | 人体姿态估计方法及设备 | |
CN110765815B (zh) | 展示架遮挡检测方法和装置 | |
CN116343078A (zh) | 基于视频sar的目标跟踪方法、系统及设备 | |
Embarak et al. | Intelligent image detection system based on internet of things and cloud computing | |
CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
Zhu et al. | BY-SLAM: Dynamic Visual SLAM System Based on BEBLID and Semantic Information Extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |