CN109903281B - 一种基于多尺度的目标检测方法及装置 - Google Patents
一种基于多尺度的目标检测方法及装置 Download PDFInfo
- Publication number
- CN109903281B CN109903281B CN201910149838.XA CN201910149838A CN109903281B CN 109903281 B CN109903281 B CN 109903281B CN 201910149838 A CN201910149838 A CN 201910149838A CN 109903281 B CN109903281 B CN 109903281B
- Authority
- CN
- China
- Prior art keywords
- scale
- target
- key
- key frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于多尺度的目标检测方法、装置及系统,在对连续的视频帧进行目标检测时,本发明考虑了视频之间的连续性,将连续的视频帧划分为关键帧和非关键帧,对于关键帧建立稠密的尺度金字塔,对于非关键帧预测各个尺度,进而无需再通过尺度金字塔对尺度进行检验,从而避免了尺度金字塔多次进行循环,进而降低了I/O开销、提高了检测效率和实时性。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种基于多尺度的目标检测方法及装置。
背景技术
目标检测的目的是将某既定目标从场景中分割和识别出来,是一种基于目标几何和统计特征的图像分割,该技术是图像处理过程中的关键步骤,在图像处理领域具有至关重要的作用。
现有技术中包含很多目标检测方法,其中Cascade-RCNN为目前主流的目标检测技术,该技术通过建立尺度金字塔对图像视频帧进行目标检测,但是由于尺度金字塔循环次数多导致I/O开销大、检测效率低,实时性水平差等问题,因此亟待需要一种方法能够解决上述的难题。
发明内容
有鉴于此,本发明实施例公开了一种基于多尺度的目标检测方法、装置及系统,解决了现有技术中由于尺度金字塔的循环次数多导致I/O开销大和检测效率低的问题。
本发明实施例公开了一种基于多尺度的目标检测方法,包括:
将连续的视频帧划分为关键帧和非关键帧;
针对于任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
可选的,将连续的视频帧划分为关键帧和非关键帧,包括:
对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧时间的视频帧为非关键帧。
可选的,还包括:
获取目标检测系统的整体负载;所述目标检测系统用于执行所述基于多尺度的目标检测方法;
根据目标检测系统的整体负载,设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。
可选的,所述针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测,包括:
获取当前处理的非关键帧的前一视频帧中任意一个尺度;
分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。
可选的,还包括:
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个目标尺度进行合并。
本发明实施例还公开了一种基于多尺度的目标检测装置,包括:
划分单元,用于将连续的视频帧划分为关键帧和非关键帧;
关键帧目标检测单元,用于针对任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
非关键帧目标检测单元,用于针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
可选的,所述划分单元,包括:
第一划分子单元,用于对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
第二划分子单元,用于对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧时间的视频帧为非关键帧。
可选的,所述非关键帧目标检测单元,包括:
获取子单元,用于获取当前处理的非关键帧的前一视频帧中任意一个尺度;
目标尺度集计算子单元,用于分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
尺度包围金字塔建立子单元,用于依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。
可选的,还包括:
目标尺度合并单元,用于
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个尺度进行合并。
本发明实施例还公开了一种基于多尺度的目标检测系统,所述系统包括:前端目标检测器和后端目标检测器;
所述前端目标检测器,用于执行权利要求1所述的方法;
所述后端目标检测器,用于根据前端目标检测器的检测结果执行目标检测。
本发明实施例公开了一种基于多尺度的目标检测方法、装置及系统,包括:将连续的视频帧划分为关键帧和非关键帧;针对于任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。由此可知,本发明考虑了视频之间的连续性,将连续的视频帧划分为关键帧和非关键帧,对于关键帧建立稠密的尺度金字塔,对于非关键帧预测各个尺度,进而无需再通过尺度金字塔对尺度进行检验,从而避免了尺度金字塔多次进行循环,进而降低了I/O开销、提高了检测效率和实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种基于多尺度的目标检测方法的流程示意图;
图2,示出了本发明实施例公开的一种基于多尺度的目标检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,示出了本发明实施例提供的一种基于多尺度的目标检测方法的流程示意图,在本实施例中,该方法包括:
S101:将连续的视频帧划分为关键帧和非关键帧;
本实施例中,可以通过如下的两种方式对连续的视频帧进行划分:
方式一:对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
方式二:对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧时间的视频帧为非关键帧。
其中,划分关键帧和非关键帧的预定的视频帧的数量和预定的时间是可以调整的,依据目标检测系统的整体负载程度对其进行调整。具体的,包括:
获取目标检测系统的整体负载;所述目标检测系统用于执行所述基于多尺度的目标检测方法;
根据目标检测系统的整体负载,设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。
举例说明:在负载较高时,可以间隔较多视频帧,或者间隔较长的时间标记一个关键帧;若是对精度要求较高,可以间隔较少的视频帧,或者间隔较短的时间长度标记一个关键帧。
举例说明:假设该目标检测系统为级联式的系统,其中,该系统包括前端检测器和后端检测器,例如为Cascade-RCNN系统,该系统在执行时,负载很高,这样降低了运算效率,因此,通过本实施例,可以依据该系统的负载将连续的视频帧划分为关键帧和非关键帧。然后对关键帧和非关键帧进行不同方式的目标检测,具体的,对于关键帧和非关键的目标检测方法会在下文中进行详细的介绍,本实施例中不再赘述。
本实施例中,在对连续的视频帧进行目标检测时,可以依据上述的划分规则,对当前要进行目标检测的视频帧进行判定,确定当前的视频帧是关键帧还是非关键帧,具体的,S101包括如下的两种判定方式,具体的包括:
实施方式一:
计算当前视频帧与上一关键帧间隔的视频帧的数量;
判断当前视频帧与上一关键帧间隔的视频帧的数量是否为预设的第一阈值的整数倍;
若当前视频帧与上一关键帧间隔的视频帧的数量不是预设的第一阈值的整数倍,则当前视频帧为非关键帧;
若当前视频帧与上一关键帧间隔的视频帧的数量是预设的第一阈值的整数倍,则当前视频帧为关键帧。
实施方式二:
计算当前视频帧与上一关键帧间隔的时间长度;
判断间隔的时间长度是否为预设的第二阈值的整数倍;
若所述间隔的时间长度是预设的第二阈值的整数倍,则当前视频帧为非关键帧;
若所述间隔的时间长度不是预设的第二阈值的整数倍,则当前视频帧为非关键帧。
S102:针对于任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
本实施例中,对于关键帧,建立完整稠密的尺度金字塔,即按照传统的方式确定关键帧的多个尺度,并得到关键帧的多个尺度图像。
S103:针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
本实施例中,历史视频帧为当前处理的非关键帧之前的一个或者多个视频帧。
其中,在历史视频帧为当前处理的非关键帧之前的一个关键帧时,S103包括:
获取当前处理的非关键帧的前一视频帧中任意一个尺度;
分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
依据所有的目标尺度集建立当前处理的非关键帧的尺度金子塔。
本实施例中,非关键针的前一视频帧应用了多个尺度对图像进行目标检测,前一视频帧中的每一个尺度和预设的尺度估计因子因此可以预测一个当前处理的非关键帧的目标尺度集。
举例说明:假设前一视频帧中用到的一个尺度为s(x,h),其中,尺度s(x,h)表示图像降采样后的宽和高,假设尺度估计因子为:ts,ks,可以通过如下的公式1)计算目标尺度集:
1)Ssur={(w×ts n,h×ts n)}∪{s(w,h)}∪{s(w×ts -m,h×ts -m)};
其中,m,n∈(0,ks);
其中,ts体现了目标尺度集的估计精度,ts的取值越大,表示目标尺度集的估计精度越高,但是实时性稍差;反之,ts的取值越小,表示目标尺度集的估计的实时性较高,但是精度稍差。技术人员通过大量的实验研究,ts优选的可以为0.7至0.8;ks决定了尺度金字塔的层数,ks越大表示层数越多,召回率越高,但是运算复杂度较高;反之,ks越小,表示层数越少,召回率越低,但是运算的复杂度较低。技术人员通过大量的实验研究,优选的,ks可以选取2或3。
其中,对于预测的目标尺度集,该目标尺度集中的任意一个灰度需满足宽度和高度均大于感受野宽度或者高度。
由此可知,前一视频帧中的每个尺度都会估计一个目标尺度集,依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金字塔。举例说明:假设当前处理的视频帧的前一视频帧的尺度si,sj,…,sk,通过如下的公式2体现尺度包围金字塔:
2)Ssur,i∪Ssur,j∪…∪Ssur,k;
其中,Ssur,i为通过si计算得到的目标尺度集,Ssur,j为通过sj计算得到的目标尺度集,Ssur,k是通过sk计算得到的目标尺度集。
除此之外,历史视频帧还可以是位于当前处理的视频帧之前的多个视频帧,该过程包括:
获取选取的多个历史视频帧的尺度;
对多个历史视频帧的尺度进行分析,确定出用于估计当前处理的非关键帧的尺度;
依据选取出的每个尺度和预设的尺度估计因子,计算目标尺度集。
其中,对于多个尺度的分析可以依据连续的视频帧的关联性,选取出更加合理的尺度,用于估计当前处理的非关键帧的尺度。
需要说明的是,若采用深度学习网络对目标进行检测时,计算出的目标尺度集中的各个尺度满足宽度和高度大于感受野宽度和高度。
感受野是深度学习网路视觉感受区域的大小,通常不同尺寸的待检测图像通过多尺度缩放总有一个或者多个尺度恰好满足目标检测器对应感受野的灵敏度。
本实施例中,对于依据历史视频帧的尺度估计的非关键帧的尺度集,可以出现尺度冗余的问题,为了解决该问题,可以对估计出的所有目标尺度集中的各个尺度进行合并。
具体的,还包括:
针对于任意一个非关键帧,遍历尺度金字塔的所有尺度,计算每两个尺度的距离;
将小于预设阈值的距离对应的两个尺度进行合并。
本实施例中,对于每两个尺度的距离的计算方法为:每两个尺度的面积之差的绝对值。
具体的,将两个尺度进行合并的方式可以包括多种实现方式,本实施例中不进行限定,例如可以包括如下的几种实施方式:
实施方式一:随机选取两个尺度中任意一个尺度;
实施方式二:计算两个尺度的宽的平均值和高的平均值;
实施方式三:根据两个尺度的权重,将两个尺度进行合并。
举例说明;假设两个尺度分别为s(60,80),s(70,80),若采用实施方式一,例如可以随机选取其中任意一个;若选用实施方式二,合并后的尺度为s(65,80);若选用实施方式三,假设s(60,80)的权重为0.4,s(70,80)的权重为0.5,则合并后的尺寸为s(66,80)。
本实施例中,在对连续的视频帧进行目标检测时,考虑了视频之间的连续性,将连续的视频帧划分为关键帧和非关键帧,对于关键帧建立稠密的尺度金字塔,对于非关键帧预测各个尺度,进而无需再通过尺度金字塔对尺度进行检验,从而避免了尺度金字塔多次进行循环,进而降低了I/O开销、提高了检测效率和实时性。
参考图2,示出了本发明实施例公开的一种基于多尺度的目标检测装置的结构示意图,在本实施例中,该装置包括:
划分单元201,用于将连续的视频帧划分为关键帧和非关键帧;
关键帧目标检测单元202,用于针对任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
非关键帧目标检测单元203,用于针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
可选的,所述划分单元,包括:
第一划分子单元,用于对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
第二划分子单元,用于对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧时间的视频帧为非关键帧。
可选的,所述非关键帧目标检测单元,包括:
获取子单元,用于获取当前处理的非关键帧的前一视频帧中任意一个尺度;
目标尺度集计算子单元,用于分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
尺度包围金字塔建立子单元,用于依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。
可选的,还包括:
目标尺度合并单元,用于
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个尺度进行合并。
通过本实施例的装置,在对连续的视频帧进行目标检测时,本发明考虑了视频之间的连续性,将连续的视频帧划分为关键帧和非关键帧,对于关键帧建立稠密的尺度金字塔,对于非关键帧预测各个尺度,进而无需再通过尺度金字塔对尺度进行检验,从而避免了尺度金字塔多次进行循环,进而降低了I/O开销、提高了检测效率和实时性。
本发明实施例还公开了一种基于多尺度的目标检测系统,所述系统包括:前端目标检测器和后端目标检测器;
所述前端目标检测器,用于执行如下的目标检测方法:
将连续的视频帧划分为关键帧和非关键帧;
针对于任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测。
可选的,将连续的视频帧划分为关键帧和非关键帧,包括:
对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧时间的视频帧为非关键帧。
可选的,还包括:
获取目标检测系统的整体负载;所述目标检测系统用于执行所述基于多尺度的目标检测方法;
根据目标检测系统的整体负载,设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。
可选的,所述针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测,包括:
获取当前处理的非关键帧的前一视频帧中任意一个尺度;
分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金子塔。
可选的,还包括:
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个目标尺度进行合并。
所述后端目标检测器,用于根据前端目标检测器的检测结果执行目标检测。
由此可知,该级联系统的前端系统通过应用上述方法,无需再通过尺度金字塔对尺度进行检验,从而避免了尺度金字塔多次进行循环,进而降低了I/O开销、提高了检测效率和实时性。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于多尺度的目标检测方法,其特征在于,包括:
将连续的视频帧划分为关键帧和非关键帧;
针对于任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
所述针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测,包括:
获取当前处理的非关键帧的前一视频帧中任意一个尺度;
分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金字塔;
其中,前一视频帧中用到的一个尺度为s(w,h),其中,尺度s(w,h)表示图像降采样后的宽和高,假设尺度估计因子为:ts,ks,通过如下的公式1)计算目标尺度集:
1)Ssur={(w×ts n,h×ts n)}∪{s(w,h)}∪{s(w×ts -m,h×ts -m)};
其中,m,n∈(0,ks);
其中,ts体现了目标尺度集的估计精度,ts的取值越大,表示目标尺度集的估计精度越高;ts的取值越小,表示目标尺度集的估计的实时性较高;ks决定了尺度金字塔的层数,ks越大表示层数越多,召回率越高,ks越小,表示层数越少,召回率越低;其中,对于预测的目标尺度集,该目标尺度集中的任意一个灰度需满足宽度和高度均大于感受野宽度或者高度;
其中,当前处理的视频帧的前一视频帧的尺度si,sj,…,sk,通过如下的公式2)体现尺度包围金字塔:
2)Ssur,i∪Ssur,j∪…∪Ssur,k;
其中,Ssur,i为通过si计算得到的目标尺度集,Ssur,j为通过sj计算得到的目标尺度集,Ssur,k是通过sk计算得到的目标尺度集。
2.根据权利要求1所述的方法,其特征在于,将连续的视频帧划分为关键帧和非关键帧,包括:
对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧之间的视频帧为非关键帧。
3.根据权利要求2所述的方法,其特征在于,还包括:
获取目标检测系统的整体负载;所述目标检测系统用于执行所述基于多尺度的目标检测方法;
根据目标检测系统的整体负载,设置用于划分关键帧和非关键帧的所述预定的视频帧的数量或者所述预定的时间长度。
4.根据权利要求1所述的方法,其特征在于,还包括:
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个目标尺度进行合并。
5.一种基于多尺度的目标检测装置,其特征在于,包括:
划分单元,用于将连续的视频帧划分为关键帧和非关键帧;
关键帧目标检测单元,用于针对任意一个关键帧,建立关键帧的尺度金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
非关键帧目标检测单元,用于针对任意一个非关键帧,获取历史视频帧的各个历史尺度,依据历史视频帧的各个历史尺度预测非关键帧的目标尺度,依据各个目标尺度建立非关键帧的尺度包围金字塔,得到多个尺度图像,并对每个尺度图像进行目标检测;
所述非关键帧目标检测单元,包括:
获取子单元,用于获取当前处理的非关键帧的前一视频帧中任意一个尺度;
目标尺度集计算子单元,用于分别依据所述前一视频帧中每一个尺度和预设的尺度估计因子,计算当前处理的非关键帧的目标尺度集;
尺度包围金字塔建立子单元,用于依据所有的目标尺度集建立当前处理的非关键帧的尺度包围金字塔;
其中,前一视频帧中用到的一个尺度为s(w,h),其中,尺度s(w,h)表示图像降采样后的宽和高,假设尺度估计因子为:ts,ks,通过如下的公式1)计算目标尺度集:
1)Ssur={(w×ts n,h×ts n)}∪{s(w,h)}∪{s(w×ts -m,h×ts -m)};
其中,m,n∈(0,ks);
其中,ts体现了目标尺度集的估计精度,ts的取值越大,表示目标尺度集的估计精度越高;ts的取值越小,表示目标尺度集的估计的实时性较高;ks决定了尺度金字塔的层数,ks越大表示层数越多,召回率越高,ks越小,表示层数越少,召回率越低;其中,对于预测的目标尺度集,该目标尺度集中的任意一个灰度需满足宽度和高度均大于感受野宽度或者高度;
其中,当前处理的视频帧的前一视频帧的尺度si,sj,…,sk,通过如下的公式2)体现尺度包围金字塔:
2)Ssur,i∪Ssur,j∪…∪Ssur,k;
其中,Ssur,i为通过si计算得到的目标尺度集,Ssur,j为通过sj计算得到的目标尺度集,Ssur,k是通过sk计算得到的目标尺度集。
6.根据权利要求5所述的装置,其特征在于,所述划分单元,包括:
第一划分子单元,用于对于连续的视频帧,每间隔预定的视频帧的数量标记一个关键帧,两个关键帧之间的视频帧为非关键帧;
或者
第二划分子单元,用于对于连续的视频帧,每间隔预定的时间长度标记一个关键帧,两个关键帧之间的视频帧为非关键帧。
7.根据权利要求5所述的装置,其特征在于,还包括:
目标尺度合并单元,用于
针对于任意一个非关键帧,遍历尺度金字塔的所有目标尺度,计算每两个目标尺度的距离;
将小于预设阈值的距离对应的两个尺度进行合并。
8.一种基于多尺度的目标检测系统,其特征在于,所述系统包括:前端目标检测器和后端目标检测器;
所述前端目标检测器,用于执行权利要求1所述的方法;
所述后端目标检测器,用于根据前端目标检测器的检测结果执行目标检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910149838.XA CN109903281B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度的目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910149838.XA CN109903281B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度的目标检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109903281A CN109903281A (zh) | 2019-06-18 |
CN109903281B true CN109903281B (zh) | 2021-07-27 |
Family
ID=66945934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910149838.XA Active CN109903281B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度的目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109903281B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117487A (zh) * | 2011-02-25 | 2011-07-06 | 南京大学 | 一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法 |
CN105117720A (zh) * | 2015-09-29 | 2015-12-02 | 江南大学 | 基于时空模型的目标尺度自适应跟踪方法 |
CN105279770A (zh) * | 2015-10-21 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种目标跟踪控制方法及装置 |
CN106385640A (zh) * | 2016-08-31 | 2017-02-08 | 北京旷视科技有限公司 | 视频标注方法及装置 |
WO2018058595A1 (zh) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | 目标检测方法、装置以及计算机系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5218435A (en) * | 1991-02-20 | 1993-06-08 | Massachusetts Institute Of Technology | Digital advanced television systems |
CN101325691B (zh) * | 2007-06-14 | 2010-08-18 | 清华大学 | 融合不同生存期的多个观测模型的跟踪方法和跟踪装置 |
CN102184551A (zh) * | 2011-05-10 | 2011-09-14 | 东北大学 | 结合多种特征匹配和粒子滤波的目标自动跟踪方法及系统 |
CN102750708B (zh) * | 2012-05-11 | 2014-10-15 | 天津大学 | 基于快速鲁棒特征匹配的仿射运动目标跟踪算法 |
CN103714556A (zh) * | 2014-01-06 | 2014-04-09 | 中国科学院自动化研究所 | 一种基于金字塔表观模型的运动目标跟踪方法 |
CN103778644B (zh) * | 2014-01-15 | 2017-08-29 | 南京理工大学 | 基于多尺度码本模型的红外运动目标检测方法 |
CN104200237B (zh) * | 2014-08-22 | 2019-01-11 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
-
2019
- 2019-02-28 CN CN201910149838.XA patent/CN109903281B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117487A (zh) * | 2011-02-25 | 2011-07-06 | 南京大学 | 一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法 |
CN105117720A (zh) * | 2015-09-29 | 2015-12-02 | 江南大学 | 基于时空模型的目标尺度自适应跟踪方法 |
CN105279770A (zh) * | 2015-10-21 | 2016-01-27 | 浪潮(北京)电子信息产业有限公司 | 一种目标跟踪控制方法及装置 |
CN106385640A (zh) * | 2016-08-31 | 2017-02-08 | 北京旷视科技有限公司 | 视频标注方法及装置 |
WO2018058595A1 (zh) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | 目标检测方法、装置以及计算机系统 |
Non-Patent Citations (2)
Title |
---|
Cascade R-CNN: Delving into High Quality Object Detection;Zhaowei Cai et al;《arXiv》;20171203;第1-9页 * |
Visual pedestrain tracking from a UAV platform;Li Zhang et al;《2017 2nd International Conference on Multimedia and Image Processing》;20171225;第196-200页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109903281A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101681555B (zh) | 状况判定装置、状况判定方法、异常判定装置、异常判定方法 | |
EP3186780B1 (en) | System and method for image scanning | |
Loy et al. | An adaptive fusion architecture for target tracking | |
JP5478047B2 (ja) | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム | |
US10853949B2 (en) | Image processing device | |
US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
US20150146006A1 (en) | Display control apparatus and display control method | |
US8947600B2 (en) | Methods, systems, and computer-readable media for detecting scene changes in a video | |
CN101170673A (zh) | 检测遮挡区域的装置和方法 | |
JP6292122B2 (ja) | オブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法 | |
CN110930434B (zh) | 目标对象跟随方法、装置、存储介质和计算机设备 | |
CN109214253B (zh) | 一种视频帧检测方法及装置 | |
CN110555862A (zh) | 目标追踪的方法、装置、电子设备和计算机可读存储介质 | |
CN110826496B (zh) | 一种人群密度估计方法、装置、设备及存储介质 | |
JP2016058085A (ja) | 対象の遮蔽を検出する方法と装置 | |
EP2951783A1 (en) | Method and system for detecting moving objects | |
US20160148071A1 (en) | Systems and methods for object detection | |
JP2020091649A (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム | |
EP3007426A1 (en) | Method and apparatus for detecting defects in digitized image sequences | |
CN109903281B (zh) | 一种基于多尺度的目标检测方法及装置 | |
KR20140046187A (ko) | 영상 시스템에서 움직임 추정 장치 및 방법 | |
CN113642546B (zh) | 一种多人脸跟踪方法及系统 | |
CN107316313B (zh) | 场景分割方法及设备 | |
CN110634124A (zh) | 一种区域检测的方法及设备 | |
WO2018035768A1 (zh) | 一种候选框尺度的获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |