CN111488839B - 一种目标检测方法和目标检测系统 - Google Patents
一种目标检测方法和目标检测系统 Download PDFInfo
- Publication number
- CN111488839B CN111488839B CN202010291552.8A CN202010291552A CN111488839B CN 111488839 B CN111488839 B CN 111488839B CN 202010291552 A CN202010291552 A CN 202010291552A CN 111488839 B CN111488839 B CN 111488839B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- scale
- gray
- scaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种检测方法,主要包括获取所述图像的灰度图像;对所述灰度图像进行多尺度缩放,计算对应的24通道特征,并通过组合分类器模板进行滑动窗口检测,以检测出预定目标在所述灰度图像中的位置信息;对所述灰度图像进行处理以使所述图像中显示出所有所述预定目标的位置。同时提供了一种目标检测系统,包括依次设置的图像采样模块、特征提取模块、滑动窗口检测模块和结果输出模块。通过对缩放后的图像计算24通道特征,以极小的计算代价提高了人工特征的表达能力,提高了计算速度;通过组合分类器模板逐模板滑动窗口检测,在减小了内存的同时无精度损失。解决了现有方法计算代价大、内存占用多和检测准确度低的问题。
Description
技术领域
本发明涉及机器视觉技术领域,特别涉及一种目标检测方法和目标检测系统。
背景技术
图像的目标检测算法是人工智能领域的一个重要分支,也是近年来研究的热点。神经网络的复兴更是使目标检测任务的精度节节攀升,但多数实际应用方案无法承受高昂的计算代价和存储代价。
近年来视频监控逐渐渗透到我们生活的方方面面,在小区、办公场所、街道上部署了大量的监控摄像头。在巨大的行业需求的刺激下,智能视频监控技术越来越成熟,但在算力和存储受限的条件下,目标检测功能的部署仍然困难重重。虽然携带神经网络加速器的芯片逐渐进入市场,但由于技术尚不成熟、大公司垄断等原因使得高精度目标检测方案成本居高不下。
一种“人工特征+分类器”的目标检测框架在轻量化部署上有着明显的优势。但现有的方法在面对幅面较大的目标检测任务时仍然十分吃力,这主要是因为该框架是通过图像多次缩放解决多尺度问题,而在每个尺度上都需要复杂的特征计算和分类器计算。
为了减少计算和存储代价,一种基于运动检测的目标检测方案被提出,但此方案舍弃了对静止物体以及多尺度目标的检测。在摄像机镜头运动、场景光线突变时便会失效。在传统检测方法的设计中聚合通道特征(Aggregate Channel Feature,ACF)算法不仅计算速度上表现优异,检测精度在传统方法中也名列前茅,但此方案在特征计算过程中仍存在较多复杂的运算,单一的Adaboost分类器也难以应对非刚性及遮挡目标的检测,现有方法仍难达到快速、准确地运行。
因此,现有检测方法存在计算代价大、内存占用多以及检测准确度底的问题。
发明内容
本发明的目的在于提供一种检测方法和系统,以解决现有目标检测方法计算代价大、内存占用多以及检测准确度低的问题。
为解决上述技术问题,本发明提供一种目标检测方法,用于检测图像中预定目标的位置,所述目标检测方法包括:通过获取所述图像的灰度通道数据以得到所述图像的灰度图像;对所述灰度图像进行多尺度缩放,并计算各缩放尺度下所述灰度图像的24通道特征,以及利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测,以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。
可选的,在所述的目标检测方法中,在所述计算各缩放尺度下所述灰度图像的24通道特征之前,所述目标检测方法还包括对所述灰度图像进行高斯平滑滤波。
可选的,在所述的目标检测方法中,计算各缩放尺度下所述灰度图像的24通道特征的方法包括:计算各缩放尺度下所述灰度图像的8通道特征,并利用所述8通道特征计算对应的16通道一阶特征,将所述8通道特征和对应的所述16通道一阶特征相结合,以得到各缩放尺度下所述灰度图像的24通道特征;
所述16通道一阶特征的计算公式为:
FTR_DFV1_H(x,y,d)=clip(FTR(x+1,y,d)-FTR(x-1,y,d)+127,0,255);
FTR_DFV1_V(x,y,d)=clip(FTR(x,y+1,d)-FTR(x,y-1,d)+127,0,255);
其中,(x,y,d)为三维特征图上的空间坐标,FTR_DFV1_H为所述16通道一阶特征的横向特征,FTR_DFV1_V为所述16通道一阶特征的纵向特征,FTR为所述8通道特征,clip为数值截断函数。
可选的,在所述的目标检测方法中,计算各缩放尺度下所述灰度图像的8通道特征的方法包括:设计一梯度查找表[GO,GM]=MOTable(dx,dy),通过所述梯度查找表找出对应所述8通道特征的梯度幅值和梯度方向;
所述梯度查找表[GO,GM]=MOTable(dx,dy)包含所述dx和所述dy均为正的时候的计算结果部分,若所述dx和所述dy异号,则根据所述梯度方向和所述梯度幅值的对称性,对所述GO做一次映射;其中,GO和GM分别为梯度方向和梯度幅值,dx和dy分别为灰度图上计算得到的横向和纵向梯度值。
可选的,在所述的目标检测方法中,在计算各缩放尺度下所述灰度图像的8通道特征之后,所述目标检测方法还包括:对所述8通道特征进行饱和位移量化,以使饱和位移量化后的所述8通道特征为1个字节。
可选的,在所述的目标检测方法中,计算各缩放尺度下所述灰度图像的24通道特征的方法还包括:在计算所述8通道特征之前,将所述灰度图像做逐层2倍下采样;计算2倍下采样后所述灰度图像的8通道特征,对所述8通道特征进行一次特征上采样和特征下采样计算,以得到三个幅面的所述8通道特征;利用三个幅面的所述8通道特征计算对应的三个幅面的16通道一阶特征,每个幅面的所述8通道特征和所述16通道一阶特征相结合,以构成对应幅面的所述24通道特征,进而得到三个幅面的所述24通道特征。
可选的,在所述的目标检测方法中,在计算各缩放尺度下所述灰度图像的24通道特征之后,所述目标检测方法还包括对所述灰度图像的精度进行增强训练,所述增强训练的方法包括:选取一所述灰度图像作为训练样本;对所述训练样本的外接矩形在0.8~1.2倍范围内进行随机缩放,并将所述训练样本扩增一设定倍数。
可选的,在所述的目标检测方法中,所述组合分类器包括多个分类器模板,每个所述分类器模板包括多个弱分类器,每个所述弱分类器具有独立的退出阈值,在所述利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测之前,所述目标检测方法还包括:采用验证集数据微调每个所述退出阈值,并通过设置微调时所述弱分类器的通过率来调节所述组合分类器的检测速度与检测召回率。
为解决上述技术问题,本发明还提供一种目标检测系统,用于检测图像中预定目标的位置,所述目标检测系统包括依次设置的图像采样模块、特征提取模块、滑动窗口检测模块和结果输出模块,所述图像采样模块用于从所述图像中获取所述图像的灰度通道数据以得到所述图像的灰度图像,并对所述灰度图像进行尺度缩放,输出缩放后的所述灰度图像;所述特征提取模块用于从缩放后的所述灰度图像中计算得到24通道特征;所述滑动窗口检测模块用于对所述24通道特征进行滑动窗口检测以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;所述结果输出模块用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。
可选的,在所述的目标检测系统中,所述图像采样模块包括图像采集单元、缩放单元和降噪单元,所述图像采集单元用于从所述图像中获取所述图像的灰度通道数据,以得到灰度图像;所述缩放单元用于对所述灰度图像进行尺度缩放,并输出缩放后的所述灰度图像;所述降噪单元用于减弱缩放后的所述灰度图像中的噪声。
可选的,在所述的目标检测系统中,所述特征提取模块包括8通道计算单元、饱和位移量化单元和24通道特征输出单元,所述8通道计算单元用于通过一梯度查找表找出所述灰度图像对应的8通道特征值;所述饱和位移量化单元用于对所述8通道特征进行量化,以输出字节为1的所述8通道特征;所述24通道特征输出单元用于利用所述8通道特征计算对应的16通道一阶特征以构成24通道特征,并输出所述24通道特征。
可选的,在所述的目标检测系统中,所述滑动窗口检测模块包括组合分类器,所述组合分类器包括多个分类器模板,所有所述分类器模板复用同一缩放尺度下的所述24通道特征,以提高滑动窗口检测的检测率。
可选的,在所述的目标检测系统中,所述分类器模板包括多个弱分类器,每个所述弱分类器均为决策树结构,每个所述弱分类器具有独立的退出阈值。
可选的,在所述的目标检测系统中,其特征在于,所述结果输出模块包括后处理单元和结果显示单元,所述后处理单元用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合;所述结果显示单元用于输出并显示得到的所有所述预定目标的位置。
本发明提供的目标检测方法及目标检测系统,通过图像采样模块从所述图像中得到对应的灰度图像,并对所述灰度图像进行尺度缩放;再通过特征提取模块计算出各缩放尺度下所述灰度图像的24通道特征;然后再通过滑动窗口检测模块中的组合分类器对计算得到的各所述24通道特征进行滑动窗口检测,以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;最后,通过结果输出模块对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。由于特征提取部分采用了24通道特征,以极小的计算代价提高了人工特征的表达能力,提高了计算速度;同时,利用组合分类器进行滑动窗口检测可以在减小了内存的同时保证所述灰度图像无精度损失,使得目标检测可以在计算量小、内存占用少的同时提高检测的准确度。因此,解决了现有目标检测方法计算代价大、内存占用多以及检测准确度低的问题。
附图说明
图1为本实施例提供的目标检测方法的流程图;
图2为本实施例提供的24通道特征计算过程示意图;
图3为本实施例提供的梯度查找表示意图;
图4为本实施例提供的饱和位移量化模块示意图;
图5为本实施例提供的目标检测系统的结构示意图;
图6为本实施例提供的目标检测系统子单元的结构示意图;
图7为本实施例提供的分类器模板的结构示意图;
图8为本实施例提供的实际目标检测过程流程图;
其中,各附图标记说明如下:
S1-步骤一;S2-步骤二;S3-步骤三;
1-内部节点参数;2-叶节点参数;3-输入端;4-退出阈值;21-奇数叶节点;22-偶数叶节点。
具体实施方式
以下结合附图和具体实施例对本发明提出的目标检测方法及目标检测系统作进一步详细说明。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
本实施例提供的目标检测方法,用于检测图像中预定目标的位置,如图1所示,所述目标检测方法包括:
S1,通过获取所述图像的灰度通道数据以得到所述图像的灰度图像;
S2,对所述灰度图像进行多尺度缩放,并计算各缩放尺度下所述灰度图像的24通道特征,以及利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测,以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;
S3,对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。
所述位置信息包括但不限于所述灰度图像中的目标框信息,如所述预定目标的位置、大小和置信度分数。
通过计算缩放后的所述灰度图像的24通道特征,使得在代价极小的情况下提高了人工特征的表达能力,进而在不增加特征缓存的情况下不仅减少了计算量,还提高了目标检测方案的准确度。同时,利用组合分类器进行滑动窗口检测可以在减小了内存的同时保证所述灰度图像无精度损失,使得目标检测可以在计算量小、计算速度快、内存占用少的同时提高检测的准确度。因此,解决了现有目标检测方法计算代价大、内存占用多以及检测准确度低的问题。
较佳的,在本实施例提供的目标检测方法中,在所述计算各缩放尺度下所述灰度图像的24通道特征之前,所述目标检测方法还包括对所述灰度图像进行高斯平滑滤波。
在本实施例中,为了减弱图像噪声影响和减轻聚合特征空间上的边界效应,在输出的8通道特征上做高斯平滑滤波,具体的,本实施例使用卷积核为[121;242;121]的高斯平滑滤波对特征进行降噪处理。
如图2所示,在本实施例提供的目标检测方法中,计算各缩放尺度下所述灰度图像的24通道特征的方法,包括:计算各缩放尺度下所述灰度图像的8通道特征,并利用所述8通道特征计算对应的16通道一阶特征,将所述8通道特征和对应的所述16通道一阶特征相结合,以得到各缩放尺度下所述灰度图像的24通道特征;
所述16通道一阶特征的计算公式为:
FTR_DFV1_H(x,y,d)=clip(FTR(x+1,y,d)-FTR(x-1,y,d)+127,0,255);
FTR_DFV1_V(x,y,d)=clip(FTR(x,y+1,d)-FTR(x,y-1,d)+127,0,255);
其中,(x,y,d)为三维特征图上的空间坐标,FTR_DFV1_H为所述16通道一阶特征的横向特征,FTR_DFV1_V为所述16通道一阶特征的纵向特征,FTR为所述8通道特征,clip为数值截断函数。
所述8通道特征分别是图像亮度通道、1个梯度幅值通道和6个梯度方向通道,在某一尺度上的8个通道特征的计算如下:
图像亮度通道特征:在N×N像素区域内做均值下采样得到,例如,在4×4像素区域内做stride=4的均值下采样得到;
梯度幅值通道特征:首先逐像素计算梯度幅值,公式为其中dx和dy分别是在灰度图上计算得到的横向和纵向梯度值,在本实施例中,梯度算子为[-1-2-1;000;121],然后对梯度幅值在N×N像素区域内做均值下采样得到;
利用所述8通道特征计算对应的16通道一阶特征,将所述8通道特征和对应的所述16通道一阶特征相结合,以得到各缩放尺度下所述灰度图像的24通道特征,使得以极小的计算代价提高了人工特征的表达能力,提高了计算速度。
为了进一步节省内存和计算量,在所述8通道特征的计算上,本实施例采用一种简易的梯度查表法来代替常规的梯度幅值和梯度方向的计算与插值,具体的,如图3所示,计算各缩放尺度下所述灰度图像的8通道特征的方法包括:设计一梯度查找表[GO,GM]=MOTable(dx,dy),通过所述梯度查找表找出对应所述8通道特征的梯度幅值和梯度方向;
所述梯度查找表[GO,GM]=MOTable(dx,dy)包含所述dx和所述dy均为正的时候的计算结果部分,若所述dx和所述dy异号,则根据所述梯度方向和所述梯度幅值的对称性,对所述GO做一次映射;其中,GO和GM分别为梯度方向和梯度幅值,dx和dy分别为灰度图上计算得到的横向和纵向梯度值。在本实施例中,梯度算子为[-1;0;1]。
将8通道特征的平方、开方、反正切和线性插值等一系列的相关计算经离线预先全部计算好并整合成一个梯度查找表[GO,GM]=MOTable(dx,dy),当计算8通道特征值时,只需通过dx和dy调用对应的GO和GM值,如此可以节省实时的计算量。同时,为了压缩内存,所述梯度查找表只包含了所述dx和所述dy均为正的时候的计算结果部分,如此,便只需要增加32Kbyte的内存就可以明显减小8通道特征值的计算代价。
为了兼顾目标检测的速度和精度,在本实施例提供的目标检测方法中,在计算各缩放尺度下所述灰度图像的8通道特征之后,所述目标检测方法还包括:对所述8通道特征进行饱和位移量化,以使饱和位移量化后的所述8通道特征为1个字节。
具体的,本实施例设计了一种基于KL散度的饱和位移量化模块,如图4所示,所述饱和位移量化模块输入为uint32的特征数据,输出为uint8的特征数据,即通过饱和位移量化模块将4字节的输入数据量化为1字节的输出数据。TKL是由相对熵求得的量化阈值,Tshift满足TKL≤Tshift<2*TKL,Tshift=255<<n,其中n为正整数,在此条件下的量化的公式为Qunit8=clip(Qunit32>>n,0,255),在去除离群点的同时仅保留移位和截断运算。
通过将所述8通道特征经由饱和位移量化模块进行量化,使得节省计算代价的同时最大限度地利用量化数据。需要注意的是,由于8个通道的特征有不同的数值分布,需要对每个通道单独计算移位数值n才能达到最好的量化效果。
继续参见图2,在本实施例提供的目标检测方法中,计算各缩放尺度下所述灰度图像的24通道特征的方法还包括:在计算所述8通道特征之前,将所述灰度图像做逐层2倍下采样;计算2倍下采样后所述灰度图像的8通道特征,对所述8通道特征进行一次特征上采样和特征下采样计算,以得到三个幅面的所述8通道特征;利用三个幅面的所述8通道特征计算对应的三个幅面的16通道一阶特征,每个幅面的所述8通道特征和所述16通道一阶特征相结合,以构成对应幅面的所述24通道特征,进而得到三个幅面的所述24通道特征。
通过对所述灰度图像做逐层2倍下采样,然后采用一种快速特征金字塔算法进行一次特征上采样和特征下采样,每一次图像缩放得到三个幅面的量化特征,如图2所示,如此就可以解决多尺度计算过程中计算开销大的问题。但此时的检测精度与分度为3时的图像下采样近似,精度会有所损失。
因此,为了弥补精度损失,在本实施例提供的目标检测方法中,在计算各缩放尺度下所述灰度图像的24通道特征之后,所述目标检测方法还包括对所述灰度图像的精度进行增强训练,所述增强训练的方法包括:选取一所述灰度图像作为训练样本;对所述训练样本的外接矩形在0.8~1.2倍范围内进行随机缩放,并将所述训练样本扩增一设定倍数。如此,就可以增加所述分类器的鲁棒性,进而能够在加速多尺度特征提取过程的同时保证了目标检测的精度。
通过在INRIA数据集上的实验证明,在对数据尺寸增强训练后,可以达到下采样分度为8时的检测精度。
在本实施例提供的目标检测方法中,所述组合分类器包括多个分类器模板,每个所述分类器模板包括多个弱分类器,每个所述弱分类器具有独立的退出阈值,在所述利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测之前,所述目标检测方法还包括:采用验证集数据微调每个所述退出阈值,并通过设置微调时所述弱分类器的通过率来调节所述组合分类器的检测速度与检测召回率。
通常情况下,使用分类器对每种目标的检测以滑动窗口的策略进行目标定位。所述分类器由一系列多层决策树结构的弱分类器串联而成,但监控图像中只有极少数区域包含目标检测,没必要每个滑动窗口位置都遍历所有弱分类器,因此通常采用一种“提前退出机制”的方法增设一个门限值,即退出阈值,如果弱分类器累加的概率分数小于此门限值便立即退出此位置的分类计算,遍历所有弱分类器的位置才为目标所在位置,累加分数即为该位置是目标检测的概率。
将每个弱分类器的退出阈值独立出来,然后采用验证集数据去重新微调每个弱分类器的阈值,并且可以通过设置微调时弱分类器的正样本通过率来权衡分类器的速度与检测召回率,当通过率越小时,分类器退出越快,检测速度越快。
利用组合分类器进行滑动窗口检测可以在减小了内存的同时保证所述灰度图像无精度损失,使得目标检测可以在计算量小、内存占用少的同时提高检测的准确度。
本实施例还提供一种目标检测系统,用于检测图像中预定目标的位置,所述目标检测系统包括依次设置的图像采样模块、特征提取模块、滑动窗口检测模块和结果输出模块,如图5所示,所述图像采样模块用于从所述图像中获取所述图像的灰度通道数据以得到所述图像的灰度图像,并对所述灰度图像进行尺度缩放,输出缩放后的所述灰度图像;所述特征提取模块用于从缩放后的所述灰度图像中计算得到24通道特征;所述滑动窗口检测模块用于对所述24通道特征进行滑动窗口检测以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;所述结果输出模块用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。
进一步的,在本实施例提供的目标检测系统中,所述图像采样模块包括图像采集单元、缩放单元和降噪单元,如图6所示,所述图像采集单元用于从所述图像中获取所述图像的灰度通道数据,以得到灰度图像;所述缩放单元用于对所述灰度图像进行尺度缩放,并输出缩放后的所述灰度图像;所述降噪单元用于减弱缩放后的所述灰度图像中的噪声。
在本实施例提供的目标检测系统中,所述特征提取模块包括8通道计算单元、饱和位移量化单元和24特征输出单元,如图6所示,所述8通道计算单元用于通过一梯度查找表[GO,GM]=MOTable(dx,dy)找出所述灰度图像对应的8通道特征值;所述饱和位移量化单元用于对所述8通道特征进行量化,以输出字节为1的所述8通道特征;所述24特征输出单元用于利用所述8通道特征计算对应的16通道一阶特征以构成24通道特征,并输出所述24通道特征。
在本实施例提供的目标检测系统中,所述滑动窗口检测模块包括组合分类器,如图6所示,所述组合分类器包括多个分类器模板,所有所述分类器模板复用同一缩放尺度下的所述24通道特征,以提高滑动窗口检测的检测率。
同时,所述分类器模板包括多个弱分类器,每个所述弱分类器均为决策树结构,如图7所示,每个所述弱分类器具有独立的退出阈值4。通过决策树来求取概率分数和目标位置,并将结果通过输入端3输入给所述退出阈值4。如果累加的概率分数小于此退出阈值4,则立即退出此位置的分类计算。以此方法遍历所有弱分类器的位置才为目标所在位置,累加分数即为该位置时目标检测的概率。通过给每一个弱分类器设置退出阈值,可以很大程度上减少分类计算量,提高了运行速度。
在本实施例中,所述决策树的结构为三层决策树,参见图7,三层决策树包括7个内部节点参数1、8个叶节点参数2和一个退出阈值4;内部节点参数1包括索引位置和节点阈值,两个相邻的叶节点参数2通过奇偶点排列的方式进行排列,分为奇数叶节点21和偶数叶节点22。在本实施例中,将以上所有参数量化后,使得一个决策树参数被压缩到20Byte,尤其是两个相邻的叶节点参数被量化成8bit,明显减小了分类器参数的内存大小,并且此量化方法在重训练后无精度损失。
在本实施例提供的目标检测系统中,所述结果输出模块包括后处理单元和结果显示单元,如图6所示,所述后处理单元用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合;所述结果显示单元用于输出并显示得到的所有所述预定目标的位置。
以下以具体的行人目标的检测为例,具体说明本发明所提出的目标检测方法的实施步骤及内容。
如图8所示,首先从图像帧序列中获取图像的灰度通道数据,进而得到所述图像对应的灰度图像;然后根据需求,对所述灰度图像进行尺度缩放,使缩放后的灰度图像尺寸符合提前计算好的缩放尺寸目标;再然后对缩放后的灰度图像进行逐层2倍下采样,其中,第一次下采样倍数是1,之后每次下采样倍数是2;为了减轻图像噪声对检测效果的影响,可以对所述灰度图像进行高斯平滑滤波;接下来,参考上文提到的24通道特征的获取方法得到三个幅面的24通道特征;然后再根据需求对组合分类器进行针对所述灰度图像的精度的增强训练,并在训练后逐模板进行滑动窗口检测,记录该尺度下大于阈值的概率分数和目标位置。更改缩放尺寸,重复上述步骤,直到完成所有尺度和所有模板下的检测结果。最后对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置,如此,就得到了本帧图像最终的检测结果。
综上所述,本实施例提供的目标检测方法及目标检测系统,通过图像采样模块从所述图像中得到对应的灰度图像,并对所述灰度图像进行尺度缩放;再通过特征提取模块计算出各缩放尺度下所述灰度图像的24通道特征;然后再通过滑动窗口检测模块中的组合分类器对计算得到的各所述24通道特征进行滑动窗口检测,以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;最后,通过结果输出模块对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。由于特征提取部分采用了24通道特征,以极小的计算代价提高了人工特征的表达能力,提高了计算速度;同时,利用组合分类器进行滑动窗口检测可以在减小了内存的同时保证所述灰度图像无精度损失,使得目标检测可以在计算量小、内存占用少的同时提高检测的准确度。因此,解决了现有目标检测方法计算代价大、内存占用多以及检测准确度低的问题。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (12)
1.一种目标检测方法,用于检测图像中预定目标的位置,其特征在于,所述目标检测方法包括:
通过获取所述图像的灰度通道数据以得到所述图像的灰度图像;
对所述灰度图像进行多尺度缩放,并计算各缩放尺度下所述灰度图像的24通道特征,以及利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测,以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;
对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置;
其中,计算各缩放尺度下所述灰度图像的24通道特征的方法包括:
计算各缩放尺度下所述灰度图像的8通道特征,并利用所述8通道特征计算对应的16通道一阶特征,将所述8通道特征和对应的所述16通道一阶特征相结合,以得到各缩放尺度下所述灰度图像的24通道特征;
所述16通道一阶特征的计算公式为:
FTR_DFV1_H(x,y,d)=clip(FTR(x+1,y,d)-FTR(x-1,y,d)+127,0,255);
FTR_DFV1_V(x,y,d)=clip(FTR(x,y+1,d)-FTR(x,y-1,d)+127,0,255);
其中,(x,y,d)为三维特征图上的空间坐标,FTR_DFV1_H为所述16通道一阶特征的横向特征,FTR_DFV1_V为所述16通道一阶特征的纵向特征,FTR为所述8通道特征,clip为数值截断函数。
2.根据权利要求1所述的目标检测方法,其特征在于,在所述计算各缩放尺度下所述灰度图像的24通道特征之前,所述目标检测方法还包括对所述灰度图像进行高斯平滑滤波。
3.根据权利要求1所述的目标检测方法,其特征在于,计算各缩放尺度下所述灰度图像的8通道特征的方法包括:设计一梯度查找表
[GO,GM]=MOTable(dx,dy),通过所述梯度查找表找出对应所述8通道特征的梯度幅值和梯度方向;
所述梯度查找表[GO,GM]=MOTable(dx,dy)包含所述dx和所述dy均为正的时候的计算结果部分,若所述dx和所述dy异号,则根据所述梯度方向和所述梯度幅值的对称性,对所述GO做一次映射;其中,GO和GM分别为梯度方向和梯度幅值,dx和dy分别为灰度图上计算得到的横向和纵向梯度值。
4.根据权利要求1所述的目标检测方法,其特征在于,在计算各缩放尺度下所述灰度图像的8通道特征之后,所述目标检测方法还包括:对所述8通道特征进行饱和位移量化,以使饱和位移量化后的所述8通道特征为1个字节。
5.根据权利要求1所述的目标检测方法,其特征在于,计算各缩放尺度下所述灰度图像的24通道特征的方法还包括:
在计算所述8通道特征之前,将所述灰度图像做逐层2倍下采样;
计算2倍下采样后所述灰度图像的8通道特征,对所述8通道特征进行一次特征上采样和特征下采样计算,以得到三个幅面的所述8通道特征;
利用三个幅面的所述8通道特征计算对应的三个幅面的16通道一阶特征,每个幅面的所述8通道特征和所述16通道一阶特征相结合,以构成对应幅面的所述24通道特征,进而得到三个幅面的所述24通道特征。
6.根据权利要求5所述的目标检测方法,其特征在于,在计算各缩放尺度下所述灰度图像的24通道特征之后,所述目标检测方法还包括对所述灰度图像的精度进行增强训练,所述增强训练的方法包括:选取一所述灰度图像作为训练样本;对所述训练样本的外接矩形在0.8~1.2倍范围内进行随机缩放,并将所述训练样本扩增一设定倍数。
7.根据权利要求1所述的目标检测方法,其特征在于,所述组合分类器包括多个分类器模板,每个所述分类器模板包括多个弱分类器,每个所述弱分类器具有独立的退出阈值,在所述利用组合分类器对计算得到的各所述24通道特征进行滑动窗口检测之前,所述目标检测方法还包括:采用验证集数据微调每个所述退出阈值,并通过设置微调时所述弱分类器的通过率来调节所述组合分类器的检测速度与检测召回率。
8.一种目标检测系统,用于检测图像中预定目标的位置,其特征在于,所述目标检测系统包括依次设置的图像采样模块、特征提取模块、滑动窗口检测模块和结果输出模块,
所述图像采样模块用于从所述图像中获取所述图像的灰度通道数据以得到所述图像的灰度图像,并对所述灰度图像进行尺度缩放,输出缩放后的所述灰度图像;
所述特征提取模块用于从缩放后的所述灰度图像中计算得到24通道特征,所述特征提取模块包括8通道计算单元、饱和位移量化单元和24通道特征输出单元,
所述8通道计算单元用于通过一梯度查找表找出所述灰度图像对应的8通道特征值;
所述饱和位移量化单元用于对所述8通道特征进行量化,以输出字节为1的所述8通道特征;
所述24通道特征输出单元用于利用所述8通道特征计算对应的16通道一阶特征以构成24通道特征,并输出所述24通道特征;
所述滑动窗口检测模块用于对所述24通道特征进行滑动窗口检测以检测出各缩放尺度下至少一所述预定目标在所述灰度图像中的位置信息;
所述结果输出模块用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合,以使所述图像中显示出所有所述预定目标的位置。
9.根据权利要求8所述的目标检测系统,其特征在于,所述图像采样模块包括图像采集单元、缩放单元和降噪单元,
所述图像采集单元用于从所述图像中获取所述图像的灰度通道数据,以得到灰度图像;
所述缩放单元用于对所述灰度图像进行尺度缩放,并输出缩放后的所述灰度图像;
所述降噪单元用于减弱缩放后的所述灰度图像中的噪声。
10.根据权利要求8所述的目标检测系统,其特征在于,所述滑动窗口检测模块包括组合分类器,所述组合分类器包括多个分类器模板,所有所述分类器模板复用同一缩放尺度下的所述24通道特征,以提高滑动窗口检测的检测率。
11.根据权利要求10所述的目标检测系统,其特征在于,所述分类器模板包括多个弱分类器,每个所述弱分类器均为决策树结构,每个所述弱分类器具有独立的退出阈值。
12.根据权利要求8所述的目标检测系统,其特征在于,所述结果输出模块包括后处理单元和结果显示单元,
所述后处理单元用于对进行尺度缩放所得到的所有所述灰度图像中的所述位置信息进行尺度还原,并将所有所述位置信息进行框融合;
所述结果显示单元用于输出并显示得到的所有所述预定目标的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010291552.8A CN111488839B (zh) | 2020-04-14 | 2020-04-14 | 一种目标检测方法和目标检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010291552.8A CN111488839B (zh) | 2020-04-14 | 2020-04-14 | 一种目标检测方法和目标检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111488839A CN111488839A (zh) | 2020-08-04 |
CN111488839B true CN111488839B (zh) | 2023-05-12 |
Family
ID=71798715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010291552.8A Active CN111488839B (zh) | 2020-04-14 | 2020-04-14 | 一种目标检测方法和目标检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111488839B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709407B (zh) * | 2020-08-18 | 2020-11-13 | 眸芯科技(上海)有限公司 | 监控边缘计算中提升视频目标检测性能的方法及装置 |
CN112147603B (zh) * | 2020-09-22 | 2023-11-21 | 南京大学 | 一种基于tKL散度的矩阵CFAR检测器的目标检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224911A (zh) * | 2015-08-27 | 2016-01-06 | 湖北文理学院 | 一种多视角实时行人检测方法及系统 |
CN106529448A (zh) * | 2016-10-27 | 2017-03-22 | 四川长虹电器股份有限公司 | 利用聚合通道特征进行多视角人脸检测的方法 |
WO2017190574A1 (zh) * | 2016-05-04 | 2017-11-09 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
-
2020
- 2020-04-14 CN CN202010291552.8A patent/CN111488839B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224911A (zh) * | 2015-08-27 | 2016-01-06 | 湖北文理学院 | 一种多视角实时行人检测方法及系统 |
WO2017190574A1 (zh) * | 2016-05-04 | 2017-11-09 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
CN106529448A (zh) * | 2016-10-27 | 2017-03-22 | 四川长虹电器股份有限公司 | 利用聚合通道特征进行多视角人脸检测的方法 |
Non-Patent Citations (2)
Title |
---|
张焱 ; 张志龙 ; 沈振康 ; .一种融入运动特性的显著性特征提取方法.国防科技大学学报.2008,(03),全文. * |
黄鹏 ; 于凤芹 ; 陈莹 ; .改进积分通道特征的快速多尺度行人检测.计算机工程与应用.(14),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111488839A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111008562B (zh) | 一种特征图深度融合的人车目标检测方法 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
CN111079669A (zh) | 一种图像处理方法、装置及存储介质 | |
CN111488839B (zh) | 一种目标检测方法和目标检测系统 | |
JP7449977B2 (ja) | 可変焦点カメラの深度推定方法 | |
CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
Xiang et al. | Lightweight fully convolutional network for license plate detection | |
CN112257569A (zh) | 一种基于实时视频流的目标检测和识别方法 | |
CN110969164A (zh) | 基于深度学习端对端的低照度成像车牌识别方法及装置 | |
CN114764856A (zh) | 图像语义分割方法和图像语义分割装置 | |
CN116630932A (zh) | 一种基于改进yolov5的道路遮挡目标检测方法 | |
CN101719271A (zh) | 基于混合投影函数和支持向量机的视频镜头边界检查方法 | |
CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及系统 | |
CN117011655A (zh) | 基于自适应区域选择特征融合方法、目标跟踪方法及系统 | |
CN116958687A (zh) | 一种基于改进detr的面向无人机的小目标检测方法及装置 | |
CN114612456B (zh) | 一种基于深度学习的钢坯自动语义分割识别方法 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN115049611A (zh) | 一种基于改进yolov5的连铸坯裂纹缺陷识别方法 | |
CN114612847A (zh) | 一种Deepfake视频篡改检测方法以及系统 | |
CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
CN113361375B (zh) | 一种基于改进BiFPN的车辆目标识别方法 | |
CN110046650B (zh) | 一种快递包裹条形码快速检测方法 | |
Chao et al. | Real-time Semantic Segmentation Based on Multi-scale Feature Map Joint Pyramid Upsamping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |