CN107301378A - 图像中多分类器集成的行人检测方法和系统 - Google Patents

图像中多分类器集成的行人检测方法和系统 Download PDF

Info

Publication number
CN107301378A
CN107301378A CN201710386676.2A CN201710386676A CN107301378A CN 107301378 A CN107301378 A CN 107301378A CN 201710386676 A CN201710386676 A CN 201710386676A CN 107301378 A CN107301378 A CN 107301378A
Authority
CN
China
Prior art keywords
pedestrian
target
large scale
image
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710386676.2A
Other languages
English (en)
Other versions
CN107301378B (zh
Inventor
张重阳
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710386676.2A priority Critical patent/CN107301378B/zh
Publication of CN107301378A publication Critical patent/CN107301378A/zh
Application granted granted Critical
Publication of CN107301378B publication Critical patent/CN107301378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像中多分类器集成的行人检测方法和系统,在训练阶段,利用大尺度训练数据及其特征,训练得到多个子分类器;再由所述多个子分类器集成为一个大尺度目标分类器;利用小尺度训练数据及其特征,训练得到多个子分类器;再由所述多个子分类器集成为一个小尺度目标分类器;在检测阶段,对待检测图像先通过初始分类器获得初始行人框;若初始行人框高度大于预设阈值,则送入大尺度目标分类器进行识别;若高度小于等于预设阈值,则送入小尺度目标分类器进行识别。本发明通过训练并集成多个分类器来构造一个强检测器,综合利用目标上下文信息和多组特征进行分类识别,有效提升行人目标检测的精度。

Description

图像中多分类器集成的行人检测方法和系统
技术领域
本发明涉及计算机视觉技术领域,具体地,涉及图像中多分类器集成的行人检测方法和系统。
背景技术
目前,较为成熟的行人检测算法基本可以分为两类:(1)基于背景建模。即将输入的静态图像进行场景分割,分割出其前景与背景。再在前景中提取运动目标。(2)基于统计学习。这种方法也是常用的其他刚体目标检测方法,如车牌、车辆、静物等。即将所有已知属于某一类目标的图像收集起来形成训练集,基于一个已知的算子对训练集提取特征,形成包括各种情况的特征库。提取的特征一般为目标的灰度、纹理、梯度直方图、边缘等信息。继而根据大量的训练样本的特征库来构建行人检测分类器。分类器一般可用支持向量机(Support Vector Machine,SVM),Adaboost(迭代弱分类器得到强分类器的算法)及神经网络等。
综合而言,近年来基于统计学习的行人检测算法表现较优,基于统计学习的行人检测算法可以分为传统人工特征行人检测算法以及深度特征机器学习行人检测算法。
但是,上述行人检测算法对于姿态或距离较远的行人,容易受到光照、背景、尺度、姿态等影响,使得检测结果发生非刚体形变,检测结果不佳。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种图像中多分类器集成的行人检测方法和系统。
根据本发明提供的图像中多分类器集成的行人检测方法,包括:
获取待检测图像;
基于所述待检测图像提取初始候选框;
通过初始分类器判断初始候选框中的图像是否为行人目标,所述初始分类器通过训练图像集中的所有图像样本训练得到;
若所述初始分类器判断为行人目标,则判断初始候选框的高度是否大于预设阈值;
若初始候选框的高度大于预设阈值,则通过大尺度目标分类器对初始候选框的高度大于预设阈值的图像进行分类识别;其中,通过从所述初始候选框的高度大于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到多个子分类器,由该多个子分类器集成得到所述大尺度目标分类器;
若初始候选框的高度小于等于预设阈值,则通过小尺度目标分类器对初始候选框的高度小于等于预设阈值的图像进行分类识别;其中,通过对初始候选框的高度小于等于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到多个子分类器,由该多个子分类器集成得到所述小尺度目标分类器;
获取检测结果。
可选地,还可以包括:构建针对初始分类器、大尺度目标分类器和小尺度目标分类器的训练图像样本;
对训练图像集中的训练图像标记初始候选框,所述初始候选框又称为行人目标矩形框,所述行人目标矩形框是指包含单个行人目标的最小外接矩形框;根据行人目标矩形框的高度和呈现的人体视角,将行人分为小尺度行人、大尺度正背面行人、大尺度侧面行人三类;当行人目标矩形框的高度小于等于预设阈值HT时,则所述行人目标矩形框内的行人为小尺度行人;当行人目标矩形框的高度大于预设阈值HT时,则所述行人目标矩形框内的行人为大尺度行人;根据大尺度行人的视角,进一步地分为大尺度正背面行人和大尺度侧面行人:其中,将身体正面或背面呈现在图像中的目标作为大尺度正背面行人,否则作为大尺度侧面行人。
可选地,还可以包括:将行人目标矩形框进行上下文扩展,得到包含背景信息的行人目标上下文矩形框;其中,上下文扩展是指:保持行人目标矩形框的中心点坐标不变,调整行人目标矩形框的高度和宽度,当高度和宽度均变大时,则认为对行人目标矩形框进行了上下文扩展。
可选地,还包括:大尺度目标分类器训练及集成步骤,所述大尺度目标分类器训练及集成步骤包括:
基于训练图像集中的大尺度行人,提取所述大尺度行人的聚合通道特性特征(但不限于该特征),简称ACF特征,利用Adaboost分类器(但不限于Adaboost分类器)训练后得到第一子分类器CL1
基于训练图像集中的大尺度正背面行人和所述大尺度正背面行人的行人目标上下文矩形框,提取Harr特征(但不限于该特征),利用Adaboost分类器(但不限于Adaboost分类器)训练后得到第二子分类器CL2
基于训练图像集中的大尺度侧面行人和所述大尺度侧面行人的行人目标上下文矩形框,提取Harr特征(但不限于该特征),利用Adaboost分类器(但不限于Adaboost分类器)训练后得到第三子分类器CL3
设置第一子分类器CL1、第二子分类器CL2、第三子分类器CL3所对应的权重,分别记为WL1,WL2,WL3,并对第一子分类器CL1、第二子分类器CL2、第三子分类器CL3按照设置的权重进行加权融合、集成得到大尺度目标分类器,记为CL
可选地,
还包括:小尺度目标分类器训练及集成步骤,所述小尺度目标分类器训练及集成步骤包括:
基于训练图像集中的小尺度行人和所述小尺度行人的行人目标上下文矩形框,提取Harr特征(但不限于该特征),利用Adaboost分类器(但不限于Adaboost分类器)训练后得到第四子分类器CS1
基于训练图像集中的小尺度行人,提取HOG特征(但不限于该特征),利用Adaboost分类器(但不限于Adaboost分类器)训练后得到第五子分类器CS2
分别设置第四子分类器CS1、第五子分类器CS2所对应的权重WS1,WS2,并对第四子分类器CS1和第五子分类器CS2按照设置的权重进行加权融合、集成得到小尺度目标分类器,记为CS
可选地,所述基于小尺度行人,提取HOG特征,包括:
将所有小尺度行人的行人目标矩形框缩放至预设的尺度,获取小尺度行人的行人目标矩形框的梯度幅值,假设小尺度行人的行人目标矩形框总数为N,第i个小尺度行人对应一个梯度幅值矩阵Gi,则平均边缘分布矩阵表示为:
可选地,所述提取Harr特征,包括:
将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框的平均边缘分布图进行矩形网格划分,所述矩形网格划分的尺寸包括但不限于如下几种:4*4像素、6*6像素、12*12;
按照所述平均边缘分布图所包含的人体部位,划分为:背景、行人头部、行人上半身、行人下半身;分别对背景、行人头部、行人上半身、行人下半身进行赋值;
通过将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框对相应的对平均边缘分布图进行遍历扫描,得到Haar特征。
可选地,假设对背景、行人头部、行人上半身、行人下半身分别赋值为:0、+1、-1、+1,将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框中包含任意两种不同人体部位的Haar特征记为{+1,-1},将包含任意三种不同人体部位的Haar特征记为{+1,0,-1}。
可选地,所述获取检测结果,包括:一旦获取初始分类器、大尺度目标分类器、小尺度目标分类器中的任一个分类器的分类结果,即作为最终检测结果进行输出。
根据本发明提供的图像中多分类器集成的行人检测系统,包括:第一获取模块、提取模块、判断模块、初始分类器、大尺度目标分类器、小尺度目标分类器和第二获取模块;
所述第一获取模块,用于获取待检测图像;
所述提取模块,用于基于所述待检测图像提取初始候选框;
所述判断模块,用于通过初始分类器判断初始候选框中的图像是否为行人目标;若所述初始分类器判断为行人,则判断初始候选框的高度是否大于预设阈值,若初始候选框的高度大于预设阈值,则驱动大尺度目标分类器,若初始候选框的高度小于等于预设阈值,则驱动小尺度目标分类器;
所述初始分类器,用于判断初始候选框中的图像是否为行人目标;所述初始分类器通过训练图像集中的所有图像样本训练得到;
所述大尺度目标分类器,用于对初始候选框的高度大于预设阈值的图像进行分类识别;其中,通过从所述初始候选框的高度大于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述大尺度目标分类器;
所述小尺度目标分类器,用于对初始候选框的高度小于等于预设阈值的图像进行分类识别;其中,通过对初始候选框的高度小于等于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述小尺度目标分类器;
所述第二获取模块,用于获取检测结果。
与现有技术相比,本发明具有如下的有益效果:
本发明,利用目标上下文信息及多尺度感知,训练并集成多个分类器来构造一个强检测器,可以对于多尺度、多视角的目标,综合利用其上下文信息和多尺度多视角下的特征进行分类识别,能更加有效地挖掘图像中行人目标在不同尺度、不同视角、不同场景中的差异化表征特征,实现更为精细的特征提取与表达,有效提升行人目标检测识别的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的一种图像中多分类器集成的行人检测方法的流程图;
图2为本发明中行人目标样本分类流程图;
图3为本发明中分类器训练及集成步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为本发明实施例提供的一种图像中多分类器集成的行人检测方法的流程图,如图1所示,本实施例的方法可以包括:
S101、获取待检测图像。
本实施例中,首先获取待检测的图像,所述待检测的图像可以是行人目标在不同尺度、不同视角、不同场景中所采集到的图像。以摄像头为例,可以通过获取摄像头拍摄的行人图片作为本实施例中待检测的行人图像,需要说明的是,本实施例以摄像头为例进行说明,但不限于此。
S102、基于所述待检测图像提取初始候选框。
本实施例中,在所述待检测图像上标记出行人目标的初始候选框,所述初始候选框用于框出待检测行人图像中的目标行人范围。例如,可以通过滑窗方法得到初始候选框,但是本实施例不限于此。
S103、通过初始分类器判断初始候选框中的图像是否为行人目标。
本实施例中,所述初始分类器通过训练图像集中的所有图像样本训练得到,通过所述初始分类器用于判断初始候选框中的图像是否为行人。
S104、若所述初始分类器判断为行人,则判断初始候选框的高度是否大于预设阈值,若初始候选框的高度大于预设阈值,则执行S106,若初始候选框的高度小于灯预设阈值,则执行S107;
本实施例中,当所述初始分类器判断出所述初始候选框中的图像为行人时,进一步地,对初始候选框的高度进行检测,针对初始候选框的高度大于预设的阈值和初始候选框的高度小于等于预设阈值这两种情况的图像分别执行不同的处理。
S105、若所述初始分类器判断为非行人,则执行S108。
本实施例中,通过所述初始分类器来判断初始候选框中的图像是否为行人,当判断为非行人时,执行S108。
需要说明的是,本实施例中,不限定S104和S105之间的顺序。
S106、通过大尺度目标分类器对初始候选框的高度大于预设阈值的图像进行分类识别。
本实施例中,所述大尺度目标分类器通过对不同视角下所述初始候选框的高度大于预设阈值的图像样本训练得到,例如,可以通过对初始候选框的高度大于预设阈值的图像的初始候选框提取聚合通道特性(Aggregated Channel Features,ACF)特征,训练得到第一子分类器;对正面及背面视角的行人图像,基于行人目标上下文矩形框和对应的Harr特征训练得到第二子分类器;对侧面视角的行人图像,基于行人目标上下文矩形框和对应的Harr特征训练得到第三子分类器,通过第一子分类器、第二子分类器、第三子分类器加权集成得到所述大尺度目标分类器。但是,本实施例不限于此。
S107、通过小尺度目标分类器对初始候选框的高度小于等于预设阈值的图像进行分类识别。
本实施例中,所述小尺度目标分类器通过对不同视角的初始候选框的高度小于等于预设阈值的图像样本训练得到,例如,可以通过对初始候选框的高度小于等于预设阈值的图像的初始候选框提取梯度柱状图(Histogram Of Gradient,HOG)特征,训练得到第四子分类器;通过对初始候选框的高度小于等于预设阈值的图像中行人目标上下文矩形框和对应的Harr特征训练得到第五子分类器;通过第四子分类器和第五子分类器加权集成得到所述小尺度目标分类器。但是,本实施例不限于此。
S108、获取检测结果。
本实施例中,获取初始分类器、大尺度目标分类器、小尺度目标分类器中的任一个分类器的分类结果作为检测结果。
本实施例,利用目标上下文信息及多尺度感知,训练并集成多个分类器来构造一个强检测器,可以对于多尺度、多视角的目标,综合利用其上下文信息和多尺度多视角下的特征进行分类识别,能更加有效地挖掘图像中行人目标在不同尺度、不同视角、不同场景中的差异化表征特征,实现更为精细的特征提取与表达,有效提升行人目标检测识别的精度。
需要说明的是,本实施例可应用于行人但不限于行人等目标的检测识别等智能化应用。
可选地,所述基于所述待检测行人图像提取初始候选框,包括:从待检测行人图像中标记行人目标矩形框,所述行人目标矩形框即为初始候选框。
可选地,图1所示的方法,还可以包括:构建针对初始分类器、大尺度目标分类器和小尺度目标分类器的训练样本,具体流程如图2所示:
获取多幅标记有行人目标矩形框的图像,根据行人目标矩形框的高度,将行人分为小尺度行人、大尺度正背面行人、大尺度侧面行人三类;当行人目标矩形框的高度小于等于预设阈值HT时,则所述行人目标矩形框内的行人为小尺度行人,当行人目标矩形框的高度大于预设阈值HT时,则所述行人目标矩形框内的行人为大尺度行人;根据大尺度行人的视角进一步分为大尺度正背面行人和大尺度侧面行人。
将行人目标矩形框进行上下文扩展,得到包含背景信息的行人目标上下文矩形框;其中,上下文扩展是指:保持行人目标矩形框的中心点坐标不变,调整行人目标矩形框的高度和宽度,当高度和宽度均变大时,则认为对行人目标矩形框进行了上下文扩展。
例如:行人目标矩形框的原始高度为H,原始宽度为W,保持其中心点坐标不变,矩形框向上扩展向下扩展向左扩展向右扩展得到包含上下文信息的新矩形框,即为目标上下文矩形框。
图3为本发明中分类器训练及集成步骤流程图,如图3所示,可以包括:大尺度目标分类器CL集成步骤和小尺度目标分类器CS集成步骤。
所述大尺度目标分类器CL集成步骤包括:
基于训练图像集中大尺度行人提取ACF特征,训练后得到第一子分类器CL1
基于训练图像集中大尺度正背面行人和所述大尺度正背面行人的行人目标上下文矩形框提取Harr特征,训练后得到第二子分类器CL2
基于训练图像集中大尺度侧面行人和所述大尺度侧面行人的行人目标上下文矩形框提取Harr特征,训练后得到第三子分类器CL3
分别设置第一子分类器CL1、第二子分类器CL2、第三子分类器CL3所对应的权重,分别记为WL1,WL2,WL3,并对设置的第一子分类器CL1、第二子分类器CL2、第三子分类器CL3的权重进行加权融合、集成得到大尺度目标分类器,记为CL
所述小尺度目标分类器CS集成步骤包括:
基于训练图像集中小尺度行人和所述小尺度行人的行人目标上下文矩形框提取Harr特征,训练后得到第四子分类器CS1
基于训练图像集中小尺度行人,提取HOG特征,训练后得到第五子分类器CS2
分别设置第四子分类器CS1、第五子分类器CS2所对应的权重WS1,WS2,并对设置的第四子分类器CS1和第五子分类器CS2的权重进行加权融合、集成得到小尺度目标分类器,记为CS
可选地,图3所示方法中,所述基于小尺度行人,提取HOG特征,包括:
将所有小尺度行人的行人目标矩形框缩放至预设的尺度,获取小尺度行人的行人目标矩形框的梯度幅值,假设小尺度行人的行人目标矩形框总数为N,第i个小尺度行人对应一个梯度幅值矩阵Gi,则平均边缘分布矩阵表示为:
平均边缘分布图进行矩形网格划分,每个网格尺寸可以为4*4像素、6*6像素、12*12像素等。将得到的边缘分布图的矩形网格,按照其包含人体部位情况,划分为4个不同类型:背景(赋值为0)、行人头部(赋值为+1)、行人上半身(赋值为-1)、行人下半身(赋值为+1)。用从小至大尺度的矩形框对平均边缘分布图进行遍历扫描,得到两种情况:
a.矩形框包括任意两种不同类型的网格,采用{+1,-1}的Haar特征;
b.矩形框包括任意三种不同类型的网格,采用{+1,0,-1}的Haar特征;
按照此定义规则对全图进行滑动窗遍历,同时遍历不同大小的Haar扫描滑动窗。最终会得到非常多不同的Haar特征集合,将所有的Harr特征记录在总集T中,作为行人目标的Harr特征。
根据本发明提供的一种图像中多分类器集成的行人检测方法,同时具备刚性和非刚性物体的特点。现有的行人检测算法,对于某些特定姿态如直立状态且分辨率较大的近距离行人可以很好地识别,但是这些特定姿态的行人在现实生活中只占行人运动情况很小的一部分,对于其他姿态或距离较远的行人,检测结果并不是很好。相比于其他目标,行人目标具有如下特点:
特点一、行人目标衣着的多变性。对于同一个行人其着装变化有很多种,衣服的样式、颜色、图案都会因人而异,同时行人身上还会有一些附属物品如眼镜、帽子、雨伞、手提物品等,要采用一种特征可以不受到衣服颜色、纹理的影响,同时又能去除行人身上的各种装饰物品是很困难的。
特点二、行人姿态的多样性。现实中行人具有多样的姿态,如直立、弯腰、蹲下、卧倒、倾斜等。与车辆或者车牌不同,这类刚体在现实中不会出现高度体积的突然改变,而行人体现出了柔性物体的特点,身体轮廓会有不同的变化。
特点三、行人尺度的多样性。一方面行人中有老人、中年人、孩童,其物理身高则会有较大的分布区间。另一方面由于拍摄距离的不同,对于同一个行人而言,越高、距离越远的拍摄点拍摄到行人其像素越低,高度越低;而越低、越近的拍摄点拍摄到的行人像素越高,高度越接近其真实身高。现有的算法对于高度大于100像素的行人检测效果较好,但是对于远距离,高度低的行人检测效果不好。行人检测应用在车辆辅助驾驶系统中时,往往都是需要系统检测远距离处出现的行人来提醒驾驶员,因此解决检测远距离的行人问题也是一个迫切的需求。
特点四、行人遮挡。现实中拍摄到的行人会存在遮挡情况,一方面会存在人群簇拥的情况。当多个人走在一起时,从各个角度看过去总会有人被挡住身体的一部分;另一方面行人可能会被环境中的物体,如数目、车辆、房屋遮挡住身体的一部分。此时行人被遮挡后其身体部分信息是缺失的,对于基于人体完整轮廓特征的检测器则会导致漏检的结果。
特点五、环境背景及光照多样性。在目标检测中,单一的背景会有利于目标的检测与识别。但是行人出现的环境为室外时,如城市道路、出入口等,其背景往往较为复杂,且一些复杂的背景如树木、路灯会与人体产生混淆。这也正是基于前景分割的行人检测效果不佳的原因,学者很难利用一个标准的先验知识来去除复杂的背景只留下人体。同时行人处于室外、室内、强光源、弱光源下时,不同的光照也会影响行人检测的精确度。低光照会模糊行人的轮廓,导致行人的边缘特征提取不准确。
本发明的图像中多信息感知的行人检测方法,从上述问题出发,较好地解决了行人目标在小尺度、姿态变化较大时,难以准确检测等问题。本发明基于现实中存在的行人检测困难,提出了产生包含上下文信息的行人正样本,同时运用尺度感知及视角分类方法对不同特点的行人进行训练,进而提升行人检测的效果。
本方法包括训练样本分类、分类器训练及集成、目标检测识别三个环节。
训练样本分类环节
提取训练图像中已标定的行人目标矩形框,根据行人目标矩形框的高度,将行人分为小尺度行人、大尺度正背面行人、大尺度侧面行人三类。具体而言,首先,先将行人目标依据根据阈值高度HT进行判断,分为大尺度目标和小尺度目标两类。此处阈值HT按照经验值取值,其值范围为:
40像素≤HT≤100像素
同时,对每一个行人目标矩形框,进行扩展,得到包含一定背景信息的目标上下文矩形框:将原始标注的行人目标矩形框进行上下左右的扩充。若其原始高度为H,原始宽度为W,保持其中心点坐标不变,矩形框向上扩展向下扩展向左扩展向右扩展得到包含上下文信息的新矩形框,即为目标上下文矩形框。
分类器训练及集成环节
首先训练得到大尺度目标分类器CL和小尺度目标分类器CS。大尺度目标分类器CL,由三个子分类器训练、集成得到。其中,三个子分类器权重的取值范围参考经验值,具体约束如下:
WL1+WL2+WL3=1
0.4≤WL1≤0.6
0.2≤WL2≤0.3
0.2≤WL3≤0.3
小尺度目标分类器CS,是由两个子分类器训练、集成得到的,两个子分类器权重的取值范围参考经验值,具体约束如下:
WS1+WS2=1
0.6≤WS1≤0.8
0.2≤WS2≤0.4
目标检测识别环节
通过三级级联筛选,进行目标的检测识别。第一级,基于滑动窗等方法得到的行人目标初始候选框;第二级,使用初始分类器CI(基于ACF特征、利用所有训练样本训练得到的分类器)进行分类判决,如果是行人目标,则保留为目标候选框,不是则直接判断为非行人;第三级,对每个目标候选框,基于其尺度大小(候选框高度≤阈值HT为小尺度目标,否则为大尺度目标),分别送入CS(小尺度目标框)和CL(大尺度目标框),进行分类判决。三步级联判决的结果,即为最终的检测识别结果。
根据本发明提供的一种图像中多分类器集成的行人检测系统,包括:第一获取模块、提取模块、判断模块、初始分类器、大尺度目标分类器、小尺度目标分类器和第二获取模块;
所述第一获取模块,用于获取待检测图像;
所述提取模块,用于基于所述待检测图像提取初始候选框;
所述判断模块,用于通过初始分类器判断初始候选框中的图像是否为行人目标;若所述初始分类器判断为行人,则判断初始候选框的高度是否大于预设阈值,若初始候选框的高度大于预设阈值,则驱动大尺度目标分类器,若初始候选框的高度小于等于预设阈值,则驱动小尺度目标分类器;
所述初始分类器,用于判断初始候选框中的图像是否为行人目标;所述初始分类器通过训练图像集中的所有图像样本训练得到;
所述大尺度目标分类器,用于对初始候选框的高度大于预设阈值的图像进行分类识别;其中,通过从所述初始候选框的高度大于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述大尺度目标分类器;
所述小尺度目标分类器,用于对初始候选框的高度小于等于预设阈值的图像进行分类识别;其中,通过对初始候选框的高度小于等于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述小尺度目标分类器;
所述第二获取模块,用于获取检测结果。
需要说明的是,本发明提供的所述图像中多分类器集成的行人检测方法中的步骤,可以利用所述图像中多分类器集成的行人检测系统中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程,即,所述系统中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种图像中多分类器集成的行人检测方法,其特征在于,包括:
获取待检测图像;
基于所述待检测图像提取初始候选框;
通过初始分类器判断初始候选框中的图像是否为行人目标,所述初始分类器通过训练图像集中的所有图像样本训练得到;
若所述初始分类器判断为行人目标,则判断初始候选框的高度是否大于预设阈值;
若初始候选框的高度大于预设阈值,则通过大尺度目标分类器对初始候选框的高度大于预设阈值的图像进行分类识别;其中,通过从所述初始候选框的高度大于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到多个子分类器,由该多个子分类器集成得到所述大尺度目标分类器;
若初始候选框的高度小于等于预设阈值,则通过小尺度目标分类器对初始候选框的高度小于等于预设阈值的图像进行分类识别;其中,通过对初始候选框的高度小于等于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到多个子分类器,由该多个子分类器集成得到所述小尺度目标分类器;
获取检测结果。
2.根据权利要求1所述的图像中多分类器集成的行人检测方法,其特征在于,还可以包括:构建针对初始分类器、大尺度目标分类器和小尺度目标分类器的训练图像样本;
对训练图像集中的训练图像标记初始候选框,所述初始候选框又称为行人目标矩形框,所述行人目标矩形框是指包含单个行人目标的最小外接矩形框;根据行人目标矩形框的高度和呈现的人体视角,将行人分为小尺度行人、大尺度正背面行人、大尺度侧面行人三类;当行人目标矩形框的高度小于等于预设阈值HT时,则所述行人目标矩形框内的行人为小尺度行人;当行人目标矩形框的高度大于预设阈值HT时,则所述行人目标矩形框内的行人为大尺度行人;根据大尺度行人的视角,进一步地分为大尺度正背面行人和大尺度侧面行人:其中,将身体正面或背面呈现在图像中的目标作为大尺度正背面行人,否则作为大尺度侧面行人。
3.根据权利要求2所述的图像中多分类器集成的行人检测方法,其特征在于,还可以包括:将行人目标矩形框进行上下文扩展,得到包含背景信息的行人目标上下文矩形框;其中,上下文扩展是指:保持行人目标矩形框的中心点坐标不变,调整行人目标矩形框的高度和宽度,当高度和宽度均变大时,则认为对行人目标矩形框进行了上下文扩展。
4.根据权利要求3所述的图像中多分类器集成的行人检测方法,其特征在于,还包括:大尺度目标分类器训练及集成步骤,所述大尺度目标分类器训练及集成步骤包括:
基于训练图像集中的大尺度行人,提取所述大尺度行人的聚合通道特性特征,简称ACF特征,利用Adaboost分类器训练后得到第一子分类器CL1
基于训练图像集中的大尺度正背面行人和所述大尺度正背面行人的行人目标上下文矩形框,提取Harr特征,利用Adaboost分类器训练后得到第二子分类器CL2
基于训练图像集中的大尺度侧面行人和所述大尺度侧面行人的行人目标上下文矩形框,提取Harr特征,利用Adaboost分类器训练后得到第三子分类器CL3
设置第一子分类器CL1、第二子分类器CL2、第三子分类器CL3所对应的权重,分别记为WL1,WL2,WL3,并对第一子分类器CL1、第二子分类器CL2、第三子分类器CL3按照设置的权重进行加权融合、集成得到大尺度目标分类器,记为CL
5.根据权利要求3所述的图像中多分类器集成的行人检测方法,其特征在于,还包括:小尺度目标分类器训练及集成步骤,所述小尺度目标分类器训练及集成步骤包括:
基于训练图像集中的小尺度行人和所述小尺度行人的行人目标上下文矩形框,提取Harr特征,利用Adaboost分类器训练后得到第四子分类器CS1
基于训练图像集中的小尺度行人,提取HOG特征,利用Adaboost分类器训练后得到第五子分类器CS2
分别设置第四子分类器CS1、第五子分类器CS2所对应的权重WS1,WS2,并对第四子分类器CS1和第五子分类器CS2按照设置的权重进行加权融合、集成得到小尺度目标分类器,记为CS
6.根据权利要求5所述的图像中多分类器集成的行人检测方法,其特征在于,所述基于小尺度行人,提取HOG特征,包括:
将所有小尺度行人的行人目标矩形框缩放至预设的尺度,获取小尺度行人的行人目标矩形框的梯度幅值,假设小尺度行人的行人目标矩形框总数为N,第i个小尺度行人对应一个梯度幅值矩阵Gi,则平均边缘分布矩阵表示为:
<mrow> <mover> <mi>G</mi> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </msubsup> <msub> <mi>G</mi> <mi>i</mi> </msub> <mo>.</mo> </mrow>
7.根据权利要求4-6中任一项所述的图像中多分类器集成的行人检测方法,其特征在于,所述提取Harr特征,包括:
将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框的平均边缘分布图进行矩形网格划分,所述矩形网格划分的尺寸包括但不限于如下几种:4*4像素、6*6像素、12*12;
按照所述平均边缘分布图所包含的人体部位,划分为:背景、行人头部、行人上半身、行人下半身;分别对背景、行人头部、行人上半身、行人下半身进行赋值;
通过将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框对相应的对平均边缘分布图进行遍历扫描,得到Haar特征。
8.根据权利要求7所述的图像中多分类器集成的行人检测方法,其特征在于,假设对背景、行人头部、行人上半身、行人下半身分别赋值为:0、+1、-1、+1,将大尺度正背面行人的行人目标上下文矩形框、大尺度侧面行人的行人目标上下文矩形框,或者小尺度行人的行人目标上下文矩形框中包含任意两种不同人体部位的Haar特征记为{+1,-1},将包含任意三种不同人体部位的Haar特征记为{+1,0,-1}。
9.根据权利要求1所述的图像中多分类器集成的行人检测方法,其特征在于,所述获取检测结果,包括:一旦获取初始分类器、大尺度目标分类器、小尺度目标分类器中的任一个分类器的分类结果,即作为最终检测结果进行输出。
10.一种图像中多分类器集成的行人检测系统,其特征在于,包括:第一获取模块、提取模块、判断模块、初始分类器、大尺度目标分类器、小尺度目标分类器和第二获取模块;
所述第一获取模块,用于获取待检测图像;
所述提取模块,用于基于所述待检测图像提取初始候选框;
所述判断模块,用于通过初始分类器判断初始候选框中的图像是否为行人目标;若所述初始分类器判断为行人,则判断初始候选框的高度是否大于预设阈值,若初始候选框的高度大于预设阈值,则驱动大尺度目标分类器,若初始候选框的高度小于等于预设阈值,则驱动小尺度目标分类器;
所述初始分类器,用于判断初始候选框中的图像是否为行人目标;所述初始分类器通过训练图像集中的所有图像样本训练得到;
所述大尺度目标分类器,用于对初始候选框的高度大于预设阈值的图像进行分类识别;其中,通过从所述初始候选框的高度大于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述大尺度目标分类器;
所述小尺度目标分类器,用于对初始候选框的高度小于等于预设阈值的图像进行分类识别;其中,通过对初始候选框的高度小于等于预设阈值的训练图像样本中提取到不同特征,并通过所述不同特征训练得到的多个子分类器,由所述多个子分类器集成得到所述小尺度目标分类器;
所述第二获取模块,用于获取检测结果。
CN201710386676.2A 2017-05-26 2017-05-26 图像中多分类器集成的行人检测方法和系统 Active CN107301378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710386676.2A CN107301378B (zh) 2017-05-26 2017-05-26 图像中多分类器集成的行人检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710386676.2A CN107301378B (zh) 2017-05-26 2017-05-26 图像中多分类器集成的行人检测方法和系统

Publications (2)

Publication Number Publication Date
CN107301378A true CN107301378A (zh) 2017-10-27
CN107301378B CN107301378B (zh) 2020-03-17

Family

ID=60138049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710386676.2A Active CN107301378B (zh) 2017-05-26 2017-05-26 图像中多分类器集成的行人检测方法和系统

Country Status (1)

Country Link
CN (1) CN107301378B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198192A (zh) * 2018-01-15 2018-06-22 任俊芬 一种基于深度学习的高精度快速人体分割方法
CN109145931A (zh) * 2018-09-03 2019-01-04 百度在线网络技术(北京)有限公司 物体检测方法、装置及存储介质
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术(北京)有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109784214A (zh) * 2018-12-27 2019-05-21 武汉理工大学 一种铁路轨道异物的检测装置及方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及系统
CN110163033A (zh) * 2018-02-13 2019-08-23 京东方科技集团股份有限公司 正样本获取方法、行人检测模型生成方法和行人检测方法
CN110866435A (zh) * 2019-08-13 2020-03-06 广州三木智能科技有限公司 一种自相似性梯度朝向直方图的远红外行人训练方法
CN111582418A (zh) * 2020-05-20 2020-08-25 郝杰 一种ar虚拟说明书的滑动展示方法
CN112101139A (zh) * 2020-08-27 2020-12-18 普联国际有限公司 人形检测方法、装置、设备及存储介质
CN113743481A (zh) * 2021-08-20 2021-12-03 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN116859380A (zh) * 2023-09-05 2023-10-10 长沙隼眼软件科技有限公司 目标航迹的测量方法、装置、电子设备及存储介质
CN112101139B (zh) * 2020-08-27 2024-05-03 普联国际有限公司 人形检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872477A (zh) * 2009-04-24 2010-10-27 索尼株式会社 检测图像中的对象的方法、装置,及包括该装置的系统
CN102467655A (zh) * 2010-11-05 2012-05-23 株式会社理光 多角度人脸检测方法和系统
CN106056631A (zh) * 2016-06-06 2016-10-26 中国矿业大学 基于运动区域的行人检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872477A (zh) * 2009-04-24 2010-10-27 索尼株式会社 检测图像中的对象的方法、装置,及包括该装置的系统
CN102467655A (zh) * 2010-11-05 2012-05-23 株式会社理光 多角度人脸检测方法和系统
CN106056631A (zh) * 2016-06-06 2016-10-26 中国矿业大学 基于运动区域的行人检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198192A (zh) * 2018-01-15 2018-06-22 任俊芬 一种基于深度学习的高精度快速人体分割方法
US11238296B2 (en) 2018-02-13 2022-02-01 Boe Technology Group Co., Ltd. Sample acquisition method, target detection model generation method, target detection method, computing device and computer readable medium
CN110163033A (zh) * 2018-02-13 2019-08-23 京东方科技集团股份有限公司 正样本获取方法、行人检测模型生成方法和行人检测方法
CN109190456A (zh) * 2018-07-19 2019-01-11 中国人民解放军战略支援部队信息工程大学 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN109145931B (zh) * 2018-09-03 2019-11-05 百度在线网络技术(北京)有限公司 物体检测方法、装置及存储介质
CN109145931A (zh) * 2018-09-03 2019-01-04 百度在线网络技术(北京)有限公司 物体检测方法、装置及存储介质
US11113836B2 (en) 2018-09-03 2021-09-07 Baidu Online Network Technology (Beijing) Co., Ltd. Object detection method, device, apparatus and computer-readable storage medium
CN109359683A (zh) * 2018-10-15 2019-02-19 百度在线网络技术(北京)有限公司 目标检测方法、装置、终端和计算机可读存储介质
CN109784214A (zh) * 2018-12-27 2019-05-21 武汉理工大学 一种铁路轨道异物的检测装置及方法
CN110135243A (zh) * 2019-04-02 2019-08-16 上海交通大学 一种基于两级注意力机制的行人检测方法及系统
CN110135243B (zh) * 2019-04-02 2021-03-19 上海交通大学 一种基于两级注意力机制的行人检测方法及系统
CN110866435A (zh) * 2019-08-13 2020-03-06 广州三木智能科技有限公司 一种自相似性梯度朝向直方图的远红外行人训练方法
CN110866435B (zh) * 2019-08-13 2023-09-12 广州三木智能科技有限公司 一种自相似性梯度朝向直方图的远红外行人训练方法
CN111582418B (zh) * 2020-05-20 2022-03-08 郝杰 一种ar虚拟说明书的滑动展示方法
CN111582418A (zh) * 2020-05-20 2020-08-25 郝杰 一种ar虚拟说明书的滑动展示方法
CN112101139A (zh) * 2020-08-27 2020-12-18 普联国际有限公司 人形检测方法、装置、设备及存储介质
CN112101139B (zh) * 2020-08-27 2024-05-03 普联国际有限公司 人形检测方法、装置、设备及存储介质
CN113743481A (zh) * 2021-08-20 2021-12-03 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN113743481B (zh) * 2021-08-20 2024-04-16 北京电信规划设计院有限公司 类人化图像识别方法和系统
CN116859380A (zh) * 2023-09-05 2023-10-10 长沙隼眼软件科技有限公司 目标航迹的测量方法、装置、电子设备及存储介质
CN116859380B (zh) * 2023-09-05 2023-11-21 长沙隼眼软件科技有限公司 目标航迹的测量方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107301378B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN107301378A (zh) 图像中多分类器集成的行人检测方法和系统
Marin et al. Learning appearance in virtual scenarios for pedestrian detection
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN103390164B (zh) 基于深度图像的对象检测方法及其实现装置
CN110070033A (zh) 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
CN104050481B (zh) 多模板轮廓特征和灰度相结合的红外图像实时行人检测
CN104091171B (zh) 基于局部特征的车载远红外行人检测系统及方法
CN109711262B (zh) 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN103530640B (zh) 基于AdaBoost与SVM的无牌车辆检测方法
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
CN105260749B (zh) 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN101094413A (zh) 用于视频监控的实时运动检测方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN104202547A (zh) 投影画面中提取目标物体的方法、投影互动方法及其系统
CN106874884A (zh) 基于部位分割的人体再识别方法
CN105160297A (zh) 基于肤色特征的蒙面人事件自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant