CN108694356B - 行人检测装置及方法、辅助驾驶系统 - Google Patents

行人检测装置及方法、辅助驾驶系统 Download PDF

Info

Publication number
CN108694356B
CN108694356B CN201710229280.7A CN201710229280A CN108694356B CN 108694356 B CN108694356 B CN 108694356B CN 201710229280 A CN201710229280 A CN 201710229280A CN 108694356 B CN108694356 B CN 108694356B
Authority
CN
China
Prior art keywords
particle
pedestrian
image
classifier
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710229280.7A
Other languages
English (en)
Other versions
CN108694356A (zh
Inventor
苏海军
唐小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710229280.7A priority Critical patent/CN108694356B/zh
Priority to US16/066,799 priority patent/US11508157B2/en
Priority to PCT/CN2017/107434 priority patent/WO2018188309A1/zh
Priority to EP17882265.6A priority patent/EP3611652A4/en
Publication of CN108694356A publication Critical patent/CN108694356A/zh
Application granted granted Critical
Publication of CN108694356B publication Critical patent/CN108694356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种行人检测装置，包括：分类器训练单元用于基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器；图像采集单元用于采集待检测图像；采样单元用于在待检测图像上采样获得子图像；计算单元用于对子图像基于粒子群优化算法检测行人，其中，每个粒子定义为子图像中预设大小的对象；在粒子群优化算法中基于分类器和每个粒子的行人特征计算该粒子的适应度值，适应度值表征粒子属于行人的可能性大小。本发明还提供一种行人检测方法。本发明不仅可以提高检测速率，而且还能够满足不同检测速率需求的应用场景。

Description

行人检测装置及方法、辅助驾驶系统
技术领域
本发明属于行人检测技术领域，具体涉及一种行人检测装置及方法、辅助驾驶系统。
背景技术
行人检测是辅助驾驶系统或者智能监控系统的一项关键技术，主要通过图像处理技术实时检测到目标区域是否存在行人，为实时警报提供技术依据。目前，常用的行人检测装置采用摄像头以及计算机视觉技术的方式，该方式虽然硬件设备简单，成本较低；但是主要难点集中在软件算法方面，如何提高检测精度和检测速率往往是该领域的关注重点。
对于辅助驾驶系统而言，若画面中出现多个人，在实际应用系统中能检测到一个即可，因此，检测速率相对检测精度而言更为重要；而目前常用的行人检测装置是采用滑动窗口遍历搜索图像，检测速率较低，不能够满足要求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种行人检测装置及方法、辅助驾驶系统，不仅可以提高检测速率，而且还能够满足不同检测速率需求的应用场景。
为解决上述问题之一，本发明提供了一种行人检测装置，包括：分类器训练单元、图像采集单元、采样单元、计算单元；其中
所述分类器训练单元，用于基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器；
所述图像采集单元，用于采集待检测图像；
所述采样单元，用于在所述待检测图像上采样获得子图像；
所述计算单元，用于对所述子图像基于粒子群优化算法检测行人，其中，每个粒子定义为所述子图像中预设大小的对象；在粒子群优化算法中基于所述分类器和每个粒子的行人特征计算该粒子的适应度值，所述适应度值表征粒子属于行人的可能性大小。
优选地，所述行人特征包括积分通道特征。
优选地，所述分类器包括boost分类器。
优选地，所述计算单元包括：
初始化模块，用于初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数；
行人特征提取模块，用于提取每个粒子的行人特征；
适应度值计算模块，用于基于所述分类器和每个粒子的行人特征计算该粒子的适应度值；
最优位置确定模块，用于比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有粒子的局部最优解中，确定适应度值最大值者为全局最优解；
粒子速度更新模块，用于基于全局最优解和局部最优解更新每个粒子的速度；
粒子位置更新模块，用于基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子；
结果输出模块，用于判断所述适应度值计算模块计算的下一代每个粒子的适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则控制所述最优位置确定模块工作；
迭代次数统计模块，用于在获得下一代粒子之后当前迭代次数加1，且在迭代次数达到最大迭代次数时向所述行人特征提取模块发送停止工作指令。
优选地，所述采样单元，用于对所述待检测图像按照预设缩放因子进行逐级缩放以获得多级子图像；
所述计算单元，用于在迭代次数达到最大迭代次数时对下一级子图像基于粒子群优化算法检测行人。
本发明还提供一种行人检测方法，包括以下步骤：
基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器；
采集待检测图像；
在所述待检测图像上采样获得子图像；
对所述子图像基于粒子群优化算法检测行人，其中，每个粒子定义为所述子图像中预设大小的对象，在所述粒子群优化算法中基于所述分类器和每个粒子的行人特征计算该粒子的适应度值，所述适应度值表示该粒子属于行人的可能性大小。
优选地，所述行人特征包括积分通道特征。
优选地，所述分类器包括boost分类器。
优选地，对所述子图像基于粒子群优化算法检测行人的步骤，包括：
初始化步骤：初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数；
工作步骤：提取每个粒子的行人特征；
基于所述分类器和每个粒子的行人特征计算该粒子的适应度值；
比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有粒子的局部最优解中，确定适应度值最大值者为全局最优解；
基于全局最优解和局部最优解更新每个粒子的速度；
基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子；
提取下一代每个粒子的行人特征，基于所述分类器和下一代的每个粒子的行人特征计算该粒子的适应度值，并判断该适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则重复执行所述工作步骤；
在获得下一代粒子之后当前迭代次数加1，且在迭代次数达到最大迭代次数时停止所述工作步骤。
优选地，在所述待检测图像上采样获得子图像的步骤，包括：
对所述待检测图像按照预设缩放因子进行逐级缩放以获得多个子图像；
所述行人检测方法在迭代次数达到最大迭代次数时，还包括：对下一级子图像基于粒子群优化算法检测行人。
本发明还提供一种辅助驾驶系统，包括本发明上述提供的行人检测装置。
本发明具有以下有益效果：
在本发明中，将粒子群优化算法引用了行人检测领域，将一个粒子广义化为以该粒子为起点大小为预设大小的行人检测窗口，以及将适应度值广义化为表征属于行人的概率得分，通过粒子群优化(PSO)算法在搜索图像中能快速收敛到概率得分较高的区域，并且，可以使得行人检测的检测速率不再与图像大小成正比例，而是与优化算法的粒子数相关联，从而能够满足不同检测速率需求的应用场景。
附图说明
图1为本发明实施例提供的行人检测装置的原理框图；
图2为图1中计算单元的原理框图；
图3为本发明实施例提供的行人检测方法的流程图；
图4为图3中步骤S40的流程图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图来对本发明提供的行人检测装置及方法、辅助驾驶系统进行详细描述。
实施例1
图1为本发明实施例提供的行人检测装置的原理框图；请参阅图1，本发明实施例提供的行人检测装置，包括：分类器训练单元10、图像采集单元20、采样单元30、计算单元40。
其中，分类器训练单元10用于基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器。图像采集单元20用于采集待检测图像。采样单元30用于在待检测图像上采样获得子图像。计算单元40用于对子图像基于粒子群优化算法检测行人，其中，每个粒子定义为子图像中预设大小的对象；在粒子群优化算法中基于分类器和每个粒子的行人特征计算该粒子的适应度值，适应度值表征粒子属于行人的可能性大小。具体地，若适应度值越大，则表示属于行人的可能性也就也大；若适应度值越小，则表示属于行人的可能性也就越小。
优选地，行人特征包括但不限于积分通道特征，由于积分通道特征能够更好地描述行人，因此，能够提高检测行人的准确度和检测效率。
具体地，根据积分通道特征的定义，计算出包含LUV(色度和色差)、梯度幅值、方向梯度直方图(Histogram of Gradient简称HOG)特征，并将其顺次连接构成积分通道特征；其中，LUV分别表示亮度和两个色差特征；梯度幅值是上下左右相邻像素差的平方根，梯度方向是上下左右相邻像素差的反正切值(公式(1))，mag表示梯度幅值，Ori表示梯度方向；HOG是每一个像素的梯度幅值在对应的梯度方向上的加权直方图表示(公式(2))：
其中，公式(1)和(2)中的fi,j表示图像位置(i,j)处的像素值；公式(2)中的表示第/>个直方图，符号/>表示向上取整。
优选地，分类器包括但不限于boost分类器，boost分类器是将若干个弱分类器强化成一个强分类器的过程，因此具有使用灵活，分类精度高的特点，同时还兼顾了计算性能。
具体地，请参阅图2，计算单元40包括：初始化模块401、行人特征提取模块402、适应度计算模块403、最优位置确定模块404、粒子速度更新模块405、粒子位置更新模块406、结果输出模块407和迭代次数统计模块408。
其中，初始化模块401用于初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数
在此需要说明的是，最大迭代次数和粒子数量通常为人为自行设定的，初始化的每个粒子的位置通常设置为随机值；速度更新公式和位置更新公式中的参数可根据经验获得最优常值；对于行人检测而言，搜索空间为二维空间，因此，粒子的位置可以用(xi1,xi2)表示；每个粒子不仅具有位置属性、还具有速度属性和适应度值属性。
行人特征提取模块402用于提取每个粒子的行人特征。
适应度值计算模块403用于基于分类器和每个粒子的行人特征计算该粒子的适应度值。具体地，适应度值用于衡量粒子优劣，同时也作为确定局部和全局最优粒子的依据，更是粒子搜索的基础依据。
最优位置确定模块404用于比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有的粒子的局部最优解中，确定适应度值最大值者为全局最优解。
粒子速度更新模块405用于基于全局最优解和局部最优解更新每个粒子的速度。具体地，由于所有粒子的运动是会受到局部最优解和全局最优解的吸引，因此，速度更新公式包括但不限于以下方式：
其中，ω是保持原来速度的系数，所以叫做惯性权重，通常设置为0.79。
c1是粒子跟踪自己历史最优值的权重系数，它表示粒子自身的认识，所以叫认知系数，通常设置为2。
c2是粒子跟踪群体最优值的权重系数，它表示粒子对整个群体知识的认识，所以叫做社会系数，通常设置为2。
ξ、η是[0,1]区间内均匀分布的随机数，其作用是产生随机扰动，通常设置为0.7。
d表示维度，对于行人检测只有x和y两个维度。
表示第i个粒子的d维度在k次迭代的局部最优解；
表示所有粒子的d维度在k次迭代的全局最优解；
表示第i个粒子的d维度在k次迭代的位置。
速度更新公式的物理意义为：第i个粒子的d维度在k+1次迭代中的速度＝该粒子在k次迭代中的速度与惯性系数的积+该粒子d维度受局部最优解的吸引量+该粒子d维度受全局最优解的吸引量；通常为防止计算过大，会设置速度的最大值与最小值。
粒子位置更新模块406用于基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子。具体地，因为每个粒子具有上文中计算得到的速度，因此粒子的位置会在该速度的驱动下按照如下公式更新：
其中，r为速度约束量，通常设置为1。
位置更新公式的物理意义为：第i个粒子在k+1次迭代搜索中在d维度的位置＝上次在d维度的位置+速度与约束量的积。
需要在此说明的是，在粒子更新过程中，要始终保持粒子在搜索空间范围内，对于[m,n]的子图像，粒子大小为64*128，其搜索空间为：[m-64,n-128]。
结果输出模块407用于判断适应度值计算模块403计算的下一代每个粒子的适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则控制所述最优位置确定模块404继续工作。可以理解，通过预设值来作为阈值进行判断粒子是否属于行人，可以进一步提高检测速率。
在实际应用中，具体地，若结果输出模块确定该粒子属于行人，则在输出图像中叠加该粒子对应的图像，和/或，提供报警。
迭代次数统计模块408用于在获得下一代粒子之后当前迭代次数累积加1，且在迭代次数达到最大迭代次数时向行人特征提取模块402发送停止工作指令。
进一步具体地，采样单元30用于对待检测图像按照预设缩放因子进行逐级缩放以获得多级子图像；计算单元40用于在迭代次数达到最大迭代次数时对下一级子图像基于粒子群优化算法检测行人。通过采样单元30对待检测图像按照预设缩放因子进行逐级缩放以获得多级子图像，这样，可以在子图像中行人较小时在放大的子图像中检测出行人，在子图像中行人较大时在缩小的子图像中检测出行人，因此，可以快速地检测出行人。
更具体地，假设一幅图像大小为[m,n]，采样公式可以表示为：scale*[m,n]，其中scale为缩放因子，如果该值大于1，采样的每级子图像宽度和高度会相对上一级子图像按照比例放大，此时，子图像可称之为进行上采样；如果0<scale<1，采样的每级子图像宽度和高度会相对上一级子图像按照比例缩小，此时，子图像可称之为进行下采样，其中，得到的多级子图像可依次称之为第1级子图像、第2级子图像……，其中，第1级子图像为第2级子图像的上一级子图像。
下面详细描述本发明实施例提供的行人检测装置的工作过程。具体地，包括以下步骤：
S1，初始化模块401初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数。
S2，在视频中选取一帧图像作为待检测图像。
S3，采样单元30对待检测图像按照预设缩放因子进行逐级缩放以获得多级子图像。
选取第1级子图像，执行以下步骤：
S4，行人特征提取模块402提取每个粒子的行人特征；
S5，适应度值计算模块403基于分类器和每个粒子的行人特征计算该粒子的适应度值。
S6，最优位置确定模块404确定出局部最优解和全局最优解。
S7，粒子速度更新模块405基于局部最优解和全局最优解更新每个粒子的速度。
S8,粒子位置更新模块406基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子。
S9，行人特征提取模块402提取下一代粒子的行人特征。
S10，适应度值计算模块403基于分类器和下一代每个粒子的行人特征计算该粒子的适应度值。
S11，结果输出模块407判断下一代每个粒子的适应度值是否达到预设值，若是，则确定该粒子属于行人，在输出图像中叠加该粒子对应的图像，和/或，提供报警；若否，则重复执行步骤S6并进入步骤S12；
S12，迭代次数统计模块408在获得下一代粒子之后当前迭代次数加1，在迭代次数达到最大迭代次数时对下一级子图像执行步骤S4。
若针对多级子图像在步骤S10和S11中均没有检测到行人时，进入步骤S2，将视频的下一帧图像作为待检测图像，继续工作。
综上所述，本发明实施例提供的行人检测装置，将粒子群优化算法引用了行人检测领域，将一个粒子广义化为以该粒子为起点大小为预设大小的行人检测窗口，以及将适应度值广义化为表征属于行人的概率得分，通过粒子群优化(PSO)算法在搜索图像中能快速收敛到概率得分较高的区域，并且，可以使得行人检测的检测速率不再与图像大小成正比例，而是与优化算法的粒子数相关联，从而能够满足不同检测速率需求的应用场景。
实施例2
图3为本发明实施例提供的行人检测方法的流程图。请参阅图3，本发明实施例提供的行人检测方法，包括以下步骤：
S10，基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器；
S20，采集待检测图像；
S30，在所述待检测图像上采样获得子图像；
S40，对所述子图像基于粒子群优化算法检测行人，其中，每个粒子定义为子图像中预设大小的对象；在所述粒子群优化算法中基于所述分类器和每个粒子的行人特征计算该粒子的适应度值，适应度值表示该粒子属于行人的可能性大小。
优选地，行人特征包括积分通道特征。
优选地，分类器包括boost分类器。
请参阅图4，上述步骤S40包括以下步骤：
S401，初始化步骤：初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数。
S402，工作步骤：
S4021，提取每个粒子的行人特征；
S4022，基于分类器和每个粒子的行人特征计算该粒子的适应度值；
S4023，比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有粒子的局部最优解中，确定适应度值最大值者为全局最优解；
S4024，基于全局最优解和局部最优解更新每个粒子的速度；
S4025，基于更新后的粒子速度更新每个粒子的位置，获得下一次粒子；
S4026，提取下一代每个粒子的行人特征，基于所述分类器和下一代每个粒子的行人特征计算该粒子的适应度值，并判断该适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则重复执行该工作步骤；
S4027，在获得下一代粒子之后当前迭代次数加1，且在迭代次数达到最大迭代次数时该停止工作步骤。
更具体地，步骤S30包括：对待检测图像按照预设缩放因子进行逐级缩放以获得多个子图像；在这种情况下，该行人检测方法在迭代次数达到最大迭代次数时，步骤S4022还包括：对下一级子图像基于粒子群优化算法检测行人。
由于本发明实施例提供的行人检测方法与本发明上述实施例提供的行人检测装置相对应，而行人检测装置在上文中已经有了详细地描述，因此，本实施例提供的行人检测方法的相关内容在此不再详述，请见行人检测装置中的相应内容。
综上所述，本发明实施例提供的行人检测方法，将粒子群优化算法引用了行人检测领域，将一个粒子广义化为以该粒子为起点大小为预设大小的行人检测窗口，以及将适应度值广义化为表征属于行人的概率得分，通过粒子群优化(PSO)算法在搜索图像中能快速收敛到概率得分较高的区域，并且，可以使得行人检测的检测速率不再与图像大小成正比例，而是与优化算法的粒子数相关联，从而能够满足不同检测速率需求的应用场景。
实施例3
本发明还提供一种辅助驾驶系统，包括上述实施例1提供的行人检测装置。所述辅助驾驶系统包括辅助司机驾驶系统，还包括无人驾驶汽车等中的辅助系统。
本发明实施例提供的辅助驾驶系统，由于采用本发明上述实施例1提供的行人检测装置，能够快速地检测到行人，从而辅助驾驶的效果好，应用性强。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种行人检测装置，其特征在于，包括：分类器训练单元、图像采集单元、采样单元、计算单元；其中
所述分类器训练单元，用于基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器；所述行人特征包括积分通道特征；
所述图像采集单元，用于采集待检测图像；
所述采样单元，用于在所述待检测图像上采样获得子图像；
所述计算单元，用于对所述子图像基于粒子群优化算法检测行人，其中，每个粒子定义为所述子图像中预设大小的对象；在粒子群优化算法中基于所述分类器和每个粒子的行人特征计算该粒子的适应度值，所述适应度值表征粒子属于行人的可能性大小；
所述计算单元包括：
初始化模块，用于初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数；
行人特征提取模块，用于提取每个粒子的行人特征；
适应度值计算模块，用于基于所述分类器和每个粒子的行人特征计算该粒子的适应度值；
最优位置确定模块，用于比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有粒子的局部最优解中，确定适应度值最大值者为全局最优解；
粒子速度更新模块，用于基于全局最优解和局部最优解更新每个粒子的速度；
粒子位置更新模块，用于基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子；
结果输出模块，用于判断所述适应度值计算模块计算的下一代每个粒子的适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则控制所述最优位置确定模块工作；
迭代次数统计模块，用于在获得下一代粒子之后当前迭代次数加1，且在迭代次数达到最大迭代次数时向所述行人特征提取模块发送停止工作指令。
2.根据权利要求1所述的行人检测装置，其特征在于，所述分类器包括boost分类器。
3.根据权利要求1所述的行人检测装置，其特征在于，所述采样单元，用于对所述待检测图像按照预设缩放因子进行逐级缩放以获得多级子图像；
所述计算单元，用于在迭代次数达到最大迭代次数时对下一级子图像基于粒子群优化算法检测行人。
4.一种行人检测方法，其特征在于，包括以下步骤：
基于训练样本提取行人特征，并基于该行人特征离线训练获得分类器，所述行人特征包括积分通道特征；
采集待检测图像；
在所述待检测图像上采样获得子图像；
对所述子图像基于粒子群优化算法检测行人，其中，每个粒子定义为所述子图像中预设大小的对象，在所述粒子群优化算法中基于所述分类器和每个粒子的行人特征计算该粒子的适应度值，所述适应度值表示该粒子属于行人的可能性大小；该步骤包括：
初始化步骤：初始化最大迭代次数、粒子数量、每个粒子的位置、速度更新公式中的参数和位置更新公式中的参数；
工作步骤：提取每个粒子的行人特征；
基于所述分类器和每个粒子的行人特征计算该粒子的适应度值；
比较每个粒子的适应度值和该粒子之前搜索位置的适应度值，确定最大值者为该粒子在搜索过程中的局部最优解；在所有粒子的局部最优解中，确定适应度值最大值者为全局最优解；
基于全局最优解和局部最优解更新每个粒子的速度；
基于更新后的粒子速度更新每个粒子的位置，获得下一代粒子；
提取下一代每个粒子的行人特征，基于所述分类器和下一代的每个粒子的行人特征计算该粒子的适应度值，并判断该适应度值是否达到预设值，若是，则确定该粒子属于行人；若否，则重复执行所述工作步骤；
在获得下一代粒子之后当前迭代次数加1，且在迭代次数达到最大迭代次数时停止所述工作步骤。
5.根据权利要求4所述的行人检测方法，其特征在于，所述分类器包括boost分类器。
6.根据权利要求4所述的行人检测方法，其特征在于，在所述待检测图像上采样获得子图像的步骤，包括：
对所述待检测图像按照预设缩放因子进行逐级缩放以获得多个子图像；
所述行人检测方法在迭代次数达到最大迭代次数时，还包括：对下一级子图像基于粒子群优化算法检测行人。
7.一种辅助驾驶系统，其特征在于，包括权利要求1-3任意一项所述的行人检测装置。
CN201710229280.7A 2017-04-10 2017-04-10 行人检测装置及方法、辅助驾驶系统 Active CN108694356B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710229280.7A CN108694356B (zh) 2017-04-10 2017-04-10 行人检测装置及方法、辅助驾驶系统
US16/066,799 US11508157B2 (en) 2017-04-10 2017-10-24 Device and method of objective identification and driving assistance device
PCT/CN2017/107434 WO2018188309A1 (zh) 2017-04-10 2017-10-24 行人识别装置及方法、辅助驾驶装置
EP17882265.6A EP3611652A4 (en) 2017-04-10 2017-10-24 PEDESTRIAN IDENTIFICATION DEVICE AND METHOD, AND DRIVING ASSISTANCE DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710229280.7A CN108694356B (zh) 2017-04-10 2017-04-10 行人检测装置及方法、辅助驾驶系统

Publications (2)

Publication Number Publication Date
CN108694356A CN108694356A (zh) 2018-10-23
CN108694356B true CN108694356B (zh) 2024-05-07

Family

ID=63793107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710229280.7A Active CN108694356B (zh) 2017-04-10 2017-04-10 行人检测装置及方法、辅助驾驶系统

Country Status (4)

Country Link
US (1) US11508157B2 (zh)
EP (1) EP3611652A4 (zh)
CN (1) CN108694356B (zh)
WO (1) WO2018188309A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711366B (zh) * 2018-12-29 2021-04-23 浙江大学 一种基于群组信息损失函数的行人重识别方法
CN110444022A (zh) * 2019-08-15 2019-11-12 平安科技（深圳）有限公司 交通流数据分析模型的构建方法和装置
CN111461177B (zh) * 2020-03-09 2023-07-07 北京邮电大学 一种图像的识别方法及装置
CN114459501B (zh) * 2021-12-10 2023-08-25 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种惯导安装误差自动标定方法及装置
CN115100365B (zh) * 2022-08-25 2023-01-20 国网天津市电力公司高压分公司 一种基于粒子群算法的相机最优基线获取方法
CN116503399B (zh) * 2023-06-26 2024-03-22 广东电网有限责任公司湛江供电局 基于yolo-afps的绝缘子污闪检测方法
CN117152258B (zh) * 2023-11-01 2024-01-30 中国电建集团山东电力管道工程有限公司 一种管道生产智慧车间的产品定位方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485283A (zh) * 2016-10-19 2017-03-08 电子科技大学 一种基于Online Boosting的粒子滤波行人目标跟踪方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589315B2 (en) * 2004-08-14 2013-11-19 Hrl Laboratories, Llc Behavior recognition using cognitive swarms and fuzzy graphs
US8301406B2 (en) * 2008-07-24 2012-10-30 University Of Cincinnati Methods for prognosing mechanical systems
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8768868B1 (en) 2012-04-05 2014-07-01 Hrl Laboratories, Llc Optimal multi-class classifier threshold-offset estimation with particle swarm optimization for visual object recognition
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
CN103927531B (zh) 2014-05-13 2017-04-05 江苏科技大学 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法
WO2020000248A1 (zh) * 2018-06-27 2020-01-02 大连理工大学 一种基于空间重构的航空发动机过渡态加速过程关键性能参数预测方法
CN110333325B (zh) * 2019-08-02 2021-09-17 中南大学 一种大气污染环境下列车运行防护方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485283A (zh) * 2016-10-19 2017-03-08 电子科技大学 一种基于Online Boosting的粒子滤波行人目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征和最小二乘支持向量机相融合的行人检测模型;周浩;《激光杂志》;20141031;第35卷(第10期);第46-50页 *

Also Published As

Publication number Publication date
US20210166042A1 (en) 2021-06-03
US11508157B2 (en) 2022-11-22
WO2018188309A1 (zh) 2018-10-18
EP3611652A1 (en) 2020-02-19
CN108694356A (zh) 2018-10-23
EP3611652A4 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
CN108694356B (zh) 行人检测装置及方法、辅助驾驶系统
WO2020173226A1 (zh) 一种时空行为检测方法
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
WO2020098158A1 (zh) 行人重识别方法、装置及计算机可读存储介质
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
WO2021139484A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
EP3651055A1 (en) Gesture recognition method, apparatus, and device
JP5719230B2 (ja) 物体認識装置、物体認識装置の制御方法、およびプログラム
CN110287907B (zh) 一种对象检测方法和装置
JP2016015045A (ja) 画像認識装置、画像認識方法及びプログラム
CN110781962B (zh) 基于轻量级卷积神经网络的目标检测方法
JP2020149642A (ja) 物体追跡装置および物体追跡方法
CN114693661A (zh) 一种基于深度学习的快速分拣方法
Tapu et al. Real time static/dynamic obstacle detection for visually impaired persons
CN109331389A (zh) 一种基于多传感器融合的消防机器人动作实时监测方法
CN112581540A (zh) 一种大场景下基于人体姿态估计的相机标定方法
US20230419500A1 (en) Information processing device and information processing method
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法
CN104899557B (zh) 一种基于视频的交叉路口背景图像提取方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN113628251B (zh) 一种智慧酒店终端监测方法
CN107067411B (zh) 一种结合密集特征的Mean-shift跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant