CN109117717A - 一种城市行人检测方法 - Google Patents

一种城市行人检测方法 Download PDF

Info

Publication number
CN109117717A
CN109117717A CN201810696570.7A CN201810696570A CN109117717A CN 109117717 A CN109117717 A CN 109117717A CN 201810696570 A CN201810696570 A CN 201810696570A CN 109117717 A CN109117717 A CN 109117717A
Authority
CN
China
Prior art keywords
image
network
pedestrian
scale
pedestrian detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810696570.7A
Other languages
English (en)
Inventor
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Original Assignee
Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd filed Critical Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Priority to CN201810696570.7A priority Critical patent/CN109117717A/zh
Publication of CN109117717A publication Critical patent/CN109117717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种城市行人检测方法，包括以下步骤：S1、通过图像特征获取模块接收原始图像；S2、将接收的原始图像通过图像处理模块进行处理；S3、特征图扩展；S4、将所述整体特征图像和所述局部特征放大图像依次连接；S5、分类网络训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；S6、行人检测标注：将得到的两种规模特征图的候选窗口数目按比例汇总，经过S5中训练好的分类器分类，经过非极大值抑制后框出行人；S7、检测结果显示。本发明采用整体特征图像与局部放大特征图像配合检测，提高了行人检测的准确性，并且利不同特征图上检测用不同权值加权有效避免了单一特征图检测的误判和漏检。

Description

一种城市行人检测方法
技术领域
本发明涉及目标检测领域，具体是一种城市行人检测方法。
背景技术
行人检测(Pedestrian Detection)是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。该技术可与行人跟踪，行人重识别等技术结合，应用于人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域。由于行人兼具刚性和柔性物体的特性，外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人检测成为计算机视觉领域中一个既具有研究价值同时又极具挑战性的热门课题。
现有行人检测方法有三种，分别为基于全局特征的方法、基于人体部位的方法、基于立体视觉的方法。
近年来，行人检测技术在智能监控、自动驾驶、机器人视觉等方面具有广泛的应用。实际应用中行人的着装，姿态尤其是视频中捕捉到的行人尺寸多变使得行人检测面临极大的挑战性。行人检测主要有两大方式：一种是基于滑动窗口的传统的行人检测方法，一种是基于深度学习提取特征的行人检测方法。传统的行人检测方法计算量大且没有利用GPU资源检测速度受限，由于计算机性能不断增强并且利用了GPU计算能力，大多基于学习特征的深度学习方法检测速度优于传统方法，但是往往难以解决行人的多尺度问题。
发明内容
本发明的目的在于提供一种城市行人检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种城市行人检测方法，包括以下步骤：
S1、通过安装于城市道路旁的摄像头采集行人图像，并将采集的图像上传，通过图像特征获取模块接收原始图像；
S2、将接收的原始图像通过图像处理模块进行处理，并提取其中的局部特征，进行放大，其中，所述图像特征图(或者叫地标图)是指利用参数化特征(如点和线)的全局位置来表示环境；
S3、特征图扩展：通过图像幂率规则和图像特征金字塔规则计算图像临近规模对应的特征图；
S4、将所述整体特征图像和所述局部特征放大图像依次连接，并将整体特征图像和所述局部特征放大图像输送到特征数据库模块进行比对；
S5、分类网络训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；
S6、行人检测标注：将得到的两种规模特征图的候选窗口数目按比例汇总，经过S5中训练好的分类器分类，经过非极大值抑制后框出行人；
S7、检测结果显示。
作为本发明进一步的方案：所述S2中将接收的图像进行提取放大的步骤为：从整体特征图像中，扫面选取行人的明显特征，并通过放大，清晰的处理，将局部特征显现处理，并进行保存。
作为本发明再进一步的方案：所述S3中扩展的图片规模和扩展次数不设限。
作为本发明再进一步的方案：所述S3中对特征图扩展的步骤为：通过图像幂率规则和图像特征金字塔规则计算图像I1临近规模对应的特征图，一般利用fm＝Cp(S(I1，M))，式中I1代表原图像，M代表缩放规模，S代表将原图缩放，Cp代表卷积池化操作计算特征，现在为减少卷积运算提高运行速度，利用公式：
其中：参数m表示当前规模，m’表示缩放后的规模，S代表将特征图缩放m’/m倍，f表示特征，常系数α可以在训练集上通过实验测得，以上公式表明原图Im通过卷积池化操作得到特征，临近缩放规模图像特征由已知特征图近似计算得到，如1/2*I1可以计算得到f1/2，因为图像上采样没有高频损失，上采样图片的信息内容与低分辨率的内容相似，特征计算公式为：
fσ＝σ*S(f1，σ)(3.2)
式中f1代表原图对应特征图，S代表将特征图f1放大σ倍，fσ为上采样图像。
作为本发明再进一步的方案：所述S5中对分类网络训练包括：选择在有多种行人尺度的KITTI数据集上实验，我们在训练数据集上将行人按高度分为X个尺寸的行人。
作为本发明再进一步的方案：利用卷积层特征共享训练RPN(region proposalnetwork)网络和softmax分类器联合网络，采用交叉轮流训练的方式，先训练区域提议网络(R P N)，再用提议(proposal)训练基于区域的分类器网络，再用分类器网络训练区域提议网络，损失层(losslayer)是卷积神经网络(CNN)的终点，接受两个值作为输入，其中一个是CNN的预测值，另一个是真实标签。
作为本发明再进一步的方案：所述损失层则将这两个输入进行一系列运算，得到当前网络的损失函数(LossFunction)，一般记做L(W)，其中W是当前网络权值构成的向量空间，训练网络的目的是在权值空间中找到让损失函数L(W)最小的权值W(opt)，可以采用随机梯度下降(stochasticgradient descent)的最优化方法逼近权值W(opt)，网络中有两个损失函数，一个是分类损失函数一个是回归损失函数。
作为本发明再进一步的方案：所述S6中对行人检测标注的步骤为：每个规模的候选行人分别与S5中训练得到的权重lx相乘，通过非极大值抑制，除去与最大置信度窗口重叠超过65％的窗口。
与现有技术相比，本发明的有益效果是：本发明采用整体特征图像与局部放大特征图像配合检测，提高了行人检测的准确性，并且利不同特征图上检测用不同权值加权有效避免了单一特征图检测的误判和漏检。
附图说明
图1为城市行人检测方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种城市行人检测方法，包括以下步骤：
S1、通过安装于城市道路旁的摄像头采集行人图像，并将采集的图像上传，通过图像特征获取模块接收原始图像；
S2、将接收的原始图像通过图像处理模块进行处理，并提取其中的局部特征，进行放大，其中，所述图像特征图(或者叫地标图)是指利用参数化特征(如点和线)的全局位置来表示环境；
S3、特征图扩展：通过图像幂率规则和图像特征金字塔规则计算图像临近规模对应的特征图，此处扩展的图片规模和扩展次数不设限；
S4、将所述整体特征图像和所述局部特征放大图像依次连接，并将整体特征图像和所述局部特征放大图像输送到特征数据库模块进行比对；
S5、分类网络训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；
S6、行人检测标注：将得到的两种规模特征图的候选窗口数目按比例汇总，经过S5中训练好的分类器分类，经过非极大值抑制后框出行人；
S7、检测结果显示。
所述S2中将接收的图像进行提取放大的步骤为：从整体特征图像中，扫面选取行人的明显特征，并通过放大，清晰的处理，将局部特征显现处理，并进行保存。
所述S3中对特征图扩展的步骤为：通过图像幂率规则和图像特征金字塔规则计算图像I1临近规模对应的特征图，一般利用fm＝Cp(S(I1，M))，式中I1代表原图像，M代表缩放规模，S代表将原图缩放，Cp代表卷积池化操作计算特征，现在为减少卷积运算提高运行速度，利用公式：
其中：参数m表示当前规模，m`表示缩放后的规模，S代表将特征图缩放m`/m倍，f表示特征，常系数α可以在训练集上通过实验测得，以上公式表明原图Im通过卷积池化操作得到特征，临近缩放规模图像特征由已知特征图近似计算得到，如1/2*I1可以计算得到f1/2，因为图像上采样没有高频损失，上采样图片的信息内容与低分辨率的内容相似，特征计算公式为：
fσ＝σ*S(f1，σ))(3.2)
式中f1代表原图对应特征图，S代表将特征图f1放大σ倍，fσ为上采样图像。
所述S5中对分类网络训练的步骤为：
1、选择在有多种行人尺度的KITTI数据集上实验，我们在训练数据集上将行人按高度分为X个尺寸的行人(此处尺寸级数不设限)；
2、利用卷积层特征共享训练RPN(region proposal network)网络和softmax分类器联合网络，采用交叉轮流训练的方式，先训练区域提议网络(RPN)，再用提议(proposal)训练基于区域的分类器网络，再用分类器网络训练区域提议网络。损失层(losslayer)是卷积神经网络(CNN)的终点，接受两个值作为输入，其中一个是CNN的预测值，另一个是真实标签。损失层则将这两个输入进行一系列运算，得到当前网络的损失函数(LossFunction)，一般记做L(W)，其中W是当前网络权值构成的向量空间。训练网络的目的是在权值空间中找到让损失函数L(W)最小的权值W(opt)，可以采用随机梯度下降(stochasticgradientdescent)的最优化方法逼近权值W(opt)，网络中有两个损失函数，一个是分类损失函数一个是回归损失函数；
所述S6中对行人检测标注的步骤为：每个规模的候选行人分别与S5中训练得到的权重lx相乘，通过非极大值抑制，除去与最大置信度窗口重叠超过65％的窗口。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种城市行人检测方法，其特征在于，包括以下步骤：
S1、通过安装于城市道路旁的摄像头采集行人图像，并将采集的图像上传，通过图像特征获取模块接收原始图像；
S2、将接收的原始图像通过图像处理模块进行处理，并提取其中的局部特征，进行放大，其中，所述图像特征图(或者叫地标图)是指利用参数化特征(如点和线)的全局位置来表示环境；
S3、特征图扩展：通过图像幂率规则和图像特征金字塔规则计算图像临近规模对应的特征图；
S4、将所述整体特征图像和所述局部特征放大图像依次连接，并将整体特征图像和所述局部特征放大图像输送到特征数据库模块进行比对；
S5、分类网络训练：利用多种尺度行人在不同特征图中的的分布训练深度神经网络；
S6、行人检测标注：将得到的两种规模特征图的候选窗口数目按比例汇总，经过S5中训练好的分类器分类，经过非极大值抑制后框出行人；
S7、检测结果显示。
2.根据权利要求1所述的一种城市行人检测方法，其特征在于，所述S2中将接收的图像进行提取放大的步骤为：从整体特征图像中，扫面选取行人的明显特征，并通过放大，清晰的处理，将局部特征显现处理，并进行保存。
3.根据权利要求1所述的一种城市行人检测方法，其特征在于，所述S3中扩展的图片规模和扩展次数不设限。
4.根据权利要求1所述的一种城市行人检测方法，其特征在于，所述S3中对特征图扩展的步骤为：通过图像幂率规则和图像特征金字塔规则计算图像I1临近规模对应的特征图，一般利用fm＝Cp(S(I1，M))，式中I1代表原图像，M代表缩放规模，S代表将原图缩放，Cp代表卷积池化操作计算特征，现在为减少卷积运算提高运行速度，利用公式：
其中：参数m表示当前规模，m′表示缩放后的规模，S代表将特征图缩放m′/m倍，f表示特征，常系数α可以在训练集上通过实验测得，以上公式表明原图Im通过卷积池化操作得到特征，临近缩放规模图像特征由已知特征图近似计算得到，如1/2*I1可以计算得到f1/2，因为图像上采样没有高频损失，上采样图片的信息内容与低分辨率的内容相似，特征计算公式为：
fσ＝σ*S(f1，σ)) (3.2)
式中f1代表原图对应特征图，S代表将特征图f1放大σ倍，fσ为上采样图像。
5.根据权利要求1所述的一种城市行人检测方法，其特征在于，所述S5中对分类网络训练包括：选择在有多种行人尺度的KITTI数据集上实验，我们在训练数据集上将行人按高度分为X个尺寸的行人。
6.根据权利要求5所述的一种城市行人检测方法，其特征在于，利用卷积层特征共享训练RPN(region proposal network)网络和softmax分类器联合网络，采用交叉轮流训练的方式，先训练区域提议网络(R P N)，再用提议(proposal)训练基于区域的分类器网络，再用分类器网络训练区域提议网络，损失层(losslayer)是卷积神经网络(CNN)的终点，接受两个值作为输入，其中一个是CNN的预测值，另一个是真实标签。
7.根据权利要求6所述的一种城市行人检测方法，其特征在于，所述损失层则将这两个输入进行一系列运算，得到当前网络的损失函数(LossFunction)，一般记做L(W)，其中W是当前网络权值构成的向量空间，训练网络的目的是在权值空间中找到让损失函数L(W)最小的权值W(opt)，可以采用随机梯度下降(stochasticgradient descent)的最优化方法逼近权值W(opt)，网络中有两个损失函数，一个是分类损失函数一个是回归损失函数。
8.根据权利要求1所述的一种城市行人检测方法，其特征在于，所述S6中对行人检测标注的步骤为：每个规模的候选行人分别与S5中训练得到的权重1x相乘，通过非极大值抑制，除去与最大置信度窗口重叠超过65％的窗口。
CN201810696570.7A 2018-06-29 2018-06-29 一种城市行人检测方法 Pending CN109117717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810696570.7A CN109117717A (zh) 2018-06-29 2018-06-29 一种城市行人检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810696570.7A CN109117717A (zh) 2018-06-29 2018-06-29 一种城市行人检测方法

Publications (1)

Publication Number Publication Date
CN109117717A true CN109117717A (zh) 2019-01-01

Family

ID=64822379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810696570.7A Pending CN109117717A (zh) 2018-06-29 2018-06-29 一种城市行人检测方法

Country Status (1)

Country Link
CN (1) CN109117717A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840498A (zh) * 2019-01-31 2019-06-04 华南理工大学 一种实时行人检测方法及神经网络、目标检测层
CN110321778A (zh) * 2019-04-26 2019-10-11 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN111339972A (zh) * 2020-03-02 2020-06-26 五八有限公司 一种人脸图像检测方法、装置、电子设备及存储介质
CN111462768A (zh) * 2020-03-12 2020-07-28 南京邮电大学 基于共享训练的多尺度StarGAN的语音转换方法
CN113610114A (zh) * 2021-07-09 2021-11-05 广州大学 一种车辆重识别方法、系统、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840498A (zh) * 2019-01-31 2019-06-04 华南理工大学 一种实时行人检测方法及神经网络、目标检测层
CN109840498B (zh) * 2019-01-31 2020-12-15 华南理工大学 一种实时行人检测方法及神经网络、目标检测层
CN110321778A (zh) * 2019-04-26 2019-10-11 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN110321778B (zh) * 2019-04-26 2022-04-05 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN111339972A (zh) * 2020-03-02 2020-06-26 五八有限公司 一种人脸图像检测方法、装置、电子设备及存储介质
CN111462768A (zh) * 2020-03-12 2020-07-28 南京邮电大学 基于共享训练的多尺度StarGAN的语音转换方法
CN113610114A (zh) * 2021-07-09 2021-11-05 广州大学 一种车辆重识别方法、系统、计算机设备和存储介质
CN113610114B (zh) * 2021-07-09 2023-08-08 广州大学 一种车辆重识别方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109117717A (zh) 一种城市行人检测方法
CN105608456B (zh) 一种基于全卷积网络的多方向文本检测方法
CN104978580B (zh) 一种用于无人机巡检输电线路的绝缘子识别方法
CN104392463B (zh) 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN107657226B (zh) 一种基于深度学习的人数估计方法
CN108399362A (zh) 一种快速行人检测方法及装置
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106156744A (zh) 基于cfar检测与深度学习的sar目标检测方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN102831427B (zh) 一种融合视觉显著性和灰度共生矩的纹理特征提取方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN105894701B (zh) 输电线路防外破大型施工车辆的识别报警方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN108416266A (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN103996198A (zh) 复杂自然环境下感兴趣区域的检测方法
CN107967474A (zh) 一种基于卷积神经网络的海面目标显著性检测方法
CN111401188B (zh) 一种基于人体关键点特征的交警手势识别方法
CN109753959B (zh) 基于自适应多尺度特征融合的路面交通标志检测方法
CN111008583A (zh) 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN105718873A (zh) 基于双目视觉的人流分析方法
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190101