CN106650613A - 一种基于深度学习和躯干提取的行人识别系统及方法 - Google Patents

一种基于深度学习和躯干提取的行人识别系统及方法 Download PDF

Info

Publication number
CN106650613A
CN106650613A CN201610972329.3A CN201610972329A CN106650613A CN 106650613 A CN106650613 A CN 106650613A CN 201610972329 A CN201610972329 A CN 201610972329A CN 106650613 A CN106650613 A CN 106650613A
Authority
CN
China
Prior art keywords
layer
pedestrian
deep learning
convolutional layer
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610972329.3A
Other languages
English (en)
Inventor
李谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Handsome Technology Group Co Ltd
Original Assignee
Sichuan Handsome Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Handsome Technology Group Co Ltd filed Critical Sichuan Handsome Technology Group Co Ltd
Priority to CN201610972329.3A priority Critical patent/CN106650613A/zh
Publication of CN106650613A publication Critical patent/CN106650613A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和躯干提取的行人识别系统及方法，涉及生物识别领域，其特征在于，所述系统包括：数据输入层、第一卷积层、子采样层、第二卷积层和数据输出层；所述数据输入层信号连接于第一卷积层；所述第一卷积层信号连接于子采样层；所述子采样层信号连接于第二卷积层；所述第二卷积层信号连接于数据输出层。本发明有效降低了行人检测的失误率，方法具有很强的实用价值。

Description

一种基于深度学习和躯干提取的行人识别系统及方法
技术领域
本发明涉及生物识别领域，尤其是一种基于深度学习和躯干提取的行人识别系统及方法。
背景技术
道路行人识别的核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人。基于统计分类的方法是通过机器学习，从一系列训练数据中得到一个分类器，利用该分类器对输入窗口图像进行识别，并判断是否为行人。基于统计分类方法的优点是鲁棒较好，但是需要很多训练数据，实时性差。目前，基于统计分类方法识别行人主要类型有：神经网络、支持向量机和AdaBoost方法。神经网络方法可以描述极为复杂的模式，已经成功地应用在字符识别和人脸检测上，它在行人的检测上也有应用，但实时性和鲁棒性都不够理想。支持向量机是基于结构风险最小化原理的统计学习理论，该方法比神经网络方法具有更好的泛化能力。
行人兼具刚性物体和柔性物体的特性，表观受光照、尺度、姿态、视角、部分遮挡和复杂场景等因素的影响，使得构建实用化的行人检测器挑战性极大。如何减弱甚至克服各种影响因素对识别的干扰，行人检测方法可大致分为三大类:基于全局特征的方法，基于人体部件的方法、基于立体视觉的方法。此外，除了检测方法的多样化和系统化，行人数据库也越来越完善，如MIT、Caltech、INＲIA等行人数据库，这些行人数据库都为行人检测方法的研究提供了专业的检测和评估方法，但是仍然需要设计一种更完善的行人识别算法。。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于深度学习和躯干提取的行人识别系统及方法。本发明有效降低了行人检测的失误率，方法具有很强的实用价值。
本发明采用的技术方案如下：
一种基于深度学习和躯干提取的行人识别系统，其特征在于，所述系统包括：数据输入层、第一卷积层、子采样层、第二卷积层和数据输出层；所述数据输入层信号连接于第一卷积层；所述第一卷积层信号连接于子采样层；所述子采样层信号连接于第二卷积层；所述第二卷积层信号连接于数据输出层。
所述数据输入层用于获取原始的图像数据，对获取的图像数据进行预处理，将预处理后的图像数据发送给第一卷积层。
所述第一卷积层用于把输入的图像提取出多幅特征提取图，将提取出的多幅特征提取图发送给子采样层。
所述子采样层用于将获取的多幅特征提取图再次进行特征提取和取样压缩，将处理后的图像发送给第二卷积层。
所述第二卷积层用于将特征图提取成局部检测图，并通过隐藏层获得这些局部检测图的的评分。
所述系统还包括若干个遮挡滤波器，所述折当率波器分为不同等级，高一级的组件由低一级的组件构成，越是高级的组件也就越是完整，最高级的组件也可能处于被遮挡状态，进而得到局部检测图。
一种基于深度学习和躯干提取的行人识别系统的方法，其特征在于，所述方法包括以下步骤：
步骤1：首先对行人的整体特征进行提取，然后构建深度学习模型，获取图像累积梯度信息，找出行人目标可能存在的感兴趣区域；
步骤2：再对行人的局部特征进行进一步提取：构建躯干模型，利用纹理特征提取算法获取行人纹理特征；
步骤3：利用第一卷积层以及子采样层共同作用，形成模型的特征提取层，利用第二卷积层对特征提取图进行处理后得到局部检测图。
所述纹理特征提取算法的方法为：首先对像素点的梯度进行计算，根据计算结果寻找并将像素发生一定程度变化的区域作为感兴趣区域，对这些区域进行重点关注，减少特征提取的搜寻区域，增强特征计算的实时性；同时取区域中像素的平均亮度值为阈值平滑特征纹理信息。
综上所述，由于采用了上述技术方案，本发明的有益效果是：将变形处理引入到卷积神经网络，利用多层相互关联的网络来模拟人类的大脑的多层抽象机制和视觉信息的处理过程，逐层对输入图像进行抽象处理，提取图像的显著特征，实现对输入图像的抽象描述与分类，该基于深度学习和躯干提取的行人识别算法有效降低了行人检测的失误率，方法具有很强的实用价值。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的一种基于深度学习和躯干提取的行人识别系统的系统结构示意图。
图2是本发明的一种基于深度学习和躯干提取的行人识别系统的遮挡组件的模型示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1 和图2所示的一种基于深度学习和躯干提取的行人识别系统，其特征在于，所述系统包括：数据输入层、第一卷积层、子采样层、第二卷积层和数据输出层；所述数据输入层信号连接于第一卷积层；所述第一卷积层信号连接于子采样层；所述子采样层信号连接于第二卷积层；所述第二卷积层信号连接于数据输出层。
所述数据输入层用于获取原始的图像数据，对获取的图像数据进行预处理，将预处理后的图像数据发送给第一卷积层。
所述第一卷积层用于把输入的图像提取出多幅特征提取图，将提取出的多幅特征提取图发送给子采样层。
所述子采样层用于将获取的多幅特征提取图再次进行特征提取和取样压缩，将处理后的图像发送给第二卷积层。
所述第二卷积层用于将特征图提取成局部检测图，并通过隐藏层获得这些局部检测图的的评分。
所述系统还包括若干个遮挡滤波器，所述折当率波器分为不同等级，高一级的组件由低一级的组件构成，越是高级的组件也就越是完整，最高级的组件也可能处于被遮挡状态，进而得到局部检测图。
一种基于深度学习和躯干提取的行人识别系统的方法，其特征在于，所述方法包括以下步骤：
步骤1：首先对行人的整体特征进行提取，然后构建深度学习模型，获取图像累积梯度信息，找出行人目标可能存在的感兴趣区域；
步骤2：再对行人的局部特征进行进一步提取：构建躯干模型，利用纹理特征提取算法获取行人纹理特征；
步骤3：利用第一卷积层以及子采样层共同作用，形成模型的特征提取层，利用第二卷积层对特征提取图进行处理后得到局部检测图。
卷积神经网络的第一卷积层以及子采样层共同作用，形成了模型的特征提取层，卷积神经网络第一层输入层将28×84大小的图片作为第一卷积层的输入，第一卷积层中有64个滤波器，输入数据的每个9×9邻域数据与滤波器中参数作用，作为一幅输出特征图的一个元素，最终，经过第一卷积层的64个滤波器卷积作用，输出结果是64幅20×76大小的特征图。
所述纹理特征提取算法的方法为：首先对像素点的梯度进行计算，根据计算结果寻找并将像素发生一定程度变化的区域作为感兴趣区域，对这些区域进行重点关注，减少特征提取的搜寻区域，增强特征计算的实时性；同时取区域中像素的平均亮度值为阈值平滑特征纹理信息。
所述躯干模型的提出源于对道路场景中两大类非行人模式的考虑，一方面，道路场景中的某些干扰热源的温度通常比行人的温度更高，此类干扰热源的轮廓信息比较丰富，所形成的非行人对象通常易于产生虚警，另一方面，道路场景中的某些干扰热源的温度通常比行人的温度更低，其温度虽然明显低于行人但又略高于背景，亦易于形成非行人对象。
在行人对象选取阶段，采用局部自适应双阈值分割算法对图像进行分割以获取行人对象，只对奇数行图像进行分割，偶数行的分割结果直接取自上一奇数行的分割结果，进而采用形态学操作对分割结果进行处理、使用行人对象宽高比和最小高度限制对形态学结果进行过滤，从而得到对象。
利用卷积神经网络的第一卷积层以及子采样层共同作用，形成了模型的特征提取层，利用第二卷积层对特征提取图进行处理后得到局部检测图，由于人身体各个部位的尺寸不同，算法设计了20个遮挡滤波器作为组件模型，组件一共分为三个等级，其中一级组件有6个，二级组件有7个，三级组件有7个，黑色表示被遮挡状态。
高一级的组件由低一级的组件构成， 越是高级的组件也就越是完整， 最高级的组件也可能处于被遮挡状态，但也会有重复出现，三级和二级中都出现了同样的头-肩部组件， 这说明人体能自己遮挡自己，形成另类的遮挡。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种基于深度学习和躯干提取的行人识别系统，其特征在于，所述系统包括：数据输入层、第一卷积层、子采样层、第二卷积层和数据输出层；所述数据输入层信号连接于第一卷积层；所述第一卷积层信号连接于子采样层；所述子采样层信号连接于第二卷积层；所述第二卷积层信号连接于数据输出层。
2.如权利要求1所述的基于深度学习和去干提取的行人识别系统，其特征在于，所述数据输入层用于获取原始的图像数据，对获取的图像数据进行预处理，将预处理后的图像数据发送给第一卷积层。
3.如权利要求1或2所述的基于深度学习和躯干提取的行人识别系统，其特征在于，所述第一卷积层用于把输入的图像提取出多幅特征提取图，将提取出的多幅特征提取图发送给子采样层。
4.如权利要求3所述的基于深度学习和躯干提取的行人识别系统，其特征在于，所述子采样层用于将获取的多幅特征提取图再次进行特征提取和取样压缩，将处理后的图像发送给第二卷积层。
5.如权利要求4所述的基于深度学习和躯干提取的行人识别系统，其特征在于，所述第二卷积层用于将特征图提取成局部检测图，并通过隐藏层获得这些局部检测图的的评分。
6.如权利要求5所述的基于深度学习和躯干提取的行人识别系统，其特征在于，所述系统还包括若干个遮挡滤波器，所述折当率波器分为不同等级，高一级的组件由低一级的组件构成，越是高级的组件也就越是完整，最高级的组件也可能处于被遮挡状态，进而得到局部检测图。
7.一种基于权利要求1至5之一所述的基于深度学习和躯干提取的行人识别系统的方法，其特征在于，所述方法包括以下步骤：
步骤1：首先对行人的整体特征进行提取，然后构建深度学习模型，获取图像累积梯度信息，找出行人目标可能存在的感兴趣区域；
步骤2：再对行人的局部特征进行进一步提取：构建躯干模型，利用纹理特征提取算法获取行人纹理特征；
步骤3：利用第一卷积层以及子采样层共同作用，形成模型的特征提取层，利用第二卷积层对特征提取图进行处理后得到局部检测图。
8.如权利要求6所述的基于深度学习和躯干提取的行人识别方法，其特征在于，所述纹理特征提取算法的方法为：首先对像素点的梯度进行计算，根据计算结果寻找并将像素发生一定程度变化的区域作为感兴趣区域，对这些区域进行重点关注，减少特征提取的搜寻区域，增强特征计算的实时性；同时取区域中像素的平均亮度值为阈值平滑特征纹理信息。
CN201610972329.3A 2016-11-07 2016-11-07 一种基于深度学习和躯干提取的行人识别系统及方法 Pending CN106650613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610972329.3A CN106650613A (zh) 2016-11-07 2016-11-07 一种基于深度学习和躯干提取的行人识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610972329.3A CN106650613A (zh) 2016-11-07 2016-11-07 一种基于深度学习和躯干提取的行人识别系统及方法

Publications (1)

Publication Number Publication Date
CN106650613A true CN106650613A (zh) 2017-05-10

Family

ID=58821852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610972329.3A Pending CN106650613A (zh) 2016-11-07 2016-11-07 一种基于深度学习和躯干提取的行人识别系统及方法

Country Status (1)

Country Link
CN (1) CN106650613A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656443A (zh) * 2017-09-18 2018-02-02 成都易慧家科技有限公司 一种基于深度学习的智能家居控制系统及方法
CN109803090A (zh) * 2019-01-25 2019-05-24 睿魔智能科技（深圳）有限公司 无人拍摄自动变焦方法及系统、无人摄像机及存储介质
CN110855932A (zh) * 2018-08-21 2020-02-28 杭州海康威视数字技术股份有限公司 基于视频数据的报警方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张阳: "结合纹理特征和深度学习的行人检测算法", 《辽宁工程技术大学学报（自然科学版）》 *
曾敏 等: "基于深度学习模型的行人检测研究与仿真", 《南京邮电大学学报(自然科学版)》 *
王国华 等: "基于局部特征的车载红外行人检测方法研究", 《电子学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656443A (zh) * 2017-09-18 2018-02-02 成都易慧家科技有限公司 一种基于深度学习的智能家居控制系统及方法
CN110855932A (zh) * 2018-08-21 2020-02-28 杭州海康威视数字技术股份有限公司 基于视频数据的报警方法、装置、电子设备及存储介质
CN109803090A (zh) * 2019-01-25 2019-05-24 睿魔智能科技（深圳）有限公司 无人拍摄自动变焦方法及系统、无人摄像机及存储介质

Similar Documents

Publication Publication Date Title
CN105335716B (zh) 一种基于改进udn提取联合特征的行人检测方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN104008370B (zh) 一种视频人脸识别方法
CN108921875A (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN104680508B (zh) 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN103729842B (zh) 基于局部统计特征与整体显著性分析的织物疵点检测方法
CN102194114B (zh) 一种基于边缘梯度方向金字塔直方图的虹膜识别方法
CN107341786A (zh) 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN107230202A (zh) 路面病害图像的自动识别方法和系统
CN103020933B (zh) 一种基于仿生视觉机理的多源图像融合方法
CN107633495B (zh) 一种基于互补关系的红外偏振与光强图像多算法2d-vmd内嵌式融合方法
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
CN107944399A (zh) 一种基于卷积神经网络目标中心模型的行人重识别方法
CN108764096B (zh) 一种行人重识别系统和方法
CN108416292A (zh) 一种基于深度学习的无人机航拍图像道路提取方法
CN110533683A (zh) 一种融合传统特征与深度特征的影像组学分析方法
CN104462494A (zh) 一种基于无监督特征学习的遥感图像检索方法及系统
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN107463917A (zh) 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法
CN106886747A (zh) 一种基于扩展小波变换的复杂背景下舰船检测方法
CN109559273A (zh) 一种面向车底图像的快速拼接方法
CN115423734B (zh) 一种基于多尺度注意机制的红外与可见光图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510