CN106127164B - 基于显著性检测和卷积神经网络的行人检测方法及装置 - Google Patents
基于显著性检测和卷积神经网络的行人检测方法及装置 Download PDFInfo
- Publication number
- CN106127164B CN106127164B CN201610494537.7A CN201610494537A CN106127164B CN 106127164 B CN106127164 B CN 106127164B CN 201610494537 A CN201610494537 A CN 201610494537A CN 106127164 B CN106127164 B CN 106127164B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- layer
- module
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于显著性检测和卷积神经网络的行人检测方法，该方法包括：选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；采集场景彩色图像；采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。与现有技术相比，本发明能快速地检测场景中的行人，且鲁棒性较好。
Description
技术领域
本发明涉及图像处理、视频监控以及安防，特别涉及行人检测方法及装置。
背景技术
行人检测是机器人视觉、车辆辅助驾驶、智能视频监控和人体行为分析等应用中的第一步，近年来也应用在航拍图像、受害者营救等新兴领域中，但行人兼具刚性和柔性物体的特性，外观一首穿着、尺度、遮挡、姿态和视角等影响，使得行人检测成为计算机视觉研究的热点和难点。
目前，基于机器学习的行人检测方法主要包括两个重要方面：特征描述算子和学习算法。特征描述算子包括：Haar、HOG(梯度方向直方图)、LBP(局部二值模式)、edgelet(边缘特征)以及shapelet等。学习算法有SVM(支持向量机)、Adaboost级联分类器、神经网络、以及深度学习等。其中深度学习由于其在图像分类、识别的优异特性，近年来基于深度学习的行人检测方法成为研究热点。
公开号为CN104063719A的中国发明专利申请公开了一种基于深度卷积网络的行人检测方法及装置，该方法包括：卷积神经网络训练步骤和行人检测步骤；其中卷积神经网络训练为：从图像库中选取多组样本图像数据；将一组样本图像数据送入多层神经卷积网络的输入层；计算神经卷积网络的中间层的输出矢量以及输出层的实际输出矢量得出中间层误差以及输出层误差；调整输出层矢量元素到中间层输出矢量元素的权值以及中间层输出矢量元素到输出层矢量元素的权值；判断总误差函数值，并利用训练后的网络检测行人。公开号为CN105335716A的中国发明专利申请公开了一种基于改进UDN提取联合特征的行人检测方法，该方法包括：对原始输入图像中的人体的整体特征和头部特征进行不同的预处理；基于卷积神经网络CNN模型对预处理的图像提取人体整体特征；基于卷积神经网络CNN模型对预处理的图像的上1/3部分提取局部特征；对输出的类别概率进行加权平均得到最终概率值，根据最终概率值判断原始输入图像是否包含行人。
然而，上述行人检测方法运行时间较长、鲁棒性较差。
综上所述，目前迫切需要提出一种快速且鲁棒性较好的行人检测方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现快速的行人检测，且鲁棒性较好。
为达到上述目的，按照本发明的第一个方面，提供了基于显著性检测和卷积神经网络的行人检测方法，该方法包括：
第一步骤，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
第二步骤，采集场景彩色图像；
第三步骤，采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
第四步骤，利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。
所述第一步骤进一步包括：
样本选取步骤，选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型。
所述初步训练步骤中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述二次训练步骤进一步包括：
训练特征提取步骤，根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定步骤，分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
所述第三步骤进一步包括：
高斯滤波处理步骤，对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算步骤，将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取步骤，计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理步骤，对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取步骤，利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选步骤，统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；
行人的候选区域输出步骤，将剩余的显著区域作为行人的候选区域并输出。
所述显著区域获取步骤进一步包括：
初始分割阈值选取步骤，计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新步骤，提取S′(x，y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x，y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代步骤，重复分割阈值更新步骤，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割步骤；
显著区域分割步骤，将S′(x，y)≥ST的像素点设置为前景点，S′(x，y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数。
所述第四步骤进一步包括：
检测特征提取步骤，根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定步骤，分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
按照本发明的另一个方面，提供了基于显著性检测和卷积神经网络的行人检测装置，该装置包括：
行人检测模型训练模块，用于选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
彩色图像采集模块，用于采集场景彩色图像；
行人的候选区域获取模块，用于采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
行人检测输出模块，用于利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。
所述行人检测模型训练模块进一步包括：
样本选取模块，用于选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型。
所述初步训练模块中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定模块，用于分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
所述行人的候选区域获取模块进一步包括：
高斯滤波处理模块，用于对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算模块，用于将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取模块，用于计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理模块，用于对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取模块，用于利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选模块，用于统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；
行人的候选区域输出模块，用于将剩余的显著区域作为行人的候选区域并输出。
所述显著区域获取模块进一步包括：
初始分割阈值选取模块，用于计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新模块，用于提取S′(x，y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x，y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代模块，用于重复分割阈值更新模块，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割模块；
显著区域分割模块，用于将S′(x，y)≥ST的像素点设置为前景点，S′(x，y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数。
所述行人检测输出模块进一步包括：
检测特征提取模块，用于根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定模块，用于分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
与现有的行人检测技术相比，本发明的基于显著性检测和卷积神经网络的行人检测方法及装置一方面采用显著性检测算法先获取可能是行人的候选区域，提高了检测速度；另一方面采用卷积神经网络对样本图像进行训练，根据训练好的行人分类模型对行人的候选区域进行识别，提高了行人的识别准确率，且鲁棒性较好。
附图说明
图1示出了按照本发明的基于显著性检测和卷积神经网络的行人检测方法的流程图。
图2示出了按照本发明的第三步骤的流程图。
图3示出了按照本发明的基于显著性检测和卷积神经网络的行人检测装置的框架图。
图4示出了按照本发明的行人的候选区域获取模块的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的基于显著性检测和卷积神经网络的行人检测方法的流程图。如图1所示，按照本发明的基于显著性检测和卷积神经网络的行人检测方法包括：
第一步骤S1，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
第二步骤S2，采集场景彩色图像；
第三步骤S3，采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
第四步骤S4，利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。
所述第一步骤S1进一步包括：
样本选取步骤S11，选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练步骤S12，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤S13，选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型。
其中，所述样本选取步骤S11中Th_ped≥1000，Th_nonped≥0。当Th_nonped选为0时，没选取负样本图像。所述二次训练步骤S13中Th_Test≥1000。
优选地，Th_ped≥5000，Th_nonped≥1000，Th_Test≥4000。
所述样本选取步骤S11中标签的正样本灰度图像根据光照环境、性别、年龄、发型、服装进行选取。选取的标签正样本图像涵盖不同的光照环境、性别、年龄、发型、服装。光照环境包括：晴天、阴天、雨天、黑夜等。发型包括：长发、短发、光头等。不同的服装包括：短袖、长袖、裙子、帽子、背包等。
所述标签的非行人灰度图像为不含有行人的灰度图像。
所述样本选取步骤S11中若标签的行人图像和非行人图像为彩色图像，则先进行灰度化处理，以获取标签的行人灰度图像和非行人灰度图像。
所述初步训练步骤S12中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述Th_Conc∈[2，22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,4]。
进一步地，所述Th_Conc∈[2,12]，Th_Pool∈[2,10]，Th_Full∈[1,3]。Th_CKi∈[4,200]，CKSi∈[3,9]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,3]。
优选地，所述卷积神经网络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，128]，Th_Height∈[64,256]。Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]。PKS1∈[2,4]，Th_PK1∈[2,3]。Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]。PKS2∈[2,4]，Th_PK2∈[2,3]。Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]。Th_Neur∈[160,10000]。
优选地，Th_Width选为64，Th_Height选为128；Th_CK1选为16，CKS1选为9，Th_CS1选为1；PKS1选为2，Th_PS1选为2；Th_CK2选为32，CKS2选为5，Th_CS2选为1；PKS2选为2，Th_PS2选为2；Th_CK3选为32，CKS3选为3，Th_CS3选为1。Th_Neur设为256。
所述第一层池化层和第二层池化层中的最大池化法可以替换为平均池化法或者随机池化法。
所述第一层全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述第一层全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述二次训练步骤S13进一步包括：
训练特征提取步骤S131，根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定步骤S132，分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练步骤S133，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S131和训练分类判定步骤S132，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
其中，所述反向传播算法通过现有的技术实现。
所述第二步骤S2中采集场景彩色图像也可以替换为输入场景彩色图像。所述场景彩色图像是指实际场景的彩色图像。
图2给出了按照本发明的第三步骤的流程图。如图2所示，按照本发明的第三步骤S3进一步包括：
高斯滤波处理步骤S31，对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算步骤S32，将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取步骤S33，计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理步骤S34，对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取步骤S35，利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选步骤S36，统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；
行人的候选区域输出步骤S37，将剩余的显著区域作为行人的候选区域并输出。
其中，所述高斯滤波处理步骤S31中的高斯滤波处理通过现有技术实现。
所述中值滤波处理步骤S34中的中值滤波处理通过现有技术实现。
所述显著区域获取步骤S35进一步包括：
初始分割阈值选取步骤S351，计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新步骤S352，提取S′(x，y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x，y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代步骤S353，重复分割阈值更新步骤S352，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割步骤S354；
显著区域分割步骤S354，将S′(x，y)≥ST的像素点设置为前景点，S′(x，y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数。
所述分割阈值迭代步骤S353中Th_ST∈[0.3,0.7]。优选地，Th_ST选为0.5。
所述显著区域分割步骤S354中连通区域方法为现有技术。
所述显著区域筛选步骤S36中Th_FSum∈[10,50]。优选地，Th_FSum选为20。
所述第四步骤S4进一步包括：
检测特征提取步骤S41，根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定步骤S42，分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
图3给出了按照本发明的基于显著性检测和卷积神经网络的行人检测装置的框架图。如图3所示，按照本发明的基于显著性检测和卷积神经网络的行人检测装置包括：
行人检测模型训练模块1，用于选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
彩色图像采集模块2，用于采集场景彩色图像；
行人的候选区域获取模块3，用于采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
行人检测输出模块4，用于利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。
所述行人检测模型训练模块1进一步包括：
样本选取模块11，用于选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练模块12，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块13，用于选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型。
其中，所述样本选取模块11中Th_ped≥1000，Th_nonped≥0。当Th_nonped选为0时，没选取负样本图像。所述二次训练模块13中Th_Test≥1000。
优选地，Th_ped≥5000，Th_nonped≥1000，Th_Test≥4000。
所述样本选取模块11中标签的正样本灰度图像根据光照环境、性别、年龄、发型、服装进行选取。选取的标签正样本图像涵盖不同的光照环境、性别、年龄、发型、服装。光照环境包括：晴天、阴天、雨天、黑夜等。发型包括：长发、短发、光头等。不同的服装包括：短袖、长袖、裙子、帽子、背包等。
所述标签的非行人灰度图像为不含有行人的灰度图像。
所述样本选取模块11中若标签的行人图像和非行人图像为彩色图像，则先进行灰度化处理，以获取标签的行人灰度图像和非行人灰度图像。
所述初步训练模块12中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。
所述第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2。
所述Th_Conc∈[2，22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,4]。
进一步地，所述Th_Conc∈[2,12]，Th_Pool∈[2,10]，Th_Full∈[1,3]。Th_CKi∈[4,200]，CKSi∈[3,9]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,3]。
优选地，所述卷积神经网络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，128]，Th_Height∈[64,256]。Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]。PKS1∈[2,4]，Th_PK1∈[2,3]。Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]。PKS2∈[2,4]，Th_PK2∈[2,3]。Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]。Th_Neur∈[160,10000]。
优选地，Th_Width选为64，Th_Height选为128；Th_CK1选为16，CKS1选为9，Th_CS1选为1；PKS1选为2，Th_PS1选为2；Th_CK2选为32，CKS2选为5，Th_CS2选为1；PKS2选为2，Th_PS2选为2；Th_CK3选为32，CKS3选为3，Th_CS3选为1。Th_Neur设为256。
所述第一层池化层和第二层池化层中的最大池化法可以替换为平均池化法或者随机池化法。
所述第一层全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述第一层全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述二次训练模块13进一步包括：
训练特征提取模块131，用于根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定模块132，用于分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练模块133，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块131和训练分类判定模块132，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
其中，所述反向传播算法通过现有的技术实现。
所述彩色图像采集模块也可以替换为彩色图像输入模块，用于输入场景彩色图像。所述场景彩色图像是指实际场景的彩色图像。
图4给出了按照本发明的行人的候选区域获取模块的框架图。如图4所示，按照本发明的行人的候选区域获取模块3进一步包括：
高斯滤波处理模块31，用于对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算模块32，用于将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取模块33，用于计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理模块34，用于对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取模块35，用于利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选模块36，用于统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；
行人的候选区域输出模块37，用于将剩余的显著区域作为行人的候选区域并输出。
其中，所述高斯滤波处理模块31中的高斯滤波处理通过现有技术实现。
所述中值滤波处理模块34中的中值滤波处理通过现有技术实现。
所述显著区域获取模块35进一步包括：
初始分割阈值选取模块351，用于计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新模块352，用于提取S′(x，y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x，y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代模块353，用于重复分割阈值更新模块352，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割模块354；
显著区域分割模块354，用于将S′(x，y)≥ST的像素点设置为前景点，S′(x，y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数。
所述分割阈值迭代模块353中Th_ST∈[0.3,0.7]。优选地，Th_ST选为0.5。
所述显著区域分割模块354中连通区域方法为现有技术。
所述显著区域筛选模块36中Th_FSum∈[10,50]。优选地，Th_FSum选为20。
所述行人检测输出模块4进一步包括：
检测特征提取模块41，用于根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定模块42，用于分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
与现有的行人检测技术相比，本发明的基于显著性检测和卷积神经网络的行人检测方法及装置一方面采用显著性检测算法先获取可能是行人的候选区域，提高了检测速度；另一方面采用卷积神经网络对样本图像进行训练，根据训练好的行人分类模型对行人的候选区域进行识别，提高了行人的识别准确率，且鲁棒性较好。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。
Claims (18)
1.基于显著性检测和卷积神经网络的行人检测方法，其特征在于，该方法包括：
第一步骤，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
第二步骤，采集场景彩色图像；
第三步骤，采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
第四步骤，利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果；
其中，所述第三步骤包括：
高斯滤波处理步骤，对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算步骤，将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取步骤，计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理步骤，对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取步骤，利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选步骤，统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；行人的候选区域输出步骤，将剩余的显著区域作为行人的候选区域并输出；
其中，Th_FSum为前景点数量阈值，Th_FSum∈[10,50]。
2.如权利要求1所述的方法，所述第一步骤包括：
样本选取步骤，选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型；其中，Th_ped≥1000，Th_nonped≥0，Th_Test≥1000。
3.如权利要求2所述的方法，其特征在于，所述初步训练步骤中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；其中，第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；
Th_Conc∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]；Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,4]。
4.如权利要求3所述的方法，其特征在于，所述卷积神经网络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别；
其中，Th_Wi和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32,128]，Th_Height∈[64,256]；Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]；PKS1∈[2,4]，Th_PK1∈[2,3]；Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]；PKS2∈[2,4]，Th_PK2∈[2,3]；Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]；Th_Neur∈[160,10000]。
5.如权利要求4所述的方法，所述第一层池化层和第二层池化层中的最大池化法替换为平均池化法或者随机池化法。
6.如权利要求4所述的方法，所述第一层全连接层中ReLU替换为sigmoid函数或者tanh函数作为激活函数。
7.如权利要求2所述的方法，所述二次训练步骤包括：
训练特征提取步骤，根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定步骤，分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
8.如权利要求1所述的方法，其特征在于，所述显著区域获取步骤包括：
初始分割阈值选取步骤，计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新步骤，提取S′(x,y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x,y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代步骤，重复分割阈值更新步骤，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割步骤；
显著区域分割步骤，将S′(x,y)≥ST的像素点设置为前景点，S′(x,y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
其中，Th_ST∈[0.3,0.7]。
9.如权利要求1所述的方法，所述第四步骤进一步包括：
检测特征提取步骤，根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定步骤，分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
10.基于显著性检测和卷积神经网络的行人检测装置，其特征在于，该装置包括：行人检测模型训练模块，用于选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；
彩色图像采集模块，用于采集场景彩色图像；
行人的候选区域获取模块，用于采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及
行人检测输出模块，用于利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果；
其中，所述行人的候选区域获取模块包括：
高斯滤波处理模块，用于对场景彩色图像进行高斯滤波处理，获取高斯图像IG(x,y)，其中(x,y)为图像的像素点；
色彩空间计算模块，用于将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值 M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；
显著图获取模块，用于计算高斯图像IG与μL、μA、μB的欧几里得距离得到显著图S(x,y)＝[IG(x,y)-μL]2+[IG(x,y)-μA]2+[IG(x,y)-μB]2；
中值滤波处理模块，用于对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；
显著区域获取模块，用于利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
显著区域筛选模块，用于统计显著区域SRk内前景点的总数FSumk，若FSumk＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；行人的候选区域输出模块，用于将剩余的显著区域作为行人的候选区域并输出；其中，Th_FSum为前景点数量阈值，Th_FSum∈[10,50]。
11.如权利要求10所述的装置，所述行人检测模型训练模块包括：
样本选取模块，用于选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；
初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型；
其中，Th_ped≥1000，Th_nonped≥0，Th_Test≥1000。
12.如权利要求11所述的装置，所述其特征在于，所述初步训练模块中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；
其中，第i个卷积层包括Th_CKi个卷积核，卷积核的大小为CKSi*CKSi、步长为Th_CSi，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；
Th_Conc∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]；Th_CKi∈[4,512]，CKSi∈[3,11]，Th_CSi∈[1,2]，PKSj∈[2,4]，Th_PSj∈[2,4]。
13.如权利要求12所述的装置，所述其特征在于，所述卷积神经网络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKS1*CKS1、步长为Th_CS1；
第一层池化层，采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKS2*CKS2、步长为Th_CS2；
第二层池化层，采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKS3*CKS3、步长为Th_CS3；
第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
第二层全连接层，输出2个类别；
其中，Th_Wi和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32,128]，Th_Height∈[64,256]；Th_CK1∈[6,20]，CKS1∈[5,9]，Th_CS1∈[1,2]；PKS1∈[2,4]，Th_PK1∈[2,3]；Th_CK2∈[10,40]，CKS2∈[3,5]，Th_CS2∈[1,2]；PKS2∈[2,4]，Th_PK2∈[2,3]；Th_CK3∈[10,40]，CKS3∈[3,5]，Th_CS3∈[1,2]；Th_Neur∈[160,10000]。
14.如权利要求13所述的装置，所述第一层池化层和第二层池化层中的最大池化法替换为平均池化法或者随机池化法。
15.如权利要求13所述的装置，所述第一层全连接层中ReLU替换为sigmoid函数或者tanh函数作为激活函数。
16.如权利要求11所述的装置，所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取Th_Test个测试灰度图像的特征；
训练分类判定模块，用于分别计算该测试灰度图像的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，收敛的模型即为训练好的行人分类模型。
17.如权利要求10所述的装置，其特征在于，所述显著区域获取模块包括：
初始分割阈值选取模块，用于计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；
分割阈值更新模块，用于提取S′(x,y)≥ST的像素点作为第一分割图像S′1(x,y)，提取S′(x,y)＜ST的像素点作为第二分割图像S′2(x,y)，分别计算S′1(x,y)、S′2(x,y)的平均灰度值ST1、ST2，
分割阈值迭代模块，用于重复分割阈值更新模块，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割模块；
显著区域分割模块，用于将S′(x,y)≥ST的像素点设置为前景点，S′(x,y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SRk，k＝1，2，…，SNum，SNum为显著区域的个数；
其中，Th_ST∈[0.3,0.7]。
18.如权利要求10所述的装置，所述行人检测输出模块进一步包括：
检测特征提取模块，用于根据训练好的行人分类模型提取行人的候选区域的特征；
检测分类判定模块，用于分别计算该行人的候选区域的特征与行人类别的相似度Simi1、非行人类别特征的相似度Simi2，若Simi1＞Simi2，则判定为行人类别，否则判定为非行人类别，输出判定结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610494537.7A CN106127164B (zh) | 2016-06-29 | 2016-06-29 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610494537.7A CN106127164B (zh) | 2016-06-29 | 2016-06-29 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106127164A CN106127164A (zh) | 2016-11-16 |
| CN106127164B true CN106127164B (zh) | 2019-04-16 |
Family
ID=57284337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610494537.7A Active CN106127164B (zh) | 2016-06-29 | 2016-06-29 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106127164B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206426A1 (en) * | 2016-01-15 | 2017-07-20 | Ford Global Technologies, Llc | Pedestrian Detection With Saliency Maps |
| CN106897661B (zh) * | 2017-01-05 | 2020-03-27 | 合肥美的智能科技有限公司 | 一种食材图像的智能化识别方法、系统和家用电器 |
| CN106897673B (zh) * | 2017-01-20 | 2020-02-21 | 南京邮电大学 | 一种基于retinex算法和卷积神经网络的行人再识别方法 |
| CN106778705B (zh) * | 2017-02-04 | 2020-03-17 | 中国科学院自动化研究所 | 一种行人个体分割方法及装置 |
| CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
| CN107369160B (zh) * | 2017-06-28 | 2020-04-03 | 苏州比格威医疗科技有限公司 | 一种oct图像中脉络膜新生血管分割算法 |
| CN107316024B (zh) * | 2017-06-28 | 2021-06-29 | 北京博睿视科技有限责任公司 | 基于深度学习的周界报警算法 |
| CN107358182A (zh) * | 2017-06-29 | 2017-11-17 | 维拓智能科技（深圳）有限公司 | 行人检测方法及终端设备 |
| CN107563388A (zh) * | 2017-09-18 | 2018-01-09 | 东北大学 | 一种基于深度信息预分割的卷积神经网络物体识别方法 |
| CN107704918B (zh) * | 2017-09-19 | 2019-07-12 | 平安科技（深圳）有限公司 | 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质 |
| CN109558886B (zh) * | 2017-09-27 | 2021-02-02 | 浙江宇视科技有限公司 | 检测方法及装置 |
| CN108460329B (zh) * | 2018-01-15 | 2022-02-11 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
| CN108508023B (zh) * | 2018-03-30 | 2021-06-04 | 苏州阚创检测有限公司 | 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统 |
| CN109345506A (zh) * | 2018-08-23 | 2019-02-15 | 中国科学院合肥物质科学研究院 | 一种基于卷积神经网络的热点与marfe自动检测方法 |
| CN109345522A (zh) * | 2018-09-25 | 2019-02-15 | 北京市商汤科技开发有限公司 | 一种图像质量筛选方法及装置、设备和存储介质 |
| CN109614877B (zh) * | 2018-11-17 | 2022-09-27 | 南京理工大学 | 低分辨率监控场景中具有遮挡的行人属性识别方法 |
| CN110113116B (zh) * | 2019-05-14 | 2021-06-04 | 山东科技大学 | 基于wifi信道信息的人体行为识别方法 |
| CN110222682B (zh) * | 2019-06-06 | 2024-05-07 | 天津艾思科尔科技有限公司 | 一种基于多特征的行人目标检测系统 |
| CN110874638B (zh) * | 2020-01-19 | 2020-06-02 | 同盾控股有限公司 | 面向行为分析的元知识联邦方法、装置、电子设备及系统 |
| CN111639599B (zh) * | 2020-05-29 | 2024-04-02 | 北京百度网讯科技有限公司 | 物体图像挖掘方法、装置、设备以及存储介质 |
| CN111860390A (zh) * | 2020-07-27 | 2020-10-30 | 西安建筑科技大学 | 一种电梯候梯人数检测统计方法、装置、设备及介质 |
| CN113903068A (zh) * | 2021-10-19 | 2022-01-07 | 深圳市中博科创信息技术有限公司 | 基于人脸特征的陌生人监控方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682287A (zh) * | 2012-04-17 | 2012-09-19 | 电子科技大学 | 基于显著度信息的行人检测方法 |
| CN104008404A (zh) * | 2014-06-16 | 2014-08-27 | 武汉大学 | 一种基于显著直方图特征的行人检测方法及系统 |
| CN104008380A (zh) * | 2014-06-16 | 2014-08-27 | 武汉大学 | 一种基于显著区域的行人检测方法及系统 |
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| CN104166861A (zh) * | 2014-08-11 | 2014-11-26 | 叶茂 | 一种行人检测方法 |
| CN105095835A (zh) * | 2014-05-12 | 2015-11-25 | 比亚迪股份有限公司 | 行人检测方法及系统 |
| CN105631415A (zh) * | 2015-12-25 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于卷积神经网络的视频行人识别方法 |
-
2016
- 2016-06-29 CN CN201610494537.7A patent/CN106127164B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682287A (zh) * | 2012-04-17 | 2012-09-19 | 电子科技大学 | 基于显著度信息的行人检测方法 |
| CN105095835A (zh) * | 2014-05-12 | 2015-11-25 | 比亚迪股份有限公司 | 行人检测方法及系统 |
| CN104008404A (zh) * | 2014-06-16 | 2014-08-27 | 武汉大学 | 一种基于显著直方图特征的行人检测方法及系统 |
| CN104008380A (zh) * | 2014-06-16 | 2014-08-27 | 武汉大学 | 一种基于显著区域的行人检测方法及系统 |
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| CN104166861A (zh) * | 2014-08-11 | 2014-11-26 | 叶茂 | 一种行人检测方法 |
| CN105631415A (zh) * | 2015-12-25 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于卷积神经网络的视频行人识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《一种用于行人检测的隐式训练卷积神经网络模型》;黄咨 等；;《计算机应用与软件》;20160531;第33卷(第5期) |
| 《基于显著性检测与HOG-NMF特征的快速行人检测方法》;孙锐 等；;《电子与信息学报》;20130831;第35卷(第8期) |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106127164A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127164B (zh) | 基于显著性检测和卷积神经网络的行人检测方法及装置 | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| Chen et al. | A multi-task convolutional neural network for joint iris detection and presentation attack detection | |
| CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| Nakamura et al. | Scene text eraser | |
| Gando et al. | Fine-tuning deep convolutional neural networks for distinguishing illustrations from photographs | |
| Yadav et al. | Fusion of handcrafted and deep learning features for large-scale multiple iris presentation attack detection | |
| Flores et al. | Application of convolutional neural networks for static hand gestures recognition under different invariant features | |
| CN108304873A (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
| Kim et al. | Multi-task convolutional neural network system for license plate recognition | |
| CN107506740A (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
| Shanta et al. | Bangla sign language detection using sift and cnn | |
| CN103514456A (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
| Woźniak et al. | Graphic object feature extraction system based on cuckoo search algorithm | |
| Fernandes et al. | Lateral inhibition pyramidal neural network for image classification | |
| CN108229434A (zh) | 一种车辆识别与细致重构的方法 | |
| CN105574509A (zh) | 一种基于光照的人脸识别系统回放攻击检测方法及应用 | |
| CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| Niu et al. | Automatic localization of optic disc based on deep learning in fundus images | |
| CN109325434A (zh) | 一种多特征的概率主题模型的图像场景分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |