CN109063586A - 一种基于候选优化的Faster R-CNN驾驶员检测方法 - Google Patents
一种基于候选优化的Faster R-CNN驾驶员检测方法 Download PDFInfo
- Publication number
- CN109063586A CN109063586A CN201810759174.4A CN201810759174A CN109063586A CN 109063586 A CN109063586 A CN 109063586A CN 201810759174 A CN201810759174 A CN 201810759174A CN 109063586 A CN109063586 A CN 109063586A
- Authority
- CN
- China
- Prior art keywords
- network
- candidate
- driver
- optimization
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000391 smoking effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims 6
- 238000012545 processing Methods 0.000 claims 1
- 230000006872 improvement Effects 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 238000012913 prioritisation Methods 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于候选优化的Faster R‑CNN驾驶员检测方法，涉及目标检测中的驾驶员检测领域。本发明以车载摄像头拍摄的RGB图像为数据源，在Faster R‑CNN目标检测算法的基础上作出改进：将残差结构引入特征提取ZF网络，设计ZF‑Res网络，以提高识别精度并保持实时性；针对以驾驶员为画面主体的RGB图像，提出候选优化子网络，过滤去冗余无效的候选区域，再进行后续的分类回归以完成驾驶员的定位检测。与现有技术相比，本发明大幅减少不包含或仅包含部分驾驶员的目标框，在保持驾驶员目标检测准确率的同时，提高检测效率。在监控识别驾驶员不良驾驶行为、预防交通事故方面有重要的应用价值。
Description
技术领域
本发明涉及一种驾驶员行为检测方法，属于目标检测技术领域。
背景技术
80％-90％的交通事故由驾驶员疏忽大意、不遵守交通规则等人为因素造成，因而从车载监控图像中准确、快速地检测定位驾驶员，是交通监控中识别不良驾驶行为，预防交通事故的迫切需求。
在传统的目标检测中，DPM(Deformable Part Model)模型组件检测算法被广泛使用。DPM首先计算梯度方向直方图，然后使用SVM训练得到物体的梯度模型来完成分类，但单个DPM模型无法有效涵盖驾驶舱中驾驶员的各种姿态，以及阈值选取不合理会导致漏检等。
随着深度学习在计算机视觉领域的突出表现，CNN(convolutional neuralnetworks，卷积神经网络)在目标检测任务上表现出优越的性能。其中，以FasterR-CNN为代表的基于区域的方法，将RPN(regionproposal networks，区域生成网络)和Fast R-CNN检测网络融合，实现了高精度的实时检测，受到极大的关注。
发明内容
本发明所要解决的技术问题：针对背景技术的缺陷，提出一种驾驶员行为检测方法，通过设计融合残差结构的特征提取ZF-Res网络和候选优化子网络，在保持驾驶员目标检测准确率的同时，减少计算量与运行时间，提高检测效率。
本发明为解决以上技术问题所采用的技术方案为：
一种基于候选优化的FasterR-CNN驾驶员检测方法，包括下列步骤：
步骤1、模拟驾驶员在驾驶舱内的各种驾驶状态，建立驾驶员检测训练数据集；
步骤2、采用融合残差结构的卷积神经网络ZF-Res在步骤1建立的训练数据集中提取驾驶员图像特征，其中，ZF-Res的结构是在ZF-Net网络上具体做如下改进：
ZF-Net网络包括依次连接的第一卷积层、第一局部响应归一层、第一最大池化层、第二卷积层、第二局部响应归一层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层；所述ZF-Res在第二局部响应归一层、第二最大池化层之间增加卷积层Conv2_2和Conv2_3，在第四卷积层Conv4和第五卷积层Conv5之间增加卷积层Conv4_2；其中，Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF-Res网络以提取训练集图像特征；
步骤3、通过候选区域生成网络RPN在ZF-Res提取的卷积特征图上，生成驾驶员候选框；
步骤4、针对检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框；
步骤5、驾驶员候选区域生成优化后，对其进行分类回归；
步骤6、对基于候选优化的Faster R-CNN驾驶员检测网络进行分步训练，即对特征提取网络为融合残差结构的ZF-Res的Faster R-CNN网络和区域优化网络单独分开训练，输出训练好的基于候选优化的驾驶员检测改进算法网络模型；
步骤7、在测试集上测试训练模型的驾驶员检测准确率及定位效果。
作为本发明的检测方法进一步的优化方案，步骤1中建立驾驶员检测训练数据集，其中共采集62人的图像，每人分别完成正常驾驶、吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘六种行为，同时考虑包括驾驶舱内光线明暗、驾驶员服饰、摄像头拍摄角度变化的多样性因素，共计16750张；同时，将数据集中的分类类别设置为2类，分别是驾驶员和背景。
作为本发明的检测方法进一步的优化方案，步骤2所述融合残差结构的卷积神经网络ZF-Res的残差结构函数公式为：
Y＝F(X)+X
式中，X为输入残差结构的卷积特征，F(X)为被捷径连接跳过层的卷积特征输出，Y为残差结构的输出；其中X和F(X)需满足输出特征维度大小相等，即两者输出特征图的通道数量与尺寸大小一致。
作为本发明的检测方法进一步的优化方案，步骤2所述的ZF-Res网络中新加卷积层Conv2_2和Conv2_3、Conv4_2的步长设置为1，并进行1个像素边界的0像素填充；其中，Conv2_2和Conv2_3的卷积核大小为3×3、输出通道为256，Conv4_2的卷积核大小为3×3、输出通道为384；所述第五卷积层的通道数由256扩大为512，以向后传递更丰富的特征信息。
作为本发明的检测方法进一步的优化方案，步骤4中，候选优化网络可视作按照阈值，对输入的RPN网络生成的候选区域进行二分类筛选，具体为：
候选优化网络通过ROIpooling层池化输入的候选区域生成网络产生的区域提案，生成同一维度的特征向量输入全连接层FC_1a和FC_1b映射全局特征，两者均为512维；全连接层FC_2在候选优化网络作为分类器，将前层全连接网络输出映射为候选边界框是否含有驾驶员的预测分数，其后通过Softmax层归一化预测值，得到候选区域是否包含驾驶员的置信度，取值在0至1间；将候选优化网络将各候选框的置信度与设定阈值相比较，最后输出阈值以上的候选区域，完成优化候选，输入后续网络。
作为本发明的检测方法进一步的优化方案，步骤5所述分类回归，其中Faster R-CNN分类回归网络输入为基础ZF-Res网络提取的特征图、候选优化区域优化生成的提案区域，输出为候选区域的类别预测和位置修正，其中位置修正数学原理与基准矩形框相同；分类回归网络的处理流程为：ROIpooling层池化得到相同维度的候选区域特征向量作为全连接特征映射的输入，再进行多任务学习，全连接FC/cls用于分类，输出二维向量，预测候选区域为前景驾驶员还是背景；另一条全连接支路FC/bbox_reg则输出候选区域的修正参数，用于回归驾驶员在图像中的位置。
作为本发明的检测方法进一步的优化方案，设ROIpooling层输入k张不同尺寸的特征图，大小分别为ai×ai，其中1≤i≤k，ROIpooling层输出特征图固定为n×n，则池化的滑动窗口为ai/n，步长为ai/n，即对不同大小的输入特征图自适应池化，以此输出同一维度的特征向量k×n×n。
作为本发明的检测方法进一步的优化方案，步骤6具体实施如下：
步骤601、FasterR-CNN网络训练：FasterR-CNN网络的特征提取子网络+分类回归子网络的前两个全连接层通过ImageNet预训练模型初始化，其余层采用高斯分布随机初始化，再端对端微调整个网络；
步骤602、候选优化网络训练：候选优化网络采用高斯分布随机初始化，固定Faster R-CNN的网络参数，微调候选优化网络，输出训练好的基于候选优化的驾驶员检测改进算法网络模型。
本发明采用以上技术手段，与现有的技术相比，本发明的优点在于：
(1)本发明以车载摄像头拍摄的RGB图像为数据源，在FasterR-CNN目标检测算法的基础上作出改进：将残差结构引入特征提取ZF网络，设计ZF-Res网络，以提高识别精度并保持实时性。
(2)针对以驾驶员为画面主体的RGB图像，提出候选优化子网络，过滤去冗余无效的候选区域，再进行后续的分类回归以完成驾驶员的定位检测。本发明大幅减少不包含或仅包含部分驾驶员的目标框，在保持驾驶员目标检测准确率的同时，减少计算量和运行时间，故提高了检测效率。
附图说明
图1是本发明中ZF-Net网络结构图。
图2是本发明中ZF-Res网络结构图。
图3是本发明中候选优化网络结构示意图。
图4是本发明中分类回归网络结构示意图。
图5是本发明中基于候选优化的驾驶员检测改进算法流程示意图。
图6是本发明的方法流程图。
具体实施方式
下面结合具体实施例和说明附图对本发明作进一步说明，本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。此处所描述的优先实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明在监控识别驾驶员不良驾驶行为、预防交通事故方面有不可或缺的作用，以及重要的应用价值。参考图6所示，本发明的具体实施步骤如下：
步骤1：自建驾驶员检测数据集。本发明自建样本库模拟驾驶舱内驾驶员的行车状态，其中包含62人，每人分别完成正常驾驶、吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘六种行为，自建样本库同时考虑驾驶舱内光线明暗、驾驶员服饰、摄像头拍摄角度变化等多样性因素，共计16750张。
步骤2：采用融合残差结构的卷积神经网络ZF-Res提取图像驾驶员特征。
ZF-Net是FasterR-CNN常用的卷积特征提取网络，其为由卷积层、局部响应归一层、最大池化层构建的9层网络，如图1所示。对CNN浅层网络堆叠卷积层，通常能提升图像识别精度，但由网络深度增加带来的精度增益受限于网络结构、有限的数据集和反向传播训练算法等，甚至随着网络加深而快速衰减。深层CNN网络中残差结构的应用能在几乎不增加计算成本的条件下，有效缓解深层网络训练的梯度消失和训练退化的问题，从而提升网络收敛性能，提高识别精度。为提高驾驶员检测精度并保持实时性，本发明以实时性较强的浅层网络——ZF网络为基础，引入残差结构，设计新的ZF-Res(ZF with residual learningframeworks)网络。残差结构函数公式：
Y＝F(X)+X
式中X为输入残差结构的卷积特征，F(X)为被捷径连接(shortcut connections)跳过层的卷积特征输出，Y为残差结构的输出。如图2中的残差结构1和2所示，其中X和F(X)需满足输出特征维度大小相等，即两者输出特征图的通道数量与尺寸大小一致。
步骤201：ZF网络中Conv2和Conv4的通道数量分别为256和384，为满足残差结构中X与F(X)的设计条件并尽量少地增加卷积层，故在Conv2和Conv3之间增加卷积核大小为3×3、输出通道为256的卷积层Conv2_2和Conv2_3，在Conv4和Conv5之间增加卷积核大小为3×3、输出通道为384的卷积层Conv4_2。相比其他尺寸的卷积核，3×3大小的卷积核具有参数少、速度快等优点，已广泛应用于各大主流CNN网络。新加卷积层的步长设置为1，并进行1个像素边界的0像素填充(zero-padding)，以保持新加层卷积后输出特征图尺寸不变。
步骤202：将Conv5层的通道数由256扩大为512，以向后传递更丰富的特征信息。
步骤203：Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF-Res网络以提取训练集图像特征。
步骤3：通过候选区域生成网络(RPN)在ZF-Res提取的卷积特征图上，生成驾驶员候选框。本发明在于检测定位驾驶舱内的驾驶员，因而将自建数据集中的分类类别设置为2类，分别是驾驶员和背景。
步骤4：对于Faster R-CNN算法，候选区域生成网络对每张输入图像最终生成约300个潜在边界框，而检测目标——驾驶舱内的驾驶员通常占据画面主体，因而在检测中很多实际不含驾驶员或与驾驶员重叠率较小的候选区域增大了分类回归的计算量，降低了驾驶员检测算法的性能。本发明设计候选优化子网络优化了驾驶员目标检测过程中生成的候选区域，具体实施为针对本发明检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框之后，再进行后续的分类回归。候选优化网络可视作按照阈值，对输入的RPN网络生成的候选区域进行二分类筛选，其结构示意如图3所示。
候选优化网络通过ROIpooling层池化输入的候选区域生成网络产生的区域提案，生成同一维度的特征向量输入全连接层FC_1a和FC_1b映射全局特征，两者均为512维。全连接层FC_2在候选优化网络中可视为“分类器”，将前层全连接网络输出映射为候选边界框是否含有驾驶员的预测分数，其后通过Softmax层归一化预测值，得到候选区域是否包含驾驶员的置信度，取值在0至1间。候选优化网络将各候选框的置信度与设定阈值相比较，最后输出阈值以上的候选区域，完成优化候选，输入后续网络。
步骤5：驾驶员候选区域生成优化后，需对其分类回归。FasterR-CNN分类回归网络输入为基础ZF-Res网络提取的特征图、候选优化区域优化生成的提案区域，输出候选区域的类别预测和位置修正，其中位置修正数学原理与基准矩形框相同。分类回归网络如图4所示。其中ROIpooling层池化得到相同维度的候选区域特征向量作为全连接特征映射的输入，再进行多任务学习。全连接FC/cls用于分类，输出二维向量，预测候选区域为前景驾驶员还是背景。另一条全连接支路FC/bbox_reg则输出候选区域的修正参数，用于回归驾驶员在图像中的位置。
由于候选区域生成网络生成的提案区域尺寸大小不同，故其提取的特征向量维度不同，而网络全连接层只接受相同维度的特征向量作为输入，因此，FasterR-CNN中通过ROIpooling层，使得卷积基础网络输出的不同尺寸特征图均可直接进行后续的全连接操作。
不妨设ROIpooling层输入k张不同尺寸的特征图，大小分别为ai×ai，其中1≤i≤k。ROIpooling层输出特征图固定为n×n，则池化的滑动窗口为ai/n，步长为ai/n，即对不同大小的输入特征图自适应池化，以此输出同一维度的特征向量k×n×n。
步骤6：如图5所示，本发明对基于候选优化的FasterR-CNN驾驶员检测网络进行分步训练，即对FasterR-CNN网络和候选优化网络单独分开训练，具体实施如下：
步骤601：FasterR-CNN网络训练：FasterR-CNN网络的特征提取子网络+分类回归子网络的前两个全连接层通过ImageNet预训练模型初始化，其余层采用高斯分布随机初始化(均值为0，标准差为0.01)，再端对端(End-to-End)微调整个网络。
步骤602：候选优化网络训练：候选优化网络采用高斯分布随机初始化(均值为0，标准差为0.01)，固定Faster R-CNN的网络参数，微调候选优化网络，输出训练好的基于候选优化的驾驶员检测改进算法网络模型。
步骤7：在测试集上测试训练模型的驾驶员检测准确率及定位效果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于候选优化的Faster R-CNN驾驶员检测方法，其特征在于，包括：
步骤1、模拟驾驶员在驾驶舱内的各种驾驶状态，建立驾驶员检测训练数据集；
步骤2、采用融合残差结构的卷积神经网络ZF-Res在步骤1建立的训练数据集中提取驾驶员图像特征，其中，ZF-Res的结构是在ZF-Net网络上具体做如下改进：
ZF-Net网络包括依次连接的第一卷积层、第一局部响应归一层、第一最大池化层、第二卷积层、第二局部响应归一层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层；所述ZF-Res在第二局部响应归一层、第二最大池化层之间增加卷积层Conv2_2和Conv2_3，在第四卷积层Conv4和第五卷积层Conv5之间增加卷积层Conv4_2；其中，Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF-Res网络以提取训练集图像特征；
步骤3、通过候选区域生成网络RPN在ZF-Res提取的卷积特征图上，生成驾驶员候选框；
步骤4、针对检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框；
步骤5、驾驶员候选区域生成优化后，对其进行分类回归；
步骤6、对基于候选优化的Faster R-CNN驾驶员检测网络进行分步训练，即对特征提取网络为融合残差结构的ZF-Res的Faster R-CNN网络和区域优化网络单独分开训练，输出训练好的基于候选优化的驾驶员检测改进算法网络模型；
步骤7、在测试集上测试训练模型的驾驶员检测准确率及定位效果。
2.根据权利要求1所述的方法，其特征在于，步骤1中建立驾驶员检测训练数据集，其中共采集62人的图像，每人分别完成正常驾驶、吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘六种行为，同时考虑包括驾驶舱内光线明暗、驾驶员服饰、摄像头拍摄角度变化的多样性因素，共计16750张；同时，将数据集中的分类类别设置为2类，分别是驾驶员和背景。
3.根据权利要求1所述的方法，其特征在于，步骤2所述融合残差结构的卷积神经网络ZF-Res的残差结构函数公式为：
Y＝F(X)+X
式中，X为输入残差结构的卷积特征，F(X)为被捷径连接跳过层的卷积特征输出，Y为残差结构的输出；其中X和F(X)需满足输出特征维度大小相等，即两者输出特征图的通道数量与尺寸大小一致。
4.根据权利要求1所述的方法，其特征在于，步骤2所述的ZF-Res网络中新加卷积层Conv2_2和Conv2_3、Conv4_2的步长设置为1，并进行1个像素边界的0像素填充；其中，Conv2_2和Conv2_3的卷积核大小为3×3、输出通道为256，Conv4_2的卷积核大小为3×3、输出通道为384；所述第五卷积层的通道数由256扩大为512，以向后传递更丰富的特征信息。
5.根据权利要求1所述的方法，其特征在于，步骤4中，候选优化网络可视作按照阈值，对输入的RPN网络生成的候选区域进行二分类筛选，具体为：
候选优化网络通过ROIpooling层池化输入的候选区域生成网络产生的区域提案，生成同一维度的特征向量输入全连接层FC_1a和FC_1b映射全局特征，两者均为512维；全连接层FC_2在候选优化网络作为分类器，将前层全连接网络输出映射为候选边界框是否含有驾驶员的预测分数，其后通过Softmax层归一化预测值，得到候选区域是否包含驾驶员的置信度，取值在0至1间；将候选优化网络将各候选框的置信度与设定阈值相比较，最后输出阈值以上的候选区域，完成优化候选，输入后续网络。
6.根据权利要求1所述的方法，其特征在于，步骤5所述分类回归，其中FasterR-CNN分类回归网络输入为基础ZF-Res网络提取的特征图、候选优化区域优化生成的提案区域，输出为候选区域的类别预测和位置修正，其中位置修正数学原理与基准矩形框相同；分类回归网络的处理流程为：ROIpooling层池化得到相同维度的候选区域特征向量作为全连接特征映射的输入，再进行多任务学习，全连接FC/cls用于分类，输出二维向量，预测候选区域为前景驾驶员还是背景；另一条全连接支路FC/bbox_reg则输出候选区域的修正参数，用于回归驾驶员在图像中的位置。
7.根据权利要求6所述的方法，其特征在于，设ROIpooling层输入k张不同尺寸的特征图，大小分别为ai×ai，其中1≤i≤k，ROIpooling层输出特征图固定为n×n，则池化的滑动窗口为ai/n，步长为ai/n，即对不同大小的输入特征图自适应池化，以此输出同一维度的特征向量k×n×n。
8.根据权利要求1所述的方法，其特征在于，步骤6具体实施如下：
步骤601、FasterR-CNN网络训练：FasterR-CNN网络的特征提取子网络+分类回归子网络的前两个全连接层通过ImageNet预训练模型初始化，其余层采用高斯分布随机初始化，再端对端微调整个网络；
步骤602、候选优化网络训练：候选优化网络采用高斯分布随机初始化，固定FasterR-CNN的网络参数，微调候选优化网络，输出训练好的基于候选优化的驾驶员检测改进算法网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759174.4A CN109063586A (zh) | 2018-07-11 | 2018-07-11 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759174.4A CN109063586A (zh) | 2018-07-11 | 2018-07-11 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109063586A true CN109063586A (zh) | 2018-12-21 |
Family
ID=64816064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810759174.4A Pending CN109063586A (zh) | 2018-07-11 | 2018-07-11 | 一种基于候选优化的Faster R-CNN驾驶员检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063586A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096962A (zh) * | 2019-04-04 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 |
| CN110223341A (zh) * | 2019-06-14 | 2019-09-10 | 北京国信华源科技有限公司 | 一种基于图像识别的智能水位监测方法 |
| CN110298227A (zh) * | 2019-04-17 | 2019-10-01 | 南京航空航天大学 | 一种基于深度学习的无人机航拍图像中的车辆检测方法 |
| CN110363093A (zh) * | 2019-06-19 | 2019-10-22 | 深圳大学 | 一种司机动作识别方法及装置 |
| CN111008567A (zh) * | 2019-11-07 | 2020-04-14 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111339926A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员行为规范智能识别系统 |
| CN112070080A (zh) * | 2020-08-19 | 2020-12-11 | 湖南师范大学 | 基于Faster R-CNN的戏曲卡通人物的分类方法 |
| CN112133100A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于r-cnn的车辆检测方法 |
| CN112380914A (zh) * | 2020-10-21 | 2021-02-19 | 浙江工业大学 | 一种基于深度学习的渔船安全监控方法 |
| CN112861608A (zh) * | 2020-12-30 | 2021-05-28 | 浙江万里学院 | 一种分心驾驶行为的检测方法及系统 |
| CN113469950A (zh) * | 2021-06-08 | 2021-10-01 | 海南电网有限责任公司电力科学研究院 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
| CN115294063A (zh) * | 2022-08-05 | 2022-11-04 | 中国电信股份有限公司 | 电子元件的缺陷检测方法、装置、系统、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647758A (zh) * | 2016-12-27 | 2017-05-10 | 深圳市盛世智能装备有限公司 | 一种目标物体检测方法、装置及自动引导车的跟随方法 |
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
| KR20180065856A (ko) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | 영역 기반 딥 러닝 모델을 이용한 객체 탐지 장치 및 방법, 그리고 이를 이용한 칩셋 제조 방법 |
-
2018
- 2018-07-11 CN CN201810759174.4A patent/CN109063586A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065856A (ko) * | 2016-12-07 | 2018-06-18 | 삼성전자주식회사 | 영역 기반 딥 러닝 모델을 이용한 객체 탐지 장치 및 방법, 그리고 이를 이용한 칩셋 제조 방법 |
| CN106647758A (zh) * | 2016-12-27 | 2017-05-10 | 深圳市盛世智能装备有限公司 | 一种目标物体检测方法、装置及自动引导车的跟随方法 |
| CN107368845A (zh) * | 2017-06-15 | 2017-11-21 | 华南理工大学 | 一种基于优化候选区域的Faster R‑CNN目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| MINGQI LU等: "Driver Detection Based on Deep Learning", 《3RD ANNUAL INTERNATIONAL CONFERENCE ON INFORMATION SYSTEM AND ARTIFICIAL INTELLIGENCE (ISAI)》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096962A (zh) * | 2019-04-04 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于区域卷积网络的车辆细节识别二次结构化方法及装置 |
| CN110298227A (zh) * | 2019-04-17 | 2019-10-01 | 南京航空航天大学 | 一种基于深度学习的无人机航拍图像中的车辆检测方法 |
| CN110298227B (zh) * | 2019-04-17 | 2021-03-30 | 南京航空航天大学 | 一种基于深度学习的无人机航拍图像中的车辆检测方法 |
| CN110223341A (zh) * | 2019-06-14 | 2019-09-10 | 北京国信华源科技有限公司 | 一种基于图像识别的智能水位监测方法 |
| CN110223341B (zh) * | 2019-06-14 | 2024-05-28 | 北京国信华源科技有限公司 | 一种基于图像识别的智能水位监测方法 |
| CN110363093A (zh) * | 2019-06-19 | 2019-10-22 | 深圳大学 | 一种司机动作识别方法及装置 |
| CN111008567A (zh) * | 2019-11-07 | 2020-04-14 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111008567B (zh) * | 2019-11-07 | 2023-03-24 | 郑州大学 | 一种驾驶员行为识别方法 |
| CN111339926A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员行为规范智能识别系统 |
| CN112070080A (zh) * | 2020-08-19 | 2020-12-11 | 湖南师范大学 | 基于Faster R-CNN的戏曲卡通人物的分类方法 |
| CN112133100B (zh) * | 2020-09-16 | 2022-04-22 | 北京影谱科技股份有限公司 | 一种基于r-cnn的车辆检测方法 |
| CN112133100A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于r-cnn的车辆检测方法 |
| CN112380914A (zh) * | 2020-10-21 | 2021-02-19 | 浙江工业大学 | 一种基于深度学习的渔船安全监控方法 |
| CN112380914B (zh) * | 2020-10-21 | 2024-02-20 | 浙江工业大学 | 一种基于深度学习的渔船安全监控方法 |
| CN112861608A (zh) * | 2020-12-30 | 2021-05-28 | 浙江万里学院 | 一种分心驾驶行为的检测方法及系统 |
| CN113469950A (zh) * | 2021-06-08 | 2021-10-01 | 海南电网有限责任公司电力科学研究院 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
| CN115294063A (zh) * | 2022-08-05 | 2022-11-04 | 中国电信股份有限公司 | 电子元件的缺陷检测方法、装置、系统、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063586A (zh) | 一种基于候选优化的Faster R-CNN驾驶员检测方法 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110059582B (zh) | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 | |
| CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
| CN112150493B (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN110363201B (zh) | 基于协同学习的弱监督语义分割方法及系统 | |
| CN109284733A (zh) | 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 | |
| Yang et al. | Single image haze removal via region detection network | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN108830199A (zh) | 识别交通灯信号的方法、装置、可读介质及电子设备 | |
| CN109522938A (zh) | 一种基于深度学习的图像中目标的识别方法 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN108399361A (zh) | 一种基于卷积神经网络cnn和语义分割的行人检测方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN109543632A (zh) | 一种基于浅层特征融合引导的深层网络行人检测方法 | |
| CN111209858B (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN111476213A (zh) | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN110929635B (zh) | 基于信任机制下面部交并比的假脸视频检测方法及系统 | |
| CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN106529494A (zh) | 一种基于多摄像头机型的人脸识别方法 | |
| CN113361466B (zh) | 一种基于多模态交叉指导学习的多光谱目标检测方法 | |
| CN107463881A (zh) | 一种基于深度增强学习的人物图像搜索方法 | |
| CN114187581B (zh) | 一种基于无监督学习的驾驶员分心细粒度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |
|
| RJ01 | Rejection of invention patent application after publication |