CN111144238A - 基于Faster R-CNN的物品检测方法及系统 - Google Patents

基于Faster R-CNN的物品检测方法及系统 Download PDF

Info

Publication number
CN111144238A
CN111144238A CN201911270179.1A CN201911270179A CN111144238A CN 111144238 A CN111144238 A CN 111144238A CN 201911270179 A CN201911270179 A CN 201911270179A CN 111144238 A CN111144238 A CN 111144238A
Authority
CN
China
Prior art keywords
module
candidate region
network
classification
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911270179.1A
Other languages
English (en)
Inventor
王璐
程秋菊
陈国平
裴一峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911270179.1A priority Critical patent/CN111144238A/zh
Publication of CN111144238A publication Critical patent/CN111144238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维毫米波安检成像系统中物品识别领域，具体涉及一种基于Faster R‑CNN的物品检测方法，该方法包括：获取待检测的毫米波图像；将预处理后的图像输入深度卷积神经网络VGG19中，提取毫米波图像的特征，生成特征图；选取候选区域提取网络的矩形候选区域，并将矩形候选区域射在特征图上，得到映射图；将特征图和映射图输入到分类回归网络中，得到候选区域对应各类别的置信度和修正参数；根据各类别的置信度和修正参数判断物品的类别；本发明通过对分类回归网络的优化，即采用Inception Module模块并结合LeNet‑5的结构构建特征提取网络模型，使得分类算法更简便有效，提高了检测的效率和质量。

Description

基于Faster R-CNN的物品检测方法及系统
技术领域
本发明涉及三维毫米波安检成像系统中物品识别领域，具体涉及一种基于FasterR-CNN的物品检测方法及系统。
背景技术
随着社会经济的发展，在大量流动的人口为世界各国的经济建设做出巨大的贡献，公共场所人员的安全检查也变得尤为重要。因此，各国开始广泛研究和应用检测快速且对人体无害的毫米波安检设备，而图像目标检测和识别分类是安检系统中必不可缺的组成部分。一种高效快速的物品识别方法可以更快，更加精准的识别危险物品，节约成本，防止漏检带来的意外。
现有技术中，毫米波图像的目标检测与识别技术就是从图像中检测出特定目标，形式：基于静态图像的目标检测。其难点在于背景多变，以及待测目标形状、大小各异。例如专利申请号为201910065349.6的《一种基于Faster R-CNN的坦克装甲目标检测方法》这篇专利公开了根据研究对象的相关复杂特性，选取基于深度卷积神将网络的目标检测模型Faster R-CNN作为目标检测算法，并从输入特征图的路径来改进算法Faster R-CNN，从而提高了检测的准确率。
但是，由于Faster R-CNN模型在进行特征提取以及图像分类时，计算量较大，不能高效的对物品进行识别。
发明内容
为解决以上现有技术的问题，本发明提出了一种基于Faster R-CNN的物品检测方法，包括：
S1：获取待检测的毫米波图像，并对毫米波图像进行预处理；
S2：将预处理的毫米波图像输入到改进的Faster R-CNN模型中进行检测；
S3：根据改进的Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将预处理后的毫米波图像输入深度卷积神经网络VGG19中，提取毫米波图像的特征，生成特征图；
S22：选取候选区域提取网络的矩形候选区域，并将矩形候选区域映射在特征图上，得到映射图；
S23：将特征图和映射图输入到分类回归网络中，得到候选区域对应各类别的置信度和修正参数；
在进行分类过程中，采用Inception Module模块并结合LeNet-5的结构构建特征提取网络模型；采用DepthWise可分离卷积技术将分类回归网络中的普通卷积拆分为区域和通道两个部分，并在这两个部分中进行卷积计算。
优选的，深度卷积神经网络VGG19包含19个隐藏层，即16个卷积层和3个全连接层。
优选的，映射图的获取包括：
S221：将特征图输入到候选区提取网络中，得到多种尺度和宽高比的矩形候选区域；
S222：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S223：根据候选区域的类别置信度和修正参数将矩形候选区域映射到特征图中，得到映射图。
优选的，分类回归网络处理特征图和映射图的过程包括：
S41：将特征图和映射图输入到分类回归网络中；
S42：分类网络中的Inception Module通过应用4个不同的卷积核，将输入分为四个分支，利用不同尺度的卷积来提取特征；
S43：利用Depthwise可分离卷积改变卷积运算方式，即代替分类网络中的3×3的卷积核；
S44：将四个分支得到的特征组合在一起，得到不同尺寸卷积核提取的融合特征；
S45：使用多任务损失函数将分类回归网络候选区域的类别置信度和修正参数统一。
一种基于改进的Faster R-CNN物品识别系统，所述系统包括：毫米波图像获取模块、深度卷积神经网络模块、候选区域提取网络模块、分类回归网络模块以及分类结果输出模块；
所述毫米波图像获取模块用于获取毫米波图像，并对毫米波图像进行预处理；预处理的过程包括对毫米波图像进行填充去噪处理；将预处理后的毫米波图像发送给深度卷积神经网络模块；
所述深度卷积神经网络模块用于对预处理后的毫米波图像进行特征提取，得到特征图，将特征图发送给候选区域提取网络模块和分类回归网络模块；
所述候选区域提取网络模块用于选取候选区域提取网络的矩形候选区域，并将矩形候选区域射在特征图上，得到映射图；将映射图发送给分类回归网络模块；
所述分类回归网络模块用于处理特征图和映射图，对特征图和映射图进行特征提取，根据提取的特征对输入的图像进行分类；将分类的结果发送给分类结果输出模块；
所述分类结果输出模块用于输出分类结果。
本发明通过改进Faster R-CNN算法的深度卷积神经网络，使得深度卷积神经网络能够更优的提取输入图像的特征；通过对分类回归网络的优化，即采用Inception Module模块并结合LeNet-5的结构构建特征提取网络模型，使得分类算法更简便有效，提高了检测的效率和质量。
附图说明
图1为本发明的基于毫米波的人体安检系统结构示意图；
图2为本发明的基于毫米波图像目标识别的系统框架示意图；
图3为本发明的基于Faster R-CNN算法的毫米波图像危险物品检测示意图；
图4为本发明的基于Faster R-CNN算法的网络结构示意图；
图5为本发明的特征提取网络VGG19的网络结构示意图；
图6为本发明的候选区域提取网络的结构示意图；
图7为本发明的构建的分类网络结构图；
图8为本发明的优化分类网络参数的可分离卷积示意图；
图9为本发明的分类回归网络的结构示意图；
图10为本发明的毫米波探测人体所成的图像示意图；
图11为本发明的检测结果示意图；
图12为本发明的系统图。
具体实施方式
以下将结合附图，通过详细说明一个基于改进Faster R-CNN算法的三维毫米波图像危险物品检测与识别的具体实施例，对本发明进行详细地描述；应当理解，优选实施例仅为了说明本发明，而不能用于限制本发明的保护范围。
如图1所示，获取待检测的毫米波图像使用使用安检门1进行获取，即安检门1由两块相平行的竖板2和连接两块竖板的横板3组成，毫米波收发装置17包括毫米波收发阵列4，分别设置在竖板中间位置的一毫米波收发芯片20和设置在毫米波收发芯片20周围的接收芯片19，滤波模块7对毫米波收发芯片20接收的毫米波的回波信号的过滤，放大模块8用于对滤波模块7过滤后的毫米波的回波信号进行放大，AD转换模块9用于将放大模块8放大后的毫米波的回波信号进行电信号转换，通过图像处理模块10将AD转换模块9转换后的电信号进行叠加，形成物体或人体完整图像，存储模块12用于存储显示模块11显示的图像信息和对应的人或物品的其它相关信息，报警器13与图像处理机构6相连接，测量仪16、指纹采集器14和摄像头15分别都与存储模块12、开关装置18和驱动机构5相连接，将毫米波收发装置设置满安检门的相对一侧的侧壁，只要人进去就可以直接整个人体扫描，在通过扫描人体时得到多列回波信号，通过对背景信号的过滤，可对人体表层信号进行成像。
如图2所示，人体通过毫米波扫描成像后得到毫米波人体图像，针对该图像进行判断是否带有危险物品，如果没有带违禁物品，则顺利通过，但如果带了违禁物品，则会准确定位并且进一步判断具体带了哪一种危险物品。
一种基于Faster R-CNN的物品检测方法，如图3所式，该方法包括：
S1：获取待检测的毫米波图像，并对毫米波图像进行预处理；
S2：将预处理的毫米波图像输入到改进的Faster R-CNN模型中进行检测；
S3：根据改进的Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将预处理后的毫米波图像输入深度卷积神经网络VGG19中，提取毫米波图像的特征，生成特征图；
S22：选取候选区域提取网络的矩形候选区域，并将矩形候选区域映射在特征图上，得到映射图；
S23：将特征图和映射图输入到分类回归网络中，得到候选区域对应各类别的置信度和修正参数；
在进行分类过程中，采用Inception Module模块并结合LeNet-5的结构构建特征提取网络模型；采用DepthWise可分离卷积技术将分类回归网络中的普通卷积拆分为区域和通道两个部分，并在这两个部分中进行卷积计算；
其中，Faster R-CNN表示基于深度卷积神将网络的目标检测模型，InceptionModule表示卷积单元提取特征的分类网络，LeNet-5表示入门级的神经网络模型，DepthWise表示深度分离卷积。
如图4所示，Faster R-CNN算法包括：输入图像，利用特征提取网络提取图像的特征图，并将特征图输入给候选区域提取网络和分类回归网络，在候选区域提取网络中对特征图作进一步处理，并将进一步处理的特征图发送给分类回归网络，将两个图像进行分类，得到最后的输出结果。
如图5所示，所述深度卷积神经网络VGG19包含19个隐藏层，即16个卷积层和3个全连接层。
如图6所示，候选区域提取网络获取映射图的包括：
S221：将特征图输入到候选区提取网络中，得到多种尺度和宽高比的矩形候选区域；
S222：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S223：根据候选区域的类别置信度和修正参数将矩形候选区域映射到特征图中，得到映射图。
候选区域提取网络的损失函数表达式为：
Figure BDA0002312343040000061
中，i是基准框的序号，pi是第i个基准框内包含待测目标的预测置信度，
Figure BDA0002312343040000062
是第i个基准框的标签，
Figure BDA0002312343040000063
代表第i个基准框内包含待测目标，
Figure BDA0002312343040000064
代表第i个基准框内不包含待测目标，ti是基准框的预测修正参数，
Figure BDA0002312343040000065
是基准框相对于目标标签框的修正参数，Ncls和Nreg分别表示对多任务损失函数的两个子项进行归一化处理的结果，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)是预测置信度的损失函数。
Lcls(·)损失函数为一个二分类的逻辑回归损失函数，其表达式为：
Figure BDA0002312343040000066
Lreg(·)表示修正参数的损失函数，其表达式为：
Figure BDA0002312343040000067
其中，
Figure BDA0002312343040000071
表示探测边框回归的损失函数；
Figure BDA0002312343040000072
的函数表达式为：
Figure BDA0002312343040000073
表达
Figure BDA0002312343040000074
的对应表达式分别为：
Figure BDA0002312343040000075
Figure BDA0002312343040000076
其中x*，y*，w*，h*分别表示目标标签框的中心横坐标、中心纵坐标、宽度和高度，xa，ya，wa，ha分别表示基准矩形框的中心横坐标、中心纵坐标、宽度和高度。
如图7所示，分类回归网络处理特征图和映射图的过程包括：
S41：将特征图和映射图输入到分类回归网络中；
S42：分类网络中的Inception Module通过应用4个不同的卷积核，将输入分为四个分支，利用不同尺度的卷积来提取特征；
所述不同尺度的卷积来提取特征包括采用1×1、3×3、5×5卷积核来提取图像的特征信息。
S43：利用Depthwise可分离卷积改变卷积运算方式，即代替分类网络中的3×3的卷积核；
S44：将四个分支得到的特征组合在一起，得到不同尺寸卷积核提取的融合特征；
S45：使用多任务损失函数将分类回归网络候选区域的类别置信度和修正参数统一。
其中，假设输入的图像大小为48×48的单通道图像，通过两个3×3的卷积核得到48×48×16的特征图，将48×48×16的特征图经过步长为2的最大池化得到24×24×16的特征图；再将24×24×16的特征图经过3×3与1×1的卷积扩充特征层数，在InceptionModule应用之前得到24×24×64的特征图；然后Inception Module利用4个不同的卷积核，将输入分为四个分支，对这4个分支的特征进行组合得到90维的特征，再次经过一个步长为2的最大池化得到12×12×90的特征图；重复4个支路的Inception Module操作，最后得到120维的6×6的特征。该结构用全局平均池化层来代替全连接层，从而减少了计算量。全局平局池化将120维的特征图变为一个120维的向量，后面接一个有3个输出的输出层，利用softmax来进行分类。
如图8所示，利用Depthwise可分离卷积改变卷积运算方式，来代替本文分类网络中的3×3的卷积核，达到对分类网络参数进行优化的效果，减少计算量。
分类回归网络中的多任务损失函数的表达式为：
L(p,u,vu,v*)＝Lcls(p,u)+λ[u≥1]Lloc(vu,v*)
其中，p是一个由各类别置信度组成的向量，p＝(p0,p1,p2,…,pk)，pk表示候选区域为第k类的置信度，u是候选区域的标签，vu为候选区域的预测修正参数，v*是候选区域相对于目标标签框的修正参数，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)函数是预测置信度的损失函数，Lloc表示修正参数的损失函数。
置信度的损失函数表达式为：
Figure BDA0002312343040000081
修正参数的损失函数的表达式为：
Figure BDA0002312343040000082
其中，
Figure BDA0002312343040000083
的计算与候选区域提取网络的损失函数钟的ti，
Figure BDA0002312343040000084
的计算原理相同。
如图9所示，产生的候选区域进行RoiPooling层最大池化，然后进行全连接层，输出预测框以及预测值。通过分类回归网络之后，得到毫米波图像目标检测的准确定位和精度。
如图10所示，该图为毫米波探测人体所成图像，得到一个大小为679×880×3的三维数据，经改进的Faster R-CNN目标检测算法，自动地检测并识别出隐匿违禁物品。
如图11所示，利用改进的Faster R-CNN目标检测算法得到的毫米波图像危险物品检测结果，图像可以看出，检测出来的危险物的类别清晰，置信度也能达到98％及以上，满足安检需求。故实验仿真证明了本方法高度的有效性和实用性，为毫米波图像危险物品的检测和识别在安检领域的应用提供了有力支撑。
一种基于Faster R-CNN的物品检测系统，如图12所示，所述系统包括：毫米波图像获取模块、深度卷积神经网络模块、候选区域提取网络模块、分类回归网络模块以及分类结果输出模块；
所述毫米波图像获取模块用于获取毫米波图像，并对毫米波图像进行预处理；预处理的过程包括对毫米波图像进行填充去噪处理；将预处理后的毫米波图像发送给深度卷积神经网络模块；
所述深度卷积神经网络模块用于对预处理后的毫米波图像进行特征提取，得到特征图，将特征图发送给候选区域提取网络模块和分类回归网络模块；
所述候选区域提取网络模块用于选取候选区域提取网络的矩形候选区域，并将矩形候选区域射在特征图上，得到映射图；将映射图发送给分类回归网络模块；
所述分类回归网络模块用于处理特征图和映射图，对特征图和映射图进行特征提取，根据提取的特征对输入的图像进行分类；将分类的结果发送给分类结果输出模块；
所述分类结果输出模块用于输出分类结果。
本系统的实施例可以参照方法实施例。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Faster R-CNN的物品检测方法，其特征在于，所述方法步骤包括：
S1：获取待检测的毫米波图像，并对毫米波图像进行预处理；
S2：将预处理的毫米波图像输入到改进的Faster R-CNN模型中进行检测；
S3：根据改进的Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将预处理后的毫米波图像输入深度卷积神经网络VGG19中，提取毫米波图像的特征，生成特征图；
S22：选取候选区域提取网络的矩形候选区域，并将矩形候选区域映射在特征图上，得到映射图；
S23：将特征图和映射图输入到分类回归网络中，得到候选区域对应各类别的置信度和修正参数；
在进行分类过程中，采用Inception Module模块并结合LeNet-5的结构构建特征提取网络模型；采用DepthWise可分离卷积技术将分类回归网络中的普通卷积拆分为区域和通道两个部分，并在这两个部分中进行卷积计算；
其中，Faster R-CNN表示基于深度卷积神将网络的目标检测模型，Inception Module表示卷积单元提取特征的分类网络，LeNet-5为入门级的神经网络模型，DepthWise表示深度分离卷积。
2.根据权利要求1所述的一种基于Faster R-CNN的物品检测方法，其特征在于，所述深度卷积神经网络VGG19包含19个隐藏层，即16个卷积层和3个全连接层。
3.根据权利要求1所述的一种基于Faster R-CNN的物品检测方法，其特征在于，映射图的获取包括：
S221：将特征图输入到候选区提取网络中，得到多种尺度和宽高比的矩形候选区域；
S222：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S223：根据候选区域的类别置信度和修正参数将矩形候选区域映射到特征图中，得到映射图。
4.根据权利要求3所述的一种基于Faster R-CNN的物品检测方法，其特征在于，多任务损失函数的表达式为：
Figure FDA0002312343030000021
其中，i是基准框的序号，pi是第i个基准框内包含待测目标的预测置信度，
Figure FDA0002312343030000022
是第i个基准框的标签，
Figure FDA0002312343030000023
代表第i个基准框内包含待测目标，
Figure FDA0002312343030000024
代表第i个基准框内不包含待测目标，ti是基准框的预测修正参数，
Figure FDA0002312343030000025
是基准框相对于目标标签框的修正参数，Ncls和Nreg分别表示对多任务损失函数的两个子项进行归一化处理的结果，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)表示预测置信度的损失函数，Lreg(·)表示修正参数的损失函数。
5.根据权利要求1所述一种基于Faster R-CNN的物品检测方法，其特征在于，分类回归网络处理特征图和映射图的过程包括：
S41：将特征图和映射图输入到分类回归网络中；
S42：分类网络中的Inception Module通过应用4个不同的卷积核，将输入分为四个分支，利用不同尺度的卷积来提取特征；
S43：利用Depthwise可分离卷积改变卷积运算方式，即代替分类网络中的3×3的卷积核；
S44：将四个分支得到的特征组合在一起，得到不同尺寸卷积核提取的融合特征；
S45：使用多任务损失函数将分类回归网络候选区域的类别置信度和修正参数统一。
6.根据权利要求5所述的一种基于Faster R-CNN的物品检测方法，其特征在于，分类回归网络中的多任务损失函数的表达式为：
L(p,u,vu,v*)＝Lcls(p,u)+λ[u≥1]Lloc(vu,v*)
其中，p表示一个由各类别置信度组成的向量，p＝(p0,p1,p2,…,pk)，pk表示候选区域为第k类的置信度，u表示候选区域的标签，vu表示候选区域的预测修正参数，v*表示候选区域相对于目标标签框的修正参数，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)表示预测置信度的损失函数，Lloc表示修正参数的损失函数。
7.一种基于Faster R-CNN的物品检测系统，其特征在于，所述系统包括：毫米波图像获取模块、深度卷积神经网络模块、候选区域提取网络模块、分类回归网络模块以及分类结果输出模块；
所述毫米波图像获取模块用于获取毫米波图像，并对毫米波图像进行预处理；预处理的过程包括对毫米波图像进行填充去噪处理；将预处理后的毫米波图像发送给深度卷积神经网络模块；
所述深度卷积神经网络模块用于对预处理后的毫米波图像进行特征提取，得到特征图，将特征图发送给候选区域提取网络模块和分类回归网络模块；
所述候选区域提取网络模块用于选取候选区域提取网络的矩形候选区域，并将矩形候选区域射在特征图上，得到映射图；将映射图发送给分类回归网络模块；
所述分类回归网络模块用于处理特征图和映射图，对特征图和映射图进行特征提取，根据提取的特征对输入的图像进行分类；将分类的结果发送给分类结果输出模块；
所述分类结果输出模块用于输出分类结果。
8.根据权利要求7所述的一种基于Faster R-CNN的物品检测系统，其特征在于，所述候选区域提取网络模块中包括：矩形候选区选取模块、类别置信度与修正参数统一模块、矩形候选区域映射模块；
所述矩形候选区选取模块用于处理特征图，得到多种尺度和宽高比的矩形候选区域，并将矩形候选区域发送给类别置信度与修正参数统一模块；
所述类别置信度与修正参数统一模块用于处理矩形候选区域，采用候选区域提取网络模块中的多任务损失函数将候选区域的类别置信度和修正参数统一；并将统一的参数发送给矩形候选区域映射模块；
所述矩形候选区域映射模块根据候选区域的类别置信度和修正参数将矩形候选区域映射到特征图中，得到映射图。
9.根据权利要求7所述的一种基于Faster R-CNN的物品识别系统，其特征在于，所述分类回归网络模块中进行分类的过程包括：
步骤1：将特征图和映射图输入到分类回归网络模块中；
步骤2：分类网络模块中的Inception Module通过应用4个不同的卷积核，将输入分为四个分支，利用不同尺度的卷积来提取特征；
步骤3：利用Depthwise可分离卷积改变卷积运算方式，即代替分类网络中的3×3的卷积核；
步骤4：将四个分支得到的特征组合在一起，得到不同尺寸卷积核提取的融合特征；
步骤5：使用多任务损失函数将分类回归网络候选区域的类别置信度和修正参数统一；
其中，Inception Module表示表示卷积单元提取特征的分类网络，Depthwise表示表示深度分离卷积。
CN201911270179.1A 2019-12-11 2019-12-11 基于Faster R-CNN的物品检测方法及系统 Pending CN111144238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911270179.1A CN111144238A (zh) 2019-12-11 2019-12-11 基于Faster R-CNN的物品检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911270179.1A CN111144238A (zh) 2019-12-11 2019-12-11 基于Faster R-CNN的物品检测方法及系统

Publications (1)

Publication Number Publication Date
CN111144238A true CN111144238A (zh) 2020-05-12

Family

ID=70518114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911270179.1A Pending CN111144238A (zh) 2019-12-11 2019-12-11 基于Faster R-CNN的物品检测方法及系统

Country Status (1)

Country Link
CN (1) CN111144238A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052724A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 基于深度卷积神经网络的手指指尖定位方法及装置
CN112597989A (zh) * 2020-12-18 2021-04-02 中国科学院上海微系统与信息技术研究所 毫米波三维全息图像隐匿物品检测方法及系统
CN113822861A (zh) * 2021-09-07 2021-12-21 中山大学中山眼科中心 一种眼表肿物的判断方法及装置
JP7515744B2 (ja) 2021-04-09 2024-07-12 スルーウェーブ インコーポレイテッド ３ｄミリ波撮像による高スループット異常検出のためのシステム及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106586738A (zh) * 2017-01-24 2017-04-26 沈阳建筑大学 一种基于视觉检测的多轿厢电梯调度方法
CN106980895A (zh) * 2017-02-22 2017-07-25 中国科学院自动化研究所 基于旋转区域的卷积神经网络预测方法
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109657584A (zh) * 2018-12-10 2019-04-19 长安大学 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
CN109858499A (zh) * 2019-01-23 2019-06-07 哈尔滨理工大学 一种基于Faster R-CNN的坦克装甲目标检测方法
CN110298321A (zh) * 2019-07-02 2019-10-01 中国科学院遥感与数字地球研究所 基于深度学习图像分类的道路阻断信息提取

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106586738A (zh) * 2017-01-24 2017-04-26 沈阳建筑大学 一种基于视觉检测的多轿厢电梯调度方法
CN106980895A (zh) * 2017-02-22 2017-07-25 中国科学院自动化研究所 基于旋转区域的卷积神经网络预测方法
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109657584A (zh) * 2018-12-10 2019-04-19 长安大学 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
CN109858499A (zh) * 2019-01-23 2019-06-07 哈尔滨理工大学 一种基于Faster R-CNN的坦克装甲目标检测方法
CN110298321A (zh) * 2019-07-02 2019-10-01 中国科学院遥感与数字地球研究所 基于深度学习图像分类的道路阻断信息提取

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈国平 等: "采用深度卷积神经网络方法的毫米波图像目标检测", 《电讯技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052724A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 基于深度卷积神经网络的手指指尖定位方法及装置
CN112597989A (zh) * 2020-12-18 2021-04-02 中国科学院上海微系统与信息技术研究所 毫米波三维全息图像隐匿物品检测方法及系统
JP7515744B2 (ja) 2021-04-09 2024-07-12 スルーウェーブ インコーポレイテッド ３ｄミリ波撮像による高スループット異常検出のためのシステム及び方法
CN113822861A (zh) * 2021-09-07 2021-12-21 中山大学中山眼科中心 一种眼表肿物的判断方法及装置

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111160120A (zh) 基于迁移学习的Faster R-CNN物品检测方法
CN106815601B (zh) 基于递归神经网络的高光谱图像分类方法
Lu et al. 3-D channel and spatial attention based multiscale spatial–spectral residual network for hyperspectral image classification
Nath et al. A survey of image classification methods and techniques
US7853072B2 (en) System and method for detecting still objects in images
CN111144238A (zh) 基于Faster R-CNN的物品检测方法及系统
WO2021146700A1 (en) Systems for multiclass object detection and alerting and methods therefor
CN107944442A (zh) 基于改进卷积神经网络的对象检测装置及方法
Karuppusamy Building detection using two-layered novel convolutional neural networks
Cha et al. Two-stage change detection for synthetic aperture radar
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN113283848B (zh) 一种货物入库检测方法、仓储入库系统及存储介质
CN114529462A (zh) 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统
Ragesh et al. Deep learning based automated billing cart
CN115019201B (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN115496971A (zh) 一种红外目标检测方法、装置、电子设备及存储介质
Li et al. Multi-layer sparse coding based ship detection for remote sensing images
Zhou et al. A fusion algorithm of object detection and tracking for unmanned surface vehicles
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN113688826A (zh) 基于特征融合的花粉图像检测方法及系统
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
CN109934147B (zh) 基于深度神经网络的目标检测方法、系统及装置
CN114663711B (zh) 一种面向x光安检场景的危险品检测方法及装置
CN115311678A (zh) 一种背景抑制和dcnn相结合的红外视频机场飞鸟检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512

RJ01 Rejection of invention patent application after publication