CN111160120A - 基于迁移学习的Faster R-CNN物品检测方法 - Google Patents

基于迁移学习的Faster R-CNN物品检测方法 Download PDF

Info

Publication number
CN111160120A
CN111160120A CN201911263762.XA CN201911263762A CN111160120A CN 111160120 A CN111160120 A CN 111160120A CN 201911263762 A CN201911263762 A CN 201911263762A CN 111160120 A CN111160120 A CN 111160120A
Authority
CN
China
Prior art keywords
target
image
cnn
representing
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911263762.XA
Other languages
English (en)
Inventor
陈国平
程秋菊
王璐
管春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Youke Millimeter Wave Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911263762.XA priority Critical patent/CN111160120A/zh
Publication of CN111160120A publication Critical patent/CN111160120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Geophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于物品识别领域，具体涉及一种基于迁移学习的Faster R‑CNN物品检测方法，该方法包括：获取待检测的毫米波图像，并通过图像的信息熵确定图像的分割阈值，通过分割阈值对图像进行分割填充，得到目标分割结果图；将目标分割结果图输入到Faster R‑CNN模型中；Faster R‑CNN模型中的特征提取网络为ResNet50，在进行映射时采用聚类算法K‑Means算法优化锚设置；根据Faster R‑CNN模型输出的结果判断物品的类别和物品所处的位置；本发明在进行特征提取时，采用了迁移学习的方法，同时也采用了K‑Means算法优化锚设置，使得分类的结果更精确。

Description

基于迁移学习的Faster R-CNN物品检测方法
技术领域
本发明属于三维毫米波安检成像系统中物品识别领域，具体涉及一种基于迁移学习的Faster R-CNN物品检测方法。
背景技术
随着社会经济的发展，在大量流动的人口为世界各国的经济建设做出巨大的贡献，公共场所人员的安全检查也变得尤为重要。因此，各国开始广泛研究和应用检测快速且对人体无害的毫米波安检设备，而图像目标检测和识别分类是安检系统中必不可缺的组成部分。一种高效快速的物品识别方法可以更快，更加精准的识别危险物品，节约成本，防止漏检带来的意外。
现有技术中，毫米波图像的目标检测与识别技术就是从图像中检测出特定目标，形式：基于静态图像的目标检测。其难点在于背景多变，以及待测目标形状、大小各异。例如专利申请号为201910065349.6的《一种基于Faster R-CNN的坦克装甲目标检测方法》这篇专利公开了根据研究对象的相关复杂特性，选取基于深度卷积神将网络的目标检测模型Faster R-CNN作为目标检测模型，并从输入特征图的路径来改进Faster R-CNN模型，从而提高了检测的准确率。
但是，由于Faster R-CNN模型在进行特征提取以及图像分类时，计算量较大，不能高效的对物品进行识别。
发明内容
为解决以上现有技术的问题，本发明提出了一种基于迁移学习的Faster R-CNN物品检测方法，包括：
S1：获取待检测的毫米波图像，并根据图像的信息熵确定图像的分割阈值，通过分割阈值对图像进行分割填充，得到目标分割结果图；
S2：将目标分割结果图输入到Faster R-CNN模型中进行检测；
S3：根据Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将深度卷积神经网络ResNet50作为特征提取的主干网络，并结合迁移学习对目标分割结果图进行提取特征，得到特征图；
S22：在候选区域提取网络中选取候选框，并将候选框映射到特征图中，得到候选区域映射图；在进行映射时采用K-Means算法优化锚设置；
S23：将特征图和候选区域映射图传递给分类回归网络,输出候选区域对应各类别的置信度和修正参数。
优选的，带有目标的分割结果图的获取包括：
S11：确定毫米波图像的灰度值，灰度值的范围为0～K；
S12：求取每一个灰度值出现的概率p(i)，其出现的概率等于该灰度值的像素个数除以全部的像素点个数；
S13：设定一个阈值q，阈值q将图像分为前景P0和背景P1；并求取前景P0的信息熵为H0(q)，背景P1的信息熵为H1(q)；
S14：根据前景信息熵H0(q)和背景信息熵H1(q)，对图像信息熵进行调整，得到调整后的目标函数H，则H计算公式为：
Figure BDA0002312296160000021
S15：采用最大熵分割算法对目标函数进行计算，得到阈值T，即T＝arg0≤t≤L-1 max(H)；利用阈值T对毫米波图像进行分割，得到分割图像；
S16：对毫米波图像进行目标区域提取，即对步骤S15的分割图像进行空洞填充，其填充的区域为目标区域中包含空白区域的图像，得到目标区域分割填充图；
S17：将目标区域分割填充图进行取反操作，得到图像1，并将图像1与目标区域分割填充图进行相乘操作，即两个图像对应的坐标像素相乘，得到分割出的目标区域；
S18：设定一个表示连通区域大小的阈值，若目标区域中的连通区域面积小于设定阈值，则对该区域进行填充处理，若目标区域中的连通区域面积大于等于设定阈值，则不做处理；最终得到目标分割结果图。
优选的，深度卷积神经网络ResNet50包括一个单独的卷积层和四组block，四组block中分别包含了3个block、4个block、6个block以及3个block，每个block里面有三个卷积层，即该网络结构共包含49个卷积层和1个全连接层。
进一步的，在进行特征提取时，采用迁移学习对主干网络的前三层进行微调，并保持其他层参数不变；再把10、22、40、49层的参数进行微调，即微调构建特征金字塔的特征层；最后将输出的3层参数在原有参数的基础上进行微调；最终输出特征图。
优选的，步骤S22的具体步骤包括：
S221：将特征图输入到候选区域提取网络中，输出多种尺度和宽高比的矩形候选区域；
S222：利用K-Means算法对训练集的目标真值框的宽高进行聚类，根据聚类结果定义锚的宽高；并且求出聚类中心与真值框的最大交并比IOU，聚类的距离度量定义为dist(g,c)＝1-IOU(g,c)；
S223：将特征图中的目标边界框的坐标调整为(0,0,w,h)，即将目标边界框的中心坐标设置为0；
S224：选择不同数量的聚类中心，得到不同数量的锚，并根据真值框与锚最近的平均IOU衡量锚点与真值边界框的匹配程度，公式为：
Figure BDA0002312296160000031
S225：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S226：根据锚点与真值框的匹配程度以及候选区域的类别置信度和修正参数对输入的特征图进行映射，得到映射图。
本发明在将毫米波图像输入到Faster R-CNN模型中前先对图像进行分割填充，得到带有目标的分割图，使得在进行分类时能更清楚明确的得到分类结果；本发明在进行特征提取时，采用了迁移学习的方法，同时也采用了K-Means算法优化锚设置，使得分类的结果更精确。
附图说明
图1为本发明的基于毫米波的人体安检系统结构示意图；
图2为本发明的基于毫米波图像目标识别的系统框架示意图；
图3为本发明的基于加权的最大熵分割毫米波目标图像的示意图；
图4为本发明的毫米波图像危险物品检测示意图；
图5为本发明的基于Faster R-CNN模型的网络结构示意图；
图6为本发明的特征提取网络ResNet50的网络结构；
图7为本发明的候选区域提取网络的结构示意图；
图8为本发明的分类回归网络的结构示意图；
图9为本发明的毫米波探测人体所成的图像示意图；
图10为本发明的毫米波图像危险物品检测结果示意图。
具体实施方式
以下将结合附图，通过详细说明基于迁移学习的Faster R-CNN物品检测方法的具体实施例，对本发明进行详细地描述；应当理解，优选实施例仅为了说明本发明，而不能用于限制本发明的保护范围。
如图1所示，获取待检测的毫米波图像使用使用安检门1进行获取，即安检门1由两块相平行的竖板2和连接两块竖板的横板3组成，毫米波收发装置17包括毫米波收发阵列4，分别设置在竖板中间位置的一毫米波收发芯片20和设置在毫米波收发芯片20周围的接收芯片19，滤波模块7对毫米波收发芯片20接收的毫米波的回波信号的过滤，放大模块8用于对滤波模块7过滤后的毫米波的回波信号进行放大，AD转换模块9用于将放大模块8放大后的毫米波的回波信号进行电信号转换，通过图像处理模块10将AD转换模块9转换后的电信号进行叠加，形成物体或人体完整图像，存储模块12用于存储显示模块11显示的图像信息和对应的人或物品的其它相关信息，报警器13与图像处理机构6相连接，测量仪16、指纹采集器14和摄像头15分别都与存储模块12、开关装置18和驱动机构5相连接，将毫米波收发装置设置满安检门的相对一侧的侧壁，只要人进去就可以直接整个人体扫描，在通过扫描人体时得到多列回波信号，通过对背景信号的过滤，可对人体表层信号进行成像。
如图2所示，人体通过毫米波扫描成像后得到毫米波人体图像，针对该图像进行判断是否带有危险物品，如果没有带违禁物品，则顺利通过，但如果带了违禁物品，则会准确定位并且进一步判断具体带了哪一种危险物品。
一种基于迁移学习的Faster R-CNN物品检测方法，如图3所示，所述方法步骤包括：
S1：获取待检测的毫米波图像，并根据图像的信息熵确定图像的分割阈值，通过分割阈值对图像进行分割填充，得到目标分割结果图；
S2：将目标分割结果图输入到Faster R-CNN模型中进行检测；
S3：根据Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将深度卷积神经网络ResNet50作为特征提取的主干网络，并结合迁移学习对目标分割结果图进行提取特征，得到特征图；
S22：在候选区域提取网络中选取候选框，并将候选框映射到特征图中，得到候选区域映射图；在进行映射时采用K-Means算法优化锚设置；
S23：将特征图和候选区域映射图传递给分类回归网络,输出候选区域对应各类别的置信度和修正参数；
其中，Faster R-CNN表示基于深度卷积神将网络的目标检测模型，K-Means表示聚类算法，RPN表示候选区域提取网络。
带有目标的分割结果图的获取包括：
S11：确定毫米波图像的灰度值，灰度值的范围为0～K；
S12：求取每一个灰度值出现的概率p(i)，其出现的概率等于该灰度值的像素个数除以全部的像素点个数；
S13：设定一个阈值q，阈值q将图像分为前景P0和背景P1；并求取前景P0的信息熵H0(q)，背景P1的信息熵H1(q)；
阈值q分割的前景和背景像素的累计概率：
Figure BDA0002312296160000061
Figure BDA0002312296160000062
根据信息熵的计算表达式可以求得此时前景与背景所对应的信息熵H0(q)与H1(q)分别为：
Figure BDA0002312296160000063
Figure BDA0002312296160000064
S14：根据前景信息熵H0(q)和背景信息熵H1(q)，对图像信息熵进行调整，得到调整后的目标函数H，则H计算公式为：
Figure BDA0002312296160000065
其中，前景与背景的方差计算公式为：
Figure BDA0002312296160000066
Figure BDA0002312296160000067
μ0和μ1分别表示前景和背景像素的累计概率，其表达式为：
Figure BDA0002312296160000071
Figure BDA0002312296160000072
S15：采用最大熵分割算法对目标函数进行计算，得到阈值T，即T＝arg0≤t≤L-1 max(H)；利用阈值T对毫米波图像进行分割，得到分割图像；
S16：对毫米波图像进行目标区域提取，即对步骤S15的分割图像进行空洞填充，其填充的区域为目标区域中包含空白区域的图像，得到目标区域分割填充图；
S17：将目标区域分割填充图进行取反操作，得到图像1，并将图像1与目标区域分割填充图进行相乘操作，即两个图像对应的坐标像素相乘，得到分割出的目标区域；
S18：设定一个表示连通区域大小的阈值，若目标区域中的连通区域面积小于设定阈值，则对该区域进行填充处理，若目标区域中的连通区域面积大于等于设定阈值，则不做处理；最终得到目标分割结果图；
其中，
Figure BDA0002312296160000073
表示前景的方差，
Figure BDA0002312296160000074
表示背景的方差，H0表示前景信息熵，H1表示背景信息熵，H表示目标函数，arg表示0～L-1灰度级的均值，t表示假定的灰度阈值，L表示图像灰度级总像素点。
如图4所示，对于安检成像系统的毫米波图像目标检测与识别的实现过程包括：针对利用加权的最大熵算法分割出来的毫米波目标图像，通过迁移学习，利用深层卷积神经网络对待测图像进行特征提取，生成特征图。接着，利用聚类算法K-Means优化锚点设置后的候选区域生成网络RPN对特征图进行处理并输出多种尺度和宽高比的目标候选区域，最后，利用一个分类回归网络根据候选区域内的特征进行判别输出，具体包括：
如图5所示，Faster R-CNN模型包括：输入图像，利用特征提取网络提取图像的特征图，并将特征图输入给候选区域提取网络和分类回归网络，在候选区域提取网络中对特征图作进一步处理，并将进一步处理的特征图发送给分类回归网络，将两个图像进行分类，得到最后的输出结果。
如图6所示，深度卷积神经网络ResNet50包括一个单独的卷积层和四组block，四组block中分别包含了3个block、4个block、6个block以及3个block，每个block里面有三个卷积层，即该网络结构共包含49个卷积层和1个全连接层；
其中，block表示卷积模块。
在进行特征提取时，采用迁移学习对主干网络的前三层进行微调，并保持其他层参数不变；再把10、22、40、49层的参数进行微调，即微调构建特征金字塔的特征层；最后将输出的3层参数在原有参数的基础上进行微调；最终输出特征图。
如图7所示，展示了候选区域提取网络(RPN)网络的具体结构，feature map经过卷积核卷积后分成了两条线，上面一条通过softmax对锚分类获得前景和背景。下面那条线是用于计算锚的边界回归框的偏移量，以获得精确的候选区域。而最后候选区域提取层则负责综合前景锚和边界回归框偏移量获取候选区域，同时剔除太小和超出边界的区域,完成目标定位的功能。
其中，feature map表示特征图，softmax表示分类函数。
候选区域提取网络(PRN)是一个卷积神经网络，用于匹配侯选框在特征图上的映射，产生候选区域，一般通过在特征图的每个位置设置锚点作为参考来假设目标的位置，在毫米波安检场景下，不同类别的目标外观差异巨大，并且同一类别的目标由于距离的远近也会呈现不同的尺寸，因此在同时对多类目标进行检测时，为了提高检测精度，需要选择多种尺度及长宽比的锚点。然而瞄点较多会导致候选区域产生阶段时间效率较低，锚点较少着会降低检测性能，所以为了减少锚点的数量，同时使锚点能够更好地匹配多尺度目标，采用聚类算法K-Means算法，优化锚设置，具体包括：
S221：将特征图输入到候选区域提取网络中，输出多种尺度和宽高比的矩形候选区域；
S222：利用K-Means算法对训练集的目标真值框的宽高进行聚类，根据聚类结果定义锚的宽高；并且求出聚类中心与真值框的最大交并比IOU，聚类的距离度量定义为dist(g,c)＝1-IOU(g,c)；
S223：将特征图中的目标边界框的坐标调整为(0,0,w,h)，即将目标边界框的中心坐标设置为0；
S224：选择不同数量的聚类中心，得到不同数量的锚，并根据真值框与锚最近的平均IOU衡量锚点与真值边界框的匹配程度，公式为：
Figure BDA0002312296160000091
S225：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S226：根据锚点与真值框的匹配程度以及候选区域的类别置信度和修正参数对输入的特征图进行映射，得到映射图；
其中，dist表示聚类距离度量函数，g表示真值框，c表示聚类中心，IOU表示目标检测交并比，AveIOU表示锚点与真值边界框的匹配程度，N表示真值边界框的总数，k代表锚的数量，gi代表第i个真值边界框，anchorj表示第j个锚点。
候选区域提取网络的损失函数表达式为：
Figure BDA0002312296160000092
中，i是基准框的序号，pi是第i个基准框内包含待测目标的预测置信度，
Figure BDA0002312296160000093
是第i个基准框的标签，
Figure BDA0002312296160000094
代表第i个基准框内包含待测目标，
Figure BDA0002312296160000095
代表第i个基准框内不包含待测目标，ti是基准框的预测修正参数，
Figure BDA0002312296160000096
是基准框相对于目标标签框的修正参数，Ncls和Nreg分别表示对多任务损失函数的两个子项进行归一化处理的结果，λ用于调节两个子项的相对重要程度，Lcls(·)是预测置信度的损失函数。
Lcls(·)损失函数为一个二分类的逻辑回归损失函数，其表达式为：
Figure BDA0002312296160000101
Lreg(·)表示修正参数的损失函数，其表达式为：
Figure BDA0002312296160000102
其中，
Figure BDA0002312296160000103
表示探测边框回归的损失函数；
Figure BDA0002312296160000104
的函数表达式为：
Figure BDA0002312296160000105
表达
Figure BDA0002312296160000106
的对应表达式分别为：
Figure BDA0002312296160000107
Figure BDA0002312296160000108
其中x*，y*，w*，h*分别表示目标标签框的中心横坐标、中心纵坐标、宽度和高度，xa，ya，wa，ha分别表示基准矩形框的中心横坐标、中心纵坐标、宽度和高度。
特征提取网络ResNet50和优化锚设置后的RPN将结果传递给分类回归网络,输出候选区域对应各类别的置信度和修正参数，具体包括：
S231：将特征图和映射图输入分类回归网络；输出候选区域对应各类别的置信度和修正参数；
S232：利用分类回归网络的多任务损失函数将候选区域对应各类别的置信度和修正参数进行统一。
分类回归网络的多任务损失函数为：
L(p,u,vu,v*)＝Lcls(p,u)+λ[u≥1]Lloc(vu,v*)
其中，p是一个由各类别置信度组成的向量，p＝(p0,p1,p2,…,pk)，pk表示候选区域为第k类的置信度，u是候选区域的标签，vu为候选区域的预测修正参数，v*表示候选区域相对于目标标签框的修正参数，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)函数是预测置信度的损失函数，Lloc表示修正参数的损失函数。
置信度的损失函数表达式为：
Figure BDA0002312296160000111
修正参数的损失函数的表达式为：
Figure BDA0002312296160000112
其中，
Figure BDA0002312296160000113
的计算与候选区域提取网络的损失函数钟的ti，
Figure BDA0002312296160000114
的计算原理相同。
如图8所示，通过分类回归网络之后，得到毫米波图像目标检测的准确定位和精度。通过分类回归网络之后，得到毫米波图像目标检测的准确定位和精度。产生的候选区域进行RoiPooling层最大池化，然后进行全连接层，输出预测框以及预测值。
其中，RoiPooling表示感兴趣区域池化。
如图9所示，该图为毫米波探测人体所成图像，得到一个大小为679×880×3的三维数据，经改进的Faster R-CNN目标检测算法，自动地检测并识别出隐匿违禁物品。
如图10所示，利用改进的Faster R-CNN目标检测算法得到的毫米波图像危险物品检测结果，图像可以看出，检测出来的危险物的类别清晰，置信度也能达到98％及以上，满足安检需求。故实验仿真证明了本方法高度的有效性和实用性，为毫米波图像危险物品的检测和识别在安检领域的应用提供了有力支撑。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，所述方法步骤包括：
S1：获取待检测的毫米波图像，并根据图像的信息熵确定图像的分割阈值，通过分割阈值对图像进行分割填充，得到目标分割结果图；
S2：将目标分割结果图输入到Faster R-CNN模型中进行检测；
S3：根据Faster R-CNN模型检测到的各类别的置信度和修正参数判断物品的类别和物品所处的位置；
S4：对物品所处的位置进行标记，并将物品类别和所处位置在电脑上显示出来；
步骤S2中进行检测的过程包括：
S21：将深度卷积神经网络ResNet50作为特征提取的主干网络，并结合迁移学习对目标分割结果图进行提取特征，得到特征图；
S22：在候选区域提取网络中选取候选框，并将候选框映射到特征图中，得到候选区域映射图；在进行映射时采用K-Means算法优化锚设置；
S23：将特征图和候选区域映射图传递给分类回归网络,输出候选区域对应各类别的置信度和修正参数；
其中，Faster R-CNN表示基于深度卷积神将网络的目标检测模型，K-Means表示聚类算法，RPN表示候选区域提取网络。
2.根据权利要求1所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，带有目标的分割结果图的获取包括：
S11：确定毫米波图像的灰度值，灰度值的范围为0～K；
S12：求取每一个灰度值出现的概率p(i)，其出现的概率等于该灰度值的像素个数除以全部的像素点个数；
S13：设定一个阈值q，阈值q将图像分为前景P0和背景P1；并求取前景P0的信息熵H0(q)，背景P1的信息熵H1(q)；
S14：根据前景信息熵H0(q)和背景信息熵H1(q)，对图像信息熵进行调整，得到调整后的目标函数H，则H计算公式为：
Figure FDA0002312296150000021
S15：采用最大熵分割算法对目标函数进行计算，得到阈值T，即T＝arg0≤t≤L-1max(H)；利用阈值T对毫米波图像进行分割，得到分割图像；
S16：对毫米波图像进行目标区域提取，即对步骤S15的分割图像进行空洞填充，其填充的区域为目标区域中包含空白区域的图像，得到目标区域分割填充图；
S17：将目标区域分割填充图进行取反操作，得到图像1，并将图像1与目标区域分割填充图进行相乘操作，即两个图像对应的坐标像素相乘，得到分割出的目标区域；
S18：设定一个表示连通区域大小的阈值，若目标区域中的连通区域面积小于设定阈值，则对该区域进行填充处理，若目标区域中的连通区域面积大于等于设定阈值，则不做处理；最终得到目标分割结果图；
其中，
Figure FDA0002312296150000022
表示前景的方差，
Figure FDA0002312296150000023
表示背景的方差，H0表示前景信息熵，H1表示背景信息熵，H表示目标函数，arg表示0～L-1灰度级的均值，t表示假定的灰度阈值，L表示图像灰度级总像素点。
3.根据权利要求1所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，深度卷积神经网络ResNet50包括一个单独的卷积层和四组block，四组block中分别包含了3个block、4个block、6个block以及3个block，每个block里面有三个卷积层，即该网络结构共包含49个卷积层和1个全连接层；
在进行特征提取时，采用迁移学习对主干网络的前三层进行微调，并保持其他层参数不变；再把10、22、40、49层的参数进行微调，即微调构建特征金字塔的特征层；最后将输出的3层参数在原有参数的基础上进行微调；最终输出特征图；
其中，block表示卷积模块。
4.根据权利要求1所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，所述步骤S22的具体步骤包括：
S221：将特征图输入到候选区域提取网络中，输出多种尺度和宽高比的矩形候选区域；
S222：利用K-Means算法对训练集的目标真值框的宽高进行聚类，根据聚类结果定义锚的宽高；并且求出聚类中心与真值框的最大交并比IOU，聚类的距离度量定义为dist(g,c)＝1-IOU(g,c)；
S223：将特征图中的目标边界框的坐标调整为(0,0,w,h)，即将目标边界框的中心坐标设置为0；
S224：选择不同数量的聚类中心，得到不同数量的锚，并根据真值框与锚最近的平均IOU衡量锚点与真值边界框的匹配程度，公式为：
Figure FDA0002312296150000031
S225：使用候选区域提取网络的多任务损失函数将候选区域的类别置信度和修正参数统一；
S226：根据锚点与真值框的匹配程度以及候选区域的类别置信度和修正参数对输入的特征图进行映射，得到映射图；
其中，dist表示聚类距离度量函数，g表示真值框，c表示聚类中心，IOU表示目标检测交并比，AveIOU表示锚点与真值边界框的匹配程度，N表示真值边界框的总数，k代表锚的数量，gi代表第i个真值边界框，anchorj表示第j个锚点。
5.根据权利要求4所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，多任务损失函数的表达式为：
Figure FDA0002312296150000032
其中，i是基准框的序号，pi是第i个基准框内包含待测目标的预测置信度，
Figure FDA0002312296150000033
是第i个基准框的标签，
Figure FDA0002312296150000034
代表第i个基准框内包含待测目标，
Figure FDA0002312296150000035
代表第i个基准框内不包含待测目标，ti是基准框的预测修正参数，
Figure FDA0002312296150000041
是基准框相对于目标标签框的修正参数，Ncls和Nreg分别表示对多任务损失函数的两个子项进行归一化处理的结果，λ表示平衡参数，用于调节两个子项的相对重要程度，Lcls(·)表示预测置信度的损失函数，Lreg(·)表示修正参数的损失函数。
6.根据权利要求1所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，步骤S23的具体步骤包括：
S231：将特征图和候选区域映射图输入分类回归网络；输出候选区域对应各类别的置信度和修正参数；
S232：利用分类回归网络的多任务损失函数将候选区域对应各类别的置信度和修正参数进行统一。
7.根据权利要求6所述的一种基于迁移学习的Faster R-CNN物品检测方法，其特征在于，分类回归网络的多任务损失函数为：
L(p,u,vu,v*)＝Lcls(p,u)+λ[u≥1]Lloc(vu,v*)
其中，p表示一个由各类别置信度组成的向量，p＝(p0,p1,p2,…,pk)，pk表示候选区域为第k类的置信度，u表示候选区域的标签，vu为候选区域的预测修正参数，v*表示候选区域相对于目标标签框的修正参数，λ表示平衡参数，Lcls(·)函数是预测置信度的损失函数，Lloc表示修正参数的损失函数。
CN201911263762.XA 2019-12-11 2019-12-11 基于迁移学习的Faster R-CNN物品检测方法 Pending CN111160120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263762.XA CN111160120A (zh) 2019-12-11 2019-12-11 基于迁移学习的Faster R-CNN物品检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263762.XA CN111160120A (zh) 2019-12-11 2019-12-11 基于迁移学习的Faster R-CNN物品检测方法

Publications (1)

Publication Number Publication Date
CN111160120A true CN111160120A (zh) 2020-05-15

Family

ID=70556989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263762.XA Pending CN111160120A (zh) 2019-12-11 2019-12-11 基于迁移学习的Faster R-CNN物品检测方法

Country Status (1)

Country Link
CN (1) CN111160120A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402012A (zh) * 2020-06-03 2020-07-10 江苏省质量和标准化研究院 一种基于迁移学习的电商缺陷产品识别方法
CN111652140A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 基于深度学习的题目精准分割方法、装置、设备和介质
CN111753877A (zh) * 2020-05-19 2020-10-09 海克斯康制造智能技术(青岛)有限公司 一种基于深度神经网络迁移学习的产品质量检测方法
CN111931915A (zh) * 2020-08-06 2020-11-13 中国科学院重庆绿色智能技术研究院 一种基于diou损失函数的训练网络的方法
CN112232334A (zh) * 2020-12-21 2021-01-15 德明通讯（上海）股份有限公司 一种智能售货商品识别检测方法
CN112307903A (zh) * 2020-09-29 2021-02-02 江西裕丰智能农业科技有限公司 一种果林统计中快速单木提取定位计数方法
CN112597989A (zh) * 2020-12-18 2021-04-02 中国科学院上海微系统与信息技术研究所 毫米波三维全息图像隐匿物品检测方法及系统
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112802005A (zh) * 2021-02-07 2021-05-14 安徽工业大学 一种基于改进Mask RCNN的汽车表面擦伤检测方法
CN112966700A (zh) * 2021-03-29 2021-06-15 清华大学 一种毫米波图像目标检测方法
CN113177912A (zh) * 2021-04-13 2021-07-27 北京科技大学 一种基于深度学习的胃息肉检测方法及装置
CN113222989A (zh) * 2021-06-09 2021-08-06 联仁健康医疗大数据科技股份有限公司 一种图像分级方法、装置、存储介质及电子设备
CN113642620A (zh) * 2021-07-30 2021-11-12 北京三快在线科技有限公司 一种模型训练以及障碍物检测方法及装置
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113935379A (zh) * 2021-10-15 2022-01-14 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110084868A1 (en) * 2009-10-08 2011-04-14 Brijot Imaging Systems, Inc. Variable range millimeter wave method and system
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110298226A (zh) * 2019-04-03 2019-10-01 复旦大学 一种毫米波图像人体携带物的级联检测方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN110533025A (zh) * 2019-07-15 2019-12-03 西安电子科技大学 基于候选区域提取网络的毫米波人体图像检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110084868A1 (en) * 2009-10-08 2011-04-14 Brijot Imaging Systems, Inc. Variable range millimeter wave method and system
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN110298226A (zh) * 2019-04-03 2019-10-01 复旦大学 一种毫米波图像人体携带物的级联检测方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
CN110533025A (zh) * 2019-07-15 2019-12-03 西安电子科技大学 基于候选区域提取网络的毫米波人体图像检测方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
毛靖琦: "《毫米波无源成像运动目标检测与跟踪算法研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈国平等: "《采用深度卷积神经网络方法的毫米波图像目标检测》", 《电讯技术》 *
陈康等: "《基于深度卷积神经网络的汽车驾驶场景目标检测算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753877A (zh) * 2020-05-19 2020-10-09 海克斯康制造智能技术(青岛)有限公司 一种基于深度神经网络迁移学习的产品质量检测方法
CN111753877B (zh) * 2020-05-19 2024-03-05 海克斯康制造智能技术(青岛)有限公司 一种基于深度神经网络迁移学习的产品质量检测方法
CN111402012B (zh) * 2020-06-03 2020-08-25 江苏省质量和标准化研究院 一种基于迁移学习的电商缺陷产品识别方法
CN111652140A (zh) * 2020-06-03 2020-09-11 广东小天才科技有限公司 基于深度学习的题目精准分割方法、装置、设备和介质
CN111402012A (zh) * 2020-06-03 2020-07-10 江苏省质量和标准化研究院 一种基于迁移学习的电商缺陷产品识别方法
CN111931915A (zh) * 2020-08-06 2020-11-13 中国科学院重庆绿色智能技术研究院 一种基于diou损失函数的训练网络的方法
CN112307903A (zh) * 2020-09-29 2021-02-02 江西裕丰智能农业科技有限公司 一种果林统计中快速单木提取定位计数方法
CN112597989A (zh) * 2020-12-18 2021-04-02 中国科学院上海微系统与信息技术研究所 毫米波三维全息图像隐匿物品检测方法及系统
CN112232334A (zh) * 2020-12-21 2021-01-15 德明通讯（上海）股份有限公司 一种智能售货商品识别检测方法
CN112686906B (zh) * 2020-12-25 2022-06-14 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112686906A (zh) * 2020-12-25 2021-04-20 山东大学 基于均匀分布迁移引导的图像分割方法及系统
CN112802005A (zh) * 2021-02-07 2021-05-14 安徽工业大学 一种基于改进Mask RCNN的汽车表面擦伤检测方法
CN112966700A (zh) * 2021-03-29 2021-06-15 清华大学 一种毫米波图像目标检测方法
CN113177912A (zh) * 2021-04-13 2021-07-27 北京科技大学 一种基于深度学习的胃息肉检测方法及装置
CN113222989A (zh) * 2021-06-09 2021-08-06 联仁健康医疗大数据科技股份有限公司 一种图像分级方法、装置、存储介质及电子设备
CN113643235A (zh) * 2021-07-07 2021-11-12 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113643235B (zh) * 2021-07-07 2023-12-29 青岛高重信息科技有限公司 一种基于深度学习的芯片计数方法
CN113642620A (zh) * 2021-07-30 2021-11-12 北京三快在线科技有限公司 一种模型训练以及障碍物检测方法及装置
CN113935379A (zh) * 2021-10-15 2022-01-14 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统
CN113935379B (zh) * 2021-10-15 2024-02-27 中国科学技术大学 一种基于毫米波雷达信号的人体活动分割方法及系统

Similar Documents

Publication Publication Date Title
CN111160120A (zh) 基于迁移学习的Faster R-CNN物品检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN110033002A (zh) 基于多任务级联卷积神经网络的车牌检测方法
Zhang et al. Multitask learning for ship detection from synthetic aperture radar images
CN112101278A (zh) 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN113822352B (zh) 基于多特征融合的红外弱小目标检测方法
CN111339830A (zh) 一种基于多模态数据特征的目标分类方法
Wu et al. Typical target detection in satellite images based on convolutional neural networks
CN116109936B (zh) 基于光学遥感的目标检测与识别方法
Liu et al. Ship recognition and tracking system for intelligent ship based on deep learning framework
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN107610136B (zh) 基于凸包结构中心查询点排序的显著目标检测方法
CN111144238A (zh) 基于Faster R-CNN的物品检测方法及系统
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
Poostchi et al. Feature selection for appearance-based vehicle tracking in geospatial video
CN113255555A (zh) 中国交通标志牌识别方法、系统、处理设备及存储介质
CN116703895A (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
CN110516761A (zh) 基于深度学习的目标检测系统、方法、存储介质及终端
Da et al. Remote sensing image ship detection based on improved YOLOv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230602

Address after: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant after: Chongqing University of Posts and Telecommunications Technology Development Co.,Ltd.

Applicant after: Chen Guoping

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240122

Address after: 402460 No. 92 Donglin Avenue, Biquan Street, Bishan District, Chongqing (Building 52)

Applicant after: Chongqing Youke Millimeter Wave Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Applicant before: Chongqing University of Posts and Telecommunications Technology Development Co.,Ltd.

Country or region before: China

Applicant before: Chen Guoping

TA01 Transfer of patent application right