CN111539489A - 一种毫米波图像目标检测识别方法 - Google Patents

一种毫米波图像目标检测识别方法 Download PDF

Info

Publication number
CN111539489A
CN111539489A CN202010467932.2A CN202010467932A CN111539489A CN 111539489 A CN111539489 A CN 111539489A CN 202010467932 A CN202010467932 A CN 202010467932A CN 111539489 A CN111539489 A CN 111539489A
Authority
CN
China
Prior art keywords
target
training
millimeter wave
detection
training model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010467932.2A
Other languages
English (en)
Inventor
潘美艳
孙俊
杨予昊
李思明
李光锐
陈建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 14 Research Institute
Original Assignee
CETC 14 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 14 Research Institute filed Critical CETC 14 Research Institute
Priority to CN202010467932.2A priority Critical patent/CN111539489A/zh
Publication of CN111539489A publication Critical patent/CN111539489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种毫米波图像目标检测识别方法,包括以下步骤:采集和预处理毫米波图像;对图像进行目标的标注,得到样本集和标签,将样本集按比例划分为训练集、验证集和测试集;对样本集进行深度学习网络训练;测试训练模型;根据评价指标和需求优化训练模型。本发明对成像结果进行的处理实现了危险品的定位和识别,有效的提高了人体安检的可靠性,为公共场所的安保提供了保障。

Description

一种毫米波图像目标检测识别方法
技术领域
本发明涉及毫米波图像处理技术领域,具体涉及一种毫米波图像目标检测识别方法。
背景技术
近年来,随着恐怖主义的盛行,公共交通、民航系统等公共场所的安保问题受到了极大的挑战。人体安检是一项重要的安保措施,主要检查的对象包括人体随身携带的管制刀具、枪支弹药以及易燃易爆等危险品。通过人体安检系统对人体进行检查,简单、准确、高效地查验危险品决定了安保措施的有效性,因此实现对危险品的检测和识别对于公共场所的安全保障具有重要的意义。
目前通用的人体安检系统是金属安检门配合手持式金属探测器进行人工探摸,但存在只能探测金属物品、效率低下、接触人体等弊端,于是一种基于毫米波成像技术的人体安检系统应运而生,主要分为被动式毫米波人体安检系统和主动式毫米波人体安检系统。相比传统金属安检门,毫米波人体安检系统在使用中不会对人体造成伤害,且毫米波成像不受衣物影响,能够获取人体形状特征以及藏匿于服饰下的危险物品,因而毫米波人体安检系统逐渐得到广泛运用。然而不论是被动式还是主动式毫米波人体安检系统生成的毫米波图像,都需要通过人工检测的方法实现对危险品的检测和识别,此类人工检测方法费时费力,导致安检效率低,不能快速高效地实现对危险品的定位和识别。
发明内容
为了解决上述问题,本发明提出了一种毫米波图像目标检测识别方法,包括以下步骤:采集和预处理毫米波图像;
对图像进行目标的标注,得到样本集和标签,将样本集按比例划分为训练集、验证集和测试集;
对样本集进行深度学习网络训练,具体包括:
通过卷积层对输入的训练集中的图像进行卷积、ReLU激活和池化,提取图像中表征目标特性的特征图,
通过区域生成网络生成候选区域,包括利用softmax判别函数判断候选区域的类别和利用边框回归修正候选区域的坐标,
将利用卷积层生成的特征图和区域生成网络生成的候选区域输入感兴趣区域池化层,将大小不同的候选区域转化为固定尺寸大小的候选区域,
将固定尺寸大小的候选区域进行全连接层检测,将检测结果分别进行检测和识别,所述检测具体为通过softmax判别函数判断目标的类别,所述识别具体为通过边框回归获得目标的精确位置,
实时输出训练的损失函数,间隔若干迭代次数保存训练模型,直至达到设置的迭代次数或损失函数趋于平缓算法收敛;
测试训练模型:利用保存的训练模型对测试集进行测试,对测试结果进行统计分析,获得目标检测识别的评价指标;
根据评价指标和需求优化训练模型。
进一步地,所述优化训练模型具体包括:
扩增训练集:通过空间变换扩增训练集;通过扩大样本集的收集范围增加样本集中的目标类别;所述空间变换包括缩放、平移、旋转和翻转;
设计深度学习网络参数:通过改变迭代次数,阈值函数以及损失函数提高测试的正确率、降低漏检率,满足需求和评价指标要求;
优化深度学习网络结构:通过添加或减少卷积层对网络结构进行优化;在卷积层之前或者卷积层之后添加空间变换网络;
重复上述步骤,重新对训练模型进行训练和测试,直至获得满足需求和评价指标要求的训练模型。
进一步地,所述对测试结果进行统计分析具体包括:统计测试正确的样本数目、错误的样本数目、多检测的样本数目以及未检测到的样本数目,除以测试集样本总数,得到目标检测识别的正确率、漏检率。
进一步地,所述预处理包括去噪、滤波和伪影去除。
进一步地,所述目标的标注具体为:用矩形框将目标位置框出来,并添加目标的类别;通过编程生成所需的样本标签;
进一步地,所述利用保存的训练模型对测试集进行测试具体为,将测试集输入到训练模型中,通过分类和边框回归实现目标的检测识别,获得目标的类别和位置。
与现有技术相比,本发明具有以下有益效果:
1.能够自动准确地检测目标:通过训练集训练的模型,准确的定位出目标的位置,可有效检测人体安检中可能存在的目标位置,与肉眼看到的目标位置一致;
2.能够自动准确地识别目标:通过训练集训练的模型,准确分类出目标的类别如菜刀、匕首、手枪等,可有效的识别出测试的三类目标;
3.检测识别正确率高、漏检率低:通过扩增训练集、设计网络参数、优化网络结构等措施,提高检测识别目标的有效性,在实例测试集上正确率达到95.8%以上,漏检率为3.14%;
4.提高了公共场所人体安检的效率,从原来人工安检到人体安检系统自动安检,效率提高了2~3倍(安检所需时间由原来的8~10s/人提升到3~4s/人),解决了传统人体安检目标检测识别方法费时费力、效率低下、检测正确率低、漏检率高、不识别目标类别的弊端。
附图说明
图1是本发明毫米波图像目标检测识别方法的流程图。
图2是毫米波安检图像获取的流程图。
图3是毫米波安检图像示意图。
图4是样本集制作的流程图。
图5是制作的样本集的示意图。
图6是训练网络的结构示意图。
图7是测试结果示意图。
具体实施方式
以下结合附图对本发明的一种毫米波图像目标检测识别方法的具体实施方式做详细说明。
如图1所示,本发明的毫米波图像目标检测识别方法,包括如下步骤:
1、毫米波人体安检系统成像,具体流程如图2所示:利用被动式或主动式毫米波成像技术在公共交通、民航系统等公共场所采集图像,通过去噪、滤波、伪影去除等图像处理方法对成像结果进行预处理,获得比较清晰的人体毫米波图像,分辨率达到10毫米左右;
1.1采集图像:在公共交通、民航系统等公共场所安装毫米波人体安检系统,进行人体安检图像的采集,获得初步的毫米波图像,图3为本实施例所展示的目标为菜刀的毫米波安检图像示意图,除此之外,所述目标还可以为匕首和手枪等的危险品,在此不一一赘述。所述毫米波人体安检系统采用的是主动式毫米波成像,即系统通过毫米波发射源对探测物发射毫米波信号,接收机接收探测物反射回的信号,根据接收信号的幅度、时延为特征重建出探测物图像,利用的是人体和人体携带的隐匿物品对发射的毫米波的反射和散射性质的不同来区分判别目标。
1.2成像结果预处理:由于反射、光照、角度、环境干扰等的影响,需要对初步的毫米波图像进行处理;通过去噪、滤波、伪影去除等图像处理方法对毫米波图像进行预处理,获得比较清晰的图像,分辨率达到10毫米左右,便于后续的样本集制作。
2、制作人体毫米波图像的样本集,具体流程如图4所示:采用图像标注工具对步骤1中得到预处理后的毫米波图像进行目标的标注从而生成样本集和样本标签,所述标注的对象包括目标的类别和位置;将样本集按比例划分为训练验证集和测试集,其中训练验证集又分为训练集和验证集,用于后续的训练和测试。
2.1目标的标注:利用图像标注工具在如图3所示的图像中标注目标所在位置,标注后的图像如图5所示,即用矩形框将目标位置框出来并添加目标的类别;通过编程处理(如MATLAB等程序)生成所需的样本标签,由此得到标注好的样本集和样本标签。
2.2样本集的划分:本实施例中样本集总数为953,其中含有菜刀的样本数为415,含有匕首的样本数为320,含有手枪的样本数为218;根据样本集数量将样本集划分为训练验证集和测试集,一般来说划分比例为4:1或7:3;本实施例中训练验证集占样本集总数的80%,测试集占样本集总数的20%;再将训练验证集划分为训练集和验证集,训练集占训练验证集的70%,验证集占训练验证集的30%。训练集用于Faster R-CNN等深度学习网络的训练,学习得到表征目标特征的训练模型,验证集用于验证训练好的模型是否过拟合,提高训练模型的泛化能力;测试集用于检测训练模型的优劣,判断在测试集上是否有好的测试结果,为未知样本目标的检测识别提供了基础。
3、深度学习网络训练:采用Faster R-CNN等深度学习网络对训练集进行训练,输入训练集样本图像和样本标签,通过卷积层、区域生成网络、感兴趣区域池化层、全连接层检测和识别四个模块对训练集训练,设置训练次数和学习率等参数,实时输出训练的损失函数,间隔若干迭代次数保存训练结果模型,直至达到设置的迭代次数或算法收敛,具体包括以下步骤(如图6所示);
3.1卷积层生成特征图:利用Faster R-CNN网络结构对训练集进行训练,通过卷积层对输入的训练集中的图像进行卷积(Convolution)、ReLU(Rectified linear unit:修正线性单元)激活和池化,提取图像中表征目标特性的特征图。
3.2区域生成网络生成候选区域:通过RPN(Region Proposal Network:区域生成网络)生成候选区域,利用softmax判别函数(也被称为归一化指数函数,可以认为其是logistic函数的一种一般化推广)判断候选区域的类别,并利用边框回归修正候选区域的坐标获得较精确的目标区域。
3.3感兴趣区域池化:将步骤3.1和步骤3.2生成的特征图和候选区域输入感兴趣区域池化层,将大小不同的候选区域转化为固定尺寸大小的候选区域,便于输入后续的全连接层进行目标的检测识别。
3.4全连接层检测识别:将步骤3.3的输出作为全连接层检测的输入,分为检测和识别两个部分,一部分通过softmax判别函数判断目标的类别,另一部分通过边框回归获得目标的精确位置。
3.5保存训练模型:实时输出训练的损失函数,间隔若干迭代次数保存训练模型,直至达到设置的迭代次数或损失函数趋于平缓算法收敛。
4、训练模型测试测试集:利用保存的训练模型对测试集进行测试,对测试结果进行统计分析,获得目标检测识别的正确率、漏检率等指标,作为评价该本实施例方法优劣的指标。
4.1测试测试集:利用保存的训练模型对测试集进行测试,将测试集输入到训练模型中,通过分类和边框回归实现目标的检测识别,获得目标的类别和位置,矩形框标注了目标所在的位置,并在矩形框的左上角标注了目标的类别及认为是该类目标的置信度,如图7所示,knife表示目标的类别为刀,目标为刀的置信度为1。
4.2结果统计分析:对得到的测试结果进行统计分析,统计测试正确的样本数目、错误的样本数目、多检测的样本数目以及未检测到的样本数目,除以测试集样本总数,得到目标检测识别的正确率、漏检率。
5、优化训练模型:根据评价指标的优劣以及任务需求,扩增训练集、设计深度学习网络参数、优化深度学习网络结构,重复步骤30)-50),以获得满足需求的训练网络模型,并在测试集上有较好的泛化能力。
5.1扩增训练集:通过缩放、平移、旋转、翻转等空间变换扩增训练集,提高深度学习网络的泛化能力;通过不同的实验获得多种目标的样本集,提高深度学习网络的学习能力。
5.2设计深度学习网络参数:改变迭代次数,阈值函数以及损失函数等,提高测试的正确率,降低漏检率,以达到任务需求,满足任务指标要求。
5.3优化深度学习网络结构:对网络结构优化,添加或减少卷积层,以便于获得更好的特征;在卷积层之前或者卷积层之后添加空间变换网络,提高网络对目标空间变换的学习能力,增强网络的鲁棒性和泛化能力。
5.4重复训练测试:重复步骤5.1-步骤5.3直至获得满足需求的训练网络模型,在测试样本集上有较好的性能。
本发明在进行人体安检系统目标检测识别时,只需要利用训练好的模型对人体安检系统图像进行测试,检测识别方法快速简洁。本发明对人体安检系统目标检测识别的正确率达到95.8%以上,漏检率为3.14%,具有较高的检测率和识别率。本发明对成像结果进行的处理实现了危险品的定位和识别,有效的提高了人体安检的可靠性,为公共场所的安保提供了保障。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种毫米波图像目标检测识别方法,其特征在于,包括以下步骤:
采集和预处理毫米波图像;
对图像进行目标的标注,得到样本集和标签,将样本集按比例划分为训练集、验证集和测试集;
对样本集进行深度学习网络训练,具体包括:
通过卷积层对输入的训练集中的图像进行卷积、ReLU激活和池化,提取图像中表征目标特性的特征图,
通过区域生成网络生成候选区域,包括利用softmax判别函数判断候选区域的类别和利用边框回归修正候选区域的坐标,
将利用卷积层生成的特征图和区域生成网络生成的候选区域输入感兴趣区域池化层,将大小不同的候选区域转化为固定尺寸大小的候选区域,
将固定尺寸大小的候选区域进行全连接层检测,将检测结果分别进行检测和识别,所述检测具体为通过softmax判别函数判断目标的类别,所述识别具体为通过边框回归获得目标的精确位置,
实时输出训练的损失函数,间隔若干迭代次数保存训练模型,直至达到设置的迭代次数或损失函数趋于平缓算法收敛;
测试训练模型:利用保存的训练模型对测试集进行测试,对测试结果进行统计分析,获得目标检测识别的评价指标;
根据评价指标和需求优化训练模型。
2.根据权利要求1所述的毫米波图像目标检测识别方法,其特征在于,所述优化训练模型具体包括:
扩增训练集:通过空间变换扩增训练集;通过扩大样本集的收集范围增加样本集中的目标类别;所述空间变换包括缩放、平移、旋转和翻转;
设计深度学习网络参数:通过改变迭代次数,阈值函数以及损失函数提高测试的正确率、降低漏检率,满足需求和评价指标要求;
优化深度学习网络结构:通过添加或减少卷积层对网络结构进行优化;在卷积层之前或者卷积层之后添加空间变换网络;
重复上述步骤,重新对训练模型进行训练和测试,直至获得满足需求和评价指标要求的训练模型。
3.根据权利要求2所述的毫米波图像目标检测识别方法,其特征在于,所述对测试结果进行统计分析具体包括:统计测试正确的样本数目、错误的样本数目、多检测的样本数目以及未检测到的样本数目,除以测试集样本总数,得到目标检测识别的正确率、漏检率。
4.根据权利要求3所述的毫米波图像目标检测识别方法,其特征在于,所述预处理包括去噪、滤波和伪影去除。
5.根据权利要求4所述的毫米波图像目标检测识别方法,其特征在于,所述目标的标注具体为:用矩形框将目标位置框出来,并添加目标的类别;通过编程生成所需的样本标签。
6.根据权利要求5所述的毫米波图像目标检测识别方法,其特征在于,所述利用保存的训练模型对测试集进行测试具体为,将测试集输入到训练模型中,通过分类和边框回归实现目标的检测识别,获得目标的类别和位置。
CN202010467932.2A 2020-05-28 2020-05-28 一种毫米波图像目标检测识别方法 Pending CN111539489A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010467932.2A CN111539489A (zh) 2020-05-28 2020-05-28 一种毫米波图像目标检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010467932.2A CN111539489A (zh) 2020-05-28 2020-05-28 一种毫米波图像目标检测识别方法

Publications (1)

Publication Number Publication Date
CN111539489A true CN111539489A (zh) 2020-08-14

Family

ID=71977994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010467932.2A Pending CN111539489A (zh) 2020-05-28 2020-05-28 一种毫米波图像目标检测识别方法

Country Status (1)

Country Link
CN (1) CN111539489A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098997A (zh) * 2020-09-18 2020-12-18 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN112966700A (zh) * 2021-03-29 2021-06-15 清华大学 一种毫米波图像目标检测方法
CN113095241A (zh) * 2021-04-16 2021-07-09 武汉理工大学 一种基于carla模拟器的目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOTAI WANG: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098997A (zh) * 2020-09-18 2020-12-18 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN112098997B (zh) * 2020-09-18 2021-10-15 欧必翼太赫兹科技(北京)有限公司 三维全息成像安检雷达图像异物检测方法
CN112966700A (zh) * 2021-03-29 2021-06-15 清华大学 一种毫米波图像目标检测方法
CN113095241A (zh) * 2021-04-16 2021-07-09 武汉理工大学 一种基于carla模拟器的目标检测方法

Similar Documents

Publication Publication Date Title
CN111539489A (zh) 一种毫米波图像目标检测识别方法
CN111325748B (zh) 一种基于卷积神经网络的红外热像无损检测方法
US10013615B2 (en) Inspection methods and devices
CN102288613B (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN110020647B (zh) 一种违禁品目标检测方法、装置及计算机设备
CN103528617B (zh) 一种座舱仪表自动识别和检测方法及装置
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
CN103353988B (zh) 异源sar景象特征匹配算法性能评估方法
CN102928435A (zh) 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
CN105469079A (zh) 基于多传感器信息融合的物体材质识别方法
CN103439342A (zh) 基于热图时序特征的红外无损检测方法
CN101533466B (zh) 一种眼睛定位图像处理方法
CN110705508A (zh) 一种isar图像的卫星识别方法
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN111445515B (zh) 基于特征融合网络的地下圆柱体目标半径估算方法及系统
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
CN107727749B (zh) 一种基于小波包融合特征提取算法的超声定量检测方法
CN112329587A (zh) 饮料瓶的分类方法、装置及电子设备
CN115656335A (zh) 一种轴承套圈内部缺陷快速检测与识别方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113538406B (zh) 一种基于分数阶小波变换的钢板内表面缺陷识别方法
CN113096122A (zh) 流星检测方法、装置及电子设备
Liu et al. Automatic detection and segmentation of laser stripes for industrial measurement
Chen et al. Localization and imaging of internal hidden defects in concrete slabs based on deep learning of vibration signals
CN111325076B (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination