CN112597989B - 毫米波三维全息图像隐匿物品检测方法及系统 - Google Patents

毫米波三维全息图像隐匿物品检测方法及系统 Download PDF

Info

Publication number
CN112597989B
CN112597989B CN202011507928.0A CN202011507928A CN112597989B CN 112597989 B CN112597989 B CN 112597989B CN 202011507928 A CN202011507928 A CN 202011507928A CN 112597989 B CN112597989 B CN 112597989B
Authority
CN
China
Prior art keywords
dimensional
value
bounding box
holographic image
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011507928.0A
Other languages
English (en)
Other versions
CN112597989A (zh
Inventor
吴亮
李怀乾
杨明辉
钱蓉
孙晓玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202011507928.0A priority Critical patent/CN112597989B/zh
Publication of CN112597989A publication Critical patent/CN112597989A/zh
Application granted granted Critical
Publication of CN112597989B publication Critical patent/CN112597989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Abstract

本发明提供一种定位精确的毫米波三维全息图像隐匿物品检测方法及系统，包括：对原始三维全息图像高通滤波并体素化；通过稀疏3D卷积及子流形稀疏3D卷积对体素化后的三维图像降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；通过合并深度维度及通道维度，将四维张量变换为三维张量，再进行分类任务及边界框回归任务，得到边界框及置信度。本发明使用三维数据作为输入，提高了小目标的数据量的同时降低其周围噪声，并引入深度维度，完整保留了物体的三维空间几何信息而无失真，提升了小物体的辩认度，从而有效提升了毫米波三维全息图像中的隐匿物体的检出率与定位精度。

Description

毫米波三维全息图像隐匿物品检测方法及系统
技术领域
本发明涉及三维图像处理技术领域，特别是涉及一种毫米波三维全息图像隐匿物品检测方法及系统。
背景技术
检测人员衣服下的隐匿物体是确保公共安全的重要手段之一。毫米波可以穿透衣服，且毫米波辐射为非电离辐射，对人体健康无危害，适合隐匿物品检测任务。主动式毫米波(Active Millimeter Wave，AMMW)全息成像技术使用毫米波雷达扫描被检人员，并重建其三维全息图像，用于查看衣服下的隐匿物体。隐匿物品检测试图从扫描图像中检测具有潜在威胁的物品并定位。在机场、车站等人流量大或人员密集的场所，要求检测快速准确。因此，自动实时检测隐匿物品对安全行业具有重要意义。然而，AMMW全息图像隐匿物品检测任务存在以下挑战：一方面，由于硬件限制，AMMW全息图像空间分辨率一般较低，而隐匿物品种类繁多且大多数尺寸较小，给准确检测与定位带来挑战；另一方面，处理三维数据带来巨大的计算压力，使得实时检测并非易事。
为降低计算成本，提高检测速度，大多数方法首先沿深度方向取最大值投影，再针对投影所得的二维正视图进行检测。但是投影过程中丢失了深度信息，且造成图像失真，不利于准确检测与定位。为引入深度信息，现有技术中使用二维正视图每个点对应的深度构成深度图，融合深度图与正视图输入改进的Faster R-CNN(Region-Convolutional NeuralNetwork，基于区域的卷积神经网络)进行检测。该方法引入了一定的深度信息，有效提高了检出率。为更大程度上利用三维几何信息，将全息图像沿14个角度投影，使用改进的FasterR-CNN分别对14幅二维视图进行检测，再将结果融合至前后两视图作为最终的检测结果。该方法有效提高了检出率与定位精度，但检测每组数据耗时2.87s，无法满足实时检测要求。
自动驾驶的火热促进了三维目标检测的发展，然而，几乎没有针对AMMW全息图像的三维目标检测器。因此，如何针对AMMW全息图像进行三维目标检测已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种毫米波三维全息图像隐匿物品检测方法及系统，用于解决现有技术中AMMW全息图像的隐匿物品检测及定位准确性低、计算成本大、检测速度慢等问题。
为实现上述目的及其他相关目的，本发明提供一种毫米波三维全息图像隐匿物品检测方法，所述毫米波三维全息图像隐匿物品检测方法至少包括：
S1)对目标进行毫米波扫描，获得原始三维全息图像；
S2)对所述原始三维全息图像进行高通滤波获取前景图像；
S3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征；
S4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；
S5)将所述四维张量变换为三维张量，馈入区域候选网络进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。
可选地，网络训练过程中将所述正视图中的边界框作为监督信息，各边界框真值在深度方向上的参数设为相同的先验值。
更可选地，所述分类任务的损失函数满足如下关系式：
LFL(p,p*)＝-αp*(1-p)γlog(p)-(1-p*)(1-α)pγlog(1-p)；
其中，p为预测置信度；p*为置信度真值；α及γ为损失函数的超参数。
更可选地，在边界框回归任务中，对边界框偏移进行编码，满足如下关系式：
tx＝(x-xa)/da，ty＝(y-ya)/da，
tw＝log(w/wa)，th＝log(h/ha)，
Figure GDA0003141109920000021
Figure GDA0003141109920000022
其中，
Figure GDA0003141109920000023
为锚框对角线的长度；x和y为边界框中心坐标的预测值，xa和ya为边界框中心坐标的锚框值，x*和y*为边界框中心坐标的真值；w为边界框宽度的预测值，wa为边界框宽度的锚框值，w*为边界框宽度的真值；h为边界框高度的预测值，ha为边界框高度的锚框值，h*为边界框高度的真值；tx和ty为边界框中心坐标的预测值相对于锚框值的偏移，
Figure GDA0003141109920000024
和
Figure GDA0003141109920000025
为边界框中心坐标的真值相对于锚框值的偏移；tw为边界框宽度的预测值相对于锚框值的偏移，
Figure GDA0003141109920000031
为边界框宽度的真值相对于锚框值的偏移；th为边界框高度的预测值相对于锚框值的偏移，
Figure GDA0003141109920000032
为边界框高度的真值相对于锚框值的偏移。
更可选地，所述边界框回归任务的损失函数满足如下关系式：
Figure GDA0003141109920000033
Figure GDA0003141109920000034
更可选地，所述毫米波三维全息图像隐匿物品检测方法的最终损失函数为：
Ltotal(t,t*,p*)＝β1LFL(p,p*)+β2Lreg(t,t*,p*)；
其中，β1与β2为超参数，用于平衡分类任务与回归任务的权重。
可选地，网络训练过程中对数据进行翻转、全局缩放或全局平移，实现数据增强。
为实现上述目的及其他相关目的，本发明提供一种毫米波三维全息图像隐匿物品检测系统，所述毫米波三维全息图像隐匿物品检测系统至少包括：
输入模块，对原始三维全息图像进行滤波得到前景图像，并对所述前景图像进行体素化；
三维特征提取器，连接所述输入模块的输出端，通过稀疏3D卷积神经网络提取三维空间几何特征及语义特征；
区域候选网络，接收所述三维特征提取器输出的四维张量变换得到的三维张量，并经二维卷积神经网络进行分类任务及边界框回归任务；其中，边界框回归任务输出隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框；分类任务输出所述边界框对应的置信度。
可选地，所述三维特征提取器包括降采样模块及连接于所述降采样模块输出端的上下文信息提取模块。
可选地，所述降采样模块包括m个子流形稀疏3D卷积层及n个稀疏3D卷积层，各子流形稀疏3D卷积层与各稀疏3D卷积层级联，其中，m、n为大于1的自然数。
可选地，所述上下文信息提取模块包括多个带空洞的子流形稀疏3D卷积层及一稀疏3D卷积层，所述稀疏3D卷积层连接于依次级联的带空洞的子流形稀疏3D卷积层的输出端。
更可选地，每个卷积层后还包括批标准化和修正线性单元。
可选地，所述四维张量包括宽度、高度、深度及通道维度；所述三维张量包括宽度、高度及通道维度；所述变换通过合并深度维度及通道维度实现。
如上所述，本发明的毫米波三维全息图像隐匿物品检测方法及系统，具有以下有益效果：
本发明的毫米波三维全息图像隐匿物品检测方法及系统使用高通滤波处理AMMW全息图像，有效降低了数据量，降低了运算压力；滤除了大量噪声，提高了定位精度；同时保留了目标的三维空间几何信息，有利于提高隐匿物品的检出率。通过精心设计的三维特征提取器，采用较低的降采样步长，保留了丰富的空间特征，适合小目标检测；采用多个带空洞的子流形稀疏3D卷积级联构建上下文信息提取模块，提取了长程上下文信息，有效降低了虚警率。本发明有效提高了AMMW全息图像中隐匿物品检测与定位性能，大大提高了安防效率。
附图说明
图1显示为本发明的毫米波三维全息图像隐匿物品检测方法的流程示意图。
图2显示为本发明的毫米波三维全息图像隐匿物品检测系统的结构示意图。
图3显示为本发明的三维特征提取器的结构示意图。
图4显示为本发明中不同目标检测器在IOU阈值为0.3时的PR曲线。
元件标号说明
1 输入模块
11 高通滤波器
12 体素化单元
2 三维特征提取器
21 降采样模块
22 上下文信息提取模块
2a 子流形稀疏3D卷积层
2b 稀疏3D卷积层
2c 带空洞的子流形稀疏3D卷积层
3 区域候选网络
31 二维卷积神经网络
S1～S5 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1～图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，本实施例提供一种毫米波三维全息图像隐匿物品检测方法，所述毫米波三维全息图像隐匿物品检测方法包括：
S1)对目标进行毫米波扫描，获得原始三维全息图像。
具体地，在本发明中基于主动式毫米波(AMMW)全息成像技术使用毫米波雷达扫描目标，以得到所述目标的AMMW原始三维全息图像。
S2)对所述原始三维全息图像进行高通滤波获取前景图像。
具体地，所述原始三维全息图像中每个点包含4个特征(x,y,z,r)，x、y、z分别表示该点的空间坐标，r表示该点的反射强度。使用毫米波雷达照射视场时，空间中有目标的点反射强度较大，而空间中无目标的点反射强度极小，在本实施例中，通过高通滤波滤除反射强度较低(低于预设强度)的点，保留反射强度较高(高于预设强度)的点，以实现粗略提取得到所述前景图像。
S3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征。
具体地，由于所述原始三维全息图像的分辨率低(作为示例，沿XYZ方向尺寸分别为190×400×100)，且隐匿物品尺寸小，本实施例使用较小的体素格对前景图像进行体素化，并使用每个体素格中各点特征的均值作为对应体素格的输出。
S4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量。
具体地，与激光雷达点云相比，AMMW全息图像分辨率低，噪声大，而被检测目标尺寸小，因此，对于AMMW全息图像既要求有丰富的空间特征以检测小目标，又要求有足够的语义特征以降低噪声影响。在本实施例中，采用卷积神经网络对图像进行降采样及长程上下文信息提取，通过降采样提取局部信息并降低参数量，通过上下文信息提取增大感受野，提取长程上下文信息。
更具体地，高降采样步长下，特征图分辨率低，较小的目标在降采样过程中细节减少甚至消失，不利于准确检测隐匿物体；而低降采样步长下，特征图分辨率较高，感受野较小，保留了充分的空间信息，有利于提取局部特征，适合小目标检测。毫米波三维全息图像隐匿物品检测任务的性质决定了网络的降采样步长不能太高，降采样倍数较低。在本实施例中，使用多个级联的子流形稀疏3D卷积(Submanifold Convolution，SubMConv)和稀疏3D卷积(Spatially Sparse Convolution，SpConv)进行降采样，降采样的步长和倍数可根据需要设定，子流形稀疏3D卷积和稀疏3D卷积的数量可根据降采样步长和倍数的要求进行设置，且两者的数量可以相等，也可以不相等，在此不一一赘述。在XY方向上保证较低的降采样步长，保留空间信息，在Z方向上采用合适的降采样步长以满足后续区域候选网络的要求。作为本发明的另一种实现方式，卷积神经网络的每个卷积层后进行批标准化(BatchNormalization，BN)及修正线性(Rectified Linear Unit,ReLU)处理。
更具体地，在AMMW全息图像中，许多隐匿物体的形态与人体部位相似，且图像包含大量噪声；在低降采样步长下，缺乏高层次的语义信息对其区分，噪声也不能得到有效抑制，导致任务的虚警率较高。本实施例中，通过引入上下文信息构建小目标与背景间的关系，作为区分小目标的特征，通过多个带空洞的子流形稀疏3D卷积级联进行上下文信息提取，另外，在级联的带空洞的子流形稀疏3D卷积处理后进行稀疏3D卷积处理，然后再馈入后续区域候选网络。采用空洞卷积可在不降低特征图尺寸、不增加降采样步长的情况下，增大网络感受野，为形态描述提取长程上下文信息，达到降低虚警率、提高定位精度和检测速度的目的。作为本发明的另一种实现方式，卷积神经网络的每个卷积层后进行批标准化及修正线性处理。
S5)将所述四维张量变换为三维张量，馈入区域候选网络(Region ProposalNetwork，RPN)进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。
具体地，步骤S4)输出的空间几何特征为四维张量(在本实施例中包括宽度、高度、深度及通道数)，将四维张量变换为三维张量(在本实施例中包括宽度、高度、深度及通道数)，然后通过二维卷积运算实现分类任务及边界框回归任务。
具体地，在本实施例中，通过二维卷积神经网络实现边界框回归任务，以得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框；通过二维卷积神经网络实现分类任务，以得到边界框回归任务输出的各边界框对应的置信度。通过边界框和对应的置信度，可以判断隐匿物品所在位置及为隐匿物品的可能性。
作为本发明的一种实现方式，网络训练过程中将所述正视图中的边界框作为监督信息，以便于标注和可视化，各边界框真值(groudtruth，GT)在深度方向上的参数设为相同的先验值。在本实施例中，采用Focal Loss作为分类任务的损失函数以降低样本不均衡的影响，所述分类任务的损失函数满足如下关系式：
LFL(p,p*)＝-αp*(1-p)γlog(p)-(1-p*)(1-α)pγlog(1-p) (1)；
其中，p为预测置信度；p*为置信度真值；α及γ为损失函数Focal Loss的超参数，可基于实际需要设定α及γ的值，作为示例，取α＝0.25，γ＝2。在边界框回归任务中，对边界框偏移进行编码，满足如下关系式：
tx＝(x-xa)/da (2)，
ty＝(y-ya)/da (3)，
tw＝log(w/wa) (4)，
th＝log(h/ha) (5)，
Figure GDA0003141109920000071
Figure GDA0003141109920000072
Figure GDA0003141109920000073
Figure GDA0003141109920000074
其中，
Figure GDA0003141109920000075
为锚框对角线的长度；x和y为边界框中心坐标的预测值，xa和ya为边界框中心坐标的锚框值，x*和y*为边界框中心坐标的真值；w为边界框宽度的预测值，wa为边界框宽度的锚框值，w*为边界框宽度的真值；h为边界框高度的预测值，ha为边界框高度的锚框值，h*为边界框高度的真值；tx和ty为边界框中心坐标的预测值相对于锚框值的偏移，
Figure GDA0003141109920000076
和
Figure GDA0003141109920000077
为边界框中心坐标的真值相对于锚框值的偏移；tw为边界框宽度的预测值相对于锚框值的偏移，
Figure GDA0003141109920000078
为边界框宽度的真值相对于锚框值的偏移；th为边界框高度的预测值相对于锚框值的偏移，
Figure GDA0003141109920000079
为边界框高度的真值相对于锚框值的偏移。在本实施例中，采用SmoothL1作为边界框回归任务的损失函数，所述边界框回归任务的损失函数满足如下关系式：
Figure GDA0003141109920000081
t为边界框的预测值相对于锚框值的偏移，t*为边界框的真值相对于锚框值的偏移，
Figure GDA0003141109920000082
联合以上两个任务的损失函数，得到所述毫米波三维全息图像隐匿物品检测方法的最终损失函数为：
Ltotal(t,t*,p*)＝β1LFL(p,p*)+β2Lreg(t,t*,p*) (12)；
其中，β1与β2为超参数，用于平衡分类任务与回归任务的权重，可根据实际需要进行设定，作为示例，β1＝1.0，β2＝0.2。
作为本发明的一种实现方式，由于数据的多样性有限，从头训练网络不可避免的受到过拟合的影响。为降低其影响，本实施例在网络训练过程中引入了数据增强手段，包括但不限于翻转、全局缩放及全局平移；其中，输入有50％的概率在X方向翻转；全局缩放比例服从[0.95,1.05]的均匀分布；全局平移在XYZ方向服从均值为0，标准差为0.2的高斯分布。
本发明使用高通滤波处理AMMW全息图像，有效降低了数据量，降低了运算压力；滤除了大量噪声，提高了定位精度；同时保留了目标的三维空间几何信息，有利于提高隐匿物品的检出率。通过精心设计的三维特征提取器，采用较低的降采样步长，保留了丰富的空间特征，适合小目标检测；采用多个带空洞的SubMConv级联构建上下文信息提取模块，提取了长程上下文信息，有效降低了虚警率。本发明有效提高了AMMW全息图像中隐匿物品检测与定位性能，大大提高了安防效率。
实施例二
如图2所示，本实施例提供一种毫米波三维全息图像隐匿物品检测系统，所述毫米波三维全息图像隐匿物品检测系统包括：
输入模块1、三维特征提取器2及区域候选网络3。
如图2所示，所述输入模块1对原始三维全息图像进行滤波得到前景图像，并对所述前景图像进行体素化。
具体地，所述输入模块1包括高通滤波器11及连接于所述高通滤波器11输出端的体素化单元12；所述高通滤波器11将所述原始三维全息图像中反射强度低于预设值的点滤除，以此得到前景图像；所述体素化单元12将所述前景图像体素化，并使用每个体素格中各点特征的均值作为对应体素格的输出。
如图2所示，所述三维特征提取器2连接所述输入模块1的输出端，通过稀疏3D卷积神经网络提取三维空间几何特征及语义特征。
具体地，如图3所示，所述三维特征提取器2包括降采样模块21及连接于所述降采样模块21输出端的上下文信息提取模块22。所述降采样模块21包括m个子流形稀疏3D卷积层2a及n个稀疏3D卷积层2b，各子流形稀疏3D卷积层2a与各稀疏3D卷积层2b级联，其中，m、n为大于1的自然数；作为示例，所述降采样模块21包括3个子流形稀疏3D卷积层2a及3个稀疏3D卷积层2b，子流形稀疏3D卷积层2a与稀疏3D卷积层2b依次交错级联；在实际使用中子流形稀疏3D卷积层2a与稀疏3D卷积层2b的数量可以不同，不以本实施例为限。所述上下文信息提取模块22包括多个带空洞的子流形稀疏3D卷积层2c及一稀疏3D卷积层2b，各带空洞的子流形稀疏3D卷积层2c依次级联，所述稀疏3D卷积层2b连接于依次级联的带空洞的子流形稀疏3D卷积层2c的输出端。
作为本发明的另一种实现方式，每个卷积层后还包括批标准化和修正线性单元(图中未显示)。
如图2所示，所述三维特征提取器2输出的四维(宽度、高度、深度及通道)张量经维度变换后生成三维(宽度、高度及通道)张量后，输入所述区域候选网络3，所述区域候选网络3经二维卷积神经网络31进行分类任务及边界框回归任务；其中，边界框回归任务输出隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框；分类任务输出所述边界框对应的置信度。
具体地，在本实施例中，将所述空间几何特征的四维张量被变换为三维张量，作为示例，通过合并深度维度及通道维度得到三维张量；所述区域候选网络3接收所述三维张量，经二维卷积层神经网络31执行二维卷积运算进而实现分类任务及边界框回归任务。
更具体地，基于所述二维卷积神经网络实现边界框回归任务，所述边界框回归任务基于维度变换所得的三维张量得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框。本实施例在人体的膝盖位置得到两个边界框，边界框内被认为是隐匿物品。
更具体地，基于所述二维卷积神经网络实现分类任务，所述分类任务基于维度变换所得的的三维张量获取所述边界框对应的置信度。如图2所示，各边界框对应一置信度，作为示例，左侧边界框对应置信度为0.974，右侧边界框对应置信度为0.921，置信度越高确定为隐匿物品的概率越高。
需要说明的是，本实施例的毫米波三维全息图像隐匿物品检测系统可用于实现实施例一的毫米波三维全息图像隐匿物品检测方法，具体原理在此不一一赘述。
实验分析
本次实验建立了大规模数据集以验证方法的有效性。为模拟真实场景，本次实验准备了60多件物品，包括多种仿真枪、金属及陶瓷刀具、打火机、粉末、液体瓶、手机等。被检人员随机选择一个或多个物品随机置于身体各个部位，经AMMW雷达扫描重建其全息图像。本数据集共包含几十名被检人员，涵盖不同性别、体型与年龄段。全息图像沿Z方向取最大值投影得二维正视图，用于标注隐匿物体边界框及可视化，物体在Z方向上的位置并未标注。实验收集了33881张图像，物体边界框的各边范围为2至72像素，超过60％的物体标注框面积小于256像素，即大多数隐匿物品为小尺寸物品。实验中，选取31609张图像为训练集，2272张图像为测试集。训练集与测试集物品分布相同，但被检人员不同。
由于数据的多样性有限，从头训练网络不可避免的受到过拟合的影响，为降低其影响，本实验引入翻转、全局缩放及全局平移三种数据增强手段。其中，输入有50％的概率在X方向翻转；全局缩放比例服从[0.95，1.05]的均匀分布；全局平移在XYZ方向服从均值为0，标准差为0.2的高斯分布。
对于给定的AMMW全息图像，系统统计各点反射强度的85％分位数作为阈值，进行高通滤波。为确保后续网络正确降采样生成预期尺寸的特征图，设定XYZ方向取值范围分别为[0，192]＝[0，400]×[0，100]，若对应空间中无数据点则视为反射强度为0。系统选取XYZ方向尺寸为1×1×2.5的体素格进行体素化，取体素内各点特征的均值生成192×400×40×4的张量作为网络最终输入。
我们使用SubMC(cin,cout,k,s,p,d)表示一个SubMConv算子，使用SpC(cin,cout,k,s,p)表示一个SpConv算子，使用Conv2D(cin,cout,k,s,p)表示一个二维卷积算子，其中cin与cout分别代表输入及输出通道数，k，s，p及d分别表示卷积核的大小、步长、填充及空洞率，当三个维度数值一致时，我们使用标量表示，如k对应于k＝(k,k,k)。降采样模块包含连续7个级联的卷积算子，依次为SubMC(4,16,3,1,1,1)，SubMC(16,16,3,1,1,1)，SpC(16,32,3,2,1)，SubMC(32,32,3,1,1,1)，SpC(32,64,3,2,1)，SubMC(64,64,3,1,1,1)及SpC(64,128,3,(2,1,1),(0,1,1))，生成张量尺寸为48*100*5*128。此时，XY方向降采样步长为4，Z方向降采样步长为8，XY方向感受野为31。上下文信息提取模块包含连续4个级联的卷积算子，依次为SubMC(128,128,3,1,1,1)，SubMC(128,128,3,1,(1,2,2),(1,2,2))，SubMC(128,128,3,1,(1,3,3),(1,3,3))及SpC(128,128,(3,1,1),(2,1,1),0)，生成张量尺寸为48*100*2*128。此时XY方向感受野为79。将上下文信息提取模块输出的四维张量变换为尺寸为48*100*256的三维张量馈入RPN，进行二维卷积运算。RPN包含6个相同的二维卷积算子Conv2D(256,256,3,1,1)。
在训练过程中，设置锚框的尺寸为wa＝12.32，ha＝15.60，la＝79。其中la为锚框深度，其值根据先验知识确定，各GT设定的深度方向中心点为50.5，深度为79。当一个锚框与某个GT具有最高的IOU(Intersection Over Union，交并比)或IOU超过0.1时，判定该锚框为正样本；当一个锚框与所有GT的IOU均小于0.01时，判定该锚框为负样本；否则，判定该锚框为无关样本。整个训练在4块GTX Titan XP上完成，优化方法为Adam，权值衰减为0.01，学习率依据fit one cycle策略在0.00005至0.0005间变化，共训练30个epoch(当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch)，在第12个epoch时学习率取得最大值。
系统的输出为检出物体在二维正视图中的边界框及其置信度。本实验采用AP(Average Precision，平均精度)评估系统的检测及定位性能。实验首先依据置信度降序对所有输出排序。对每个输出，考虑与其具有最高IOU的GT。若IOU高于阈值，且该GT并未被分配，判定该输出为真阳性(TP)，该GT分配至该输出；若该GT已被分配，说明该输出为重复检测，判定该输出为假阳性(FP)；若IOU低于阈值，说明该输出定位错误，判定为假阳性。计算精度Precision及检出率Recall，并绘制精度-检出率曲线(PR曲线)，该曲线的积分面积即为AP，精度及检出率计算公式如下：
Precision＝NumTP/(NumTP+NumFP) (13)，
Recall＝NumTP/NumGT (14)；
其中，NumTP，NumFP和NumGT分别代表真阳性、假阳性及真实边界框的数量。由于隐匿物品尺寸多数较小，较低的IOU亦可接受。实验计算了IOU阈值在[0.1：0.1：0.5]的AP，并给出了最优模型对应的精度及检出率。
本实验对比了本发明的毫米波三维全息图像隐匿物品检测系统(其中，3D对应本发明的毫米波三维全息图像隐匿物品检测系统，3D+Aug对应本发明的毫米波三维全息图像隐匿物品检测系统在检测过程中采用了数据增强)与基于Faster RCNN改进的2D目标检测器(2D)在不同IOU阈值下测试集上的AP，结果如表1所示：
模型 AP@[0.1,0.5] AP@.1 AP@.2 AP@.3 AP@.4 AP@.5 FPS
2D 60.69 87.84 80.66 65.68 44.93 24.33 30
3D 83.75 89.95 88.68 86.81 81.83 71.48 19
3D+Aug 84.12 90.68 89.72 87.70 82.77 71.74 19
表1
通过引入三维空间信息，本发明的毫米波三维全息图像隐匿物品检测系统在AP@[0.1,0.5]提升了23.06％，大幅提升了目标检测器的检测性能；在IOU阈值为0.1-0.5的情况下，AP分别提高了2.11％，8.02％，21.13％，36.9％，47.15％，定位性能提升明显。在检测速度方面，本发明的毫米波三维全息图像隐匿物品检测系统检测速度为19FPS，满足了实时检测的要求。不同目标检测器在IOU阈值为0.3时的PR曲线如图4所示。本发明的毫米波三维全息图像隐匿物品检测系统可取得更高的检出率及更低的虚警率。
本实验还对比了不同目标检测器在IOU阈值为0.3时取得最高及F1 Score时的检出率、虚警率，如下表2所示：
模型 IOU 检出率 虚警率 F1 Score
2D 0.3 72.21 25.58 0.733
3D 0.3 84.72 84.68 0.847
表2
在IOU阈值取0.3时，本发明的毫米波三维全息图像隐匿物品检测系统取得了明显的性能提升。
综上所述，本发明提供一种毫米波三维全息图像隐匿物品检测方法及系统，包括：1)对AMMW全息图像做高通滤波，提取前景图像作为隐匿物品检测器的输入，降低数据量的同时保留了物体的三维空间几何信息，有利于实现准确且实时的检测；2)使用AMMW全息图像投影所得二维正视图上的边界框作为网络训练的监督信息及输出，便于标注及可视化；3)引入空洞卷积增大感受野，利用长程上下文信息以降低三维数据输入导致的高虚警率，同时提高定位精度。本发明使用三维数据作为输入，提高了小目标的数据量的同时降低其周围噪声，并引入深度维度，完整保留了物体的三维空间几何信息而无失真，提升了小物体的辩认度，从而有效提升了毫米波三维全息图像中的隐匿物体的检出率与定位精度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种毫米波三维全息图像隐匿物品检测方法，其特征在于，所述毫米波三维全息图像隐匿物品检测方法至少包括：
S1)对目标进行毫米波扫描，获得原始三维全息图像；
S2)对所述原始三维全息图像进行高通滤波获取前景图像；
S3)对所述前景图像进行体素化，使用每个体素格中各点特征的均值作为对应体素格的特征；
S4)将体素化后的三维图像馈入三维特征提取器，通过稀疏3D卷积及子流形稀疏3D卷积对三维图像进行降采样并提取低层次三维空间几何特征，再使用子流形稀疏3D空洞卷积获取长程上下文信息提取高层次语义特征，输出四维张量；
S5)将所述四维张量变换为三维张量，馈入区域候选网络进行分类任务及边界框回归任务，得到隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框及置信度。
2.根据权利要求1所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：网络训练过程中将所述正视图中的边界框作为监督信息，各边界框真值在深度方向上的参数设为相同的先验值。
3.根据权利要求2所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：所述分类任务的损失函数满足如下关系式：
LFL(p,p*)＝-αp*(1-p)γlog(p)-(1-p*)(1-α)pγlog(1-p)；
其中，p为预测置信度；p*为置信度真值；α及γ为损失函数的超参数。
4.根据权利要求3所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：在边界框回归任务中，对边界框偏移进行编码，满足如下关系式：
tx＝(x-xa)/da，ty＝(y-ya)/da，
tw＝log(w/wa)，th＝log(h/ha)，
Figure FDA0003141109910000011
Figure FDA0003141109910000012
其中，
Figure FDA0003141109910000013
为锚框对角线的长度；x和y为边界框中心坐标的预测值，xa和ya为边界框中心坐标的锚框值，x*和y*为边界框中心坐标的真值；w为边界框宽度的预测值，wa为边界框宽度的锚框值，w*为边界框宽度的真值；h为边界框高度的预测值，ha为边界框高度的锚框值，h*为边界框高度的真值；tx和ty为边界框中心坐标的预测值相对于锚框值的偏移，
Figure FDA0003141109910000021
和
Figure FDA0003141109910000022
为边界框中心坐标的真值相对于锚框值的偏移；tw为边界框宽度的预测值相对于锚框值的偏移，
Figure FDA0003141109910000023
为边界框宽度的真值相对于锚框值的偏移；th为边界框高度的预测值相对于锚框值的偏移，
Figure FDA0003141109910000024
为边界框高度的真值相对于锚框值的偏移。
5.根据权利要求4所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：所述边界框回归任务的损失函数满足如下关系式：
Figure FDA0003141109910000025
Figure FDA0003141109910000026
其中，t为边界框的预测值相对于锚框值的偏移，t*为边界框的真值相对于锚框值的偏移。
6.根据权利要求5所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：所述毫米波三维全息图像隐匿物品检测方法的最终损失函数为：
Ltotal(t,t*,p*)＝β1LFL(p,p*)+β2Lreg(t,t*,p*)；
其中，β1与β2为超参数，用于平衡分类任务与回归任务的权重。
7.根据权利要求2所述的毫米波三维全息图像隐匿物品检测方法，其特征在于：网络训练过程中对数据进行翻转、全局缩放或全局平移，实现数据增强。
8.一种毫米波三维全息图像隐匿物品检测系统，其特征在于，所述毫米波三维全息图像隐匿物品检测系统至少包括：
输入模块，对原始三维全息图像进行滤波得到前景图像，并对所述前景图像进行体素化；
三维特征提取器，连接所述输入模块的输出端，通过稀疏3D卷积神经网络提取三维空间几何特征及语义特征；所述三维特征提取器包括降采样模块及连接于所述降采样模块输出端的上下文信息提取模块；所述降采样模块包括m个子流形稀疏3D卷积层及n个稀疏3D卷积层，各子流形稀疏3D卷积层与各稀疏3D卷积层级联，其中，m、n为大于1的自然数；所述上下文信息提取模块包括多个带空洞的子流形稀疏3D卷积层及一稀疏3D卷积层，所述稀疏3D卷积层连接于依次级联的带空洞的子流形稀疏3D卷积层的输出端；
区域候选网络，接收所述三维特征提取器输出的四维张量变换得到的三维张量，并经二维卷积神经网络进行分类任务及边界框回归任务；其中，边界框回归任务输出隐匿物品在所述原始三维全息图像沿深度方向投影所得的正视图上的边界框；分类任务输出所述边界框对应的置信度。
9.根据权利要求8所述的毫米波三维全息图像隐匿物品检测系统，其特征在于：每个卷积层后还包括批标准化和修正线性单元。
10.根据权利要求8所述的毫米波三维全息图像隐匿物品检测系统，其特征在于：所述四维张量包括宽度、高度、深度及通道维度；所述三维张量包括宽度、高度及通道维度；所述变换通过合并深度维度及通道维度实现。
CN202011507928.0A 2020-12-18 2020-12-18 毫米波三维全息图像隐匿物品检测方法及系统 Active CN112597989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011507928.0A CN112597989B (zh) 2020-12-18 2020-12-18 毫米波三维全息图像隐匿物品检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011507928.0A CN112597989B (zh) 2020-12-18 2020-12-18 毫米波三维全息图像隐匿物品检测方法及系统

Publications (2)

Publication Number Publication Date
CN112597989A CN112597989A (zh) 2021-04-02
CN112597989B true CN112597989B (zh) 2021-09-14

Family

ID=75199470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011507928.0A Active CN112597989B (zh) 2020-12-18 2020-12-18 毫米波三维全息图像隐匿物品检测方法及系统

Country Status (1)

Country Link
CN (1) CN112597989B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071265B (zh) * 2023-02-21 2023-08-08 哈尔滨工业大学 基于空间自适应自监督学习的图像去噪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298226A (zh) * 2019-04-03 2019-10-01 复旦大学 一种毫米波图像人体携带物的级联检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1025554A1 (en) * 1997-10-22 2000-08-09 IDS Intelligent Detection Systems, Inc. An integrated walk-through personnel scanner system for security portals
GB0204167D0 (en) * 2002-02-22 2002-04-10 Qinetiq Ltd Object detection apparatus and method
US8896701B2 (en) * 2010-02-23 2014-11-25 Ratheon Company Infrared concealed object detection enhanced with closed-loop control of illumination by.mmw energy
CN102629315B (zh) * 2012-02-29 2016-07-06 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别装置
CN104375142B (zh) * 2013-08-15 2019-12-13 同方威视技术股份有限公司 一种用于人体安全检查的毫米波全息成像设备
CN105513035B (zh) * 2014-09-22 2018-12-04 北京计算机技术及应用研究所 一种被动毫米波图像中人体隐匿物品的检测方法及其系统
CN106529602B (zh) * 2016-11-21 2019-08-13 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
US10621717B2 (en) * 2018-03-30 2020-04-14 General Electric Compnay System and method for image-based target object inspection
CN109086679A (zh) * 2018-07-10 2018-12-25 西安恒帆电子科技有限公司 一种毫米波雷达安检仪异物检测方法
CN110245675B (zh) * 2019-04-03 2023-02-10 复旦大学 一种基于毫米波图像人体上下文信息的危险物体检测方法
CN111160120A (zh) * 2019-12-11 2020-05-15 重庆邮电大学 基于迁移学习的Faster R-CNN物品检测方法
CN111144238A (zh) * 2019-12-11 2020-05-12 重庆邮电大学 基于Faster R-CNN的物品检测方法及系统
CN111046877A (zh) * 2019-12-20 2020-04-21 北京无线电计量测试研究所 一种毫米波图像可疑物品检测方法和系统
CN111325666B (zh) * 2020-02-10 2021-11-02 武汉大学 基于变分辨率体素格网的机载激光点云处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298226A (zh) * 2019-04-03 2019-10-01 复旦大学 一种毫米波图像人体携带物的级联检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种改进的主动式近场毫米波成像算法;何丰等;《现代电子技术》;20180330(第07期);全文 *

Also Published As

Publication number Publication date
CN112597989A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Ferguson et al. Automatic localization of casting defects with convolutional neural networks
CN107229918A (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN103900503A (zh) 提取形状特征的方法、安全检查方法以及设备
CN111667464A (zh) 危险品三维图像检测方法、装置、计算机设备及存储介质
CN110619352A (zh) 基于深度卷积神经网络的典型红外目标分类方法
CN109740539B (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN110197206B (zh) 图像处理的方法及装置
Xiao et al. Development of a CNN edge detection model of noised X-ray images for enhanced performance of non-destructive testing
CN112597989B (zh) 毫米波三维全息图像隐匿物品检测方法及系统
Siswantoro et al. Monte Carlo method with heuristic adjustment for irregularly shaped food product volume measurement
CN111539251B (zh) 一种基于深度学习的安检物品识别方法和系统
Zhou et al. Three-dimensional characterization of powder particles using X-ray computed tomography
CN104809478B (zh) 一种面向大规模三维重建的图像分块方法及装置
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
Chen et al. Surface defect detection method based on improved attention mechanism and feature fusion model
CN116664941A (zh) 一种轴承套圈表面缺陷视觉检测方法
CN112581467B (zh) 一种基于疑似危险品评价的智能安检方法
Kumar et al. Recursive CNN Model to Detect Anomaly Detection in X-ray Security Image
CN112633286B (zh) 一种基于危险品相似率和识别概率的智能安检系统
Zhao et al. Learning-based automatic defect recognition with computed tomographic imaging
Gu Research and Implementation of Automatic Cutlery Recognition Method Based on X-ray Security Inspection Image
Gao et al. E-DeepLabV3+: A Landslide Detection Method for Remote Sensing Images
Dakak Automatic defect detection in industrial CT volumes of casting
CN117593292B (zh) 一种基于三维正交注意力的ct图像目标检测方法
Domingo Aluminum Casting Inspection using Deep Object Detection Methods and Simulated Ellipsoidal Defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant