CN109325490A - 基于深度学习和rpca的太赫兹图像目标识别方法 - Google Patents

基于深度学习和rpca的太赫兹图像目标识别方法 Download PDF

Info

Publication number
CN109325490A
CN109325490A CN201811159843.0A CN201811159843A CN109325490A CN 109325490 A CN109325490 A CN 109325490A CN 201811159843 A CN201811159843 A CN 201811159843A CN 109325490 A CN109325490 A CN 109325490A
Authority
CN
China
Prior art keywords
image
network
rcnn
region
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811159843.0A
Other languages
English (en)
Other versions
CN109325490B (zh
Inventor
杨曦
吴郯
张磊
杨东
高新波
宋斌
王楠楠
汤英智
郭浩远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811159843.0A priority Critical patent/CN109325490B/zh
Publication of CN109325490A publication Critical patent/CN109325490A/zh
Application granted granted Critical
Publication of CN109325490B publication Critical patent/CN109325490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习和RPCA太赫兹图像的目标识别方法。其步骤为：(1)使用稳健主成分分析RPCA方法去除背景噪声；(2)使用形状先验知识缩小兴趣目标区域；(3)生成太赫兹图像数据集；(4)训练深度学习网络Faster‑RCNN；(5)使用深度学习网络Faster‑RCNN进行目标识别。本发明使用稳健主成分分析RPCA方法去除太赫兹图像背景噪声干扰，利用形状先验知识缩小兴趣区域，使用深度学习网络Faster‑RCNN对兴趣区域进行目标识别。本发明使用了稳健主成分分析RPCA和形状先验知识，克服了背景噪声的影响，能极快的准确的检测到太赫兹图像中的目标。

Description

基于深度学习和RPCA的太赫兹图像目标识别方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像识别技术领域中的一种基于深度学习和稳健主成分分析RPCA(Robust Principle Component Analysis)的太赫兹图像目标识别方法。本发明可用于公共安全领域中的对太赫兹安检图像进行目标检测和识别。
背景技术
太赫兹波(THz波)包含了频率为0.1到10THz的电磁波。该术语适用于从电磁辐射的毫米波波段的高频边缘(300GHz)和低频率的远红外光谱带边缘(3000GHz)之间的频率，对应的波长的辐射在该频带范围从0.03mm到3mm。简单的说，太赫兹波是一种非接触的、非破坏性的检测手段，而且能穿透许多成像技术(如超声波和热成像技术)穿透不了的高密度分子结构。在公共安全领域中，太赫兹波作为一种有效的检测手段已经开始进入大众视野，太赫兹安检仪也已经开始大规模商用。
由于太赫兹安检仪设备的图像采集技术尚未成熟，太赫兹图像的像素比较低。太赫兹图像角度仅限于几个固定角度，因此同一角度获得的太赫兹图像具有相似的背景。目前还没有针对太赫兹图像的目标识别算法，对太赫兹图像目标的识别方式仍停留在人眼辨别，不仅需要耗费大量的人力资源，而且由于人眼的疲劳性，会导致误检率上升，降低检测效率。如果不结合太赫兹图像的特点，直接采用经典的目标识别算法，识别效果很差。
Felzenszwalb等人在其发表的论文“A Discriminatively Trained,Multiscale,Deformable Part Model”(IEEE Conference on Computer Vision and PatternRecognition(CVPR),2008) 中提出可变形部件模型DPM(Deformable Part Model)中公开了一种基于组件的目标识别方法。该方法先计算梯度方向直方图，然后利用支持向量机SVM(Surpport Vector Machine) 训练得到物体的梯度模型，使用得到的模型和目标进行匹配。可变形部件模型DPM将传统目标检测方法中对目标整体的检测问题拆分并转化为对模型各个部件的检测问题，但是该方法仍然存在的不足之处在于，模型和目标的匹配计算量很大，导致识别时间大大增加，不能用于太赫兹图像的实时检测。
Shaoqing Ren等人在其发表的论文“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks”(IEEE Transactions on PatternAnalysis&Machine Intelligence,2015)中公开了一种基于深度学习的目标识别方法。该方法主要思路是：利用区域建议网络RPN(Region Proposal Network)，快速生成候选区域，通过候选区域生成建议框，对建议框进行分类和回归得到识别结果。但是该方法存在的不足之处在于，没有利用太赫兹图像背景相似性的特点去除大量背景噪声，区域建议网络RPN直接对整张太赫兹图像生成候选区域，在实时检测的应用上准确率不高、检测时间较长，不能用于太赫兹图像的实时检测。
发明内容
本发明的目的是针对现有技术存在的不足，提供一种基于深度学习和RPCA太赫兹图像的目标识别方法。
实现本发明目的的思路是，通过采用稳健主成分分析RPCA方法对太赫兹图像进行分解，去除背景噪声干扰；结合形状先验的知识进一步将兴趣目标区域缩小，得到太赫兹目标掩模图像；构建训练集，使用人工标记信息训练基于深度学习的目标识别网络Faster R-CNN；将太赫兹目标掩模图像映射到原图像对应的区域；将原图像对应的区域输入训练好的目标识别网络Faster-RCNN进行智能目标识别。
本发明实现的具体步骤包括如下：
(1)使用稳健主成分分析RPCA方法去除背景噪声：
(1a)依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI；
(1b)对矩阵XI在满足约束条件||XI-LI-SI||F＜d的条件下，使目标函数 ||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，|| ||F表示求F-范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10-3的常数，|| ||*表示求核范数操作，m表示大于零的权因子，|| ||1表示求1-范数操作；
(1c)将稀疏矩阵SI按照输入次序依次还原为6张图像；
(2)使用形状先验知识缩小兴趣目标区域：
(2a)对还原后的每张图像进行二值化操作，得到二值化后的图像；
(2b)连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域；
(2c)删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像；
(3)生成太赫兹图像数据集：
(3a)将包含太赫兹图像中的目标位置信息的txt文件生成xml文件；
(3b)将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集；
(3c)将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中；
(4)训练深度学习网络Faster-RCNN：
(4a)使用预训练模型初始化深度学习网络Faster-RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数；
(4b)将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图；
(4c)将每张图像的特征图依次输入区域建议网络RPN，更新区域建议网络RPN的参数，区域建议网络RPN输出训练集中的每张图像对应的矩形候选框；
(4d)将每张图像的每个矩形候选框和特征图分别输入识别网络RCNN，更新识别网络RCNN的参数，识别网络RCNN输出修正的目标位置和类别；
(4e)保持特征提取网络参数不变，将每张图像的特征图依次输入区域建议网络RPN，第二次更新区域建议网络RPN参数，区域建议网络RPN输出第二次更新后每张图像对应的矩形候选框；
(4f)将特征图和更新后每张图像对应的矩形候选框分别输入识别网络RCNN，第二次更新识别网络RCNN参数，识别网络RCNN输出第二次更新后的修正目标位置和类别；
(4g)判断网络RCNN是否收敛，若是，则得到训练好的深度学习网络Faster-RCNN后执行步骤(5)，否则，执行步骤(4c)；
(5)利用深度学习网络识别太赫兹图像目标：
(5a)将目标掩模图像中的每个连通区域映射到原图像对应的区域，将原图像对应的区域像素输入到训练好的神经网络Faster-RCNN中的特征提取网络，输出原图像对应区域的特征图；
(5b)将原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的区域建议网络RPN，输出建议窗口；
(5c)将建议窗口与原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN 中的识别网络RCNN，输出识别结果。
与现有技术相比，本发明有以下优点：
第一，由于本发明使用了稳健主成分分析RPCA方法去除背景噪声，克服了现有技术直接对太赫兹图像进行目标检测时容易受图像背景噪声影响大的问题，使得本发明具有了去除背景噪声后检测准确率高的优点。
第二，由于本发明使用了形状先验知识缩小兴趣目标区域，克服了现有技术直接对所有兴趣目标图像区域进行目标检测容易受兴趣目标区域不确定影响大的问题，使得本发明具有缩小兴趣目标区域后检测时间短的优点。
第三，由于本发明使用了深度学习网络对太赫兹图像进行目标识别，克服了现有技术使用的人眼识别太赫兹图像目标的不足，受人眼疲劳性影响大的问题，使得本发明具有智能检测的优点。
附图说明
图1为本发明流程图；
图2为本发明仿真实验所使用的太赫兹图像；
图3为本发明使用三种方法的仿真图；
图4为本发明的仿真实验的效果图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，本发明的具体实现步骤如下：
步骤1，使用稳健主成分分析RPCA方法去除背景噪声。
第1步，依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI。
第2步，对矩阵XI在满足约束条件||XI-LI-SI||F＜d的条件下，使目标函数 ||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，|| ||F表示求F-范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10-3的常数，|| ||*表示求核范数操作，m表示大于零的权因子，|| ||1表示求1-范数操作。
第3步，将稀疏矩阵SI按照输入次序依次还原为6张图像。
步骤2，使用形状先验知识缩小兴趣目标区域。
第1步，对还原后的每张图像进行二值化操作，得到二值化后的图像。
所述二值化操作的具体步骤为：设置门限为Tm＝130，将灰度值大于等于门限值的像素点设定1，将灰度值小于门限值的像素点设定为0。
第2步，连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域。
第3步，删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像。
步骤3，生成太赫兹图像数据集。
第1步，将包含太赫兹图像中的目标位置信息的txt文件生成xml文件。
第2步，将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集。
第3步，将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中。
步骤4，训练深度学习网络Faster-RCNN。
第1步，使用预训练模型初始化深度学习网络Faster-RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数。
第2步，将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图。
第3步，将每张图像的特征图依次输入区域建议网络RPN，更新区域建议网络RPN的参数，区域建议网络RPN输出训练集中的每张图像对应的矩形候选框。
第4步，将每张图像的每个矩形候选框和特征图分别输入识别网络RCNN，更新识别网络RCNN的参数，识别网络RCNN输出修正的目标位置和类别。
第5步，保持特征提取网络参数不变，将每张图像的特征图依次输入区域建议网络RPN，第二次更新区域建议网络RPN参数，区域建议网络RPN输出第二次更新后每张图像对应的矩形候选框。
第6步，将特征图和更新后每张图像对应的矩形候选框分别输入识别网络RCNN，第二次更新识别网络RCNN参数，识别网络RCNN输出第二次更新后的修正目标位置和类别。
第7步，判断网络RCNN是否收敛，若是，则得到训练好的深度学习网络Faster-RCNN后执行步骤5，否则，执行步骤第3步。
所述的网络Fast-RCNN收敛是指，识别网络Fast-RCNN的代价函数Loss小于0.01，所述代价函数为：
Loss＝loss_cls+λloss_bbox
其中，Loss表示识别网络Fast-RCNN的代价函数，loss_cls表示真实类别值和预测类别值的误差，λ表示真实矩形框坐标和预测矩形框坐标误差的权重，loss_bbox表示真实矩形框坐标值和预测矩形框坐标值的误差。
步骤5，利用深度学习网络识别太赫兹图像目标。
第1步，将目标掩模图像中的每个连通区域映射到原图像对应的区域，将原图像对应的区域像素输入到训练好的神经网络Faster-RCNN中的特征提取网络，输出原图像对应区域的特征图。
第2步，将原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的区域建议网络RPN，输出建议窗口。
第3步，将建议窗口与原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN 中的识别网络RCNN，输出识别结果。
本发明的效果通过以下仿真实验进一步说明。
1.仿真实验条件：
本发明仿真实验的计算机配置环境为Intel Xeon(R)CPU E5-2609v2 2.5GHZ、内存 125.9G、Linux操作系统，编程语言使用Python，数据库采用太赫兹图像数据库。
2.仿真实验内容：
本发明仿真实验采用本发明的方法以及现有技术的基于深度学习的目标识别方法，分别对太赫兹图像进行目标识别。所采用的太赫兹图像如附图2所示。本发明仿真实验所采用的测试样本集由太赫兹图像数据库中随机抽取的10％太赫兹图像组成，其中，图2(a) 是从测试样本集中标签为“b”(水瓶，bottle)的太赫兹图像中任意抽取的一张图像，图2(b) 是从测试样本集中标签为“g”(枪，gun)任意取出的一张测试图像，图2(c)是从测试样本集中标签为“k”(刀，knife)任意取出的一张测试图像，图像大小为200×380×3。
本发明的方法的仿真实验过程包括对图2中所抽取的3幅图像经过稳健主成分分析 RPCA、二值化操作、利用形状先验知识得到目标掩模，其中图3(a)是对测试样本2(a) 进行稳健主成分分析RPCA方法后的效果图，图3(b)是对测试样本2(b)进行稳健主成分分析RPCA方法后的效果图，图3(c)是对测试样本2(c)进行稳健主成分分析RPCA方法后的效果图，图3(d)是对图像3(a)进行二值化操作后的效果图，图3(e)是对图像3 (b)进行二值化操作后的效果图，图3(f)是对图像3(c)进行二值化操作后的效果图，图3(g)是对图像3(d)通过形状先验知识缩小兴趣区域后的效果图，图3(h)是对图像 3(e)通过形状先验知识缩小兴趣区域后的效果图，图3(i)是对图像3(f)通过形状先验知识缩小兴趣区域后的效果图。
本发明仿真实验采用的现有技术是使用基于深度学习的方法。详见参考文献为“Shaoqing Ren,Kaiming He,Ross Girshick”(Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks,IEEE Transactions on PatternAnalysis&Machine Intelligence,2015)。
3.仿真实验结果分析：
本发明的方法的仿真实验图像结果如附图4所示，其中图4(a)是对图像3(g)映射到图像2(a)进行目标识别的结果图，矩形框中文字的意思是识别目标为‘b’(瓶子)的置信度水平为0.994，图4(b)是对图像3(h)映射到图像2(b)进行目标识别的结果图，矩形框中文字的意思是识别目标为‘g’(枪)的置信度水平为0.999，图4(c)是对图像3(i) 映射到图像2(c)进行目标识别的结果图,红色框中文字的意思是识别目标为‘k’(刀) 的置信度水平为0.998。
置信度水平是用于判断图像中目标属于具体类别的概率，也就是可相信程度的指标。本发明的仿真实验设置置信度阈值为0.4，即只显示置信度大于等于0.4的检测框。
由图4可以看出，由于本发明采用了基于深度学习的目标识别方法，已经可以实现对太赫兹图像中的3种目标(瓶子、枪、刀)进行智能识别，与传统的人眼检测相比，节省了大量的人力资源。
下面通过数据对本发明仿真实验的结果做进一步的描述。
所述的数据包括精确度ap、平均精确度map、识别时间。精确度ap(averageprecision) 是指每一类别预测正确的个数/测试总个数的平均值。平均精确度map(meanaverage precision)是指对所有类别的ap取均值。识别时间是指对一张图片识别出目标的平均耗时。
表1是本发明的方法和基于深度学习的方法的识别精确度ap结果对比表。
表1.本发明仿真结果的识别准确率ap对比表
类别 基于深度学习的方法 本发明
“b”(瓶子) 73.7 75.0
“k”(刀) 89.2 90.3
“g”(枪) 90.8 91.4
map 84.5 85.6
表2是本发明的方法和基于深度学习的方法的识别时间的结果对比。
表2.本发明仿真结果的识别时间对比表
平均检测时间 基于深度学习的方法 本发明
Second(秒) 0.042s 0.007s
由表1和表2可以看出，由于本发明的方法使用稳健主成分分析RPCA方法去除背景噪声，利用形状先验知识缩小兴趣区域生成目标掩模图像，将目标掩模图像映射到原太赫兹图像对应的区域，使用本发明中基于深度学习的识别网络Faster-RCNN对原太赫兹图像对应的区域进行目标识别，实现了对太赫兹图像目标的智能检测，并在基于深度学习的方法基础上，缩短了检测时间，提升了识别准确率。

Claims (3)

1.一种基于深度学习和稳健主成分分析RPCA的太赫兹图像目标识别方法，其特征在于，使用稳健主成分分析RPCA方法去除背景噪声，使用形状先验知识缩小兴趣目标区域，利用深度学习网络识别太赫兹图像目标；该方法具体步骤包括如下：
(1)使用稳健主成分分析RPCA方法去除背景噪声：
(1a)依次输入由相同角度获取的6张大小为200×380×3像素的太赫兹图像，将每张图像拉为列向量，按照图像输入次序组成矩阵XI；
(1b)对矩阵XI在满足约束条件||XI-LI-SI||F＜d的条件下，使目标函数||LI||*+m||SI||1的值最小，得到满足约束条件的低秩的背景噪声矩阵LI和稀疏的去除背景噪声的矩阵SI，其中，||||F表示求F-范数操作，XI表示图片大小为200×380×3个像素的太赫兹图像矩阵，LI表示低秩的背景噪声矩阵，SI表示稀疏的去除背景噪声的矩阵，d表示取值为10-3的常数，||||*表示求核范数操作，m表示大于零的权因子，||||1表示求1-范数操作；
(1c)将稀疏矩阵SI按照输入次序依次还原为6张图像；
(2)使用形状先验知识缩小兴趣目标区域：
(2a)对还原后的每张图像进行二值化操作，得到二值化后的图像；
(2b)连通每张二值化后图像中满足上下左右四个方向的相邻像素值均为1的像素，得到每张二值化后图像中所有的连通区域；
(2c)删除所有二值化后图像连通区域中的像素总数小于350个的连通区域，利用形状先验知识保存长宽比范围在1.0～5.0的矩形连通域，将剩余的连通区域组成目标掩模图像；
(3)生成太赫兹图像数据集：
(3a)将包含太赫兹图像中的目标位置信息的txt文件生成xml文件；
(3b)将xml文件内容按照8:2的比例，生成训练验证集和测试集；将训练验证集的内容按照8:2的比例，生成训练集和验证集；
(3c)将太赫兹图像、xml文件、训练集、验证集、测试集输入到ImageNet文件夹中；
(4)训练深度学习网络Faster-RCNN：
(4a)使用预训练模型分别初始化深度学习网络Faster-RCNN中的特征提取网络参数、区域建议网络RPN参数和识别网络RCNN参数；
(4b)将训练集中的图像依次输入特征提取网络，更新特征提取网络的参数，输出每张图像的特征图；
(4c)将每张图像的特征图依次输入区域建议网络RPN，更新区域建议网络RPN的参数，区域建议网络RPN输出训练集中的每张图像对应的矩形候选框；
(4d)将每张图像的每个矩形候选框和特征图分别输入识别网络RCNN，更新识别网络RCNN的参数，识别网络RCNN输出修正的目标位置和类别；
(4e)保持特征提取网络参数不变，将每张图像的特征图依次输入区域建议网络RPN，第二次更新区域建议网络RPN参数，区域建议网络RPN输出第二次更新后每张图像对应的矩形候选框；
(4f)将特征图和更新后每张图像对应的矩形候选框分别输入识别网络RCNN，第二次更新识别网络RCNN参数，识别网络RCNN输出第二次更新后的修正目标位置和类别；
(4g)判断网络RCNN是否收敛，若是，则得到训练好的深度学习网络Faster-RCNN后执行步骤(5)，否则，执行步骤(4c)；
(5)利用深度学习网络识别太赫兹图像目标：
(5a)将目标掩模图像中的每个连通区域映射到原图像对应的区域，将原图像对应的区域像素输入到训练好的神经网络Faster-RCNN中的特征提取网络，输出原图像对应区域的特征图；
(5b)将原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的区域建议网络RPN，输出建议窗口；
(5c)将建议窗口与原图像对应区域的特征图输入到训练好的神经网络Faster-RCNN中的识别网络RCNN，输出识别结果。
2.根据权利要求1所述的基于深度学习和稳健主成分分析RPCA的太赫兹图像目标识别方法，其特征在于：步骤(2a)中所述二值化操作的具体步骤为：设置门限为Tm＝130，将灰度值大于等于门限值的像素点设定1，将灰度值小于门限值的像素点设定为0。
3.根据权利要求1所述的基于深度学习和稳健主成分分析RPCA的太赫兹图像目标识别方法，其特征在于：步骤(4g)中所述的网络RCNN是否收敛是指，识别网络RCNN的代价函数Loss小于0.01；所述代价函数为：
Loss＝loss_cls+λloss_bbox
其中，Loss表示识别网络RCNN的代价函数，loss_cls表示真实类别值和预测类别值的误差，λ表示真实矩形框坐标和预测矩形框坐标误差的权重，loss_bbox表示真实矩形框坐标值和预测矩形框坐标值的误差。
CN201811159843.0A 2018-09-30 2018-09-30 基于深度学习和rpca的太赫兹图像目标识别方法 Active CN109325490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811159843.0A CN109325490B (zh) 2018-09-30 2018-09-30 基于深度学习和rpca的太赫兹图像目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811159843.0A CN109325490B (zh) 2018-09-30 2018-09-30 基于深度学习和rpca的太赫兹图像目标识别方法

Publications (2)

Publication Number Publication Date
CN109325490A true CN109325490A (zh) 2019-02-12
CN109325490B CN109325490B (zh) 2021-04-27

Family

ID=65265565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811159843.0A Active CN109325490B (zh) 2018-09-30 2018-09-30 基于深度学习和rpca的太赫兹图像目标识别方法

Country Status (1)

Country Link
CN (1) CN109325490B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903289A (zh) * 2019-04-17 2019-06-18 广东工业大学 一种太赫兹图像无损检测的方法、装置以及设备
CN109948527A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于集成深度学习的小样本太赫兹图像异物检测方法
CN110009628A (zh) * 2019-04-12 2019-07-12 南京大学 一种针对连续二维图像中多形态目标的自动检测方法
CN110068543A (zh) * 2019-03-26 2019-07-30 昆明理工大学 一种基于迁移学习的太赫兹光谱识别方法
CN111401253A (zh) * 2020-03-17 2020-07-10 吉林建筑大学 一种基于深度学习的目标检测方法
CN112446335A (zh) * 2020-12-02 2021-03-05 电子科技大学中山学院 一种基于深度学习的太赫兹违禁物品检测方法
CN112508113A (zh) * 2020-12-14 2021-03-16 中国科学院空天信息创新研究院 被动式太赫兹人体图像隐蔽目标的检测方法及装置
CN115311684A (zh) * 2022-08-05 2022-11-08 杭州电子科技大学 一种毫米波图像多角度检出结果的整合方法
WO2023245522A1 (zh) * 2022-06-22 2023-12-28 极纳人工智能有限公司 用于生成目标深度学习模型的方法以及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103822884A (zh) * 2013-12-19 2014-05-28 中国矿业大学 一种基于太赫兹时域光谱的茶叶分类鉴别方法
US9042648B2 (en) * 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
CN104897605A (zh) * 2015-06-16 2015-09-09 中国人民解放军国防科学技术大学 一种基于改进支持向量机的太赫兹谱分类识别方法
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN106203356A (zh) * 2016-07-12 2016-12-07 中国计量大学 一种基于卷积网络特征提取的人脸识别方法
CN107330907A (zh) * 2017-06-28 2017-11-07 陕西师范大学 一种结合深度学习形状先验的mrf图像分割方法
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN108171258A (zh) * 2017-12-12 2018-06-15 西安电子科技大学 独立成分分析多形状先验水平集方法、图像分割系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9042648B2 (en) * 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
CN103822884A (zh) * 2013-12-19 2014-05-28 中国矿业大学 一种基于太赫兹时域光谱的茶叶分类鉴别方法
CN104897605A (zh) * 2015-06-16 2015-09-09 中国人民解放军国防科学技术大学 一种基于改进支持向量机的太赫兹谱分类识别方法
CN105184270A (zh) * 2015-09-18 2015-12-23 中国科学院遥感与数字地球研究所 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
CN106203356A (zh) * 2016-07-12 2016-12-07 中国计量大学 一种基于卷积网络特征提取的人脸识别方法
CN107330907A (zh) * 2017-06-28 2017-11-07 陕西师范大学 一种结合深度学习形状先验的mrf图像分割方法
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN108171258A (zh) * 2017-12-12 2018-06-15 西安电子科技大学 独立成分分析多形状先验水平集方法、图像分割系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MASOUD S. NOSRATI等: "Incorporating prior knowledge in medical image segmentation: a survey", 《ARXIV:1607.01092V1 [CS.CV]》 *
QIQI等: "Object Detection with Multi-RCNN Detectors", 《ICMLC 2018: PROCEEDINGS OF THE 2018 10TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND COMPUTING》 *
XI YANG等: "ASI aurora search: an attempt of intelligent image processing for circular fisheye lens", 《OPTICS EXPRESS》 *
万小萍等: "一种基于KPCA和形状先验知识的图像分割模型", 《中国生物医学工程学报》 *
严培宏等: "基于ＲPCA和卷积神经网络的光照人脸识别", 《电视技术》 *
杨曦: "单源及多源生物数据的模块发现与分类模型研究", 《中国博士学位论文全文数据库·医药卫生科技辑》 *
许磊磊: "基于RPCA优化的航拍绝缘子检测与识别研究", 《中国优秀硕士学位论文全文数据库·信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948527A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于集成深度学习的小样本太赫兹图像异物检测方法
CN109948527B (zh) * 2019-03-18 2022-12-02 西安电子科技大学 基于集成深度学习的小样本太赫兹图像异物检测方法
CN110068543A (zh) * 2019-03-26 2019-07-30 昆明理工大学 一种基于迁移学习的太赫兹光谱识别方法
CN110009628A (zh) * 2019-04-12 2019-07-12 南京大学 一种针对连续二维图像中多形态目标的自动检测方法
CN109903289A (zh) * 2019-04-17 2019-06-18 广东工业大学 一种太赫兹图像无损检测的方法、装置以及设备
CN111401253A (zh) * 2020-03-17 2020-07-10 吉林建筑大学 一种基于深度学习的目标检测方法
CN112446335A (zh) * 2020-12-02 2021-03-05 电子科技大学中山学院 一种基于深度学习的太赫兹违禁物品检测方法
CN112508113A (zh) * 2020-12-14 2021-03-16 中国科学院空天信息创新研究院 被动式太赫兹人体图像隐蔽目标的检测方法及装置
WO2023245522A1 (zh) * 2022-06-22 2023-12-28 极纳人工智能有限公司 用于生成目标深度学习模型的方法以及装置
CN115311684A (zh) * 2022-08-05 2022-11-08 杭州电子科技大学 一种毫米波图像多角度检出结果的整合方法

Also Published As

Publication number Publication date
CN109325490B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN109325490A (zh) 基于深度学习和rpca的太赫兹图像目标识别方法
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
Kumar et al. Review on image segmentation techniques
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
Liu et al. Multimorphological superpixel model for hyperspectral image classification
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
Fu et al. Aircraft recognition in SAR images based on scattering structure feature and template matching
CN103218831A (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN112395987A (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN113989662A (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN108229551A (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN104680185B (zh) 基于边界点重分类的高光谱图像分类方法
CN112163450A (zh) 基于s3d学习算法的高频地波雷达船只目标检测方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN109344917A (zh) 一种毒蛾属昆虫的物种鉴别方法及鉴别系统
CN109101926A (zh) 基于卷积神经网络的空中目标检测方法
CN109165658A (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
Wang et al. Study on the method of transmission line foreign body detection based on deep learning
CN105956592B (zh) 一种基于图像显著性与svm的飞机目标检测方法
Liu et al. Improvement of detection accuracy of aircraft in remote sensing images based on YOLOV5 model
CN117853942A (zh) 用于云雾的识别方法、云雾识别装置及云雾识别系统
Dhar et al. A novel method for edge detection in a gray image based on human psychovisual phenomenon and bat algorithm
CN112037243A (zh) 被动式太赫兹安检方法、系统及介质
Wang et al. Patch-based gaussian mixture model for concealed object detection in millimeter-wave images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yang Xi

Inventor after: Wu Tan

Inventor after: Zhang Lei

Inventor after: Yang Dong

Inventor after: Gao Xinbo

Inventor after: Song Bin

Inventor after: Wang Nannan

Inventor after: Tang Yingzhi

Inventor after: Guo Haoyuan

Inventor before: Yang Xi

Inventor before: Wu Tan

Inventor before: Zhang Lei

Inventor before: Yang Dong

Inventor before: Gao Xinbo

Inventor before: Song Bin

Inventor before: Wang Nannan

Inventor before: Tang Yingzhi

Inventor before: Guo Haoyuan

GR01 Patent grant
GR01 Patent grant