CN112508113B - 被动式太赫兹人体图像隐蔽目标的检测方法及装置 - Google Patents

被动式太赫兹人体图像隐蔽目标的检测方法及装置 Download PDF

Info

Publication number
CN112508113B
CN112508113B CN202011468366.3A CN202011468366A CN112508113B CN 112508113 B CN112508113 B CN 112508113B CN 202011468366 A CN202011468366 A CN 202011468366A CN 112508113 B CN112508113 B CN 112508113B
Authority
CN
China
Prior art keywords
image
terahertz
contour
branch
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011468366.3A
Other languages
English (en)
Other versions
CN112508113A (zh
Inventor
李超
徐华晟
郑深
方广有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011468366.3A priority Critical patent/CN112508113B/zh
Publication of CN112508113A publication Critical patent/CN112508113A/zh
Application granted granted Critical
Publication of CN112508113B publication Critical patent/CN112508113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种被动式太赫兹人体图像隐蔽目标的检测方法，包括以下步骤：对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像依次分块采样为一系列的待检测子图像；所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；所述特征向量通过预先训练好的线性支持向量机进行分类；若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；执行非极大抑制，消除冗余检测结果；输出最终检测结果。

Description

被动式太赫兹人体图像隐蔽目标的检测方法及装置
技术领域
本发明涉及图像处理和目标检测技术领域，尤其涉及一种被动式太赫兹人体图像隐蔽目标的检测方法及装置。
背景技术
太赫兹波是指频率从0.1THz至10THz，波长为0.03mm至3mm的电磁波，其波段位于微波和红外之间。太赫兹波兼有电子学和光子学特性，太赫兹波比微波有较好的成像分辨率，比红外有更好地穿透性，而且太赫兹辐射能量比X射线低，对人体不构成危害。因此，太赫兹成像有着广阔的应用前景，例如安检领域等。
由于被动式太赫兹成像的特点，其成像信噪比较低，含有大量噪声；相比于光学图像，被动式太赫兹图像的空间分辨率较低，且仅有一个灰度的单一图像通道；被动式太赫兹图像容易受环境温度的影响，人体衣物下的隐蔽目标易与人体混淆。以上被动式太赫兹成像的不利之处给隐蔽目标的检测带来了极大的困难和挑战。
发明内容
有鉴于此，本发明的主要目的在于提供一种被动式太赫兹人体图像隐蔽目标的检测方法，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一方面，提供了一种被动式太赫兹人体图像隐蔽目标的检测方法，包括以下步骤：
对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像依次分块采样为一系列的待检测子图像；
所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；
将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；
所述特征向量通过预先训练好的线性支持向量机进行分类；
若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；
执行非极大抑制，消除冗余检测结果；
输出最终检测结果。
其中，所述自适应扫描的具体实现方式包括：
检测太赫兹人体图像下半部分中人体大腿两侧所在的位置，以此确定自适应扫描区域的起始列和终止列；
根据人体身高范围确定自适应扫描区域的起始行和终止行。
其中，所述太赫兹图像预处理流程包括第一阶段和第二阶段，所述第一阶段为滤波阶段，所述滤波流程包括中值滤波、高斯滤波和双边滤波；所述第二阶段为二值化和形态学处理阶段。
其中，所述太赫兹多维特征提取器包括
方向梯度特征提取器，包括图层蒙版和方向梯度直方图统计，所述图层蒙版的生成过程是通过遍历二值化图像中所有的轮廓找到最大的轮廓并使用特定颜色填充，从而获得图层蒙版，此过程可以消除非蒙版区域的其他白色区块；所述方向梯度直方图统计是对图层蒙版过滤后的图像进行像素梯度及其方向的统计，并以此作为方向梯度的特征向量；
灰度分布特征提取器，包括归一化和灰度分布直方图统计，所述归一化是将图像灰度值重映射到0-255，以此减少不同图像中整体灰度不均衡的影响；统计归一化图像的灰度直方图分布，并将所述灰度分布直方图中每个区间里的频数依次作为一维特征向量的每一个元素，以此构成灰度分布的特征向量；
空间特征提取器，包括池化和一维展开，所述池化采用的是最大值池化；所述一维展开是将池化后的二维图像按行拉成一维行向量，并将所述一维行向量作为像素空间分布的特征向量；
特征融合。
其中，所述太赫兹多任务检测分支包括水平边界框分支、有向边界框分支、轮廓分割分支；所述太赫兹多任务检测分支能够完成所述三种检测任务，分别是目标水平边界框标示、目标有向边界框标示、目标轮廓标示。
其中，所述轮廓分割分支能够完成目标轮廓标示的任务；所述轮廓分割分支对输入的二值化图像执行轮廓跟踪算法，所述轮廓跟踪算法包括：
从左到右，从上到下地逐行扫描二值化图像；
建立驱动轮廓跟踪的指针；
根据所述指针执行轮廓跟踪；
通过计算轮廓的零阶图像矩来确定最大轮廓，从而完成目标轮廓分割。
其中，所述有向边界框分支能够完成目标有向边界框标示的任务；所述有向边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集。
其中，所述有向边界框分支的算法包括：
通过主成分分析计算轮廓点集的第一主成分方向；
旋转图像至第一主成分方向为垂直的位置；
计算该角度下轮廓点集的水平边界框；
将该水平边界框反向旋转为原角度，即为目标的有向边界框。
其中，所述水平边界框分支能够完成目标水平边界框标示的任务；所述水平边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集。
作为本发明的另一方面，还提供了一种被动式太赫兹人体图像隐蔽目标的检测装置，包括：
扫描模块，用于对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像分块采样为一系列的待检测子图像；
预处理模块，用于所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；
特征提取模块，用于将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；
多任务检测分支模块，用于所述特征向量通过预先训练好的线性支持向量机进行分类；若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；执行非极大抑制，消除冗余检测结果；输出最终检测结果。
基于上述技术方案可知，本发明的检测方法相对于现有技术至少具有如下有益效果中的一部分：
经过大量图像测试，本发明提出的被动式太赫兹人体图像隐蔽目标的检测方法基本能够实现人体衣物下特定隐蔽目标的识别、分类和检测，能够完成三种检测任务，包括目标水平边界框标示、目标有向边界框标示和目标轮廓分割标示。该方法具有较好地检测性能和算法实时性，在交并比(IoU)为0.5的评估标准下，平均精确度能够达到92％以上，平均检测帧率能够达到3.6FPS(硬件运行测试环境如下，运行平台：Windows PC；CPU：Intelcore i5-9400F；内存：16GB)。
附图说明
图1为本发明实施例提供的太赫兹人体图像隐蔽目标检测的框架流程图；
图2为本发明实施例提供的不同的自适应扫描区域的示意图；
图3为本发明实施例提供的太赫兹图像预处理流程图；
图4为本发明实施例提供的太赫兹预处理流程的中间效果图，其中图4包括图4(a)-图4(g)；
图5为本发明实施例提供的太赫兹多维特征提取器的结构示意图；
图6为本发明实施例提供的梯度方向特征提取器中的处理效果图，其中图6包括图6(a)-图6(j)；
图7为本发明实施例提供的灰度分布特征提取的过程，其中图7包括图7(a)-图7(f)；
图8为本发明实施例提供的空间特征提取的相关图，其中图8包括图8(a)-图8(f)；
图9为本发明实施例提供的太赫兹多任务检测分支的示意图；
图10为本发明实施例提供的轮廓跟踪算法示意图，其中图10包括图10(a)-图10(c)；
图11为本发明实施例提供的轮廓跟踪算法流程图；
图12为本发明实施例提供的有向边界框分支求解过程的中间效果图，其中图12包括图12(a)-图12(h)；
图13为本发明实施例提供的不同IoU阈值下多任务检测结果的平均精确度的示意图；
图14为本发明实施例提供的不同IoU阈值下多任务检测结果的平均召回率；
图15为本发明实施例提供的不同IoU阈值下多任务检测结果的平均F-Score：
图16为本发明实施例提供的被动式太赫兹人体图像隐蔽目标的多任务检测结果；
图17为本发明实施例提供的被动式太赫兹人体图像隐蔽目标的操作界面，其中图17包括图17(a)-图17(d)。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
如图1所示，本发明公开了一种被动式太赫兹人体图像隐蔽目标检测方法，其技术方案流程如下：①对输入的待检测的被动式太赫兹人体图像执行自适应扫描，其滑动窗口将图像依次分块采样为一系列的待检测子图像；②子图像经由太赫兹图像预处理流程，输出太赫兹滤波图像和太赫兹二值化图像；③将上述两幅图像送入到太赫兹特征提取器中，从三个维度分别提取特征并融合，输出特征向量；④提取的特征向量通过预先训练好的线性支持向量机(SVM)进行分类；⑤若分类结果为期望目标，则继续送入多任务检测分支进行后续的三种检测任务；⑥执行非极大抑制(NMS)，消除冗余检测结果；⑦输出最终检测结果。
1、自适应扫描
本发明中所述的自适应扫描能够根据人体在成像中的站立位置，自动生成一个覆盖人体范围的有效的矩形扫描区域。其目的是为了减少非人体区域的扫描时间，提高滑动窗口的扫描效率。其具体实现方式是，检测太赫兹人体图像下半部分中人体大腿两侧所在的位置，以此确定自适应扫描区域的起始列和终止列，再根据人体身高范围确定自适应扫描区域的起始行和终止行。图2中的边框为自适应扫描区域，展示了不同的被动式太赫兹人体图像，生成的自适应扫描区域是不同的。
2、太赫兹图像预处理
本发明中所述的太赫兹图像预处理流程是针对太赫兹图像特点设计的，其流程示意图如图3所示。太赫兹图像预处理流程的输入是太赫兹原始图像，如图4(a)所示。太赫兹图像预处理流程分两个阶段，第一阶段为滤波阶段，第二阶段是二值化和形态学处理阶段。这两个阶段分别输出太赫兹滤波图像和太赫兹二值化图像。
第一阶段的滤波流程依次是中值滤波、高斯滤波和双边滤波。下面式1、式2和式3分别是中值滤波器、高斯滤波器和双边滤波器的数学表达式。
Figure BDA0002833572110000061
其中k是滤波核的大小，Med{}是中值运算。由中值滤波器滤波后像如图4(b)所示。
Figure BDA0002833572110000062
其中K是高斯核，k是核的大小。由高斯滤波器滤波后的图像如图4(c)所示。
Figure BDA0002833572110000063
Figure BDA0002833572110000064
其中p是图像中的像素点，S是以p为中心的领域窗口，q是窗口S的像素点，I是像素强度，Gs是用于平滑空间距离的空间域的核(Gs是高斯函数)，Gr是用于平滑强度差异的范围域的核(Gr是高斯函数)，Wp是归一化的权重。由双边滤波器滤波后的图像如图4(d)所示。
综合以上滤波操作，太赫兹图像预处理第一阶段滤波流程可写成如下形式：
Ifiltered＝Bf(Gf(Mf(Ioriginal))) (4)
其中输入Ioriginal是原始太赫兹图像，第一阶段的输出Ifiltered是滤波后的图像。
第二阶段是二值化和形态学处理。其中，二值化采用的是高斯核的自适应二值化，数学表达式如式(5)。形态学处理的顺序为先腐蚀后膨胀，处理效果分别如图4(f)和图4(g)所示，以此尽可能消除小的白色区块。
Figure BDA0002833572110000071
Figure BDA0002833572110000072
其中p是子区域S中的像素，I是像素强度，t是自适应阈值，b是阈值的可调偏差补偿，pi和qi分别是子区域S和高斯核K中的点。自适应二值化图像如图4(e)所示。
综上，第二阶段的操作流程可以写成如下：
Ibinarized＝Dilate(Erode(Bin(Ifiltered))) (6)
其中输入是经过滤波后的图像Ifiltered，输出Ibinaried是经过形态处理后的二值化图像，同时作为太赫兹图像预处理的第二阶段输出。
3、太赫兹图像特征提取
本发明所述的太赫兹图像特征提取是由所设计的太赫兹多维特征提取器完成的。太赫兹多维特征提取器是由方向梯度特征提取器、灰度分布特征提取器、空间特征提取器和特征融合组成的。其输入是太赫兹预处理流程的两路输出，即太赫兹滤波图像和太赫兹二值化图像。其输出是一个一维的特征向量。多维特征提取器的结构如图5所示。
(1)方向梯度特征提取器：由图层蒙版和方向梯度直方图统计构成。图层蒙版能够通过遍历二值化图像中所有的轮廓找到最大的轮廓，并将其填充作为图层蒙版，以此来消除非蒙版区域的其他白色区块，其处理过程如图6(a)-图6(d)和图6(f)-图6(i)所示。方向梯度直方图是对图层蒙版过滤后的图像进行图像梯度及其方向的统计，并以此作为方向梯度的特征向量。其方向梯度的效果图如图6(e)和图6(j)所示。
(2)灰度分布特征提取器：由归一化和灰度分布直方图统计构成。归一化是将图像灰度值重映射到0至255的区间里，以此减少不同图像中整体灰度不均衡的影响，图7(a)和图7(d)是滤波后的图像，图7(b)和图7(e)是归一化后的图像。然后，统计归一化图像的灰度值分布，并将其灰度分布直方图中每个区间里的频数依次作为一维特征向量的每一个元素，以此构成灰度分布的特征向量，如图7(c)和图7(f)是灰度分布直方图。
(3)空间分布特征提取器：由池化和一维展开构成。为了保证池化后的维度是统一的，在池化之前需要进行统一尺寸缩放，使不同图像拥有统一的尺寸。池化采用的是最大值池化(max pooling)，其目的是为了下采样，降低数据量，减少计算负载。图8(a)和图8(d)是滤波后的图像，图8(b)和图8(e)是缩放后的图像，图8(c)和图8(f)是经过池化后的图像。一维展开则是将池化后的二维图像按行拉成一维行向量，并以此作为像素空间分布的特征向量。
4、太赫兹多任务检测分支
本发明所述的太赫兹多任务检测分支，由水平边界框分支、有向边界框分支、轮廓分割分支和先验知识预判器组成，其结构如图9所示。该多任务检测分支能够完成三种检测任务，分别是目标水平边界框标示、目标有向边界框标示、目标轮廓标示。
(1)轮廓分割分支：该分支能够完成目标轮廓标示的任务。该分支对输入的二值化图像执行轮廓跟踪算法。轮廓跟踪算法的思想如下：从左到右，从上到下地逐行扫描二值化图像，轮廓跟踪由四个指针来驱动：a)p0：该指针指向轮廓跟踪的起始点。起始点p0(x，y)应满足以下条件：
Figure BDA0002833572110000081
其中I(x，y)是像素点(x，y)的强度值，x＞0，y＞0；b)p1：该指针指向轮廓跟踪的终止点。我们定义8-连通邻域的方位为从中心点的右边点开始，沿逆时针方向依次为方向编号0到7。则终止点定义为从起始点的8-连通邻域的4号方向开始，沿顺时针方向的第一个非零点，该过程如图10(a)所示；c)p2：该指针指向当前轮廓点；d)p3：该指针指向下一个轮廓点。通过从当前轮廓点的8-连通邻域中的前一个轮廓点位置逆时针搜索第一个非零点来确定。该过程如图10(b)所示。此时，当前轮廓点将成为前一个轮廓点，而刚刚搜索出的下一个轮廓点将被轮廓ID标记并成为当前轮廓点，然后进行下一次的轮廓跟踪，如图10(c)所示。轮廓跟踪循环将以此类推，直到满足p2等于p1和p3等于p0的停止条件为止。该算法的流程图如图11所示。下一步是通过计算图像矩，并选择最大图像矩的轮廓作为目标的轮廓分割。在数字图像中，零阶图像矩表示轮廓的面积，其定义为：
Figure BDA0002833572110000091
因此，通过计算轮廓的零阶图像矩来确定最大轮廓，从而实现目标轮廓的分割任务。
2)有向边界框分支：该分支能够完成目标的有向边界框标示任务。其输入是二值化图像和轮廓分割分支输出的轮廓点集。
该分支的算法思路如下：通过主成分分析(PCA)计算轮廓点集的第一主成分方向，如图12(a)和图12(e)所示；然后旋转图像至第一主成分方向为垂直的位置，如图12(b)和图12(f)所示；计算该角度下轮廓点集的水平边界框，如图12(c)和图12(g)所示；再将该水平边界框反向旋转为原角度，即为目标的有向边界框，如图12(d)和图12(h)所示。
具体实施过程如下：首先，建立轮廓点集的数据矩阵X＝{x1，x2，...，xn}T，其中向量x1，x2，...，xn皆为2×1维的列向量，每个列向量都是轮廓的坐标，n是轮廓点的个数。然后，计算平均值作为轮廓中心点的坐标[x0 y0]T。沿着X的每一列计算均值，并将计算出的均值组合为维度为2×1的均值向量m，如下所示：
Figure BDA0002833572110000092
然后进行数据中心化处理，即从数据矩阵X的每一行中减去均值向量m，得到维度为n×2的矩阵M，如下所示：
M＝X-umT (10)
其中u是n×1维的全1列向量。之后，计算协方差矩阵C，如下：
Figure BDA0002833572110000093
它的维度是2×2。然后，对协方差矩阵C执行特征值分解以找到其特征向量和特征值，则协方差矩阵C可以写成以下形式：
C＝Q∑Q-1 (12)
其中矩阵Q是由C的特征向量组成的，矩阵∑是C的特征值构成的对角阵。矩阵Q和∑如下：
Q＝{vi}，i＝1，2 (13)
Figure BDA0002833572110000101
其中列向量v是C的特征向量，λ是C的特征值。选择最大特征值相对应的特征向量作为第一主成分方向，并且定义其方向角如下：
Figure BDA0002833572110000102
其中vk是最大特征值对应的特征向量，ex是x轴的单位向量。注意，零度方向与数字图像坐标系中的y轴方向相同，原点为轮廓的中心点，顺时针旋转时角度为正。根据以上计算出的方向角和轮廓中心，将轮廓旋转至垂直位置。数字图像坐标系中的旋转矩阵定义如下：
Figure BDA0002833572110000103
其中
Figure BDA0002833572110000104
是旋转角，且顺时针旋转时为正。因此旋转方程定义如下：
Figure BDA0002833572110000105
其中xi，yi是原点坐标，xi′，yi′是旋转后的坐标，S是轮廓点集，n是轮廓点数。将轮廓旋转至垂直位置后，计算当前坐标系中的轮廓水平边界框，即为是轮廓点坐标集S的最大值和最小值，顶点坐标如下：
Figure BDA0002833572110000106
实际的有向边界框的位置是通过反向转旋的水平边界框获得的。反向转换变换如下：
Figure BDA0002833572110000107
其中pi′是目标有向边界框的顶点坐标。以上，完成目标轮廓有向边界框位置的计算。
(3)水平边界框分支：该分支能够完成目标的水平边界框标示任务。其输入是二值化图像和轮廓分割分支输出的轮廓点集。计算目标的水平边界框即为计算目标轮廓点集坐标在横轴方向和纵轴方向的最值，则水平边界框的顶点坐标如下：
Figure BDA0002833572110000111
以上，完成目标水平边界框位置的计算。
(4)先验知识预判器：该预判器位于水平边界框分支的末端。该预判器通过预先设定好的先验知识来判断检测结果是否有效，并控制这三个检测分支的输出。先验知识的参数是目标水平边界框的宽度和高度及其比例，它们是通过经验调参得来的。实验表明，该先验知识预判器对提高目标检测精度具有重要作用。
5、技术方案的实验结果及软件界面
以下为本发明的技术方案的实验结果展示及软件界面。
图12是有向边界框分支求解过程的中间效果图，第一行图像展示了手枪在该分支中的解算过程，第二行图像展示了手机在该分支中的解算过程。
图13-图15分别是本发明所述方法在不同IoU(交并比)评估标准下多任务检测结果的平均精确度、平均召回率、平均F-score的曲线图。在常规IoU＝0.5的评估标准下，本发明提供的方法的平均检测精确度能够达到92％以上。
图16是被动式太赫兹人体图像隐蔽目标的多任务检测结果的效果展不。
图17(a)-图17(d)是被动式太赫兹人体图像隐蔽目标检测的操作界面，实现了人机交互。
本发明还公开了一种被动式太赫兹人体图像隐蔽目标的检测装置，包括：
扫描模块，用于对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像分块采样为一系列的待检测子图像；
预处理模块，用于所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；
特征提取模块，用于将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；
多任务检测分支模块，用于所述特征向量通过预先训练好的线性支持向量机进行分类；若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；执行非极大抑制，消除冗余检测结果；输出最终检测结果。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种被动式太赫兹人体图像隐蔽目标的检测方法，其特征在于，包括以下步骤：
对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像依次分块采样为一系列的待检测子图像；
所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；
将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；
所述太赫兹多维特征提取器包括：
方向梯度特征提取器，包括图层蒙版和方向梯度直方图统计，所述图层蒙版的生成过程是通过遍历二值化图像中所有的轮廓找到最大的轮廓并使用特定颜色填充，从而获得图层蒙版，此过程可以消除非蒙版区域的其他白色区块；所述方向梯度直方图统计是对图层蒙版过滤后的图像进行像素梯度及其方向的统计，并以此作为方向梯度的特征向量；
灰度分布特征提取器，包括归一化和灰度分布直方图统计，所述归一化是将图像灰度值重映射到0-255，以此减少不同图像中整体灰度不均衡的影响；统计归一化图像的灰度直方图分布，并将所述灰度分布直方图中每个区间里的频数依次作为一维特征向量的每一个元素，以此构成灰度分布的特征向量；
空间特征提取器，包括池化和一维展开，所述池化采用的是最大值池化；所述一维展开是将池化后的二维图像按行拉成一维行向量，并将所述一维行向量作为像素空间分布的特征向量；
特征融合；
所述特征向量通过预先训练好的线性支持向量机进行分类；
若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；
所述太赫兹多任务检测分支包括水平边界框分支、有向边界框分支、轮廓分割分支；所述太赫兹多任务检测分支能够完成所述三种检测任务，分别是目标水平边界框标示、目标有向边界框标示、目标轮廓标示；
所述轮廓分割分支能够完成目标轮廓标示的任务；所述轮廓分割分支对输入的二值化图像执行轮廓跟踪算法，所述轮廓跟踪算法包括：
从左到右，从上到下地逐行扫描二值化图像；
建立驱动轮廓跟踪的指针；
根据所述指针执行轮廓跟踪；
通过计算轮廓的零阶图像矩来确定最大轮廓，从而完成目标轮廓分割；
所述有向边界框分支能够完成目标有向边界框标示的任务；所述有向边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集；
所述有向边界框分支的算法包括：
通过主成分分析计算轮廓点集的第一主成分方向；
旋转图像至第一主成分方向为垂直的位置；
计算该角度下轮廓点集的水平边界框；
将该水平边界框反向旋转为原角度，即为目标的有向边界框；
所述水平边界框分支能够完成目标水平边界框标示的任务；所述水平边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集；
执行非极大抑制，消除冗余检测结果；
输出最终检测结果。
2.根据权利要求1所述的检测方法，其特征在于，所述自适应扫描的具体实现方式包括：
检测太赫兹人体图像下半部分中人体大腿两侧所在的位置，以此确定自适应扫描区域的起始列和终止列；
根据人体身高范围确定自适应扫描区域的起始行和终止行。
3.根据权利要求1所述的检测方法，其特征在于，所述太赫兹图像预处理流程包括第一阶段和第二阶段，所述第一阶段为滤波阶段，所述滤波流程包括中值滤波、高斯滤波和双边滤波；所述第二阶段为二值化和形态学处理阶段。
4.一种被动式太赫兹人体图像隐蔽目标的检测装置，其特征在于，包括：
扫描模块，用于对输入的待检测的被动式太赫兹人体图像执行自适应扫描，所述自适应扫描的滑动窗口将图像分块采样为一系列的待检测子图像；
预处理模块，用于所述待检测子图像经由太赫兹图像预处理流程进行处理，输出太赫兹滤波图像和太赫兹二值化图像；
特征提取模块，用于将所述太赫兹滤波图像和所述太赫兹二值化图像送入到太赫兹多维特征提取器中，从三个维度分别提取特征并融合，输出特征向量；
所述太赫兹多维特征提取器包括：
方向梯度特征提取器，包括图层蒙版和方向梯度直方图统计，所述图层蒙版的生成过程是通过遍历二值化图像中所有的轮廓找到最大的轮廓并使用特定颜色填充，从而获得图层蒙版，此过程可以消除非蒙版区域的其他白色区块；所述方向梯度直方图统计是对图层蒙版过滤后的图像进行像素梯度及其方向的统计，并以此作为方向梯度的特征向量；
灰度分布特征提取器，包括归一化和灰度分布直方图统计，所述归一化是将图像灰度值重映射到0-255，以此减少不同图像中整体灰度不均衡的影响；统计归一化图像的灰度直方图分布，并将所述灰度分布直方图中每个区间里的频数依次作为一维特征向量的每一个元素，以此构成灰度分布的特征向量；
空间特征提取器，包括池化和一维展开，所述池化采用的是最大值池化；所述一维展开是将池化后的二维图像按行拉成一维行向量，并将所述一维行向量作为像素空间分布的特征向量；
特征融合；
多任务检测分支模块，用于所述特征向量通过预先训练好的线性支持向量机进行分类；若分类结果为期望目标，则继续送入太赫兹多任务检测分支进行后续的三种检测任务；执行非极大抑制，消除冗余检测结果；输出最终检测结果。
所述太赫兹多任务检测分支包括水平边界框分支、有向边界框分支、轮廓分割分支；所述太赫兹多任务检测分支能够完成所述三种检测任务，分别是目标水平边界框标示、目标有向边界框标示、目标轮廓标示；
所述轮廓分割分支能够完成目标轮廓标示的任务；所述轮廓分割分支对输入的二值化图像执行轮廓跟踪算法，所述轮廓跟踪算法包括：
从左到右，从上到下地逐行扫描二值化图像；
建立驱动轮廓跟踪的指针；
根据所述指针执行轮廓跟踪；
通过计算轮廓的零阶图像矩来确定最大轮廓，从而完成目标轮廓分割；
所述有向边界框分支能够完成目标有向边界框标示的任务；所述有向边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集；
所述有向边界框分支的算法包括：
通过主成分分析计算轮廓点集的第一主成分方向；
旋转图像至第一主成分方向为垂直的位置；
计算该角度下轮廓点集的水平边界框；
将该水平边界框反向旋转为原角度，即为目标的有向边界框；
所述水平边界框分支能够完成目标水平边界框标示的任务；所述水平边界框分支的输入是二值化图像和轮廓分割分支输出的轮廓点集。
CN202011468366.3A 2020-12-14 2020-12-14 被动式太赫兹人体图像隐蔽目标的检测方法及装置 Active CN112508113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011468366.3A CN112508113B (zh) 2020-12-14 2020-12-14 被动式太赫兹人体图像隐蔽目标的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011468366.3A CN112508113B (zh) 2020-12-14 2020-12-14 被动式太赫兹人体图像隐蔽目标的检测方法及装置

Publications (2)

Publication Number Publication Date
CN112508113A CN112508113A (zh) 2021-03-16
CN112508113B true CN112508113B (zh) 2022-11-29

Family

ID=74973062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011468366.3A Active CN112508113B (zh) 2020-12-14 2020-12-14 被动式太赫兹人体图像隐蔽目标的检测方法及装置

Country Status (1)

Country Link
CN (1) CN112508113B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403211B (zh) * 2023-03-24 2024-04-26 无锡市第二人民医院 一种基于单细胞病理图像细胞核的分割和聚类方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674835A (zh) * 2019-03-22 2020-01-10 集美大学 一种太赫兹成像方法及系统和一种无损检测方法及系统
CN112037243A (zh) * 2020-08-13 2020-12-04 上海微波技术研究所（中国电子科技集团公司第五十研究所） 被动式太赫兹安检方法、系统及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544227A (zh) * 2018-05-29 2019-12-06 中国科学院电子学研究所 被动式太赫兹人体安检图像目标检测方法
CN108846823A (zh) * 2018-06-22 2018-11-20 西安天和防务技术股份有限公司 一种太赫兹图像和可见光图像的融合方法
CN109325490B (zh) * 2018-09-30 2021-04-27 西安电子科技大学 基于深度学习和rpca的太赫兹图像目标识别方法
CN111709961B (zh) * 2020-05-14 2023-10-27 南京航空航天大学 一种被动式太赫兹图像目标的实时分割分类方法
CN111986098B (zh) * 2020-05-14 2024-04-30 南京航空航天大学 一种含固定背景的被动式太赫兹图像增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674835A (zh) * 2019-03-22 2020-01-10 集美大学 一种太赫兹成像方法及系统和一种无损检测方法及系统
CN112037243A (zh) * 2020-08-13 2020-12-04 上海微波技术研究所（中国电子科技集团公司第五十研究所） 被动式太赫兹安检方法、系统及介质

Also Published As

Publication number Publication date
CN112508113A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
Amer et al. Edge detection methods
CN104091147B (zh) 一种近红外眼睛定位及眼睛状态识别方法
Puhan et al. Efficient segmentation technique for noisy frontal view iris images using Fourier spectral density
US20140341421A1 (en) Method for Detecting Persons Using 1D Depths and 2D Texture
Tu et al. Fast and accurate target detection based on multiscale saliency and active contour model for high-resolution SAR images
Dixit et al. Image texture analysis-survey
Liu et al. A hybrid method of SAR speckle reduction based on geometric-structural block and adaptive neighborhood
Liu et al. Sea—Land segmentation for panchromatic remote sensing imagery via integrating improved MNcut and Chan—Vese model
CN112508113B (zh) 被动式太赫兹人体图像隐蔽目标的检测方法及装置
CN113822361A (zh) 一种基于汉明距离的sar图像相似程度度量方法和系统
Lin et al. Edge detection in the feature space
Li et al. Region adaptive morphological reconstruction fuzzy C-means for near-field 3-D SAR image target extraction
CN116934762A (zh) 锂电池极片表面缺陷的检测系统及方法
Wang et al. Image segmentation algorithm based on high-dimension fuzzy character and restrained clustering network
OUYANG et al. Edge detection in pavement crack image with beamlet transform
Rajan et al. Text detection and character extraction in natural scene images using fractional Poisson model
CN112686222B (zh) 星载可见光探测器对船舶目标检测的方法和系统
Gautam et al. A GUI for automatic extraction of signature from image document
Yan-yi et al. Feature extraction method based on improved linear LBP operator
Hidayat et al. Real-time Texture Boundary Detection from Ridges in the Standard Deviation Space.
CN108280453B (zh) 基于深度学习的低功耗快速检测图像目标方法
CN108776968B (zh) 基于深度森林的sar图像变化检测方法
Lee et al. Texture feature-based language identification using wavelet-domain BDIP, BVLC, and NRMA features
Zheng et al. A new local enhancement algorithm for small target detection based on top-hat transform
Li et al. Shadow detection in SAR images: An otsu-and CFAR-based method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant