CN108760675A - 一种太赫兹异常光谱识别方法及系统 - Google Patents
一种太赫兹异常光谱识别方法及系统 Download PDFInfo
- Publication number
- CN108760675A CN108760675A CN201810568711.7A CN201810568711A CN108760675A CN 108760675 A CN108760675 A CN 108760675A CN 201810568711 A CN201810568711 A CN 201810568711A CN 108760675 A CN108760675 A CN 108760675A
- Authority
- CN
- China
- Prior art keywords
- tera
- dimensional data
- hertz spectra
- data set
- acquisition system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009467 reduction Effects 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 61
- 230000014509 gene expression Effects 0.000 claims description 33
- 230000003595 spectral effect Effects 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims description 5
- 238000004611 spectroscopical analysis Methods 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3581—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
- G01N21/3586—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开一种太赫兹异常光谱识别方法及系统。所述识别方法包括：获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。采用本发明的方法或系统，为进一步太赫兹光谱成像分析提供先验知识和基础，进而提高太赫兹图像识别的准确性和效率。
Description
技术领域
本发明涉及太赫兹光谱识别领域，特别是涉及一种太赫兹异常光谱识别方法及系统。
背景技术
当前，无损检测作为太赫兹技术有意义的应用方向之一，基于太赫兹成像扫描，识别出被测物体的表面缺陷以及内部隐含的气泡、裂纹和杂质等缺陷特征。但目前用于无损检测领域的太赫兹图像，通常是采用光谱单一信息成像方式而获取的，受限于太赫兹无损检测设备功率和功能等方面的差异，以及缺乏对太赫兹光谱特征的有效分析，导致采集获得的太赫兹图像质量不高，甚至很多低功率检测设备常常无法有效成像，这严重影响了对被测物体缺陷特征的有效识别。
发明内容
本发明的目的是提供一种太赫兹异常光谱识别方法及系统，通过对太赫兹光谱特征的有效分析，以达到识别太赫兹异常光谱的目的，进而提高太赫兹图像的质量。
为实现上述目的，本发明提供了如下方案：
一种太赫兹异常光谱识别方法，所述识别方法包括：
获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；
获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；
根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；
对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。
可选的，所述获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型，之后还包括：
获取所述识别模型中代价函数的困惑值；
获取所述识别模型中的优化参数，所述优化参数包括迭代次数、学习速率和动量；
获取降维后的数据维度；
根据所述数据维度，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式。
可选的，所述根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合，具体包括：
根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布；所述高维数据集合为所述样本点的太赫兹光谱数据集合；
根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布；
根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布；
根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。
可选的，所述根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，具体包括：
根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
根据所述梯度值和所述识别模型中的优化参数，利用
获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；
根据迭代次数T，确定第T次迭代的函数解Y(T)；
将Y(T)确定为降维后的太赫兹光谱数据集合。
本发明还提供一种太赫兹异常光谱识别系统，所述识别系统包括：
样本点的太赫兹光谱数据集合获取模块，用于获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；
太赫兹光谱识别模型获取模块，用于获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；
识别模块，用于根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；
可视化分析模块，用于对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。
可选的，所述系统还包括：
困惑值获取模块，用于在获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型之后，获取所述识别模型中代价函数的困惑值；
优化参数获取模块，用于获取所述识别模型中的优化参数，所述优化参数包括迭代次数、学习速率和动量；
数据维度获取模块，用于获取降维后的数据维度；
初始化模块，用于根据所述数据维度，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式。
可选的，所述识别模块，具体包括：
高维数据集合的条件概率分布获取单元，用于根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布；所述高维数据集合为所述样本点的太赫兹光谱数据集合；
高维数据集合的联合概率分布获取单元，用于根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布；
低维数据集合的联合概率分布获取单元，用于根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布；
函数解确定单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。
可选的，所述函数解确定单元，具体包括：
梯度值确定子单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
函数解确定子单元，用于根据所述梯度值和所述识别模型中的优化参数，利用获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；还用于根据迭代次数T，确定第T次迭代的函数解Y(T)；
降维后的太赫兹光谱数据集合确定子单元，用于将Y(T)确定为降维后的太赫兹光谱数据集合。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用基于t分布随机邻域嵌入算法，对用于成像的太赫兹光谱数据集进行异常光谱的预检测识别，基于样本点光谱特征提取和降维分析，得到光谱异常点，进而检测出被测物体可能存在的缺陷和类型，为进一步太赫兹光谱成像分析提供先验知识和基础，进而提高太赫兹图像识别的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明太赫兹异常光谱识别方法的流程示意图；
图2为本发明太赫兹异常光谱识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明太赫兹异常光谱识别方法的流程示意图。如图1所示，所述识别方法包括：
步骤100：获取样本点的太赫兹光谱数据集合。所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点。
太赫兹光谱无损检测成像是将有物理几何形状和一定尺寸的被测物体置于二维扫描平台上，通过平台电机的X、Y轴二维步进动作，可以得到被测物体具有二维位置信息的一系列扫描点的太赫兹光谱集合，每一个扫描点就是成像的像素点。
常用的可见光、X射线、激光等辐射线的扫描成像，每个扫描成像的像素点除了位置信息，通常仅包含单一的光强信息，而在物体的太赫兹光谱成像扫描过程中，用于成像的每一个扫描像素点都包含有完整的太赫兹光谱信息，这使得用于成像的太赫兹光谱数据集具有典型的高光谱成像的特征，即像素点多(大样本)、数据维数高。因此，扫描获得的样本点的太赫兹光谱数据集合术语高维数据集合。
步骤200：获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型。t分布随机邻域嵌入(t-distributed Stochastic Neighbor Embedding，t-SNE)算法是由SNE衍生出的一种算法。t-SNE是一种基于信息论的流形学习非线性降维技术。t-SNE的核心思想是：把高维数据看做高维空间中的点，然后用流形方法将其映射到低维空间中，要求保持其空间距离不变。即高维空间相距较近/远的点，映射到低维空间中仍然较近/远，它能从高维采样数据恢复低维流形结构，算法的优点是既能撷取原始高维数据的局部信息，同时也能揭示全局簇结构。通过t-SNE算法可以实现对高维样本集的无监督聚类识别。
构建基于t-SNE太赫兹光谱识别模型涉及四个主要步骤：1)定义扫描的高维数据集X＝{x1,x2,...,xn}，计算代价函数的困惑度，并初始化模型优化参数，所述优化参数包括迭代次数、学习速率和动量；2)设定优化目标结果的低维数据表示，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式Y(t)＝{y1,y2,...,yn}；3)开始对目标结果进行随机梯度下降训练优化；4)算法达到迭代的次数后判定输出。
步骤300：根据太赫兹光谱识别模型对太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合。具体包括以下步骤：
(1)根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布。将高维数据集合即所述样本点的太赫兹光谱数据集合用X＝{x1,x2,...,xn}表示，xi表示第i个样本点的光谱数据，样本的维数为D。则高维数据集合的条件概况分布矩阵Pi定义如下：
其中pj|i表示第i个样本分布在样本j周围的概率，pi|i＝0。σ表示以xi为中心点高斯分布的方差，依据最大熵原理来确定，Pi的熵(entropy)H(Pi)随着σi的增加而增加，其定义为：
困惑度困惑度可以解释为一个点附近的有效近邻点个数，是一个全局性的参数模型，为了使对困惑度的调整比较有鲁棒性，通常困惑度在5-50之间选择，因此根据困惑度的值，用二分搜索的方式来寻找一个最佳的σ，进而确定条件概率分布。
(2)根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布。高维数据集合的联合概率分布为其中n为数据集中样本点的总数。
(3)根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布。由于典型的SNE算法在高维和低维空间均采用高斯分布，对于有些样本异常点较多的数据集，降维后常常出现各个簇聚集在一起，无法区分，产生“拥挤问题”。为了在低维空间区别不同类别的簇，使同一簇内的点聚合更加紧密，不同簇之间的点距离更加疏远，解决“拥挤”问题，Maaten提出在高维空间依然采用对称的高斯分布，而在低维空间使用自由度为1的长尾t对称分布。利用t分布的长尾特性，对于不相似的点，用一个较小的距离会产生较大的梯度来使这些点排斥开来，这种排斥又不会无限大，避免不相似的点距离太远。t分布受异常值影响更小，拟合结果更为合理，较好的捕获了数据的整体特征。低维数据集合基于t分布的联合概率分布为：其中yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素。
(4)根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。再利用随机梯度下降算法训练。在初始化中，可以用较小的σ下的高斯分布来进行初始化。为了加速优化过程和避免陷入局部最优解，梯度中需要使用一个相对较大的动量(momentum)，即参数更新中除了当前的梯度，还要引入之前的梯度累加的指数衰减项，公式如下:其中，Y(t)表示当前第t次迭代的函数解，η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解。初始值Y(0)通常设为N(0,10-4I)的随机正态分布。具体过程如下：
根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
根据所述梯度值和所述识别模型中的优化参数，利用
获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；
根据迭代次数T，确定第T次迭代的函数解Y(T)；
将Y(T)确定为降维后的太赫兹光谱数据集合。
整个迭代过程中每次迭代的过程为：计算低维度下的qij；然后计算梯度最后更新函数解
步骤400：对降维后的太赫兹光谱数据集合进行可视化分析，识别降维后的太赫兹光谱数据集合中的异常点。通过太赫兹光谱成像扫描，采用t-SNE模型降维后识别出样本中的异常光谱点，通过对异常光谱的辨识以及可视化，为进一步的模型判别和成像扫描缺陷识别提供预测的基础。
本发明采用t-SNE模型可以清晰有效的辨识出异常光谱的样本点，同种类型的光谱数据及聚簇程度较高。t-SNE模型的优势主要体现在对异常光谱样本点的聚簇辨识，根据辨识结果，我们可以评价光谱数据样本点的采集质量，剔除异常样本点，提高后续模式识别模型的识别准确率。但是，对于光谱相近的样本点，无法通过模型进行聚类辨别，需要采用有光谱差异的吸收光谱数据集或其他模式识别的方法进行辨识。
本发明还提供一种太赫兹异常光谱识别系统，图2为本发明太赫兹异常光谱识别系统的结构示意图。如图2所示，所述系统包括：
样本点的太赫兹光谱数据集合获取模块201，用于获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；
太赫兹光谱识别模型获取模块202，用于获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；
识别模块203，用于根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；
可视化分析模块204，用于对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。
其中，所述系统还包括：
困惑值获取模块，用于在获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型之后，获取所述识别模型中代价函数的困惑值；
优化参数获取模块，用于获取所述识别模型中的优化参数，所述优化参数包括迭代次数、学习速率和动量；
数据维度获取模块，用于获取降维后的数据维度；
初始化模块，用于根据所述数据维度，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式。
所述识别模块203，具体包括：
高维数据集合的条件概率分布获取单元，用于根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布；所述高维数据集合为所述样本点的太赫兹光谱数据集合；
高维数据集合的联合概率分布获取单元，用于根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布；
低维数据集合的联合概率分布获取单元，用于根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布；
函数解确定单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。
所述函数解确定单元，具体包括：
梯度值确定子单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
函数解确定子单元，用于根据所述梯度值和所述识别模型中的优化参数，利用获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；还用于根据迭代次数T，确定第T次迭代的函数解Y(T)；
降维后的太赫兹光谱数据集合确定子单元，用于将Y(T)确定为降维后的太赫兹光谱数据集合。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种太赫兹异常光谱识别方法，其特征在于，所述识别方法包括：
获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；
获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；
根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；
对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。
2.根据权利要求1所述的识别方法，其特征在于，所述获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型，之后还包括：
获取所述识别模型中代价函数的困惑值；
获取所述识别模型中的优化参数，所述优化参数包括迭代次数、学习速率和动量；
获取降维后的数据维度；
根据所述数据维度，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式。
3.根据权利要求2所述的识别方法，其特征在于，所述根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合，具体包括：
根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布；所述高维数据集合为所述样本点的太赫兹光谱数据集合；
根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布；
根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布；
根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。
4.根据权利要求3所述的识别方法，其特征在于，所述根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，具体包括：
根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
根据所述梯度值和所述识别模型中的优化参数，利用获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；
根据迭代次数T，确定第T次迭代的函数解Y(T)；
将Y(T)确定为降维后的太赫兹光谱数据集合。
5.一种太赫兹异常光谱识别系统，其特征在于，所述识别系统包括：
样本点的太赫兹光谱数据集合获取模块，用于获取样本点的太赫兹光谱数据集合，所述数据集合中包括每一个样本点对应的太赫兹光谱数据；所述样本点为太赫兹扫描的像素点；
太赫兹光谱识别模型获取模块，用于获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型；
识别模块，用于根据所述太赫兹光谱识别模型对所述太赫兹光谱数据集合进行识别，获得降维后的太赫兹光谱数据集合；
可视化分析模块，用于对所述降维后的太赫兹光谱数据集合进行可视化分析，识别所述降维后的太赫兹光谱数据集合中的异常点。
6.根据权利要求5所述的识别系统，其特征在于，所述系统还包括：
困惑值获取模块，用于在获取基于t分布随机邻域嵌入算法的太赫兹光谱识别模型之后，获取所述识别模型中代价函数的困惑值；
优化参数获取模块，用于获取所述识别模型中的优化参数，所述优化参数包括迭代次数、学习速率和动量；
数据维度获取模块，用于获取降维后的数据维度；
初始化模块，用于根据所述数据维度，采用正态分布函数N(0,10-4I)随机初始化所述识别模型中的低维数据集合的函数式。
7.根据权利要求6所述的识别系统，其特征在于，所述识别模块，具体包括：
高维数据集合的条件概率分布获取单元，用于根据样本点的太赫兹光谱数据集合和所述困惑度，确定高维数据集合基于高斯分布的条件概率分布；所述高维数据集合为所述样本点的太赫兹光谱数据集合；
高维数据集合的联合概率分布获取单元，用于根据所述高维数据集合的条件概率分布，确定高维数据集合的联合概率分布；
低维数据集合的联合概率分布获取单元，用于根据所述低维数据集合的函数式，确定低维数据集合基于t分布的联合概率分布；
函数解确定单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，采用随机梯度下降算法确定所述函数式的函数解，所述函数式的函数解即为降维后的太赫兹光谱数据集合。
8.根据权利要求7所述的识别系统，其特征在于，所述函数解确定单元，具体包括：
梯度值确定子单元，用于根据所述高维数据集合的联合概率分布和所述低维数据集合的联合概率分布，确定梯度函数的梯度值其中pij为所述高维数据集合的联合概率分布，qij为所述低维数据集合的联合概率分布；yi为低维数据集合中第i个元素，yj为低维数据集合中第j个元素；
函数解确定子单元，用于根据所述梯度值和所述识别模型中的优化参数，利用
获得当前第t次迭代的函数解Y(t)；其中η表示学习速率，α(t)表示迭代t次的动量，Y(t-1)为第t-1次迭代的函数解，Y(t-2)为第t-2次迭代的函数解；还用于根据迭代次数T，确定第T次迭代的函数解Y(T)；
降维后的太赫兹光谱数据集合确定子单元，用于将Y(T)确定为降维后的太赫兹光谱数据集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810568711.7A CN108760675A (zh) | 2018-06-05 | 2018-06-05 | 一种太赫兹异常光谱识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810568711.7A CN108760675A (zh) | 2018-06-05 | 2018-06-05 | 一种太赫兹异常光谱识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108760675A true CN108760675A (zh) | 2018-11-06 |
Family
ID=63999898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810568711.7A Pending CN108760675A (zh) | 2018-06-05 | 2018-06-05 | 一种太赫兹异常光谱识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108760675A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363227A (zh) * | 2019-06-24 | 2019-10-22 | 广东工业大学 | 一种基于流形学习的led分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104061442A (zh) * | 2014-06-26 | 2014-09-24 | 中国石油大学(北京) | 管道状态的检测装置及检测方法 |
| CN106096154A (zh) * | 2016-06-17 | 2016-11-09 | 北京信息科技大学 | 一种小波包时域信号流形学习故障诊断方法 |
| CN106096066A (zh) * | 2016-08-17 | 2016-11-09 | 盐城工学院 | 基于随机近邻嵌入的文本聚类方法 |
| CN106897572A (zh) * | 2017-03-08 | 2017-06-27 | 山东大学 | 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法 |
| CN106950186A (zh) * | 2017-03-14 | 2017-07-14 | 华中农业大学 | 基于光纤光谱的土鸡蛋或洋鸡蛋品种检测装置及其方法 |
| CN107219161A (zh) * | 2017-06-05 | 2017-09-29 | 吉林大学 | 一种基于太赫兹光谱技术的玻璃纤维复合材料孔隙率的检测方法 |
| CN108007896A (zh) * | 2017-10-17 | 2018-05-08 | 国网江苏省电力公司盐城供电公司 | 一种电力硅橡胶复合绝缘件的缺陷检测方法 |
-
2018
- 2018-06-05 CN CN201810568711.7A patent/CN108760675A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104061442A (zh) * | 2014-06-26 | 2014-09-24 | 中国石油大学(北京) | 管道状态的检测装置及检测方法 |
| CN106096154A (zh) * | 2016-06-17 | 2016-11-09 | 北京信息科技大学 | 一种小波包时域信号流形学习故障诊断方法 |
| CN106096066A (zh) * | 2016-08-17 | 2016-11-09 | 盐城工学院 | 基于随机近邻嵌入的文本聚类方法 |
| CN106897572A (zh) * | 2017-03-08 | 2017-06-27 | 山东大学 | 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法 |
| CN106950186A (zh) * | 2017-03-14 | 2017-07-14 | 华中农业大学 | 基于光纤光谱的土鸡蛋或洋鸡蛋品种检测装置及其方法 |
| CN107219161A (zh) * | 2017-06-05 | 2017-09-29 | 吉林大学 | 一种基于太赫兹光谱技术的玻璃纤维复合材料孔隙率的检测方法 |
| CN108007896A (zh) * | 2017-10-17 | 2018-05-08 | 国网江苏省电力公司盐城供电公司 | 一种电力硅橡胶复合绝缘件的缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈韬等: "《基于太赫兹光谱成像技术的智能处理方法分析》", 《太赫兹科学与电子信息学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363227A (zh) * | 2019-06-24 | 2019-10-22 | 广东工业大学 | 一种基于流形学习的led分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN112861720B (zh) | 基于原型卷积神经网络的遥感图像小样本目标检测方法 | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| CN107229930B (zh) | 一种指针式仪表数值智能识别方法 | |
| CN104700099B (zh) | 识别交通标志的方法和装置 | |
| CN111681197B (zh) | 一种基于Siamese网络结构的遥感图像无监督变化检测方法 | |
| CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
| CN105976383A (zh) | 一种基于极限学习机图像识别的输电设备故障诊断方法 | |
| CN110555382A (zh) | 一种基于深度学习和Wasserstein距离度量的指静脉识别方法 | |
| CN110245600B (zh) | 自适应起始快速笔画宽度无人机道路检测方法 | |
| CN106934829A (zh) | 一种表面裂缝的检测方法及系统 | |
| CN104298992A (zh) | 一种基于数据驱动的自适应尺度行人重识别方法 | |
| CN112001894B (zh) | 一种甲状腺边界平滑度检测装置 | |
| CN101533466A (zh) | 一种眼睛定位图像处理方法 | |
| CN114283285A (zh) | 交叉一致性自训练遥感图像语义分割网络训练方法及装置 | |
| CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| CN117422699A (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
| CN117292313A (zh) | 一种基于改进YOLOv7模型的小目标漂浮垃圾检测方法 | |
| CN112950493B (zh) | 轨道列车线阵相机图像畸变校正方法及装置 | |
| CN108760675A (zh) | 一种太赫兹异常光谱识别方法及系统 | |
| CN117994573A (zh) | 一种基于超像素和可形变卷积的红外弱小目标检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| Zhao et al. | MSC-AD: A Multiscene Unsupervised Anomaly Detection Dataset for Small Defect Detection of Casting Surface | |
| CN116433591A (zh) | 一种光伏板热斑的检测与面积占比计算方法 | |
| CN113792811B (zh) | 一种基于混沌特性分析的火焰燃烧稳定性识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |
|
| RJ01 | Rejection of invention patent application after publication |