CN107764797B - 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 - Google Patents
一种基于低秩张量算法的拉曼光谱图像数据预处理方法 Download PDFInfo
- Publication number
- CN107764797B CN107764797B CN201710859605.XA CN201710859605A CN107764797B CN 107764797 B CN107764797 B CN 107764797B CN 201710859605 A CN201710859605 A CN 201710859605A CN 107764797 B CN107764797 B CN 107764797B
- Authority
- CN
- China
- Prior art keywords
- tensor
- low
- noise
- rank
- raman spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biochemistry (AREA)
- Algebra (AREA)
- Computing Systems (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,包括:将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比。本方法简单易行,不用对采集仪器进行改造,对于现有的拉曼光谱成像技术,可以极大地降低信号采集时间,在拉曼光谱成像技术研究上将有着广阔前景。
Description
技术领域
本发明涉及光谱检测技术领域,尤其涉及一种基于低秩张量算法的拉曼光谱图像数据预处理方法。
背景技术
拉曼光谱成像技术是拉曼光谱分析技术的新发展,它将拉曼光谱技术与显微技术有效结合,借助共聚焦显微拉曼光谱仪以及信号探测装置,将拉曼测量的空间分辨率提升到微米尺度,对传统拉曼光谱技术中单点的分析方式进行拓展,在一定范围内进行综合性的分析,从而用图像的方式显示样品的物理、化学性质的空间分布,在环境学、医药学和生命科学等方面有着广泛的应用。
目前,对于拉曼图像数据噪声处理的手段比较单一,局限于一些常规的数字信号滤波手段,如:傅里叶滤波和小波滤波。
这些常规滤波方法不能从本质上提高信号的信噪比。所以对于信号采集来说,为了保证数据的有效性,拉曼采集过程需要较长的积分时间,这样导致整个信号采集过程变得非常漫长,极大的限制了拉曼光谱成像技术的应用与发展。
发明内容
本发明提供了一种基于低秩张量算法的拉曼光谱图像数据预处理方法,本发明可以极大地提高拉曼光谱图像数据的信噪比,从而缩短光谱图像数据的采集时间,快速准确的得到拉曼光谱图像,是一种高效准确的拉曼光谱图像预处理方式,详见下文描述:
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,所述拉曼光谱图像数据预处理方法包括以下步骤:
1)将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
2)通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
3)构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;
如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比;
如果不符合,进行下次迭代,重新执行步骤2)。
所述将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量具体为:
其中,s为最优逼近方向,t为迭代次数,▽为微分算子。
所述通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量具体为:
根据最陡梯度算法,计算最优迭代步长r:
Nt+1为此次迭代下原始数据中的噪声分量:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布;
本发明提供的技术方案的有益效果是:
1、本方法简单易行,不用对采集仪器进行改造,可以极大地提高数据的信噪比;
2、对于现有的拉曼光谱成像技术,可以极大地降低信号采集时间,在拉曼光谱成像技术研究上将有着广阔前景。
附图说明
图1是一种基于低秩张量算法的拉曼光谱图像数据预处理方法的流程图;
图2是本发明提供的二维拉曼光谱图像;
(a)和(c)是原始数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像;
(b)和(d)是用本发明处理后的数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像。
图3是本发明提供的一维拉曼光谱图。
其中,(a)是原始数据;(b)是用本发明处理后的数据;(a)和(b)取自数据的同一位置点。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,参见图1,该方法包括以下步骤:
101:将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
102:通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
103:构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布,如果是,执行步骤104;如果否,执行步骤105;
104:此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比;
105:进行下次迭代,重新执行步骤102。
综上所述,本发明实施例应用张量最佳低秩逼近的方法对拉曼光谱数据进行降噪处理,可以大幅度的提高原始数据的信噪比。本发明实施例适用于目前所有的拉曼光谱成像技术,可以将光谱积分时间缩短到1/10到1/20之间,无需对光谱仪进行任何硬件调整,快速准确地得到拉曼光谱图像数据。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍,详见下文描述:
本发明实施例主要通过低秩张量算法来实现,以拉曼光谱图像全局低秩分解的方法为例,下面详细介绍本发明具体实现方法:
拉曼光谱图像中各个光谱有着极大的相关性,而依据线性光谱混合模型,每条光谱又可以由少量的光谱端元组成,这证明了真实的拉曼光谱图像具有低秩性。
在实际测量中,噪声会极大的破坏拉曼光谱图像的低秩性,可以通过构建采集数据的最佳逼近张量来分离拉曼光谱图像中的噪声,从而加快拉曼光谱图像的采集速度。
拉曼光谱图像全局低秩分解是本发明实施例提出的一种用于分解三维拉曼光谱图像成分的一种方法。拉曼光谱图像全局低秩分解以逐次张量最佳秩一逼近为基础,结合拉曼光谱图像噪声大信号弱的特点,同时考虑信号分布与噪声分布,可自适应调节参数,从而高效的将采集数据中的光谱信息与噪声分离。
其中,s为最优逼近方向,t为迭代次数,▽为微分算子。
根据最陡梯度算法,计算最优迭代步长r:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布。当不符合时进行下次迭代;当符合噪声分布时,迭代停止,此时的张量即为原始数据张量的最佳低秩逼近张量。最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,可以极大的提高光谱图像的信噪比。
其中,上述构建噪声分布的数据库具体为:可以在实验之前对仪器的自身噪声进行检测,将检测到的数据存放在数据库中,形成噪声分布的数据库。当噪声分量Nt+1的数据在数据库中有对应匹配时,即说明噪声分量Nt+1符合噪声分布,反之,则不符合噪声分布,需要进行下次迭代。
实施例3
下面结合具体的试验、图2和图3对实施例1和2中的方案进行可行性验证,详见下文描述:
图2的(a)和(c)是原始数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像;(b)和(d)是用本方法处理后的数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像。测量样品是由两种样本混合而成的二元样品,通过两种物质的两个特征峰位置的二维拉曼光谱图像可以看出,原始数据完全无法区分两种样本的空间分布,而经过本方法处理后,可以清晰的区分样品的空间分布情况。
图3是处理结果的一维拉曼光谱图。其中(a)是原始数据,(b)是用本方法处理后的数据。(a)和(b)取自数据的同一位置点,光谱(a)的信噪比为2.14,光谱(b)的信噪比为195.21,信噪比提高了91.22倍。
从结果可以看出,本方法可以极大地提高拉曼光谱图像数据的信噪比,从而降低拉曼光谱成像技术对于原始数据质量的要求,极大的减少拉曼光谱采集的积分时间,是一种简单高效的拉曼光谱图像数据处理技术。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于低秩张量算法的拉曼光谱图像数据预处理方法,其特征在于,所述拉曼光谱图像数据预处理方法包括以下步骤:
1)将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
2)通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
3)构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;
如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比,流程结束;
如果不符合,进行下次迭代,重新执行步骤2);
其中,步骤1)具体为:
其中,步骤2)具体为:
根据最陡梯度算法,计算最优迭代步长r:
Nt+1为此次迭代下原始数据中的噪声分量:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710859605.XA CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710859605.XA CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107764797A CN107764797A (zh) | 2018-03-06 |
CN107764797B true CN107764797B (zh) | 2020-03-03 |
Family
ID=61267542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710859605.XA Expired - Fee Related CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107764797B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993155B (zh) * | 2019-04-23 | 2021-01-01 | 北京理工大学 | 针对低信噪比紫外拉曼光谱的特征峰提取方法 |
CN110501072B (zh) * | 2019-08-26 | 2020-07-24 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 |
CN110648275B (zh) * | 2019-09-24 | 2023-05-09 | 广州大学 | 一种多信道剪影重建方法、装置、存储介质及终端设备 |
CN111105364B (zh) * | 2019-12-03 | 2023-04-28 | 复旦大学 | 一种基于秩一分解和神经网络的图像复原方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
CN104280338A (zh) * | 2013-07-10 | 2015-01-14 | 福州高意通讯有限公司 | 一种拉曼增强的测量装置和方法及使用的离轴积分腔结构 |
CN105160623A (zh) * | 2015-08-17 | 2015-12-16 | 河南科技学院 | 基于组块低秩张量模型的无监督高光谱数据降维方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8060512B2 (en) * | 2009-06-05 | 2011-11-15 | Xerox Corporation | Hybrid tensor-based cluster analysis |
CN105069758B (zh) * | 2015-08-21 | 2017-11-28 | 武汉大学 | 一种基于鲁棒低秩张量的高光谱图像去噪方法 |
-
2017
- 2017-09-21 CN CN201710859605.XA patent/CN107764797B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
CN104280338A (zh) * | 2013-07-10 | 2015-01-14 | 福州高意通讯有限公司 | 一种拉曼增强的测量装置和方法及使用的离轴积分腔结构 |
CN105160623A (zh) * | 2015-08-17 | 2015-12-16 | 河南科技学院 | 基于组块低秩张量模型的无监督高光谱数据降维方法 |
Non-Patent Citations (1)
Title |
---|
张量低秩逼近与梯度流方法;王丽琪;《万方》;20151102;正文第1-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107764797A (zh) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107764797B (zh) | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 | |
Orieux et al. | Bayesian estimation for optimized structured illumination microscopy | |
CN110879980B (zh) | 基于神经网络算法的核磁共振波谱去噪方法 | |
Zhou et al. | The inversion of 2D NMR relaxometry data using L1 regularization | |
KR20130058004A (ko) | 자화율 가중 이미징 및 자화율 매핑(swim)을 이용한 핵 자기 공명 영상 생성 방법 | |
Bhadra et al. | Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks | |
CN115326783B (zh) | 拉曼光谱预处理模型生成方法、系统、终端及存储介质 | |
CN110503060B (zh) | 一种光谱信号去噪方法及其系统 | |
Nguyen-Duc et al. | Frequency-splitting dynamic MRI reconstruction using multi-scale 3D convolutional sparse coding and automatic parameter selection | |
CN109738413A (zh) | 基于稀疏非负最小二乘的混合物拉曼光谱定性分析方法 | |
CN104793159B (zh) | 一种高维核磁共振时域信号补全方法 | |
Hu et al. | Automated defect detection in textured materials using wavelet-domain hidden Markov models | |
Lyashenko et al. | Ideology of Image Processing in Infocommunication Systems | |
Zhang et al. | Separation of magnetotelluric signals based on refined composite multiscale dispersion entropy and orthogonal matching pursuit | |
Eddy et al. | Deterministic schedules for robust and reproducible non-uniform sampling in multidimensional NMR | |
Deng et al. | Impulse feature extraction method for machinery fault detection using fusion sparse coding and online dictionary learning | |
Ramirez‐Manzanares et al. | Resolving axon fiber crossings at clinical b‐values: An evaluation study | |
CN106951918B (zh) | 一种用于冷冻电镜分析的单颗粒图像聚类方法 | |
Fan et al. | A reconstruction algorithm based on sparse representation for Raman signal processing under high background noise | |
Zhang et al. | Dynamic residual Kaczmarz method for noise reducing reconstruction in magnetic particle imaging | |
CN108169204B (zh) | 一种基于数据库的拉曼光谱预处理方法 | |
Arun et al. | Efficient directionality-driven dictionary learning for compressive sensing magnetic resonance imaging reconstruction | |
US11887298B2 (en) | Fluorescence lifetime imaging using deep learning | |
CN111008356B (zh) | 一种基于WTSVD算法扣除背景的γ能谱集分析方法 | |
CN113655534A (zh) | 基于多线性奇异值张量分解核磁共振fid信号噪声抑制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200303 Termination date: 20200921 |
|
CF01 | Termination of patent right due to non-payment of annual fee |