CN102436648B - 基于背景荧光消除的目标荧光光谱解混方法 - Google Patents

基于背景荧光消除的目标荧光光谱解混方法 Download PDF

Info

Publication number
CN102436648B
CN102436648B CN201110230395.0A CN201110230395A CN102436648B CN 102436648 B CN102436648 B CN 102436648B CN 201110230395 A CN201110230395 A CN 201110230395A CN 102436648 B CN102436648 B CN 102436648B
Authority
CN
China
Prior art keywords
fluorescence
image
target
background
background fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110230395.0A
Other languages
English (en)
Other versions
CN102436648A (zh
Inventor
秦斌杰
赵勇
汤天衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jirun Biolog Technology Co ltd
Shanghai Jiaotong University
Original Assignee
Shanghai Jirun Biolog Technology Co ltd
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jirun Biolog Technology Co ltd, Shanghai Jiaotong University filed Critical Shanghai Jirun Biolog Technology Co ltd
Priority to CN201110230395.0A priority Critical patent/CN102436648B/zh
Publication of CN102436648A publication Critical patent/CN102436648A/zh
Application granted granted Critical
Publication of CN102436648B publication Critical patent/CN102436648B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种基于背景荧光消除的目标荧光光谱解混方法,包括以下步骤:(1)对图像进行预处理;(2)提取目标荧光区域;(3)得到目标荧光区域后,对多通道图像中该目标荧光区域的光子计数值都置为零;再利用目标荧光区域周围其他背景荧光的光子计数值对置零的区域进行背景荧光信号的平滑修补,得到背景荧光图像;(4)利用原始图像减去背景荧光图像,就得到了目标荧光图像,对所得目标荧光图像通过线性解混算法进行线性解混,得到最终目标荧光解混结果。与现有技术相比,本发明具有在通道稀疏的情况下仍然能够得到很好的解混效果等优点。

Description

基于背景荧光消除的目标荧光光谱解混方法
技术领域
本发明涉及一种多光谱成像与图像处理相关技术,尤其是涉及一种基于背景荧光消除的目标荧光光谱解混方法。
背景技术
光谱解混技术是多光谱成像领域一项基础而重要的工作。在多光谱成像系统中,不同单一物质所发出的光子计数在不同光谱波段是不同的,这就构成了特定单一物质的发射光谱指纹特征,这些特定物质的发射光谱指纹特征被称为端元。在实际的多光谱成像中,不同物质所发出的光子计数信号混合后经过中心波长不同的多个光谱通道滤波后到达成像探测设备。成像探测器所检测到的光子计数,是由不同物质的光子信号混合而成。光谱解混技术,就是希望从采集到的多个通道图像中,分解出与特定物质一一对应的光子计数信号。具体地说,多光谱成像中的光谱解混技术是把测量得到的混合图像数据,分解成各单一物质的端元以及和该单一物质端元相应的组分系数矩阵,该矩阵也被称为丰度矩阵。丰度矩阵表示在每组成像通道中,不同端元在各图像像素所占的组分比例。每个通道所采集的图像构成一个光谱向量,表示视场中各端元在这个通道的比例分布。通过算法分析这些通道得到的图像,可以对视场内的物质进行成分分析和定量分析,这已经广泛地应用在地质、石油、化工、医药等许多方面。
在多光谱荧光成像系统中,受一定能量激发光的激励,被试样本内特定物质会向外发射一定波长范围的光子信号,所得到的图像信号基本上分为两种:目标荧光信号和背景荧光信号。目标荧光是注射到样本内的荧光剂所产生的,具有局部抱团聚集的特性,这些聚集区域被背景荧光区域覆盖包绕。背景荧光以样本本身受光激发产生的自发荧光为主,也包括CCD成像曝光因素等导致的光亮度的变化,其光强度稍弱,在可见光多个光谱波段的通道上都有分布。相比于目标荧光区域,背景荧光在图像空间位置上的分布较广泛;受成像噪声及被试样本特性的影响,这些背景荧光的光子计数在空间的分布也并不均匀。目前,在多光谱成像应用研究中,背景荧光很难被光谱解混算法分离出来。
就目前的技术水平而言,光谱解混的方法大致可以分为三类:基于纯端元假设的算法、基于最小凸体分析的算法、基于统计学的算法。前两类方法一般可以归结为线性解混方法,其中第一类方法假设每一个端元至少在一个成像通道中存在只含该端元物质100%组分的像素,虽然在实际数据中这种假设条件很难存在,但由于这种类型方法计算效率很高,容易理解,因此在高光谱的分析中应用最多。第二类方法,即基于最小凸体分析的方法,这种方法是指在端元相关性最小的条件下,求得多光谱数据的最小凸体变化,该最小凸体的顶点所代表的向量就是多光谱数据的端元。对于一组含有p个端元的数据来说,凸体分析方法要求每个凸面含有p-1个光谱向量。例如对含有3个端元的多光谱成像数据来说,该最小凸体为三个顶点的三角形,有三条边构成凸体的凸面,就需要在这三个凸面上至少采集6个成像通道的数据构成光谱向量,如果少于6个成像通道的光谱向量,这此类方法不能对背景荧光和目标荧光进行准确解混。而本发明适用于荧光成像系统采集通道数目稀疏不能满足凸体分析对最小光谱向量数目要求时,还能准确对背景荧光和目标荧光进行解混。第三类方法是基于统计学的方法。当端元混合程度较高,采集的光谱通道数较小时,在凸面上不能保证都满足有p-1个光谱向量,使用前两类方法很难得到较好的解混效果时,就采用基于统计学的光谱解混方法。与前两种方法相比,统计学方法计算更加复杂。在本发明成像系统中,由于通道数目稀疏,背景荧光广泛而不均匀的分布,单纯使用以上三种方法并不能得到很好的解混效果。因此如何自动,精确,鲁棒地解混出目标荧光和背景荧光,是本领域的一个技术难题。
目前虽然有很多方法可以消除背景荧光,包括设置窄带滤光片方法和使用近红外目标荧光剂方法,但是这些方法都具有一定的不适用性。现有的荧光谱解混算法,用非自动目标荧光区域提取来辅助用于光谱解混算法,但没有考虑到背景荧光对目标荧光区域光子计数的贡献,在后续的解混过程中,也没对背景荧光和目标荧光分离后再对目标荧光进行解混。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于背景荧光消除的目标荧光光谱解混方法。
本发明的目的可以通过以下技术方案来实现:
一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,包括以下步骤:
(1)对图像进行预处理;
(2)提取目标荧光区域;
(3)得到目标荧光区域后,对多通道图像中该目标荧光区域的光子计数值都置为零;再利用目标荧光区域周围其他背景荧光的光子计数值对置零的区域进行背景荧光信号的平滑修补,得到背景荧光图像;
(4)利用原始图像减去背景荧光图像,就得到了目标荧光图像,对所得目标荧光图像通过线性解混算法进行线性解混,得到最终目标荧光解混结果。
所述的步骤(1)中的对图像进行预处理包括:
利用形态学方法平滑图像去除图像噪声,增强目标荧光和背景荧光对象的对比度,并削弱背景荧光。
所述的步骤(1)中的对图像进行预处理,具体过程如下:
1)使用基于h-圆顶方法对图像滤波处理,用如下形态学公式表示:
Mh(x)=x-ρx(x-h)
式中:Mh(x)表示图像前景,x为图像原始数据,x-h表示原始数据减去一个常数h,ρx(x-h)表示图像x-h经过形态学膨胀后,在与原图像对照的基础上进行形态学重建,再通过以上h-圆顶形态学方法的迭代计算,逐渐趋于收敛;
2)对图像分别进行形态学的开运算和闭运算,进行形态学重建。
所述的步骤(2)提取目标荧光区域具体如下:
利用核最大自相关因子算法得到各个通道主要变化区域,即目标荧光区域。
所述的步骤(3)中的利用目标荧光区域周围其他背景荧光的光子计数值对置零的区域进行背景荧光信号的平滑修补具体如下:
利用目标荧光区域周围原始图像的背景像素信息,利用快速行进法对目标区域进行图像平滑迭代修补,沿着图像梯度进行平滑,在平滑过程中使用周围邻域像素的加权均值。
所述的步骤(4)中的线性解混算法具体如下:
X=CS+A+E
式中X为指各成像采集通道采集到的混合图像数据,其规模大小是m×n,m表示每幅图像的像素数目,n表示通道数目;
C为端元矩阵,是各种特定目标荧光剂发射出的光子计数,其规模大小是m×k,k表示端元的数目;
S为丰度矩阵,表示端元在各个通道下的比例,其规模是k×n;
A为背景荧光;
E表示剩余项,即为噪声。
通过线性解混算法进行线性解混具体如下:
先对丰度矩阵S初始化赋值,并假设S为已知,通过最优化方程求出矩阵C,再假设C已知,通过最优化方程再求出新的矩阵S,不断地循环迭代,直到满足终止条件为止。
所述的最优化方程为交替迭代最小二乘方法实现的最优化方程,即
min‖E‖2=‖X-A-CS‖2
通过不适应率判断循环迭代是否结束,循环优化过程中,每次都会产生新的端元矩阵和丰度矩阵,在此基础上求得不适应率,这样就完成了一次迭代;上一次所得到的迭代结果会作为下一次优化的初始参数,直到满足终止条件时迭代终止。
所述的不适应率计算如下:
Figure BDA0000082673810000041
其中di,j表示原始采集的混合图像数据,表示经过最优化后估计出的数据图像。
所述的不适应率E小于0.01为迭代终止条件。
与现有技术相比,本发明具有以下优点:
1)通过核最大自相关因子提取方法得到多通道图像的目标荧光区域,利用这些区域周边背景荧光数据对该区域先置零再进行背景荧光的平滑修补,得到背景荧光图像,原始图像与背景荧光图像相减所得区域为我们重点进行解混的目标荧光,背景荧光就可以完全排除在外。
2)实现了在强烈不均匀背景荧光干扰下对目标荧光的解混,在通道稀疏的情况下仍然能够得到很好的解混效果。
3)设计上结合了目标荧光区域提取和灵活便捷的交替最小二乘算法,使得方法的鲁棒性和计算效率都能很好地满足实际需求。
4)经过多次测试表明,不仅能在对比度高的情况下识别目标荧光与背景荧光,在目标荧光不明显时也能够很好地解混目标荧光和背景荧光。
附图说明
图1为本发明的流程图;
图2为在4个通道下采集的图像;
图3为使用本发明后得到的结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例1
本发明基于背景荧光消除的目标荧光光谱解混方法包括步骤如下:
(1)首先对图像进行预处理,去除图像噪声,同时增强目标荧光区域和背景荧光区域的对比度。
(2)考虑到大多数目标荧光区域具有局部抱团聚集的特性,这些聚集区域被覆盖包绕在在背景荧光区域范围内,是各通道的主要变化区域,我们利用核最大自相关因子方法得到所有通道图像的目标荧光区域。
(3)得到目标荧光区域后,我们对多通道图像中该目标荧光区域的光子计数值都置为零,再结合目标荧光区域周围背景荧光的光子计数值,利用基于快速行进法的图像修补技术[An Image Inpainting Technique Based on the Fast MarchingMethod,Alexandru Telea,Journal of Graphics Tools,9(1):25-36,2004.],对置零的区域进行背景荧光信号的平滑修补,这样得到的图像我们称为背景荧光图像。
(4)最后利用原始图像减去背景荧光图像,就得到了我们所需要的目标荧光图像。对于目标荧光图像,我们使用线性解混模型中的交替最小二乘算法,经过多次循环迭代,得到目标荧光的最终解混结果。
本发明的进一步说明如下:
1、预处理操作
利用形态学的方法对图像进行预处理操作,主要是为了消除图像噪声以及由于图像采集时产生的伪迹,同时在某种程度上平滑图像,增强目标荧光和背景荧光区域的对比度。
2、目标荧光区域提取
在实际采集图像过程中由于背景荧光强度受多种因素的影响,呈现空间区域弥散且亮度分布不均匀。本发明多通道荧光成像系统采集到的图像中,目标荧光光强一般要稍大于背景荧光,是主要的变化区域。我们提取目标区域就是提取出多通道的主要变化区域。这里我们使用核最大自相关因子[Kernel MaximumAutocorrelation Factor and Minimum Noise Fraction Transformations,Allan AasbjergNielsen,IEEE Trans.Image Proc.,20(3):612-624,2011]方法来提取目标荧光区域。
在核最大自相关因子算法中,有均值为0的空间采集数据x(r),其线性组合为aTx(r),我们的目标是最大化线性组合的自相关函数。x(r)是在位置r处的多元观测值,x(r+Δ)是在位置r+Δ得到的观测值,Δ是指空间位移。
线性组合aTx(r)的自相关表达式为:
R=Cov{aTx(r),aTx(r+Δ)}  (1)
 =aTCov{x(r),x(r+Δ)}a   (2)
 =aTCΔa                  (3)
其中CΔ为x(r)和x(r+Δ)的方差。假设x(r)二阶平稳,CΔ与位置r无关。我们引入多维差异值xΔ(r)=x(r)-x(r+Δ),其协方差有关系
Figure BDA0000082673810000061
其中S=XXT/(n-1)为x的协方差矩阵。这样就有:
a T C Δ a = ( a T C Δ a ) T - - - ( 4 )
= a C Δ T a T - - - ( 5 )
= a T ( C Δ + C Δ T ) a 2 - - - ( 6 )
这样我们就得到:
R = a T ( S + S Δ 2 ) a - - - ( 7 )
为了得到线性组合的互相关系数ρ我们把协方差由方差aTSa代替:
ρ = 1 - 1 2 a T S Δ a a T Sa - - - ( 8 )
= 1 - 1 2 a T X Δ T X Δ a a T X T Xa - - - ( 9 )
对于常规的空间图像,其样本数据处理都假设样本的位置为r,水平移动Δh,以得到x(r+Δh),估计出水平方向的
Figure BDA0000082673810000068
垂直方向移动Δv得到x(r+Δv)以计算
Figure BDA0000082673810000069
正常情况下SΔ是二者的结合。一般认为xΔ(r)=x(r)-[x(r+Δh)+x(r+Δv)]/2。
我们这里把混合系数a由XTb替代得到二重线性自相关函数:
ρ = 1 - 1 2 b T X X Δ T X Δ X T b b T X X T XX T b - - - ( 10 )
假设有
Figure BDA0000082673810000072
规模大小n×q的映射矩阵,q≥p,该映射矩阵的每个元素可以表示为的函数表达式:
Figure BDA0000082673810000074
可以把X的行数据通过
Figure BDA0000082673810000075
非线性的映射到高维空间。这样核心化问题就可以转化为:
= 1 - 1 2 b T K Δ T K Δ b b T K 2 b - - - ( 13 )
用核矩阵K代替
Figure BDA0000082673810000078
这样我们就没有必要知道具体的映射关系
Figure BDA0000082673810000079
本发明使用高斯核函数。对于核化后的矩阵K以及KΔ其列均值都是为0。因为我们想要实现这种情况下我们有关系
Figure BDA00000826738100000711
因此与PCA算法不同的是,核最大自相关因子算法并不把特征值的均方根分解为二重特征向量。
二重线性自相关算法继承了初始最优化问题。为了最大化互相关系数ρ,我们就需要最小化瑞利参数
Figure BDA00000826738100000712
这可以通过解决一个对称性的特征值问题来实现。与PCA方法不同,核自相关因子分析方法结果稳定:假若xi用其它矩阵转化为Txi,结果并不会发生变化。
通过核最大自相关因子算法从采集图像中提取目标荧光,是本发明的一个重要步骤。使用一般的图像分割方法或者滤波方法,很难提取出单独的目标荧光区域。本发明利用目标荧光发射光谱特性以及空间分布,提取出通道中的主要变化区域即目标荧光区域。
3、背景荧光矩阵A的获取
本发明的荧光成像系统中,背景荧光往往呈现空间弥散和亮度的不均匀分布,并且随着通道的不同而产生变化。本发明结合上面步骤得到的目标荧光区域,对该目标区域置零,再利用快速行进法结合周围背景荧光光子计数值,对该置零目标区域进行光子计数平滑修补,得到背景荧光图像。本发明致力于消除背景荧光,再进行目标荧光的光谱解混,这样就解决了背景荧光分布不均,用线性解混算法解混困难的问题,轻松消除背景荧光影响,进而识别解混出不同的目标荧光。
4、基于背景荧光消除的解混算法
背景荧光从采集数据矩阵中消除后,再进行目标荧光的线性解混是本发明的关键创新之一。结合上面步骤3的阐述,在光谱解混模型中引入背景荧光矩阵A。消除背景荧光影响后,再利用光谱解混算法使目标荧光之间也能够被很好地解混,便于研究人员对实验结果做出正确的判断。
本发明是基于背景荧光消除的解混算法,其具体模型如下:
X=CS+A+E                       (14)
式中X是指各成像采集通道采集到的混合图像数据,其规模大小是m×n,m表示每幅图像的像素数目,n表示通道数目。C可以看作是端元矩阵,是各种特定目标荧光剂发射出的光子计数,其规模大小是m×k,k表示端元的数目。S是丰度矩阵,表示端元在各个通道下的比例,其规模是k×n。A为背景荧光,E表示剩余项,可以看作是噪声。
本发明模型中引入了背景荧光矩阵A。这样问题就转化为:
X-A=CS+E                       (15)
通过核最大自相关因子等方法消除(14)式中背景荧光矩阵A的影响,问题就可以看作是一般的线性光谱解混。本发明中我们使用交替迭代最小二乘方法实现方程(15)的最优化:
min‖E‖2=‖X-A-CS‖2          (16)
具体的方法如下:先对矩阵S初始化赋值,并假设S为已知,这样通过最优化方程(16)求出矩阵C,再假设C已知,通过最优化上面的方程再求出新的矩阵S,这样不断地循环迭代,直到满足方程(16)的最优化条件为止。需要注意的是在最优化过程中根据实际的需求要满足一些约束条件,如丰度的非负性,端元光谱的单峰性等。
本发明提出的步骤,要求提取目标荧光区域,本质上是为了在方程(15)中消除背景荧光后在对目标荧光进行解混。我们认为目标荧光周围较淡的光是以样本自发荧光为主的样本背景荧光,对置零的目标荧光区域进行背景荧光信号的平滑修补就得到整个物体的背景荧光。由原始图像数据减去背景部分我们就得到了真实的目标荧光剂所标记部分。而通过交替最小二乘方法,不断地最优化方程(16),得到准确而稳定的目标荧光解混效果。
实施例2
本发明流程如图1所示。在经过预处理之后,尽可能地减少了背景荧光的影响,通过自动标记多通道图像主要变化区域,即目标荧光区域,结合对该目标区域光子计数值置零以及对该区域进行背景荧光光子计数的平滑修补,这样就得到所要的背景荧光图像。在此基础上使用交替最小二乘方法,通过不断的循环迭代,最优化方程(16),对目标荧光进行解混,直到达到满意的精度结果。下面就具体实施例做详细的说明:
1、图像预处理
预处理是为了消除图像泊松噪声以及采集图像时产生的一些伪影,同时在某种程度上平滑图像,增强目标荧光区域,减少背景荧光的影响。形态学滤波方法适用于图像对象比较大,细节比较少的情况。这里使用基于h-圆顶方法[QuantitativeComparison of Spot Detection Methods in Fluorescence Microscopy,Ihor Smal and etal.IEEE Trans.Med.Imaging,29(2):282-301,2010]对图像处理。其形态学公式如下:
Mh(x)=x-ρx(x-h)           (17)
式中:Mh(x)表示图像前景,x为图像原始数据,x-h表示原始数据减去一个常数h,ρx(x-h)表示图像x-h经过形态学膨胀后,在与原图像对照的基础上进行形态学重建。通过以上h-圆顶形态学方法的递归计算,逐渐趋于收敛。基于h-圆顶的方法本身有图像增强作用,我们在使用基于h-圆顶方法对图像滤波处理后,再对图像分别进行形态学的开运算和闭运算,对图像进行形态学重建,以达到平滑图像,增强目标荧光和背景荧光对比度的目的。
2、目标荧光区域提取
在进行预处理之后就可以提取目标荧光区域。核最大自相关因子算法把问题简化为最大化方程(13),进而转化为最小化瑞利函数:
λ ( b ) = b T K Δ T K Δ b b T K 2 b - - - ( 18 )
通过对b求导数推导,令一阶导数若要得到瑞利函数的最小值,还要令其二阶导数所有特征值为正。推导后可以把问题写成下面的形式:
K 2 b = λ K Δ K Δ T b - - - ( 19 )
= λ ( K Δ K Δ T ) 1 / 2 ( K Δ K Δ T ) 1 / 2 b - - - ( 20 )
这样就相当于把问题转化为求最小特征值和其对应的特征向量的问题。在计算中有个问题是:K和KΔ都是m×m矩阵,其中m是观测到图像的像素数目,本发明中图像大小为1002×1004,这样的话数据量就非常的大。这种情况下我们就可以在图像中取一些数据样本,分析的时候只使用这些样本进行分析。这些样本可以称为是训练数据。在得到训练数据的结果后,为了实现整幅图像的核最大自相关因子分析,我们有一个映射图像数据的操作,可以把数据X映射到最初提出的特征向量空间A中,用关系表达是指:
Figure BDA0000082673810000105
= [ k ( x , x 1 ) , k ( x , x 2 ) . . . k ( x , x n ) ] b - - - ( 22 )
其中xi是指训练数据。在计算过程中,因为图像数据X量很大,数据映射过程需要对数据分块进行,否则会产生溢出错误。整个映射过程包括对数据中心化,然后核心化,这种取样方法可以有效地避免由于图像数据量过大衍生的溢出问题。
3、背景荧光获取
对得到的目标荧光区域,我们令多通道图像中这些区域的像素都置为零,然后再结合目标荧光区域周围其他背景荧光的光子计数值,沿着背景图像的梯度方向,利用快速行进法,对置零区域进行背景荧光光子计数的平滑修补,这样我们就可以得到背景荧光矩阵A。所得到的矩阵对于消除背景影响有非常重要的意义。本发明提出基于背景消除的目标荧光光谱解混方法,相当于在凸体分析中减少了一个背景荧光端元,使得我们可以在通道稀疏的条件下实现目标荧光的解混识别;同时由于我们已经提取出目标荧光区域的位置,因此在后续的线性解混过程中,我们只对目标荧光区域进行解混,可以快速解混出目标荧光。
4、光谱解混算法
(1)初始化
一般来说可以使用随机分布的正数来初始化估计丰度矩阵S,但是这种无偏的估计方法会导致最终结果的不稳定以及迭代次数的增加,因此合理的初始化估计非常必要。传统的初始化估计是使用EFA,SIMPLISMA[Multivariate curve resolutionmethods in imaging spectroscopy:influence of extraction methods and instrumentalperturbations,L.Duponchel and et al.,Comput.Sci.43:2057-20672003]等方法,但这两种方法只适合含有纯端元的情况,在本发明多光谱成像系统并不合适。假若已知荧光剂光谱则可以从光谱数据库中直接调用作为初始化估计。本发明实例的初始化,我们使用目标荧光区域的光子计数均值近似看作荧光端元光谱。
(2)约束条件
光谱解混使用的交替最小二乘算法灵活高效,但是结果并不具有鲁棒性。为了使算法结果稳定,具有唯一性,并且具有实际的物理意义,我们这里引入了两个约束条件:非负性和单峰性。非负性是指所有的端元数据以及丰度数据都不为负。非负性约束实现的方法是在优化过程中使用非负最小二乘方法,其结果与一般最小二乘法欧几里德距离最为接近,也就是二者之间的均方根误差最小。单峰性是指每一个端元的丰度系数都只含有一个峰值,在此峰值两侧的丰度系数值都呈现出逐步衰减的趋势。这是由荧光剂光谱特性决定的。
(3)优化迭代终止
当最优化过程在以上的约束条件下趋于收敛时,我们选择不适应率来判断循环是否应该结束,不适应率的计算方法如下:
Figure BDA0000082673810000111
其中di,j表示原始采集的混合图像数据,
Figure BDA0000082673810000112
表示经过最优化后估计出的数据图像。这里假设E小于0.01时就认为满足我们的最优化精度,迭代循环结束。
5、解混结果说明
图2为在4个通道下采集的图像。在96孔板中有两种荧光物质Alexa Fluor 488,最大激发光是488nm,其发射光谱主要分布在500nm~550nm;Alexa Fluor 594,最大激发光594nm,其发射光谱主要分布在600nm~650nm。在96孔板中其第一排浓度为72微克/毫升,第二排浓度为24微克/毫升。在这两种浓度下,从左到右分别使用比率(100%,0%)(75%,25%)(50%,50%)(25%,75%)进行混合,最下面两个孔比率是(0%,100%),浓度分别是72微克/毫升(右)和24微克/毫升(左),得到十个目标荧光标记孔。在这10个孔上覆盖一片猪皮(白色)以产生足够的自发荧光。第二排浓度较低,不能明显地看出其荧光孔。由于荧光互激发效应,以(25%,75%)比例孔的荧光最强。
图3为使用本发明后得到的结果,其中a是荧光剂AF594所标记的区域,b是荧光剂AF488所标记的区域,c是背景荧光图像,d是自动提取的目标荧光区域。
(1)实验结果说明
我们解混的目标含有两个端元,分别是荧光标记Alexa Fluor 488,Alexa Fluor594,其第一排浓度为72微克/毫升,第二排浓度为24微克/毫升。在这两种浓度下,从左到右分别使用比率(100%,0%)(75%,25%)(50%,50%)(25%,75%)进行混合,最下面两个孔比率是(0%,100%),浓度分别是72微克/毫升(右)和24微克/毫升(左),得到十个荧光标记孔。上面覆盖一片猪皮以模拟样本自发荧光,因为猪皮中含有大量的胶原蛋白,可以在可见光波长下发出强烈的背景荧光。在四个通道下采集得到图像,都含有强烈的自发荧光。为了使研究人员更加方便直观的观察到实验结果,最后解混所得结果图像,目标荧光部分都使用伪彩色进行染色,其余部分用黑白背景显示。
(2)实验精度说明
假设
Figure BDA0000082673810000121
表示估计到的端元,这里利用原始端元C以及估计到的端元之间的互相关系数ρ来评价算法表现,互相关系数的定义如下:
ρ = 1 k Σ i = 1 k ( c i - c ‾ i ) T ( c ~ i - c ~ ‾ i ) | | c i - c ‾ i | | · | | c ~ i - c ~ ‾ i | | - - - ( 24 )
式中k表示端元的数目。这里互相关系数ρ的取值在[0,1]之间,互相关系数越大,算法表现越好。一般而言当ρ大于0.8时认为二者有很强的相关性。本发明经过多次检验,得到平均互相关系数ρ=85.7%。从结果来看本发明完全可以应用在实际领域。

Claims (8)

1.一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,包括以下步骤: 
(1)对图像进行预处理; 
(2)提取目标荧光区域; 
(3)得到目标荧光区域后,对多通道图像中该目标荧光区域的光子计数值都置为零;再利用目标荧光区域周围其他背景荧光的光子计数值对置零的区域进行背景荧光信号的平滑修补,得到背景荧光图像; 
(4)利用原始图像减去背景荧光图像,就得到了目标荧光图像,对所得目标荧光图像通过线性解混算法进行线性解混,得到最终目标荧光解混结果; 
所述的步骤(1)中的对图像进行预处理包括: 
利用形态学方法平滑图像去除图像噪声,增强目标荧光和背景荧光对象的对比度,并削弱背景荧光;
所述的步骤(1)中的对图像进行预处理,具体过程如下: 
1)使用基于h-圆顶方法对图像滤波处理,用如下形态学公式表示: 
Mh(x)=x-ρx(x-h) 
式中:Mh(x)表示图像前景,x为图像原始数据,x-h表示原始数据减去一个常数h,ρx(x-h)表示图像x-h经过形态学膨胀后,在与原图像对照的基础上进行形态学重建,再通过h-圆顶方法的迭代计算,逐渐趋于收敛; 
2)对图像分别进行形态学的开运算和闭运算,进行形态学重建。 
2.根据权利要求1所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,所述的步骤(2)提取目标荧光区域具体如下: 
利用核最大自相关因子算法得到各个通道主要变化区域,即目标荧光区域。 
3.根据权利要求1所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,所述的步骤(3)中的利用目标荧光区域周围其他背景荧光的光子计数值对置零的区域进行背景荧光信号的平滑修补具体如下: 
利用目标荧光区域周围原始图像的背景像素信息,利用快速行进法对目标区域进行图像平滑迭代修补,沿着图像梯度进行平滑,在平滑过程中使用周围邻域像素 的加权均值。 
4.根据权利要求1所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,所述的步骤(4)中的线性解混算法具体如下: 
X=CS+A+E 
式中X为指各成像采集通道采集到的混合图像数据,其规模大小是m×n,m表示每幅图像的像素数目,n表示通道数目; 
C为端元矩阵,是各种特定目标荧光剂发射出的光子计数,其规模大小是m×k,k表示端元的数目; 
S为丰度矩阵,表示端元在各个通道下的比例,其规模是k×n; 
A为背景荧光; 
E表示剩余项,即为噪声。 
5.根据权利要求4所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,通过线性解混算法进行线性解混具体如下: 
先对丰度矩阵S初始化赋值,并假设S为已知,通过最优化方程求出矩阵C,再假设C已知,通过最优化方程再求出新的矩阵S,不断地循环迭代,直到满足终止条件为止。 
6.根据权利要求5所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,所述的最优化方程为交替迭代最小二乘方法实现的最优化方程,即 
min||E||2=||X-A-CS||2。 
7.根据权利要求5所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,通过不适应率判断循环迭代是否结束,循环优化过程中,每次都会产生新的端元矩阵和丰度矩阵,在此基础上求得不适应率,这样就完成了一次迭代;上一次所得到的迭代结果会作为下一次优化的初始参数,直到满足终止条件时迭代终止。 
8.根据权利要求7所述的一种基于背景荧光消除的目标荧光光谱解混方法,其特征在于,所述的不适应率计算如下: 
Figure FDA00003490261200021
其中dij表示原始采集的混合图像数据,
Figure FDA00003490261200022
表示经过最优化后估计出的数据图 像; 
所述的不适应率E小于0.01为迭代终止条件。 
CN201110230395.0A 2011-08-11 2011-08-11 基于背景荧光消除的目标荧光光谱解混方法 Expired - Fee Related CN102436648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110230395.0A CN102436648B (zh) 2011-08-11 2011-08-11 基于背景荧光消除的目标荧光光谱解混方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110230395.0A CN102436648B (zh) 2011-08-11 2011-08-11 基于背景荧光消除的目标荧光光谱解混方法

Publications (2)

Publication Number Publication Date
CN102436648A CN102436648A (zh) 2012-05-02
CN102436648B true CN102436648B (zh) 2014-01-01

Family

ID=45984693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110230395.0A Expired - Fee Related CN102436648B (zh) 2011-08-11 2011-08-11 基于背景荧光消除的目标荧光光谱解混方法

Country Status (1)

Country Link
CN (1) CN102436648B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406860B2 (en) 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
CA2914778A1 (en) 2012-06-21 2013-12-27 Novadaq Technologies Inc. Quantification and analysis of angiography and perfusion
CN103335968B (zh) * 2013-06-25 2015-04-01 中国科学院遥感与数字地球研究所 基于背景光谱去除的高光谱解混方法
JP6113925B2 (ja) * 2013-12-04 2017-04-12 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 蛍光画像処理装置及び方法
CN103750845B (zh) * 2014-01-06 2016-05-04 西安交通大学 一种自动去除近红外光谱信号运动伪迹的方法
CA2963987A1 (en) 2014-09-29 2016-04-07 Novadaq Technologies Inc. Imaging a target fluorophore in a biological material in the presence of autofluorescence
KR102012880B1 (ko) 2014-10-09 2019-08-22 노바다크 테크놀러지즈 유엘씨 형광-조정 광전용적맥파 측정기를 사용한 조직 내의 절대적인 혈류의 정량화
CN104715455B (zh) * 2015-01-09 2017-08-29 青岛市光电工程技术研究院 一种光谱成像手印增强的方法
DE102015112628A1 (de) * 2015-07-31 2017-02-02 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes
US11140305B2 (en) 2017-02-10 2021-10-05 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
CN107238591B (zh) * 2017-05-27 2020-07-21 大连海事大学 活体荧光的光谱解混探测方法
CN108154527B (zh) * 2017-12-08 2020-06-12 东华大学 一种基于稳定学习字典的机织物纹理表征方法
CN109238972B (zh) * 2018-06-22 2021-04-30 杭州电子科技大学 一种全光谱信号解混方法
CN109886897B (zh) * 2019-03-04 2023-04-18 重庆工商大学 一种高光谱图像解混设备
CN111141713A (zh) * 2020-01-14 2020-05-12 中国科学院苏州生物医学工程技术研究所 基于高光谱荧光显微成像的多重标记生物检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1757223A2 (en) * 2003-09-23 2007-02-28 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
CN101030299A (zh) * 2007-03-29 2007-09-05 复旦大学 一种基于数据空间正交基的遥感图像混合像元分解方法
CN101339131A (zh) * 2008-08-13 2009-01-07 中国石油天然气集团公司 岩心显微多种光谱成像信息综合处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1757223A2 (en) * 2003-09-23 2007-02-28 Cambridge Research & Instrumentation, Inc. Spectral imaging of biological samples
CN101030299A (zh) * 2007-03-29 2007-09-05 复旦大学 一种基于数据空间正交基的遥感图像混合像元分解方法
CN101339131A (zh) * 2008-08-13 2009-01-07 中国石油天然气集团公司 岩心显微多种光谱成像信息综合处理方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
A. de Juan.Assessment of new constraints applied to the alternating least squares method.《Analytica Chimica Acta》.1997,第346卷307-318页.
Alexandru Telea.An Image Inpainting Technique Based on the Fast Marching Method.《Journal of graphics tools》.2004,第9卷(第1期),25-36.
Allan Aasbjerg Nielsen.Kernel Maximum Autocorrelation Factor and Minimum Noise Fraction Transformations.《IEEE TRANSACTIONS ON IMAGE PROCESSING》.2011,第20卷(第3期),612-624页.
An Image Inpainting Technique Based on the Fast Marching Method;Alexandru Telea;《Journal of graphics tools》;20041231;第9卷(第1期);2.2、2.3部分及图2、6、8 *
Assessment of new constraints applied to the alternating least squares method;A. de Juan;《Analytica Chimica Acta》;19971231;第346卷;摘要及2.1、4.1部分 *
Autofluorescence removal from fluorescence tomography data usingmultispectral imaging;Stylianos Psycharakis et al;《Biomedical Optics》;20071231;第6626卷;摘要,662601-3最后一段以及图2 *
Autofluorescence removal, multiplexing, and automated analysis methods for in-vivo fluorescence imaging;James R. Mansfield et al;《Journal of Biomedical Optics》;20070831;第10卷(第4期);041207-1—041207-9 *
James R. Mansfield et al.Autofluorescence removal, multiplexing, and automated analysis methods for in-vivo fluorescence imaging.《Journal of Biomedical Optics》.2007,第10卷(第4期),041207-1—041207-9.
Kernel Maximum Autocorrelation Factor and Minimum Noise Fraction Transformations;Allan Aasbjerg Nielsen;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20110331;第20卷(第3期);摘要 *
Stylianos Psycharakis et al.Autofluorescence removal from fluorescence tomography data usingmultispectral imaging.《Biomedical Optics》.2007,第6626卷01-1—01-7.

Also Published As

Publication number Publication date
CN102436648A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
CN102436648B (zh) 基于背景荧光消除的目标荧光光谱解混方法
US11669971B2 (en) Colony contrast gathering
CA2966555C (en) Systems and methods for co-expression analysis in immunoscore computation
Huang et al. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery
Barmby et al. M31 globular clusters: colors and metallicities
EP3053138B1 (en) Systems and methods for adaptive histopathology image unmixing
US20090001262A1 (en) System and Method for Spectral Analysis
Jones et al. Preprocessing strategies to improve MCR analyses of hyperspectral images
CN101692037B (zh) 高光谱图像和独立分量分析植物叶面叶绿素分布的方法
Shu et al. A semi-automatic image analysis tool for biomarker detection in immunohistochemistry analysis
Pourreza et al. An evaluation of a vision-based sensor performance in Huanglongbing disease identification
CN110082298B (zh) 一种基于高光谱图像的小麦品种赤霉病综合抗性鉴定方法
CN103957771A (zh) 图像处理装置、图像处理方法和图像处理程序
Wang et al. Landscape-level vegetation classification and fractional woody and herbaceous vegetation cover estimation over the dryland ecosystems by unmanned aerial vehicle platform
CN110120056A (zh) 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN104036257A (zh) 基于d-s理论的多源数据融合柑橘黄龙病检测分类方法
CN106769693A (zh) 一种基于拉曼光谱的循环肿瘤细胞自动检测系统
CN103093478A (zh) 基于快速核空间模糊聚类的异源图像粗大边缘检测方法
CN108898096A (zh) 一种面向高分影像的信息快速精确提取方法
CN103528967A (zh) 基于高光谱图像的过熟蓝靛果果实识别方法
CN107969148A (zh) 图像分析系统和方法
US11790673B2 (en) Method for detection of cells in a cytological sample having at least one anomaly
CN109580497B (zh) 一种基于奇异性理论的高光谱矿物异常信息提取方法
CN104573668A (zh) 基于光谱反射率的面部色泽适应性自动识别方法
CN108827909B (zh) 基于可见近红外光谱与多目标融合的土壤快速分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140101

Termination date: 20170811