CN114997208A - 一种基于长短期记忆网络的组织光学参数提取方法及系统 - Google Patents
一种基于长短期记忆网络的组织光学参数提取方法及系统 Download PDFInfo
- Publication number
- CN114997208A CN114997208A CN202210391067.7A CN202210391067A CN114997208A CN 114997208 A CN114997208 A CN 114997208A CN 202210391067 A CN202210391067 A CN 202210391067A CN 114997208 A CN114997208 A CN 114997208A
- Authority
- CN
- China
- Prior art keywords
- tissue
- fiber
- optical
- diffuse reflection
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于长短期记忆网络的组织光学参数提取方法及系统,属于机器学习和生物医学交叉的技术领域,解决在提取组织光学参数时,仅利用到部分漫反射光信息,忽略了光谱数据序列特征的相关性,而造成的组织光学参数提取不准确的问题;本发明将长短期记忆网络引入组织空间分辨漫反射光谱生成模型,充分挖掘光谱数据点中的相关性,在减小模型参数的同时增加模型预测能力;在训练组织空间分辨漫反射光谱生成模型时,不考虑光纤探头结构,将组织表面出射的全部空间分辨漫反射光谱纳入预数据集,数据维数更大,经过训练后模型精度更高,有效提高组织光学参数与漫反射光谱映射模型的准确性,进而提高组织光学参数提取的效率和精度。
Description
技术领域
本发明属于机器学习和生物医学交叉的技术领域,涉及一种基于长短期记忆网络(long-short term memory,LSTM)的组织光学参数提取方法及系统。
背景技术
人体皮肤组织光学特性(包括吸收系数、散射系数)的变化与组织生理状态及组织内部微环境密切相关,为组织形态学研究、肿瘤等疾病的检测、代谢动态监测,以及光动力治疗等临床应用提供了基础。组织漫反射光谱源于经组织调制的后向散射光,携带有组织光学特性信息,可用来提取组织吸收系数、散射系数。组织漫反射光谱测量通常会借助特定结构的光纤探头,然后利用不同照明-探测径向距离来测量空间分辨漫反射光谱,或在单一光源-探测径向距离下测量不同波长下的漫反射光谱,亦或是测量空间频率域漫反射光谱。为了从实际测量的组织漫反射光谱中提取组织光学参数,首先需要确定组织光学参数到漫反射光谱的正向模型。目前确定正向模型的方法主要是慢射近似法和蒙特卡罗方法。漫射近似法是辐射传输方程的一阶球谐展开,可用来分析特定组织光学参数下的漫反射光谱。但该方法要求介质散射系数远大于吸收系数,并且照明-探测径向距离足够大,对于人体组织而言,并非完全成立。蒙特卡洛方法可以模拟任意光学参数和几何形状的组织中的光子传输,被认为是光子传输模拟的金标准。但随着建模精度的提高,蒙特卡洛方法的运算时间也会增加。为解决蒙特卡洛模拟耗费计算资源的制约,混合蒙特卡洛方法、比率缩放蒙特卡洛方法、显卡加速蒙特卡洛方法等方法被开发出来。其中,混合蒙特卡洛方法利用漫射近似在照明-探测径向距离较小的位置存在较大误差的特点,在照明光源近端使用蒙特卡洛模拟提高精度,在照明光源远端采用漫射近似提高效率(参见文献Hayashi T,et al.HybridMonte Carlo-diffusion method for light propagation in tissue with a low-scattering region[J].以及文献Proceedings of SPIE-The International Societyfor Optical Engineering,2001,42(16):2888-96.以及文献Zhu C,Liu Q.Hybrid methodfor fast Monte Carlo simulation of diffuse reflectance from a multilayeredtissue model with tumor-like heterogeneities[J].Journal of Biomedical Optics,2012,17(1):010501.),但对于近端、远端之间的划分标准难以确定。比率缩放蒙特卡洛方法假定组织中光子行走路径由散射系数确定,溢出组织表面的光子权重由吸收系数确定。在特定的组织结构及光学参数下,首先采用标准蒙特卡洛方法进行光子追踪,记录溢出组织表面的光子权重、位置及其与组织相互作用的次数。若该方法需要推广到其他散射系数,则进行溢出位置的比率缩放;若需要推广到其他吸收系数,则进行溢出权重的重新定义(参见文献Palmer G M,et al.Monte Carlo-based inverse model for calculating tissueoptical properties.Part I:Theory and validation on synthetic phantoms.[J].Applied Optics,2006,45(5):1062-71.)。该方法加速效果明显,但仅适用于均匀介质,且缩放过程无可避免会引入一定误差。显卡加速蒙特卡洛方法考虑到蒙特卡洛方法天然的并行性,将其移植到运算能力更加出色的显卡中进行大规模的并行计算,仅通过一个显卡便可达到2-3个数量级的加速效果。综上所述,考虑运算效率、模型精度的情况下,显卡加速蒙特卡洛方法更为有效(参见文献Lu B,Li J,et al.GPU-based Monte Carlo simulationfor light propagation in complex heterogeneous tissues[J].Optics Express,2010,18(7):6811.)。
在确定组织光学参数到漫反射光谱的正向模型后,需要结合迭代拟合算法进行光学参数提取,主要实现方式有两种。其一,从组织生理参数(如黑色素浓度、血液体积分数、血氧饱和度等,参见文献Liu C,et al.Experimental validation of an inversefluorescence Monte Carlo model to extract concentrations of metabolicallyrelevant fluorophores from turbid phantoms and a murine tumor model.[J].Journal of Biomedical Optics,2012,17(7):87-95.)出发,首先计算不同波长下的组织光学参数,然后采用前述正向模型计算某个特定照明-探测径向距离、不同波长下的组织漫反射光谱,并与实际测量的组织漫反射光谱比对,计算二者的方差。经过不断迭代,输出方差最小时对应的组织生理参数。最后,反演组织整个波段范围内的光学参数。其二,对于特定波长,从组织光学参数出发(参见文献Dongqing Peng,Li H.Study for noninvasivedetermination of optical properties of bio-tissue using spatially resolveddiffuse reflectance[J].Proc SPIE,2012,8553:30.),采用前述映射模型计算多个照明-探测径向距离下的组织空间分辨漫反射光,与实际测量的空间分辨组织漫反射光比对并计算方差,经过不断迭代,输出方差最小时对应的组织光学参数。然后改变设定的波长,重复前述过程,直到输出整个波段范围的组织光学参数。上述两种方式都需要进行大量的迭代操作,算法的执行速度被严重影响,且迭代过程中优化算法的性能会直接影响整个算法执行速度。
针对迭代方法的局限性,目前主要的改进方案是进一步加快组织漫反射光谱正向模型的运算速度。具体实现方式是通过多次执行的正向模型,得到组织光学参数与漫反射光谱的大规模数据集,然后采用查表法(参见朱丹等,基于反射光谱测量的皮肤生理参数与光学特性参数测量方法,申请号为:201010525672.6;)或训练人工神经网络(参见文献Chenxi Li,et al.Artificial neural network method for determining opticalproperties from double integrating spheres measurements[J].以及文献CHINESEOPTICS LETTERS,2010,8(2):173-176.Tsui S Y,et al.Modelling spatially-resolveddiffuse reflectance spectra of a multi-layered skin model by artificialneural networks trained with Monte Carlo simulations.[J].Biomedical OpticsExpress,2018,9(4):1531.)建立组织光学参数与组织漫反射光的直接映射模型。后续迭代过程中,查表法根据组织光学参数在数据集中进行插值运算,得到漫反射光强度。该方法能够极大提高正向模型的运算速度,进而加快迭代模型效率。
虽然有很多现有技术的改进研究,但目前仍然存在若干缺陷:(1)建立组织空间分辨漫反射光谱生成模型时,纳入了实际测量系统中的光纤探头结构。在进行光谱测量时,没有对光纤探头结构进行优化。所采用的光纤探头结构是否最有利于光学参数提取并不确定。(2)查表法的精度受到数据表中光学参数的步长以及查表插值算法限制。参数步长越小精度越高,但同时也会带来数据加载的负担并直接影响查表效率,此外查表插值算法性能也直接影响查表精度。(3)基于人工神经网络建立组织空间分辨漫反射光谱生成模型时,数据量的大小直接影响算法精度。显卡加速蒙特卡洛方法能够产生足够的数据供深度学习算法进行学习,保证模型的准确性。但是目前报道显示采用的人工神经网络均属于浅层神经网络(目前现有文献公开的最多是6层),其学习能力有限,无法挖掘出组织光学参数与漫反射光谱之间的非线性映射关系。而如果单纯的增加网络深度,又会造成模型参数、复杂度的爆炸增长以及求解过程中梯度消失等问题。
针对现有技术的缺陷,本发明将光纤探头结构限制放在迭代优化过程中考虑。本发明在建立组织空间分辨漫反射光谱生成模型时,纳入逸出组织表面的所有空间分辨漫反射光信息,提高正向模型的精度;对数据处理时,考虑查表法的精度缺陷以及组织漫反射光谱的序列特征,舍弃查表法和传统人工神经网络,采用循环神经网络中的长短期记忆网络对光谱数据进行处理,在充分挖掘光谱数据序列特征的同时减少模型参数;在实际光纤探头确定时,考虑不同的激发光纤与收集光纤距离对光学参数提取精度的影响,确定最佳激发光纤与收集光纤距离组合。
发明内容
本发明的目的在于设计一种基于长短期记忆网络的组织光学参数提取方法及系统,以解决现有技术在提取组织光学参数时,仅利用到部分漫反射光信息,忽略了光谱数据序列特征的相关性,而造成的组织光学参数提取不准确的问题。
本发明是通过以下技术方案解决上述技术问题的:
一种基于长短期记忆网络的组织光学参数提取方法,包括以下步骤:
S1、根据待测组织类型,确定多层皮肤组织光学模型的结构参数和光学参数;
S2、针对步骤S1中所述的多层皮肤组织光学模型,采用基于显卡加速的蒙特卡洛方法模拟不同光学参数情况下组织表面出射的空间分辨漫反射光谱,生成组织光学参数和组织空间分辨漫反射光谱组成的数据集;同时为了充分利用漫反射光谱信息,数据集不考虑光纤探头探测范围的限制,将组织表面出射的全部空间分辨漫反射光谱纳入数据集;
S3、设计基于长短期记忆网络的组织空间分辨漫反射光谱生成模型,以组织光学参数和组织空间分辨漫反射光谱数据集作为训练集,采用误差反向传播算法优化生成模型参数;
S4、根据朗伯比尔定律及米散射理论,由组织生理参数计算组织光学参数,结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数;
S5、在确定组织生理参数提取方法后,以组织生理参数提取误差作为代价函数,采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离,在优化后的照明光纤与收集光纤纤芯距离下,执行步骤S4即可得到皮肤组织生理和光学参数。
本发明克服了现有技术在提取组织光学参数时,仅能利用到部分漫反射光信息且忽略了光谱数据序列特征这一局限性,考虑到组织空间分辨漫反射光的序列特征,引入长短期记忆网络,挖掘光谱数据之间的相关性,有效提高组织光学参数与漫反射光谱映射模型的准确性,进而提高组织光学参数提取的效率和精度。
进一步地,步骤S1中所述的皮肤组织光学模型的结构参数包括:组织层数m、各层厚度d;所述的皮肤组织光学模型的光学参数包括:各层组织的吸收系数μa,散射系数μs,各项异性系数g以及折射率n。
进一步地,步骤S3中所述的长短期记忆网络为单向网络或双向网络。
进一步地,步骤S4中所述的结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数的具体实现步骤为:
(1)随机初始化组织生理参数;
(2)根据朗伯比尔定律、米散射理论,计算不同波长下组织吸收系数和散射系数;
(3)将组织吸收系数和散射系数输入组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(4)根据光纤探头结构,计算不同波长下光纤探头探测到的组织漫反射光强;
(5)计算模型生成的漫反射光谱和实测漫反射光谱之间的误差,根据误差大小修正输入的生理参数;
(6)不断重复(2)~(5)过程,直到模型生成的漫反射光谱和实测漫反射光谱重合,此时对应的生理参数即为待测组织生理参数;
(7)将提取到的组织生理参数代入朗伯比尔定律和米散射理论反演组织光学参数。
进一步地,步骤S5中所述的采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离的具体实现步骤如下:
(a)在皮肤组织典型生理参数下,采用朗伯比尔定律和米散射理论计算不同波长的组织吸收系数、散射系数;
(b)使用组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(c)随机初始化光纤探头中照明光纤与收集光纤纤芯距离,并计算组织表面出射的光谱分辨漫反射光谱;
(d)根据皮肤组织生理参数提取方法,以光谱分辨漫反射光谱作为输入,反演组织生理参数,计算该参数与皮肤组织典型生理参数之间的误差;根据误差大小修正照明光纤与收集光纤纤芯距离;
(e)不断重复(d),直到模型提取的生理参数与皮肤组织典型生理参数差异最小,此时对应的照明光纤与收集光纤纤芯距离即为最佳距离。
一种基于长短期记忆网络的组织光学参数提取系统,包括:模型参数确定模块、数据集生成模块、模型优化模块、组织光学参数反演模块、组织光学参数优化模块;
所述的模型参数确定模块用于根据待测组织类型,确定多层皮肤组织光学模型的结构参数和光学参数;
所述的数据集生成模块针对模型参数确定模块中所述的多层皮肤组织光学模型,采用基于显卡加速的蒙特卡洛方法模拟不同光学参数情况下组织表面出射的空间分辨漫反射光谱,生成组织光学参数和组织空间分辨漫反射光谱组成的数据集;同时为了充分利用漫反射光谱信息,数据集不考虑光纤探头探测范围的限制,将组织表面出射的全部空间分辨漫反射光谱纳入数据集;
所述的模型优化模块用于设计基于长短期记忆网络的组织空间分辨漫反射光谱生成模型,以组织光学参数和组织空间分辨漫反射光谱数据集作为训练集,采用误差反向传播算法优化生成模型参数;
所述的组织光学参数反演模块用于根据朗伯比尔定律及米散射理论,由组织生理参数计算组织光学参数,结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数;
组织光学参数优化模块用于在确定组织生理参数提取方法后,以组织生理参数提取误差作为代价函数,采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离,在优化后的照明光纤与收集光纤纤芯距离下,返回组织光学参数反演模块即可得到皮肤组织生理和光学参数。
进一步地,模型参数确定模块中所述的皮肤组织光学模型的结构参数包括:组织层数m、各层厚度d;所述的皮肤组织光学模型的光学参数包括:各层组织的吸收系数μa,散射系数μs,各项异性系数g以及折射率n。
进一步地,模型优化模块中所述的长短期记忆网络为单向网络或双向网络。
进一步地,组织光学参数反演模块中所述的结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数的具体实现步骤为:
(1)随机初始化组织生理参数;
(2)根据朗伯比尔定律、米散射理论,计算不同波长下组织吸收系数和散射系数;
(3)将组织吸收系数和散射系数输入组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(4)根据光纤探头结构,计算不同波长下光纤探头探测到的组织漫反射光强;
(5)计算模型生成的漫反射光谱和实测漫反射光谱之间的误差,根据误差大小修正输入的生理参数;
(6)不断重复(2)~(5)过程,直到模型生成的漫反射光谱和实测漫反射光谱重合,此时对应的生理参数即为待测组织生理参数;
(7)将提取到的组织生理参数代入朗伯比尔定律和米散射理论反演组织光学参数。
进一步地,组织光学参数优化模块中所述的采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离的具体实现步骤如下:
(a)在皮肤组织典型生理参数下,采用朗伯比尔定律和米散射理论计算不同波长的组织吸收系数、散射系数;
(b)使用组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(c)随机初始化光纤探头中照明光纤与收集光纤纤芯距离,并计算组织表面出射的光谱分辨漫反射光谱;
(d)根据皮肤组织生理参数提取方法,以光谱分辨漫反射光谱作为输入,反演组织生理参数,计算该参数与皮肤组织典型生理参数之间的误差;根据误差大小修正照明光纤与收集光纤纤芯距离;
(e)不断重复(d),直到模型提取的生理参数与皮肤组织典型生理参数差异最小,此时对应的照明光纤与收集光纤纤芯距离即为最佳距离。
本发明的优点在于:
本发明利用光谱数据与语音、文本等信号相似的特点,将语音、文本识别领域最为有效的长短期记忆网络引入到组织空间分辨漫反射光谱生成模型,充分挖掘光谱数据点中的相关性,在减小模型参数的同时增加模型预测能力;在训练组织空间分辨漫反射光谱生成模型时,本发明不考虑光纤探头结构,将组织表面出射的全部空间分辨漫反射光谱纳入预数据集,数据维数更大,经过训练后模型精度更高;本发明克服了现有技术在提取组织光学参数时,仅能利用到部分漫反射光信息且忽略了光谱数据序列特征的局限性,考虑到组织空间分辨漫反射光的序列特征,引入长短期记忆网络,挖掘光谱数据之间的相关性,有效提高组织光学参数与漫反射光谱映射模型的准确性,进而提高组织光学参数提取的效率和精度。
附图说明
图1为本发明所提出的组织生理和光学参数提取方法结构框图;
图2为本发明中不同吸收系数、散射系数情况下,从组织表面出射的空间分辨漫反射率光;其中,(a)~(f)中入射与出射距离分别为0mm,0.2mm,0.4mm,1.6mm,1.8mm和2mm;此外,图中μa,epi为第一层组织吸收系数;μa,derm为第二层组织吸收系数;μs为组织散射系数;
图3为本发明提出的基于长短期记忆网络的组织空间分辨漫反射光谱生成模型,其中tanh表示双曲函数,δ表示指示函数,μa,epi为第一层组织吸收系数,μa,derm为第二层组织吸收系数,μs为组织散射系数,r<i>为模型生成的第i个漫反射光强;
图4为本发明的组织空间分辨漫反射光谱生成模型训练过程中,训练误差、验证误差以及测试误差随迭代次数的变化情况;
图5为本发明的组织漫反射光谱测量探头结构示意图;
图6为本发明的不同入射与出射距离情况下,组织空间分辨漫反射光谱与光纤探头收集效率;
图7为本发明的不同照明光纤与收集光纤径向距离情况下,生成模型生成的组织漫反射光谱;
图8为本发明的组织生理和光学参数提取模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述:
实施例一
如图1所示,本发明涉及的基于长短期网络的组织生理和光学参数提取方法主要分为以下步骤:
1、抽象皮肤组织光学模型,简化皮肤组织为双层结构,其中上层吸收来源于黑色素,下层吸收来源于血红蛋白,即吸收系数互相独立;上下层散射粒子大小和浓度均匀,散射系数相同;
假设皮肤组织是由表皮层和真皮层组成的双层结构介质,其中表皮层吸收系数由黑色素决定,范围为2~100cm-1;真皮层吸收系数由血红蛋白决定,范围为2~50cm-1;表皮层与真皮层散射系数相同,范围为2~100cm-1;表皮层与真皮层的折射率n均为1.4,各项异性系数g均为0.9,进一步假设表皮层厚度为0.07cm,真皮层为光学无限厚。
2、采用显卡加速蒙特卡洛方法生成组织光学参数-空间分辨漫反射光谱数据集,该过程无需考虑收集光纤的具体结构,同时处理从组织表面出射的所有空间漫反射光谱信息
模拟时设置追踪光子数为106,纵向和径向分辨率为0.02mm,纵向、径向以及角度栅格数均为100。组织周围介质折射率为1.0,入射光经光纤照射到组织,光纤芯径为400um,纤芯折射率为1.52。
模拟过程中设置组织折射率、各项异性系数、厚度为定值,组织吸收系数、散射系数步长为2cm-1,总计模拟次数为50×50×25。径向空间分辨率设置为0.02cm,径向空间采样点为100,超过2cm之外的光子溢出距离统一记为2cm。模拟结束后,记录溢出组织表面的空间分辨漫反射光,并运用卷积运算对入射光分布进行处理(高斯分布,光斑直径为0.4mm)得到最终的漫反射光谱。由此,可得到光学参数到空间分辨组织漫反射光谱数据库其输入有3维(真皮层吸收系数、表皮层吸收系数、组织散射系数),输出有100维,分别对应不同径向距离处从组织表面出射的漫反射光。
模拟时,将上述参数带入显卡加速蒙特卡洛方法进行光子追踪。模拟结束后,记录从组织表面出射的空间分辨漫反射光谱,然后根据入射光情况(高斯分布,光斑直径为400um)进行卷积运算,得到记录的空间分辨漫反射光谱。随后不断更新组织吸收、散射系数(步长为均为2cm-1),并重新进行模拟,建立组织光学参数与空间分辨漫反射光谱数据集如图2所示。每个组织上层吸收系数、下层吸收系数以及散射系数的组合,经模拟后得到一个空间分辨漫反射光谱。光学参数组合的数量为50×50×25,共计62500。综上所述,所建立的组织光学参数-空间分辨漫反射光谱数据集中输入特征是大小为62500×3的光学参数矩阵,输出是为大小为62500×100的漫反射率矩阵。图2中的(a)~(f)中入射与出射距离分别为0mm,0.2mm,0.4mm,1.6mm,1.8mm和2mm。此外,图中μa,epi为第一层组织吸收系数;μa,derm为第二层组织吸收系数;μs为组织散射系数。
3、以组织光学参数为输入,以组织空间分辨漫反射光谱为输出设计长短期记忆网络,深度挖掘光谱数据中的序列特征,在不增加模型复杂度的情况下,提高模型对光谱数据的预测能力
生成组织光学参数与组织空间分辨漫反射光谱数据集后,需要据此学习光学参数与空间分辨漫反射光谱的映射关系。在建立迭代算法中的正向模型时,模型输入为组织光学参数,输出为溢出组织表面的空间分辨组织漫反射光谱。本发明考虑到漫反射光谱天然的序列特征,采用长短期记忆网络模拟组织光学参数与空间分辨漫反射光谱的映射关系,深度挖掘光谱数据之间隐藏的相关性。
考虑到空间分辨漫反射光谱的序列特征,所设计的长短期记忆网络可以是单向网络,也可以是双向网络。单向网络中组织表面任意空间位置出射的漫反射光强,仅与照明光源入射点和漫反射光出射点之间的漫反射光有关;双向网络中组织表面任意空间位置出射的漫反射光强,与组织表面出射的所有漫反射光有关。
图3所示为基于长短期记忆网络的组织空间分辨漫反射光谱生成模型的结构框图,其中,μa,epi、μa,derm、μs分别为组织表皮层吸收系数、真皮层吸收系数以及组织散射散射系数,r<1>~r<n>为不同照明-收集径向距离处溢出组织表面的空间分辨漫反射光强,n为生成序列的长度,即蒙特卡洛模拟中的径向栅格数。a表示网络隐藏状态,其中a<0>为初始隐藏状态,模型建立过程中设置为零向量。另外,由于网络隐含层数量和尺寸决定了模型的学习能力和模型复杂度。隐含层数量越多、隐含层尺寸越大,代表模型越复杂,模型学习能力越强。但是,模型复杂度升高会导致训练难度升高,并增加过拟合风险。结合组织漫反射光谱相邻数据点之间的强相关性以及计算机计算性能特点,本发明中涉及的长短期网络具有2层隐含层,隐含层尺寸为2n(n为≥3的整数)。
长短期记忆网络模型确定后,需要代入训练数据进行模型参数优化。本发明从组织光学参数与空间分辨漫反射光谱数据集中,随机抽取80%作为训练集,10%作为验证集,10%作为测试集。最终训练集样本数量为50000,测试集样本数量为6250,测试集样本数量为6250。训练时采用批梯度下降进行参数优化,批量大小为32,梯度下降算法采用动量梯度下降。优化前对输入参数进行归一化,使其方差为1。参数每次更新后,使用当前模型分别对训练集、验证集、测试集进行验证,记录各数据集中空间分辨漫反射光谱的平均误差。图4显示了训练误差、验证误差及测试误差具体变化情况,即随着迭代次数的增加,训练误差、验证误差及测试误差均逐渐减小;且在1万次迭代后训练误差、验证误差及测试误差基本相同且保持不变,说明此时长短期记忆网络模型的训练结果收敛接近最优,这使得模型的预测值与实际的结果之间的误差最小。因此,该模型在预测验证集数据时可以达到一个较高的精度。
正向模型直接使用上述已预先训练好的组织光学参数到空间分辨组织漫反射光谱数据集。随机抽取80%作为训练集,10%作为验证集,10%作为测试集。模型输入为真皮层吸收系数、表皮层吸收系数、组织散射系数组成的3维特征向量,输出为由不同径向距离处由组织表面出射的漫反射光谱组成的100维序列数据。长短期记忆模型包含的隐含层数量为2,隐含层尺寸为2n(n为整数),隐含层中各单元的输入包括样本特征和一个隐含状态,输出包括组织漫反射光强度和一个隐含状态,上一层的输出隐含状态与下一层的输入隐含状态依次相连,组成循环网络结构。在训练集上进行模型训练,训练过程中采用随机梯度下降算法进行参数优化,模型迭代收敛后最终得到组织空间分辨漫反射光谱生成模型。
4、结合光纤探头结构以及组织漫反射光谱生成模型,通过迭代算法提取组织生理和光学参数
图5所示为组织生理和光学参数提取模型流程:首先,随机初始化组织生理参数,并根据朗伯比尔定律和米散射理论,计算不同波长下的组织吸收系数和散射系数;然后,采用生成模型模拟不同波长的组织空间分辨漫反射光谱,并结合光纤探头结构计算被探头收集到的不同波长处的组织漫反射光强;最后,与实测组织漫反射光谱进行对比,计算二者之间的误差,并对生理参数进行更新优化,输出误差最小时对应的生理参数。得到生理参数后,结合朗伯比尔定律和米散射理论计算组织吸收系数和散射系数。
5、以组织光学参数提取误差作为代价函数,优化光纤探头照明光纤与收集光纤的纤芯距离
图6所示为本发明采用的光纤探头结构,照明光纤和收集光纤芯径均为400um,激发光纤与收集光纤纤芯之间保持一定距离。
图7显示了不同光学参数情况下的组织空间分辨漫反射光谱以及不同照明光纤和收集光纤的纤芯距离下的光纤探头收集效率。从图中可以看出随着径向距离的增大,空间分辨漫反射光强度会逐渐降低,而且当径向距离为2000um时,漫反射光强几乎为0;此外,照明光纤和收集光纤的纤芯距离不同时,光纤探头收集效率存在明显差异。
图8显示在给定光学参数情况下,不同照明光纤与收集光纤的纤芯距离会导致不同波长处的漫反射光出现明显差异,表明光纤探头结构对组织漫反射光谱有明显影响。为此,本发明确定光纤探头结构优化方法。首先,在皮肤组织典型生理参数下,采用朗伯比尔定律和米散射理论计算不同波长的组织吸收系数、散射系数;其次,使用组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;然后,随机初始化光纤探头中照明光纤与收集光纤的纤芯距离,计算组织表面出射的波长分辨漫反射光谱;并根据皮肤组织生理参数提取方法,以波长分辨漫反射光谱作为输入,反演组织生理参数,计算该参数与皮肤组织典型生理参数之间的误差。最终,通过迭代拟合得到照明光纤与收集光纤的纤芯距离即为最佳距离。
参数提取模型:根据朗伯比尔定律和米散射理论,计算不同波长下的组织吸收系数和散射系数,并模拟不同波长的组织空间分辨漫反射光谱,并结合光纤探头结构计算被探头收集到的不同波长处的组织漫反射光强;通过迭代拟合算法提取组织生理参数,并反演组织吸收系数和散射系数。光纤探头优化方法:在不同的激发光纤与收集光纤距离下,通过不断调用组织空间分辨漫反射光谱生成模型,输出模型生成的漫反射光谱和实测漫反射光谱之间的差异最小时对应的生理参数,并计算该参数与实际参数之间的差异。以差异最小作为评价指标输出最佳光纤探头结构。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于长短期记忆网络的组织光学参数提取方法,其特征在于,包括以下步骤:
S1、根据待测组织类型,确定多层皮肤组织光学模型的结构参数和光学参数;
S2、针对步骤S1中所述的多层皮肤组织光学模型,采用基于显卡加速的蒙特卡洛方法模拟不同光学参数情况下组织表面出射的空间分辨漫反射光谱,生成组织光学参数和组织空间分辨漫反射光谱组成的数据集;同时为了充分利用漫反射光谱信息,数据集不考虑光纤探头探测范围的限制,将组织表面出射的全部空间分辨漫反射光谱纳入数据集;
S3、设计基于长短期记忆网络的组织空间分辨漫反射光谱生成模型,以组织光学参数和组织空间分辨漫反射光谱数据集作为训练集,采用误差反向传播算法优化生成模型参数;
S4、根据朗伯比尔定律及米散射理论,由组织生理参数计算组织光学参数,结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数;
S5、在确定组织生理参数提取方法后,以组织生理参数提取误差作为代价函数,采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离,在优化后的照明光纤与收集光纤纤芯距离下,执行步骤S4即可得到皮肤组织生理和光学参数。
2.根据权利要求1所述的一种基于长短期记忆网络的组织光学参数提取方法,其特征在于,步骤S1中所述的皮肤组织光学模型的结构参数包括:组织层数m、各层厚度d;所述的皮肤组织光学模型的光学参数包括:各层组织的吸收系数μa,散射系数μs,各项异性系数g以及折射率n。
3.根据权利要求2所述的一种基于长短期记忆网络的组织光学参数提取方法,其特征在于,步骤S3中所述的长短期记忆网络为单向网络或双向网络。
4.根据权利要求3所述的一种基于长短期记忆网络的组织光学参数提取方法,其特征在于,步骤S4中所述的结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数的具体实现步骤为:
(1)随机初始化组织生理参数;
(2)根据朗伯比尔定律、米散射理论,计算不同波长下组织吸收系数和散射系数;
(3)将组织吸收系数和散射系数输入组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(4)根据光纤探头结构,计算不同波长下光纤探头探测到的组织漫反射光强;
(5)计算模型生成的漫反射光谱和实测漫反射光谱之间的误差,根据误差大小修正输入的生理参数;
(6)不断重复(2)~(5)过程,直到模型生成的漫反射光谱和实测漫反射光谱重合,此时对应的生理参数即为待测组织生理参数;
(7)将提取到的组织生理参数代入朗伯比尔定律和米散射理论反演组织光学参数。
5.根据权利要求4所述的一种基于长短期记忆网络的组织光学参数提取方法,其特征在于,步骤S5中所述的采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离的具体实现步骤如下:
(a)在皮肤组织典型生理参数下,采用朗伯比尔定律和米散射理论计算不同波长的组织吸收系数、散射系数;
(b)使用组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(c)随机初始化光纤探头中照明光纤与收集光纤纤芯距离,并计算组织表面出射的光谱分辨漫反射光谱;
(d)根据皮肤组织生理参数提取方法,以光谱分辨漫反射光谱作为输入,反演组织生理参数,计算该参数与皮肤组织典型生理参数之间的误差;根据误差大小修正照明光纤与收集光纤纤芯距离;
(e)不断重复(d),直到模型提取的生理参数与皮肤组织典型生理参数差异最小,此时对应的照明光纤与收集光纤纤芯距离即为最佳距离。
6.一种基于长短期记忆网络的组织光学参数提取系统,其特征在于,包括:模型参数确定模块、数据集生成模块、模型优化模块、组织光学参数反演模块、组织光学参数优化模块;
所述的模型参数确定模块用于根据待测组织类型,确定多层皮肤组织光学模型的结构参数和光学参数;
所述的数据集生成模块针对模型参数确定模块中所述的多层皮肤组织光学模型,采用基于显卡加速的蒙特卡洛方法模拟不同光学参数情况下组织表面出射的空间分辨漫反射光谱,生成组织光学参数和组织空间分辨漫反射光谱组成的数据集;同时为了充分利用漫反射光谱信息,数据集不考虑光纤探头探测范围的限制,将组织表面出射的全部空间分辨漫反射光谱纳入数据集;
所述的模型优化模块用于设计基于长短期记忆网络的组织空间分辨漫反射光谱生成模型,以组织光学参数和组织空间分辨漫反射光谱数据集作为训练集,采用误差反向传播算法优化生成模型参数;
所述的组织光学参数反演模块用于根据朗伯比尔定律及米散射理论,由组织生理参数计算组织光学参数,结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数;
组织光学参数优化模块用于在确定组织生理参数提取方法后,以组织生理参数提取误差作为代价函数,采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离,在优化后的照明光纤与收集光纤纤芯距离下,返回组织光学参数反演模块即可得到皮肤组织生理和光学参数。
7.根据权利要求6所述的一种基于长短期记忆网络的组织光学参数提取系统,其特征在于,模型参数确定模块中所述的皮肤组织光学模型的结构参数包括:组织层数m、各层厚度d;所述的皮肤组织光学模型的光学参数包括:各层组织的吸收系数μa,散射系数μs,各项异性系数g以及折射率n。
8.根据权利要求7所述的一种基于长短期记忆网络的组织光学参数提取系统,其特征在于,模型优化模块中所述的长短期记忆网络为单向网络或双向网络。
9.根据权利要求8所述的一种基于长短期记忆网络的组织光学参数提取系统,其特征在于,组织光学参数反演模块中所述的结合光纤探头中照明光纤与收集光纤纤芯距离与组织空间分辨漫反射光谱生成模型,采用最小二乘拟合提取组织生理参数,并反演组织光学参数的具体实现步骤为:
(1)随机初始化组织生理参数;
(2)根据朗伯比尔定律、米散射理论,计算不同波长下组织吸收系数和散射系数;
(3)将组织吸收系数和散射系数输入组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(4)根据光纤探头结构,计算不同波长下光纤探头探测到的组织漫反射光强;
(5)计算模型生成的漫反射光谱和实测漫反射光谱之间的误差,根据误差大小修正输入的生理参数;
(6)不断重复(2)~(5)过程,直到模型生成的漫反射光谱和实测漫反射光谱重合,此时对应的生理参数即为待测组织生理参数;
(7)将提取到的组织生理参数代入朗伯比尔定律和米散射理论反演组织光学参数。
10.根据权利要求9所述的一种基于长短期记忆网络的组织光学参数提取系统,其特征在于,组织光学参数优化模块中所述的采用迭代拟合方法优化光纤探头中照明光纤与收集光纤纤芯距离的具体实现步骤如下:
(a)在皮肤组织典型生理参数下,采用朗伯比尔定律和米散射理论计算不同波长的组织吸收系数、散射系数;
(b)使用组织空间分辨漫反射光谱生成模型,计算不同波长下组织表面出射的空间分辨漫反射光谱;
(c)随机初始化光纤探头中照明光纤与收集光纤纤芯距离,并计算组织表面出射的光谱分辨漫反射光谱;
(d)根据皮肤组织生理参数提取方法,以光谱分辨漫反射光谱作为输入,反演组织生理参数,计算该参数与皮肤组织典型生理参数之间的误差;根据误差大小修正照明光纤与收集光纤纤芯距离;
(e)不断重复(d),直到模型提取的生理参数与皮肤组织典型生理参数差异最小,此时对应的照明光纤与收集光纤纤芯距离即为最佳距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210391067.7A CN114997208A (zh) | 2022-04-14 | 2022-04-14 | 一种基于长短期记忆网络的组织光学参数提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210391067.7A CN114997208A (zh) | 2022-04-14 | 2022-04-14 | 一种基于长短期记忆网络的组织光学参数提取方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114997208A true CN114997208A (zh) | 2022-09-02 |
Family
ID=83024167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210391067.7A Pending CN114997208A (zh) | 2022-04-14 | 2022-04-14 | 一种基于长短期记忆网络的组织光学参数提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114997208A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561590A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
-
2022
- 2022-04-14 CN CN202210391067.7A patent/CN114997208A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561590A (zh) * | 2023-07-10 | 2023-08-08 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
CN116561590B (zh) * | 2023-07-10 | 2023-10-03 | 之江实验室 | 基于深度学习的微纳光纤负载大小和位置预测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bench et al. | Toward accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in three dimensions | |
Nilsson et al. | T-matrix computations of light scattering by red blood cells | |
Patterson et al. | Time resolved reflectance and transmittance for the noninvasive measurement of tissue optical properties | |
Bonner et al. | Model for photon migration in turbid biological media | |
Arridge | Methods in diffuse optical imaging | |
CN101526465A (zh) | 快速多波长组织光学参数测量装置及反构方法 | |
Chen et al. | Hyperspectral modeling of skin appearance | |
CN100576224C (zh) | 光在生物组织中传输特性的定量蒙特卡罗模拟方法 | |
WO2017167031A1 (zh) | 一种利用数学模型计算人皮肤光吸收相关的19个生物学参数的方法 | |
Watté et al. | Metamodeling approach for efficient estimation of optical properties of turbid media from spatially resolved diffuse reflectance measurements | |
CN114997208A (zh) | 一种基于长短期记忆网络的组织光学参数提取方法及系统 | |
Nguyen et al. | Machine learning to extract physiological parameters from multispectral diffuse reflectance spectroscopy | |
Wojtkiewicz et al. | Parallel, multi-purpose Monte Carlo code for simulation of light propagation in segmented tissues | |
Seo et al. | Radiative transport in the delta‐approximation for semi‐infinite turbid media | |
WO2017193699A1 (zh) | 一种利用数学模型计算人皮肤胶原蛋白相关3个参数的方法 | |
Macdonald et al. | Efficient inversion strategies for estimating optical properties with Monte Carlo radiative transport models | |
Chong et al. | Physics-guided neural network for tissue optical properties estimation | |
CN111795955A (zh) | 基于多层感知神经网络的荧光药代动力学层析成像的方法 | |
Dumont et al. | Development of mobile phone based transcutaneous billirubinometry | |
Lu et al. | Parallelized Monte Carlo photon transport simulations for arbitrary multi-angle wide-field illumination in optoacoustic imaging | |
Li et al. | Quantitative Analysis of Skin using Diffuse Reflectance for Non-invasive Pigments Detection. | |
Wang et al. | A sequential method for measuring the optical properties of two-layer media with spatially-resolved diffuse reflectance: Simulation study | |
Colas et al. | Photometric and Monte-Carlo modeling unified approach for the calculation of spatially-resolved correction coefficients linking simulated and experimental diffuse reflectance spectra | |
Tsumura et al. | Regression-based model of skin diffuse reflectance for skin color analysis | |
Lu et al. | Photoelectric Design Competition Test Questions Analysis and Students Comprehensive Ability Cultivation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |