CN111103275A - Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 - Google Patents

Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 Download PDF

Info

Publication number
CN111103275A
CN111103275A CN201911344488.9A CN201911344488A CN111103275A CN 111103275 A CN111103275 A CN 111103275A CN 201911344488 A CN201911344488 A CN 201911344488A CN 111103275 A CN111103275 A CN 111103275A
Authority
CN
China
Prior art keywords
prior information
reconstruction
fmt
pat
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911344488.9A
Other languages
English (en)
Other versions
CN111103275B (zh
Inventor
王欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911344488.9A priority Critical patent/CN111103275B/zh
Publication of CN111103275A publication Critical patent/CN111103275A/zh
Application granted granted Critical
Publication of CN111103275B publication Critical patent/CN111103275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,其特征在于,定量PAT为动态FMT重建提供双先验信息包括背景光学参数先验信息和荧光分布先验信息,静态FMT重建采用基于CNN框架的非模型驱动重建方法,而动态数据分析方法则采用基于分室动力学模型的自适应EKF算法。本方法优点:(1)基于CNN的FMT重建方法:采用数据驱动重建,对模型的精确度要求下降;属于非迭代算法,去除传统重建算法病态性对重建结果的影响;重建速度快,更适合于动态成像。(2)采用高空间分辨率定量PAT所提供的双先验信息改善动态FMT成像质量,包括背景光学参数先验信息和荧光分布位置先验信息。

Description

PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法
技术领域
本发明涉及动态荧光分子层析成像领域,尤其针对动态光学成像所用荧光探针或荧光试剂 的动力学参数成像方法,具体涉及光声层析成像先验信息辅助的基于卷积神经网络和自适应扩 展卡尔曼滤波的动态荧光分子成像重建方法。
背景技术
传统的静态在体(in vivo)荧光分子层析成像(fluorescence Moleculartomography,FMT) 方式遵循“注射-等待-成像”的步骤,即将特定的荧光剂或荧光探针注射到检测目标后,在等 待一段时间后,当荧光剂到达目标区域且并未被检测目标代谢完毕,再对荧光剂或荧光探针在 检测目标的残留部分进行成像[1]。近年来有相关研究表明,对某一个固定时间点的静态成像或 者局部细胞活检并不能很好的表明目标体的全部特征[2,3]。另外,对于静态成像的测量时间也 很难把握,即很有可能未捕捉到最大对比度处,甚至是荧光剂未到达目标区域或者已经代谢完 毕。为此,结合先进动态分析技术的在体动态FMT方法通过检测更为复杂的荧光试剂或荧光探 针的代谢曲线和检测目标蛋白质浓度或血管化程度,来实现更佳的目标体鉴定和描述,并指导 个体化疾病的诊断和治疗[4]
动态FMT算法的关键问题包括静态FMT重建方法和动态FMT分析理论两个方面。其中,传 统静态FMT的有限元法图像重建过程为了获得较好的图像质量,通常采用高密度网格剖分,并 对每个剖分节点上的参数进行求解。然而,高密度网格引入了大量的未知参数,其规模远远大 于实验所得的测量数据量,造成传统FMT重建问题的欠定性和病态特性,影响了重建图像的分 辨率和量化度[5]。尽管研究者发展了多种方法来改善这一状况,但受限于其逆向问题的求解方 法,传统FMT重建图像的质量仍有待提高,这势必影响最终动态FMT的成像结果。因此,发展 一种区别于传统FMT重建的新型重建方法对于动态FMT成像具有重要意义。近年来,深度学习 理论迅猛发展,在计算机方面的多个领域都有突出的表现[6]。受到这些领域卓越成果的鼓舞, 许多研究者也将深度学习理论应用到生物医学图像重建中,例如低剂量CT成像等[7]。相关研 究也证实了深度学习理论可以解决非线性逆向问题的病态性缺点,实现逆向问题的快速直接求 解,例如采用卷积神经网络(convolutionalneural network,CNN)框架来准确地描述并求 解逆向非线性问题[8]
在诸多动态FMT分析方法中,基于分室动力学模型的自适应扩展卡尔曼滤波(extended Kalman filtering,EKF)方法具有诸多优点包括[9]:1)同时获得药代动力学参数和荧光剂浓 度时间演变图像,实现静态FMT无法比拟的测量稳健性和客观性;2)具有实时监控不同间室中 荧光剂药代动力学参数的潜力,是曲线拟合等后处理方法无法实现的;3)由偏微分方程组描述 的多间室模型和多系统测量模型,体现了测量噪声与模型不确定性,能够提供相比于指数模型 更好的拟合度。因此,基于EKF的动态FMT分析方法是一种可以实时监控荧光剂在体代谢过程 的优良研究方法。
另外,采用其他成像方法给予先验信息的辅助也非常有利于提高动态FMT的成像质量。其 中,光声层析成像技术(photoacoustic tomography,PAT)能够对不同尺寸的生物组织进行 多尺度、高空间分辨率和高对比度成像[10]。值得注意的是,相关研究小组对PAT与FMT的成 像性能进行过系统的对比实验,表明FMT具有较高灵敏度和探测深度而PAT的空间分辨率非常 高[11]
[1]张伟,面向乳腺肿瘤诊断的时域扩散荧光-光学混合层析成像方法研究:[博士学位 论文],天津;天津大学,2013.
[2]Tichauer K.M.,Wang Y.,Pogue B.W.,et al.Quantitative in vivo cell-surface receptor imaging in oncology:kinetic modeling and paired-agentprinciples from nuclear medicine and optical imaging,Physics in Medicine&Biology,2015, 60(14):239-69.
[3]Fidler I.J.,Tumor Heterogeneity and the Biology of Cancer Invasionand Metastasis,Journal of the American Geriatrics Society,1978,38(9):2651-60.
[4]Marco G.,Rowan A.J.,Stuart H.,et al,Intratumor heterogeneity andbranched evolution revealed by multiregion sequencing,New England Journal ofMedicine,2012, 366(10):883-92.
[5]Leblond F,Tichauer K M,Holt R W,El-Ghussein F,Pogue B W,“Towardwhole-body optical imaging of rats using single-photon counting fluorescencetomography,”Optics Letters,2011,36(19):3723.
[6]Kang E,Min J and Ye J C,“A deep convolutional neural network usingdirectional wavelets for low-dose X-ray CT reconstruction,”Medical Physics,2016, 44(10).
[7]Jin K H,Mccann M T,Froustey E and Unser M,“Deep ConvolutionalNeural Network for Inverse Problems in Imaging,”IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2016,26(9):4509-4522.
[8]Mccann M T,Jin K H and Unser M,“A Review of Convolutional NeuralNetworks for Inverse Problems in Imaging,”IEEE Signal Processing Magazine,2017,34(6).
[9]Alacam B,Yazici B,Intes X and Chance B,“Extended Kalman Filteringfor the Modeling and Analysis of ICG Pharmacokinetics in Cancerous TumorsUsing NIR Optical Methods,”IEEE Transactions on Biomedical Engineering,2006,53(10):1861-71.
[10]Wang L V and Yao J,“A Practical Guide to Photoacoustic Tomographyin the Life Sciences,”Nature Methods,2016,13(8):627-638.
[11]Deliolanis N C,Ale A,Morscher S,Burton N C,Schaefer K,Radrich K,Razansky D,Ntziachristos V,“Deep-Tissue Reporter-Gene Imaging withFluorescence and Optoacoustic Tomography:A Performance Overview,”MolecularImaging&Biology Mib the Official Publication of the Academy of MolecularImaging,2014,16(5):652-660.
发明内容
本发明旨在克服现有方法的不足,解决动态FMT重建图像质量有待提高的问题,采用基于 CNN的FMT重建方法提高静态FMT重建图像质量,采用基于分室动力学模型的自适应EKF动态 分析方法实现高质量动态FMT分析,并且利用高空间分辨率的定量PAT为整个重建分析过程提 供双先验信息进一步提高重建图像质量。定量PAT所提供的双先验信息包括背景光学参数先验 信息和荧光分布位置先验信息,背景光学参数先验信息可以改善传统FMT重建因假设背景光学 结构均匀而导致检测目标内光子输运过程建模不准确的问题,而荧光位置分布先验信息也在自 适应EKF动态分析中改善荧光动力学参数重建图像的质量。
为了解决上述技术问题,获得待测目标体的光声信号,包括:荧光试剂注射前的初始光声 信号和荧光试剂注射后的检测光声信号,获得动态FMT信号,包括激发光信号序列与荧光信号 序列;本发明技术方案为:一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方 法,该方法包括:
步骤1:获取待测目标体的初始光声信号,经定量PAT重建获得待测目标体的背景先验信 息;
步骤2:采用双波长光声测量,获取待测目标体的检测光声信号,进行定量PAT计算出待 测目标体的血红蛋白浓度、脱氧血红蛋白浓度、血氧饱和度;
步骤3:将检测光声信号与初始光声信号相减获得光声信号差值,定量PAT重建得到由于 荧光剂聚集所产生的吸收系数改变,即可作为荧光剂分布先验信息;
步骤4:根据随机荧光产率分布数据库结合步骤1获得的背景先验信息模拟出边界光流量 数据库;
步骤5:采用步骤4得到的边界光流量数据库对建立好的卷积神经网络进行训练;
步骤6:获取待测目标体的激发光信号序列与荧光信号序列,将激发光信号序列与荧光信 号序列作为卷积神经网络的输入,识别出荧光产率图像序列;
步骤7;基于自适应EKF方法,根据步骤3得到的荧光剂分布先验信息结合荧光产率图像 序列计算出药代动力学参数,包括:间室荧光剂浓度变化曲线、渗透率。
进一步的,所述步骤4的具体方法为:
步骤4.1:采用定量PAT所获得的背景先验信息作为FMT重建正向计算中的背景光学参数, 建立光子输运模型;
步骤4.2:建立与待测目标体几何外形相同的模拟模型,随机生成异质体个数、尺寸、位 置和对比度;
步骤4.3:基于耦合扩散方程计算出激发光和荧光在混浊介质中的输运过程;
步骤4.4:基于有限元方法,通过FMT正向计算模拟随机荧光分布条件下的边界出射光流 量;
进一步的,所述步骤5中的卷积神经网络为输入为光信号序列输出为荧光参数分布的全连 接卷积神经网络,该卷积神经网络采用如下编码-解码卷积对直接重建荧光产率图像分布:
Figure BDA0002332971950000041
其中,C为系数矩阵
Figure BDA0002332971950000042
为光学参数三维分布,
Figure BDA0002332971950000043
为逆向算子,g为边界测量光流量矩 阵,
Figure BDA0002332971950000044
为降噪之后的系数矩阵,
Figure BDA0002332971950000045
是与Hankel矩阵奇异值分解相关的一对函数,
Figure BDA0002332971950000046
是ψi的颠倒矩阵,其行列标号相反,
Figure BDA0002332971950000047
为 解卷积滤波器。
本发明为了解决传统FMT重建由逆向问题的病态性和欠定性所导致的图像分辨率和量化 度较低的问题,采用基于CNN算法进行FMT图像重建。
首先,基于有限元方法模拟随机荧光分布条件下的边界出射光强。本发明基于耦合扩散方 程来对激发光和荧光在混浊介质中的输运过程近似地描述,并采用定量PAT所获得的光学参数 作为FMT重建正向计算中的背景光学参数,可以建立更精确的光子输运模型,相比于均匀光学 背景假设重建可以有效提高重建的精度。基于正向方程,采用与实验模型相同几何外形尺寸的 模拟模型,异质体的个数和形状根据所研究的疾病模型确定。背景与异质体光学参数遵循生理 相关的合理范围,异质体荧光产率的对比度也需根据具体研究情况而定。另外,光源-探测器 设置与所采用的FMT/PAT联合测量系统的设置相同。数据产生过程异质体个数、尺寸、位置、 对比度随机生成,通过上述基于FEM的FMT正向计算方法得到模拟边界光
随着深度学习理论在图像识别等领域的发展,研究者们也积极的研究其在生物医学成像的 应用,以期改善目前医学成像方法的成像质量。FMT重建过程属于非线性问题,传统迭代重建 算法受非线性和病态性的影响而导致成像精度较差。相关研究表明,非线性光学成像的逆向问 题可以通过CNN实现直接重建,有效克服重建过程的病态特性。与传统基于模型的重建算法不 同,基于CNN的FMT重建方法具有如下优点:1)采用数据驱动重建,对模型的精确度要求下 降;2)采用非迭代算法,去除传统重建算法病态性对重建结果的影响;3)重建速度快,更适 合于动态成像。基于如上所述原因,
与现有技术相比,本发明的有益效果是:
1.本方法与传统基于模型的重建算法不同,基于CNN的FMT重建方法具有如下优点:1) 采用数据驱动重建,对模型的精确度要求下降;2)采用非迭代算法,去除传统重建算法病态 性对重建结果的影响;3)重建速度快,更适合于动态成像。
2.本方法采用定量PAT所提供的双先验信息改善动态FMT成像质量,包括背景光学参数先 验信息和荧光分布位置先验信息。其中,背景光学参数先验信息可以改善传统FMT重建因假设 背景光学结构均匀而导致检测目标内光子输运过程建模不准确的问题,而荧光分布先验信息也 在自适应EKF动态分析中改善荧光动力学参数重建图像的质量。
3.本方法采用自适应扩展卡尔曼滤波,通过采用遗忘因子弥补对系统初始状态先验知识缺 失所带来的影响,相比于传统扩展卡尔曼滤波实现更佳的重建结果。
附图说明
图1是本发明所采用的动态FMT/PAT联合成像算法框架。
图2是本发明中FMT重建的卷积神经网络框架。
图3是本发明中荧光剂药代动力学二室模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅 对本发明进行解释说明,并不用以限制本发明。
本发明提出的一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,算法 流程如图1所示。在本发明中,定量PAT为动态FMT重建提供双先验信息包括吸收背景光学参 数先验信息和荧光分布先验信息。在荧光试剂注射前,首先进行光声测量获得初始光声信号, 经定量PAT重建获得检测目标吸收背景先验信息。在注射荧光试剂之后继续测量光声信号,与 初始光声信号相减获得光声信号差值,定量PAT重建得到由于荧光剂所产生的吸收系数改变, 即荧光剂分布先验信息。采用双波长光声测量,定量PAT可以获得血红蛋白(HbO2)浓度、脱 氧血红蛋白(Hb)浓度、血氧饱和度等参数。而FMT方面,首先,根据生理相关的大量随机荧 光产率分布数据,采用有限元正向计算,得到模拟边界光流量数据库并用于训练所建立的CNN。 接着,基于FMT/PAT联合脑功能成像系统动态测量得到的激发光信号与荧光信号的时间序列数 据,输入到已经训练好的CNN中得到荧光产率图像时间序列。最后,在定量PAT提供的荧光分 布先验信息辅助下,基于自适应EKF算法分析上述荧光产率图像时间序列获得药代动力学参数。
本发明所提出的关键算法包括基于CNN的FMT图像重建、基于辐射传输方程的定量光声重 建算法、基于分室模型的自适应EKF动态FMT成像方法,具体实施方法如下:
1、基于CNN的FMT图像重建
为了解决传统FMT重建由逆向问题的病态性和欠定性所导致的图像分辨率和量化度较低 的问题,本发明采用基于CNN算法进行FMT图像重建。
(1)模拟边界光流量数据库
首先,基于有限元方法(Finite Element Method,FEM)模拟随机荧光分布条件下的边界出 射光强。本发明基于耦合扩散方程(1)来对激发光和荧光在混浊介质中的输运过程近似地描述, 并采用定量PAT所获得的光学参数作为FMT重建正向计算中的背景光学参数,建立更精确的光 子输运模型,相比于均匀光学背景假设重建可以有效提高重建的精度:
Figure BDA0002332971950000061
其中,第一个方程描述了激发光在检测目标的输运过程,第二个方程描述了检测目标中荧 光的产生及其输运过程;κm与κx分别为荧光和激发光波长下的扩散系数;c为光在检测目标 中的传播速度;而μam与μax分别为荧光与激发光波长下的吸收系数;Φm(r,rs)与Φx(r,rs)是荧 光和激发光的光子密度;ημaf为荧光产率,δ(r-rs)表示光源项,r为位置矢量,rs为光源位 置矢量;
荧光耦合方程利用Galerkin有限元法求解,其求解步骤是首先要求将问题的定义域Ω(边 界为
Figure BDA0002332971950000073
)划分为E个互不相交、覆盖Ω的单元Ve(e=1,2,…,E),其顶点构成N个 有限元节点Nj(j=1,2,…,N)。有限元素的形状通常选为简单的几何体,包括三角形、四 边形、棱柱形、矩形块等。由此,扩散方程的解可表示为分域多项式基函数(或称形函数)集{ui(r),i=1,2,…N}的线性组合。则光子密度函数Φv(r,rs)(v=x表示激发光光子密度, v=m则表示荧光光子密度)利用有限元可近似表达为[9,44,45]
Figure RE-GDA0002427778990000072
其中,Φv(n)=[Φv(1),Φv(2),…,Φv(Ν)]T,u(r)=[u1(r),u2(r),…,uN(r)]T分别为代表有限 元剖分节点处的光子密度矢量和形函数矢量,N为剖分节点的总个数。荧光耦合方程利用 Galerkin有限元法求解,可得如下正向问题矩阵方程:
(Av+Β)Φv(n)=Qv (2)
其中,Av、B与QV为系数矩阵,其元素分别为Av(i,j)、B(i,j)与Qv(i,j)如下:
Figure BDA0002332971950000072
其中,i,j为网格节点的下标;ημaf(j)为第j个节点的荧光产率,κv(r)与μav(r)分别为扩 散系数与吸收系数,其中v=x表示激发光波长处,v=m表示荧光波长处。
基于此正向方程,采用与实验模型相同几何外形的模拟模型,异质体的个数和形状根据所 研究的目标模型确定。背景与异质体光学参数遵循生理相关的合理范围,异质体荧光产率的对 比度也需根据具体研究情况而定。另外,光源-探测器设置与所采用的FMT/PAT联合测量系统 的设置相同。数据产生过程异质体个数、尺寸、位置、对比度随机生成,通过上述基于FEM 的FMT正向计算方法得到模拟边界光流量数据库。
(2)CNN的训练及FMT重建
随着深度学习理论在图像识别等领域的发展,研究者们也积极的研究其在生物医学成像的 应用,以期改善目前医学成像方法的成像质量。FMT重建过程属于非线性问题,传统迭代重建 算法受非线性和病态性的影响而导致成像精度较差。相关研究表明,非线性光学成像的逆向问 题可以通过CNN实现直接重建,有效克服重建过程的病态特性。与传统基于模型的重建算法不 同,基于CNN的FMT重建方法具有如下优点:1)采用数据驱动重建,对模型的精确度要求下 降;2)采用非迭代算法,去除传统重建算法病态性对重建结果的影响;3)重建速度快,更适 合于动态成像。基于如上所述原因,本发明采用如下编码-解码卷积对直接重建荧光产率图像 分布,具体CNN框架如图2所示:
Figure BDA0002332971950000081
其中,C为系数矩阵
Figure BDA0002332971950000082
为光学参数三维分布,
Figure BDA0002332971950000083
为逆向算子,g为边界测量光流量矩 阵,
Figure BDA0002332971950000084
为降噪之后的系数矩阵,
Figure BDA0002332971950000085
是与Hankel矩阵奇异值分解相关的一对函数,
Figure BDA0002332971950000086
是ψi的颠倒矩阵,其行列标号相反,
Figure BDA0002332971950000087
为 解卷积滤波器。
首先,将基于FEM方法所产生的正向边界光流量数据分成训练集与测试集,并将训练集输 入上述CNN中训练,采用测试集测试网络性能。其次,将实验数据输入已经训练好的CNN网络, 可以重建得到每个测量时刻荧光产率图像(ημaf),基于荧光吸收系数与浓度的线性关系:
Figure BDA0002332971950000088
得到成像域内每个节点处的荧光剂浓度随时间变化的曲线C(r,k), 其中ε是荧光试剂的消光系数。
2、所述定量PAT重建为:
基于FEM的定量光声重建算法,包括三个步骤:
步骤1):根据光声测量数据重建吸收光能密度分布;
步骤2):根据第一步得到的吸收光能密度分布并基于光子输运模型重建到吸收系数的分 布;
步骤3):基于比尔定理(Beer’s law)计算生色团的浓度。
所述步骤1):光声测量数据→吸收光能密度,基于如下两个方程:
Figure BDA0002332971950000089
Figure BDA00023329719500000810
其中,p是声压,k0=ω/c0是波数,ω为角频率,r表示位置矢量,i表示复数的虚部,c0为声波在介质中的速度,β为热膨胀系数,cp为比热容,Φ为吸收光能密度;p0与pc分别是观测与计算的边界测量点处声场数据;Δχ是吸收光能密度的增量值;
Figure BDA0002332971950000091
为边界测量 点处的Jacobian矩阵;α为通过吉洪诺夫正则化方案得到的正则化系数,I为单位矩阵;通 过迭代方法更新吸收光能密度,使得测量与计算的光声数据误差最小化,得到吸收光能密度的 分布;
步骤2):吸收光能密度→吸收系数分布,主要通过迭代方法求解光子辐射传输方程:
Figure BDA0002332971950000092
其中,μs为散射系数;
Figure BDA0002332971950000093
为辐射量;
Figure BDA0002332971950000094
为光源项;
Figure BDA0002332971950000095
表示在感兴趣方向 的一个单位向量,
Figure BDA0002332971950000096
表示积分系数;
Figure BDA0002332971950000097
为散射相位函数;如入射光源强度和吸收光能 密度可以先验的估计得到,则吸收系数分布就可以通过迭代方法求得;
步骤3):根据Beer定理,吸收系数分布→检测目标生色团浓度:
Figure BDA0002332971950000098
其中,ci(r)为第i个生色团的浓度,单位为mol/L;εi(λ)为第i个生色团在波长λ时的消 光系数;若只求含氧血红蛋白(HbO2)和脱氧血红蛋白(Hb),则L=2。根据如下的迭代公式求 得各生色团的浓度矩阵c(r):
Figure BDA0002332971950000099
其中,
Figure BDA00023329719500000910
表示消光系数矩阵,其元素表示为
Figure BDA00023329719500000911
μa(r)表示吸收系数矩阵3、所述FMT正向计算方法为:
以分室模型提供了对复杂生物检测目标的一种简单并且有效的数学表达方法,并定量地分 析药物或试剂在体内的动态过程。在分室模型基础上FMT正向计算方法为:以常用的二室模型 中,检测目标的每一个体元由血浆(plasma)和血管外空间(extracellular-extravascular space,EES)组成,如图3所示;其中,Cp(r,t)和Ce(r,t)分别表示血浆和EES中荧光剂的 体浓度,Kpe(r)和Kep(r)分别描述荧光剂由血浆到EES的渗透率和由EES到血浆的渗透率, Kp(r)表示荧光剂由血浆直接排出体外的排泄率;
采用的动态FMT成像方法的思路是首先使用基于CNN的FMT成像方法重建获取成像区域 内各位置处荧光剂总浓度随时间变化的曲线C(r,t);然后,采用自适应EKF方法分析上述浓度 曲线,估计得到药代动力学相关参数;只考虑注射荧光剂之后的渗透过程,令ca(t)=0;另外, 为了实现渗透率和荧光剂浓度两种参数的同时估计,引入中间参数矢量θ(r,k),构造一个离散 非线性状态-空间方程,如下式所示
Figure BDA0002332971950000101
其中,Cep(r,k)=[Ce(r,k)Cp(r,k)]T代表间室荧光剂浓度矢量;
其中,Ce(r,k)=Ce(r,kΔT)表示在EES中kΔT(ΔT为采样时间,k为时刻序列)时刻,简称k时刻的荧光剂浓度,Cp(r,k)=Cp(r,kΔT)表示在血浆中第k时刻的荧光剂浓度; E=[1 1]将间室浓度转化为总浓度;ω(r,k)、
Figure RE-GDA0002427778990000107
和η(r,k)表示相互独立的零均值高斯白噪声,ω(r,k)和
Figure RE-GDA0002427778990000108
的协方差矩阵分别为Q和Z,且各自代表状态驱动噪声和参数驱动噪声,而η(r,k)的方差为R,它代表观测噪声;中间参数矢量θ(r,k)是与渗透率相关的中间矢量; K(θ)表示离散二室模型中的与渗透率相关的系统矩阵,
Figure RE-GDA0002427778990000102
表示总浓度。
基于上述的分室模型,采用自适应EKF算法同时估计间室荧光剂浓度矢量与中间参数矢量, 包括“预测-增益-更新”三个步骤:
第一步:预测
状态预测:
Figure BDA0002332971950000102
其中:
Figure BDA0002332971950000103
Figure BDA0002332971950000104
是指根据第k-1时刻的状态得到的间室浓度矢量与中间参 数矢量在第k时刻的估计值;
误差协方差矩阵预测:
Figure BDA0002332971950000105
其中,P(r,k|k-1)表示误差协方差的预测矩阵,J(r,k-1)为非线性状态方程的Jacobin 矩阵,a表示遗忘因子,
Figure BDA0002332971950000111
其中,D(r,k)为滤波器中计算的新息协方差
D(r,k)=ΛP(r,k|k-1)ΛT+R (14)
Figure BDA0002332971950000112
为估计的新息协方差,测量矩阵Λ=[1 1 0 0 0 0],上标T表示矩阵的转置,通过 一个尺寸为W的移动窗口,采取平均估计方法得到的估计新息协方差矩阵如下
Figure BDA0002332971950000113
其中,d(r,k)表示第k时刻的新息;
第二步:Kalman增益
根据第一步预测得到的第k时刻的误差协方差矩阵P(r,k|k-1)计算第k时刻的Kalman增 益G(r,k)
G(r,k)=P(r,k|k-1)ΛT(ΛP(r,k|k-1)ΛT+R)-1 (16)
根据基于CNN的FMT方法重建得到的k时刻荧光剂浓度图像C(r,k)以及上一步预测得到的 第k时刻的间室浓度矢量
Figure BDA0002332971950000114
来计算第k时刻的新息,如下式所示
Figure BDA0002332971950000115
第三步:更新
状态更新:
Figure BDA0002332971950000116
第k时刻的误差协方差矩阵P(r,k)与Jacobin矩阵J(r,k)也被同步更新:
误差协方差矩阵更新:P(r,k)=[I-G(r,k)Λ]P(r,k|k-1) (19)
其中,I为6行6列的单位矩阵。
传统EKF的性能与初值的选择息息相关,不准确的初始值可能引起滤波的退化甚至滤波算 法的发散。实际应用中,很难获得动态系统的准确非线性随机方程,尤其是噪声的统计特性。 在自适应EKF算法中,通过遗忘因子的引入增强当前测量数据在滤波中的作用,消除不准确初 值设置对最终估计带来的不良影响。浓度的初始化中,本发明加入定量PAT差值光声信号所得 到的荧光分布先验信息以求更加精准地对目标区域进行动态分析。

Claims (3)

1.一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,该方法包括:
步骤1:获取待测目标体的初始光声信号,经定量PAT重建获得待测目标体的背景先验信息;
步骤2:采用双波长光声测量,获取待测目标体的检测光声信号,进行定量PAT计算出待测目标体的血红蛋白浓度、脱氧血红蛋白浓度、血氧饱和度;
步骤3:将检测光声信号与初始光声信号相减获得光声信号差值,定量PAT重建得到由于荧光剂聚集所产生的吸收系数改变,即可作为荧光剂分布先验信息;
步骤4:根据随机荧光产率分布数据库结合步骤1获得的背景先验信息模拟出边界光流量数据库;
步骤5:采用步骤4得到的边界光流量数据库对建立好的卷积神经网络进行训练;
步骤6:获取待测目标体的激发光信号序列与荧光信号序列,将激发光信号序列与荧光信号序列作为卷积神经网络的输入,识别出荧光产率图像序列;
步骤7;基于自适应EKF方法,根据步骤3得到的荧光剂分布先验信息结合荧光产率图像序列计算出药代动力学参数,包括:间室荧光剂浓度变化曲线、渗透率。
2.如权利要求1所述的一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,其特征在于所述步骤4的具体方法为:
步骤4.1:采用定量PAT所获得的背景先验信息作为FMT重建正向计算中的背景光学参数,建立光子输运模型;
步骤4.2:建立与待测目标体几何外形相同的模拟模型,随机生成异质体个数、尺寸、位置和对比度;
步骤4.3:基于耦合扩散方程计算出激发光和荧光在混浊介质中的输运过程;
步骤4.4:基于有限元方法,通过FMT正向计算模拟随机荧光分布条件下的边界出射光流量。
3.如权利要求1所述的一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,其特征在于所述步骤5中的卷积神经网络为输入为光信号序列输出为荧光参数分布的全连接卷积神经网络,该卷积神经网络采用如下编码-解码卷积对直接重建荧光产率图像分布:
Figure FDA0002332971940000011
其中,C为系数矩阵
Figure FDA0002332971940000012
为光学参数三维分布,
Figure FDA0002332971940000013
为逆向算子,g为边界测量光流量矩阵,
Figure FDA0002332971940000021
为降噪之后的系数矩阵,
Figure FDA0002332971940000022
是与Hankel矩阵奇异值分解相关的一对函数,
Figure FDA0002332971940000023
Figure FDA0002332971940000024
是ψi的颠倒矩阵,其行列标号相反,
Figure FDA0002332971940000025
为解卷积滤波器。
CN201911344488.9A 2019-12-24 2019-12-24 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 Active CN111103275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911344488.9A CN111103275B (zh) 2019-12-24 2019-12-24 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911344488.9A CN111103275B (zh) 2019-12-24 2019-12-24 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法

Publications (2)

Publication Number Publication Date
CN111103275A true CN111103275A (zh) 2020-05-05
CN111103275B CN111103275B (zh) 2021-06-01

Family

ID=70423481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911344488.9A Active CN111103275B (zh) 2019-12-24 2019-12-24 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法

Country Status (1)

Country Link
CN (1) CN111103275B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037147A (zh) * 2020-09-02 2020-12-04 上海联影医疗科技有限公司 医学图像降噪方法和装置
CN113052297A (zh) * 2021-03-04 2021-06-29 吉林大学 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统
CN113284204A (zh) * 2021-03-09 2021-08-20 北京工业大学 一种基于模型的深度学习扩散光学层析成像方法
CN113367717A (zh) * 2021-05-26 2021-09-10 中国科学院深圳先进技术研究院 一种锥束x射线荧光成像方法、系统、终端以及存储介质
CN114494497A (zh) * 2022-01-28 2022-05-13 天津大学 基于卡尔曼滤波的超声层析成像动态图像重建方法
CN114926422A (zh) * 2022-05-11 2022-08-19 西南交通大学 一种上下车客流量检测方法及系统
CN115868923A (zh) * 2022-04-21 2023-03-31 华中科技大学 基于展开式循环神经网络的荧光分子断层成像方法及系统
CN116884518A (zh) * 2023-09-07 2023-10-13 中珀(秦皇岛)新材料科技有限公司 基于预测压缩的碳纳米颗粒浆料生产数据处理方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271723A (zh) * 2013-06-26 2013-09-04 西安电子科技大学 一种生物发光断层成像重建方法
CN103389273A (zh) * 2013-08-01 2013-11-13 中国科学院自动化研究所 一种光声和光学融合的多模态成像系统
CN104334576A (zh) * 2012-06-04 2015-02-04 Irm责任有限公司 位点特异性标记方法及由此产生的分子
CN104586366A (zh) * 2015-01-27 2015-05-06 西安电子科技大学 一种激发荧光断层成像重建方法
CN105559750A (zh) * 2015-12-13 2016-05-11 北京工业大学 组织结构引导的复合正则化生物发光断层成像重建方法
CN106419837A (zh) * 2016-08-26 2017-02-22 西北大学 基于螺旋式激发的荧光分子断层成像系统
EP3159996A1 (en) * 2015-10-23 2017-04-26 Cooper Technologies Company Controller and method of controlling power supplied from a small power source to a power grid
CN107228942A (zh) * 2017-08-01 2017-10-03 福州大学 基于稀疏自编码神经网络的荧光免疫层析检测方法及装置
CN107358653A (zh) * 2017-08-15 2017-11-17 北京数字精准医疗科技有限公司 成像重建方法及装置
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
CN108219782A (zh) * 2018-04-11 2018-06-29 江苏省人民医院(南京医科大学第附属医院) 一种近红外荧光探针及基于该探针的多模态纳米造影剂及其制备和应用
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN109923582A (zh) * 2016-08-26 2019-06-21 医科达有限公司 使用卷积神经网络进行图像分割的系统和方法
CN110243827A (zh) * 2019-07-18 2019-09-17 华中科技大学 一种适用于光透明样本的快速三维成像方法
EP3546926A1 (en) * 2018-03-28 2019-10-02 PicoQuant Innovations GmbH Method and device for determining photon arrival times by means of machine learning
CN110348569A (zh) * 2019-07-18 2019-10-18 华中科技大学 基于卷积神经网络的实时光学层析方法和系统
CN110599399A (zh) * 2019-07-26 2019-12-20 清华大学 基于卷积神经网络的快速双光子成像方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104334576A (zh) * 2012-06-04 2015-02-04 Irm责任有限公司 位点特异性标记方法及由此产生的分子
CN103271723A (zh) * 2013-06-26 2013-09-04 西安电子科技大学 一种生物发光断层成像重建方法
CN103389273A (zh) * 2013-08-01 2013-11-13 中国科学院自动化研究所 一种光声和光学融合的多模态成像系统
CN104586366A (zh) * 2015-01-27 2015-05-06 西安电子科技大学 一种激发荧光断层成像重建方法
EP3159996A1 (en) * 2015-10-23 2017-04-26 Cooper Technologies Company Controller and method of controlling power supplied from a small power source to a power grid
CN105559750A (zh) * 2015-12-13 2016-05-11 北京工业大学 组织结构引导的复合正则化生物发光断层成像重建方法
CN106419837A (zh) * 2016-08-26 2017-02-22 西北大学 基于螺旋式激发的荧光分子断层成像系统
CN109923582A (zh) * 2016-08-26 2019-06-21 医科达有限公司 使用卷积神经网络进行图像分割的系统和方法
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN107228942A (zh) * 2017-08-01 2017-10-03 福州大学 基于稀疏自编码神经网络的荧光免疫层析检测方法及装置
CN107358653A (zh) * 2017-08-15 2017-11-17 北京数字精准医疗科技有限公司 成像重建方法及装置
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
EP3546926A1 (en) * 2018-03-28 2019-10-02 PicoQuant Innovations GmbH Method and device for determining photon arrival times by means of machine learning
CN108219782A (zh) * 2018-04-11 2018-06-29 江苏省人民医院(南京医科大学第附属医院) 一种近红外荧光探针及基于该探针的多模态纳米造影剂及其制备和应用
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN110243827A (zh) * 2019-07-18 2019-09-17 华中科技大学 一种适用于光透明样本的快速三维成像方法
CN110348569A (zh) * 2019-07-18 2019-10-18 华中科技大学 基于卷积神经网络的实时光学层析方法和系统
CN110599399A (zh) * 2019-07-26 2019-12-20 清华大学 基于卷积神经网络的快速双光子成像方法及装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHULHONG KIM: "In Vivo Photoacoustic Tomography of Chemicals: High-Resolution Functional and Molecular Optical Imaging at New Depths", 《CHEMICAL REVIEWS》 *
NIKOLAOS C: "Deep-Tissue Reporter-Gene Imaging with Fluorescence and Optoacoustic Tomography: A Performance Overview", 《RESEARCH ARTICLE》 *
SVEN GOTTSCHALK: "Rapid volumetric optoacoustic imaging of neural dynamics across the mouse brain", 《NAT URE BIOMEDICAL ENGINEERING》 *
XIN LIU: "Non-stationary reconstruction for dynamic fluorescence molecular tomography with extended kalman filter", 《BIOMEDICAL OPTICS EXPRESS》 *
任青云: "混合光传输模型在多光谱契伦科夫荧光断层成像前向问题中的应用", 《光子学报》 *
侍新: "基于卷积神经网络检测肺结节", 《中国医学影像技术》 *
官金兰: "基于高斯马尔可夫随机场模型的光学层析图像重建", 《农家参谋》 *
段爽: "声学特性不均匀组织的光声层析图像重建研究进展", 《生物医学工程学杂志》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037147A (zh) * 2020-09-02 2020-12-04 上海联影医疗科技有限公司 医学图像降噪方法和装置
CN112037147B (zh) * 2020-09-02 2024-05-14 上海联影医疗科技股份有限公司 医学图像降噪方法和装置
CN113052297A (zh) * 2021-03-04 2021-06-29 吉林大学 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统
CN113052297B (zh) * 2021-03-04 2022-11-22 吉林大学 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统
CN113284204A (zh) * 2021-03-09 2021-08-20 北京工业大学 一种基于模型的深度学习扩散光学层析成像方法
CN113284204B (zh) * 2021-03-09 2024-03-29 北京工业大学 一种基于模型的深度学习扩散光学层析成像方法
CN113367717B (zh) * 2021-05-26 2022-11-22 中国科学院深圳先进技术研究院 一种锥束x射线荧光成像方法、系统、终端以及存储介质
CN113367717A (zh) * 2021-05-26 2021-09-10 中国科学院深圳先进技术研究院 一种锥束x射线荧光成像方法、系统、终端以及存储介质
CN114494497A (zh) * 2022-01-28 2022-05-13 天津大学 基于卡尔曼滤波的超声层析成像动态图像重建方法
CN114494497B (zh) * 2022-01-28 2024-10-29 天津大学 基于卡尔曼滤波的超声层析成像动态图像重建方法
CN115868923A (zh) * 2022-04-21 2023-03-31 华中科技大学 基于展开式循环神经网络的荧光分子断层成像方法及系统
CN115868923B (zh) * 2022-04-21 2024-08-02 华中科技大学 基于展开式循环神经网络的荧光分子断层成像方法及系统
CN114926422A (zh) * 2022-05-11 2022-08-19 西南交通大学 一种上下车客流量检测方法及系统
CN116884518A (zh) * 2023-09-07 2023-10-13 中珀(秦皇岛)新材料科技有限公司 基于预测压缩的碳纳米颗粒浆料生产数据处理方法
CN116884518B (zh) * 2023-09-07 2023-11-10 中珀(秦皇岛)新材料科技有限公司 基于预测压缩的碳纳米颗粒浆料生产数据处理方法

Also Published As

Publication number Publication date
CN111103275B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN111103275B (zh) Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
Gröhl et al. Deep learning for biomedical photoacoustic imaging: A review
Bench et al. Toward accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in three dimensions
Lan et al. Y-Net: Hybrid deep learning image reconstruction for photoacoustic tomography in vivo
Gröhl et al. Learned spectral decoloring enables photoacoustic oximetry
Brooksby et al. Near-infrared (NIR) tomography breast image reconstruction with a priori structural information from MRI: algorithm development for reconstructing heterogeneities
Zhang et al. UHR-DeepFMT: ultra-high spatial resolution reconstruction of fluorescence molecular tomography based on 3-D fusion dual-sampling deep neural network
CN104220007B (zh) 物体观测装置和物体观测方法
Yang et al. High-resolution mesoscopic fluorescence molecular tomography based on compressive sensing
CN103300829B (zh) 一种基于迭代重加权的生物自发荧光断层成像方法
CN102034266B (zh) 激发荧光断层成像的快速稀疏重建方法和设备
Gröhl et al. Estimation of blood oxygenation with learned spectral decoloring for quantitative photoacoustic imaging (LSD-qPAI)
Murad et al. Reconstruction and localization of tumors in breast optical imaging via convolution neural network based on batch normalization layers
Kao et al. Quantifying tissue optical properties of human heads in vivo using continuous-wave near-infrared spectroscopy and subject-specific three-dimensional Monte Carlo models
Gröhl et al. Moving beyond simulation: data-driven quantitative photoacoustic imaging using tissue-mimicking phantoms
CN113066144B (zh) 一种基于深度学习的多模态扩散光学层析成像重建方法
Mudeng et al. Computational image reconstruction for multi-frequency diffuse optical tomography
CN111795955B (zh) 基于多层感知神经网络的荧光药代动力学层析成像的方法
Agrawal et al. Learning optical scattering through symmetrical orthogonality enforced independent components for unmixing deep tissue photoacoustic signals
Aspri et al. Mathematical and numerical challenges in diffuse optical tomography inverse problems
Zuo et al. Impact of reconstruction algorithms on diffuse correlation tomography blood flow imaging
Guerra et al. An iterative method of light fluence distribution estimation for quantitative photoacoustic imaging
CN105717087B (zh) 螺旋离散扫描式荧光剂药代动力学参数直接成像方法
Sivasubramanian et al. Deep learning for image processing and reconstruction to enhance led-based photoacoustic imaging
García et al. Simultaneous retrieval of optical and geometrical parameters of multilayered turbid media via state-estimation algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant