CN111103275B - Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 - Google Patents
Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 Download PDFInfo
- Publication number
- CN111103275B CN111103275B CN201911344488.9A CN201911344488A CN111103275B CN 111103275 B CN111103275 B CN 111103275B CN 201911344488 A CN201911344488 A CN 201911344488A CN 111103275 B CN111103275 B CN 111103275B
- Authority
- CN
- China
- Prior art keywords
- prior information
- reconstruction
- fmt
- pat
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000003795 chemical substances by application Substances 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000010521 absorption reaction Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 230000005284 excitation Effects 0.000 claims description 15
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000009792 diffusion process Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000035699 permeability Effects 0.000 claims description 6
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 5
- 108010054147 Hemoglobins Proteins 0.000 claims description 4
- 102000001554 Hemoglobins Human genes 0.000 claims description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 4
- 229910052760 oxygen Inorganic materials 0.000 claims description 4
- 239000001301 oxygen Substances 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000004907 flux Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 30
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 230000003068 static effect Effects 0.000 abstract description 8
- 238000007405 data analysis Methods 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 239000003153 chemical reaction reagent Substances 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000003325 tomography Methods 0.000 description 5
- 238000001727 in vivo Methods 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 230000008033 biological extinction Effects 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 2
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 2
- 235000013405 beer Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- IAPHXJRHXBQDQJ-ODLOZXJASA-N jacobine Natural products O=C1[C@@]2([C@H](C)O2)C[C@H](C)[C@](O)(C)C(=O)OCC=2[C@H]3N(CC=2)CC[C@H]3O1 IAPHXJRHXBQDQJ-ODLOZXJASA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- XEBWQGVWTUSTLN-UHFFFAOYSA-M phenylmercury acetate Chemical compound CC(=O)O[Hg]C1=CC=CC=C1 XEBWQGVWTUSTLN-UHFFFAOYSA-M 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,其特征在于,定量PAT为动态FMT重建提供双先验信息包括背景光学参数先验信息和荧光分布先验信息,静态FMT重建采用基于CNN框架的非模型驱动重建方法,而动态数据分析方法则采用基于分室动力学模型的自适应EKF算法。本方法优点:(1)基于CNN的FMT重建方法:采用数据驱动重建,对模型的精确度要求下降;属于非迭代算法,去除传统重建算法病态性对重建结果的影响;重建速度快,更适合于动态成像。(2)采用高空间分辨率定量PAT所提供的双先验信息改善动态FMT成像质量,包括背景光学参数先验信息和荧光分布位置先验信息。
Description
技术领域
本发明涉及动态荧光分子层析成像领域,尤其针对动态光学成像所用荧光探针或荧光试剂的动力学参数成像方法,具体涉及光声层析成像先验信息辅助的基于卷积神经网络和自适应扩展卡尔曼滤波的动态荧光分子成像重建方法。
背景技术
传统的静态在体(in vivo)荧光分子层析成像(fluorescence Moleculartomography,FMT)方式遵循“注射-等待-成像”的步骤,即将特定的荧光剂或荧光探针注射到检测目标后,在等待一段时间后,当荧光剂到达目标区域且并未被检测目标代谢完毕,再对荧光剂或荧光探针在检测目标的残留部分进行成像[1]。近年来有相关研究表明,对某一个固定时间点的静态成像或者局部细胞活检并不能很好的表明目标体的全部特征[2,3]。另外,对于静态成像的测量时间也很难把握,即很有可能未捕捉到最大对比度处,甚至是荧光剂未到达目标区域或者已经代谢完毕。为此,结合先进动态分析技术的在体动态FMT方法通过检测更为复杂的荧光试剂或荧光探针的代谢曲线和检测目标蛋白质浓度或血管化程度,来实现更佳的目标体鉴定和描述,并指导个体化疾病的诊断和治疗[4]。
动态FMT算法的关键问题包括静态FMT重建方法和动态FMT分析理论两个方面。其中,传统静态FMT的有限元法图像重建过程为了获得较好的图像质量,通常采用高密度网格剖分,并对每个剖分节点上的参数进行求解。然而,高密度网格引入了大量的未知参数,其规模远远大于实验所得的测量数据量,造成传统FMT重建问题的欠定性和病态特性,影响了重建图像的分辨率和量化度[5]。尽管研究者发展了多种方法来改善这一状况,但受限于其逆向问题的求解方法,传统FMT重建图像的质量仍有待提高,这势必影响最终动态FMT的成像结果。因此,发展一种区别于传统FMT重建的新型重建方法对于动态FMT成像具有重要意义。近年来,深度学习理论迅猛发展,在计算机方面的多个领域都有突出的表现[6]。受到这些领域卓越成果的鼓舞,许多研究者也将深度学习理论应用到生物医学图像重建中,例如低剂量CT成像等[7]。相关研究也证实了深度学习理论可以解决非线性逆向问题的病态性缺点,实现逆向问题的快速直接求解,例如采用卷积神经网络(convolutional neuralnetwork,CNN)框架来准确地描述并求解逆向非线性问题[8]。
在诸多动态FMT分析方法中,基于分室动力学模型的自适应扩展卡尔曼滤波(extended Kalman filtering,EKF)方法具有诸多优点包括[9]:1)同时获得药代动力学参数和荧光剂浓度时间演变图像,实现静态FMT无法比拟的测量稳健性和客观性;2)具有实时监控不同间室中荧光剂药代动力学参数的潜力,是曲线拟合等后处理方法无法实现的;3)由偏微分方程组描述的多间室模型和多系统测量模型,体现了测量噪声与模型不确定性,能够提供相比于指数模型更好的拟合度。因此,基于EKF的动态FMT分析方法是一种可以实时监控荧光剂在体代谢过程的优良研究方法。
另外,采用其他成像方法给予先验信息的辅助也非常有利于提高动态FMT的成像质量。其中,光声层析成像技术(photoacoustic tomography,PAT)能够对不同尺寸的生物组织进行多尺度、高空间分辨率和高对比度成像[10]。值得注意的是,相关研究小组对PAT与FMT的成像性能进行过系统的对比实验,表明FMT具有较高灵敏度和探测深度而PAT的空间分辨率非常高[11]。
[1]张伟,面向乳腺肿瘤诊断的时域扩散荧光-光学混合层析成像方法研究:[博士学位论文],天津;天津大学,2013.
[2]Tichauer K.M.,Wang Y.,Pogue B.W.,et al.Quantitative in vivo cell-surface receptor imaging in oncology:kinetic modeling and paired-agentprinciples from nuclear medicine and optical imaging,Physics in Medicine&Biology,2015,60(14):239-69.
[3]Fidler I.J.,Tumor Heterogeneity and the Biology of Cancer Invasionand Metastasis,Journal of the American Geriatrics Society,1978,38(9):2651-60.
[4]Marco G.,Rowan A.J.,Stuart H.,et al,Intratumor heterogeneity andbranched evolution revealed by multiregion sequencing,New England Journal ofMedicine,2012,366(10):883-92.
[5]Leblond F,Tichauer K M,Holt R W,El-Ghussein F,Pogue B W,“Towardwhole-body optical imaging of rats using single-photon counting fluorescencetomography,”Optics Letters,2011,36(19):3723.
[6]Kang E,Min J and Ye J C,“A deep convolutional neural network usingdirectional wavelets for low-dose X-ray CT reconstruction,”Medical Physics,2016,44(10).
[7]Jin K H,Mccann M T,Froustey E and Unser M,“Deep ConvolutionalNeural Network for Inverse Problems in Imaging,”IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2016,26(9):4509-4522.
[8]Mccann M T,Jin K H and Unser M,“A Review of Convolutional NeuralNetworks for Inverse Problems in Imaging,”IEEE Signal Processing Magazine,2017,34(6).
[9]Alacam B,Yazici B,Intes X and Chance B,“Extended Kalman Filteringfor the Modeling and Analysis of ICG Pharmacokinetics in Cancerous TumorsUsing NIR Optical Methods,”IEEE Transactions on Biomedical Engineering,2006,53(10):1861-71.
[10]Wang L V and Yao J,“A Practical Guide to Photoacoustic Tomographyin the Life Sciences,”Nature Methods,2016,13(8):627-638.
[11]Deliolanis N C,Ale A,Morscher S,Burton N C,Schaefer K,Radrich K,Razansky D,Ntziachristos V,“Deep-Tissue Reporter-Gene Imaging withFluorescence and Optoacoustic Tomography:A Performance Overview,”MolecularImaging&Biology Mib the Official Publication of the Academy of MolecularImaging,2014,16(5):652-660.
发明内容
本发明旨在克服现有方法的不足,解决动态FMT重建图像质量有待提高的问题,采用基于CNN的FMT重建方法提高静态FMT重建图像质量,采用基于分室动力学模型的自适应EKF动态分析方法实现高质量动态FMT分析,并且利用高空间分辨率的定量PAT为整个重建分析过程提供双先验信息进一步提高重建图像质量。定量PAT所提供的双先验信息包括背景光学参数先验信息和荧光分布位置先验信息,背景光学参数先验信息可以改善传统FMT重建因假设背景光学结构均匀而导致检测目标内光子输运过程建模不准确的问题,而荧光位置分布先验信息也在自适应EKF动态分析中改善荧光动力学参数重建图像的质量。
为了解决上述技术问题,获得待测目标体的光声信号,包括:荧光试剂注射前的初始光声信号和荧光试剂注射后的检测光声信号,获得动态FMT信号,包括激发光信号序列与荧光信号序列;本发明技术方案为:一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,该方法包括:
步骤1:获取待测目标体的初始光声信号,经定量PAT重建获得待测目标体的背景先验信息;
步骤2:采用双波长光声测量,获取待测目标体的检测光声信号,进行定量PAT计算出待测目标体的血红蛋白浓度、脱氧血红蛋白浓度、血氧饱和度;
步骤3:将检测光声信号与初始光声信号相减获得光声信号差值,定量PAT重建得到由于荧光剂聚集所产生的吸收系数改变,即可作为荧光剂分布先验信息;
步骤4:根据随机荧光产率分布数据库结合步骤1获得的背景先验信息模拟出边界光流量数据库;
步骤5:采用步骤4得到的边界光流量数据库对建立好的卷积神经网络进行训练;
步骤6:获取待测目标体的激发光信号序列与荧光信号序列,将激发光信号序列与荧光信号序列作为卷积神经网络的输入,识别出荧光产率图像序列;
步骤7;基于自适应EKF方法,根据步骤3得到的荧光剂分布先验信息结合荧光产率图像序列计算出药代动力学参数,包括:间室荧光剂浓度变化曲线、渗透率。
进一步的,所述步骤4的具体方法为:
步骤4.1:采用定量PAT所获得的背景先验信息作为FMT重建正向计算中的背景光学参数,建立光子输运模型;
步骤4.2:建立与待测目标体几何外形相同的模拟模型,随机生成异质体个数、尺寸、位置和对比度;
步骤4.3:基于耦合扩散方程计算出激发光和荧光在混浊介质中的输运过程;
步骤4.4:基于有限元方法,通过FMT正向计算模拟随机荧光分布条件下的边界出射光流量;
进一步的,所述步骤5中的卷积神经网络为输入为光信号序列输出为荧光参数分布的全连接卷积神经网络,该卷积神经网络采用如下编码-解码卷积对直接重建荧光产率图像分布:
本发明为了解决传统FMT重建由逆向问题的病态性和欠定性所导致的图像分辨率和量化度较低的问题,采用基于CNN算法进行FMT图像重建。
首先,基于有限元方法模拟随机荧光分布条件下的边界出射光强。本发明基于耦合扩散方程来对激发光和荧光在混浊介质中的输运过程近似地描述,并采用定量PAT所获得的光学参数作为FMT重建正向计算中的背景光学参数,可以建立更精确的光子输运模型,相比于均匀光学背景假设重建可以有效提高重建的精度。基于正向方程,采用与实验模型相同几何外形尺寸的模拟模型,异质体的个数和形状根据所研究的疾病模型确定。背景与异质体光学参数遵循生理相关的合理范围,异质体荧光产率的对比度也需根据具体研究情况而定。另外,光源-探测器设置与所采用的FMT/PAT联合测量系统的设置相同。数据产生过程异质体个数、尺寸、位置、对比度随机生成,通过上述基于FEM的FMT正向计算方法得到模拟边界光
随着深度学习理论在图像识别等领域的发展,研究者们也积极的研究其在生物医学成像的应用,以期改善目前医学成像方法的成像质量。FMT重建过程属于非线性问题,传统迭代重建算法受非线性和病态性的影响而导致成像精度较差。相关研究表明,非线性光学成像的逆向问题可以通过CNN实现直接重建,有效克服重建过程的病态特性。与传统基于模型的重建算法不同,基于CNN的FMT重建方法具有如下优点:1)采用数据驱动重建,对模型的精确度要求下降;2)采用非迭代算法,去除传统重建算法病态性对重建结果的影响;3)重建速度快,更适合于动态成像。基于如上所述原因,
与现有技术相比,本发明的有益效果是:
1.本方法与传统基于模型的重建算法不同,基于CNN的FMT重建方法具有如下优点:1)采用数据驱动重建,对模型的精确度要求下降;2)采用非迭代算法,去除传统重建算法病态性对重建结果的影响;3)重建速度快,更适合于动态成像。
2.本方法采用定量PAT所提供的双先验信息改善动态FMT成像质量,包括背景光学参数先验信息和荧光分布位置先验信息。其中,背景光学参数先验信息可以改善传统FMT重建因假设背景光学结构均匀而导致检测目标内光子输运过程建模不准确的问题,而荧光分布先验信息也在自适应EKF动态分析中改善荧光动力学参数重建图像的质量。
3.本方法采用自适应扩展卡尔曼滤波,通过采用遗忘因子弥补对系统初始状态先验知识缺失所带来的影响,相比于传统扩展卡尔曼滤波实现更佳的重建结果。
附图说明
图1是本发明所采用的动态FMT/PAT联合成像算法框架。
图2是本发明中FMT重建的卷积神经网络框架。
图3是本发明中荧光剂药代动力学二室模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述,所描述的具体实施例仅对本发明进行解释说明,并不用以限制本发明。
本发明提出的一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,算法流程如图1所示。在本发明中,定量PAT为动态FMT重建提供双先验信息包括吸收背景光学参数先验信息和荧光分布先验信息。在荧光试剂注射前,首先进行光声测量获得初始光声信号,经定量PAT重建获得检测目标吸收背景先验信息。在注射荧光试剂之后继续测量光声信号,与初始光声信号相减获得光声信号差值,定量PAT重建得到由于荧光剂所产生的吸收系数改变,即荧光剂分布先验信息。采用双波长光声测量,定量PAT可以获得血红蛋白(HbO2)浓度、脱氧血红蛋白(Hb)浓度、血氧饱和度等参数。而FMT方面,首先,根据生理相关的大量随机荧光产率分布数据,采用有限元正向计算,得到模拟边界光流量数据库并用于训练所建立的CNN。接着,基于FMT/PAT联合脑功能成像系统动态测量得到的激发光信号与荧光信号的时间序列数据,输入到已经训练好的CNN中得到荧光产率图像时间序列。最后,在定量PAT提供的荧光分布先验信息辅助下,基于自适应EKF算法分析上述荧光产率图像时间序列获得药代动力学参数。
本发明所提出的关键算法包括基于CNN的FMT图像重建、基于辐射传输方程的定量光声重建算法、基于分室模型的自适应EKF动态FMT成像方法,具体实施方法如下:
1、基于CNN的FMT图像重建
为了解决传统FMT重建由逆向问题的病态性和欠定性所导致的图像分辨率和量化度较低的问题,本发明采用基于CNN算法进行FMT图像重建。
(1)模拟边界光流量数据库
首先,基于有限元方法(Finite Element Method,FEM)模拟随机荧光分布条件下的边界出射光强。本发明基于耦合扩散方程(1)来对激发光和荧光在混浊介质中的输运过程近似地描述,并采用定量PAT所获得的光学参数作为FMT重建正向计算中的背景光学参数,建立更精确的光子输运模型,相比于均匀光学背景假设重建可以有效提高重建的精度:
其中,第一个方程描述了激发光在检测目标的输运过程,第二个方程描述了检测目标中荧光的产生及其输运过程;κm与κx分别为荧光和激发光波长下的扩散系数;c为光在检测目标中的传播速度;而μam与μax分别为荧光与激发光波长下的吸收系数;Φm(r,rs)与Φx(r,rs)是荧光和激发光的光子密度;ημaf为荧光产率,δ(r-rs)表示光源项,r为位置矢量,rs为光源位置矢量;
荧光耦合方程利用Galerkin有限元法求解,其求解步骤是首先要求将问题的定义域Ω(边界为)划分为E个互不相交、覆盖Ω的单元Ve(e=1,2,…,E),其顶点构成N个有限元节点Nj(j=1,2,…,N)。有限元素的形状通常选为简单的几何体,包括三角形、四边形、棱柱形、矩形块等。由此,扩散方程的解可表示为分域多项式基函数(或称形函数)集{ui(r),i=1,2,…N}的线性组合。则光子密度函数Φv(r,rs)(v=x表示激发光光子密度,v=m则表示荧光光子密度)利用有限元可近似表达为[9,44,45]
其中,Φv(n)=[Φv(1),Φv(2),…,Φv(N)]T,u(r)=[u1(r),u2(r),…,uN(r)]T分别为:
代表有限元剖分节点处的光子密度矢量和形函数矢量,N为剖分节点的总个数。荧光耦合方程利用Galerkin有限元法求解,可得如下正向问题矩阵方程:
(Av+Β)Φv(n)=Qv (2)
其中,Av、B与QV为系数矩阵,其元素分别为Av(i,j)、B(i,j)与Qv(i,j)如下:
其中,i,j为网格节点的下标;ημaf(j)为第j个节点的荧光产率,κv(r)与μav(r)分别为扩散系数与吸收系数,其中v=x表示激发光波长处,v=m表示荧光波长处。
基于此正向方程,采用与实验模型相同几何外形的模拟模型,异质体的个数和形状根据所研究的目标模型确定。背景与异质体光学参数遵循生理相关的合理范围,异质体荧光产率的对比度也需根据具体研究情况而定。另外,光源-探测器设置与所采用的FMT/PAT联合测量系统的设置相同。数据产生过程异质体个数、尺寸、位置、对比度随机生成,通过上述基于FEM的FMT正向计算方法得到模拟边界光流量数据库。
(2)CNN的训练及FMT重建
随着深度学习理论在图像识别等领域的发展,研究者们也积极的研究其在生物医学成像的应用,以期改善目前医学成像方法的成像质量。FMT重建过程属于非线性问题,传统迭代重建算法受非线性和病态性的影响而导致成像精度较差。相关研究表明,非线性光学成像的逆向问题可以通过CNN实现直接重建,有效克服重建过程的病态特性。与传统基于模型的重建算法不同,基于CNN的FMT重建方法具有如下优点:1)采用数据驱动重建,对模型的精确度要求下降;2)采用非迭代算法,去除传统重建算法病态性对重建结果的影响;3)重建速度快,更适合于动态成像。基于如上所述原因,本发明采用如下编码-解码卷积对直接重建荧光产率图像分布,具体CNN框架如图2所示:
首先,将基于FEM方法所产生的正向边界光流量数据分成训练集与测试集,并将训练集输入上述CNN中训练,采用测试集测试网络性能。其次,将实验数据输入已经训练好的CNN网络,可以重建得到每个测量时刻荧光产率图像(ημaf),基于荧光吸收系数与浓度的线性关系:得到成像域内每个节点处的荧光剂浓度随时间变化的曲线C(r,k),其中ε是荧光试剂的消光系数。
2、所述定量PAT重建为:
基于FEM的定量光声重建算法,包括三个步骤:
步骤1):根据光声测量数据重建吸收光能密度分布;
步骤2):根据第一步得到的吸收光能密度分布并基于光子输运模型重建到吸收系数的分布;
步骤3):基于比尔定理(Beer’s law)计算生色团的浓度。
所述步骤1):光声测量数据→吸收光能密度,基于如下两个方程:
其中,p是声压,k0=ω/c0是波数,ω为角频率,r表示位置矢量,i表示复数的虚部,c0为声波在介质中的速度,β为热膨胀系数,cp为比热容,Φ为吸收光能密度;p0与pc分别是观测与计算的边界测量点处声场数据;Δχ是吸收光能密度的增量值;为边界测量点处的Jacobian矩阵;α为通过吉洪诺夫正则化方案得到的正则化系数,I为单位矩阵;通过迭代方法更新吸收光能密度,使得测量与计算的光声数据误差最小化,得到吸收光能密度的分布;
步骤2):吸收光能密度→吸收系数分布,主要通过迭代方法求解光子辐射传输方程:
步骤3):根据Beer定理,吸收系数分布→检测目标生色团浓度:
其中,ci(r)为第i个生色团的浓度,单位为mol/L;εi(λ)为第i个生色团在波长λ时的消光系数;若只求含氧血红蛋白(HbO2)和脱氧血红蛋白(Hb),则L=2。根据如下的迭代公式求得各生色团的浓度矩阵c(r):
3、所述FMT正向计算方法为:
以分室模型提供了对复杂生物检测目标的一种简单并且有效的数学表达方法,并定量地分析药物或试剂在体内的动态过程。在分室模型基础上FMT正向计算方法为:以常用的二室模型中,检测目标的每一个体元由血浆(plasma)和血管外空间(extracellular-extravascular space,EES)组成,如图3所示;其中,Cp(r,t)和Ce(r,t)分别表示血浆和EES中荧光剂的体浓度,Kpe(r)和Kep(r)分别描述荧光剂由血浆到EES的渗透率和由EES到血浆的渗透率,Kp(r)表示荧光剂由血浆直接排出体外的排泄率;
采用的动态FMT成像方法的思路是首先使用基于CNN的FMT成像方法重建获取成像区域内各位置处荧光剂总浓度随时间变化的曲线C(r,t);然后,采用自适应EKF方法分析上述浓度曲线,估计得到药代动力学相关参数;只考虑注射荧光剂之后的渗透过程,令ca(t)=0;另外,为了实现渗透率和荧光剂浓度两种参数的同时估计,引入中间参数矢量θ(r,k),构造一个离散非线性状态-空间方程,如下式所示
其中,Cep(r,k)=[Ce(r,k)Cp(r,k)]T代表间室荧光剂浓度矢量;
其中,Ce(r,k)=Ce(r,kΔT)表示在EES中kΔT(ΔT为采样时间,k为时刻序列)时刻,简称k时刻的荧光剂浓度,Cp(r,k)=Cp(r,kΔT)表示在血浆中第k时刻的荧光剂浓度;E=[1 1]将间室浓度转化为总浓度;ω(r,k)、和η(r,k)表示相互独立的零均值高斯白噪声,ω(r,k)和的协方差矩阵分别为Q和Z,且各自代表状态驱动噪声和参数驱动噪声,而η(r,k)的方差为R,它代表观测噪声;中间参数矢量θ(r,k)是与渗透率相关的中间矢量;K(θ)表示离散二室模型中的与渗透率相关的系统矩阵,表示总浓度。
基于上述的分室模型,采用自适应EKF算法同时估计间室荧光剂浓度矢量与中间参数矢量,包括“预测-增益-更新”三个步骤:
第一步:预测
误差协方差矩阵预测:
其中,P(r,k|k-1)表示误差协方差的预测矩阵,J(r,k-1)为非线性状态方程的Jacobin矩阵,a表示遗忘因子,
其中,D(r,k)为滤波器中计算的新息协方差
D(r,k)=ΛP(r,k|k-1)ΛT+R (14)
而D(r,k)为估计的新息协方差,测量矩阵Λ=[1 1 0 0 0 0],上标T表示矩阵的转置,通过一个尺寸为W的移动窗口,采取平均估计方法得到的估计新息协方差矩阵如下
其中,d(r,k)表示第k时刻的新息;
第二步:Kalman增益
根据第一步预测得到的第k时刻的误差协方差矩阵P(r,k|k-1)计算第k时刻的Kalman增益G(r,k)
G(r,k)=P(r,k|k-1)ΛT(ΛP(r,k|k-1)ΛT+R)-1 (16)
第三步:更新
第k时刻的误差协方差矩阵P(r,k)与Jacobin矩阵J(r,k)也被同步更新:
误差协方差矩阵更新:P(r,k)=[I-G(r,k)Λ]P(r,k|k-1) (19)
其中,I为6行6列的单位矩阵。
传统EKF的性能与初值的选择息息相关,不准确的初始值可能引起滤波的退化甚至滤波算法的发散。实际应用中,很难获得动态系统的准确非线性随机方程,尤其是噪声的统计特性。在自适应EKF算法中,通过遗忘因子的引入增强当前测量数据在滤波中的作用,消除不准确初值设置对最终估计带来的不良影响。浓度的初始化中,本发明加入定量PAT差值光声信号所得到的荧光分布先验信息以求更加精准地对目标区域进行动态分析。
Claims (3)
1.一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,该方法包括:
步骤1:获取待测目标体的初始光声信号,经定量PAT重建获得待测目标体的背景先验信息;
步骤2:采用双波长光声测量,获取待测目标体的检测光声信号,进行定量PAT计算出待测目标体的血红蛋白浓度、脱氧血红蛋白浓度、血氧饱和度;
步骤3:将检测光声信号与初始光声信号相减获得光声信号差值,定量PAT重建得到由于荧光剂聚集所产生的吸收系数改变,即可作为荧光剂分布先验信息;
步骤4:根据随机荧光产率分布数据库结合步骤1获得的背景先验信息模拟出边界光流量数据库;
步骤5:采用步骤4得到的边界光流量数据库对建立好的卷积神经网络进行训练;
步骤6:获取待测目标体的激发光信号序列与荧光信号序列,将激发光信号序列与荧光信号序列作为卷积神经网络的输入,识别出荧光产率图像序列;
步骤7;基于自适应EKF方法,根据步骤3得到的荧光剂分布先验信息结合荧光产率图像序列计算出药代动力学参数,包括:间室荧光剂浓度变化曲线、渗透率。
2.如权利要求1所述的一种PAT先验信息辅助的基于CNN和自适应EKF的动态FMT重建方法,其特征在于所述步骤4的具体方法为:
步骤4.1:采用定量PAT所获得的背景先验信息作为FMT重建正向计算中的背景光学参数,建立光子输运模型;
步骤4.2:建立与待测目标体几何外形相同的模拟模型,随机生成异质体个数、尺寸、位置和对比度;
步骤4.3:基于耦合扩散方程计算出激发光和荧光在混浊介质中的输运过程;
步骤4.4:基于有限元方法,通过FMT正向计算模拟随机荧光分布条件下的边界出射光流量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911344488.9A CN111103275B (zh) | 2019-12-24 | 2019-12-24 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911344488.9A CN111103275B (zh) | 2019-12-24 | 2019-12-24 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111103275A CN111103275A (zh) | 2020-05-05 |
CN111103275B true CN111103275B (zh) | 2021-06-01 |
Family
ID=70423481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911344488.9A Active CN111103275B (zh) | 2019-12-24 | 2019-12-24 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111103275B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037147B (zh) * | 2020-09-02 | 2024-05-14 | 上海联影医疗科技股份有限公司 | 医学图像降噪方法和装置 |
CN113052297B (zh) * | 2021-03-04 | 2022-11-22 | 吉林大学 | 基于卷积神经网络融合ekf的拖缆姿态解算方法及系统 |
CN113284204B (zh) * | 2021-03-09 | 2024-03-29 | 北京工业大学 | 一种基于模型的深度学习扩散光学层析成像方法 |
CN113367717B (zh) * | 2021-05-26 | 2022-11-22 | 中国科学院深圳先进技术研究院 | 一种锥束x射线荧光成像方法、系统、终端以及存储介质 |
CN115868923B (zh) * | 2022-04-21 | 2024-08-02 | 华中科技大学 | 基于展开式循环神经网络的荧光分子断层成像方法及系统 |
CN114926422B (zh) * | 2022-05-11 | 2023-07-04 | 西南交通大学 | 一种上下车客流量检测方法及系统 |
CN116884518B (zh) * | 2023-09-07 | 2023-11-10 | 中珀(秦皇岛)新材料科技有限公司 | 基于预测压缩的碳纳米颗粒浆料生产数据处理方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103271723A (zh) * | 2013-06-26 | 2013-09-04 | 西安电子科技大学 | 一种生物发光断层成像重建方法 |
CN103389273A (zh) * | 2013-08-01 | 2013-11-13 | 中国科学院自动化研究所 | 一种光声和光学融合的多模态成像系统 |
CN104334576A (zh) * | 2012-06-04 | 2015-02-04 | Irm责任有限公司 | 位点特异性标记方法及由此产生的分子 |
CN104586366A (zh) * | 2015-01-27 | 2015-05-06 | 西安电子科技大学 | 一种激发荧光断层成像重建方法 |
CN106419837A (zh) * | 2016-08-26 | 2017-02-22 | 西北大学 | 基于螺旋式激发的荧光分子断层成像系统 |
EP3159996A1 (en) * | 2015-10-23 | 2017-04-26 | Cooper Technologies Company | Controller and method of controlling power supplied from a small power source to a power grid |
CN107228942A (zh) * | 2017-08-01 | 2017-10-03 | 福州大学 | 基于稀疏自编码神经网络的荧光免疫层析检测方法及装置 |
CN107358653A (zh) * | 2017-08-15 | 2017-11-17 | 北京数字精准医疗科技有限公司 | 成像重建方法及装置 |
CN107563428A (zh) * | 2017-08-25 | 2018-01-09 | 西安电子科技大学 | 基于生成对抗网络的极化sar图像分类方法 |
CN108219782A (zh) * | 2018-04-11 | 2018-06-29 | 江苏省人民医院(南京医科大学第附属医院) | 一种近红外荧光探针及基于该探针的多模态纳米造影剂及其制备和应用 |
CN109446923A (zh) * | 2018-10-10 | 2019-03-08 | 北京理工大学 | 基于训练特征融合的深度监督卷积神经网络行为识别方法 |
CN109923582A (zh) * | 2016-08-26 | 2019-06-21 | 医科达有限公司 | 使用卷积神经网络进行图像分割的系统和方法 |
CN110243827A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 一种适用于光透明样本的快速三维成像方法 |
EP3546926A1 (en) * | 2018-03-28 | 2019-10-02 | PicoQuant Innovations GmbH | Method and device for determining photon arrival times by means of machine learning |
CN110348569A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的实时光学层析方法和系统 |
CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105559750B (zh) * | 2015-12-13 | 2018-06-01 | 北京工业大学 | 组织结构引导的复合正则化生物发光断层成像重建方法 |
JP6915349B2 (ja) * | 2017-04-04 | 2021-08-04 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2019
- 2019-12-24 CN CN201911344488.9A patent/CN111103275B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104334576A (zh) * | 2012-06-04 | 2015-02-04 | Irm责任有限公司 | 位点特异性标记方法及由此产生的分子 |
CN103271723A (zh) * | 2013-06-26 | 2013-09-04 | 西安电子科技大学 | 一种生物发光断层成像重建方法 |
CN103389273A (zh) * | 2013-08-01 | 2013-11-13 | 中国科学院自动化研究所 | 一种光声和光学融合的多模态成像系统 |
CN104586366A (zh) * | 2015-01-27 | 2015-05-06 | 西安电子科技大学 | 一种激发荧光断层成像重建方法 |
EP3159996A1 (en) * | 2015-10-23 | 2017-04-26 | Cooper Technologies Company | Controller and method of controlling power supplied from a small power source to a power grid |
CN109923582A (zh) * | 2016-08-26 | 2019-06-21 | 医科达有限公司 | 使用卷积神经网络进行图像分割的系统和方法 |
CN106419837A (zh) * | 2016-08-26 | 2017-02-22 | 西北大学 | 基于螺旋式激发的荧光分子断层成像系统 |
CN107228942A (zh) * | 2017-08-01 | 2017-10-03 | 福州大学 | 基于稀疏自编码神经网络的荧光免疫层析检测方法及装置 |
CN107358653A (zh) * | 2017-08-15 | 2017-11-17 | 北京数字精准医疗科技有限公司 | 成像重建方法及装置 |
CN107563428A (zh) * | 2017-08-25 | 2018-01-09 | 西安电子科技大学 | 基于生成对抗网络的极化sar图像分类方法 |
EP3546926A1 (en) * | 2018-03-28 | 2019-10-02 | PicoQuant Innovations GmbH | Method and device for determining photon arrival times by means of machine learning |
CN108219782A (zh) * | 2018-04-11 | 2018-06-29 | 江苏省人民医院(南京医科大学第附属医院) | 一种近红外荧光探针及基于该探针的多模态纳米造影剂及其制备和应用 |
CN109446923A (zh) * | 2018-10-10 | 2019-03-08 | 北京理工大学 | 基于训练特征融合的深度监督卷积神经网络行为识别方法 |
CN110243827A (zh) * | 2019-07-18 | 2019-09-17 | 华中科技大学 | 一种适用于光透明样本的快速三维成像方法 |
CN110348569A (zh) * | 2019-07-18 | 2019-10-18 | 华中科技大学 | 基于卷积神经网络的实时光学层析方法和系统 |
CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
Non-Patent Citations (8)
Title |
---|
Deep-Tissue Reporter-Gene Imaging with Fluorescence and Optoacoustic Tomography: A Performance Overview;Nikolaos C;《RESEARCH ARTICLE》;20141231;第16卷(第5期);第652-660页 * |
In Vivo Photoacoustic Tomography of Chemicals: High-Resolution Functional and Molecular Optical Imaging at New Depths;Chulhong Kim;《Chemical Reviews》;20101231;第110卷(第5期);第2756-2782页 * |
Non-stationary reconstruction for dynamic fluorescence molecular tomography with extended kalman filter;XIN LIU;《BIOMEDICAL OPTICS EXPRESS》;20161130;第7卷(第11期);第1-16页 * |
Rapid volumetric optoacoustic imaging of neural dynamics across the mouse brain;Sven Gottschalk;《Nat ure Biomedical Engineering》;20190331;第3卷;第392-401页 * |
基于卷积神经网络检测肺结节;侍新;《中国医学影像技术》;20181231;第34卷(第6期);第934-939页 * |
基于高斯马尔可夫随机场模型的光学层析图像重建;官金兰;《农家参谋》;20190228;第213-214页 * |
声学特性不均匀组织的光声层析图像重建研究进展;段爽;《生物医学工程学杂志》;20190630;第36卷(第3期);第486-492页 * |
混合光传输模型在多光谱契伦科夫荧光断层成像前向问题中的应用;任青云;《光子学报》;20181231;第47卷(第11期);第1-12页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111103275A (zh) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111103275B (zh) | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 | |
Gröhl et al. | Deep learning for biomedical photoacoustic imaging: A review | |
Bench et al. | Toward accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in three dimensions | |
Brooksby et al. | Near-infrared (NIR) tomography breast image reconstruction with a priori structural information from MRI: algorithm development for reconstructing heterogeneities | |
Zhang et al. | UHR-DeepFMT: ultra-high spatial resolution reconstruction of fluorescence molecular tomography based on 3-D fusion dual-sampling deep neural network | |
CN104220007B (zh) | 物体观测装置和物体观测方法 | |
US20100208965A1 (en) | Method and Apparatus for Tomographic Imaging of Absolute Optical Absorption Coefficient in Turbid Media Using Combined Photoacoustic and Diffusing Light Measurements | |
Yang et al. | High-resolution mesoscopic fluorescence molecular tomography based on compressive sensing | |
CN102034266B (zh) | 激发荧光断层成像的快速稀疏重建方法和设备 | |
CN103300829B (zh) | 一种基于迭代重加权的生物自发荧光断层成像方法 | |
Murad et al. | Reconstruction and localization of tumors in breast optical imaging via convolution neural network based on batch normalization layers | |
Yang et al. | Improving mesoscopic fluorescence molecular tomography via preconditioning and regularization | |
Kao et al. | Quantifying tissue optical properties of human heads in vivo using continuous-wave near-infrared spectroscopy and subject-specific three-dimensional Monte Carlo models | |
CN113066144B (zh) | 一种基于深度学习的多模态扩散光学层析成像重建方法 | |
Mozumder et al. | Approximate marginalization of absorption and scattering in fluorescence diffuse optical tomography | |
Gröhl et al. | Moving beyond simulation: data-driven quantitative photoacoustic imaging using tissue-mimicking phantoms | |
Mudeng et al. | Computational image reconstruction for multi-frequency diffuse optical tomography | |
CN111795955B (zh) | 基于多层感知神经网络的荧光药代动力学层析成像的方法 | |
Jalalimanesh et al. | Deep learning based image reconstruction for sparse-view diffuse optical tomography | |
Aspri et al. | Mathematical and numerical challenges in diffuse optical tomography inverse problems | |
Guerra et al. | An iterative method of light fluence distribution estimation for quantitative photoacoustic imaging | |
Zuo et al. | Impact of reconstruction algorithms on diffuse correlation tomography blood flow imaging | |
CN112089434B (zh) | 一种多光谱生物发光断层成像方法和系统 | |
Sivasubramanian et al. | Deep learning for image processing and reconstruction to enhance led-based photoacoustic imaging | |
García et al. | Simultaneous retrieval of optical and geometrical parameters of multilayered turbid media via state-estimation algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |