CN113288188A - 基于分组注意力残差网络的锥束x射线发光断层成像方法 - Google Patents
基于分组注意力残差网络的锥束x射线发光断层成像方法 Download PDFInfo
- Publication number
- CN113288188A CN113288188A CN202110532495.2A CN202110532495A CN113288188A CN 113288188 A CN113288188 A CN 113288188A CN 202110532495 A CN202110532495 A CN 202110532495A CN 113288188 A CN113288188 A CN 113288188A
- Authority
- CN
- China
- Prior art keywords
- residual error
- network
- simulation
- luminous flux
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003325 tomography Methods 0.000 title claims abstract description 17
- 238000004875 x-ray luminescence Methods 0.000 title claims abstract description 14
- 238000004088 simulation Methods 0.000 claims abstract description 36
- 239000002245 particle Substances 0.000 claims abstract description 34
- 230000004907 flux Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000002474 experimental method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000013461 design Methods 0.000 claims abstract description 3
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 210000004185 liver Anatomy 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 210000002216 heart Anatomy 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000003734 kidney Anatomy 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 3
- 210000002784 stomach Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 27
- 230000006870 function Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 15
- 239000002105 nanoparticle Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010603 microCT Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000003068 molecular probe Substances 0.000 description 2
- 238000010172 mouse model Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 238000005415 bioluminescence Methods 0.000 description 1
- 230000029918 bioluminescence Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000004613 tight binding model Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/485—Diagnostic techniques involving fluorescence X-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Operations Research (AREA)
- Pulmonology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明涉及一种基于分组注意力残差网络的锥束X射线发光断层成像方法，包括下列步骤:1)生成模拟数据集：根据锥束XLCT成像系统，构建相应的仿真系统，包括仿体构建及光源探测器布配方案设计；2)数据集预处理：将仿真实验光通量密度值Φ作为分组注意力残差网络的输入特征，纳米荧光粒子的密度分布ρ作为标签数据，对输入数据即仿真实验光通量密度值Φ进行归一化处理；3)基于ResNet18残差网络进行改进，搭建分组注意力残差网络；4)训练网络；5)重建图像：通过实验获取不同情况下CCD探测器的仿体实验光通量密度值，并进行归一化处理，并输入到保存好的网络模型，实现XLCT图像三维重建。
Description
技术领域
本发明属于生物医学工程及医学影像学领域，涉及一种基于分组注意力残差网络的锥束X射线发光断层成像方法。该成像方法可在小动物实验中获取靶向目标的强度分布信息，在未来的人体肿瘤检测上有广泛的应用发展前景。
背景技术
光学分子影像作为分子成像技术的重要分支，因具有成本低、灵敏度高等优势得到了广泛的关注。光学分子影像主要包括生物发光断层成像、荧光分子断层成像、扩散光学断层成像和X射线发光断层成像等技术，其中，XLCT是基于X射线微型断层成像的成像机理，借助于目前快速发展的现代光学分子探针合成技术，利用具有X射线激发发光性质的纳米荧光颗粒合成的分子探针，构建一种基于micro-CT的新型光学分子成像系统。这种成像技术相比于其他光学分子影像技术而言，是一种可以同时实现结构性成像和光学分子的功能信息成像的双模态成像技术，具有高空间分辨率、高成像灵敏度和更深的探测深度等优势，受到国内外学者的广泛关注。同时，这种成像模态能够克服光学分子成像的缺陷，实现任意角度的数据采集，并且不会受到外界信号的干扰，为肿瘤的早期发现提供了重要依据，具有广泛的发展前景。
目前，XLCT成像系统根据激发模式的不同，可分为窄束XLCT和锥束XLCT。窄束XLCT利用窄形X射线束扫描物体，X射线束只有照射到具有荧光纳米粒子的位置才会激发其产生近红外光。因此，窄束XLCT可利用“激发先验”的优势获取高分辨率的重建结果，但是过长的扫描时间限制了其临床应用的发展；而锥束XLCT由于其扫描时间短会更加高效和实用，自从2013年提出以后，其发展迅速，越来越受到重视。但相比于窄束XLCT，锥束XLCT由于缺乏“激发先验”信息，图像重建质量不高一直是其痛点问题，因此提高图像重建质量是锥束XLCT迫切需要解决的关键问题。
近年来，深度学习算法是生物医学图像领域关注度很高的一类算法，深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度学习的本质是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的识别有很大的帮助。其中，深度学习在语音和图像识别方面取得的效果，远远超过如支持向量机、高斯混合模型等相关技术。深度学习模型可以直接处理原始数据，可以采用自动提取特征的深层神经网络系统，以便其充分提取数据的复杂特征，解决了人工提取特征不完整的问题。
发明内容
目前发展的锥束XLCT成像技术在扫描效率方面具有优势，但其成像分辨率不高，如何在保证较少的扫描时间的前提下提高图像重建质量是锥束XLCT需要解决的痛点问题。本发明的目的是克服现有技术的上述不足，提供一种基于分组注意力残差网络的锥束X射线发光断层成像方法，可以在较少的投影角度且信噪比较低的环境下，有效的提高图像重建质量。。本发明提出的基于分组注意力残差网络的锥束XLCT重建算法，将领域知识(纳米荧光粒子的正确密度分布范围)集成到深度网络的模型训练中，使得锥束XLCT在训练数据稀疏(使用较少投影视图-四视图)、信噪比较低的环境中，也可显著提高重建图像分辨率，即准确获取成像物体内部的纳米荧光粒子的空间分布图像。技术方案如下：
一种基于分组注意力残差网络的锥束X射线发光断层成像方法，包括下列步骤:
1)生成模拟数据集：根据锥束XLCT成像系统，构建相应的仿真系统，包括仿体构建及光源探测器布配方案设计，方法如下：
第1步：构建数字鼠躯干仿体，方法为：设置一个空心圆柱，将具有肺脏、胃脏、心脏、肝脏和肾脏器官的数字鼠躯干模型与空心圆柱进行坐标匹配，使它们的中心保持一致，其中，数字鼠躯干仿体与空心圆柱的缝隙区域的光学参数被设定为相当于肌肉组织；
第2步：结合有限元分析方法，利用Comsol软件将数字鼠躯干仿体剖分为连续且不重叠的四面体单元，边界剖分为连续且不重叠的三角形单元，四面体单元和三角形单元的顶点为有限元节点；
第3步：在数字鼠躯干仿体的肝脏位置处嵌入不同大小、不同位置、不同间距的纳米荧光粒子目标体并设置其纳米荧光粒子的密度分布；
第4步：根据辐射传输方程的正向模型总方程Φ＝A·ρ，其中，A是整体系统矩阵，Φ为仿真实验光通量密度值，ρ为纳米荧光粒子的密度分布，得到各扫描角度下纳米荧光粒子受X射线激发产生的近红外光信号，利用此近红外光信号来表征仿真实验光通量密度值Φ；
2)数据集预处理：将仿真实验光通量密度值Φ作为分组注意力残差网络的输入特征，纳米荧光粒子的密度分布ρ作为标签数据，对输入数据即仿真实验光通量密度值Φ进行归一化处理；
3)基于ResNet18残差网络进行改进，搭建分组注意力残差网络，方法如下：
第1步：构建分组注意力残差基本单元，在ResNet18残差基本单元中嵌入分组注意力模块CA v2，改进后的分组注意力残差基本单元包括批标准化，非线性激活函数ReLU，卷积层，分组注意力模块CA v2；
第2步：构建分组注意力残差模块，1个分组注意力残差模块由1个残差基本单元和1个分组注意力残差基本单元堆叠而成；
第3步，构建分组注意力残差网络，分组注意力残差网络由1层卷积层、4个分组注意力残差模块、1层全连接层堆叠而成，网络结构最后的全连接层用以输出剖分后仿体各个节点处的纳米荧光粒子的密度分布；
4)训练网络：将处理好的训练集数据输入网络进行训练，并合理设置超参数，网络训练结束后保存模型，其中，网络损失函数采用添加纳米荧光粒子的正确密度分布范围的自适应域损失函数；
5)重建图像：通过实验获取不同情况下CCD探测器的仿体实验光通量密度值Φ’，并将仿体实验光通量密度值Φ’进行归一化处理，并输入到保存好的网络模型，实现XLCT图像三维重建。
本发明对于分组注意力残差网络和锥束XLCT系统进行了结合，充分利用了锥束XLCT系统扫描时间短和分组注意力残差网络可以模拟复杂函数的特性。通过对传统的ResNet网络进行修改创新，在网络的残差基本单元内部嵌入分组注意力模块CA v2，扩大全局感受野，使得网络更专注于识别具有目标体通道的特征图。此外，采用添加近似性约束的损失函数训练模型，从噪声数据中提取相关信号，突出了基于域的约束给归纳学习模型带来的鲁棒性，提高了网络模型的拟合性能和抗噪能力。本发明通过在数字鼠仿体中进行模拟实验验证了方法的有效性和可行性。本发明方法与目前的传统算法如ART、L2正则化相比，在较少的投影角度(稀疏角度)且高噪声环境下，依然能清晰准确重建出不同大小，不同位置的目标体形状和密度分布，提高了图像重建质量。本发明为解决锥束XLCT图像重建提供了一种新的思路和想法。对最终发展出具有临床意义的XLCT具有重要的研究意义。
附图说明
图1锥束XLCT成像系统结构图
图2网络结构图
图3数字鼠仿体
图4残差基本单元和分组注意力残差基本单元
图5分组注意力模块CA v2结构图
图6图像重建结果比较之一
图7图像重建结果比较之二
具体实施方式
下面结合附图和实施例，对本发明进行说明。
(一)锥束XLCT成像系统
实验成像系统为Pixarray 100小动物数字放射成像系统(美国BIOPTICS公司制造)。该系统的探测器为1024×1024的CCD阵列，像素大小为50μm×50μm，14级灰度，横向及纵向的空间分辨率均为每毫米20像素；X射线管的焦斑尺寸为50μm。实验中，X射线源的工作电压为40kV，工作电流为0.5mA。图1所示为锥束XLCT系统结构图，在这套系统中，X射线源位于物体的正前方且到物体的距离为80cm，锥形束X射线源和X射线平板探测器相当于一个micro-CT，能够实现传统的CT结构成像。同时，X射线束会激发磷光纳米粒子产生近红外光子，CCD相机作为光学检测器用于测量目标发射的可见光或近红外发光，CCD相机在仿体的一侧且与X射线源成90°放置，同时，为了保护CCD相机在实验过程中免受高能量X射线的照射，需要使用铅板将CCD相机与X射线进行隔离。放置成像物体的载物台位于X射线的焦点处，通过安装在可上下移动的升降台上来调整扫描深度。旋转台安装在旋转台上，以实现不同投影角度的扫描，然后安装在线性平移台上，以实现特定投影角度下的线性扫描。整个实验在一个密闭的且无辐射泄露的环境中进行，以防止X射线对实验人员的辐射以及环境光对实验数据的影响。
(二)锥束X射线发光断层成像原理
在XLCT成像过程中，X射线源发出的X射线穿透生物组织，照射到纳米发光材料，激发其产生近红外光，X射线的强度在整个过程中会发生变化，根据朗伯比尔定律，可得到在生物组织中X射线的强度变化：
其中，X(r0)是X射线在初始位置r0处的强度，μ(τ)是X射线在位置τ处的衰减系数。
在成像过程中，纳米发光材料经过X射线照射后，受激发出近红外光，激发出的光源强度可表示为：
S(r)＝εX(r)ρ(r). (2)
其中，S(r)是近红外光强度，ρ(r)是纳米荧光粒子在位置r处的密度分布，单位为mg/mL，ε是光子产率。
光子在生物软组织中的传播过程可以用辐射传输方程(RTE)来描述，由于生物软组织对近红外光具有高散射性和低吸收性的特性，RTE一般被近似为扩散方程，因此成像模型可以表达为：
其中，D(r)＝(3(μa(r)+(1-g)μs(r)))-1是扩散系数，μa(r)是吸收系数，g是各向异性参数，μs(r)是散射系数，Φ(r)是光通量密度值。
采用稳态扩散方程描述光子传播，在边界处可由罗宾边界条件进行补充：
其中，v(r)是边界r处的外法线向量，κ＝(1+Rf)/(1-Rf)，Rf为扩散传输内反射系数，Rf≈-1.4399n-2+0.7099n-1+0.6681+0.0636n，n为组织体对环境的相对折射率。
扩散方程求解主要基于有限元法，该方法可用于任意形状的网格分割区域，并且求得的解精度较高。其中，在实际中伽辽金有限单元法被广泛采用，伽辽金有限单元法可以分为以下步骤：
①结合扩散方程和罗宾边界条件建立积分形式
其中，ψ(r)是实验函数，且满足平方可积条件。
②建立有限元空间
对成像物体进行有限元剖分，得到多个连续且不重叠的单元。并用基函数(或称形状函数)的线性组合表示扩散方程的解表示。于是有：
其中，Np为节点个数。
③建立总刚度矩阵
将式(6)带入式(4)和(5)中，可得到每个单元刚度矩阵，而总的刚度矩阵是由多个单元刚度矩阵组合得到的，如下：
M·Φ＝S (7)
将式(1)和(2)带入到式(7)中，可得：
M·Φ＝F·ε·X·ρ (8)
其中，
式(9)中，ψi和ψj为相应的单元测试函数，Xi,j(r)是每个节点上X射线的强度。因为方程(8)中的矩阵M是正定的，因此可以得到：
Φ＝M-1·F·S＝M-1·F·ε·X·ρ＝A·ρ (10)
将式(9)带入到(10)中，即可得到仿真实验光通量密度值Φ。实际应用时，整体系统矩阵A的获得依靠求解格林函数。
由于上述的离散过程导致了实际测量数据个数远远小于待求的未知量个数，并且方程的解很容易受噪声干扰，因此很难用直接的矩阵求逆的方法得到纳米荧光粒子的密度分布ρ。在此情形下，我们希望通过用深度学习的方法构建出光通量密度值Φ与仿体内部纳米荧光粒子的密度分布ρ的逆向模型，从而实现XLCT图像重建。
目前，可用于构建图像重建模型的深度学习方法有传统的GoogLeNet，ResNet网络以及DenseNet网络等。结合我们的项目需求及实际应用场景，本发明结合了经典的ResNet网络并加以创新改进，最终得到本发明所应用的分组注意力残差网络。网络结构如图2所示。在残差网络中的残差基本单元内部嵌入注意力模块(Channel Attention，CA)，该模块可以自适应的给不同的通道赋以相应的权值，放大含有丰富高频信息的通道的权重，缩小含有大量冗余低频信息的通道的权重，以此加强模型的泛化能力、加速网络收敛、进一步提升网络性能。
为进一步减少CA所带来的计算量，本发明在CA内部采取分组卷积，并在分组卷积后采取相应措施融合分组信息，避免信息孤立问题，改进后的分组注意力模块命名为CAv2。
为进一步增强网络模型的鲁棒性，本发明在分组注意力残差网络基础上，改进其损失函数，加入自适应领域知识，将结果变量的正常定量范围(即纳米荧光粒子的正确密度分布范围)作为自适应领域知识，将其结合到深度前馈神经网络的训练损失函数中，用于强制从训练数据中学习的模型符合可接受的领域规则。
(三)基于分组注意力残差网络的锥束X射线发光断层成像方法技术流程
本发明基于分组注意力残差网络的锥束X射线发光断层成像方法的流程描述如下：
1.生成模拟数据集。
1.1正向模型构建：首先，建立锥束X射线发光断层成像系统并制作数字鼠躯干仿体，通过计算机仿真的方法模拟实际实验获取训练数据集，具体操作流程为：采用由南加州大学与UCLA医学院联合开发的标准数字鼠模型，参见Dogdas B,Stout D,Chatziioannou AF,et al.Digimouse:a 3D whole body mouse atlas from CT and cryosection data.[J].Physics in Medicine&Biology,2007,52(3):577-587。其横断面的最大直径约为3.3cm，总长度大约为8.72cm。由于此标准数字鼠的结构较为复杂，因此本发明在此基础上对标准数字鼠模型进行一定的简化处理，即仅研究躯干部分的几个主要器官区域，比如肺、胃、心脏、肝脏和肾等。因此，设计一个高为3cm,半径为1.5cm的空心圆柱，将其躯干简化部分嵌入圆柱体成像腔内，构建数字鼠躯干仿体。具体实施过程为：将简化躯干模型与该空心圆柱坐标进匹配，使他们的中心保持一致。另外，在数字鼠躯干仿体与空心圆柱的缝隙区域，其光学参数被设定为肌肉组织相同。而后，利用Comsol软件对此数字鼠躯干仿体进行有限元剖分，建立模型，仿体内部剖分为连续且不重叠的四面体单元，边界剖分为连续且不重叠的三角形单元，四面体和三角形的顶点即为有限元节点，有限元节点的个数为9446个。模拟过程中，由于荧光纳米粒子通常聚集在肝脏肿瘤等位置处，因此，在数字鼠躯干仿体的肝脏位置处随机嵌入两个半径相同且变化范围为0.1cm-0.3cm之间，高为0.5cm且充满荧光纳米粒子的小圆柱状目标体，如果位置r处的节点(noder)在小圆柱范围(Ωi)之内，其纳米荧光粒子的密度值ρi(r)设置为1mg/mL，否则设置为0mg/mL；表达式如下所示：
其中，i为小球的序号。考虑到目标体可能在肝脏的任何位置和具有不同大小，因此模拟过程中，双目标小圆柱体的位置应遍历肝脏所处的整个空间，同时，两个目标体之间具有不同的间距和同步变化的大小。仿真模拟时，将提前设置好目标体，然后辐射传输方程用有限元法求解方程从而得到仿真实验光通量密度值Φ，即由总方程Φ＝A·ρ求出Φ，其中A是整体系统矩阵，Φ为仿真实验光通量密度值，ρ为纳米荧光粒子的密度分布。接下来，对于每个数据样本，分别对仿体旋转0°、90°、180°、270°四个不同角度进行探测，最后每个样本的光通量密度值Φ为紧贴在仿体表面的且大小为128×128×4三维矩阵。由此，深度学习模型的输入为成像物体表面的光通量密度值Φ，标签数据为成像物体内部的纳米荧光粒子的密度分布ρ。数据集生成后进行乱序处理，而后按照7：2：1进行划分，最终选取数据集18850组，训练集13195组，测试集3770组，验证集1885组。
1.2实验参数设置：数字鼠躯干仿体的半径设置为1.5cm，高为3cm，纳米荧光粒子目标体半径为0.1cm-0.3cm，纳米荧光粒子的密度设置为1mg/mL，X射线束宽度为0.01cm，探测角度为0°、90°、180°、270°四个角度，探测阵列为128×128。
2.对数据集进行预处理。
将仿真实验光通量密度值Φ进行归一化处理，作为网络的输入数据，纳米荧光粒子的密度分布ρ作为标签数据，将仿真实验光通量密度值Φ和纳米荧光粒子的密度分布ρ转换为Tensorflow平台可识别的.npz文件格式。
3.搭建分组注意力残差网络框架。
在本发明中分组注意力残差网络主要基于分组注意力残差模块的堆叠，一个分组注意力残差模块包含一个残差基本单元(如图4)和一个分组注意力残差基本单元(如图4)。
本网络共包含4个分组注意力残差模块，其中，残差基本单元主要由批标准化、激活函数ReLU、卷积层构成；分组注意力残差基本单元主要由批标准化、激活函数ReLU、卷积层、分组注意力模块CA v2(如图5)构成。每个基本单元皆可实现残差跳连，通过使用有参层来直接学习输入、输出之间的映射。此外，残差结构可以更方便地引入更深的网络层数，同时也能较好的解决模型退化问题。
3.1在分组注意力模块(CA v2)中，将原有的通道注意力模块(ChannelAttention，CA)的单输入x拆分为多组输入x1，x2，x3，x4，而后以分组卷积的形式来提取注意力信息，既能增大注意力的范围(感受野)便于检测目标体位置又能较好的预测其浓度信息，同时也不会带来较大的参数与计算量。与此同时，由于在注意力中采用分组机制，会存在各个分组之间信息孤立问题，削弱了卷积的表达能力，所以在分组通道注意力后添加1×1卷积操作，在避免额外引入过多参数的同时促进组间与组内信息融合与信息流通。
3.2本发明中的输入为大小为128×128×4的四通道矩阵(128×128为探测器阵列，4为仿体的四个投影角度)。首先，通过一个卷积核数为64，大小为3×3，步长为1的卷积层，提取特征图浅层信息并进行通道扩充，扩充后的图像通道数为64，大小不变。而后，将浅层特征图信息依次通过四个分组注意力残差模块，进行深层特征图信息提取和处理。其中，一个分组注意力残差模块包含一个残差基本单元和一个分组注意力残差基本单元。经过每个模块后图像大小减半，图像大小分别为64×64，32×32，16×16，8×8，通道数为之前的2倍，分别为64，128，256，512。在一系列的特征提取过后，图像通过全局平均池化层(GlobalAverage Pooling)，对整个网络结构进行正则化防止过拟合。最后连接一个全连接层(Dense)，神经元个数为9446(9446为剖分后的节点数)，输出各个节点处的纳米荧光粒子的密度信息。而后，使用反向传播算法更新网络权重参数，经过多次迭代后，得到训练好的网络模型并进行保存。
3.3损失函数采用自适应域损失函数，其主要原理为在TensorFlow自带的平滑平均绝对误差Huber Loss上加入近似约束损失函数，并共同作用于网络的权值参数更新过程。本发明的损失函数可以在训练期间从数据和域知识中学习，突出基于域的约束给归纳学习模型带来的鲁棒性。整体损失函数计算公式如下：
其中，
为Huber Loss损失函数，Y为真实值标签，
为预测值，HuberLoss公式如下:
ReLU(z)＝z+＝max(0,z)
R(f)是用于控制模型f的模型复杂性的L2正则化项。λ是决定正则项权重的另一个超参数。yl为纳米荧光粒子的密度分布范围中的最小值，yu为纳米荧光粒子的密度分布范围中的最大值。
4.训练模型。
4.1合理设置超参数：优化器选择Adam，学习率设为0.0001。本项目的模拟实验的纳米荧光粒子的密度分布是限制在1mg/ml以内的，所以将数学表达式中的yl设置为0，yu设置为1(如果设置为其他密度，可以根据实际情况进行yl和yu的调整)，λD为1，λ为1，δ为1；
4.2使用搭建好的网络对训练集进行训练。
5.重建图像。
保存训练好的模型，将通过实验获取不同情况下CCD探测器的仿体实验光通量密度值Φ’进行归一化处理，而后输入到保存好的网络模型中，实现XLCT图像的三维重建。
本发明采取分组注意力残差网络对锥束XLCT进行重建。首先对于训练数据，采用模拟有限元法解辐射传输方程的方法获取训练数据，选取目标体大小、距离、位置随机的双目标体进行大量数值模拟，用于网络的训练。其次，在数值模拟时，仿体的大小位置，X射线源的位置以及探测器的位置都严格按照实际实验系统进行模拟。
结果表明，分组注意力残差网络对于数字鼠躯干仿体的双目标体仿真模拟实验，最小可分辨半径为0.2cm的小目标体。其无噪声时的位置误差最小为0.03cm，与一些传统方法例如ART、L2正则化相比，该方法的位置误差保持在非常低的水平，进一步提高了图像重建质量。另外，本发明所提出的方法可以清晰重建并分辨出出心心距离为0.7cm的双目标体，重建出高质量图像。最后，面对实际实验中不确定的噪声，即使在信噪比为30dB的低信号环境下，分组注意力残差网络依旧保持较好的重建结果，突出了基于域的约束给归纳学习模型带来的鲁棒性。
(1)测试数据的设置：
本发明采用锥束扫描方法，激发荧光纳米粒子发出近红外光，位于物体一侧且与X射线源呈90°的CCD相机用于探测近红外光信号进行光学图像拍摄，并将此时的数字影像传入电脑。投影角度选取了0°，90°，180°，270°四个方向。大圆柱仿体半径为1.5cm，高为3cm，探测阵列为128×128，在圆柱形数字鼠仿体的肝脏位置处嵌入两个充满纳米荧光纳米粒子的小圆柱，小圆柱半径范围为0.1cm至0.3cm，高为0.5cm，双目标体中心之间的距离介于0.6cm-1cm之间，纳米荧光粒子的密度分布为1mg/mL。结果展示中，将展示心心距离为0.7cm，0.9cm两种磷光纳米粒子的重建图像，同时，为了进一步验证模型的鲁棒性，分别设置了无噪声、信噪比为50dB、40dB、30db四种情况。
(2)评价指标选取：
为了对图像重建结果做出客观公正的评价，本文实验采用位置误差(theLocation Error,LE)、均方误差(Mean Square Error,MSE)、杰卡德指数(Jaccard Index)三个指标进行定量分析，计算公式如下：
①位置误差(LE)
LE表示重建目标体中心位置和真实目标体的中心位置误差，LE值越小，表明重建目标体越接近真实目标体，表达式为：
LE＝‖Lr-Lt‖2
其中，Lr是重建目标体的中心位置，Lt是真实目标体的中心位置。
②均方误差(MSE)
MSE用来评估重建图像与实际图像之间的误差，MSE越小，表明重建的图像更接近真实图像。表达式为：
MSE＝ABE2+VAR
其中，N为有限元节点数，xtrue(i)为第i个节点处的磷光纳米粒子浓度真实值，xrecon(i)为第i个节点处的磷光纳米粒子浓度重建值。
③Jaccard Index
Jaccard指数也被称为并交比(Intersection over Union，简称IoU)和Jaccard相似系数(Jaccard similarity coefficient)(Paul Jaccard最初创造的系数)，该指标用于测量真实值和预测值之间的相关度(包括位置和形状)，相关度越高，该值越高。表达式为：
其中，ROIr是重建区域中强度值大于最大值30％的体元的面积，ROIt是实际目标体区域的面积。
(3)结果展示：
①目标体半径为0.25cm，在不同心心距(0.7cm、0.9cm)下的算法验证
表1
| 心心距(cm) | LE(mm) | MSE | Jaccard Index(％) |
| 0.7 | 0.3786 | 0.1092 | 82.87％ |
| 0.9 | 0.3021 | 0.1041 | 85.26％ |
图6为不同心心距的测试样本图像重建效果，第一行图片为心心距为0.7cm的重建图像，第二行图片为心心距为0.9cm的重建图像。从以上重建图像我们可以直观看到，即使心心距离低至0.7cm，本发明提出的方法依然可以清晰的分辨两个目标体，重建出高质量图像。同时，根据相关评价指标表1中的Jaccard Index和MSE进行分析，我们可以看到目标体间距越大，重建得到的预测浓度值越准确，形状也越接近真实值。
②目标体半径为0.2cm,心心距离为0.9cm双目标在不同噪声的环境中(无噪声、50dB、40dB、30dB)的算法验证
表2
| 信噪比(dB) | LE(mm) | MSE | Jaccard Index(％) |
| 100 | 0.3447 | 0.1327 | 84.38％ |
| 50 | 0.3447 | 0.1327 | 84.38％ |
| 40 | 0.3457 | 0.1328 | 84.38％ |
| 30 | 0.3464 | 0.1328 | 84.06％ |
接下来对更小的目标体—半径为0.2cm的目标体进行测试，根据图7可以看到，即使对于小目标，本发明提出的模型也可以较为准确的重建出其位置、形状和浓度。由表2可知，即使在信噪比较低的30dB的情况下，目标体的Jaccard Index也保持在84％以上，浓度误差MSE低于0.14。这也较好的验证了本发明中提出的分组注意力残差算法可以基于注意力机制较好的聚焦于信号集中区域，提高模型在信号稀疏与高噪声环境下的鲁棒性。此外，我们可以看到预测的浓度值始终保持在正确科学的浓度范围之内(1mg/mL)，这也进一步验证了我们在损失函数中加入领域自适应域约束的有效性。
Claims (1)
1.一种基于分组注意力残差网络的锥束X射线发光断层成像方法，包括下列步骤:
1)生成模拟数据集：根据锥束X射线发光断层成像系统，构建相应的仿真系统，包括仿体构建及光源探测器布配方案设计，方法如下：
第1步：构建数字鼠躯干仿体，方法为：设置一个空心圆柱，将具有肺脏、胃脏、心脏、肝脏和肾脏器官的数字鼠躯干模型与空心圆柱进行坐标匹配，使它们的中心保持一致，其中，数字鼠躯干仿体与空心圆柱的缝隙区域的光学参数被设定为相当于肌肉组织；
第2步：结合有限元分析方法，利用Comsol软件将数字鼠躯干仿体剖分为连续且不重叠的四面体单元，边界剖分为连续且不重叠的三角形单元，四面体单元和三角形单元的顶点为有限元节点；
第3步：在数字鼠躯干仿体的肝脏位置处嵌入不同大小、不同位置、不同间距的纳米荧光粒子目标体并设置其纳米荧光粒子的密度分布；
第4步：根据辐射传输方程的正向模型总方程Φ＝A·ρ，其中，A是整体系统矩阵，Φ为仿真实验光通量密度值，ρ为纳米荧光粒子的密度分布，得到各扫描角度下纳米荧光粒子受X射线激发产生的近红外光信号，利用此近红外光信号来表征仿真实验光通量密度值Φ；
2)数据集预处理：将仿真实验光通量密度值Φ作为分组注意力残差网络的输入特征，纳米荧光粒子的密度分布ρ作为标签数据，对输入数据即仿真实验光通量密度值Φ进行归一化处理；
3)基于ResNet18残差网络进行改进，搭建分组注意力残差网络，方法如下：
第1步：构建分组注意力残差基本单元，在ResNet18残差基本单元中嵌入分组注意力模块CA v2，改进后的分组注意力残差基本单元包括批标准化，非线性激活函数ReLU，卷积层，分组注意力模块CA v2；
第2步：构建分组注意力残差模块，1个分组注意力残差模块由1个残差基本单元和1个分组注意力残差基本单元堆叠而成；
第3步，构建分组注意力残差网络，分组注意力残差网络由1层卷积层、4个分组注意力残差模块、1层全连接层堆叠而成，网络结构最后的全连接层用以输出剖分后仿体各个节点处的纳米荧光粒子的密度分布；
4)训练网络：将处理好的训练集数据输入网络进行训练，并合理设置超参数，网络训练结束后保存模型，其中，网络损失函数采用添加纳米荧光粒子的正确密度分布范围的自适应域损失函数；
5)重建图像：通过实验获取不同情况下CCD探测器的仿体实验光通量密度值Φ’，并将仿体实验光通量密度值Φ’进行归一化处理，并输入到保存好的网络模型，实现锥束X射线发光断层成像图像三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532495.2A CN113288188B (zh) | 2021-05-17 | 2021-05-17 | 基于分组注意力残差网络的锥束x射线发光断层成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110532495.2A CN113288188B (zh) | 2021-05-17 | 2021-05-17 | 基于分组注意力残差网络的锥束x射线发光断层成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113288188A true CN113288188A (zh) | 2021-08-24 |
| CN113288188B CN113288188B (zh) | 2023-10-10 |
Family
ID=77322496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110532495.2A Active CN113288188B (zh) | 2021-05-17 | 2021-05-17 | 基于分组注意力残差网络的锥束x射线发光断层成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113288188B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115998337A (zh) * | 2022-12-02 | 2023-04-25 | 天津大学 | 一种基于线性残差分解的三维穿颅超声成像方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| CN109410337A (zh) * | 2017-08-15 | 2019-03-01 | 北京蜂鸟互动科技有限公司 | 一种基于vr模型的人工智能医疗系统实现方法、系统 |
| CN109589126A (zh) * | 2018-10-18 | 2019-04-09 | 天津大学 | 基于宽光束小步长扫描方式的x射线发光断层成像方法 |
| WO2020028382A1 (en) * | 2018-07-30 | 2020-02-06 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN111798535A (zh) * | 2020-09-09 | 2020-10-20 | 南京安科医疗科技有限公司 | Ct图像增强显示方法及计算机可读存储介质 |
| CN111915733A (zh) * | 2020-08-11 | 2020-11-10 | 天津大学 | 基于LeNet网络的三维锥束X射线发光断层成像方法 |
-
2021
- 2021-05-17 CN CN202110532495.2A patent/CN113288188B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| CN109410337A (zh) * | 2017-08-15 | 2019-03-01 | 北京蜂鸟互动科技有限公司 | 一种基于vr模型的人工智能医疗系统实现方法、系统 |
| WO2020028382A1 (en) * | 2018-07-30 | 2020-02-06 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
| CN109589126A (zh) * | 2018-10-18 | 2019-04-09 | 天津大学 | 基于宽光束小步长扫描方式的x射线发光断层成像方法 |
| CN111915733A (zh) * | 2020-08-11 | 2020-11-10 | 天津大学 | 基于LeNet网络的三维锥束X射线发光断层成像方法 |
| CN111798535A (zh) * | 2020-09-09 | 2020-10-20 | 南京安科医疗科技有限公司 | Ct图像增强显示方法及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 施俊;汪琳琳;王珊珊;陈艳霞;王乾;魏冬铭;梁淑君;彭佳林;易佳锦;刘盛锋;倪东;王明亮;张道强;沈定刚;: "深度学习在医学影像中的应用综述", 中国图象图形学报, no. 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115998337A (zh) * | 2022-12-02 | 2023-04-25 | 天津大学 | 一种基于线性残差分解的三维穿颅超声成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113288188B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3226766B1 (en) | System and method for image calibration | |
| CN109191564B (zh) | 基于深度学习的激发荧光断层成像三维重建方法 | |
| CN111915733B (zh) | 基于LeNet网络的三维锥束X射线发光断层成像方法 | |
| CN109753866A (zh) | 机器学习中具有密集特征金字塔网络架构的医学图像对象检测 | |
| CN108451508B (zh) | 基于多层感知机的生物自发荧光三维成像方法 | |
| US20120302880A1 (en) | System and method for specificity-based multimodality three- dimensional optical tomography imaging | |
| Li et al. | DenseX-net: an end-to-end model for lymphoma segmentation in whole-body PET/CT images | |
| CN107392977B (zh) | 单视图切伦科夫发光断层成像重建方法 | |
| CN103300829A (zh) | 一种基于迭代重加权的生物自发荧光断层成像方法 | |
| Wang et al. | A novel adaptive parameter search elastic net method for fluorescent molecular tomography | |
| Liang et al. | Automatic 3-D segmentation and volumetric light fluence correction for photoacoustic tomography based on optimal 3-D graph search | |
| Ferreira et al. | GAN-based generation of realistic 3D data: A systematic review and taxonomy | |
| CN113288188B (zh) | 基于分组注意力残差网络的锥束x射线发光断层成像方法 | |
| CN109589126B (zh) | 基于宽光束小步长扫描方式的x射线发光断层成像方法 | |
| Alzahrani et al. | Deep learning approach for breast ultrasound image segmentation | |
| CN111751343A (zh) | 基于瓶颈残差gan的介观荧光分子层析成像方法及系统 | |
| CN110772227A (zh) | 基于全卷积编解码架构的介观荧光探针重建方法及系统 | |
| CN107374588B (zh) | 一种基于同步聚类的多光源荧光分子断层成像重建方法 | |
| CN108309340B (zh) | 基于相关熵匹配追踪的激发荧光断层重建方法 | |
| CN113112563B (zh) | 一种优化区域知识先验的稀疏角cb-xlct成像方法 | |
| CN113781652B (zh) | 一种基于能量密度区域收缩的多层次概率重建方法 | |
| Ren et al. | High-resolution tomographic reconstruction of optical absorbance through scattering media using neural fields | |
| CN117830565B (zh) | 一种多算子自监督荧光分子断层成像方法及系统 | |
| CN114159021B (zh) | 基于双输入-单输出深度学习的切伦可夫激发的荧光扫描断层成像重建方法 | |
| CN111488878A (zh) | 一种基于伪彩色ct图像的深度学习分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |