CN112419438B - 一种用于光声成像有限视角补偿和去伪影的图像重构方法 - Google Patents
一种用于光声成像有限视角补偿和去伪影的图像重构方法 Download PDFInfo
- Publication number
- CN112419438B CN112419438B CN202011381647.5A CN202011381647A CN112419438B CN 112419438 B CN112419438 B CN 112419438B CN 202011381647 A CN202011381647 A CN 202011381647A CN 112419438 B CN112419438 B CN 112419438B
- Authority
- CN
- China
- Prior art keywords
- view
- matrix
- data
- delay data
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种用于光声成像有限视角补偿和去伪影的图像重构方法,其特征在于,将实时获得的有限视角数据输入训练后的深度学习网络架构获得全视角图像重构结果。本发明通过相同的标签学习,将物体与伪影背景分离,从而实现超越原有标签质量的重构结果。同时通过四分之一的视角数据作为输入,得到全视角的重构结果,解决了有限视角的补偿。本发明提出了一种基于深度学习的重构框架,通过巧妙的方式实现超越监督标签的重构结果,所提算法仅通过粗糙的重构结果作为训练标签也可以获取高质量的重构结果。
Description
技术领域
本发明涉及一种用于光声成像的图像重构方法,属于光声成像、医学图像重构、深度学习技术领域。
背景技术
光声成像是一种新兴的成像方式,其结合了光学和超声两种成像模态的优点。在保持超声成像的高穿透深度的优点的同时还具备比超声成像更高的空间分辨率和对比度。PACT(光声计算机断层扫描)系统具备快速大区域的成像性能。现在的研究表明其有许多预临床和临床方面的应用,如早期的肿瘤检测和小动物的全身成像。
在光声成像中,脉冲激光触发的光声信号的时空函数满足下式(1):
定义一个矩阵x等于初始压力分布p0(r),将矩阵x通过一个传感器转换成所接收到的时域光声信号,同时受到采样条件和环境因素影响,所接收到的时域光声信号y满足下式(2):
y=A(x) (2)
式(2)中,A表示测量矩阵。
光声图像重构的目标就是从时域光声信号y恢复矩阵x(即恢复初始压力分布p0(r))。由于测量矩阵A受限于多个条件(物理性质和采样角度等),通常无法直接求逆,因此通过时域光声信号y求出精确的矩阵x是一个不适定问题。
现有的深度学习方法通过使用高质量的重构图片作为模型训练的标签,这对现实系统的重构要求变得更高。当系统本身无法实现高质量重构时,便无法提高网络的性能。换言之,现有的深度学习重构方法极度依赖标签的质量,且无法超越标签的结果。对于有限视角的系统,也很难通过好的重构方案得到完全视角的补偿。
发明内容
本发明要解决的技术问题是:现有的用于光声成像的图像重构方法使用的深度学习重构算法通过使用高质量的重构图片作为模型训练的标签。
为了解决上述技术问题,本发明的技术方案是提供了一种用于光声成像有限视角补偿和去伪影的图像重构方法,其特征在于,将实时获得的有限视角数据输入训练后的深度学习网络架构获得全视角图像重构结果;
对深度学习网络架构训练时,将延迟叠加DAS对全视角数据得到的全视角重构结果以及在重构过程中的四分之三视角的延迟数据作为深度学习网络的训练标签,将重构过程中的剩余四分之一视角的延迟数据x作为输入;
深度学习网络架构包括子网络一及子网络二,则:
四分之一视角的延迟数据x输入子网络一后,先由编码器对延迟数据x进行处理获得编码特征,编码特征通过空间校正去除模块后再通过解码器得到输出G(x),由延迟数据x所对应的另外四分之三视角的延迟数据作为G(x)的监督,并用独立的响应损失函数及叠加损失函数/>来训练G(x)的结果,其中:
式(3)中,Nl表示延迟数据的通道数;Ml表示第l个通道的尺度;G表示延迟数据x所对应的另外四分之三视角的延迟数据的格拉姆矩阵,表示第l个通道上的格拉姆矩阵G的第i行第j列元素;A表示产生的延迟数据G(x)的格拉姆矩阵,/>表示第l个通道上的格拉姆矩阵A的第i行第j列元素;
式(4)中,O表示延迟数据x所对应的另外四分之三视角的延迟数据的叠加矩阵,叠加矩阵O是一个具有Nl×Nl×Ml尺寸的三维矩阵,表示第l个通道对应的叠加矩阵O的某一个元素,n∈[1,Nl],n'∈[1,Nl],m∈[1,Ml];P表示生成的延迟数据G(x)的叠加矩阵,/>表示第l个通道对应的叠加矩阵P的某一个元素;
G(x)在各个通道上做叠加后与在各个通道上做叠加后的延迟数据x进行相加得到F(x),将在各个通道上做叠加后的延迟数据x定义为x',则有F(x)=∑G(x)+x';
式(5)中,y表示给定的全视角重构结果;
则深度学习网络架构的损失函数如下式(7)所示:
L(Θ)=λreLresponse+λovLoverlay+λtexLtexture+λrecLrec (7)
式(7)中,L(Θ)表示偏差,λre、λov、λtex、λrec是超参数;
经过训练后,对G(x)或F(x)的结果进行处理,将实时获得的有限视角数据输入深度学习网络架构后得到去伪影的重构结果。
优选地,所述空间校正去除模块对输入的所述编码特征用不同池化后展开,并对相同坐标的特征进行连接后重组成预设大小的特征。
本发明提出了一种基于深度学习的重构框架,通过巧妙的方式实现超越监督标签的重构结果,所提算法仅通过粗糙的重构结果作为训练标签也可以获取高质量的重构结果。
附图说明
图1A及图1B为残差分离的基本结构,其中,图1A为单层残差结构,图1B为双层残差结构;
图2为残差分离结果,其中,图2(c)的整体平均值为0.062;
图3为本发明所提的BSR-Net网络框架,其中,SCRM表示空间校正去除模块;
图4为仿真实验的结果展示,其中,图4(a)及图4(b)示意了四分之一视角的结果;图4(c)及图4(d)示意了全视角延迟叠加的结果;图4(e)及图4(f)示意了图3所示BSR-Net网络框架中下方子网络二的输出结果;图4(g)及图4(h)示意了图3所示BSR-Net网络的最终结果;图4(i)及图4(j)示意了图3所示BSR-Net网络框架中上方子网络一叠加后的结果;图4(k)及图4(l)示意了对叠加结果进行阈值处理的结果;
图5为仿真实验的结果展示,其中,图5(a)示意了四分之一视角的结果;图5(b)示意了全视角延迟叠加的结果;图5(c)示意了图3所示BSR-Net网络框架中下方子网络二的输出结果;图5(d)示意了图3所示BSR-Net网络的最终结果;图5(e)示意了图3所示BSR-Net网络框架中上方子网络一叠加后的结果;图5(f)示意了对叠加结果进行阈值处理的结果。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提出一种带有残差结构的深度学习框架,通过相同的标签学习,将物体与伪影背景分离,从而实现超越原有标签质量的重构结果。同时通过四分之一的视角数据作为输入,得到全视角的重构结果,解决了有限视角的补偿。
训练时,本发明使用的标签是用传统延迟叠加DAS对全视角数据得到的全视角重构结果y以及在这重构过程中的四分之三视角的延迟数据作为模型的训练标签。本发明使用剩余四分之一视角的延迟数据x作为输入。从功能实现上,这是一个对四分之一视角做补偿的架构。本发明需要引入一个残差分离结构对训练做进一步的约束,从而得到背景和物体的分离。
残差分离结构图1A及图1B所示。如图1A所示的单层残差结构分为两部分,其中,F(x)是残差部分,其来自一个不同于下路y0和的监督,y0代表有限视角重构结果的增强处理,/>在本发明中,使用有限视角的延迟信号生成的全视角延迟信号作为F(x)的监督,延迟信号是在延迟叠加重构过程中的一个中间状态的信号。/>理论上应该和全视角重构接近,于是可以对下路的y0和/>用相同的全视角重构结果y作为标签。因此,若下路训练在理想状态下会接近全视角重构结果y,而/>会使得F(x)趋近零。基于以上分析,甚至可以进一步加深残差的结构,如图1B所示,在对F(x)经过一层卷积后得到H(x),即H(x)=W*F(x),W表示卷积层对应权重参数,并以相似的监督对H(x)使用延迟信号做标签并满足对下方的/>和/>都使用全视角重构的图像作为标签。
以下以一层残差结构为例说明其效果:
接下来如果可以对F(x)做进一步约束,使其在接近整体为零的情况下可以学习到全视角重构结果y的部分信息,就可以分离背景伪影和物体。图2说明了上述提到的变量间的关系,在训练后的F(x)其整体值非常接近零,其总体示意图如图2(c)所示,可以发现y0和非常接近,于是差值在零左右。
基于上文所述残差结构,本发明进一步提出了如图3所示的新的深度学习网络架构,定义为BSR-Net网络。根据上文的介绍,为了实现残差结构必须有两条子网络路径,因此BSR-Net网络中存在上方一个子网络以及下方一个子网络。将BSR-Net网络中的上方子网络定义为子网络一,下方子网络定义为子网络二。
子网络一用来处理F(x),F(x)=∑G(x)+x',具体包括以下内容:
四分之一视角的延迟数据x输入子网络一后,先由编码器对延迟数据x进行处理获得编码特征,编码特征通过空间校正去除模块后再通过解码器得到输出G(x)。空间校正去除模块对输入的编码特征用不同池化后展开,并对相同坐标的特征进行连接后重组成8×8×512的特征。由延迟数据x所对应的另外四分之三视角的延迟数据作为G(x)的监督。
式(3)中,Nl表示延迟数据的通道数,本实施例中,Nl=96;Ml表示第l个通道的尺度相乘,本实施例中是16384,即Ml=128×128;G表示延迟数据x所对应的另外四分之三视角的延迟数据的格拉姆矩阵,表示第l个通道上的格拉姆矩阵G的第i行第j列元素, 表示第l通道的延迟数据x所对应的另外四分之三视角的延迟数据的第i行第k列的元素,/>表示第l通道的延迟数据x所对应的另外四分之三视角的延迟数据的第j行第k列的元素;A表示产生的延迟数据G(x)的格拉姆矩阵,/>表示第l个通道上的格拉姆矩阵G(x)的第i行第j列元素。
式(4)中,O表示延迟数据x所对应的另外四分之三视角的延迟数据的叠加矩阵,叠加矩阵O是一个具有Nl×Nl×Ml尺寸的三维矩阵在本实施例中是96×96×16384,表示第l个通道对应的叠加矩阵O的某一个元素,/> 表示叠加矩阵O在第l个通道上第n个传感数据展开的第m个向量,/>表示叠加矩阵O在第l个通道上第n'个传感数据展开的第m个向量;P表示生成的延迟数据G(x)的叠加矩阵,/>表示第l个通道对应的叠加矩阵P的某一个元素;
G(x)在各个通道上做叠加后与在各个通道上做叠加后的延迟数据x进行相加得到F(x),将在各个通道上做叠加后的延迟数据x定义为x',则有F(x)=∑G(x)+x';
式(5)中,y表示给定的全视角重构结果;
则深度学习网络架构的损失函数如下式(7)所示:
L(Θ)=λreLresponse+λovLoverlay+λtexLtexture+λrecLrec (7)
式(7)中,L(Θ)表示偏差,λre、λov、λtex、λrec是超参数;
在初始阶段,整个BSR-Net网络经过一次初始化后,根据输出的结果计算偏差L(Θ)以反向传播训练网络模型。
经过训练后,对G(x)或F(x)的结果进行处理(本发明中用简单阈值处理),将实时获得的有限视角数据输入深度学习网络架构后得到去伪影的重构结果。
为验证本发明的效果,首先通过仿真生成大量分割的血管原始光声信号与初始压力分布。所设置的实验由环型的传感器环绕包围,数量为120个传感器,环绕半径为18mm,声速为1500m/s,所有图片的尺寸为128x128的大小,传感器的中心频率被设置为2.5MHz,整个数据集由2800个训练集和200个测试集组成。所有的实验程序都在深度学习开源框架Pytorch上实现,比较输入已经全视角的标签结果和本发明方法产生的结果来看去伪影效果。
实验平台配置为两张Intel Xeon E5-2690(2.6GHz)CPU和四张NVIDIA GTX1080tiGPU,本发明所验证的数据都是32通道信号为四分之一的视角,所产生的四分之三视角为96路信号。实验结果如图4所示,可以看出G(x)相比全视角结果是相反的,且可以通过简单阈值处理分离并去除伪影。
接下来通过一组实验的小鼠腹部数据验证本发明的方法,实验样图如图5所示,其性能可能表现没有仿真那么优越,但相比于输入的有限视角,它不但补全了视角,还减轻了不少伪影。
Claims (4)
1.一种用于光声成像有限视角补偿和去伪影的图像重构方法,其特征在于,将实时获得的有限视角数据输入训练后的深度学习网络架构获得全视角图像重构结果;
对深度学习网络架构训练时,将延迟叠加DAS对全视角数据得到的全视角重构结果以及在重构过程中的四分之三视角的延迟数据作为深度学习网络的训练标签,将重构过程中的剩余四分之一视角的延迟数据x作为输入;
深度学习网络架构包括子网络一及子网络二,则:
四分之一视角的延迟数据x输入子网络一后,先由编码器对延迟数据x进行处理获得编码特征,编码特征通过空间校正去除模块后再通过解码器得到输出G(x),由延迟数据x所对应的另外四分之三视角的延迟数据作为G(x)的监督,并用独立的响应损失函数及叠加损失函数/>来训练G(x)的结果,其中:
式(3)中,Nl表示延迟数据的通道数;Ml表示第l个通道的尺度;G表示延迟数据x所对应的另外四分之三视角的延迟数据的格拉姆矩阵,表示第l个通道上的格拉姆矩阵G的第i行第j列元素;A表示产生的延迟数据G(x)的格拉姆矩阵,/>表示第l个通道上的格拉姆矩阵A的第i行第j列元素;
式(4)中,O表示延迟数据x所对应的另外四分之三视角的延迟数据的叠加矩阵,叠加矩阵O是一个具有Nl×Nl×Ml尺寸的三维矩阵,表示第l个通道对应的叠加矩阵O的某一个元素,n∈[1,Nl],n'∈[1,Nl],m∈[1,Ml];P表示生成的延迟数据G(x)的叠加矩阵,/>表示第l个通道对应的叠加矩阵P的某一个元素;
G(x)在各个通道上做叠加后与在各个通道上做叠加后的延迟数据x进行相加得到F(x),将在各个通道上做叠加后的延迟数据x定义为x',则有F(x)=∑G(x)+x';
式(5)中,y表示给定的全视角重构结果;
则深度学习网络架构的损失函数如下式(7)所示:
L(Θ)=λreLresponse+λovLoverlay+λtexLtexture+λrecLrec (7)
式(7)中,L(Θ)表示偏差,λre、λov、λtex、λrec是超参数;
经过训练后,对G(x)或F(x)的结果进行处理,将实时获得的有限视角数据输入深度学习网络架构后得到去伪影的重构结果。
2.如权利要求1所述的一种用于光声成像有限视角补偿和去伪影的图像重构方法,其特征在于,所述空间校正去除模块对输入的所述编码特征用不同池化后展开,并对相同坐标的特征进行连接后重组成预设大小的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011381647.5A CN112419438B (zh) | 2020-12-01 | 2020-12-01 | 一种用于光声成像有限视角补偿和去伪影的图像重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011381647.5A CN112419438B (zh) | 2020-12-01 | 2020-12-01 | 一种用于光声成像有限视角补偿和去伪影的图像重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419438A CN112419438A (zh) | 2021-02-26 |
CN112419438B true CN112419438B (zh) | 2023-07-14 |
Family
ID=74830700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011381647.5A Active CN112419438B (zh) | 2020-12-01 | 2020-12-01 | 一种用于光声成像有限视角补偿和去伪影的图像重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419438B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110880196A (zh) * | 2019-11-11 | 2020-03-13 | 哈尔滨工业大学(威海) | 基于深度学习的肿瘤光声图像快速重建方法及装置 |
CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学(威海) | 基于深度学习的光声图像超分辨重建方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140182383A1 (en) * | 2012-12-28 | 2014-07-03 | Canon Kabushiki Kaisha | Object information obtaining device, display method, and non-transitory computer-readable storage medium |
US10782378B2 (en) * | 2018-05-16 | 2020-09-22 | Siemens Healthcare Gmbh | Deep learning reconstruction of free breathing perfusion |
-
2020
- 2020-12-01 CN CN202011381647.5A patent/CN112419438B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110880196A (zh) * | 2019-11-11 | 2020-03-13 | 哈尔滨工业大学(威海) | 基于深度学习的肿瘤光声图像快速重建方法及装置 |
CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学(威海) | 基于深度学习的光声图像超分辨重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112419438A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nair et al. | A deep learning based alternative to beamforming ultrasound images | |
CN112819732B (zh) | 一种探地雷达B-scan图像去噪方法 | |
CN109829880A (zh) | 一种基于深度学习的ct图像检测方法、装置和控制设备 | |
CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
CN105266849B (zh) | 实时超声弹性成像方法和系统 | |
KR102163225B1 (ko) | 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 | |
CN114037714A (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
CN112955934A (zh) | 识别医学图像中的介入设备 | |
Zhang et al. | Ultrasound image denoising using generative adversarial networks with residual dense connectivity and weighted joint loss | |
CN106296649B (zh) | 一种基于水平集模型的纹理图像分割方法 | |
CN117058170A (zh) | 基于双分支多尺度交叉融合网络的颈动脉斑块分割方法 | |
CN114693670B (zh) | 基于多尺度U-Net的直缝埋弧焊管焊缝缺陷超声检测方法 | |
CN104055540B (zh) | 一种无创高精度血管壁弹性成像的方法 | |
Sapitri et al. | Segmentation atrioventricular septal defect by using convolutional neural networks based on U-NET architecture | |
CN112465924B (zh) | 一种基于多特征融合的快速医学图像重构方法 | |
CN114492519A (zh) | 一种基于超声回波射频信号的肺超声特殊征象b线识别分类方法 | |
CN112419438B (zh) | 一种用于光声成像有限视角补偿和去伪影的图像重构方法 | |
CN106384337A (zh) | 一种激光散斑血流成像的增强方法 | |
Mozaffari et al. | Bownet: Dilated convolution neural network for ultrasound tongue contour extraction | |
Bhalla et al. | Automatic fetus head segmentation in ultrasound images by attention based encoder decoder network | |
CN105488757A (zh) | 一种脑纤维稀疏重建的方法 | |
CN112734906B (zh) | 一种基于知识蒸馏的超声或ct医学影像的三维重建方法 | |
Xu et al. | A Multi-scale Attention-based Convolutional Network for Identification of Alzheimer's Disease based on Hippocampal Subfields | |
Mani | Deep learning models for semantic multi-modal medical image segmentation | |
CN113205496A (zh) | 一种基于卷积神经网络的腹部ct图像肝肿瘤病变分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |