CN111724450A - 基于深度学习的医学图像重构系统、方法、终端、及介质 - Google Patents

基于深度学习的医学图像重构系统、方法、终端、及介质 Download PDF

Info

Publication number
CN111724450A
CN111724450A CN201910213832.4A CN201910213832A CN111724450A CN 111724450 A CN111724450 A CN 111724450A CN 201910213832 A CN201910213832 A CN 201910213832A CN 111724450 A CN111724450 A CN 111724450A
Authority
CN
China
Prior art keywords
neural network
medical image
layers
network module
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910213832.4A
Other languages
English (en)
Inventor
高飞
兰恒荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN201910213832.4A priority Critical patent/CN111724450A/zh
Publication of CN111724450A publication Critical patent/CN111724450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，所述系统包括：第一神经网络模块，其以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号；第二神经网络模块，其以原始光声信号作为输入信号；第三神经网络模块，其以所述第一神经网络模块及第二神经网络模块的输出信号作为输入信号，据以输出图像质量优于所述近似医学图像的医学图像。本申请提供将深度学习与传统成像相结合的快速而高质量的重构框架(Y‑net)，所提算法在性能上优于现有的基于深度学习的前处理或后处理重构算法，不仅算法速度快，能够满足实时成像，还能获得图像质量更优的医学图像。

Description

基于深度学习的医学图像重构系统、方法、终端、及介质
技术领域
本申请涉及图像处理技术领域，特别是涉及基于深度学习的医学图像重构系统、方法、终端、及介质。
背景技术
光声成像(Photoacoustic Imaging，PAI)是一种非入侵式和非电离式的新型生物医学成像技术。当脉冲激光照射到(热声成像则特指用无线电频率的脉冲激光进行照射)生物组织中时，组织的光吸收域将产生超声信号，这种由光激发产生的超声信号为光声信号。生物组织产生的光声信号携带了组织的光吸收特征信息，通过探测光声信号能重建出组织中的光吸收分布图像。光声成像技术在保持超声成像的高穿透深度的优点的同时还具备比超声成像更高的空间分辨率和光学对比度。
目前的光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机断层扫描)、PAM(光声显微成像)和PAE(光声内窥成像)。现有研究包括许多具有临床意义的应用，如早期的肿瘤检测和小动物的全身成像。光声计算机断层扫描因其具有快速的成像速度而在预临床领域得到快速的发展，其快速成像也依赖于高速的重构算法。
但是，现有技术中，解决上述问题的方法通常有迭代方法和非迭代方法。其中，迭代方法消耗的时间长，无法应用于实时成像，而非迭代方法的求解速度虽快，能满足实时成像的需求，但求解到的仅仅是近似解。
鉴于上述种种问题，本领域亟需一种求解速度快且求解结果精准的图像重构解决方案。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于深度学习的医学图像重构系统、方法、终端、及介质，用于解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度学习的医学图像重构系统，其包括：第一神经网络模块，其以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号；第二神经网络模块，其以原始光声信号作为输入信号；第三神经网络模块，其以所述第一神经网络模块及第二神经网络模块的输出信号作为输入信号，据以输出图像质量优于所述近似医学图像的医学图像。
于本申请的第一方面的一些实施例中，所述第一神经网络模块包括多层神经网络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以及激活函数层。
于本申请的第一方面的一些实施例中，所述第一神经网络模块的底层神经网络包括尺寸为3x3的卷积层；所述第一神经网络模块的其它层均包括尺寸为3x3的卷积核的卷积层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。
于本申请的第一方面的一些实施例中，所述第二神经网络模块包括多层神经网络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以及激活函数层。
于本申请的第一方面的一些实施例中，所述第二神经网络模块的底层神经网络包括尺寸为3x3的卷积层以及尺寸为20x3的卷积层；所述第二神经网络模块的其它层均包括尺寸为3x3的卷积核的卷积层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。
于本申请的第一方面的一些实施例中，所述系统还包括：偏差计算模块，用于通过梯度下降算法迭代计算所述第三神经网络模块的输出值与真实值之间的偏差，直至所述医学图像重构系统趋于收敛。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度学习的医学图像重构方法，其包括：接收以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号的第一输入信号；接收以原始光声信号作为输入信号的第二输入信号；根据所述第一输入信号和第二输入信号，相应输出图像质量优于所述近似医学图像的医学图像。
于本申请第二方面的一些实施方式中，所述方法包括：通过梯度下降算法迭代计算所述方法输出的图像质量与真实图像的质量之间的偏差，直至该算法趋于收敛。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的医学图像重构方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度学习的医学图像重构方法。
如上所述，本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，具有以下有益效果：本申请提供将深度学习与传统成像相结合的快速而高质量的重构框架(Y-net)，所提算法在性能上优于现有的基于深度学习的前处理或后处理重构算法，不仅算法速度快，能够满足实时成像，还能获得图像质量更优的医学图像。
附图说明
图1显示为本申请一实施例中基于深度学习的医学图像重构系统的示意图。
图2显示为本申请一实施例中第一神经网络模块的模型示意图。
图3显示为本申请一实施例中第三神经网络模块的模型示意图。
图4显示为本申请一实施例中医学图像重构系统的应用场景的示意图。
图5显示为本申请一实施例中医学图像重构系统所输出的图像的示意图。
图6显示为本申请一实施例中基于深度学习的医学图像重构方法的流程示意图。
图7显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
光声成像(Photoacoustic Imaging，PAI)是一种非入侵式和非电离式的新型生物医学成像技术。当脉冲激光照射到(热声成像则特指用无线电频率的脉冲激光进行照射)生物组织中时，组织的光吸收域将产生超声信号，这种由光激发产生的超声信号为光声信号。生物组织产生的光声信号携带了组织的光吸收特征信息，通过探测光声信号能重建出组织中的光吸收分布图像。光声成像技术在保持超声成像的高穿透深度的优点的同时还具备比超声成像更高的空间分辨率和光学对比度。
目前的光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机断层扫描)、PAM(光声显微成像)和PAE(光声内窥成像)。现有研究包括许多具有临床意义的应用，如早期的肿瘤检测和小动物的全身成像。光声计算机断层扫描因其具有快速的成像速度而在预临床领域得到快速的发展，其快速成像也依赖于高速的重构算法。
在光声成像中，脉冲激光触发的光声信号的时空函数满足下式：
Figure BDA0002001380640000041
其中，vs表示声波的传播速度，p0(r)表示初始的压力分布。若定义一个x矩阵等于初始压力分布p0(r)，将x通过一个传感器转换成所接收到的时域光声信号，同时收到采样条件和环境因素影响，所接收到的信号y满足下式：
y＝MSx+n0； 公式2)
其中，M表示传感器的传输函数，S表示采样矩阵，n0表示采样过程中的噪声。从所接收到的信号y中恢复初始的光声压力分布x就是光声重构。由于M矩阵受限于多个条件，例如光学性质或者声学性质等，通常无法精确求逆；同时S在很多时候也是无法满足全采样的条件，因此通过y求出精确的x是一个不适定问题。
在现有技术中，解决上述问题的方法通常有迭代方法和非迭代方法。迭代方法是指通过不断迭代x得到一满意的结果，但其所消耗的时间较长，无法应用于实时成像。非迭代方法的求解速速快，可满足实时成像的需求，但其求解的x是一近似解。另外，现有技术中虽也出现了一种通过卷积神经网络来拟合MS的逆运算的新兴的非迭代方法，但其仅在训练集上表现良好，而在测试集上的泛化能力不高。
由此，本申请将传统非迭代方法与卷积神经网络相结合，提出一种新的网络结构。在一实施例中，令所接收信号的噪声为零，且采样满足奈奎斯特采样定理，则可将公式2)简化为下式：
y＝Ax； 公式3)
已有的基于卷积神经网络的方法通过学习A-1来解决以上问题，以使x＝F(y,Θ)，其中Θ是网络的参数。该方法虽能在训练集中拟合一个较好的结果，但是在测试集中效果差强人意。
于本申请的一实施例中，通过非迭代方法获得x的近似解x’，并将该近似解x’亦作为一输入变量输入网络中，以提升网络的鲁棒性。由此，在引入新的输入变量后，网络可以用下式表示：
x＝F(y,x',Θ)； 公式4)
如图1所示，展示本申请一实施例中基于深度学习的医学图像重构系统的示意图。所述医学图像重构系统包括第一神经网络模块、第二神经网络模块和第三神经网络模块。其中，第二神经网络模块的输入信号为原始光声信号；第一神经网络模块的输入信号为原始光声信号经快速的孔径合成算法初始重构后的初始压强分布图信号；第三神经网络模块的输入信号则为第一神经网络模块的输出信号以及第二神经网络模块的输出信号，并对输入的两者信号进行解码操作。
如图2所示，展示本申请一实施例中第一神经网络模块的模型示意图。于本实施例中，所述第一神经网络模块共有5层网络，底层是2个3x3的卷积层，其它层都由2个3x3的卷积核的卷积层以及一个池化层组成，且每个卷积和池化操作后都附有激活函数。
举例而言，5层网络的底层是2个3x3的卷积层，其它层都由2个3x3的卷积核的卷积层以及一个最大池化层组成，且每个卷积和池化操作后都附有ReLU函数作为激活函数。需要说明的是，所述池化层包括但不限于最大池化层，在其它的实施例中，还可选用平均池化层等。所述激活函数包括但不限于ReLU函数，在其它的实施例中，还可选用sigmoid函数、tanh函数、或者改进型的ReLU函数，例如Leaky-ReLU函数、P-ReLU函数、或者R-ReLU函数等等，本申请对此不作限定。
在一实施例中，如图2所示，第一神经网络模块接收一初始重构后的图像作为输入信号，经过多层网络的编码后，完成输出，其中每一层的输出在池化前都被复制并与第三神经网络相连接，这样的操作保证了经初始重构后的图像能够提供待测物体本身的纹理信息，利于第三神经网络模块最终输出完整清晰的图像。
在一实施例中，第二神经网络模块的模型结构可参照图2中的第一神经网络模块的模型结构，两者的网络结构类似，但在本实施例中，第二神经网络模块的底层还添加有一个20x3的卷积层。由于第二神经网络模块所接收的初始光声信号是多个时间序列的信号，其尺寸并非方形图片的尺寸，故需经一较大的卷积核操作后将输入信号的尺寸调整为方形，同时也在时间维度上提供更大的感受野。
在一实施例中，第二神经网络模块接收一初始光声信号作为输入信号，经过多层网络的编码后，完成输出，其中每一层的输出在池化前都被复制并与第三神经网络相连接，这样的操作保证了经初始重构后的图像能够提供待测物体本身的纹理信息，利于第三神经网络模块最终输出完整清晰的图像。
如图3所示，展示本申请一实施例中第三神经网络模块的模型示意图。于本实施例中，第三神经网络模块是一放大网络，其将来自第一神经网络模块和第二神经网络模块的信息整合并解码出所需的重构图像。其中，除了第一层只接收来自第一神经网络模块和第二神经网络模块的输出信号外，其它层还额外接收一个来自上一层网络的特征信号。
在一实施例中，所述医学图像重构系统还包括偏差计算模块，用于通过梯度下降算法迭代计算所述第三神经网络模块的输出值与真实值之间的偏差，直至所述医学图像重构系统趋于收敛。整个医学图像重构系统镜像一次初始化后，根据输出的结果计算偏差L(Θ)，这个损失函数是真实的压强分布与网络输出的压强分布间的欧氏距离，由下式表示：
Figure BDA0002001380640000062
通过梯度下降算法进行迭代网络的参数Θ，通过不断的迭代，直到网络的损失函数不再变化，网络收敛则表示训练完毕。此时，理想的结果是x＝F(y,x')。
如图4所示，展示本申请另一实施例中医学图像重构系统的应用场景的示意图。图4中所展示的是通过仿真而生成的大量分割的血管原始光声信号与初始压力分布图，成像区域被设定为38.4x38.4mm，声速为1500m/s，所有图片的尺寸为128x128，整个数据集由4700个训练集和400个测试集组成。其中，128路阵列探头位于成像区域最上方，以获得尺寸为128x128的图片。
为进一步说明本申请提供的医学图像重构系统的优越性，在本实施例中，将其它现有的比较成熟的网络结构与本申请提供的图像重构系统的一些变体进行同时训练比较性能，所有的实验程序都在深度学习开源框架Pytorch上实现，且传统重构方法使用的是延迟叠加算法。比较的结果信息如下表所示：
Figure BDA0002001380640000061
Figure BDA0002001380640000071
Y-Net(concatenate BF)表示去除第二神经网络模块和第三神经网络模块的连接，Y-Net(concatenate signals)表示去除第一神经网络模块和第三神经网络模块的连接。U-Net方法是使用基于神经网络的后置处理方法。值得注意的是，在这次实验中传统重构方法使用的的延迟叠加算法(DAS)是最经典的快速成像算法，其最大优势是成像速度快。
由上表可知，本申请提供的基于Y-Net重构框架的医学图像重构系统在结构相似性(SSIM)方面的表现优于其它算法，在峰值信噪比(PNSR)方面的表现同样优于其它算法，在信噪比(SNR)方面的表现更是明显优于其它算法。
如图5所示，展示本申请一实施例中医学图像重构系统所输出的图像的示意图。为便于对比，图5中第一行(a)Ground truth所对应的图片是初始光声压力图像，第二行(b)DAS所对应的图片是基于现有技术中的重构方法得到的图像，第三行(c)Y-Net则是基于本申请的医学图像重构系统得到的图像。
结合图4、图5和上表可知，本申请提供的图像重构系统不仅可获得质量更高的输出图像，且在算法性能上也明显优于传统的基于深度学习的前处理或后处理重构算法。
应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，神经网络模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上神经网络模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图6所示，展示本申请一实施例中基于深度学习的医学图像重构方法的流程示意图。于本实施例中，所述方法包括步骤S61、步骤S62以及步骤S63。
在一些实施方式中，所述方法可应用于控制器，例如：ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等等。在一些实施方式中，所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
在步骤S61中，接收以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号的第一输入信号。
在步骤S62中，接收以原始光声信号作为输入信号的第二输入信号。
在步骤S63中，根据所述第一输入信号和第二输入信号，相应输出图像质量优于所述近似医学图像的医学图像。
在一实施例中，所述方法还包括：通过梯度下降算法迭代计算所述方法输出的图像质量与真实图像的质量之间的偏差，直至该算法趋于收敛。
需要说明的是，本实施例中基于深度学习的医学图像重构方法的实施方式，与上文中基于深度学习的医学图像重构系统的实施方式类似，故不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图7所示，展示本申请一实施例提供的再一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器71、存储器72、收发器73、通信接口74和系统总线75；存储器72和通信接口74通过系统总线75与处理器71和收发器73连接并完成相互间的通信，存储器72用于存储计算机程序，通信接口74和收发器73用于和其他设备进行通信，处理器71用于运行计算机程序，使电子终端执行如上基于深度学习的医学图像重构方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本申请提供基于深度学习的医学图像重构系统、方法、终端、及介质，本申请提供将深度学习与传统成像相结合的快速而高质量的重构框架(Y-net)，所提算法在性能上优于现有的基于深度学习的前处理或后处理重构算法，不仅算法速度快，能够满足实时成像，还能获得图像质量更优的医学图像。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于深度学习的医学图像重构系统，其特征在于，包括：
第一神经网络模块，其以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号；
第二神经网络模块，其以所述原始光声信号作为输入信号；
第三神经网络模块，其以所述第一神经网络模块及第二神经网络模块的输出信号作为输入信号，据以输出图像质量优于所述近似医学图像的医学图像。
2.根据权利要求1所述的系统，其特征在于，所述第一神经网络模块包括多层神经网络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以及激活函数层。
3.根据权利要求2所述的系统，其特征在于，所述第一神经网络模块的底层神经网络包括尺寸为3x3的卷积层；所述第一神经网络模块的其它层均包括尺寸为3x3的卷积核的卷积层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。
4.根据权利要求1所述的系统，其特征在于，所述第二神经网络模块包括多层神经网络；其中，多层神经网络中的底层神经网络包括多层卷积层，其它层包括卷积层、池化层以及激活函数层。
5.根据权利要求4所述的系统，其特征在于，所述第二神经网络模块的底层神经网络包括尺寸为3x3的卷积层以及尺寸为20x3的卷积层；所述第二神经网络模块的其它层均包括尺寸为3x3的卷积核的卷积层、最大池化层、以及以ReLU函数作为激活函数的激活函数层。
6.根据权利要求1所述的系统，其特征在于，所述系统还包括：
偏差计算模块，用于通过梯度下降算法迭代计算所述第三神经网络模块的输出值与真实值之间的偏差，直至所述医学图像重构系统趋于收敛。
7.一种基于深度学习的医学图像重构方法，其特征在于，包括：
接收以原始光声信号经初步重构处理后所得的近似医学图像信号作为输入信号的第一输入信号；
接收以原始光声信号作为输入信号的第二输入信号；
根据所述第一输入信号和第二输入信号，相应输出图像质量优于所述近似医学图像的医学图像。
8.根据权利要求7所述的方法，其特征在于，包括：
通过梯度下降算法迭代计算所述方法输出的图像质量与真实图像的质量之间的偏差，直至该算法趋于收敛。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7至8中任一项所述基于深度学习的医学图像重构方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求7至8中任一项所述基于深度学习的医学图像重构方法。
CN201910213832.4A 2019-03-20 2019-03-20 基于深度学习的医学图像重构系统、方法、终端、及介质 Pending CN111724450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910213832.4A CN111724450A (zh) 2019-03-20 2019-03-20 基于深度学习的医学图像重构系统、方法、终端、及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910213832.4A CN111724450A (zh) 2019-03-20 2019-03-20 基于深度学习的医学图像重构系统、方法、终端、及介质

Publications (1)

Publication Number Publication Date
CN111724450A true CN111724450A (zh) 2020-09-29

Family

ID=72563135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910213832.4A Pending CN111724450A (zh) 2019-03-20 2019-03-20 基于深度学习的医学图像重构系统、方法、终端、及介质

Country Status (1)

Country Link
CN (1) CN111724450A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060735A1 (zh) * 2021-10-11 2023-04-20 中国科学院深圳先进技术研究院 图像生成模型训练及图像生成方法、装置、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN107492071A (zh) * 2017-08-17 2017-12-19 京东方科技集团股份有限公司 医学图像处理方法及设备
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108309251A (zh) * 2018-03-20 2018-07-24 清华大学 基于深度神经网络的定量光声成像方法
CN108553079A (zh) * 2017-05-04 2018-09-21 深圳硅基仿生科技有限公司 基于眼底图像的病变识别系统
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN108553079A (zh) * 2017-05-04 2018-09-21 深圳硅基仿生科技有限公司 基于眼底图像的病变识别系统
CN107492071A (zh) * 2017-08-17 2017-12-19 京东方科技集团股份有限公司 医学图像处理方法及设备
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108309251A (zh) * 2018-03-20 2018-07-24 清华大学 基于深度神经网络的定量光声成像方法
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN109447891A (zh) * 2019-01-09 2019-03-08 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量成像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060735A1 (zh) * 2021-10-11 2023-04-20 中国科学院深圳先进技术研究院 图像生成模型训练及图像生成方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN111915691B (zh) 基于神经网络的图像处理系统、方法、终端、及介质
Hauptmann et al. Deep learning in photoacoustic tomography: current approaches and future directions
Yoon et al. Efficient B-mode ultrasound image reconstruction from sub-sampled RF data using deep learning
Jifara et al. Medical image denoising using convolutional neural network: a residual learning approach
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
Ming et al. Rapid reconstruction of 3D neuronal morphology from light microscopy images with augmented rayburst sampling
CN113239951B (zh) 超声乳腺病灶的分类方法、装置及存储介质
WO2023202285A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN113362250A (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
Zhang et al. Clutter suppression in ultrasound: performance evaluation and review of low-rank and sparse matrix decomposition methods
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
Yazdani et al. Simultaneous denoising and localization network for photoacoustic target localization
Yan et al. A Self-Guided Deep Learning Technique for MRI Image Noise Reduction
KR101978728B1 (ko) 스마트 기기를 이용한 딥 러닝 기반 의료용 초음파 영상 분류 방법 및 장치
CN111724450A (zh) 基于深度学习的医学图像重构系统、方法、终端、及介质
Zhao et al. Convolutional neural network with spatio-temporal-channel attention for remote heart rate estimation
Karthiha et al. Speckle Noise Suppression in Ultrasound Images Using Modular Neural Networks.
Sapitri et al. Segmentation atrioventricular septal defect by using convolutional neural networks based on U-NET architecture
CN113538496A (zh) 一种mri头部影像的脑组织自动勾画方法、勾画系统、计算设备和存储介质
Ozimek et al. A space-variant visual pathway model for data efficient deep learning
Wang et al. An improved CapsNet applied to recognition of 3D vertebral images
CN112890819B (zh) 心磁图数据集的处理方法、系统、设备及计算机可读存储介质
Bhalla et al. Automatic fetus head segmentation in ultrasound images by attention based encoder decoder network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination