CN111915691B - 基于神经网络的图像处理系统、方法、终端、及介质 - Google Patents

基于神经网络的图像处理系统、方法、终端、及介质 Download PDF

Info

Publication number
CN111915691B
CN111915691B CN201910375486.XA CN201910375486A CN111915691B CN 111915691 B CN111915691 B CN 111915691B CN 201910375486 A CN201910375486 A CN 201910375486A CN 111915691 B CN111915691 B CN 111915691B
Authority
CN
China
Prior art keywords
neural network
network module
module
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910375486.XA
Other languages
English (en)
Other versions
CN111915691A (zh
Inventor
高飞
兰恒荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN201910375486.XA priority Critical patent/CN111915691B/zh
Publication of CN111915691A publication Critical patent/CN111915691A/zh
Application granted granted Critical
Publication of CN111915691B publication Critical patent/CN111915691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供基于神经网络的图像处理系统、方法、终端、及介质，其包括：生成神经网络模块，用于以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像；鉴别神经网络模块，其以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。本申请提供一种新的约束性的深度对抗神经网络模型，其将非迭代求得的近似解作为约束项融合进生成网络中，并通过训练生成对抗网络，可以实现快速而高质量的重构。

Description

基于神经网络的图像处理系统、方法、终端、及介质
技术领域
本申请涉及图像处理技术领域，特别是涉及基于神经网络的图像处理系统、方法、终端、及介质。
背景技术
光声成像是一种新兴的成像方式，其结合了光学和超声两种模态。光声成像不仅具有超声成像的高穿透深度的优点，同时还具备比超声成像更高的空间分辨率。
目前，光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机断层扫描)，PAM(光声显微成像)和PAE(光声内窥成像)。现已研究许多具有临床意义的应用，如早期的肿瘤检测和小动物的全身成像等等。其中，光声计算机断层扫描因依赖于高速的信号采集和重建算法，在预临床和临床领域发挥重要作用，其检测早期肿瘤与颈部动脉硬化等疾病中具有重大意义。
但是，现有这些传统的光声成像系统所重构的图像质量还有待提高，算法的性能也不够优秀。因此，本领域亟需一种能够获取高质量的重构结果且在性能上优于现有的基于深度学习的前处理或后处理重构算法的成像系统。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于神经网络的图像处理系统、方法、终端、及介质，用于解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于神经网络的图像处理系统，其包括：生成神经网络模块，用于以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像；鉴别神经网络模块，其以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。
于本申请的第一方面的一些实施例中，所述生成神经网络模块包括：主干网络模块，包括自编码器模块；所述主干网络模块以初始光声信号为输入信号，输出经自编码处理后的初步结果图像；支干网络模块，包括先验知识融合网络模块；所述支干网络模块以初始光声信号的近似结果为输入信号，输出对应的纹理图像；卷积神经网络模块，其以主干网络模块所输出的初步结果图像以及支干网络模块所输出的纹理图像为输入信号，输出对应的结果图像。
于本申请的第一方面的一些实施例中，所述主干网络模块包括自编码模块、隐藏特征提取模块、以及解码模块；其中，自编码模块、隐藏特征提取模块、以及解码模块各包括至少一卷积层。
于本申请的第一方面的一些实施例中，所述自编码模块包括多层卷积层，各层卷积层包括尺寸为7×3的双卷积核；所述隐藏特征提取模块包括一卷积层，该卷积层包括尺寸7×3的卷积核以及尺寸为20×3的卷积核；所述解码模块包括多层卷积层，各层卷积层包括尺寸为3×3的双卷积核。
于本申请的第一方面的一些实施例中，所述先验知识融合网络模块包括多个宽卷积模块；其中，各所述宽卷积模块包括两种或多种不同尺寸的卷积核，以适用于不同尺寸的拍摄对象。
于本申请的第一方面的一些实施例中，在系统训练阶段，所述生成神经网络模块和鉴别神经网络模块交替训练，并通过梯度下降法进行迭代计算直至网络收敛。
于本申请的第一方面的一些实施例中，在网络收敛的情况下，各神经网络模块的损失函数不再变化；其中，生成神经网络模块的损失函数包括：用于计算初始光声信号与其纹理图像之间的偏差的损失函数、用于计算输出图像与真实图像之间的偏差的损失函数、通过鉴别神经网络模块产生的对抗损失函数、以及用于监督隐藏特征的损失函数；鉴别神经网络模块的损失函数包括：用于计算生成神经网络模块的结果图与真实的压力分布图之间的偏差的损失函数。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于神经网络的图像处理方法，其包括：以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像；以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于神经网络的图像处理方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于神经网络的图像处理方法。
如上所述，本申请的基于神经网络的图像处理系统、方法、终端、及介质，具有以下有益效果：本申请提供一种新的约束性的深度对抗神经网络模型，其将非迭代求得的近似解作为约束项融合进生成网络中，并通过训练生成对抗网络，可以实现快速而高质量的重构。
附图说明
图1显示为本申请一实施例中基于神经网络的图像处理系统的结构示意图。
图2显示为本申请一实施例中生成神经网络模块的结构示意图。
图3显示为本申请一实施例中先验知识融合网络模块的结构示意图。
图4显示为本申请一实施例中鉴别神经网络模块的结构示意图。
图5显示为本申请一实施例中使用全采样的成像结果对比的示意图。
图6显示为本申请一实施例中使用稀疏视角的成像结果对比的示意图。
图7显示为本申请一实施例中基于神经网络的图像处理方法的流程示意图。
图8显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
光声成像(Photoacoustic Imaging，PAI)是一种非入侵式和非电离式的新型生物成像方法。当脉冲激光照射到生物组织时，组织的光吸收域将产生超声信号，这种由光激发产生的超声信号即为光声信号。
目前，光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机断层扫描)，PAM(光声显微成像)和PAE(光声内窥成像)。现已研究许多具有临床意义的应用，如早期的肿瘤检测和小动物的全身成像等等。其中，光声计算机断层扫描因依赖于高速的信号采集和重建算法，在预临床和临床领域发挥重要作用，其检测早期肿瘤与颈部动脉硬化等疾病中具有重大意义。
在光声成像中，脉冲激光触发的光声信号的时空函数满足下式1)：
其中，vs表示声波的传播速度，p0(r)表示初始的压力分布。定义一等于初始压力分布p0(r)的x矩阵，将x矩阵通过一个传感器转换成所接收到的时域光声信号，同时收到采样条件和环境因素影响，所接收到的信号y满足下式2)：
y＝A(x)；公式2)
其中，A表示测量矩阵。光声图像重构的目标就是从y恢复初始压力x。由于A矩阵受限于多个条件(例如：物理性质和采样角度等)，通常无法直接求逆。因此通过y求出精确的x是一个不适定问题。
解决该问题的传统思路大致可以分为迭代方法和非迭代方法。迭代方法也被称为基于模型的重构方法，其通过不断迭代对A的近似矩阵模拟前向模型和y进行优化得到一个满意的结果，较大的缺点是所消耗的时间让迭代方法无法应用于实时成像。非迭代方法所求出的x是一个近似解，其求解速度快可以满足实时成像的需求。一种新兴的非迭代方法是通过深度神经网络进行重构，其通过大量训练样本得到A的逆运算，但其准确度受训练样本影响。
为此，本申请提供一种新的约束性的深度对抗神经网络模型，其将非迭代求得的近似解作为约束项融合进生成网络中，并通过训练生成对抗网络，可以实现快速而高质量的重构。
已有的基于卷积神经网络的方法通过学习A-1来解决以上问题，希望通过x＝G(y,Θ)来求解，其中Θ是网络的参数，将接收的光声信号y映射至x。这样的方法确实能在训练集中拟合一个较好的结果，但是在测试集中效果差强人意。
于本申请的一实施例中，通过非迭代方法获得x的近似解x’，并将该近似解x’也作为生成网络的约束支路，对主干网络进行约束从而提高网络鲁棒性。由此，在引入新的变量后网络变为下式3)：
x＝G(y,Θ)+λR(x',Θ)； 公式3)
其中x’就是传统方法所得到的近似解，R表示约束函数，也叫知识融合函数。
本专利为此提供了一种生成对抗网络，由一个生成网络和一个鉴别神经网络模块组成，为便于本领域技术人员理解，现结合图1对本申请一实施例中基于神经网络的图像处理系统的结构示意图做进一步的解释与说明。
于本实施例中，图像处理系统包括生成神经网络模块和鉴别神经网络模块。所述生成神经网络模块用于以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像。所述鉴别神经网络模块用于以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。
所述生成神经网络模块包括：主干网络模块，包括自编码器模块；所述主干网络模块以初始光声信号为输入信号，输出经自编码处理后的初步结果图像；支干网络模块，包括先验知识融合网络模块；所述支干网络模块以初始光声信号的近似结果为输入信号，输出对应的纹理图像；卷积神经网络模块，其以主干网络模块所输出的初步结果图像以及支干网络模块所输出的纹理图像为输入信号，输出对应的结果图像。
具体地，在生成神经网络模块中(Generator)，输入信号是接收到的初始光声信号，它被输入生成网络的主干网络模块(Auto-Encoder)中，这部分网络负责提取信号特征将其映射到图像域。与此同时，输入信号还引出一约束支路，通过传统的延迟叠加算法(DAS)获得一不完美的近似解，该近似解作为先验的知识注入知识嵌入支路(KEB)，这一支路的主要作用是对主干网络模块进行约束，提供所缺乏的纹理图像信号(Ltex)。输入信号经编码器(Encoder)编码处理以及经卷积层(Conv Layer)卷积处理后，输出隐藏特征信号(Laux)。输入信号分别经过两个子网络运算输出后汇聚连接，经过4层卷积层(Conv Layer)将两者的输出信息进行合并，最后输出结果(Lpixel)。
在鉴别神经网络模块(Discriminator)中，其任务是负责分辨输出的光声初始压力图与真实压力分布图，故而本申请中的鉴别器是一批量识别的编码器，生成对应的对抗损失函数(Ladv)。
需说明的是，本实施例中的卷积网络分别由3×3双卷积核(Double 3×3Conv)、正则化操作(BN)、以及激活函数(ReLU)组成。应理解的是，出于说明性目的而提供以上示例，并且以上示例不应被理解成是限制性的。
如图2所示，展示本申请一实施例中生成神经网络模块的结构示意图。所述主干网络模块包括自编码模块、隐藏特征提取模块、以及解码模块；其中，自编码模块、隐藏特征提取模块、以及解码模块各包括至少一卷积层。
于本实施例中，生成神经网络模块由9层卷积层组成，为了匹配网络使其能在光声信号的时间维度上取得更大的感受野，前4层卷积层由两个7x3的卷积核组成，后4层由3×3的卷积核组成，每个卷积和池化操作后都有附加的ReLU函数作为激活函数。底层则是将信号编码的特征转换为图像特征的过渡层，该过渡层包括一20×3的卷积核，将该层的隐藏特征通过如图1所示的卷积层(Double 3×3Conv)后输出。Z’是被监督的隐藏特征，通过下式4)进行监督：
其中，f表示降采样操作，将原始图像降采样为8×8的特征。
如图3所示，展示本申请一实施例中的先验知识融合网络模块的结构示意图。本实施例中的先验知识融合网络模块由3个相同的宽卷积模块组成。需特别说明的是，由于知识融合子网络的输入是图片信号，其设计的目的是为了去除图像中的噪声和伪影，本实施例采用了两种不同的卷积核，即1×1卷积核与3×3卷积核，来适应不同尺寸的血管。其中，宽的卷积网络可在相同性能的情况下运行较短的时间，故而用于支路网络，输出的约束项经过一卷积层并被一损失函数监督。
结合图1～3可知，图像纹理信号(Ltex)可由下式5)计算得到；对抗损失函数(Ladv)可由下式6)计算得到；生成网络的输出结果(Lpixel)可由下式7)计算得到：
其中，是输出的约束项。输入信号分别经过两个子网络运算输出后汇聚连接，经过4层卷积层(Conv Layer)将两者的输出信息进行合并，最后输出结果(Lpixel)。同时，输出图像需要通过鉴别神经网络模块产生一个对抗损失函数，对于生成网络，其可表达为：
其中，D是鉴别神经网络模块。输出的图像与真实图像之间存在偏差，这个偏差可采用真实的压强分布与网络输出的压强分布之间的欧式距离来描述：
在初始阶段，整个生成网络经过一次初始化后，根据输出的结果计算偏差L(Θ)，这个损失函数由下式8)表示：
L(Θ)＝λadvLadvG+λpixLpixel+λauxLaux+λtexLtex； 公式8)
其中，λadv,λpix,λaux和λtex是超参数。
如图4所示，展示本申请一实施例中鉴别神经网络模块的结构示意图。所述鉴别神经网络模块，其本质是编码器，输出是一块图像的鉴别结果，大小是32×32，整块图像的感受野可以覆盖输入图片。鉴别神经网络模块的输入则是生成网络输出的结果图和真实的压力分布图，可计算两次输出结果的偏差，采用下式9)表示：
在训练阶段，生成网络和鉴别神经网络模块交替训练，并且通过梯度下降法进行迭代两个网络的参数Θ，通过不断的迭代，直到网络的损失函数不再变化，网络收敛则表示训练完毕，此时的理想结果为：x＝G(y)+λR(x')。
上文，就本申请中由生成网络和鉴别神经网络模块组成的图像重构系统做了详细的解释与说明。为验证本申请的图像重构系统的优越性，下文将通过仿真和实验数据来说明本申请的技术方案相较于传统图像重构系统的优越性能。
在一些实施例中，通过仿真生成大量分割的血管原始光声信号与初步压力分布。所设置的实验由环型的传感器包围，例如：可采用120个传感器，环绕半径为18mm，声速为1500m/s，图片的尺寸为128x128，传感器的中心频率被设置为5MHz，整个数据集由4300个训练集和500个测试集组成。通过对比其它比较成熟的网络结构与本申请提供的技术方案同时训练比较性能，所有的实验程序都在深度学习开源框架Pytorch上实现，且传统重构方法使用的是延迟叠加算法。定量评价指标选择结构相似度(SSIM)，峰值信噪比(PSNR)和信噪比(SNR)衡量算法的表现性能。
实验平台配置为两张Intel Xeon E5-2690(2.6GHz)CPU和四张NVIDIA GTX1080ti GPU，λadv,λpix,λaux和λtex分别取0.04,1,0.5和0.5。分别通过全采样数据，稀疏采样数据和实验数据来对比不同的实验结果。
如图5所示，展示本申请一实施例中使用全采样的成像结果对比的示意图。图中从左到右的图像分别是基于真实压力分布的成像结果、基于DAS模型的成像结果、基于U-Net模型的成像结果、以及基于本申请技术方案(Ki-GAN模型)的成像结果。
在测试集上测试的实验的比较结果，全采样数据的结果如下表1所示，其中U-Net1,和U-Net2分别表示输入为原始光声信号和DAS结果的图像：
Algorithms SSIM PSNR SNR
delay-and-sum(DAS) 0.2159 15.6176 1.6386
U-Net1 0.5587 17.8482 2.2350
U-Net2 0.8749 24.0175 10.1285
Ki-GAN 0.9285 25.5115 11.5324
由表1可知，本申请提供的Ki-GAN在结构相似度(SSIM)，峰值信噪比(PSNR)和信噪比(SNR)这三个指标上的表现都大大优于现有的delay-and-sum(DAS)模型、U-Net1模型、以及U-Net2模型。
如图6所示，展示本申请一实施例中使用稀疏视角的成像结果对比的示意图。图中从左到右的图像分别是基于真实压力分布的成像结果、基于DAS模型的成像结果、基于U-Net模型的成像结果、以及基于本申请技术方案(Ki-GAN模型)的成像结果。
于本实施例中，由于采用稀疏视角的成像结果，故而将数据从120路减少为40路，中间填零以保证输入维度不变。其定量结果如下表2所示：
Algorithms SSIM PSNR SNR
delay-and-sum(DAS) 0.1842 15.5123 1.5333
U-Net2 0.8174 21.348 7.4689
Ki-GAN 0.8617 22.7398 8.7607
由表2可知，本申请提供的Ki-GAN在结构相似度(SSIM)，峰值信噪比(PSNR)和信噪比(SNR)这三个指标上的表现都大大优于现有的delay-and-sum(DAS)模型、U-Net1模型、以及U-Net2模型。
应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，生成神经网络模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上生成神经网络模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图7所示，展示本申请一实施例中基于神经网络的图像处理方法的流程示意图。所述方法包括：
步骤S71：以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像。
步骤S72：以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。
需说明的是，所述图像处理方法的实施方式与上文中图像处理系统的实施方式类似，故不再赘述。本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
另外，本实施例提供的图像处理方法可应用于控制器，例如：ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等等。所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
如图8所示，展示本申请一实施例中电子终端的结构示意图。本实例提供的电子终端，包括：处理器81、存储器82、收发器83；存储器828通过系统总线8与处理器81和收发器83连接并完成相互间的通信，存储器82用于存储计算机程序，收发器83用于和其他设备进行通信，处理器81用于运行计算机程序，使电子终端执行如上基于神经网络的图像处理方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本申请提供基于神经网络的图像处理系统、方法、终端、及介质，本申请提供一种新的约束性的深度对抗神经网络模型，其将非迭代求得的近似解作为约束项融合进生成网络中，并通过训练生成对抗网络，可以实现快速而高质量的重构。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (9)

1.一种基于神经网络的图像处理系统，其特征在于，包括：
生成神经网络模块，用于以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像；
鉴别神经网络模块，用于以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差；
其中，所述生成神经网络模块包括：主干网络模块，包括自编码器模块；所述主干网络模块以初始光声信号为输入信号，输出经自编码处理后的初步结果图像；支干网络模块，包括先验知识融合网络模块；所述支干网络模块以初始光声信号的近似结果为输入信号，输出对应的纹理图像；卷积神经网络模块，其以主干网络模块所输出的初步结果图像以及支干网络模块所输出的纹理图像为输入信号，输出对应的结果图像。
2.根据权利要求1所述的系统，其特征在于，所述主干网络模块包括自编码模块、隐藏特征提取模块、以及解码模块；其中，自编码模块、隐藏特征提取模块、以及解码模块各包括至少一卷积层。
3.根据权利要求2所述的系统，其特征在于，包括：
所述自编码模块包括多层卷积层，各层卷积层包括尺寸为7×3的双卷积核；
所述隐藏特征提取模块包括一卷积层，该卷积层包括尺寸7×3的卷积核以及尺寸为20×3的卷积核；
所述解码模块包括多层卷积层，各层卷积层包括尺寸为3×3的双卷积核。
4.根据权利要求1所述的系统，其特征在于，所述先验知识融合网络模块包括多个宽卷积模块；其中，各所述宽卷积模块包括两种或多种不同尺寸的卷积核，以适用于不同尺寸的拍摄对象。
5.根据权利要求1所述的系统，其特征在于，在系统训练阶段，所述生成神经网络模块和鉴别神经网络模块交替训练，并通过梯度下降法进行迭代计算直至网络收敛。
6.根据权利要求5所述的系统，其特征在于，在网络收敛的情况下，各神经网络模块的损失函数不再变化；其中，生成神经网络模块的损失函数包括：用于计算初始光声信号与其纹理图像之间的偏差的损失函数、用于计算输出图像与真实图像之间的偏差的损失函数、通过鉴别神经网络模块产生的对抗损失函数、以及用于监督隐藏特征的损失函数；鉴别神经网络模块的损失函数包括：用于计算生成神经网络模块的结果图与真实的压力分布图之间的偏差的损失函数。
7.一种基于神经网络的图像处理方法，其特征在于，应用于如权利要求1所述的基于神经网络的图像处理系统；所述图像处理方法包括：
以初始光声信号以及对初始光声信号进行约束所得的近似结果为输入信号，输出对应的转换后的结果图像；
以所述生成神经网络模块输出的结果图像以及真实压力分布图像为输入信号，输出鉴别后的信号偏差。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7所述的基于神经网络的图像处理方法。
9.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求7所述的基于神经网络的图像处理方法。
CN201910375486.XA 2019-05-07 2019-05-07 基于神经网络的图像处理系统、方法、终端、及介质 Active CN111915691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910375486.XA CN111915691B (zh) 2019-05-07 2019-05-07 基于神经网络的图像处理系统、方法、终端、及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910375486.XA CN111915691B (zh) 2019-05-07 2019-05-07 基于神经网络的图像处理系统、方法、终端、及介质

Publications (2)

Publication Number Publication Date
CN111915691A CN111915691A (zh) 2020-11-10
CN111915691B true CN111915691B (zh) 2023-08-22

Family

ID=73242539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910375486.XA Active CN111915691B (zh) 2019-05-07 2019-05-07 基于神经网络的图像处理系统、方法、终端、及介质

Country Status (1)

Country Link
CN (1) CN111915691B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308941B (zh) * 2020-11-04 2023-06-20 上海科技大学 基于互信息的受限视角光声图像重构方法
CN113011582B (zh) * 2021-03-03 2023-12-12 上海科技大学 基于自审视的多单元反馈网络模型、设备和存储介质
CN112734622B (zh) * 2021-03-30 2021-07-20 深圳大学 一种基于Tucker分解的图像隐写分析方法及终端
CN113221759A (zh) * 2021-05-17 2021-08-06 北京文安智能技术股份有限公司 基于异常检测模型的道路遗撒识别方法以及装置
CN113628144A (zh) * 2021-08-25 2021-11-09 厦门美图之家科技有限公司 人像修复方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106153567A (zh) * 2016-06-22 2016-11-23 南京信息工程大学 基于bp神经网络压力补偿的红外气体传感器及检测方法
CN108309251A (zh) * 2018-03-20 2018-07-24 清华大学 基于深度神经网络的定量光声成像方法
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170173262A1 (en) * 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106153567A (zh) * 2016-06-22 2016-11-23 南京信息工程大学 基于bp神经网络压力补偿的红外气体传感器及检测方法
CN108309251A (zh) * 2018-03-20 2018-07-24 清华大学 基于深度神经网络的定量光声成像方法
CN108814550A (zh) * 2018-04-16 2018-11-16 北京工业大学 一种基于神经网络的近红外光谱断层成像重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Photoacoustic classification of tumor malignancy based on support vector machine;hengrong Lan,etc;《PROCEEDINGS OF SPIE》;全文 *

Also Published As

Publication number Publication date
CN111915691A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111915691B (zh) 基于神经网络的图像处理系统、方法、终端、及介质
Hauptmann et al. Deep learning in photoacoustic tomography: current approaches and future directions
Ben Yedder et al. Deep learning for biomedical image reconstruction: A survey
Rad et al. Trophectoderm segmentation in human embryo images via inceptioned U-Net
JP2021521982A (ja) 超音波断層撮影画像上の特徴抽出および分類のためのシステムおよび方法
Ming et al. Rapid reconstruction of 3D neuronal morphology from light microscopy images with augmented rayburst sampling
Balakrishna et al. Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
Kujawski et al. A deep learning method for grid-free localization and quantification of sound sources
US9504450B2 (en) Apparatus and method for combining three dimensional ultrasound images
Awasthi et al. Sinogram super-resolution and denoising convolutional neural network (SRCN) for limited data photoacoustic tomography
Wang et al. Automatic real-time CNN-based neonatal brain ventricles segmentation
CN111680755A (zh) 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
CN116071401A (zh) 基于深度学习的虚拟ct图像的生成方法及装置
Yan et al. A Self-Guided Deep Learning Technique for MRI Image Noise Reduction
CN115527065A (zh) 髋关节分型方法、装置和存储介质
Bhardwaj et al. A Novel Method for Despeckling of Ultrasound Images Using Cellular Automata-Based Despeckling Filter
CN116758102A (zh) 一种基于CNN与Transformer的超声图像分割方法
CN112465924B (zh) 一种基于多特征融合的快速医学图像重构方法
US20210074034A1 (en) Methods and apparatus for neural network based image reconstruction
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法
Huang et al. [Retracted] Adoption of Snake Variable Model‐Based Method in Segmentation and Quantitative Calculation of Cardiac Ultrasound Medical Images
CN111724450A (zh) 基于深度学习的医学图像重构系统、方法、终端、及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant