CN109409503B - 神经网络的训练方法、图像转换方法、装置、设备及介质 - Google Patents

神经网络的训练方法、图像转换方法、装置、设备及介质 Download PDF

Info

Publication number
CN109409503B
CN109409503B CN201811136787.9A CN201811136787A CN109409503B CN 109409503 B CN109409503 B CN 109409503B CN 201811136787 A CN201811136787 A CN 201811136787A CN 109409503 B CN109409503 B CN 109409503B
Authority
CN
China
Prior art keywords
image
mri image
mri
neural network
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811136787.9A
Other languages
English (en)
Other versions
CN109409503A (zh
Inventor
王思伦
刘小武
邹凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiwei Medical Technology Co Ltd
Original Assignee
Shenzhen Yiwei Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiwei Medical Technology Co Ltd filed Critical Shenzhen Yiwei Medical Technology Co Ltd
Priority to CN201811136787.9A priority Critical patent/CN109409503B/zh
Publication of CN109409503A publication Critical patent/CN109409503A/zh
Application granted granted Critical
Publication of CN109409503B publication Critical patent/CN109409503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络的训练方法，首先获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。训练完成的神经网络能根据CT图像转换成具有MRI图像特征的图像，进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。

Description

神经网络的训练方法、图像转换方法、装置、设备及介质
技术领域
本发明涉及信息处理技术领域，尤其涉及一种神经网络的训练方法、图像转换方法、装置、设备及介质。
背景技术
CT(computedtomography)电子计算机X射线断层扫描技术，CT的工作程序是这样的：它根据人体不同组织对X线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后，就可摄下人体被检查部位的断面或立体的图像，发现体内任何部位的细小病变。
MRI也就是磁共振成像，英文全称是：MagneticResonance Imaging。磁共振成像是断层成像的一种，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。磁共振影像灰阶特点是，磁共振信号愈强，则亮度愈大，磁共振的信号弱，则亮度也小，从白色、灰色到黑色。各种组织磁共振影像灰阶特点如下；脂肪组织，松质骨呈白色；脑脊髓、骨髓呈白灰色；内脏、肌肉呈灰白色；液体，正常速度流血液呈黑色；骨皮质、气体、含气肺呈黑色。由于在核磁共振机器及核磁共振检查室内存在非常强大的磁场，因此，装有心脏起搏器者，以及血管手术后留有金属夹、金属支架者，或其他的冠状动脉、食管、前列腺、胆道进行金属支架手术者，绝对严禁作核磁共振检查，否则，由于金属受强大磁场的吸引而移动，将可能产生严重后果以致生命危险。
发明人在实施本发明实施例时，发现由于CT图像成像原理，导致不能很好的显示软组织，而软组织部分对脑部灰白质、膀胱与前内腺等组织的分区与定位有重要的临床意义，MRI图像对软组织有很好的显示性，若拥有同一患者的CT与MRI数据，就可以使用多模态处理方法，结合两者数据的优点，达到很好的解剖学结构，但在临床实践中由于各种原因往往只能得到CT图像，例如医院缺少MRI仪器、MRI检测排队时间过长、患者有MRI检查禁忌等，目前，缺少一种技术在没有获取MRI图像下，能依据获取的CT图像得到具有MRI图像特征的图像数据。
发明内容
有鉴于此，本发明实施例提供一种神经网络的训练方法、图像转换方法、装置、设备及介质，通过神经网络的技术，能依据获取的CT图像得到具有MRI图像特征的图像数据。
第一方面，本发明实施例提供了一种神经网络的训练方法，包括如下步骤：
获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。
在第一方面的第一种可能实现方式中，所述获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，包括：
获取同一个体的原始CT图像与原始MRI图像；
根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；
对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；
对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；
将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
结合第一方面以及第一方面的第一种可能方式，在第一方面的第二种可能实现方式中，所述对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像包括：
根据N4偏场校正对所述原始MRI图像的偏差场去除，以得到去噪后的MRI图像。
结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样包括：
获取作为浮动图像的所述正则化处理后的MRI图像；
获取作为基准图像的所述调整后的CT图像；
对所述基准图像和所述浮动图像进行图像变换，以得到变换后处于同一坐标系下的基准图像和浮动图像；
对变换后的所述基准图像像素值与所述浮动图像的像素值进行差值处理，得到差值处理后的基准图像和浮动图像；
根据互信息对所述差值处理后的基准图像和浮动图像的相关度进行测量，以得到相应的互信息熵；
根据梯度下降的优化算法对所述互信息熵进行优化，以得到优化收敛后的配准参数；
根据所述配准参数对所述基准图像和所述浮动图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
在第一方面的第四种可能实现方式中，所述根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：
将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；
将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；
将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；
根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络。
第二方面，提供了一种基于神经网络的图像转换方法，包括：
获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，在训练前，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
获取经过所述预处理操作的待转换的CT图像；
根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
第三方面，本发明实施例还提供了一种神经网络的训练装置，包括：
图像获取模块，用于获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
网络获取模块，用于根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。
第四方面，本发明实施例还提供了一种基于神经网络的图像转换装置，包括：
网络获取模块，用于获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
待预测图像获取模块，用于获取经过所述预处理操作的待转换的CT图像；
转换图像获取模块，用于根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
第五方面，本发明实施例还提供了一种神经网络的训练设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的神经网络的训练方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的神经网络的训练方法。
实施本发明实施例具有如下有益效果：
首先获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。训练完成的神经网络能根据CT图像转换成具有MRI图像特征的图像，进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例一提供的神经网络的训练设备的示意图；
图2是本发明实施例二提供的一种神经网络的训练方法的流程示意图；
图3是本发明实施例二提供的刚性配准的结构示意图；
图4是本发明实施例的卷积神经网络的结构示意图；
图5是本发明实施例提供卷积操作的结构示意图；
图6是本发明实施例提供卷积操作后得到的结构示意图；
图7是本发明实施例二提供的神经网络的训练的流程示意图；
图8是本发明实施例三提供的一种基于神经网络的图像转换方法的流程示意图；
图9是本发明实施例提供的原始的CT图像示意图；
图10是本发明实施例提供的转换后具有MRI图像特征的图像示意图；
图11是本发明实施例提供的真实的MRI图像示意图；
图12是本发明实施例提供的一种神经网络的训练装置结构示意图；
图13是本发明实施例提供的一种基于神经网络的图像转换装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
所属技术领域的技术人员知道，本发明可以实现为设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种虚拟机，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
实施例一
请参见图1，图1是本发明实施例一提供的神经网络的训练设备的示意图，用于执行本发明实施例提供的神经网络的训练方法，如图1所示，该神经网络的训练设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。
在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
程序152。
具体地，处理器11用于调用存储器15中存储的程序152，执行所述的神经网络的训练方法。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述神经网络的训练方法的控制中心，利用各种接口和线路连接整个所述神经网络的训练方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现神经网络的训练的电子装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述神经网络的训练集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
下面将参照附图来描述本发明实施例的神经网络的训练方法。
实施例二
图2是本发明实施例二提供的一种神经网络的训练方法的流程示意图。
一种神经网络的训练方法，包括以下步骤：
S11、获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
S12、根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。
需要说明的是，在进行训练的过程中，需要同时获取同一个体的CT图像与MRI图像，在用某一个体的CT图像进行卷积神经网络训练时，输出一个拟合的具有MRI特征的图像，需要所述个体的MRI图像对所述具有MRI特征的图像进行对比，以此优化神经网络的参数，同时为了保证训练得到的神经网络的精确性，可以获取多个个体的数据，本发明对此不作具体限定。
优选地，所述获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，包括：
获取同一个体的原始CT图像与原始MRI图像；
根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；
对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；
对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；
将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
在本发明实施例中，将同一个体的拍摄的原始CT图像与MRI图像进行一个预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，以便于卷积神经网络能对图像的每一个像素点的灰度值进行回归。
在本发明实施例中，因为CT图像与MRI图像的成像原理不同，所得到图像的像素数值表示的意义与范围也不同，为了使卷积神经网络最后能快速回归，首先需要通过设置阈值来限定所述CT图像的像素值范围。则所述根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值，具体操作如下：所述CT图像的像素值表示的是对X光的吸收率，吸收率与不同组织的密度有关，所述CT图像的像素值通常使用亨氏单位(hounsfield unit，HU)来作为度量单位，空气的Hu值为-1000Hu，致密骨为+1000Hu，由于噪声以及不同器官的差异，所述CT图像的CT值范围有时会超过(-1000,1000)范围；而所述MRI图像的像素值表示的是人体组织内氢原子在激活状态时驰豫过程中的时间，并编码成灰度，正常范围在0～255，由于噪声以及器官的差异，所述MRI图像的灰度值都大于0，但也有很多值大于255。为了所述CT图像在经过卷积神经网络后能与所述MRI图像回归，示例性的，将进行训练的所有的CT图像的像素值加上所述预设阈值1000，使得小于0的像素值都变成了非负值，进一步的将加上所述预设阈值1000之后像素值仍小于0的所有像素值变为0，使得像素值变为非负，大于2000的像素值变为2000，即通过设置阈值来限定所述CT图像的像素值范围为0至2000。
然后，进行噪声去除，所述对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像包括：根据N4偏场校正对所述原始MRI图像的偏差场去除，以得到去噪后的MRI图像。由于磁共振成像设备不完善及其自身的特异性，磁共振图像总是不可避免的存在一定程度和范围的亮度不均，也就是所谓的偏差场。图像的亮度信息是图像后处理主要的依据，而偏差场使所述MRI图像的局部统计特性发生变化，不同生理组织的亮度交叠分布，图像后处理的主要障碍，严重影响了MRI图像自动处理的精确性，示例性的，采用N4偏场校正的方法去除偏差场，理想情况下真实的MRI图像中每一类组织都应该是一个特定的值，反应了不同组织的密度特性，而真实的MRI图像中往往有偏差场干扰，假设偏差场在整个所述MRI图像中是平滑的，则所述N4偏场校正使用高斯滤波的方式，估计出所述MRI图像中的偏差场，再将所述偏差场进行去除。
然后，进行图像正则化，则所述对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像具体包括：使用FCM(Fuzzy C means)算法将所述去噪后的MRI图像分割出白质、灰质、脑髓液等区域，然后计算出白质区域像素值的峰值，再让整个所述去噪后的MRI图像的像素值除以这个峰值，以得到正则化处理后的MRI图像。
最后，对所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，则所述将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，具体包括：
获取作为浮动图像的所述正则化处理后的MRI图像；
获取作为基准图像的所述调整后的CT图像；
对所述基准图像和所述浮动图像进行图像变换，以得到变换后处于同一坐标系下的基准图像和浮动图像；
对变换后的所述基准图像像素值与所述浮动图像的像素值进行差值处理，得到差值处理后的基准图像和浮动图像；
根据互信息对所述差值处理后的基准图像和浮动图像的相关度进行测量，以得到相应的互信息熵；
根据梯度下降的优化算法对所述互信息熵进行优化，以得到优化收敛后的配准参数；
根据所述配准参数对所述基准图像和所述浮动图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
在本发明实施例中，参见图3，将所述正则化处理后的MRI图像作为所述浮动图像(Moving Image)，将所述调整后的CT图像作为所述基准图像(Fixed Image)，其中，所述MRI图像与所述CT图像均为同一个体的同一部位的数据，输入所述基准图像和所述浮动图像，一般可以选择对所述基准图像和所述浮动图像进行一个低通滤波预处理，然后对所述基准图像和所述浮动图像进行图像变换，以得到变换后处于同一坐标系下的基准图像和浮动图像，可以依据所述基准图像的坐标系，对所述浮动图像进行图像转换，示例性的，图像转换使用仿射变换模型，所述仿射变换模型是指假如在前一幅图像上为直线，经过变换以后，在后一幅图像上依然保持为直线并且保持原先两条直线之间的相互平行性，但并不保证任意两点之间的距离保持不变。在进行图像转换之后，图像的坐标值不一定是整数，为此需要进行插值，而灰度插值技术就是为了解决非整数像素坐标的灰度赋值问题，如图3中的，进行图像转换后，所述浮动图像(Moving Image)会有一个浮动差值(Moving Interpolator)，所述基准图像(Moving Image)会有一个基准差值(Fixed Interpolator)，则示例性的，对变换后的所述基准图像像素值与所述浮动图像的像素值使用双线性差值方法进行差值处理，得到差值处理后的基准图像和浮动图像。在进行差值处理之后，需要度量函数来评估所述CT图像与所述MRI图像是否相似，根据互信息对所述差值处理后的基准图像和浮动图像的相关度进行测量，以得到相应的互信息熵。互信息是值关于两个事件之间相关度的测量，通常表示一个系统包含另一个系统信息的多少，互信息的计算可以通过熵来表示，熵就是用来描述一个系统内部的不确定性，即所述互信息熵实际上就是对事件所有可能发生的结果根据其发生概率进行的加权平均值，是对一个事件总体不确定性的度量，熵并不关注单个结果出现的几率的大小，而关注各种可能出现的结果的概率总体分布。然后，进行优化，为了求得最后的变换矩阵，最小化度量函数迭代变换矩阵，达到求出来的变换矩阵能最大限度的配准，具体的，在反向传播过程中使用随机梯度下降方法进行优化，在不断地梯度下降之后，模型的精度才能得到提高，梯度指数学意义上的梯度，将各层网络看作一个函数，损失值可看作一个关于网络参数的函数，这里的网络参数包括全连接层的权重，偏置，和卷积层的卷积核，偏置。若函数得到最值，必先取极值，梯度下降的目的是得到各个极值点计算损失值最小时候的网络参数的取值，从而获得一个精度最高的网络结构，进而得到优化收敛后的配准参数。最后，根据所述配准参数对所述基准图像和所述浮动图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，所述原始的MRI图像最后会变成配准后MRI图像，即图3中的VirtualImage。
优选地，所述根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：
将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；
将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；
将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；
根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络。
参见图4，是本发明实施例的卷积神经网络的结构示意图，所述神经网络在Unet模型的基础上，结合本发明具体场景进行修改，整个模型主要分为编码与解码两个部分，左半部分为编码部分，右半部分为解码部分。编码部分以每两个卷积层(Conv)加一个最大池化(max pooling)层为单位，一共四个单位组成，解码区以每两个卷积层(Conv)加一个上采样层(upsampling)为单位，一个四个单位组成。编码部分输入的是所述经过预处理的CT图像，输出的是提取的低分辨率高语义信息的特征图和高分辨率低语义信息的特征图，再将所述低分辨率高语义信息的特征图输入到解码部分，解码部分会融合低层信息并上采样恢复分辨率，输出拟合的MRI图像，即具有MRI图像特征的图像。
具体的，参见图5，较大网格表示一幅图片，被黑色填充的网格表示一个卷积核，卷积核的大小为3*3。假设我们做步长为1的卷积操作，表示卷积核每次向右移动一个像素(当移动到边界时回到最左端并向下移动一个单位)。卷积核每个单元内有权重，图5中卷积核内有9个权重。在卷积核移动的过程中将图片上的像素和卷积核的对应权重相乘，最后将所有乘积相加得到一个输出。图6经过卷积后形成一个6*4的图，本发明实施例中在编码部分使用3*3的卷积核，在解码部分使用5*5的卷积核，以后使用1*1的卷积核。池化操作：池化层也叫下采样层，其具体操作与卷基层的操作基本相同，不过池化层只取对应位置的最大值、平均值等(最大池化、平均池化)，本发明实施例中使用的是最大池化。上采样层是卷积操作的逆操作，利用差值的方式，输入的特征图的分辨率变大。连接层是解码部分提取所述CT图像特征，随着层数的增加所得到的特征图分辨率会越来越小，语义信息越来越丰富，所以在对高层特征进行上采样后需要把对应维度的低层特征进行合并，以此来获得更多细节信息。我们收集多对所述CT图像数据与所述MRI图像数据，每对数据为同一人的所述CT图像与所述MRI图像数据，假设模型输入是一个512*512*176的所述CT图像，输入模型前需要先对其对应的MRI数据进行数据预处理，生成配准后的MRI图像，配准后的MRI图像也为512*512*176。输入模型的时候需要先对其所述CT与所述配准后的MRI进行5*5网格切割，每一层切片切成25个128*128的patch，相互之间会有覆盖，切割后的所述CT图像的patch作为输入数据，所述MRI图像的patch作为标签。模型的编码部分会降低图像分辨率并提取CT的特征，解码部分将升高图像分辨率并恢复图像大小，最后生成具有MRI图像特征的图像与所述配准后的MRI图，也就是真实的MRI图像的灰度值进行均方差比较，计算的结果与真实标签的均方误差作为损失函数，持续优化损失函数，直至收敛，反向传播求解权重。
需要说明的是，输入图像，经过卷积操作提取图像上的特征，再经过池化操作降低图像分辨率，此时得到的图像就是特征图，随着卷积层与池化层的增加，得到的特征图的分辨率会越来越小，但是图像包含的图像的语义信息会越来越丰富，即为低分辨率高语义信息特征图，相反，在卷积层与池化层较少的时候得到的特征图就为高分辨率低语义信息特征图。
具体的，使用经过预处理的CT和MRI图像，如图7所述，神经网络训练需要先设定训练总次数(轮次)，最小批量数据的大小，然后输入预处理后的CT图像，获取训练轮次，获取每次最小的数据，神经网络训练开始，并经过所述神经网络，获得生成的具有MRI图像特征的图像，与真实的MRI图像数据进行对比并得到损失值，再判断模型训练次数是否达到训练次数，没有达到训练次数的再循环训练直到达到所设定的训练次数，并保存训练的模型，结束训练。
实施本实施例具有如下有益效果：
首先获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。训练完成的神经网络能根据CT图像转换成具有MRI图像特征的图像，进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。
实施例三
图8是本发明实施例三提供的一种基于神经网络的图像转换方法的流程示意图。
一种基于神经网络的图像转换方法，包括：
S21、获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，在训练前，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
S22、获取经过所述预处理操作的待转换的CT图像；
S23、根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
在本发明实施例中，输入所述待转换的CT图像，按照训练时对原始CT图像的预处理方法，将所述待转换的CT图像的Hu值加1000，限定为0～2000范围之内，再进行5*5切割，将每层CT图像切割成128*128的小分块图，再将小分块图输入到已经训练好的神经网络中，经过图像转换，输出具有MRI图像特征的图像。效果示意如下：请参见图9是本发明实施例提供的原始的CT图像示意图，图10是本发明实施例提供的转换后具有MRI图像特征的图像示意图，图11是本发明实施例提供的真实的MRI图像示意图。
实施本实施例具有如下有益效果：
通过获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，在训练前，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；获取经过所述预处理操作的待转换的CT图像；根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。
实施例四
参见图12，本发明实施例提供的一种神经网络的训练装置结构示意图；
一种神经网络的训练装置，包括：
图像获取模块41，用于获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
网络获取模块42，用于根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。
优选地，所述图像获取模块41包括：
原始图像获取单元，用于获取同一个体的原始CT图像与原始MRI图像；
调整单元，用于根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；
去噪单元，用于对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；
正则化单元，用于对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；
刚性配准单元，用于将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
优选地，所述去噪单元包括：
根据N4偏场校正对所述原始MRI图像的偏差场去除，以得到去噪后的MRI图像。
优选地，所述刚性配准单元包括：
获取作为浮动图像的所述正则化处理后的MRI图像；
获取作为基准图像的所述调整后的CT图像；
对所述基准图像和所述浮动图像进行图像变换，以得到变换后处于同一坐标系下的基准图像和浮动图像；
对变换后的所述基准图像像素值与所述浮动图像的像素值进行差值处理，得到差值处理后的基准图像和浮动图像；
根据互信息对所述差值处理后的基准图像和浮动图像的相关度进行测量，以得到相应的互信息熵；
根据梯度下降的优化算法对所述互信息熵进行优化，以得到优化收敛后的配准参数；
根据所述配准参数对所述基准图像和所述浮动图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
优选地，所述网络获取模块42包括：
将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；
将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；
将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；
根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络。
实施本实施例具有如下有益效果：
首先获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。训练完成的神经网络能根据CT图像转换成具有MRI图像特征的图像，进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。
实施例五
参见图13，本发明实施例提供的一种基于神经网络的图像转换装置结构示意图。
一种基于神经网络的图像转换装置，包括：
网络获取模块51，用于获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
待预测图像获取模块52，用于获取经过所述预处理操作的待转换的CT图像；
转换图像获取模块53，用于根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
实施本实施例具有如下有益效果：
通过获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，在训练前，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；获取经过所述预处理操作的待转换的CT图像；根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。进而能在不进行MRI图像拍摄下，也能同时获取得到CT图像数据和MRI图像特征数据。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，在某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。其次，本领域技术人员也应知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模拟一定是本发明所必须的。

Claims (8)

1.一种神经网络的训练方法，其特征在于，包括：
获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络；
其中，所述根据所述CT图像和所述MRI图像对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：
将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；
将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；
将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；
根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络；
所述获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，包括：
获取同一个体的原始CT图像与原始MRI图像；根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；
对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；其中，对所述去噪后的MRI图像的像素值进行正则化处理具体包括：使用FCM算法将所述去噪后的MRI图像分割出白质、灰质、脑髓液区域，然后计算出白质区域像素值的峰值，让整个所述去噪后的MRI图像的像素值除以这个峰值，以得到正则化处理后的MRI图像。
2.根据权利要求1所述的神经网络的训练方法，其特征在于，所述对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像包括：
根据N4偏场校正对所述原始MRI图像的偏差场去除，以得到去噪后的MRI图像。
3.根据权利要求2所述的神经网络的训练方法，其特征在于，所述将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样包括：
获取作为浮动图像的所述正则化处理后的MRI图像；
获取作为基准图像的所述调整后的CT图像；
对所述基准图像和所述浮动图像进行图像变换，以得到变换后处于同一坐标系下的基准图像和浮动图像；
对变换后的所述基准图像像素值与所述浮动图像的像素值进行差值处理，得到差值处理后的基准图像和浮动图像；根据互信息对所述差值处理后的基准图像和浮动图像的相关度进行测量，以得到相应的互信息熵；根据梯度下降的优化算法对所述互信息熵进行优化，以得到优化收敛后的配准参数；
根据所述配准参数对所述基准图像和所述浮动图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样。
4.一种基于神经网络的图像转换方法，其特征在于，包括：
获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，在训练前，所述CT图像与所述MRI图像均进行预处理，获取同一个体的原始CT图像与原始MRI图像；根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络；其中，对所述去噪后的MRI图像的像素值进行正则化处理具体包括：使用FCM算法将所述去噪后的MRI图像分割出白质、灰质、脑髓液区域，然后计算出白质区域像素值的峰值，让整个所述去噪后的MRI图像的像素值除以这个峰值，以得到正则化处理后的MRI图像；
获取经过所述预处理操作的待转换的CT图像；
根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
5.一种基于卷积神经网络的训练装置，其特征在于，包括：
图像获取模块，用于获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；
网络获取模块，用于将所述CT图像输入至初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络；所述获取同一个体的CT图像与MRI图像，其中，所述CT图像与所述MRI图像均进行预处理，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样，包括：获取同一个体的原始CT图像与原始MRI图像；根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；其中，对所述去噪后的MRI图像的像素值进行正则化处理具体包括：使用FCM算法将所述去噪后的MRI图像分割出白质、灰质、脑髓液区域，然后计算出白质区域像素值的峰值，让整个所述去噪后的MRI图像的像素值除以这个峰值，以得到正则化处理后的MRI图像。
6.一种基于神经网络的图像转换装置，其特征在于，包括：
网络获取模块，用于获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络通过同一个体的CT图像与MRI图像对初始卷积神经网络进行卷积神经网络训练，其中，所述CT图像与所述MRI图像均进行预处理，获取同一个体的原始CT图像与原始MRI图像；根据预设的阈值对所述原始CT图像的所有像素值均进行调整，以得到调整后的CT图像，所述调整后的CT图像的像素值均为非负值；对所述原始MRI图像进行噪声去除，以得到去噪后的MRI图像；对所述去噪后的MRI图像的像素值进行正则化处理，以得到正则化处理后的MRI图像；将所述正则化处理后的MRI图像与所述调整后的CT图像进行刚性配准，以使得所述CT图像的分辨率与所述MRI图像的分辨率一样，且所述CT图像的层厚与所述MRI图像的层厚一样；将所述CT图像输入至所述初始卷积神经网络的编码部分，分别获取得到低分辨率高语义信息的特征图和高分辨率低语义信息的特征图；将所述低分辨率高语义信息的特征图输入至所述初始卷积神经网络的解码部分，通过上采样结合所述高分辨率低语义信息的特征图恢复分辨率，转换成具有MRI图像特征的图像；将所述具有MRI图像特征的图像数据与所述MRI图像数据进行对比计算，以得到相应的损失值；根据所述损失值及预设的训练次数进行卷积神经网络训练，获取训练完成的卷积神经网络；其中，对所述去噪后的MRI图像的像素值进行正则化处理具体包括：使用FCM算法将所述去噪后的MRI图像分割出白质、灰质、脑髓液区域，然后计算出白质区域像素值的峰值，让整个所述去噪后的MRI图像的像素值除以这个峰值，以得到正则化处理后的MRI图像；
待预测图像获取模块，用于获取经过所述预处理操作的待转换的CT图像；转换图像获取模块，用于根据所述训练完成的卷积神经网络，对所述待转换的CT图像进行转换，得到转换后具有MRI图像特征的图像。
7.一种基于神经网络的训练设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3任意一项所述神经网络的训练方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至3中任意一项所述神经网络的训练方法。
CN201811136787.9A 2018-09-27 2018-09-27 神经网络的训练方法、图像转换方法、装置、设备及介质 Active CN109409503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811136787.9A CN109409503B (zh) 2018-09-27 2018-09-27 神经网络的训练方法、图像转换方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811136787.9A CN109409503B (zh) 2018-09-27 2018-09-27 神经网络的训练方法、图像转换方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109409503A CN109409503A (zh) 2019-03-01
CN109409503B true CN109409503B (zh) 2020-07-24

Family

ID=65465401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811136787.9A Active CN109409503B (zh) 2018-09-27 2018-09-27 神经网络的训练方法、图像转换方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109409503B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN109978861B (zh) * 2019-03-27 2021-03-26 北京青燕祥云科技有限公司 骨髓灰质检测方法、装置、设备和计算机可读存储介质
CN110309855B (zh) * 2019-05-30 2021-11-23 上海联影智能医疗科技有限公司 图像分割的训练方法、计算机设备及存储介质
CN110415239B (zh) * 2019-08-01 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、医疗电子设备以及介质
CN110689561B (zh) * 2019-09-18 2022-04-12 中山大学 基于模块化gan的多模态mri与多模态ct的转换方法、系统及介质
CN111091504B (zh) * 2019-11-20 2023-08-18 上海联影智能医疗科技有限公司 图像偏差场矫正方法、计算机设备和存储介质
CN111325668B (zh) * 2020-02-06 2023-04-18 北京字节跳动网络技术有限公司 图像处理深度学习模型的训练方法、装置及电子设备
CN111462273B (zh) * 2020-05-14 2024-03-08 东软医疗系统股份有限公司 图像处理方法、装置、ct设备及ct系统
CN111751773B (zh) * 2020-07-06 2023-07-04 上海康达卡勒幅医疗科技有限公司 一种基于1D-Unet的低场核磁共振仪器信号校正方法
CN111931123B (zh) * 2020-10-14 2020-12-25 南京风兴科技有限公司 边界卷积计算方法、装置、硬件加速器及计算机设备
CN112686898B (zh) * 2021-03-15 2021-08-13 四川大学 一种基于自监督学习的放疗靶区自动分割方法
CN113077479A (zh) * 2021-03-25 2021-07-06 深圳市铱硙医疗科技有限公司 急性缺血性脑卒中病灶自动分割方法、系统、终端及介质
CN113050693B (zh) * 2021-03-26 2022-04-19 厦门理工学院 一种用于风电叶片检测的无人机巡检方法和装置以及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2265181A1 (en) * 2008-03-25 2010-12-29 Visen Medical, Inc. Animal holder for in vivo tomographic imaging with multiple modalities
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法
CN107146241A (zh) * 2017-04-20 2017-09-08 西安交通大学 一种基于差分进化算法和TrimmedICP算法的点云配准方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN109285200A (zh) * 2018-08-23 2019-01-29 上海连叶智能科技有限公司 一种基于人工智能的多模态医学影像的转换方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198333B (zh) * 2013-04-15 2016-01-20 中国科学院电子学研究所 一种高分辨率遥感图像自动语义标记方法
US9208539B2 (en) * 2013-11-30 2015-12-08 Sharp Laboratories Of America, Inc. Image enhancement using semantic components
US9367897B1 (en) * 2014-12-11 2016-06-14 Sharp Laboratories Of America, Inc. System for video super resolution using semantic components
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN108038519B (zh) * 2018-01-30 2020-11-24 浙江大学 一种基于稠密的特征金字塔网络的宫颈图像处理方法及装置
CN108288075B (zh) * 2018-02-02 2019-06-14 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN108550139A (zh) * 2018-03-19 2018-09-18 北京航空航天大学 基于多层次深度特征的铁轨异物检测方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2265181A1 (en) * 2008-03-25 2010-12-29 Visen Medical, Inc. Animal holder for in vivo tomographic imaging with multiple modalities
CN102509114A (zh) * 2011-11-22 2012-06-20 李京娜 基于改进的结构相似度的图像配准方法
CN106485688A (zh) * 2016-09-23 2017-03-08 西安电子科技大学 基于神经网络的高光谱图像重构方法
CN107146241A (zh) * 2017-04-20 2017-09-08 西安交通大学 一种基于差分进化算法和TrimmedICP算法的点云配准方法
CN107273876A (zh) * 2017-07-18 2017-10-20 山东大学 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法
CN107507234A (zh) * 2017-08-29 2017-12-22 北京大学 锥束计算机断层扫描图像与x光图像配准方法
CN109285200A (zh) * 2018-08-23 2019-01-29 上海连叶智能科技有限公司 一种基于人工智能的多模态医学影像的转换方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Deep embedding Convolutional neural network for synthesizing CT image from T1-Weighted MR image》;Xiang Lei et al;《Medical Image Analysis》;20180330;第47卷;第31-44页 *
《基于互信息的医学图像配准方法研究》;汪春芳;《中国优秀硕士学位论文全文数据库信息科技辑》;20100515(第2010年第5期);第I138-676页 *
《基于改进SSD的轻量化小目标检测算法》;吴天舒等;《红外与激光工程》;20180823;第47卷(第7期);第37-43页 *
Xiang Lei et al.《Deep embedding Convolutional neural network for synthesizing CT image from T1-Weighted MR image》.《Medical Image Analysis》.2018,第47卷第31-44页. *

Also Published As

Publication number Publication date
CN109409503A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109409503B (zh) 神经网络的训练方法、图像转换方法、装置、设备及介质
Kim et al. A performance comparison of convolutional neural network‐based image denoising methods: The effect of loss functions on low‐dose CT images
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN110930318B (zh) 一种低剂量ct图像修复去噪方法
CN111462020A (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN109215014B (zh) Ct图像预测模型的训练方法、装置、设备及存储介质
CN111260703B (zh) 一种获取脊柱拉直图像集的方法、系统、介质及存储介质
CN111340903B (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN114863225A (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
Mirajkar et al. Acute ischemic stroke detection using wavelet based fusion of CT and MRI images
Mentl et al. Noise reduction in low-dose ct using a 3D multiscale sparse denoising autoencoder
CN110599530A (zh) 基于双正则约束的mvct图像纹理增强方法
Liu et al. DL-MRI: A unified framework of deep learning-based MRI super resolution
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
CN115147360B (zh) 一种斑块分割方法、装置、电子设备及可读存储介质
CN114419375B (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质
US20220292641A1 (en) Dynamic imaging and motion artifact reduction through deep learning
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN113888566B (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN115375583A (zh) 一种pet参数图像的增强方法、装置、设备及存储介质
US11508048B2 (en) Method and system for generating composite PET-CT image based on non-attenuation-corrected PET image
CN113706541A (zh) 一种图像处理方法及装置
CN115578285B (zh) 一种乳腺钼靶图像细节增强方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant