CN110853738A - 一种造影剂作用下的成像方法与设备 - Google Patents

一种造影剂作用下的成像方法与设备 Download PDF

Info

Publication number
CN110853738A
CN110853738A CN201910968612.2A CN201910968612A CN110853738A CN 110853738 A CN110853738 A CN 110853738A CN 201910968612 A CN201910968612 A CN 201910968612A CN 110853738 A CN110853738 A CN 110853738A
Authority
CN
China
Prior art keywords
images
image
contrast
predicted
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910968612.2A
Other languages
English (en)
Other versions
CN110853738B (zh
Inventor
王立新
罗杰坚
张晓璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Beijing Liangjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Liangjian Intelligent Technology Co Ltd filed Critical Beijing Liangjian Intelligent Technology Co Ltd
Priority to CN201910968612.2A priority Critical patent/CN110853738B/zh
Publication of CN110853738A publication Critical patent/CN110853738A/zh
Application granted granted Critical
Publication of CN110853738B publication Critical patent/CN110853738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请的目的是提供一种造影剂作用下的成像方法与设备。与现有技术相比，本申请通过基于全卷积神经网络预测模型，对一个或多个第一造影图像的后续图像进行预测，以生成对应的一个或多个预测造影图像，从而真实还原造影后期的造影图像，在不影响诊断结果的同时可以极大的缩短造影时间，由于减少了拍摄周期，缩短检查时间，提高了患者的体验，也解决了医疗机构成像时间过长与管理资金成本过高等问题，对患者与医院来说都具有重大意义。此外，本申请的全卷积神经网络预测模型训练方便、方差更小、稳定性更好，基于所述全卷积神经网络预测模型所得到的预测造影图像还原度高，不会生成额外信息。

Description

一种造影剂作用下的成像方法与设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种造影剂作用下的成像技术。
背景技术
造影是在放射诊断学中，通过摄入含原子序数高的元素的物质，然后在预诊断的体内部位摄取放射照片以供医学诊断。对缺乏自然对比的结构或器官，可将密度高于或低于该结构或器官的物质引入器官内或其周围间隙，使之产生对比显影。
因此，通过造影来进行成像，需要人体摄入造影剂，并且经过一段时间，直到造影剂最终被预诊断的体内部位吸收，才能够完整地摄取所需要的医学诊断图像。以肝脏病变临床诊断应用中的核磁共振成像(MRI，Magnetic Resonance Imaging)为例，从向静脉中注射造影剂到造影剂最终在肝脏中实现对比度增强的效果，整个扫描成像过程持续约25分钟。
发明内容
本申请的目的是提供一种造影剂作用下的成像方法与设备。
根据本申请的一个实施例，提供了一种造影剂作用下的成像方法，其中，该方法包括以下步骤：
获取利用造影剂进行器官造影的一个或多个第一造影图像；
对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
可选地，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
可选地，该方法还包括：
将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，该方法还包括：
对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
可选地，对所述一个或多个预测造影图像进行图像恢复的步骤包括：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
可选地，对所述一个或多个预测造影图像进行图像恢复的步骤包括以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
可选地，该方法还包括：
获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像；
获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点；
基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
可选地，该方法还包括：
对所述训练输入影像以及所述训练输出影像进行预处理；
其中，获取所述全卷积神经网络预测模型的步骤包括：
基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
可选地，对所述训练输入影像以及所述训练输出影像进行预处理的步骤包括：
对所述训练输入影像以及所述训练输出影像进行配准与归一化。
根据本申请的另一个实施例，还提供了一种造影剂作用下的成像设备，其中，所述成像设备包括：
第一装置，用于获取利用造影剂进行器官造影的一个或多个第一造影图像；
第二装置，用于对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
第三装置，用于将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
可选地，所述第二装置用于：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
可选地，所述成像设备还包括：
第四装置，用于将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，所述第二装置用于：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，所述成像设备还包括：
第五装置，用于对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
可选地，所述第五装置用于：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
可选地，所述第五装置用于以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
可选地，所述成像设备还包括：
第六装置，用于获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像；
第七装置，用于获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点；
第八装置，用于基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
可选地，所述成像设备还包括：
第九装置，用于对所述训练输入影像以及所述训练输出影像进行预处理；
其中，所述第八装置用于：
基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
可选地，所述第九装置用于：
对所述训练输入影像以及所述训练输出影像进行配准与归一化。
根据本申请的另一个实施例，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的方法。
根据本申请的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如上述任一项所述的方法。
与现有技术相比，本申请通过基于全卷积神经网络预测模型，对一个或多个第一造影图像的后续图像进行预测，以生成对应的一个或多个预测造影图像，从而真实还原造影后期的造影图像，在不影响诊断结果的同时可以极大的缩短造影时间，由于减少了拍摄周期，缩短检查时间，提高了患者的体验，也解决了医疗机构成像时间过长与管理资金成本过高等问题，对患者与医院来说都具有重大意义。
此外，本申请的全卷积神经网络预测模型训练方便、方差更小、稳定性更好，基于所述全卷积神经网络预测模型所得到的预测造影图像还原度高，不会生成额外信息。
此外，本申请可以采用多线程写入模式将多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种造影剂作用下的成像方法流程图；
图2示出根据本申请一个实施例的造影时间序列的示意图；
图3示出根据本申请一个实施例的一种造影剂作用下的成像方法的预测模型生成流程图；
图4示出根据本申请一个实施例的一种造影剂作用下成像示例图；
图5示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图；
图6示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图；
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在本申请中，在造影剂作用下的成像方式包括但不限于MRI(核磁共振成像，Magnetic Resonance Imaging)、X光、CT(Computed Tomography，即电子计算机断层扫描)等。
以核磁共振成像(MRI，Magnetic Resonance Imaging)为例，核磁共振成像(MRI)是对人体组织器官和病灶中的氢原子核在外部强磁场作用下产生的磁共振信号大小进行度量并根据接收到的度量数据进行3D图像重建的技术。
而增强造影剂是一种可以在MRI图像中迅速变白或变黑的分子，当其被注射到人体血管中，会随着血液进入组织，而当把增强剂打入人体的血管中，会随着血液进入组织，而一些病变则不会吸收，这样就可以进一步区分病变的组织了。例如常用的造影剂有碘制剂、马根维显、普美显等。
进一步地，以肝脏病变临床诊断应用为例，从静脉中注射造影剂，造影剂随着血液到肝脏，正常肝组织约80％的血供来自肝门静脉，肝脏组织会吸收造影剂，组织会变白，而肿瘤细胞的血供来自动脉，不会吸收到造影剂，这样肝脏组织和肿瘤就会区分开来。一般来说，在注射完造影剂后，会经历动脉期、门静脉期、移形期和肝细胞特异期(肝胆期)四个阶段，在肝胆期肝实质和病灶对比度增强，整个动态期的成像可以提供丰富的病灶血供信息和病变定性的信息。通常，这整个扫描成像过程持续约25分钟。
本申请发现，尽管临床上，利用注射造影剂进行MRI图像对比度增强是普遍的手段，但是这种方式存在以下缺陷：
(1)对于医疗机构来说，造影成像较长的时间成本导致医疗机构诊断效率低下的同时造成制备管理费用的增加；
(2)针对检测者，较长预约周期和检测时间不仅会给患者带来诸多的不良体验甚至还会带来一定的副作用。
因此，在缩短造影成像的时间同时还能保证成像质量的技术是医疗机构和患者急需的，有鉴于此，本申请提供一种造影剂作用下的成像方法与设备。
下面结合附图对本申请作进一步详细描述。
本申请所述成像设备包括但不限于任意一种用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的电子产品，例如个人终端、医疗专用计算机设备等，所述电子产品可以采用任意操作系统，如windows操作系统、android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述成像设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述各类设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出根据本申请一个实施例的一种造影剂作用下的成像方法流程图。
在步骤S1中，所述成像设备获取利用造影剂进行器官造影的一个或多个第一造影图像。
在此，所述第一造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第一造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
在步骤S1中，所述成像设备可以直接通过拍摄的方式获取所述第一造影图像，也可以与其他提供所述第一造影图像的设备相交互，以获取其他设备所提供的第一造影图像。
当所述第一造影图像为多个第一造影图像时，所述多个第一造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，也可以是在n领域内多个造影图像构成的空间体。
在一种实施例中，所述一个或多个第一造影图像为2D图像或第一2D图像序列。
在另一种实施例中，该方法还包括步骤S4(未示出)，其中，在步骤S4中，所述成像设备将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
在此，所述第一造影图像可以是2D图像、2.5D图像或3D图像等任意格式的图像。例如，若所述第一造影图像为非2D图像(如2.5D图像或3D图像)，则所述成像设备可以将所述非2D图像在横断面方向进行切割，得到个或多个第一2D图像或第一2D图像序列，并在后续中对所述一个或多个第一2D图像或第一2D图像序列进行处理。这种方式解决了在非2D图像下，由于数据中的坐标对应器官的空间位置，受硬件资源的限制，要么无法直接对非2D空间数据进行直接处理，要么存在着极大的时间开销，因此需要将非2D数据进行空间位置上的切片处理从而将其转化成一系列的2D数据，然后再对其进行处理。
本领域技术人员应能理解，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第一造影图像可以放在一起同时训练。
在一种实施例中，所述第一造影图像包括未服下造影剂的未造影图像以及一个或多个短时造影图像中的至少任一项，所述短时造影图像即为在未达到造影的最终阶段(如肝脏造影中的肝胆期)时所拍摄的图像。在一种优选实施例中，所述短时造影图像的造影时间大于等于达到所述造影的最终阶段的造影时间的一半。
图2示出根据本申请一个实施例的造影时间序列的示意图。
t0表示未服下造影剂的时间，t1至tn-1均为未达到造影的最终阶段，tn即为达到造影的最终阶段。所述一个或多个第一造影图像所对应的拍摄时间可以是t0至tn-1中的任意时间。
在步骤S2中，所述成像设备对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第一造影图像进行配准与归一化。在此，若所述第一造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
通过预处理操作，解决了在实际的造影成像过程中，由于被检者身体的位移和呼吸，导致不同时相的造影图像在像素上不对齐的问题，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，使得要使用的图像之间的像素强度符合大致相同的分布，去除因不同时间点、不同时间序列、不同拍摄设备等原因导致的组织信号强度的偏移性，最终实现像素对齐。
在此，所述配准方法包括刚性配准和/或非刚性配准，例如仿射配准方法、线性变换配准方法等；此外，还可以采用如B-spline、Demons、symmetric diffeomorphicnormalization(SYN)等配准方法。需要说明的是，实现对第一造影图像的配准算法不限于上述举例的算法，还可以采用其他类型的算法以实现配准。
在此，所述归一化方法包括但不限于以下至少任一项：
-利用所述第一造影图像的非目标区域部分，提取相应的掩膜(mask)，求得所述掩膜的像素分布并将所有第一造影图像的像素分布都按照各自掩膜区域内的分布调整到与基准影像一致的尺度上。
-求取图像的均值mean和方差std，对其进行单位归一化；例如，采用以下公式
Figure BDA0002231325360000101
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。在此，所使用的均值m以及方差值std，可通过对图像的前景区域进行提取后得到，从而去除背景对均值m以及方差std的影响。
需要说明的是，实现对第一造影图像的归一化方法不限于上述举例的方法，还可以采用其他类型的方法以实现归一化。
通过上述预处理步骤，所得到的一个或多个第一输入图像为配准与归一化完成的可处理图像。
在一种实施例中，当在在步骤S4中，所述成像设备将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列后，则在所述步骤S2中，所述成像设备对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像。在此，对所述一个或多个第一2D图像或第一2D图像序列进行预处理的方法与上述预处理方式相同或相似，故在此不再赘述，并以引用的方式包含于此。
在步骤S3中，所述成像设备将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
在此，所述预测造影图像的预测拍摄时间点可以是达到造影的最终阶段的时间点，也可以是未达到造影的最终阶段的时间点、但迟于所述第一造影图像的拍摄时间点。如图2所示，所述预测造影图像所对应的预测拍摄时间可以是tn，也可以是满足ti(0＜i＜n)且ti大于所述第一造影图像的拍摄时间点的任意预测拍摄时间。
其中，所述预测模型包括全卷积神经网络预测模型，该预测模型采用编码-解码的全卷积网络结构，如U-net网络。在网络的编码阶段采用多次降采样操作，解码阶段采用与降采样次数相同的升采样操作。
在一种实施例中，编码与解码阶段相对应的层之间存在一个或多个跨层连接；在另一种实施例中，所述编码与解码阶段相对应的层之间还包含一个或多个残差模块。
在一种实施例中，所述全卷积神经网络预测模型还包括对应的评价函数和/或损失函数。所述评价函数和/或损失函数基于所述预测造影图像以及与所述预测造影图像相对应的临床造影图像而获得。
在一种实施例中，所使用的评价函数和/或损失函数包括L1损失函数，L2损失函数，感知损失等中的一项或多项，从而基于上述单一损失函数或多个损失函数的组合以确定对全卷积神经网络的最终评价损失。
在此，L1损失函数为：L1＝|pred-gt|
其中，pred是网络预测得到的结果，gt是要合成的目标图像，两者对应像素之间求差的绝对值即为L1的值。
L2损失函数为：L2＝|pred-gt|2
其中，L2损失函数为L2范数。red是网络预测得到的结果，gt是要合成的目标图像，两者对应像素之间差的平方即为L2的值。
感知损失为：G＝|f(pre)–f(gt)|
其中，f(·)为神经网络，例如VGG等网络结构，所得到的某一层的输出。将预测结果和真实结果都通过神经网络，对相应的输出求差并取绝对值。
当所述成像设备向所述预测模型中输入第一输入图像后，可以基于所述训练模型，输出与所述第一输入图像相对应的预测造影图像，从而缩短造影拍摄时间。
在一种实施例中，当在步骤S3中，对所述一个或多个第一2D图像或第一2D图像序列进行预处理后所得到的第一输入图像进行预测造影，得到一个或多个预测造影图像后，该方法还包括步骤S5(未示出)，在步骤S5中，所述成像设备对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
在此，所述图像恢复包括所述成像设备将所述一个或多个预测造影图像经过图像处理后，恢复成临床上所输出的、正常分布的造影图像。在一种实施例中，所述图像恢复可以包括数据三维化以及数据逆归一化。
例如，所述成像设备将2D形式呈现的一个或多个预测造影图像在横断面方向拼接组装，以恢复成3D数据，然后，再经过对该3D数据的逆归一化操作输出为最终的正常分布的预测影像。
在一种实施例中，所述逆归一化包括以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
例如，可以采用以下公式2执行数据逆归一化：
X＝X0·std+m (公式2)
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。
在一种实施例中，在步骤S5中，所述成像设备采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
在此，通过多线程写入模式对多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
图3示出根据本申请一个实施例的一种造影剂作用下的成像方法的预测模型生成流程图。
所述预测模型为全卷积神经网络预测模型。
具体地，在步骤S6中，所述成像设备获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像。
在此，所述第二造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第二造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
在一种实施例中，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第二造影图像可以放在一起同时训练。
当所述第二造影图像为多个第二造影图像时，所述多个第二造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，例如3分钟造影图像、5分钟造影图像等；也可以是在n领域内多个造影图像构成的空间体。在一种实施例中，n的取值为3。
在步骤S7中，所述成像设备获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点。
具体地，所述成像设备通过直接拍摄或者与其他设备相交互，以获取与所述第二造影图像相对应的临床造影图像，并将所述临床造影图像作为所述预测模型的训练输出影像。
在步骤S8中，所述成像设备基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
在一种实施例中，所述方法还包括步骤S9(未示出)，其中，在步骤S9中，所述成像设备对所述训练输入影像以及所述训练输出影像进行预处理。
具体地，所述预处理包括但不限于对所述训练输入影像以及所述训练输出影像进行配准与归一化。在此，若所述训练输入影像以及所述训练输出影像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述训练输入影像以及所述训练输出影像转换为一个或多个第二2D图像或第二2D图像序列。
所述配准与归一化的方法与在步骤S2中所述的配准与归一化的方法相同或相似，故在此不再赘述，并通过引用的方式包含于此。
在一种实施例中，所述预处理还包括利用预训练好的分割模型(如U-Net或FCN)，对所述训练输入影像以及所述训练输出影像的核心区域进行分隔，从而获取所述训练输入影像以及所述训练输出影像的核心区域。
在此，所述核心区域即为感兴趣的区域，以肝脏造影为例，所述核心区域即为肝脏区域。需要说明的是，所述分割方法不限于上述举例的模型，还可以采用其他类型的模型以实现分割。
然后，提取所述核心区域的掩码M和/或对其进行数据增强，以得到所述一个或多个增强后的所述训练输入影像以及所述训练输出影像，并基于所述增强后的训练输入影像以及训练输出影像进行全卷积神经网络预测模型的训练。
然后，在步骤S8中，所述成像设备基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
图4示出根据本申请一个实施例的一种造影剂作用下成像示例图。
该示例图以MRI成像的肝脏造影为例，假定注射造影剂20分钟后达到造影的最终阶段。将“注射造影剂之前的MRI”、“注射造影剂后5分钟的MRI”以及“注射造影剂后10分钟的MRI”作为训练输入影像，将“20分钟的MRI”作为训练输出影像。对上述训练输入影像以及训练输出影像进行采样，以对上述影像进行预处理，从而获得联合配准以及信号归一化后的“注射造影剂之前的MRI”、“注射造影剂之后的影像MRI”以及“20分钟时的MRI”。
利用全卷积神经网络预测模型，对上述处理后的训练输入影像以及训练输出影像进行深度学习，以获得训练后的全卷积神经网络预测模型。进一步地，还可以基于该全卷积神经网络预测模型所合成的20分钟MRI，确定该模型的损失函数，并基于该损失函数对网络进行性能评价与不断优化。
图5示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图。
其中，所述成像设备10包括第一装置101、第二装置102以及第三装置103。
所述第一装置101获取利用造影剂进行器官造影的一个或多个第一造影图像。
在此，所述第一造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第一造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
所述第一装置101可以直接通过拍摄的方式获取所述第一造影图像，也可以与其他提供所述第一造影图像的设备相交互，以获取其他设备所提供的第一造影图像。
当所述第一造影图像为多个第一造影图像时，所述多个第一造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，也可以是在n领域内多个造影图像构成的空间体。
在一种实施例中，所述一个或多个第一造影图像为2D图像或第一2D图像序列。
在另一种实施例中，该成像设备还包括第四装置104(未示出)，其中，所述第四装置104将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
在此，所述第一造影图像可以是2D图像、2.5D图像或3D图像等任意格式的图像。例如，若所述第一造影图像为非2D图像(如2.5D图像或3D图像)，则所述成像设备可以将所述非2D图像在横断面方向进行切割，得到个或多个第一2D图像或第一2D图像序列，并在后续中对所述一个或多个第一2D图像或第一2D图像序列进行处理。这种方式解决了在非2D图像下，由于数据中的坐标对应器官的空间位置，受硬件资源的限制，要么无法直接对非2D空间数据进行直接处理，要么存在着极大的时间开销，因此需要将非2D数据进行空间位置上的切片处理从而将其转化成一系列的2D数据，然后再对其进行处理。
本领域技术人员应能理解，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第一造影图像可以放在一起同时训练。
在一种实施例中，所述第一造影图像包括未服下造影剂的未造影图像以及一个或多个短时造影图像中的至少任一项，所述短时造影图像即为在未达到造影的最终阶段(如肝脏造影中的肝胆期)时所拍摄的图像。在一种优选实施例中，所述短时造影图像的造影时间大于等于达到所述造影的最终阶段的造影时间的一半。
图2示出根据本申请一个实施例的造影时间序列的示意图。
t0表示未服下造影剂的时间，t1至tn-1均为未达到造影的最终阶段，tn即为达到造影的最终阶段。所述一个或多个第一造影图像所对应的拍摄时间可以是t0至tn-1中的任意时间。
所述第二装置102对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第一造影图像进行配准与归一化。在此，若所述第一造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
通过预处理操作，解决了在实际的造影成像过程中，由于被检者身体的位移和呼吸，导致不同时相的造影图像在像素上不对齐的问题，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，使得要使用的图像之间的像素强度符合大致相同的分布，去除因不同时间点、不同时间序列、不同拍摄设备等原因导致的组织信号强度的偏移性，最终实现像素对齐。
在此，所述配准方法包括刚性配准和/或非刚性配准，例如仿射配准方法、线性变换配准方法等；此外，还可以采用如B-spline、Demons、symmetric diffeomorphicnormalization(SYN)等配准方法。需要说明的是，实现对第一造影图像的配准算法不限于上述举例的算法，还可以采用其他类型的算法以实现配准。
在此，所述归一化方法包括但不限于以下至少任一项：
-利用所述第一造影图像的非目标区域部分，提取相应的掩膜(mask)，求得所述掩膜的像素分布并将所有第一造影图像的像素分布都按照各自掩膜区域内的分布调整到与基准影像一致的尺度上。
-求取图像的均值mean和方差std，对其进行单位归一化；例如，采用以下公式
Figure BDA0002231325360000171
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。在此，所使用的均值m以及方差值std，可通过对图像的前景区域进行提取后得到，从而去除背景对均值m以及方差std的影响。
需要说明的是，实现对第一造影图像的归一化方法不限于上述举例的方法，还可以采用其他类型的方法以实现归一化。
通过上述预处理，所得到的一个或多个第一输入图像为配准与归一化完成的可处理图像。
在一种实施例中，当所述第四装置104将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列后，则所述第二装置102对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像。在此，对所述一个或多个第一2D图像或第一2D图像序列进行预处理的方法与上述预处理方式相同或相似，故在此不再赘述，并以引用的方式包含于此。
所述第三装置103将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
在此，所述预测造影图像的预测拍摄时间点可以是达到造影的最终阶段的时间点，也可以是未达到造影的最终阶段的时间点、但迟于所述第一造影图像的拍摄时间点。如图2所示，所述预测造影图像所对应的预测拍摄时间可以是tn，也可以是满足ti(0＜i＜n)且ti大于所述第一造影图像的拍摄时间点的任意预测拍摄时间。
其中，所述预测模型包括全卷积神经网络预测模型，该预测模型采用编码-解码的全卷积网络结构，如U-net网络。在网络的编码阶段采用多次降采样操作，解码阶段采用与降采样次数相同的升采样操作。
在一种实施例中，编码与解码阶段相对应的层之间存在一个或多个跨层连接；在另一种实施例中，所述编码与解码阶段相对应的层之间还包含一个或多个残差模块。
在一种实施例中，所述全卷积神经网络预测模型还包括对应的评价函数和/或损失函数。所述评价函数和/或损失函数基于所述预测造影图像以及与所述预测造影图像相对应的临床造影图像而获得。
在一种实施例中，所使用的评价函数和/或损失函数包括L1损失函数，L2损失函数，感知损失等中的一项或多项，从而基于上述单一损失函数或多个损失函数的组合以确定对全卷积神经网络的最终评价损失。
在此，L1损失函数为：L1＝|pred-gt|
其中，pred是网络预测得到的结果，gt是要合成的目标图像，两者对应像素之间求差的绝对值即为L1的值。
L2损失函数为：L2＝|pred-gt|2
其中，L2损失函数为L2范数。red是网络预测得到的结果，gt是要合成的目标图像，两者对应像素之间差的平方即为L2的值。
感知损失为：G＝|f(pre)–f(gt)|
其中，f(·)为神经网络，例如VGG等网络结构，所得到的某一层的输出。将预测结果和真实结果都通过神经网络，对相应的输出求差并取绝对值。
当所述成像设备向所述预测模型中输入第一输入图像后，可以基于所述训练模型，输出与所述第一输入图像相对应的预测造影图像，从而缩短造影拍摄时间。
在一种实施例中，当所述第三装置103对所述一个或多个第一2D图像或第一2D图像序列进行预处理后所得到的第一输入图像进行预测造影，得到一个或多个预测造影图像后，该成像设备还包括第五装置105(未示出)，所述第五装置105对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
在此，所述图像恢复包括所述成像设备将所述一个或多个预测造影图像经过图像处理后，恢复成临床上所输出的、正常分布的造影图像。在一种实施例中，所述图像恢复可以包括数据三维化以及数据逆归一化。
例如，所述成像设备将2D形式呈现的一个或多个预测造影图像在横断面方向拼接组装，以恢复成3D数据，然后，再经过对该3D数据的逆归一化操作输出为最终的正常分布的预测影像。
在一种实施例中，所述逆归一化包括以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
例如，可以采用以下公式2执行数据逆归一化：
X＝X0·std+m (公式2)
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。
在一种实施例中，所述第五装置105采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
在此，通过多线程写入模式对多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
图6示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图。
所述成像设备10包括第一装置101、第二装置102、第三装置103、第六装置106、第七装置107以及第八装置108。其中，所述第一装置101、第二装置102、第三装置103与图5所示的对应装置相同或相似，故在此不再赘述，并以引用的方式包含于此。
所述第六装置106、所述第七装置107以及所述第八装置108用于所述预测模型的生成，所述预测模型为全卷积神经网络预测模型。
具体地，所述第六装置106获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像。
在此，所述第二造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第二造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
在一种实施例中，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第二造影图像可以放在一起同时训练。
当所述第二造影图像为多个第二造影图像时，所述多个第二造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，例如3分钟造影图像、5分钟造影图像等；也可以是在n领域内多个造影图像构成的空间体。在一种实施例中，n的取值为3。
所述第七装置107获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点。
具体地，所述成像设备通过直接拍摄或者与其他设备相交互，以获取与所述第二造影图像相对应的临床造影图像，并将所述临床造影图像作为所述预测模型的训练输出影像。
所述第八装置108基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
在一种实施例中，所述成像设备还包括第九装置109(未示出)，其中，所述第九装置109对所述训练输入影像以及所述训练输出影像进行预处理。
具体地，所述预处理包括但不限于对所述训练输入影像以及所述训练输出影像进行配准与归一化。在此，若所述训练输入影像以及所述训练输出影像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述训练输入影像以及所述训练输出影像转换为一个或多个第二2D图像或第二2D图像序列。
所述配准与归一化的方法与所述第二装置102中所述的配准与归一化的方法相同或相似，故在此不再赘述，并通过引用的方式包含于此。
在一种实施例中，所述预处理还包括利用预训练好的分割模型(如U-Net或FCN)，对所述训练输入影像以及所述训练输出影像的核心区域进行分隔，从而获取所述训练输入影像以及所述训练输出影像的核心区域。
在此，所述核心区域即为感兴趣的区域，以肝脏造影为例，所述核心区域即为肝脏区域。需要说明的是，所述分割方法不限于上述举例的模型，还可以采用其他类型的模型以实现分割。
然后，提取所述核心区域的掩码M和/或对其进行数据增强，以得到所述一个或多个增强后的所述训练输入影像以及所述训练输出影像，并基于所述增强后的训练输入影像以及训练输出影像进行全卷积神经网络预测模型的训练。
然后，所述第八装置108基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中，系统700能够作为图1、图2、图3、图4、图5、图6所示的实施例或其他所述实施例中的任意一个成像设备。在一些实施例中，系统700可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备720)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器705)。
对于一个实施例，系统控制模块710可包括任意适当的接口控制器，以向(一个或多个)处理器705中的至少一个和/或与系统控制模块710通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块710可包括存储器控制器模块730，以向系统存储器715提供接口。存储器控制器模块730可以是硬件模块、软件模块和/或固件模块。
系统存储器715可被用于例如为系统700加载和存储数据和/或指令。对于一个实施例，系统存储器715可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器715可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块710可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备720及(一个或多个)通信接口725提供接口。
例如，NVM/存储设备720可被用于存储数据和/或指令。NVM/存储设备720可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备720可包括在物理上作为系统700被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备720可通过网络经由(一个或多个)通信接口725进行访问。
(一个或多个)通信接口725可为系统700提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器(例如，存储器控制器模块730)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统700可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统700可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种造影剂作用下的成像方法，其中，该方法包括以下步骤：
获取利用造影剂进行器官造影的一个或多个第一造影图像；
对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
2.根据权利要求1所述的方法，其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
3.根据权利要求1或2所述的方法，其中，该方法还包括：
将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，该方法还包括：
对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
4.根据权利要求3所述的方法，其中，对所述一个或多个预测造影图像进行图像恢复的步骤包括：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
5.根据权利要求3所述的方法，其中，对所述一个或多个预测造影图像进行图像恢复的步骤包括以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：
获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像；
获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点；
基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
7.根据权利要求6所述的方法，其中，该方法还包括：
对所述训练输入影像以及所述训练输出影像进行预处理；
其中，获取所述全卷积神经网络预测模型的步骤包括：
基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
8.根据权利要求7所述的方法，其中，对所述训练输入影像以及所述训练输出影像进行预处理的步骤包括：
对所述训练输入影像以及所述训练输出影像进行配准与归一化。
9.一种造影剂作用下的成像设备，其中，所述成像设备包括：
第一装置，用于获取利用造影剂进行器官造影的一个或多个第一造影图像；
第二装置，用于对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
第三装置，用于将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括全卷积神经网络预测模型。
10.根据权利要求9所述的成像设备，其中，所述第二装置用于：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
11.根据权利要求9或10所述的成像设备，其中，所述成像设备还包括：
第四装置，用于将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，所述第二装置用于：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，所述成像设备还包括：
第五装置，用于对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
12.根据权利要求11所述的成像设备，其中，所述第五装置用于：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
13.根据权利要求11所述的成像设备，其中，所述第五装置用于以下至少任一项：
根据已统计的预测影像直方图对所述一个或多个预测影像进行反归一化，以进行图像恢复，获取正常分布的预测影像；
根据统计时间内的图像的均值和方差对所述一个或多个预测影像进行像素分布归一化，以进行图像恢复，获取正常分布的预测影像。
14.根据权利要求9至13中任一项所述的成像设备，其中，所述成像设备还包括：
第六装置，用于获取利用造影剂进行器官造影的一个或多个第二造影图像，以作为训练输入影像；
第七装置，用于获取与所述第二造影图像相对应的临床造影图像，以作为训练输出影像，其中，所述临床造影图像的拍摄时间点大于所述第二造影图像的拍摄时间点；
第八装置，用于基于编解码的全卷积神经网络，将所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
15.根据权利要求14所述的成像设备，其中，所述成像设备还包括：
第九装置，用于对所述训练输入影像以及所述训练输出影像进行预处理；
其中，所述第八装置用于：
基于编解码的全卷积神经网络，将预处理后的所述训练输入影像以及所述训练输出影像输入到所述全卷积神经网络中进行训练，以获取所述全卷积神经网络预测模型。
16.根据权利要求15所述的成像设备，其中，所述第九装置用于：
对所述训练输入影像以及所述训练输出影像进行配准与归一化。
17.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求1至8中任一项所述的方法。
CN201910968612.2A 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备 Active CN110853738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910968612.2A CN110853738B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910968612.2A CN110853738B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Publications (2)

Publication Number Publication Date
CN110853738A true CN110853738A (zh) 2020-02-28
CN110853738B CN110853738B (zh) 2023-08-18

Family

ID=69597421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910968612.2A Active CN110853738B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Country Status (1)

Country Link
CN (1) CN110853738B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101829339A (zh) * 2009-03-09 2010-09-15 湖南大学 一种纳米磁共振成像造影剂及其制备方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107480691A (zh) * 2017-07-04 2017-12-15 中国人民解放军总医院 一种基于超声数据降维的甲状腺结构特征提取方法及系统
CN107749061A (zh) * 2017-09-11 2018-03-02 天津大学 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
CN107862695A (zh) * 2017-12-06 2018-03-30 电子科技大学 一种基于全卷积神经网络的改进型图像分割训练方法
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109044385A (zh) * 2018-06-04 2018-12-21 南京市妇幼保健院 一种缩短延迟片拍摄时间的子宫输卵管碘油造影方法
CN109124668A (zh) * 2018-08-21 2019-01-04 广州大学 一种基于全卷积神经网络的肺部ct良恶性结节诊断仪器
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法
CN111182219A (zh) * 2020-01-08 2020-05-19 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101829339A (zh) * 2009-03-09 2010-09-15 湖南大学 一种纳米磁共振成像造影剂及其制备方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107480691A (zh) * 2017-07-04 2017-12-15 中国人民解放军总医院 一种基于超声数据降维的甲状腺结构特征提取方法及系统
CN107749061A (zh) * 2017-09-11 2018-03-02 天津大学 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
CN107862695A (zh) * 2017-12-06 2018-03-30 电子科技大学 一种基于全卷积神经网络的改进型图像分割训练方法
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109044385A (zh) * 2018-06-04 2018-12-21 南京市妇幼保健院 一种缩短延迟片拍摄时间的子宫输卵管碘油造影方法
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN109124668A (zh) * 2018-08-21 2019-01-04 广州大学 一种基于全卷积神经网络的肺部ct良恶性结节诊断仪器
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法
CN111182219A (zh) * 2020-01-08 2020-05-19 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATRICK FERDINAND CHRIST等: "Automatic Liver and Tumor Segmentation of CT and MRI Volumes Using Cascaded Fully Convolutional Neural Networks", pages 1 - 21 *
王立新等: "基于深度学习的显著性区域的图像检索研究", pages 63 - 67 *

Also Published As

Publication number Publication date
CN110853738B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Olut et al. Generative adversarial training for MRA image synthesis using multi-contrast MRI
Yu et al. Medical image synthesis via deep learning
Lin et al. Bidirectional mapping of brain MRI and PET with 3D reversible GAN for the diagnosis of Alzheimer’s disease
Luo et al. 3D transformer-GAN for high-quality PET reconstruction
US9858665B2 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models
WO2023020198A1 (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN111540025B (zh) 预测用于图像处理的图像
Wang et al. VC-Net: Deep volume-composition networks for segmentation and visualization of highly sparse and noisy image data
Wang et al. JointVesselNet: Joint volume-projection convolutional embedding networks for 3D cerebrovascular segmentation
CN111369675B (zh) 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置
Haitao et al. Fractal dimension analysis of MDCT images for quantifying the morphological changes of the pulmonary artery tree in patients with pulmonary hypertension
Sun et al. Double U-Net CycleGAN for 3D MR to CT image synthesis
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
CN112419175A (zh) 一种共享权重的双区域生成对抗网络及其图像生成方法
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
CN110853738B (zh) 一种造影剂作用下的成像方法与设备
Perez-Liva et al. Ultrafast ultrasound imaging for super-resolution preclinical cardiac PET
Al-Masni et al. A knowledge interaction learning for multi-echo MRI motion artifact correction towards better enhancement of SWI
EP4016107A1 (en) Methods for training a cnn and for processing an inputted perfusion sequence using said cnn
Ilangovan et al. Biomedical imaging techniques
CN113052930A (zh) 一种胸部dr双能量数字减影图像生成方法
Abd-Elmoniem et al. Direct pixel to pixel principal strain mapping from tagging MRI using end to end deep convolutional neural network (DeepStrain)
Shekhar et al. Medical image processing
Lacroix 3D Optical flow analysis of a pulsed contrast agent in the bloodstream. Application to virtual angiography and Magnetic Particle Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200312

Address after: 100080 room 1001-003, No. 3 Haidian Avenue, Haidian District, Beijing, 1 room 1001-003

Applicant after: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

Address before: Room 1001-086, building 1, No. 3, Haidian Street, Haidian District, Beijing 100080

Applicant before: Beijing LiangJian Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220809

Address after: Leverkusen, Germany

Applicant after: BAYER AG

Address before: 100080 room 1001-003, building 1, No.3 Haidian Street, Haidian District, Beijing

Applicant before: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

GR01 Patent grant
GR01 Patent grant