CN110852993B - 一种造影剂作用下的成像方法与设备 - Google Patents

一种造影剂作用下的成像方法与设备 Download PDF

Info

Publication number
CN110852993B
CN110852993B CN201910969349.9A CN201910969349A CN110852993B CN 110852993 B CN110852993 B CN 110852993B CN 201910969349 A CN201910969349 A CN 201910969349A CN 110852993 B CN110852993 B CN 110852993B
Authority
CN
China
Prior art keywords
images
contrast
image
predicted
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910969349.9A
Other languages
English (en)
Other versions
CN110852993A (zh
Inventor
余威
张晓璐
钱天翼
程敬亮
李淑健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Bayer AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer AG filed Critical Bayer AG
Priority to CN201910969349.9A priority Critical patent/CN110852993B/zh
Publication of CN110852993A publication Critical patent/CN110852993A/zh
Application granted granted Critical
Publication of CN110852993B publication Critical patent/CN110852993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请的目的是提供一种造影剂作用下的成像方法与设备。本申请通过基于包含生成器和判决器的预测模型，对一个或多个第一造影图像的后续图像进行预测，以生成对应的一个或多个预测造影图像。与现有技术相比，本申请真实地还原造影后期的造影图像，在不影响诊断结果的同时可以极大的缩短造影时间，由于减少了拍摄周期，缩短检查时间，提高了患者的体验，也解决了医疗机构成像时间过长与管理资金成本过高等问题，对患者与医院来说都具有重大意义。此外，本申请可以通过采用多种训练方式对预测模型进行训练，提升图像的对比度与信噪比，使得图像的纹理细节清晰，降低了病灶的漏显率，并且一定程度对未完全配准的情况具有鲁棒性。

Description

一种造影剂作用下的成像方法与设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种造影剂作用下的成像技术。
背景技术
造影是在放射诊断学中，通过摄入含原子序数高的元素的物质，然后在预诊断的体内部位摄取放射照片以供医学诊断。对缺乏自然对比的结构或器官，可将密度高于或低于该结构或器官的物质引入器官内或其周围间隙，使之产生对比显影。
因此，通过造影来进行成像，需要人体摄入造影剂，并且经过一段时间，直到造影剂最终被预诊断的体内部位吸收，才能够完整地摄取所需要的医学诊断图像。以肝脏病变临床诊断应用中的核磁共振成像(MRI，Magnetic Resonance Imaging)为例，从向静脉中注射造影剂到造影剂最终在肝脏中实现对比度增强的效果，整个扫描成像过程持续约25分钟。
发明内容
本申请的目的是提供一种造影剂作用下的成像方法与设备。
根据本申请的一个实施例，提供了一种造影剂作用下的成像方法，其中，该方法包括以下步骤：
获取利用造影剂进行器官造影的一个或多个第一造影图像；
对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括生成器和判决器。
可选地，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
可选地，该方法还包括：
将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，该方法还包括：
对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
可选地，对所述一个或多个预测造影图像进行图像恢复的步骤包括：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
可选地，该方法还包括：
将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点；
将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判断器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点；
根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值；
基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
可选地，对所述生成器进行一次或多次迭代训练的步骤包括以下至少任一项：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
可选地，该方法还包括：
对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像；
其中，生成一个或多个预测训练图像的步骤包括：
将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
可选地，对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理的步骤包括：
对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；
对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
根据本申请的另一个实施例，还提供了一种造影剂作用下的成像设备，其中，所述成像设备包括：
第一装置，用于获取利用造影剂进行器官造影的一个或多个第一造影图像；
第二装置，用于对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
第三装置，用于将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括生成器和判决器。
可选地，所述第二装置用于：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
可选地，所述成像设备还包括：
第四装置，用于将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，所述第二装置用于：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，所述成像设备还包括：
第五装置，用于对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
可选地，所述第五装置用于：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
可选地，所述成像设备还包括：
第六装置，用于将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点；
第七装置，用于将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判断器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点；
第八装置，用于根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值；
第九装置，用于基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
可选地，所述第八装置用于以下至少任一项：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
可选地，所述成像设备还包括：
第十装置，用于对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像；
其中，所述第六装置用于：
将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
可选地，所述第十装置用于：
对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；
对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
根据本申请的另一个实施例，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的方法。
根据本申请的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如上述任一项所述的方法。
与现有技术相比，本申请通过基于包含生成器和判决器的预测模型，对一个或多个第一造影图像的后续图像进行预测，以生成对应的一个或多个预测造影图像，从而真实还原造影后期的造影图像，在不影响诊断结果的同时可以极大的缩短造影时间，由于减少了拍摄周期，缩短检查时间，提高了患者的体验，也解决了医疗机构成像时间过长与管理资金成本过高等问题，对患者与医院来说都具有重大意义。
此外，本申请可以通过采用多种训练方式对预测模型进行训练，提升图像的对比度与信噪比，使得图像的纹理细节清晰，所生成的预测造影图像在语义级别上与长时造影图像更加相似，降低了病灶的漏显率，从而预测出更加准确且有效的诊断信息，并且一定程度对未完全配准的情况具有鲁棒性。
此外，本申请可以采用多线程写入模式将多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种造影剂作用下的成像方法流程图；
图2示出根据本申请一个实施例的造影时间序列的示意图；
图3示出根据本申请一个实施例的一种造影剂作用下的第一造影图像和预测造影图像示意图；
图4示出根据本申请一个实施例的一种造影剂作用下的成像方法的预测模型生成流程图；
图5示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图；
图6示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图；
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在本申请中，在造影剂作用下的成像方式包括但不限于MRI(核磁共振成像，Magnetic Resonance Imaging)、X光、CT(Computed Tomography，即电子计算机断层扫描)等。
以核磁共振成像(MRI，Magnetic Resonance Imaging)为例，核磁共振成像(MRI)是对人体组织器官和病灶中的氢原子核在外部强磁场作用下产生的磁共振信号大小进行度量并根据接收到的度量数据进行3D图像重建的技术。
而增强造影剂是一种可以在MRI图像中迅速变白或变黑的分子，当其被注射到人体血管中，会随着血液进入组织，而当把增强剂打入人体的血管中，会随着血液进入组织，而一些病变则不会吸收，这样就可以进一步区分病变的组织了。例如常用的造影剂有碘制剂、马根维显、普美显等。
进一步地，以肝脏病变临床诊断应用为例，从静脉中注射造影剂，造影剂随着血液到肝脏，正常肝组织约80％的血供来自肝门静脉，肝脏组织会吸收造影剂，组织会变白，而肿瘤细胞的血供来自动脉，不会吸收到造影剂，这样肝脏组织和肿瘤就会区分开来。一般来说，在注射完造影剂后，会经历动脉期、门静脉期、移形期和肝细胞特异期(肝胆期)四个阶段，在肝胆期肝实质和病灶对比度增强，整个动态期的成像可以提供丰富的病灶血供信息和病变定性的信息。通常，这整个扫描成像过程持续约25分钟。
本申请发现，尽管临床上，利用注射造影剂进行MRI图像对比度增强是普遍的手段，但是这种方式存在以下缺陷：
(1)对于医疗机构来说，造影成像较长的时间成本导致医疗机构诊断效率低下的同时造成制备管理费用的增加；
(2)针对检测者，较长预约周期和检测时间不仅会给患者带来诸多的不良体验甚至还会带来一定的副作用。
因此，在缩短造影成像的时间同时还能保证成像质量的技术是医疗机构和患者急需的，有鉴于此，本申请提供一种造影剂作用下的成像方法与设备。
下面结合附图对本申请作进一步详细描述。
本申请所述成像设备包括但不限于任意一种用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的电子产品，例如个人终端、医疗专用计算机设备等，所述电子产品可以采用任意操作系统，如windows操作系统、android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述成像设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述各类设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出根据本申请一个实施例的一种造影剂作用下的成像方法流程图。
其中，在步骤S1中，所述成像设备获取利用造影剂进行器官造影的一个或多个第一造影图像。
在此，所述第一造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第一造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
在步骤S1中，所述成像设备可以直接通过拍摄的方式获取所述第一造影图像，也可以与其他提供所述第一造影图像的设备相交互，以获取其他设备所提供的第一造影图像。
当所述第一造影图像为多个第一造影图像时，所述多个第一造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，也可以是在n领域内多个造影图像构成的空间体。
在一种实施例中，所述一个或多个第一造影图像为2D图像或第一2D图像序列。
在另一种实施例中，该方法还包括步骤S4(未示出)，其中，在步骤S4中，所述成像设备将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
在此，所述第一造影图像可以是2D图像、2.5D图像或3D图像等任意格式的图像。例如，若所述第一造影图像为非2D图像(如2.5D图像或3D图像)，则所述成像设备可以将所述非2D图像在横断面方向进行切割，得到个或多个第一2D图像或第一2D图像序列，并在后续中对所述一个或多个第一2D图像或第一2D图像序列进行处理。这种方式解决了在非2D图像下，由于数据中的坐标对应器官的空间位置，受硬件资源的限制，要么无法直接对非2D空间数据进行直接处理，要么存在着极大的时间开销，因此需要将非2D数据进行空间位置上的切片处理从而将其转化成一系列的2D数据，然后再对其进行处理。
本领域技术人员应能理解，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第一造影图像可以放在一起同时训练。
在一种实施例中，所述第一造影图像包括未服下造影剂的未造影图像以及一个或多个短时造影图像中的至少任一项，所述短时造影图像即为在未达到造影的最终阶段(如肝脏造影中的肝胆期)时所拍摄的图像。在一种优选实施例中，所述短时造影图像的造影时间大于等于达到所述造影的最终阶段的造影时间的一半。
图2示出根据本申请一个实施例的造影时间序列的示意图。
t0表示未服下造影剂的时间，t1至tn-1均为未达到造影的最终阶段，tn即为达到造影的最终阶段。所述一个或多个第一造影图像所对应的拍摄时间可以是t0至tn-1中的任意时间。
在步骤S2中，所述成像设备对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第一造影图像进行配准与归一化。在此，若所述第一造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
通过预处理操作，解决了在实际的造影成像过程中，由于被检者身体的位移和呼吸，导致不同时相的造影图像在像素上不对齐的问题，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，使得要使用的图像之间的像素强度符合大致相同的分布，去除因不同时间点、不同时间序列、不同拍摄设备等原因导致的组织信号强度的偏移性，最终实现像素对齐。
在此，所述配准方法包括刚性配准和/或非刚性配准，例如仿射配准方法、线性变换配准方法等；此外，还可以采用如B-spline、Demons、symmetric diffeomorphicnormalization(SYN)等配准方法。需要说明的是，实现对第一造影图像的配准算法不限于上述举例的算法，还可以采用其他类型的算法以实现配准。
在此，所述归一化方法包括但不限于以下至少任一项：
-利用所述第一造影图像的非目标区域部分，提取相应的掩膜(mask)，求得所述掩膜的像素分布并将所有第一造影图像的像素分布都按照各自掩膜区域内的分布调整到与基准影像一致的尺度上。
-求取图像的均值mean和方差std，对其进行单位归一化；例如，采用以下公式
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。在此，所使用的均值m以及方差值std，可通过对图像的前景区域进行提取后得到，从而去除背景对均值m以及方差std的影响。
需要说明的是，实现对第一造影图像的归一化方法不限于上述举例的方法，还可以采用其他类型的方法以实现归一化。
通过上述预处理步骤，所得到的一个或多个第一输入图像为配准与归一化完成的可处理图像。
在一种实施例中，当在在步骤S4中，所述成像设备将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列后，则在所述步骤S2中，所述成像设备对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像。在此，对所述一个或多个第一2D图像或第一2D图像序列进行预处理的方法与上述预处理方式相同或相似，故在此不再赘述，并以引用的方式包含于此。
在步骤S3中，所述成像设备将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括生成器和判决器。
在此，所述预测造影图像的预测拍摄时间点可以是达到造影的最终阶段的时间点，也可以是未达到造影的最终阶段的时间点、但迟于所述第一造影图像的拍摄时间点。如图2所示，所述预测造影图像所对应的预测拍摄时间可以是tn，也可以是满足ti(0＜i＜n)且ti大于所述第一造影图像的拍摄时间点的任意预测拍摄时间。
其中，所述预测模型包括生成器和判决器，所述生成器与判决器基于深度学习神经网络，通过预先进行的模型训练而成。所述生成器用于根据所输入的训练图像输出对应的预测训练图像，判决器用于基于所述训练图像相对应的临床造影图像，对所述预测训练图像进行判断，并基于所述判决结果，向所述生成器进行反馈，使得所述生成器不断地进行迭代，以生成最终的预测模型。
当所述成像设备向所述预测模型中输入第一输入图像后，可以基于所述训练模型，输出与所述第一输入图像相对应的预测造影图像，从而缩短造影拍摄时间。
图3示出根据本申请一个实施例的一种造影剂作用下的第一造影图像和预测造影图像示意图。当向所述预测模型中输入第一造影图像后，可以输出相应的预测造影图像。在一种实施例中，所述预测造影图像包含预测造影图像的图像以及与所述预测造影图像相对应的预测拍摄时间。
在一种实施例中，当在步骤S3中，对所述一个或多个第一2D图像或第一2D图像序列进行预处理后所得到的第一输入图像进行预测造影，得到一个或多个预测造影图像后，该方法还包括步骤S5(未示出)，在步骤S5中，所述成像设备对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
在此，所述图像恢复包括所述成像设备将所述一个或多个预测造影图像经过图像处理后，恢复成临床上所输出的、正常分布的造影图像。在一种实施例中，所述图像恢复可以包括数据三维化以及数据逆归一化。
例如，所述成像设备将2D形式呈现的一个或多个预测造影图像在横断面方向拼接组装，以恢复成3D数据，然后，再经过对该3D数据的逆归一化操作输出为最终的正常分布的预测影像。
或者，可以采用以下公式2执行数据逆归一化：
X＝X0·std+m(公式2)
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。
在一种实施例中，在步骤S5中，所述成像设备采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
在此，通过多线程写入模式对多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
图4示出根据本申请一个实施例的一种造影剂作用下的成像方法的预测模型生成流程图。
所述预测模型的生成采取生成对抗训练的模式，同时训练一个生成器和判决器。
具体地，在步骤S6中，所述成像设备将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
在此，所述第二造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第二造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
所述生成器基于深度学习神经网络，输入所述第二造影图像进行后，生成对应的预测训练图像。在一种实施例中，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第二造影图像可以放在一起同时训练。
当所述第二造影图像为多个第二造影图像时，所述多个第二造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，例如3分钟造影图像、5分钟造影图像等；也可以是在n领域内多个造影图像构成的空间体。在一种实施例中，n的取值为3。
当所输入的所述第二造影图像为单张造影图像时，所述生成器可以使用2D卷积进行计算；当所输入的所述第二造影图像为多张造影图像时，所述生成器可以使用2D卷积和/或3D卷积进行计算。
在一种实施例中，所述方法还包括步骤S10(未示出)，其中，在步骤S10中，所述成像设备对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第二造影图像进行配准与归一化。在此，若所述第二造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第二造影图像转换为一个或多个第二2D图像或第二2D图像序列。
所述配准与归一化的方法与在步骤S2中所述的配准与归一化的方法相同或相似，故在此不再赘述，并通过引用的方式包含于此。
在一种实施例中，在步骤S10中，所述成像设备对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；并对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
具体地，在所述成像设备对所述第二造影图像进行配准与归一化之后，可以利用预训练好的分割模型(如U-Net或FCN)对所述第二造影图像进行核心区域分割，从而获取所述第二造影图像的核心区域；在此，所述核心区域即为感兴趣的区域，以肝脏造影为例，所述核心区域即为肝脏区域。需要说明的是，实现对第二造影图像的分割方法不限于上述举例的模型，还可以采用其他类型的模型以实现分割。
然后，提取所述核心区域的掩码M和/或对其进行数据增强，以得到所述一个或多个第二输入图像，并基于所述第二输入图像进行生成器的训练。
然后，在步骤S6中，所述成像设备将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
在此，所输入的第二输入图像经过了预处理，在此，所述预处理包括将所述第二输入图像转换2D图像或2D图像序列、配准、归一化、掩码获取和/或数据增强中的至少一个或多个模块。
在步骤S7中，所述成像设备将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判断器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点。
具体地，所述成像设备将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像在通道上连接起来，同时输入到判决器中，所述判决器对两者的真假进行区分，并判断两者之间的差异。
在步骤S8中，所述成像设备根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值。
在此，所述预定阈值限定了所述预测训练图像以及所述临床造影图像的差异的最大值，若所述判决结果显示，所述预测训练图像以及所述临床造影图像的差异大于该最大值，则说明需要继续进行迭代，则所述生成器基于该结果，重新生成新的预测训练图像，并重新经由所述判决器，对所述预测训练图像以及所述临床造影图像进行判决。直到所述预测训练图像以及所述临床造影图像的差异小于预定阈值，说明所述生成器符合预测的标准，完成对所述生成器的训练。
在一种实施例中，所述判决器在多次迭代的过程中，同样需要对判决结果进行迭代，例如，若所述判决器认为所述预测训练图像是真实的临床造影图像，则认为所述判决器判断错误，并向所述判决器输入正确的判决结果，使得所述判决器不断迭代。
在步骤S9中，所述成像设备基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
也即，所述成像设备将经过多次迭代后的生成器以及判决器作为所述预测模型，并用于步骤S3中的预测。
在一种实施例中，在步骤S8中，所述成像设备基于以下至少任一项的方法来执行迭代训练：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
基于最小化最小二乘对抗损失函数的目的是让所述生成器与所述判决器实现稳定的对抗训练，在对抗过程中实现生成器生成图像质量的提升。在一种实施例中，所述最小化最小二乘对抗损失函数可以采用如下的公式3：
其中，所述表示该最小乘对抗损失函数。在此，所述Xpre为未进行造影的第一造影图像，Xs为造影开始后且在造影最终阶段前的短时第一造影图像，D表示判决器，G表示生成器，LGAN表示为生成对抗网络优化的总损失，/>表示在G网络的参数固定的情况下，期望D网络的参数使得损失LGAN取得最小值；/>表示在D网络的参数固定的情况下，期望G网络的参数使得损失LGAN取得最大值；Ey～pdata(y)表示当输入y满足data(y)分布(该分布无法通过公式显示表达)时，D(y)-a所取得的期望值；/>表示当输入xpre,xs分别满足data(xpre)以及data(xs)分布时，D(G(xpre,xs))-b所取得的期望值；a为当输入为真实数据y时，期望D输出的值，也就是真实数据对应的分类标签；b为当输入为生成数据G(xpre,xs)时，期望D输出的值，也就是生存数据对应的分类标签。
在一种实施例中，a＝1，b＝0。
基于最小化特征损失函数的目的是让生成数据G(xpre,xs)和真实数据y之间的像素差异最小的同时，特征语义差异也要最小，从而避免有效诊断信息的丢失，保证图像的生成质量。在一种实施例中，所述最小化特征损失函数可以采用如下的公式4，其由两部分组成：
LFeature＝E[‖G(xpre,xs)-y||1]+λE[||φG(xpre,xs)-φy||1]…公式4
其中，所述LFeature表示该最小化特征损失函数，φ(·)为对应卷积网络针对输入数据提取到的最后一层卷积层的特征，φ可以是在ImageNet上预训练好的VGG-Net也可以是其他的网络形式，在一种实施例中，采用判决器D网络，λ为权重因子，可选的取值范围为[1,10]。
基于最小化局部一致损失函数的目的是使得生成数据G(xpre,xs)的核心区域(感兴趣区域，如前文所述示例中的肝脏区域)与真实数据y的对应区域的差异最小，从而降低核心区域的漏显率。在一种实施例中，所述最小化局部一致损失函数可以采用如下的公式5：
LLoc＝E[‖G(xpre,xs)·M-y·M||1]………公式5
其中，所述LLoc表示该最小化局部一致损失函数，M为在步骤S10中所提取到的核心区域的掩码。
上述三种训练方法可以单独采取一种方法进行迭代训练，也可以同时采取多种的方式同时进行迭代训练，以同时采取三种方式进行迭代训练为例，则最终的总损失函数为：
其中，α、β和γ分别对应三个损失函数的权重因子，在一种实施例中，α＝1，β和γ的取值范围为[1,10]。
最终，解决如下优化问题：
其中，公式7表示了当G网络的参数固定时，D网络的参数可以使得损失L达到最小值；而当D网络的参数固定时，G网络的参数可以使得损失L达到最大值。G*,F*分别指达到上述要求的G和D的网络参数。arg表示达到损失函数要求时变量所取的值。
图5示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图。
其中，所述成像设备10包括第一装置101、第二装置102以及第三装置103。
所述第一装置101获取利用造影剂进行器官造影的一个或多个第一造影图像。
在此，所述第一造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第一造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
所述第一装置101可以直接通过拍摄的方式获取所述第一造影图像，也可以与其他提供所述第一造影图像的设备相交互，以获取其他设备所提供的第一造影图像。
当所述第一造影图像为多个第一造影图像时，所述多个第一造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，也可以是在n领域内多个造影图像构成的空间体。
在一种实施例中，所述一个或多个第一造影图像为2D图像或第一2D图像序列。
在另一种实施例中，该成像设备还包括第四装置104(未示出)，其中，所述第四装置104将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
在此，所述第一造影图像可以是2D图像、2.5D图像或3D图像等任意格式的图像。例如，若所述第一造影图像为非2D图像(如2.5D图像或3D图像)，则所述成像设备可以将所述非2D图像在横断面方向进行切割，得到个或多个第一2D图像或第一2D图像序列，并在后续中对所述一个或多个第一2D图像或第一2D图像序列进行处理。这种方式解决了在非2D图像下，由于数据中的坐标对应器官的空间位置，受硬件资源的限制，要么无法直接对非2D空间数据进行直接处理，要么存在着极大的时间开销，因此需要将非2D数据进行空间位置上的切片处理从而将其转化成一系列的2D数据，然后再对其进行处理。
本领域技术人员应能理解，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第一造影图像可以放在一起同时训练。
在一种实施例中，所述第一造影图像包括未服下造影剂的未造影图像以及一个或多个短时造影图像中的至少任一项，所述短时造影图像即为在未达到造影的最终阶段(如肝脏造影中的肝胆期)时所拍摄的图像。在一种优选实施例中，所述短时造影图像的造影时间大于等于达到所述造影的最终阶段的造影时间的一半。
图2示出根据本申请一个实施例的造影时间序列的示意图。
t0表示未服下造影剂的时间，t1至tn-1均为未达到造影的最终阶段，tn即为达到造影的最终阶段。所述一个或多个第一造影图像所对应的拍摄时间可以是t0至tn-1中的任意时间。
所述第二装置102对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第一造影图像进行配准与归一化。在此，若所述第一造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列。
通过预处理操作，解决了在实际的造影成像过程中，由于被检者身体的位移和呼吸，导致不同时相的造影图像在像素上是不对齐的问题，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，通过对所述一个或多个第一造影图像在空间上进行配准与归一化，使得要使用的图像之间的像素强度符合大致相同的分布，去除因不同时间点、不同时间序列、不同拍摄设备等原因导致的组织信号强度的偏移性，最终实现像素对齐。
在此，所述配准方法包括刚性配准和/或非刚性配准，例如仿射配准方法、线性变换配准方法等；此外，还可以采用如B-spline、Demons、symmetric diffeomorphicnormalization(SYN)等配准方法。需要说明的是，实现对第一造影图像的配准算法不限于上述举例的算法，还可以采用其他类型的算法以实现配准。
在此，所述归一化方法包括但不限于以下至少任一项：
-利用所述第一造影图像的非目标区域部分，提取相应的掩膜(mask)，求得所述掩膜的像素分布并将所有第一造影图像的像素分布都按照各自掩膜区域内的分布调整到与基准影像一致的尺度上。
-求取图像的均值mean和方差std，对其进行单位归一化；例如，采用以下公式
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。在此，所使用的均值m以及方差值std，可通过对图像的前景区域进行提取后得到，从而去除背景对均值m以及方差std的影响。
需要说明的是，实现对第一造影图像的归一化方法不限于上述举例的方法，还可以采用其他类型的方法以实现归一化。
通过上述预处理，所得到的一个或多个第一输入图像为配准与归一化完成的可处理图像。
在一种实施例中，当所述第四装置104将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列后，则所述第二装置102对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像。在此，对所述一个或多个第一2D图像或第一2D图像序列进行预处理的方法与上述预处理方式相同或相似，故在此不再赘述，并以引用的方式包含于此。
所述第三装置103将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像所对应的预测拍摄时间点大于所述第一造影图像的拍摄时间点，所述预测模型包括生成器和判决器。
在此，所述预测造影图像的预测拍摄时间点可以是达到造影的最终阶段的时间点，也可以是未达到造影的最终阶段的时间点、但迟于所述第一造影图像的拍摄时间点。如图2所示，所述预测造影图像所对应的预测拍摄时间可以是tn，也可以是满足ti(0＜i＜n)且ti大于所述第一造影图像的拍摄时间点的任意预测拍摄时间。
其中，所述预测模型包括生成器和判决器，所述生成器与判决器基于深度学习神经网络，通过预先进行的模型训练而成。所述生成器用于根据所输入的训练图像输出对应的预测训练图像，判决器用于基于所述训练图像相对应的临床造影图像，对所述预测训练图像进行判断，并基于所述判决结果，向所述生成器进行反馈，使得所述生成器不断地进行迭代，以生成最终的预测模型。
当所述成像设备向所述预测模型中输入第一输入图像后，可以基于所述训练模型，输出与所述第一输入图像相对应的预测造影图像，从而缩短造影拍摄时间。
图3示出根据本申请一个实施例的一种造影剂作用下的第一造影图像和预测造影图像示意图。当向所述预测模型中输入第一造影图像后，可以输出相应的预测造影图像。在一种实施例中，所述预测造影图像包含预测造影图像的图像以及与所述预测造影图像相对应的预测拍摄时间。
在一种实施例中，所述成像设备还包括第五装置105(未示出)。其中，当所述第三装置103对所述一个或多个第一2D图像或第一2D图像序列进行预处理后所得到的第一输入图像进行预测造影，得到一个或多个预测造影图像后，所述第五装置105对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
在此，所述图像恢复包括所述成像设备将所述一个或多个预测造影图像经过图像处理后，恢复成临床上所输出的、正常分布的造影图像。在一种实施例中，所述图像恢复可以包括数据三维化以及数据逆归一化。
例如，所述成像设备将2D形式呈现的一个或多个预测造影图像在横断面方向拼接组装，以恢复成3D数据，然后，再经过对该3D数据的逆归一化操作输出为最终的正常分布的预测影像。
或者，可以采用以下公式2执行数据逆归一化：
X＝X0·std+m (公式2)
其中，X为归一化前的图像数据，X0为归一化后的数据，m为对数据进行统计直方图分布后，去除背景区域的像素(像素值为0)后，通过观察所取得的像素中值或均值，std为像素的方差值。
在一种实施例中，所述第五装置105采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
在此，通过多线程写入模式对多个预测造影图像进行拼接组装，大大缩短了输出图像的生成时间。
图6示出根据本申请一个实施例的一种造影剂作用下的成像设备结构图。
所述成像设备10包括第一装置101、第二装置102、第三装置103、第六装置106、第七装置107、第八装置108以及第九装置109。其中，所述第一装置101、第二装置102、第三装置103与图5所示的对应装置相同或相似，故在此不再赘述，并以引用的方式包含于此。
所述第六装置106、所述第七装置107、所述第八装置108以及所述第九装置109用于所述预测模型的生成，所述预测模型的生成采取生成对抗训练的模式，同时训练一个生成器和判决器。
具体地，所述第六装置106将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
在此，所述第二造影图像包括但不限于MRI图像、X图像、CT图像等多种方式所生成的医疗造影图像，所述第二造影图像可以是上述各类医疗造影图像在不同模态、不同时期、不同设备所拍摄的造影剂影像检查图像。
所述生成器基于深度学习神经网络，输入所述第二造影图像进行后，生成对应的预测训练图像。在一种实施例中，对于同一被检者所拍摄的不同模态、不同时期、不同设备所拍摄的多个第二造影图像可以放在一起同时训练。
当所述第二造影图像为多个第二造影图像时，所述多个第二造影图像可以是多张拍摄于不同时间点的造影图片所构成的造影图像序列，例如3分钟造影图像、5分钟造影图像等；也可以是在n领域内多个造影图像构成的空间体。在一种实施例中，n的取值为3。
当所输入的所述第二造影图像为单张造影图像时，所述生成器可以使用2D卷积进行计算；当所输入的所述第二造影图像为多张造影图像时，所述生成器可以使用2D卷积和/或3D卷积进行计算。
在一种实施例中，所述成像设备还包括第十装置1010(未示出)，其中，所述第十装置1010对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像。
具体地，所述预处理包括但不限于对所述一个或多个第二造影图像进行配准与归一化。在此，若所述第二造影图像需要转换为2D图像或2D图像序列，则所述预处理还可以包括将所述一个或多个第二造影图像转换为一个或多个第二2D图像或第二2D图像序列。
所述配准与归一化的方法与在第二装置102中所述的配准与归一化的方法相同或相似，故在此不再赘述，并通过引用的方式包含于此。
在一种实施例中，所述第十装置1010对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；并对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
具体地，在所述成像设备对所述第二造影图像进行配准与归一化之后，可以利用预训练好的分割模型(如U-Net或FCN)对所述第二造影图像进行核心区域分割，从而获取所述第二造影图像的核心区域；在此，所述核心区域即为感兴趣的区域，以肝脏造影为例，所述核心区域即为肝脏区域。需要说明的是，实现对第二造影图像的分割方法不限于上述举例的模型，还可以采用其他类型的模型以实现分割。
然后，提取所述核心区域的掩码M和/或对其进行数据增强，以得到所述一个或多个第二输入图像，并基于所述第二输入图像进行生成器的训练。
然后，所述第六装置106将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
在此，所输入的第二输入图像经过了预处理，在此，所述预处理包括将所述第二输入图像转换2D图像或2D图像序列、配准、归一化、掩码获取和/或数据增强中的至少一个或多个模块。
所述第七装置1074将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判断器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点。
具体地，所述成像设备将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像在通道上连接起来，同时输入到判决器中，所述判决器对两者的真假进行区分，并判断两者之间的差异。
所述第八装置108根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值。
在此，所述预定阈值限定了所述预测训练图像以及所述临床造影图像的差异的最大值，若所述判决结果显示，所述预测训练图像以及所述临床造影图像的差异大于该最大值，则说明需要继续进行迭代，则所述生成器基于该结果，重新生成新的预测训练图像，并重新经由所述判决器，对所述预测训练图像以及所述临床造影图像进行判决。直到所述预测训练图像以及所述临床造影图像的差异小于预定阈值，说明所述生成器符合预测的标准，完成对所述生成器的训练。
在一种实施例中，所述判决器在多次迭代的过程中，同样需要对判决结果进行迭代，例如，若所述判决器认为所述预测训练图像是真实的临床造影图像，则认为所述判决器判断错误，并向所述判决器输入正确的判决结果，使得所述判决器不断迭代。
所述第九装置109基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
也即，所述成像设备将经过多次迭代后的生成器以及判决器作为所述预测模型，并用于所述第三装置103中的预测。
在一种实施例中，所述第八装置108基于以下至少任一项的方法来执行迭代训练：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中，系统700能够作为图1、图2、图3、图4、图5、图6所示的实施例或其他所述实施例中的任意一个成像设备。在一些实施例中，系统700可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备720)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器705)。
对于一个实施例，系统控制模块710可包括任意适当的接口控制器，以向(一个或多个)处理器705中的至少一个和/或与系统控制模块710通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块710可包括存储器控制器模块730，以向系统存储器715提供接口。存储器控制器模块730可以是硬件模块、软件模块和/或固件模块。
系统存储器715可被用于例如为系统700加载和存储数据和/或指令。对于一个实施例，系统存储器715可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器715可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块710可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备720及(一个或多个)通信接口725提供接口。
例如，NVM/存储设备720可被用于存储数据和/或指令。NVM/存储设备720可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备720可包括在物理上作为系统700被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备720可通过网络经由(一个或多个)通信接口725进行访问。
(一个或多个)通信接口725可为系统700提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统700可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器(例如，存储器控制器模块730)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器705中的至少一个可与系统控制模块710的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统700可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统700可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种造影剂作用下的成像方法，其中，该方法包括以下步骤：
获取利用造影剂进行器官造影的一个或多个第一造影图像；
对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像指示所述器官在预测拍摄时间点的造影图像，所述预测造影图像所对应的所述预测拍摄时间点大于所述第一造影图像的拍摄时间点，从而对所述一个或多个第一造影图像的后续图像进行预测，所述预测模型包括生成器和判决器。
2.根据权利要求1所述的方法，其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
3.根据权利要求1或2所述的方法，其中，该方法还包括：
将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，对所述一个或多个第一造影图像进行预处理的步骤包括：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，该方法还包括：
对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
4.根据权利要求3所述的方法，其中，对所述一个或多个预测造影图像进行图像恢复的步骤包括：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
5.根据权利要求1、2和4中任一项所述的方法，其中，该方法还包括：
将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点；
将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判决器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点；
根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值；
基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
6.根据权利要求5所述的方法，其中，对所述生成器进行一次或多次迭代训练的步骤包括以下至少任一项：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
7.根据权利要求5所述的方法，其中，该方法还包括：
对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像；
其中，生成一个或多个预测训练图像的步骤包括：
将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
8.根据权利要求7所述的方法，其中，对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理的步骤包括：
对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；
对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
9.一种造影剂作用下的成像设备，其中，所述成像设备包括：
第一装置，用于获取利用造影剂进行器官造影的一个或多个第一造影图像；
第二装置，用于对所述一个或多个第一造影图像进行预处理，以得到一个或多个第一输入图像；
第三装置，用于将所述一个或多个第一输入图像输入到预测模型中，以得到对应的一个或多个预测造影图像，其中，所述预测造影图像指示所述器官在预测拍摄时间点的造影图像，所述预测造影图像所对应的所述预测拍摄时间点大于所述第一造影图像的拍摄时间点，从而对所述一个或多个第一造影图像的后续图像进行预测，所述预测模型包括生成器和判决器。
10.根据权利要求9所述的成像设备，其中，所述第二装置用于：
对所述一个或多个第一造影图像进行配准与归一化，以得到一个或多个第一输入图像。
11.根据权利要求9或10所述的成像设备，其中，所述成像设备还包括：
第四装置，用于将所述一个或多个第一造影图像转换为一个或多个第一2D图像或第一2D图像序列；
其中，所述第二装置用于：
对所述一个或多个第一2D图像或第一2D图像序列进行预处理，以得到一个或多个第一输入图像；
其中，所述成像设备还包括：
第五装置，用于对所述一个或多个预测造影图像进行图像恢复，以获取正常分布的预测影像。
12.根据权利要求11所述的成像设备，其中，所述第五装置用于：
采用多线程写入模式，将所述多个预测造影图像进行拼接组装，以进行图像恢复，获取正常分布的预测影像。
13.根据权利要求9、10和12中任一项所述的成像设备，其中，所述成像设备还包括：
第六装置，用于将利用造影剂进行器官造影的一个或多个第二造影图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点；
第七装置，用于将所述预测训练图像以及与所述预测训练图像相对应的临床造影图像输入到判决器中，并利用所述判决器判决所述预测训练图像以及所述临床造影图像的差异，其中，所述临床造影图像的拍摄时间点等同于所述预测训练图像的预测拍摄时间点；
第八装置，用于根据所述判决器的判决结果，对所述生成器进行一次或多次迭代训练，以使得所述预测训练图像以及所述临床造影图像的差异小于预定阈值；
第九装置，用于基于所述生成器以及所述判决器，得到所述预测模型，其中，所述预测模型包括所述生成器和所述判决器。
14.根据权利要求13所述的成像设备，其中，所述第八装置用于以下至少任一项：
基于最小化最小二乘对抗损失函数对所述生成器和/或所述判决器进行训练；
基于最小化特征损失函数对所述生成器和/或所述判决器进行训练；
基于最小化局部一致损失函数对所述生成器和/或所述判决器进行训练。
15.根据权利要求13所述的成像设备，其中，所述成像设备还包括：
第十装置，用于对利用造影剂进行器官造影的一个或多个第二造影图像进行预处理，以得到一个或多个第二输入图像；
其中，所述第六装置用于：
将所述一个或多个第二输入图像输入到生成器中，以生成一个或多个预测训练图像，其中，所述预测训练图像的预测拍摄时间点大于所述第二造影图像的拍摄时间点。
16.根据权利要求15所述的成像设备，其中，所述第十装置用于：
对利用造影剂进行器官造影的一个或多个第二造影图像进行配准与归一化；
对配准与归一化后的所述第二造影图像进行核心区域分割，并对所述核心区域进行掩码获取和/或数据增强，以得到一个或多个第二输入图像。
17.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求1至8中任一项所述的方法。
CN201910969349.9A 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备 Active CN110852993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969349.9A CN110852993B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969349.9A CN110852993B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Publications (2)

Publication Number Publication Date
CN110852993A CN110852993A (zh) 2020-02-28
CN110852993B true CN110852993B (zh) 2024-03-08

Family

ID=69597351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969349.9A Active CN110852993B (zh) 2019-10-12 2019-10-12 一种造影剂作用下的成像方法与设备

Country Status (1)

Country Link
CN (1) CN110852993B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508835B (zh) * 2020-12-10 2024-04-26 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
CN112508834A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236706B1 (en) * 1996-12-12 2001-05-22 General Electric Company Methods and apparatus for predicting contrast agent uptake in a computed tomography system
CN101632592A (zh) * 2008-07-23 2010-01-27 株式会社东芝 X射线ct装置以及其图像作成方法
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
JP2019030648A (ja) * 2017-08-09 2019-02-28 学校法人東京女子医科大学 線量分布予測システム、線量分布予測方法及び線量分布予測プログラム
CN110163809A (zh) * 2019-03-31 2019-08-23 东南大学 基于U-net生成对抗网络DSA成像方法及装置
CN110322432A (zh) * 2019-05-27 2019-10-11 上海联影医疗科技有限公司 医学图像处理方法、装置、计算机设备和可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1508872A1 (en) * 2003-08-22 2005-02-23 Semeion An algorithm for recognising relationships between data of a database and a method for image pattern recognition based on the said algorithm
DE102013201136B4 (de) * 2013-01-24 2023-01-19 Siemens Healthcare Gmbh Vorhersage eines voraussichtlichen Kontrastmittelverlaufs
US10198817B2 (en) * 2014-04-17 2019-02-05 The Trustees Of Columbia University In The City Of New York Technologies for diagnosing neurological or psychiatric illnesses
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
AU2018346938B2 (en) * 2017-10-09 2024-04-04 The Board Of Trustees Of The Leland Stanford Junior University Contrast dose reduction for medical imaging using deep learning
US20190206527A1 (en) * 2017-12-29 2019-07-04 Siemens Healthcare Gmbh Register for examinations with contrast agent

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236706B1 (en) * 1996-12-12 2001-05-22 General Electric Company Methods and apparatus for predicting contrast agent uptake in a computed tomography system
CN101632592A (zh) * 2008-07-23 2010-01-27 株式会社东芝 X射线ct装置以及其图像作成方法
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
JP2019030648A (ja) * 2017-08-09 2019-02-28 学校法人東京女子医科大学 線量分布予測システム、線量分布予測方法及び線量分布予測プログラム
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN110163809A (zh) * 2019-03-31 2019-08-23 东南大学 基于U-net生成对抗网络DSA成像方法及装置
CN110322432A (zh) * 2019-05-27 2019-10-11 上海联影医疗科技有限公司 医学图像处理方法、装置、计算机设备和可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D conditional generative adversarial networks for high-quality PET image estimation at low dose;Yan Wang等;《NeuroImage》;20180701;第174卷;550-562 *
有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测;袁绍锋;杨丰;徐琳;吴洋洋;黄靖;刘娅琴;;中国生物医学工程学报;20190420(02);全文 *
造影剂智能跟踪血管摄影技术在下肢血管造影中的应用价值;董继伟;张兆琪;范占明;;心肺血管病杂志;20110126(01);全文 *

Also Published As

Publication number Publication date
CN110852993A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
Chen et al. Self-supervised learning for medical image analysis using image context restoration
Wang et al. 3D auto-context-based locality adaptive multi-modality GANs for PET synthesis
Wang et al. 3D conditional generative adversarial networks for high-quality PET image estimation at low dose
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
US10762398B2 (en) Modality-agnostic method for medical image representation
Yu et al. Medical image synthesis via deep learning
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
JP2021521993A (ja) 敵対的生成ネットワークを使用した画像強調
US9858665B2 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models
Yan et al. MRI manufacturer shift and adaptation: increasing the generalizability of deep learning segmentation for MR images acquired with different scanners
Chen et al. Multiview two-task recursive attention model for left atrium and atrial scars segmentation
CN111540025B (zh) 预测用于图像处理的图像
Wang et al. VC-Net: Deep volume-composition networks for segmentation and visualization of highly sparse and noisy image data
US20230147968A1 (en) Generation of radiological images
CN112419378B (zh) 医学图像配准方法、电子设备和存储介质
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
Yang et al. Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives
Sun et al. Double U-Net CycleGAN for 3D MR to CT image synthesis
US8805122B1 (en) System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Lei et al. Generative adversarial network for image synthesis
Lei et al. Generative adversarial networks for medical image synthesis
Huang et al. POST-IVUS: A perceptual organisation-aware selective transformer framework for intravascular ultrasound segmentation
CN110853738B (zh) 一种造影剂作用下的成像方法与设备
US11138736B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200312

Address after: 100080 room 1001-003, No. 3 Haidian Avenue, Haidian District, Beijing, 1 room 1001-003

Applicant after: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

Address before: Room 1001-086, building 1, No. 3, Haidian Street, Haidian District, Beijing 100080

Applicant before: Beijing LiangJian Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220808

Address after: Leverkusen, Germany

Applicant after: BAYER AG

Address before: 100080 room 1001-003, building 1, No.3 Haidian Street, Haidian District, Beijing

Applicant before: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant