CN111540025B - 预测用于图像处理的图像 - Google Patents
预测用于图像处理的图像 Download PDFInfo
- Publication number
- CN111540025B CN111540025B CN202010070824.1A CN202010070824A CN111540025B CN 111540025 B CN111540025 B CN 111540025B CN 202010070824 A CN202010070824 A CN 202010070824A CN 111540025 B CN111540025 B CN 111540025B
- Authority
- CN
- China
- Prior art keywords
- image
- predictor
- trained
- classifier
- actual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims 2
- 230000007774 longterm Effects 0.000 claims 1
- 230000006403 short-term memory Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 230000005855 radiation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002697 interventional radiology Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000005557 antagonist Substances 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008821 health effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Abstract
预测用于图像处理的图像。提供了用于图像处理的图像预测的系统和方法。训练的图像预测器可以用于基于先前的实际图像来生成虚拟图像。可以预处理虚拟图像以生成中间图像。然后，中间图像可被用于处理下一个实际图像以生成最终图像。
Description
技术领域
本公开一般地涉及图像处理，并且更特别地涉及用于图像处理的预测图像。
背景技术
投影放射线摄影术（projection radiography）是通过x射线辐射生成二维（2D）图像的放射线摄影术和医学成像的形式。一种类型的投影放射线摄影术是血管造影术，其是用于基于诊断成像方法来表示血管的常用方法，诊断成像方法诸如是x射线或磁共振断层摄影术（MRT）。为了所检验的血管的改进的表示，已经开发了数字减影血管造影术（DSA）。DSA是在介入性放射学（interventional radiology）中使用的荧光透视（fluoroscopy）技术，以清楚地可视化多骨（bony）或密集的软组织环境中的血管。在造影剂（contrastmedium）已经被引入到感兴趣的结构或组织中之后通过从获取的后续图像减去“造影前（pre-contrast）图像”或遮蔽来产生图像。这些图像的时间序列可以用于提供时间分辨的（time-resolved）或时变数据，其显示了感兴趣的结构或组织随时间的发展。
放射线摄影术成像涉及辐射暴露，这可能导致对患者的各种不利的健康影响，诸如恶心和呕吐。共同的目标是使辐射剂量最小化从而减少这种副作用。然而，通常在辐射剂量和图像噪声之间存在折衷。一般而言，辐射剂量越低，图像噪声越高。可能需要消噪（de-noising）技术来改进通过较低辐射剂量生成的图像的质量。
发明内容
本文描述了用于预测（forecast）用于图像处理的图像的系统和方法。根据一个方面，使用经训练的图像预测器（forecaster）来基于先前的实际图像生成虚拟图像。可以预处理虚拟图像以生成中间图像。然后，可以使用中间图像来处理下一个实际图像以生成最终图像。
附图说明
当结合附图考虑时，通过参考以下详细描述，将容易地获得对本公开及其许多伴随方面的更完整理解，因为本公开及其许多伴随方面变得更好理解。
图1是示出了示例性系统的框图；
图2示出了由计算机系统执行的示例性对抗性（adversarial）训练方法；
图3示出了示例性对抗性训练流水线（pipeline）；
图4示出了由计算机系统执行的示例性图像处理方法；
图5示出了在时间序列中的示例性图像；以及
图6示出了另外的时间序列中的示例性图像。
具体实施方式
在以下描述中，阐述了许多具体细节，诸如具体部件、设备、方法等的示例，以便提供对本框架的实现的透彻理解。然而，本领域技术人员将清楚，不需要采用这些具体细节来实现本框架的实现。在其他情况下，没有详细描述公知的材料或方法，以避免不必要地模糊本框架的实现。虽然本框架易于遭受各种修改和替代形式，但其具体实施例是通过在附图中的示例的方式示出的并将在本文中被详细描述。然而，应当理解，没有意图将本发明限制于所公开的特定形式，而是相反，意图覆盖落入本发明的精神和范围内的所有修改、等同物和替代。此外，为了便于理解，某些方法步骤被描绘为单独的步骤；然而，这些单独描绘的步骤不应被解释为在它们的执行中必然是顺序依赖的。
如本文中所使用的术语“x射线图像”可以意味着可见的x射线图像（例如，显示在视频屏幕上）或x射线图像的数字表示（例如，对应于x射线检测器的像素输出的文件）。如本文中所使用的术语“治疗中（in-treatment）的x射线图像”可以指在介入或治疗程序的治疗实施（treatment delivery）阶段期间的任何时间点处捕捉的图像，在介入或治疗程序的治疗实施阶段期间的任何时间点可以包括辐射源开或关的时间。有时，为了描述的方便，CT成像数据（例如，锥形束（cone-beam）CT成像数据）在本文中可以用作示例性成像模态（modality）。然而，将理解，也可以在各种实现中使用来自任何类型的成像模态的数据，任何类型的成像模态包括但不限于x射线照片、MRI （磁共振成像）、PET （正电子发射断层摄影术）、PET-CT （计算断层摄影术）、SPECT （单光子发射计算断层摄影术）、SPECT-CT、MR-PET、3D超声图像或诸如此类。
除非另外说明，否则如从以下论述清楚的是，将理解，诸如“分段”、“生成”、“登记”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”或诸如此类的术语可指代计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理（例如，电子）量的数据操纵并变换为类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备内的物理量的其他数据。本文中所描述方法的实施例可使用计算机软件来实现。如果以符合公认的标准的编程语言编写，则可以编译被设计成实现方法的指令序列以便在多种硬件平台上的执行以及用于到多种操作系统接口。此外，没有参考任何特定的编程语言来描述本框架的实现。将理解，可以使用多种编程语言。
如本文中所使用的，术语“图像”指代由离散图像元素（例如，2D图像的像素、3D图像的体素、4D数据集的doxel）组成的多维数据。该图像可以是例如通过CT （计算断层摄影术）、MRI （磁共振成像）、超声或本领域技术人员已知的任何其他医学成像系统收集的主体（subject）的医学图像。还可以从诸如例如遥感系统、电子显微镜等之类的非医学上下文来提供图像。虽然图像可以被认为是从R3到R的函数，或者到R3的映射，但是本方法并不局限于这样的图像，并且可被应用于任何维度的图像，例如2D图片、3D体积或4D数据集。对于2维或3维图像，图像的域通常是2维或3维矩形阵列（rectangular array），其中可以参考2或3个相互正交的轴来对每个像素或体素寻址（address）。本文中使用的术语“数字”和“数字化”将指代视情况而定经由数字获取系统或经由从模拟图像的转换而获取的数字或数字化格式的图像或体积。
可以互换地使用通常关于2D成像和图像显示使用的用于图片元素的术语“像素”、通常关于3D成像使用的用于体积图像元素的“体素”和用于4D数据集的“doxel”。应当注意，3D体积图像本身是从作为2D传感器阵列上的像素获得的图像合成的，并且从某个视角显示为2D图像。因此，2D图像处理和图像分析技术可以应用于3D体积图像。在以下描述中，被描述为对doxel进行操作的技术可以替代地被描述为对以2D像素数据的形式存储和表示以供显示的3D体素数据进行操作。以相同的方式，对体素数据进行操作的技术也可以被描述为对像素进行操作。在以下描述中，变量x用于指示在特定空间位置处的主体图像元素，或者替代地被认为是主体像素。术语“主体像素”、“主体体素”和“主体doxel”用于指示使用本文中所描述的技术对其进行操作的特定图像元素。
通常，通过空间域和频域滤波器以及在时域滤波器中对当前获取的图像执行图像消噪。可以将先前的实际图像合并到某程度，并且可以执行时间平均。然而，时间滤波具有相当大的模糊效应，因为人体处于恒定的运动之下，即使当躺在检验台上时（例如，呼吸、心脏运动、肠运动），并且介入设备可能逐帧地改变位置。结果，图像质量可能降级。
本框架的一个方面通过预测图像（例如，x射线图像）内部的移动（或改变）来最佳地引导图像处理（例如，时域图像滤波）。这种图像预测使能像素区域的相关，其继而使由时间滤波引入的运动模糊最小化。该框架可以组合当前获取的图像序列的先验知识以及图像内容的一般行为的先验知识。该框架基于深度学习技术（例如，深度神经网络或深度卷积网络）和大规模（massive）训练集来实现机器视觉。在一些实现中，深度学习技术利用长期-短期记忆（LSTM）网络，其是朝向上下文感知准备好（gear）的卷积神经网络的子集。
该框架可以包括预测器、分类器和图像处理单元。可以使用对抗性训练方法来训练预测器和分类器，其通过使模型对噪声或对手（adversary）较不敏感来增加深度学习模型的鲁棒性。预测器用于基于可用的先前实际图像来预测（或生成）新图像（例如，2D x射线图像）。分类器用于检测输入图像是由预测器生成的虚拟（或合成）图像还是由实际成像设备在图像序列中的特定时间点处获取的实际（或真实）图像。图像处理单元然后可以基于预测图像执行例如时间滤波以改进图像质量。这种图像滤波有利地使能相当大的辐射剂量减少，而保持图像质量稳定。将理解，尽管本文中可能示出了涉及对2D x射线图像进行滤波或消噪的特定应用，但是技术并不局限于所示出的具体实现。
图1是示出了示例性系统100的框图。系统100包括用于实现如本文中所描述的框架的计算机系统101。计算机系统101可以是台式个人计算机、便携式膝上型计算机、另一便携式设备、微型计算机、大型计算机、服务器、云基础设施、存储系统、专用数字器具、通信设备、或具有被配置为存储数字数据项的集合的存储子系统的其他设备。在一些实现中，计算机系统101作为独立设备来操作。在其他实现中，计算机系统101可以连接（例如，使用网络）到其他机器，诸如成像设备102和工作站103。在联网的部署中，计算机系统101可以作为服务器（例如，瘦客户端服务器，诸如通过Siemens Healthcare的syngo®）、服务器-客户端用户网络环境中的客户端用户机器、或者作为对等（或分布式）网络环境中的对等机器来操作。
计算机系统101可以包括经由输入-输出接口121耦合到一个或多个非暂时性计算机可读介质105 （例如，计算机存储装置或存储器）、显示设备108 （例如，监视器）和各种输入设备110 （例如，鼠标或键盘）的处理器设备或中央处理单元（CPU）104。计算机系统101还可以包括支持电路，诸如高速缓存、电源、时钟电路和通信总线。诸如附加数据存储设备和打印设备之类的各种其他外围设备也可以连接到计算机系统101。
本技术可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现，或者作为微指令代码的部分或者作为应用程序或软件产品的部分或者其组合实现，其经由操作系统来执行。在一个实现中，本文中描述的技术被实现为有形地体现在一个或多个非暂时性计算机可读介质105中的计算机可读程序代码。特别地，本技术可以由预测器106、分类器107和处理单元111来实现。非暂时性计算机可读介质105可以包括随机存取存储器（RAM）、只读存储器（ROM）、磁软盘、闪存和其他类型的存储器，或其组合。计算机可读程序代码由处理器设备104执行以处理图像或由例如成像设备102获取的图像。这样，计算机系统101是通用计算机系统，当执行计算机可读程序代码时，其变成专用计算机系统。计算机可读程序代码并不旨在局限于任何特定的编程语言及其实现。将理解，多种编程语言及其编码都可以用于实现本文中包含的公开的教导。
相同或不同的计算机可读介质105可以用于存储图像集、患者记录、知识库等待。这样的数据也可以存储在外部存储装置或其他存储器中。外部存储装置可以使用由处理器设备104管理并且驻留在诸如硬盘、RAM或可移除介质之类的存储器上的数据库管理系统（DBMS）来实现。外部存储装置可以在一个或多个附加计算机系统上实现。例如，外部存储装置可以包括驻留在单独计算机系统上的数据仓库系统、图片归档和通信系统（PACS）、或任何其他现在已知或以后开发的医院、医疗机构、医疗办公室、测试设施、药房或其他医疗患者记录存储系统。
成像设备102可以是用于获取图像的放射学扫描器，例如x射线或CT扫描器。工作站103可以包括计算机和适当的外围设备，诸如键盘和显示设备，并且可以与整个系统100结合操作。例如，工作站103可以与成像设备102通信，使得由成像设备102收集的图像可以在工作站103处被渲染并且在显示设备上被查看。
工作站103可以直接与计算机系统101通信以显示处理的图像和/或输出图像处理结果。工作站103可以包括图形用户接口，以经由输入设备（例如，键盘、鼠标、触摸屏、语音或视频识别接口等）接收用户输入，来操纵图像的可视化和/或处理。例如，用户可以查看经处理的图像，并且指定一个或多个视图调整或偏好（例如，缩放、裁剪、平移（panning）、旋转、改变对比度、改变颜色、改变视角、改变视图深度、改变渲染或重建技术等），通过指定“转到（goto）”位置来导航到感兴趣的特定区域，导航（例如，停止、播放、步进通过等）图像集合的时间体积（temporal volume），等等。
还将理解，由于附图中描绘的一些组成系统部件和方法步骤可以用软件来实现，所以系统部件（或处理步骤）之间的实际连接可以依本框架被编程的方式而不同。给定本文中提供的教导，相关领域中的普通技术人员将能够设想本框架的这些和类似的实现或配置。
图2示出了由计算机系统执行的示例性对抗性训练方法200。应理解，方法200的步骤可以以所示的顺序或不同的顺序来执行。还可以提供附加的、不同的或更少的步骤。此外，方法200可以用图1的系统100、不同的系统或其组合来实现。
在202处，预测器106接收感兴趣的对象的实际图像的时间序列。这样的实际图像可以是已经通过例如成像设备102顺序获取的N个真实图像的集合。N可以是大于1的任何预定整数（例如10）。实际图像的时间序列可以包括时变数据的视频帧。在一些实现中，时变数据是通过例如使用成像设备102执行旋转扫描或静态获取而获取的x射线图像的集合。
成像设备102可以是具有单个成像平面或多个成像平面的扫描器或C臂系统。例如，成像设备102可以是基于平板的x射线扫描器，其包括至少一对x射线源和x射线检测器。替代地，成像设备102可以包括覆盖至少一对x射线源和x射线检测器的旋转CT门架（gantry）。在其他实现中，成像设备102是MR投影扫描器。在其他实现中，成像设备102是覆盖至少一对光源和光学检测器的旋转光学CT门架。也可以使用其他类型的成像设备102，诸如角度采样超声。
感兴趣的对象可以是被标识用于调查或检验的任何生物对象，诸如患者或主体的脑、心脏、腿、臂以及诸如此类的一部分。感兴趣的对象可以包括一个或多个血管状结构（例如，血管、动脉、血管树或网络等）。一个或多个血管状结构可以是动态或时变结构，其可以填充有造影剂或介质以用于观察其随时间的传播（propagation）。
在204处，用实际图像的时间序列来训练预测器106以生成虚拟图像。可以训练预测器106以预测作为时间序列的下一图像的虚拟图像。在一些实现中，预测器106是基于深度神经网络的系统，其可以高效地识别和建模图像的输入时间序列中的空间-时间关系。预测器106可以是基于卷积的长短期记忆（LSTM）块的深度神经网络。卷积结构被合并在输入到状态和状态到状态转变两者中。LSTM块可以包括单元（cell）、输入门、输出门和遗忘门（forget gate）。LSTM块记住任意时间间隔上的值，并且三个门调节进入和离开块的信息流。具有可变核大小的多个连续卷积LSTM块可以被堆叠以形成编码和预测结构。来自来自每个块的所有中间状态的输出可以被馈送到适当核大小的3D卷积块中，以输出与输入体积相同大小的体积。
在206处，利用虚拟图像和实际图像来训练分类器108，以指示输入图像是实际图像（或虚拟图像）的概率。更特别地，训练分类器108以将虚拟图像（即，由预测器106生成的）或实际图像（即，由成像设备获取的真实图像）作为输入，并且输出输入图像是实际（或虚拟）图像的概率。分类器108可以是深度卷积网络。深度卷积网络可以包括被布置为卷积、非线性激活、批归一化和池化（pooling）层以及诸如此类的卷积块的集合。深度卷积网络还可以包含将较早的层连接到较后的层的一些跳（skip）连接，或者连接所有层而没有任何信息损失的密集连接。深度卷积网络还可以包含具有并行卷积块的开端（inception）模块。
在一些实现中，分类器108包括三个卷积块，每个卷积块具有核大小5×5的卷积层，带有跟有批归一化层的泄漏矫正（leaky rectified）线性激活函数。来自这些块的输出被平坦化，之后是具有带有泄漏矫正线性单元（ReLU）激活的64个通道的密集层。这可以跟随有脱落层（dropout layer），并且最后是具有带有S形（sigmoid）激活函数的2个通道的另一个密集层。输出是输入图像是虚拟图像或实际图像的概率。
可以同时训练预测器106和分类器108两者，预测器106的目标是产生看起来尽可能真实的图像，并且分类器108的目标是识别由预测器106生成的图像。
在208处，框架确定训练是否完成。如果预测器106和分类器108的总损失函数值（overall loss function value）在预定阈值之下，则训练可以被完成。
如果训练没有完成，则重复步骤202至206。使用可用的N个实际图像的接下来的时间序列（例如，丢弃先前的时间序列的第一图像并添加最近的实际图像）重复步骤202至206。如果接收到总数M个新的实际图像用于处理，其中M小于N，则可以丢弃先前的时间序列中的M个最旧的图像。这被执行以利用改变的图像来训练预测模型，使得其能够学习例如图像中的对比度（contrast）的进展（progression）。
如果训练完成，则该方法进行到210。在210处，框架输出训练的预测器106和分类器108。
图3示出了示例性对抗性训练流水线300。流水线300类似于生成性对抗性网络（GAN），其中预测器106充当生成器，而分类器108充当鉴别器（discriminator）。预测器106和分类器108可以被训练若干迭代。用于每个迭代的训练序列可以如下：（1）接收输入实际视频帧302的时间序列；（2）训练预测器106持续预定数量的历元（epoch）以生成虚拟视频帧304；（3）生成的虚拟视频帧304的输出批与实际视频帧302耦合，以训练用于该批的分类器108。然后，分类器108的权重被冻结，并且然后利用作为输入的先前的视频帧302的集合和虚拟帧304被分类为实际（或真实）作为输出端到端地训练整个网络。
图4示出了由计算机系统执行的示例性图像处理方法400。应该理解，方法400的步骤可以以所示的顺序或不同的顺序执行。还可以提供附加的、不同的或更少的步骤。此外，方法400可以用图1的系统100、不同的系统或其组合来实现。
在402处，处理单元111接收经训练的预测器106和先前的实际图像。先前的实际图像可以是由例如成像设备102顺序获取的感兴趣的对象的N个实际或真实图像的时间序列。先前的实际图像可以包括时变数据的2D视频帧。在一些实现中，时变数据是通过例如使用成像设备102执行旋转扫描或静态获取而获取的x射线图像的集合。
预测器106可以由例如过程200或300来训练，如之前描述的那样。可以在已经接收到第一N个先前的实际图像之后激活预测器106。预测器106可能已经被训练以高效地识别和建模输入先前的实际图像中的时空（spatiotemporal）关系。
在404处，处理单元111通过使用经训练的预测器106基于先前的实际图像生成虚拟图像IV。经训练的预测器106生成（或预测）虚拟图像IV作为时间序列中的下一图像。
图5示出了时间序列中的示例性图像。图像的左列502示出了当前帧。图像的中间列504示出了时间序列中的真实或实际的接下来的帧，而图像的右列506示出了基于时间序列的当前帧和5个先前帧由训练的预测器106预测的接下来的帧。
图6示出了另外的时间序列中的示例性图像。图像的左列602示出了当前帧。图像的中间列604示出了时间序列中的真实或实际的接下来的帧，而图像的右列506示出了基于时间序列的当前帧和5个先前帧由训练的预测器106预测的接下来的帧。
返回到图4，在406处，处理单元111预处理虚拟图像Iv。在一些实现中，通过将虚拟图像Iv与先前的实际图像进行配准（register）来预处理虚拟图像Iv。这种配准可以在下一实际图像IA从例如成像设备102到达之前执行。该配准可以涉及空间变换虚拟图像IV以与先前的实际图像对准。该配准可以是例如2D到2D可变形（deformable）图像配准。在配准之后，可以将时间滤波器（例如，加权平均）应用于配准的图像以减少噪声内容并生成中间图像If。
在408处，处理单元111接收由例如成像设备102获取的下一个实际图像IA。在N个先前图像的时间序列的下一个时间点处获取下一个实际图像。
在410处，处理单元111使用中间图像If处理下一实际图像IA以生成最终图像IS。在一些实现中，处理单元111从下一实际图像IA减去中间图像If以生成最终图像IS。最终图像IS可以示出指示诸如造影剂之类的新引入的图像内容的强差异的区域。最终图像IS的这些前景区域可以被隔离并且用较低强度滤波器滤波。可以用较高强度滤波器对最终图像IS的背景进行滤波。这样的滤波器可以包括但不限于用于消噪、对比度增强、平滑和超分辨（super-sesolving）滤波的空间和/或时间滤波器。这些滤波器在性质上可以是自适应的、基于片的（patch-based）（即，局部化的）或非局部化的。基于核的和基于小波的滤波器的组合可以用于图像的基于频率的滤波。时间滤波可以通过使用光流技术、各向同性/各向异性扩散滤波和/或运动补偿技术来实现。
尽管已经参考示例性实施例详细描述了本框架，但是本领域技术人员将理解，在不偏离如所附权利要求书中阐述的本发明的精神和范围的情况下，可以对其进行各种修改和替换。例如，在本公开和所附权利要求书的范围内，不同示例性实施例的元素和/或特征可以彼此组合和/或彼此替换。
Claims (16)
1.一种或多种非暂时性计算机可读介质，其包含可由机器执行以执行用于图像处理的操作的指令，所述操作包括：
使用对抗性训练方法训练预测器；
接收先前的实际图像；
由经训练的预测器基于先前的实际图像来生成虚拟图像；
将虚拟图像与先前的实际图像配准；
对经配准的虚拟图像进行滤波以生成中间图像；
从下一实际图像减去中间图像以生成最终图像；以及
将滤波器应用于最终图像。
2.根据权利要求1所述的一种或多种非暂时性计算机可读介质，包括进一步的指令，所述指令可由机器执行以用分类器来训练预测器，以指示输入图像是由成像设备生成的实际图像或由经训练的预测器生成的虚拟图像的概率。
3.根据权利要求2所述的一种或多种非暂时性计算机可读介质，其中，分类器包括深度卷积网络。
4.根据权利要求1所述的一种或多种非暂时性计算机可读介质，其中，经训练的预测器包括基于卷积长短期记忆(LSTM)块的深度神经网络。
5.一种用于图像处理的系统，包括：
非暂时性存储器设备，用于存储计算机可读程序代码；以及
与存储器设备通信的处理器，所述处理器与计算机可读程序代码一起操作以执行：
接收经训练的预测器和先前的实际图像；
由经训练的预测器基于先前的实际图像来生成虚拟图像；
将虚拟图像与先前的实际图像配准，
对配准的虚拟图像进行滤波以生成中间图像
接收下一实际图像；以及
从下一实际图像减去中间图像来生成最终图像。
6.根据权利要求5所述的系统，其中，处理器与计算机可读程序代码一起操作，以使用对抗性训练方法利用分类器来训练预测器。
7.根据权利要求6所述的系统，其中，处理器与计算机可读程序代码一起操作以利用分类器来训练预测器，其中，训练分类器以指示输入图像是由成像设备生成的实际图像或由经训练的预测器生成的虚拟图像的概率。
8.根据权利要求7所述的系统，其中分类器包括深度卷积网络。
9.根据权利要求5所述的系统，其中，经训练的预测器包括基于卷积长短期记忆(LSTM)块的深度神经网络。
10.根据权利要求7所述的系统，其中，处理器与计算机可读程序代码一起操作，以通过迭代地执行以下内容利用分类器来训练预测器：
接收输入实际图像，
基于输入实际图像训练预测器持续预定数量的历元以生成虚拟图像，以及
利用虚拟图像和输入实际图像来训练分类器。
11.根据权利要求5所述的系统，其中处理器与计算机可读程序代码一起操作以将较低强度滤波器应用于最终图像的前景区域并且将较高强度滤波器应用于最终图像的背景。
12.根据权利要求5所述的系统，其中处理器与计算机可读程序代码一起操作以将空间滤波器应用于最终图像。
13.根据权利要求5所述的系统，其中处理器与计算机可读程序代码一起操作以将时间滤波器应用于最终图像。
14.一种图像处理的方法，包括：
接收经训练的预测器和先前的实际图像；
由经训练的预测器基于先前的实际图像来生成虚拟图像；
将虚拟图像与先前的实际图像配准；
对配准的虚拟图像进行滤波以生成中间图像
接收下一实际图像；以及
从下一实际图像减去中间图像以生成最终图像。
15.根据权利要求14所述的方法，还包括利用分类器训练预测器，其中，训练分类器以指示输入图像是由成像设备生成的实际图像或由预测器生成的虚拟图像的概率。
16.根据权利要求14所述的方法，还包括将时间滤波器应用于最终图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/262151 | 2019-01-30 | ||
| US16/262,151 US10867375B2 (en) | 2019-01-30 | 2019-01-30 | Forecasting images for image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111540025A CN111540025A (zh) | 2020-08-14 |
| CN111540025B true CN111540025B (zh) | 2023-12-15 |
Family
ID=71731499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010070824.1A Active CN111540025B (zh) | 2019-01-30 | 2020-01-21 | 预测用于图像处理的图像 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10867375B2 (zh) |
| CN (1) | CN111540025B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10867375B2 (en) * | 2019-01-30 | 2020-12-15 | Siemens Healthcare Gmbh | Forecasting images for image processing |
| GB201907193D0 (en) * | 2019-06-05 | 2019-07-03 | Secr Defence | Obtaining patterns for surfaces of objects |
| WO2020252784A1 (zh) * | 2019-06-21 | 2020-12-24 | 西门子股份公司 | 电力负荷数据的预测方法、装置及存储介质 |
| CN113329688B (zh) * | 2019-09-18 | 2023-11-28 | 拜耳公司 | 用于确定组织体素的特征的方法、系统和计算机可读介质 |
| CN113330483A (zh) * | 2019-09-18 | 2021-08-31 | 拜耳公司 | 由监督学习训练的预测模型预测磁共振成像图像 |
| CN112053375A (zh) * | 2020-08-26 | 2020-12-08 | 上海眼控科技股份有限公司 | 基于改进的网络卷积模型预测临近预报的方法及设备 |
| WO2023196474A1 (en) * | 2022-04-06 | 2023-10-12 | University Of Virginia Patent Foundation | Automation of the blood input function computation pipeline for dynamic fdg pet for human brain using machine learning |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064038A (zh) * | 2003-02-28 | 2007-10-31 | 索尼株式会社 | 图像处理装置和方法、记录介质及程序 |
| CN101689119A (zh) * | 2007-06-29 | 2010-03-31 | 微软公司 | 实体和虚拟图像的统一提供 |
| CN102204256A (zh) * | 2008-10-31 | 2011-09-28 | 法国电信公司 | 图像预测方法和系统 |
| AU2013257431A1 (en) * | 2011-03-07 | 2013-11-28 | Kba2, Inc. | Systems and methods for analytic data gathering from image providers at an event or geographic location |
| CN103619278A (zh) * | 2011-06-17 | 2014-03-05 | 皇家飞利浦有限公司 | 用于内窥镜手术期间的引导注射的系统及方法 |
| AU2016250395A1 (en) * | 2006-08-24 | 2016-11-10 | Cfph, Llc | Multi-display computer terminal system |
| CN106688018A (zh) * | 2014-07-11 | 2017-05-17 | 泰勒斯公司 | 对目标进行成像、监视和/或指示的机载光电设备 |
| CN107492090A (zh) * | 2016-06-09 | 2017-12-19 | 西门子保健有限责任公司 | 根据合成数据利用机器学习的基于图像的肿瘤表型分析 |
| CN107633482A (zh) * | 2017-07-24 | 2018-01-26 | 西安电子科技大学 | 一种基于序列图像的超分辨率重建方法 |
| CN108537722A (zh) * | 2018-03-30 | 2018-09-14 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN109069217A (zh) * | 2016-02-12 | 2018-12-21 | 直观外科手术操作公司 | 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150297949A1 (en) * | 2007-06-12 | 2015-10-22 | Intheplay, Inc. | Automatic sports broadcasting system |
| JP4431415B2 (ja) * | 2004-02-12 | 2010-03-17 | 株式会社リコー | 異常診断方法、状態判定装置及び画像形成装置 |
| US20060245640A1 (en) * | 2005-04-28 | 2006-11-02 | Szczuka Steven J | Methods and apparatus of image processing using drizzle filtering |
| US7889905B2 (en) * | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
| WO2011018878A1 (ja) * | 2009-08-13 | 2011-02-17 | 日本電気株式会社 | 画像処理システム、画像処理方法および画像処理用プログラム |
| EP2501290B1 (en) * | 2009-11-16 | 2015-02-25 | Koninklijke Philips N.V. | Scan plan field of view adjustor, determiner, and/or quality assessor |
| US20120206440A1 (en) * | 2011-02-14 | 2012-08-16 | Dong Tian | Method for Generating Virtual Images of Scenes Using Trellis Structures |
| TWI534475B (zh) * | 2012-12-21 | 2016-05-21 | 財團法人工業技術研究院 | 虛像顯示裝置 |
| US20160137125A1 (en) * | 2014-11-17 | 2016-05-19 | Caterpillar Inc. | Imaging system using virtual projection geometry |
| US20180007302A1 (en) * | 2016-07-01 | 2018-01-04 | Google Inc. | Block Operations For An Image Processor Having A Two-Dimensional Execution Lane Array and A Two-Dimensional Shift Register |
| US10390787B2 (en) * | 2016-09-27 | 2019-08-27 | Varian Medical Systems, Inc. | Optimization of image acquisition parameters for registration with reference image |
| US10430685B2 (en) * | 2016-11-16 | 2019-10-01 | Facebook, Inc. | Deep multi-scale video prediction |
| US10303965B2 (en) * | 2017-03-06 | 2019-05-28 | Siemens Healthcare Gmbh | Defective pixel identification using machine learning |
| US10346974B2 (en) * | 2017-05-18 | 2019-07-09 | Toshiba Medical Systems Corporation | Apparatus and method for medical image processing |
| US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
| US10803984B2 (en) * | 2017-10-06 | 2020-10-13 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing system |
| US20190286938A1 (en) * | 2018-03-13 | 2019-09-19 | Recogni Inc. | Real-to-synthetic image domain transfer |
| US11100632B2 (en) * | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
| US11138731B2 (en) * | 2018-05-30 | 2021-10-05 | Siemens Healthcare Gmbh | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium |
| US10825149B2 (en) * | 2018-08-23 | 2020-11-03 | Siemens Healthcare Gmbh | Defective pixel correction using adversarial networks |
| EP3886708B1 (en) * | 2018-11-30 | 2024-02-21 | Accuray, Inc. | Method and apparatus for scatter estimation in cone-beam computed tomography |
| CN114820654A (zh) * | 2018-12-28 | 2022-07-29 | 上海联影智能医疗科技有限公司 | 血管分割方法、装置、医疗影像设备及存储介质 |
| US10867375B2 (en) * | 2019-01-30 | 2020-12-15 | Siemens Healthcare Gmbh | Forecasting images for image processing |
-
2019
- 2019-01-30 US US16/262,151 patent/US10867375B2/en active Active
-
2020
- 2020-01-21 CN CN202010070824.1A patent/CN111540025B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064038A (zh) * | 2003-02-28 | 2007-10-31 | 索尼株式会社 | 图像处理装置和方法、记录介质及程序 |
| AU2016250395A1 (en) * | 2006-08-24 | 2016-11-10 | Cfph, Llc | Multi-display computer terminal system |
| CN101689119A (zh) * | 2007-06-29 | 2010-03-31 | 微软公司 | 实体和虚拟图像的统一提供 |
| CN102204256A (zh) * | 2008-10-31 | 2011-09-28 | 法国电信公司 | 图像预测方法和系统 |
| AU2013257431A1 (en) * | 2011-03-07 | 2013-11-28 | Kba2, Inc. | Systems and methods for analytic data gathering from image providers at an event or geographic location |
| CN103619278A (zh) * | 2011-06-17 | 2014-03-05 | 皇家飞利浦有限公司 | 用于内窥镜手术期间的引导注射的系统及方法 |
| CN106688018A (zh) * | 2014-07-11 | 2017-05-17 | 泰勒斯公司 | 对目标进行成像、监视和/或指示的机载光电设备 |
| CN109069217A (zh) * | 2016-02-12 | 2018-12-21 | 直观外科手术操作公司 | 图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法 |
| CN107492090A (zh) * | 2016-06-09 | 2017-12-19 | 西门子保健有限责任公司 | 根据合成数据利用机器学习的基于图像的肿瘤表型分析 |
| CN107633482A (zh) * | 2017-07-24 | 2018-01-26 | 西安电子科技大学 | 一种基于序列图像的超分辨率重建方法 |
| CN108537722A (zh) * | 2018-03-30 | 2018-09-14 | 北京金山安全软件有限公司 | 图像处理方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111540025A (zh) | 2020-08-14 |
| US20200242744A1 (en) | 2020-07-30 |
| US10867375B2 (en) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111540025B (zh) | 预测用于图像处理的图像 | |
| US9754390B2 (en) | Reconstruction of time-varying data | |
| EP3685350A1 (en) | Image reconstruction using machine learning regularizers | |
| US10213179B2 (en) | Tomography apparatus and method of reconstructing tomography image | |
| US7978886B2 (en) | System and method for anatomy based reconstruction | |
| US10825149B2 (en) | Defective pixel correction using adversarial networks | |
| US8682051B2 (en) | Smoothing of dynamic data sets | |
| CN112770838A (zh) | 使用自关注深度学习进行图像增强的系统和方法 | |
| KR20160119540A (ko) | 단층 촬영 장치 및 그에 따른 단층 영상 처리 방법 | |
| US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
| KR20160094222A (ko) | 컴퓨터 단층 촬영 장치 및 그에 따른 ct 영상 복원 방법 | |
| KR20170087320A (ko) | 단층 영상 생성 장치 및 그에 따른 단층 영상 복원 방법 | |
| CN107886554B (zh) | 流数据的重构 | |
| CN107170021B (zh) | 时变数据的细化重构 | |
| US20220375038A1 (en) | Systems and methods for computed tomography image denoising with a bias-reducing loss function | |
| JP7459243B2 (ja) | １以上のニューラルネットワークとしての画像形成のモデル化による画像再構成 | |
| Choi et al. | Integration of 2D iteration and a 3D CNN-based model for multi-type artifact suppression in C-arm cone-beam CT | |
| US20230154067A1 (en) | Output Validation of an Image Reconstruction Algorithm | |
| US20240104802A1 (en) | Medical image processing method and apparatus and medical device | |
| Chang et al. | Inverse radon transform with deep learning: an application in cardiac motion correction | |
| Manhart et al. | Guided noise reduction with streak removal for high speed flat detector CT perfusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |