CN113614788A - 计算机辅助读取和分析的深度强化学习 - Google Patents
计算机辅助读取和分析的深度强化学习 Download PDFInfo
- Publication number
- CN113614788A CN113614788A CN201980095180.7A CN201980095180A CN113614788A CN 113614788 A CN113614788 A CN 113614788A CN 201980095180 A CN201980095180 A CN 201980095180A CN 113614788 A CN113614788 A CN 113614788A
- Authority
- CN
- China
- Prior art keywords
- image
- feedback
- model
- generated
- learning process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 60
- 238000004458 analytical method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 109
- 230000008569 process Effects 0.000 claims abstract description 88
- 230000004048 modification Effects 0.000 claims abstract description 80
- 238000012986 modification Methods 0.000 claims abstract description 80
- 238000012633 nuclear imaging Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 31
- 230000009467 reduction Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 36
- 210000000056 organ Anatomy 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 8
- 210000004072 lung Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
公开了修正用于核成像的图像模型的方法和系统。一种系统接收与在一个或多个个体上执行的一次或多次核成像扫描相对应的第一患者扫描数据,并且通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像。接收关于第一重建图像的反馈,并将所述反馈作为输入提供给深度强化学习过程。深度强化学习过程被配置为基于关于第一重建图像的反馈生成对第一图像模型的至少一个修改。通过将深度强化学习过程生成的所述至少一个修改应用于第一图像模型来生成第二图像模型。
Description
技术领域
本公开的方面总体上涉及核成像系统,并且更特别地,涉及核成像系统的模型生成和细化。
背景技术
飞行时间(TOF)核成像,诸如TOF正电子发射断层扫描(PET),用于构建患者体内结构的二维和/或三维图像。 TOF PET(和其他 TOF核成像)检测表示使用一对检测器几乎同时检测到湮灭光子对的符合事件。TOF PET系统确定两个光子的检测之间的时间差(例如,飞行时间),并定位发生在两个检测器之间的湮灭事件的起源点。
核成像可以基于为特定器官和/或身体区域生成的模型,诸如肺模型。不同的临床场景,诸如手术计划、初级护理、术后随访或其他场景,可能需要不同的模型,并且没有一个模型完美地适用于所有临床场景。典型地,基于医生或用户的反馈来实现修改的模型需要较长的产品生命周期。一些用户特定的需求可能无法合并到通用模型中。
由Siemens Healthcare有限公司拥有的美国专利1, 032, 281公开了用于医学成像中的N维分割的多尺度深度强化学习。该专利公开了应用深度强化学习来确定最佳的N维分割。通过统计形状建模、前向传播建模或体素掩模建模中的一个来选择N维分割。
发明内容
在各种实施例中,公开了一种修正用于核成像的图像模型的方法。接收对应于在一个或多个个体上执行的一个或多个核成像扫描的第一患者扫描数据,并且通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像。接收关于第一重建图像的反馈,并将其作为输入提供给深度强化学习过程。深度强化学习过程被配置为基于关于第一重建图像的反馈生成第一图像模型的至少一个修改。通过将深度强化学习过程生成的至少一个修改应用于第一图像模型来生成第二图像模型。
在各种实施例中,系统接收对应于对一个或多个个体执行的一个或多个核成像扫描的第一患者扫描数据,并通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像。接收关于第一重建图像的反馈,并将该反馈作为输入提供给深度强化学习过程。深度强化学习过程被配置为基于关于第一重建图像的反馈来生成第一图像模型的至少一个修改。通过将深度强化学习过程生成的至少一个修改应用于第一图像模型来生成第二图像模型。
附图说明
从各图的要素中,以下内容将变得显而易见,各图是出于说明的目的而提供的,并且不一定按比例绘制;
图1示出了根据一些实施例的核成像系统;
图2是图示根据一些实施例的使用深度强化学习生成轮廓模型的方法的流程图;
图3图示了根据一些实施例的根据图2的方法生成轮廓模型的过程流;
图4图示了根据一些实施例的用于生成轮廓器官模型的模型特定的工作流。
具体实施方式
示例性实施例的描述旨在结合随附附图阅读,附图被认为是整个书面描述的一部分。
本公开的各种实施例利用生成用于核成像的器官特异性模型来解决前述挑战。在一些实施例中,系统接收对应于对一个或多个个体执行的一个或多个核成像扫描的第一患者扫描数据,并通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像。接收关于第一重建图像的反馈,并将该反馈作为输入提供给深度强化学习过程。深度强化学习过程被配置为基于关于第一重建图像的反馈生成第一图像模型的至少一个修改。通过将深度强化学习过程生成的至少一个修改应用于第一图像模型来生成第二图像模型。
图1图示了核成像系统2的一个实施例。核成像系统2包括设置在第一台架16a中的用于至少第一模态12的扫描仪。在各种实施例中,第一模态12是计算机断层摄影(CT)模态。患者17躺在可移动的病床18上,该病床18可以是在台架之间可移动的。在一些实施例中,核成像系统2包括设置在第二台架16b中的用于第二成像模态14的扫描仪。第二成像模态14可以是任何合适的成像模态,诸如例如光子发射断层摄影(PET)模态、单光子发射断层摄影(SPECT)模态和/或任何其他合适的成像模态。第一模态12和/或第二模态14中的每一个可以包括一个或多个检测器50,检测器50被配置为检测湮灭光子、伽马射线和/或其他核成像事件。
来自第一模态12的扫描数据存储在一个或多个计算机数据库40中,并且由计算机系统30的一个或多个计算机处理器60处理。图1中的计算机系统30的图形描绘仅通过说明的方式提供,并且计算机系统30可以包括一个或多个单独的计算设备。成像数据集可以由第一模态12提供和/或可以作为单独的数据集提供,诸如例如从耦合到计算机系统30的存储器提供。计算机系统30可以包括一个或多个处理电子器件,用于处理从所述多个检测器50之一接收的信号。
图2是图示根据一些实施例的生成轮廓(或修正)图像模型的方法的流程图100。图3图示了根据图2的方法生成细化模型的过程流150。在步骤102,诸如图1所示的计算机系统30的系统接收对应于患者的一个或多个扫描区域、器官或其他结构的一个或多个预定义模型152。例如,在一些实施例中,预定义模型152可以包括器官模型(例如,肺模型、心脏模型、脑模型等)、区域模型(例如腹部区域、胸部区域等)、和/或任何其他合适的医学成像模型。预定义模型152可以通过使用一个或多个预定义模型生成过程188来生成,并且结合例如成像系统2来提供。在一些实施例中,预定义模型152是根据诸如深度学习过程190的机器学习技术,使用包括从多个患者收集的扫描数据、模型数据和/或任何其他合适的训练数据集的训练数据集192来生成的。预定义模型152被配置用于在重建由一个或多个成像模态获得的患者扫描数据期间使用,所述成像模态诸如例如与系统30进行信号通信的成像模态12、14。
在可选步骤104,模型修改元件166生成并提供一个或多个修改的模型154。在一些实施例中,模型修改元件166被配置为接收患者特定、用户特定、设施特定和/或其他偏好数据,并根据所述偏好数据修改预定义模型152。例如,在一些实施例中,偏好数据156可以包括由机器学习过程(诸如深度学习过程)应用的机器学习训练集,如下面关于步骤110-116更详细描述的。在其他实施例中,偏好数据可以包括对预定义模型152的标准修改,诸如例如,从多个可能的模型中对一个模型的选择、对模型的一部分的选择、对一个或多个模型的排除等。
在步骤106,由系统接收患者扫描数据170。患者扫描数据170可以从任何合适的来源接收。例如,在一些实施例中,从与系统进行信号通信的一个或多个成像模态12、14实时接收患者扫描数据170,所述成像模态诸如与系统30进行信号通信的第一成像模态12。患者扫描数据170可以包括任何合适的成像数据,诸如与预定义模型152中的至少一个相对应的患者区域中的多个湮灭事件的TOF数据。扫描数据可以包括但不限于采集协议数据164a、重建协议数据164b、患者信息164c、客户特定数据164d、事件列表、扫描参数(例如,切片大小等)、目标信息(例如,肺核心(kernel)/切片)和/或任何其他合适的数据。在其他实施例中,患者扫描数据170包括存储在与系统30一体化形成和/或与系统30信号通信的一个或多个存储器元件上的数据。
在步骤108,系统30使用接收到的图像模型以及接收到的患者扫描数据170来生成重建图像,所述图像模型诸如根据下面描述的步骤106-114生成的预定义模型152和/或轮廓模型。例如,在一些实施例中,系统30包括图像处理元件158,图像处理元件158被配置为将扫描数据(诸如listmode模式)映射到由图像模型标识的位置,以生成用于临床回顾的一个或多个重建图像。重建图像可以包括通过选择图像模型的预定切片(诸如1.5 mm切片)生成的切片(或区段)。在一些实施例中,患者扫描数据170的各个部分,诸如由接收的图像模型标识的器官的一部分(或核心),被提取和处理以供临床医生或其他用户进一步回顾。图像处理元件158可以进一步被配置为实现一个或多个伪影减少过程,诸如例如迭代金属伪影减少(iMAR)过程。图像处理元件158使用一种或多种已知技术基于(一个或多个)所选模型和患者扫描数据来生成重建图像。在一些实施例中,图像处理元件158包括后处理元件160a,后处理元件160a被配置为生成重建图像(例如,读取和分析输入数据以生成重建图像)、报告关于重建图像生成的信息(例如,在数据映射到模型中的错误、未映射事件等)、日志数据,和/或其他合适的数据。
在一些实施例中,图像处理元件158包括专家输入元件160b,专家输入元件160b被配置为接收来自诸如医生、成像技术人员或其他医学专业人员之类的人类专家的输入。输入可以包括但不限于,对生成的重建图像的编辑、重建图像的一部分的选择、移除重建图像的一部分、对多个重建图像中的一个的选择、重建图像的定制、重建图像的时间段的选择(例如,对图像生成中使用的事件数据进行时间限制),和/或对重建图像的任何其他合适的修改。在一些实施例中,人类专家可以提供重建图像的可接受性的指示,例如,提供重建图像的临床价值的分数或阈值(例如,好/不好)指示。专家反馈可以包括对重建图像进行耗时的编辑,以修改重建图像、消除伪像、校正缺陷等。
在步骤110,图像处理元件158向模型修改元件166提供反馈数据162a、162b。反馈数据可以包括任何合适的反馈数据,诸如系统响应或数据162a、人类专家响应或数据162b和/或任何其他合适的反馈。在一些实施例中,系统响应可以包括但不限于关于伪影减少的数据、采集协议、重建协议、客户特定要求、改变、横截面、在重建图像生成期间并入的扫描仪特定数据或调整、和/或任何其他系统特定反馈。在一些实施例中,人类专家响应可以包括但不限于与重建图像和/或接收模型相关的分数或阈值指示、由人类专家对重建图像或接收模型做出的修改、和/或基于人类专家与重建图像、图像模型和/或图像处理元件158的交互的任何其他合适的反馈。在一些实施例中,反馈数据162a、162b包括由人类专家用于例如术前计划、术后随访、初级护理等的一个或多个诊断任务的最终诊断图像。在一些实施例中,反馈数据162a、162b包括文本数据,诸如日志文件、协议文件等。
在步骤112,模型修改元件166实现深度强化学习过程168,用于根据从图像处理元件158接收的反馈数据更新接收的预定义模型152。深度强化学习过程168使用反馈数据作为训练数据(即,具有已知基准真值的标记数据)来标识感兴趣的特征、修改、改变和/或有益地修正一个或多个图像模型的其他策略变更。例如,在一些实施例中,系统30被配置为应用卷积神经网络来从反馈数据162a、162b(即,训练数据集)中提取特征,生成用于特征标识和提取的多个全连接层,并生成用于修改一个或多个图像模型的一个或多个模型修改策略。
在一些实施例中,深度强化学习过程168包括面向目标的过程,该过程被配置为基于从图像处理元件158接收的反馈数据162a、162b来最大化每个图像模型的效用。例如,在一些实施例中,一个或多个智能体(agent)的任务是基于接收到的扫描数据和/或人类专家做出的调整,最大化与图像处理元件158做出的改变、修改或选择相关的最佳策略。人类专家做出的调整可以与计划考虑(例如,手术计划、初级护理、术后随访等)、模型缺陷、患者扫描数据缺陷,重建、伪影校正等相关。深度强化学习过程168考虑由图像处理元件158和/或人类专家做出的每个选择或修改,并为一个或多个模型生成修改,所述修改计及并预测用户改变、使用和/或偏好。
在深度强化学习过程168期间,智能体(例如,机器实现的过程)重复尝试来自可用动作集的不同动作以获得经验,该经验用于学习最佳修改策略以预测图像处理需求。策略针对决策过程期间的任何可能状态确定用于使未来奖励最大化的最佳动作。以这样的方式设置奖励,使得对于导致有益模型修改(例如,增加图像处理元件158的准确度,增加人类专家为重建图像提供的平均分数,减少人类专家修改重建图像所花费的平均时间等)的动作给予正奖励,而对于向决策过程提供很少价值或没有价值的经验给予负奖励。仅使用正奖励或仅使用负奖励。来自过去决策过程的经验可以用于定义奖励,并且针对过去患者的状态和修改可以用于学习动作集。
在一些实施例中,深度强化学习过程168被配置为生成修改策略(例如,用于修改图像模型的指南)。该策略是基于从图像处理元件158接收的特定反馈数据162a、162b生成的。不同的用户、机构、患者扫描数据或其他参数可以导致为同一图像模型生成不同的反馈数据集162a、162b。例如,第一用户可以对使用第一图像模型152生成的每个重建图像进行一致的修改。然而,第二用户可以不对使用第一图像模型152生成的每个重建图像进行相同的修改或对其进行不同的一致修改。因此,不同的用户可以生成不同的反馈数据集,所述反馈数据集可以被深度强化学习过程168组合和/或隔离。
在一些实施例中,修改策略可以由马尔可夫决策过程、动态规划、Q学习和/或任何其他合适的深度强化学习过程生成。深度强化学习过程应用反馈学习程序,该程序用于生成最佳(或优选的)模型或模型修改,本文中称为“策略”。该模型包括多个状态和状态转换,对于任何给定的状态,这些状态和状态转换标识要执行的最佳动作(例如,对模型的调整)。使用由深度强化学习过程实现的奖励反馈系统来奖励改进模型的修改(例如,有益的修改)。类似地,不改进或损害模型的修改(例如,中性或有害的修改)不被奖励和/或具有所应用的负奖励。在一些实施例中,深度强化学习过程168可以使用先前的迭代来生成奖励结构、状态和/或其他策略组件。
参考图3,在所示实施例中,深度强化学习过程168的训练数据集包括从图像处理元件158接收的反馈数据集162a、162b。在一些实施例中,反馈数据集162a、162b包括具有已知状态的重建图像,所述状态例如诊断/非诊断质量、伪影、应用的重建、用户修改、用户应用(例如,手术预计划、诊断成像等)。反馈数据集162a可以进一步包括关于伪影减少、采集协议、重建协议、客户特定要求、改变、横截面、在重建图像生成期间并入的扫描仪特定数据或调整、其他系统特定反馈、与重建图像和/或接收模型相关的分数或阈值指示、人类专家对重建图像或接收模型做出的修改、和/或基于人类专家与重建图像、图像模型和/或图像处理元件158的交互的其他合适反馈的数据。在一些实施例中,深度强化学习过程168使用从多个成像会话接收的反馈数据集162a、162b来基于诊断重建图像提取优选的修改和/或排除非诊断图像的共同特征。提取的特征和/或修改由生成的策略使用。由深度强化学习过程168选择可以用于最佳地或充分地改进一个或多个图像模型的所标识的修改。例如,深度学习(例如,深度结构化学习、分层学习或深度机器学习)通过应用具有由多个非线性变换组成的结构的多个处理层来在数据中使用高级抽象,其中输入数据特征不是显式设计的。深度强化学习过程168(诸如深度神经网络)经由多层特征提取来处理输入,以隔离能够改进图像模型的有益修改。可以训练和应用其他深度学习、稀疏自动编码模型。在一些实施例中,深度强化学习过程168在学习要使用的修改以及在给定输入样本(即,反馈数据集162a、162b)的情况下如何进行分类方面是无监督的。
在反馈数据集162a、162b中包括文本数据(诸如文本日志文件、文本协议文件等)的实施例中,深度强化学习过程168可以被配置为执行文本分析。文本分析可以基于文本数据的简单比较和/或整合,和/或可以包括深度强化学习过程168,其被配置为通过一个或多个实现的网络(例如,文本评估网络)来分析文本信息。
在一些实施例中,在为深度强化学习过程168生成训练数据集之前,计算机系统30过滤从图像处理元件158提供的反馈数据集162a、162b。例如,系统30可以基于一个或多个预定加权因子对反馈数据集162a、162b内提供的反馈数据点进行加权。在一些实施例中,由第一源提供的反馈(诸如人类专家提供的反馈)可以比由第二源提供的反馈(诸如关于核成像扫描仪的操作的反馈)权重更高。作为另一个示例,在一些实施例中,所提供的反馈数据集162a、162b的第一子集可以被提供给深度强化学习过程168,并且所提供的反馈数据集162a、162b的第二子集可以被保留和/或提供给由深度强化学习过程168实现的第二智能体。
在一些实施例中,深度Q学习过程被配置为将自动图像特征提取的优点与有效的有限时域策略学习相组合。动作空间可以与图像空间成比例。在一个替代方案中,动作嵌入与策略梯度相组合用于利用相关动作空间的内在稀疏结构。在另一个实施例中,自然进化策略(NES)在参数空间中执行策略探索,作为学习的一部分。鉴于全卷积网络的紧凑参数化,NES是特别适合的。可以使用深度强化学习的其他方法。
在一些实施例中,深度强化学习过程168提供多尺度深度强化机器学习成像模型。训练成像模型以提供从成像模态接收的核扫描数据的重建。在一些实施例中,使用例如由先前的深度强化学习过程生成的第一成像模型来生成单个重建,和/或可以基于系统30的默认模型或默认设置来提供默认重建。由成像模态捕获患者扫描数据,并将模型应用于数据,以重建患者区域、器官和/或其他成像目标的图像。该模型可以是器官特定的(例如,肺模型、心脏模型等),或者可以包括多个器官或组织区段(例如,包含多个感兴趣的器官或组织区段的腹部区域)。
在深度强化学习过程168的每次迭代期间,模型修改元件166修改预先存在的图像模型,诸如在深度强化学习过程168的先前迭代期间生成的预定义模型152和/或细化图像模型,以合并使用反馈数据集162a、162b标识的有益修改。细化的图像模型改变现有图像模型的一个或多个方面,细化例如组织区段或器官的位置、组织区段或器官的相对大小、组织切片或器官的内部结构和/或任何其他合适的模型元件。对于每次迭代,由深度强化学习过程168生成基于先验模型和反馈数据集的最佳拟合模型。由深度强化学习过程168生成的策略在给定这样的修改的上下文的情况下控制对模型进行的修改(例如,针对手术预先计划的修改、针对诊断成像的修改等)。所生成的策略提供用于将修改应用于每个先验模型的状态改变,以生成更好地满足用户和/或扫描仪要求和期望的轮廓模型。
在一些实施例中,深度强化学习过程168迭代地应用于反馈数据集162a、162b,直到满足停止条件或停止准则。可以使用任何合适的停止条件。例如,在一些实施例中,深度强化学习过程168可以继续,直到为相似的先验模型生成相同或相似的细化。尽管本文讨论了特定实施例,但是应当理解,深度强化学习过程168可以应用任何合适的(一个或多个)停止条件。深度强化学习过程168可以被配置为更新模型以用于任何合适的用途,诸如纵向研究、多次随访、治疗计划、结果预测、临床研究中的延迟效应和/或任何其他用途。
在一些实施例中,计算机系统30可以使用不同的成像模态12、14、不同的预定义模型152和/或不同的重建参数来生成多个重建。例如,在一些实施例中,执行双模态扫描(诸如SPECT/CT扫描),并且为每个图像模态生成重建。可以为每个模态生成多个重建,例如用于衰减校正的CT重建、用于器官/组织读取的CT重建、用于手术计划的CT重建等。对于每个生成的重建和/或模态,模型修改元件166可以基于来自每个单独的重建、模态和/或组合扫描的反馈来实现单独的深度强化学习过程168。在一些实施例中,单独的深度强化学习过程可以是独立的和/或相互关联的。
在步骤114,模型修改元件166基于深度强化学习过程168输出轮廓模型。例如,如果深度学习过程从接收自图像处理元件158的反馈数据中提取第一有益修改,则模型修改元件166生成合并有和/或根据提取的第一修改进行调整的轮廓图像模型。由模型修改元件166生成的轮廓模型的使用提高了由图像处理元件158生成的重建图像(例如,临床诊断图像)的质量,并且生成针对用户(例如,医生、成像技术人员等)的特定需求而调整的重建图像模型。例如,一旦生成了轮廓模型,用户就不再需要进行已经并入到基于深度强化学习过程168的轮廓模型中的耗时编辑。
在一些实施例中,深度强化学习过程168被配置为直接生成一个或多个轮廓模型。例如,深度强化学习过程168的每次迭代的输出包括一个或多个轮廓模型。在其他实施例中,深度强化学习过程168生成可以应用于现有预定义模型152的修改策略,以生成轮廓模型。修改策略可以包括用于根据提取的特征修改每个模型的数据,使得可以基于单个反馈数据集162a、162b来调整多个预定义模型。反馈数据集162a、162b可以基于与由修改策略修改的模型相同、相似和/或不同的模型。
在一些实施例中,模型修改元件166被配置为迭代地合并反馈,使得可以利用更少数量的训练数据集(例如更少的反馈数据点)来进行模型修改。模型修改元件166可以被配置为在接收到预定数量的反馈事件之后生成轮廓模型。在一些实施例中,模型修改元件166以第一速率生成轮廓模型,并以第二速率向图像处理系统158提供轮廓模型,使得由图像处理元件158所使用的图像模型的更新发生的频率低于由模型修改元件166生成新的模型的频率。通过延迟模型的部署,计算机系统30可以避免中断处理中的工作流,获得用于生成轮廓模型的附加反馈,和/或防止在单个成像会话期间为用户生成的重建图像中的不一致。
模型修改元件166可以被配置为在滚动的基础上和/或使用批处理来实现深度强化学习过程168。例如,在滚动基础上合并反馈的实施例中,模型修改元件166被配置为将每个反馈数据集162a、162b添加到训练数据集,并且针对每个更新的训练集执行深度强化学习过程168。作为另一个示例,在使用批处理合并反馈的实施例中,模型修改元件166被配置为累积预定数量的反馈数据集。模型修改元件166仅在已经接收到预定阈值数量的反馈数据集、已经过去预定时间段之后、和/或根据任何其他合适的触发来执行深度强化学习过程168。
在步骤116,轮廓模型被提供给图像处理元件158,并用于从附加的患者扫描数据生成附加的重建图像。例如,轮廓模型可以包括对采集协议、重建协议、伪影减少协议和/或与收集和解释扫描仪事件相关的其他协议的调整。方法100返回到步骤106,并接收与相同和/或不同患者相关的新的患者扫描数据。系统30在每次后续扫描期间迭代方法100的步骤106-116,基于来自每次后续扫描的反馈数据细化模型。在几次迭代之后,轮廓模型将包括被配置为满足用户(例如,医生、技术人员、设施等)的特定偏好和要求的用户特定模型。
图4图示了根据一些实施例的用于根据图2的方法生成个性化器官模型的特定于模型的工作流200。参考图2和4,由模型修改元件166a接收一个或多个预定义的肺模型202a、202b。模型修改元件166a还接收在与特定用户相关联的深度强化学习过程168a的先前迭代期间生成的训练数据集206。模型修改元件166a应用深度强化学习过程168a来基于接收的训练数据集206修改接收的预定义模型202a、202b。用户特定的轮廓模型204被提供给图像处理元件158a,用于一个或多个图像重建。
图像处理元件158a从一个或多个成像模态接收患者扫描数据170a。接收的患者扫描数据170a可以包括任何合适的扫描数据,诸如事件列表、扫描参数(例如切片大小,等),目标信息(例如,肺核心/区段),重建信息,伪影减少信息,和/或任何其他合适的扫描信息。图像处理元件158a基于患者扫描数据168a生成一个或多个重建图像208a-208c。图像处理元件158a基于图像的重建、到一个或多个图像模型的患者扫描数据170a中的第一个、由成像模态提供的数据和/或其他合适的系统生成的反馈来生成反馈数据集162。在一些实施例中,人类专家回顾重建图像208a-208c并执行一个或多个修改(或编辑)。图像处理元件158a生成反馈数据集162,包括由人类专家执行的修改、最终重建图像和/或任何其他合适的反馈。
从图像处理元件158a向模型修改元件166a提供反馈数据集162。模型修改元件166a将接收的反馈数据集162组合成提供给深度强化学习过程168a的单个训练数据集。如上面所讨论的,深度强化学习过程168a使用训练数据集来生成图像模型的一个或多个修改。模型修改元件166a基于深度强化学习过程168a生成新的图像模型,并将新的图像模型提供给图像处理元件158a用于未来的肺部扫描。图像处理元件158a和模型修改元件166a之间的反馈对于被提供给模型修改元件166a的每个后续反馈数据集继续,从而迭代地改进由图像处理系统158a使用的图像模型。
装置和过程不限于本文描述的特定实施例。此外,每个装置和每个过程的组件可以独立于本文描述的其他组件和过程来实践并且与本文描述的其他组件和过程分离。
提供实施例的先前描述是为了使得任何本领域技术人员能够实践本公开。对这些实施例的各种修改对于那些本领域技术人员来说将是显而易见的,并且本文定义的一般原理可以在不使用创造性能力的情况下应用于其他实施例。本公开不旨在被限制于本文所示的实施例,而是符合与本文所公开的原理和新颖特征一致的最宽范围。
Claims (15)
1.一种修正用于核成像的图像模型的方法,包括:
由系统接收与在一个或多个个体上执行的一次或多次核成像扫描相对应的第一患者扫描数据;
由系统通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像;
由系统接收关于第一重建图像的反馈;
由系统将所述反馈作为输入提供给深度强化学习过程,其中所述深度强化学习过程被配置为基于关于所述第一重建图像的反馈来生成对所述第一图像模型的至少一个修改;和
由系统通过将深度强化学习过程生成的所述至少一个修改应用于第一图像模型来生成第二图像模型。
2.根据权利要求1所述的方法,其中所述第一图像模型是预定义的图像模型。
3.根据权利要求1所述的方法,其中反馈包括系统生成的反馈或专家生成的反馈。
4.根据权利要求3所述的方法,其中所述系统生成的反馈包括伪影减少、采集协议或重建协议。
5.根据权利要求3所述的方法,其中专家生成的反馈包括指示第一重建图像的可接受性的分数或对重建图像进行的一个或多个修改。
6.根据权利要求1所述的方法,其中所述反馈包括修改的重建图像。
7.根据权利要求1所述的方法,其中所述深度强化学习过程包括卷积神经网络或文本评估网络。
8.根据权利要求1所述的方法,包括:
由系统接收与一次或多次附加的核成像扫描相对应的第二患者扫描数据;和
由系统通过将第二图像模型应用于第二患者扫描数据来生成第二重建图像。
9.一种系统,包括:
成像模态,被配置为在第一成像时段期间生成第一患者扫描数据集;和
一种计算机,被配置为:
接收在第一成像时段期间生成的患者扫描数据;
通过将第一图像模型应用于患者扫描数据来生成第一重建图像;
接收关于第一重建图像的反馈;
将所述反馈作为输入提供给深度强化学习过程,其中所述深度强化学习过程被配置为基于关于所述第一重建图像的反馈来生成对第一图像模型的至少一个修改;和
通过将深度强化学习过程生成的所述至少一个修改应用于第一图像模型来生成第二图像模型。
10.根据权利要求9所述的系统,其中所述反馈包括系统生成的反馈或专家生成的反馈中的一个或多个。
11.根据权利要求10所述的系统,其中系统生成的反馈包括伪影减少、采集协议或重建协议中的一个或多个.
根据权利要求10所述的系统,其中专家生成的反馈包括指示第一重建图像的可接受性的分数或者对重建图像进行的一个或多个修改中的一个或多个。
12.根据权利要求9所述的系统,其中所述反馈包括修改的重建图像。
13.根据权利要求9所述的系统,其中所述成像模态被配置为在第二成像时段期间生成患者扫描数据,并且其中所述计算机被进一步配置为:
接收在第二成像时段期间生成的患者扫描数据;和
通过将第二图像模型应用于在第二成像时段期间生成的患者扫描数据来生成第二重建图像。
14.一种存储指令的非暂时性计算机可读介质,所述指令被配置为使计算机系统执行以下步骤:
由系统接收与在一个或多个个体上执行的一次或多次核成像扫描相对应的第一患者扫描数据;
由系统通过将第一图像模型应用于第一患者扫描数据来生成第一重建图像;
由系统接收关于第一重建图像的反馈;
由系统将所述反馈作为输入提供给深度强化学习过程,其中所述深度强化学习过程被配置为基于关于所述第一重建图像的反馈来生成对所述第一图像模型的至少一个修改;和
系统通过将深度强化学习过程生成的所述至少一个修改应用于第一图像模型来生成第二图像模型。
15.根据权利要求14所述的非暂时性计算机可读介质,其中所述指令进一步被配置为使所述计算系统执行以下步骤:
由系统接收与一次或多次附加的核成像扫描相对应的第二患者扫描数据;和
由系统通过将第二图像模型应用于第二患者扫描数据来生成第二重建图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/026248 WO2020209826A1 (en) | 2019-04-08 | 2019-04-08 | Deep reinforcement learning for computer assisted reading and analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113614788A true CN113614788A (zh) | 2021-11-05 |
Family
ID=66334550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980095180.7A Pending CN113614788A (zh) | 2019-04-08 | 2019-04-08 | 计算机辅助读取和分析的深度强化学习 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220044454A1 (zh) |
EP (1) | EP3935605A1 (zh) |
CN (1) | CN113614788A (zh) |
WO (1) | WO2020209826A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019151B (zh) * | 2019-04-11 | 2024-03-15 | 深圳市腾讯计算机系统有限公司 | 数据库性能调整方法、装置、设备、系统及存储介质 |
US11640516B2 (en) * | 2020-06-03 | 2023-05-02 | International Business Machines Corporation | Deep evolved strategies with reinforcement |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120328173A1 (en) * | 2011-06-21 | 2012-12-27 | General Electric Company | Artifact removal in nuclear images |
US20180144466A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image acquisition |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006039809A1 (en) * | 2004-10-12 | 2006-04-20 | UNIVERSITé LAVAL | Method and apparatus for metal artifact reduction in computed tomography |
CN106999135B (zh) * | 2014-12-10 | 2020-11-13 | 皇家飞利浦有限公司 | 辐射发射成像系统和方法 |
US9990741B2 (en) * | 2015-09-28 | 2018-06-05 | Siemens Medical Solutions Usa, Inc. | Motion correction in a projection domain in time of flight positron emission tomography |
US10475217B2 (en) * | 2016-03-16 | 2019-11-12 | General Electric Company | Systems and methods for progressive imaging |
US10210635B2 (en) * | 2016-06-29 | 2019-02-19 | Siemens Medical Solutions Usa, Inc. | Reconstruction quality assessment with local non-uniformity in nuclear imaging |
US10032281B1 (en) | 2017-05-03 | 2018-07-24 | Siemens Healthcare Gmbh | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging |
US10818386B2 (en) * | 2018-11-21 | 2020-10-27 | Enlitic, Inc. | Multi-label heat map generating system |
-
2019
- 2019-04-08 CN CN201980095180.7A patent/CN113614788A/zh active Pending
- 2019-04-08 WO PCT/US2019/026248 patent/WO2020209826A1/en unknown
- 2019-04-08 EP EP19720733.5A patent/EP3935605A1/en active Pending
- 2019-04-08 US US17/310,771 patent/US20220044454A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120328173A1 (en) * | 2011-06-21 | 2012-12-27 | General Electric Company | Artifact removal in nuclear images |
US20180144466A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image acquisition |
Non-Patent Citations (2)
Title |
---|
CHENYANG SHEN: "Intelligent Parameter Tuning in Optimizationbased Iterative CT Reconstruction via Deep Reinforcement Learning", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 37, no. 6, 30 June 2018 (2018-06-30), pages 1430 - 1439 * |
SAMUEL MATEJ等: "Efficient 3D TOF PET Reconstruction Using View-Grouped Histo-lmages: DIRECT - Direct Image Reconstruction for TOF", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 28, no. 5, 31 May 2009 (2009-05-31), pages 739 - 751 * |
Also Published As
Publication number | Publication date |
---|---|
EP3935605A1 (en) | 2022-01-12 |
WO2020209826A1 (en) | 2020-10-15 |
US20220044454A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7053541B2 (ja) | 患者固有の深層学習画像ノイズ除去方法およびシステム | |
US10565477B2 (en) | Deep learning medical systems and methods for image reconstruction and quality evaluation | |
CN110121749B (zh) | 用于图像采集的深度学习医疗系统和方法 | |
CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
US11443201B2 (en) | Artificial intelligence-based self-learning in medical imaging | |
WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
CN106462974B (zh) | 用于分割图像的参数优化 | |
CN112529919B (zh) | 用于生成受试者的心脏的牛眼图生成的系统和方法 | |
US20220399107A1 (en) | Automated protocoling in medical imaging systems | |
CN113614788A (zh) | 计算机辅助读取和分析的深度强化学习 | |
CN113096210A (zh) | 图像重建方法、装置、电子设备和存储介质 | |
AU2019204365B1 (en) | Method and System for Image Segmentation and Identification | |
US20220122261A1 (en) | Probabilistic Segmentation of Volumetric Images | |
EP4345753A2 (en) | Ct reconstruction for machine consumption | |
CN113223104B (zh) | 一种基于因果关系的心脏mr图像插补方法及系统 | |
US20240071052A1 (en) | Method and system for removing foreign material from images | |
CN113177907B (zh) | 控制医学x射线设备 | |
Javale et al. | Reconstruction of Greyscale X-Ray for Boundary Analysis of Anatomical Structure | |
CN117653162A (zh) | 一种稀疏投影cbct重建方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |