CN111180046A - 确定用于处理图像的处理序列 - Google Patents
确定用于处理图像的处理序列 Download PDFInfo
- Publication number
- CN111180046A CN111180046A CN201911094386.6A CN201911094386A CN111180046A CN 111180046 A CN111180046 A CN 111180046A CN 201911094386 A CN201911094386 A CN 201911094386A CN 111180046 A CN111180046 A CN 111180046A
- Authority
- CN
- China
- Prior art keywords
- processing
- algorithm
- image
- sequence
- algorithms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 11
- 238000013499 data model Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 22
- 238000013473 artificial intelligence Methods 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 15
- 206010056342 Pulmonary mass Diseases 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 206010016654 Fibrosis Diseases 0.000 description 6
- 230000004761 fibrosis Effects 0.000 description 6
- 210000000038 chest Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 208000010378 Pulmonary Embolism Diseases 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 238000001739 density measurement Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010014568 Empyema Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010054107 Nodule Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003176 fibrotic effect Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Algebra (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开内容涉及确定用于处理图像的处理序列。本发明涉及确定用于处理图像的处理序列的方法,该处理序列包括多个算法,所述算法中的每一个被配置成对图像执行图像处理过程以生成相应的输出,该方法包括:确定来自处理序列的一个或更多个所需的输出;使用数据处理系统基于一个或更多个所需的输出来确定处理序列,该数据处理系统基于先前确定的序列进行配置。
Description
技术领域
本发明涉及用于确定用于处理图像的处理序列的方法、系统和计算机程序产品。
背景技术
人工智能系统越来越多地用于处理图像。在诸如医学图像处理的复杂图像处理应用中,越来越多的算法以互连的方式用于执行更困难的图像处理任务。
结合多个算法的图像处理系统通常以假设为最佳的预定顺序来应用算法。其他图像处理系统采用包括预定义规则和预定义参数的集合的启发法来确定应用算法序列的顺序。例如,规则的集合可以是“如果则否则(if then else)”的类型,使得一个算法的结果确定接下来要应用哪个后续算法。然而,用于确定应用算法序列的顺序的这样的方法可能不会产生最佳序列,因此可能不会产生最佳结果,尤其是当这样的方法应用于动态成像应用和/或可用算法池随着时间改变和/或各个算法的属性未知的系统中以及/或者当所处理的数据的复杂性增加时。
发明内容
通过根据本发明的方法、数据处理系统以及计算机程序产品来解决或缓解这些问题。从属权利要求涉及本发明的其他方面。
在一个方面,本发明涉及一种确定用于处理图像的处理序列的方法,处理序列包括多个算法,所述算法中的每一个被配置成对图像执行图像处理过程以生成相应的输出,该方法包括:
确定来自处理序列的一个或更多个所需的输出;
使用数据处理系统基于一个或更多个所需的输出来确定处理序列,数据处理系统基于先前确定的序列进行配置。
在一个方面,本发明的一个实施方式涉及一种方法,其中,数据处理系统包括数据模型,数据模型表示多个转换概率和多个输出概率,多个转换概率中的每一个表示多个算法中的相应算法之间的相继顺序的概率,并且输出概率中的每一个表示多个算法中的算法生成相应的输出的概率。
在一个方面,本发明的一个实施方式涉及一种方法,其中,数据模型是隐马尔可夫模型。
在一个方面,本发明的一个实施方式涉及一种方法,其中,确定处理序列包括:使用维特比算法来求解隐马尔可夫模型。
在一个方面,本发明的一个实施方式涉及一种方法,其中,数据处理系统包括:产生表示处理序列的执行图。
在一个方面,本发明的一个实施方式涉及一种方法,包括:接收来自处理序列中的第一算法的输出;以及基于来自第一算法的输出来改变要执行处理序列中的后续算法的顺序。
在一个方面,本发明的一个实施方式涉及一种方法,包括:根据所确定的处理序列来执行图像处理算法。
在一个方面,本发明涉及一种用于确定用于处理图像的处理序列的数据处理系统,处理序列包括多个算法,所述算法中的每一个被配置成对图像执行图像处理过程以生成相应的输出,数据处理系统包括处理器,该处理器被布置成:
确定来自处理序列的一个或更多个所需的输出;以及
基于一个或更多个所需的输出来确定处理序列,数据处理系统基于先前确定的序列进行配置。
在一个方面,本发明涉及一种计算机程序,该计算机程序能够加载到数据处理系统的存储器单元中,包括程序代码部分,以当在所述数据处理系统中执行计算机程序时使数据处理系统执行根据本发明的方面的方法。
计算机程序产品可以是例如计算机程序或包括除计算机程序之外的另一元件。该另一元件可以是硬件例如在其上存储有计算机程序的存储器装置、用于使用计算机程序的硬件密钥等和/或软件例如用于使用计算机程序的软件密钥或文档。
参考以下事实:所描述的方法和所描述的数据处理系统仅是本发明的优选示例实施方式,并且本领域的技术人员可以在不脱离本发明的范围的情况下对本发明进行改变,只要本发明的范围由权利要求指定即可。
附图说明
下面将参照附图使用示例实施方式说明本发明。附图中的图示是示意性的和高度简化的,并且不一定按比例绘制。
图1是根据本发明的一个方面的数据处理系统的示意图;
图2是示出根据本发明的一个方面的方法的简化的工作流程图;
图3a是示出根据示例的用于根据胸部CT图像进行异常识别和分类的人工智能系统的示意图;
图3b是示出根据示例的由人工智能系统执行以根据胸部CT图像进行异常识别和分类的默认处理序列的示意图;
图4a是示出根据示例的由人工智能系统执行以根据胸部CT图像进行异常识别和分类的处理序列的示意图;
图4b是示出根据示例的由人工智能系统执行以根据胸部CT图像进行异常识别和分类的处理序列的示意图;以及
图4c是示出根据示例的由人工智能系统执行以根据胸部CT图像进行异常识别和分类的处理序列的示意图。
具体实施方式
图1是示出根据本发明的实施方式的数据处理系统100的图。数据处理系统100包括处理器102,该处理器102被配置成根据本文描述的方法确定用于处理图像的处理序列。数据处理系统100可以例如在诸如工作站、台式计算机或膝上型计算机的计算装置上运行,或者可以在服务器上运行,或者可以在云环境中运行。特别地,处理序列包括多个算法,多个算法中的每一个被配置成对图像执行图像处理过程以生成相应的输出。
数据处理系统100还包括用于接收数据的通信接口104和用于存储接收到的数据的存储器106。
在通信接口104处接收到的数据可以包括图像数据、指示算法的数据和/或表示来自处理序列的一个或更多个所需的输出的数据。
存储器106可以被布置成以模型108的形式存储数据,该模型108可以在操作设置中在安装和使用数据处理系统100之前被训练。模型108可以例如是隐马尔可夫模型(HMM)。HMM是以下统计模型,其中被建模的系统被假设为具有未观察(即,隐藏)状态的马尔可夫过程。在模型108的上下文中,HMM的隐藏状态可以与来自算法池的算法对应,并且观察与包括一个或更多个所需的输出的输入数据以及其他输入数据对应。
可以在将数据处理系统100安装在操作环境中之前执行对模型108的训练。然而,可以在安装之后更新数据处理系统100的模型108。特别地,随着可用算法池的改变,模型108可以被训练成利用新的可用算法和/或不指定不再可用或已被替代的算法。
可以使用针对处理的训练示例集来训练模型108以用于确定处理序列。在一些示例中,可以使用算法如Baum-Welch算法或使用其他估计最大化方法来执行训练。在其他示例中,可以使用其他数据驱动的学习或基于规则的方法来执行训练。
如上所述,模型108可以是例如隐马尔可夫模型(HMM)。可以在训练阶段期间估计HMM的参数。给定一个或更多个所需的输出和附加的输入数据/参数(即,观察)以及HMM参数,模型108可以被训练成生成最佳的或接近最佳的处理序列以用于产生所需的输出,并且被训练成生成对应的执行图。在一些实施方式中,可以使用维特比算法来训练HMM,维特比算法是用于找到隐藏状态的最可能序列的算法;这有时称为维特比路径,并且是引起观察事件的序列的路径。
HMM由不同的状态(与算法池对应)、可能的观察(其与输入数据和参数对应)、转换概率(针对状态之间的转换)和输出概率来限定。转换概率表示一个状态跟随另一状态的概率(即,一个算法将在另一算法之后被执行的概率)。输出概率表示一个状态与另一状态之间的转换(即,在一个算法之后执行另一算法)将产生所需的输出的概率。例如,如果特定算法的结果需要随后执行另一算法,则转换概率可以表示根据先前算法的输出概率在该先前算法之后执行特定算法的概率。
在训练HMM期间,设置转换概率和观察概率(给定状态(即,算法)与给定观察相关联的概率)的值。
可以通过将训练数据供应给神经网络系统来训练模型108,并且机器学习算法可以学习使用神经网络系统基于一个或更多个所需的输出以及基于先前确定的序列来确定处理序列。
机器学习算法可以是实现用于确定用于处理图像的处理序列的神经网络的任何合适的算法。例如,机器学习算法可以包括卷积神经网络(CNN)算法,或者可以是完全卷积神经网络(FCN)算法。在另一示例中,机器学习算法可以是多层感知器(MLP)算法。
存储器106还可以存储计算机程序,该计算机程序能够由处理器102执行,以执行本文描述的方法,以及特别是下面参照图2描述的方法。
存储器106可以是任何合适形式的存储器。例如,存储器106可以包括易失性存储器如随机存取存储器(RAM)和/或非易失性存储器如只读存储器(ROM)或快闪存储器。此外,存储器106可以包括多个单独的存储器装置,并且可以包括易失性存储器和非易失性存储器的组合。在一些示例中,诸如计算机程序和/或模型的本发明的某些组件可以存储在一个存储器装置中,而其他组件可以存储在另一存储器装置中。在其他示例中,存储器可以是关联存储器。
在一些实施方式中,处理器102还可以被配置成根据所确定的处理序列执行图像处理功能以处理图像(即,以应用算法)。可以对任何图像执行图像处理,但在某些示例中,可以对医学图像执行图像处理。例如,可以通过选自由以下项组成的组的医学成像装置来获取图像:X射线荧光透视装置、计算机断层扫描装置、磁共振成像装置、分子成像装置、SPECT装置、PET装置及其组合。医学成像装置可以是例如成像模态和治疗模态(特别是放射治疗模态)的组合。在一些实施方式中,可以从图片存档和通信系统(PACS)检索图像;例如,可以使用医学数字成像和通信(DICOM)自动路由将图像路由到数据处理系统。在一些实施方式中,数据处理系统100可以是图像获取系统(例如上述类型的医学成像装置)的一部分。替选地,数据处理系统100可以与用于获取图像的成像装置分开,并且图像可以由数据处理系统100检索或经由通信接口104被发送至数据处理系统100。
图2是示出确定用于处理图像的序列的方法200的流程图,其中处理序列包括多个算法,每个算法被配置成对图像执行图像处理过程以生成相应的输出。例如,方法200可以由以上参照图1描述的数据处理系统100来实现。
在框202处,确定来自处理序列的一个或更多个所需的输出。例如,参照图1,数据处理系统100可以经由通信接口104接收指示一个或更多个所需的输出的数据。
在医学成像应用中,一个或更多个所需的输出可以包括对图像的一个或更多个期望的修改和/或从图像中对一条或更多条信息的提取。在一些实施方式中,所需的输出可以包括对图像的修改;例如,输出可以包括以下项中的一个或更多个:对图像的注释、对图像中识别的一个或更多个特征的测量和/或对图像的一个或更多个部分的突出显示。在另一示例中,输出可以包括从图像得出的信息;例如,在医学图像的情况下,信息可以包括诸如肿瘤的解剖异常的指示,并且可以包括基于例如图像的一部分的纹理分析确定的异常的分类。
在框204处,使用基于先前确定的序列配置的数据处理系统,基于一个或更多个所需的输出来确定处理序列。亦即,数据存储系统100中存储的模型108可以(使用训练数据和对应的基本事实(ground truth)数据)被训练成基于一个或更多个所需的输出来确定处理序列。
换言之,方法200是用于确定用于执行图像处理算法的改进序列的运行时方法,其使得数据处理系统100能够动态地确定用于执行算法池中可用的算法的序列的适当顺序。
除了一个或更多个所需的输出之外,数据处理系统100的模型108可以被训练成基于其他数据来确定处理序列,所述其他数据可以由数据处理系统100经由通信接口104来接收。例如,数据处理系统100可以至少部分地基于与获取图像的条件有关的输入参数来确定处理序列。例如,输入参数可以包括以下项中的一个或更多个:获取参数(例如,扫描速度、辐射功率和/或扫描仪分辨率)、千伏电平(kilovolt level)、梯度、信噪比(SNR)、对比噪声比(CNR)获取协议、重建参数、核(kernel)、迭代重建、压缩感测、切片厚度、对比度参数、体积、亮度和浓度。
另外地或替选地,数据处理系统100可以至少部分地基于解剖参数来确定处理序列。例如,数据处理系统100可以接收指示图像中的界标、图像中存在的器官、图像中存在的解剖异常和/或图像中存在的异物(例如,医疗仪器)的数据。
另外地或替选地,数据处理系统100可以至少部分地基于临床参数来确定处理序列。例如,数据处理系统100可以接收指示缺失的解剖特征(例如,已经通过手术去除的解剖特征,如通过叶切除术去除的肺叶)、纤维化疾病状态的恶性结节和淋巴结的存在以及治疗状态的数据。
在一些实施方式中,数据处理系统100可以生成表示所确定的处理序列的所谓的“执行图”。执行图指定要执行的算法的序列。执行图包括与来自算法池的可用算法中的算法对应的节点以及确定算法的执行序列的转换。
在一些实施方式中,可以将由模型108基于一个或更多个所需的输出和/或输入参数、解剖参数和/或临床参数以及先前经验而生成的执行图显示给用户。在其他实施方式中,执行图可以不显示给用户,并且可以仅存在于由数据处理系统100用于处理图像的或被呈现给单独的图像处理系统的数据中,以指示图像处理算法要被执行的序列。
图3a是人工智能系统300的示例的示意图,该人工智能系统300包括用于处理图像的人工智能算法的池,人工智能系统300可以将人工智能算法中的一个或更多个算法应用于图像以处理图像。在图3a所示的示例中,人工智能系统300用于处理人类患者的胸部的计算机断层扫描(CT)图像并且用于执行异常识别和分类。在图3a所示的示例中,算法池包括:解剖界标检测(ALD)算法302、器官检测(OD)算法304、气道分割(AiS)算法306、肺动脉树分割(PATS)算法308、心脏分割(HS)算法310、肺部分割(LS)算法312、主动脉分割(AoS)算法314、脊柱和肋骨分割(SRS)算法316、膈膜和肝脏分割(DLS)算法318、肺栓塞检测(PED)算法320、肺叶分割(LLS)算法322、纤维化检测(FD)算法324、脓胸检测(ED)算法326、肺结节检测(LND)算法328、肺结节分割(LNS)算法330、肺结节恶性分类器(LNMC)算法332、脊柱转移检测(SMD)算法334和骨矿物质密度测量(BMDM)算法336。
图3b示出了响应于对所需的输出的请求以默认的操作模式操作的数据处理系统100的执行图300a的示例。如图3b中所示,来自解剖界标检测(ALD)算法302的输出可以触发器官检测(OD)算法304的执行,然后器官检测(OD)算法304的执行相继地触发肺部分割(LS)算法312、肺叶分割(LLS)算法322、纤维化检测(FD)算法324、肺结节检测(LND)算法328和肺结节恶性分类器(LNMC)算法332的执行。然而,因为一个算法的输出用作序列中的下一算法的输入,因此人工智能系统300产生所需的输出的能力(即,人工智能系统300的输出的质量和/或准确性)取决于执行各个算法的序列。因此,在许多情况下,默认模式可能不会产生最佳的结果。
在一些实施方式中,人工智能系统300可以在针对所需的输出的给定请求的算法池的各个组件算法之间具有预定义的默认交互。在图3a所示的示例中,这些默认交互由链接各个算法组件的箭头表示。在没有对人工智能系统300的进一步控制的情况下,基于由模型108提供的处理序列,算法中的某些算法的输出可以以算法的默认序列触发后续算法的执行。
然而,在一些示例中,取决于所需的输出和输入数据,默认模式可能不会产生最佳的输出,或者甚至可能会产生错误的输出。例如,如果图像的切片厚度大于阈值,则图像处理算法可能会产生错误的结果。例如,关于上面参照图3a描述的示例,如果切片厚度大于约3mm,则肺叶分割(LLS)算法322可能会产生错误的结果,因此该结果可能无法用作纤维化检测(FD)算法324的输入。因此,如图4a所示,数据处理系统100可以确定处理序列400,并且在一些示例中,生成对应的执行图,在该执行图中,可能预期会产生错误结果的算法被移到处理序列的末尾。
在另一示例中,如果纤维化检测(FD)算法324发现显著的实质变性,则模型108可以确定该信息与肺结节的检测有关,并且随后可以相应地执行肺结节检测(LND)算法328。因此,模型108可以确定通过交换执行肺叶分割(LLS)算法322和纤维化检测(FD)算法324的顺序将获得改善的结果,如图4b中所示的执行图402所示。
在一些实施方式中,可以将新算法添加到算法池,可以从算法池中移除算法,以及/或者可以更新算法池中的模型。可以重新训练模型108以适应更新的算法池。
在一些实施方式中,模型108可以被训练成在实施由处理序列规定的算法期间更新处理序列。例如,模型108可以被训练成观察来自根据处理序列执行的算法的输出,并且被训练成调整根据已经执行的算法的输出随后要执行的算法的序列。
关于固定的处理序列和基于启发法确定的处理序列,可以改进由模型108生成的处理序列,因为它们可以提供更准确的结果(即能够更有可能产生所需的输出)。例如,模型108可以确定(例如,根据器官检测算法(OD)304的输出)图像不包含与肝脏对应的图像数据,在这种情况下,模型108可以确定不需要执行膈膜和肝脏分割(DLS)算法318。
在另一示例中,如果纤维化检测(FD)算法324发现显著的实质变性,则模型108可以确定该信息与肺结节的检测有关并且随后可以相应地执行肺结节检测(LND)算法328。进而,如果肺结节检测(LND)算法328检测到肺结节,则模型108可以确定随后例如应该执行淋巴结节分割算法(未示出)。
在另一示例中,模型108可以确定在没有造影剂的情况下获取图像,并且因此可以确定应该执行肺栓塞检测(PED)算法320。
在另一示例中,模型108可以确定(获取的图像的)千伏特获取参数与标准电压(例如,120kv)不同,并且因此可以确定在执行骨矿物质密度测量(BMDM)算法336之前应该对图像应用归一化。
在另一示例中,模型108可以确定患者的年龄低于阈值,并且可以相应地确定应该执行某些儿科检测器模块和/或应用某些儿科参数。
由以上参照图1描述并且执行以上参照图2描述的方法的数据处理系统100确定的处理序列可以提供改进的处理序列,并且在无需特定的算法知识的情况下提供处理序列内的独立算法之间的改进的互操作性,并且可以在无需对数据处理系统进行重新编程的情况下使得算法池能够动态地改变,包括对各个算法进行更新、移除算法和添加新算法。此外,由以上参照图1描述并且执行以上参照图2描述的方法的数据处理系统100确定的处理序列可以提供减少的错误和/或减少执行不必要或不适当的算法。
尽管已经借助于优选实施方式详细地示出和描述了本发明,但是本发明不限于所公开的示例。在不脱离所要求保护的本发明的保护范围的情况下,本领域技术人员可以推断出其他变型。
Claims (9)
1.一种确定用于处理图像的处理序列的方法,所述处理序列包括多个算法,所述算法中的每一个被配置成对所述图像执行图像处理过程以生成相应的输出,所述方法包括:
确定来自所述处理序列的一个或更多个所需的输出;
使用数据处理系统基于所述一个或更多个所需的输出来确定所述处理序列,所述数据处理系统基于先前确定的序列进行配置。
2.根据权利要求1所述的方法,其中,所述数据处理系统包括数据模型,所述数据模型表示多个转换概率和多个输出概率,所述多个转换概率中的每一个表示所述多个算法中的相应算法之间的相继顺序的概率,并且所述输出概率中的每一个表示所述多个算法中的算法生成相应的输出的概率。
3.根据权利要求1或2所述的方法,其中,所述数据模型是隐马尔可夫模型。
4.根据权利要求3所述的方法,其中,确定所述处理序列包括:使用维特比算法来求解所述隐马尔可夫模型。
5.根据任一前述权利要求所述的方法,其中,所述数据处理系统包括:产生表示所述处理序列的执行图。
6.根据任一前述权利要求所述的方法,包括:根据所确定的处理序列来执行图像处理算法。
7.根据任一前述权利要求所述的方法,包括:接收来自所述处理序列中的第一算法的输出;以及基于来自所述第一算法的输出来改变要执行所述处理序列中的后续算法的顺序。
8.一种用于确定用于处理图像的处理序列的数据处理系统,所述处理序列包括多个算法,所述算法中的每一个被配置成对所述图像执行图像处理过程以生成相应的输出,所述数据处理系统包括处理器,所述处理器被布置成:
确定来自所述处理序列的一个或更多个所需的输出;以及
基于所述一个或更多个所需的输出来确定所述处理序列,所述数据处理系统基于先前确定的序列进行配置。
9.一种包括计算机程序的计算机程序产品,所述计算机程序能够加载到数据处理系统的存储器单元中,包括程序代码部分,以当在所述数据处理系统中执行所述计算机程序时使数据处理系统执行计算机实现的根据权利要求1至7中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18205964.2A EP3654251A1 (en) | 2018-11-13 | 2018-11-13 | Determining a processing sequence for processing an image |
EP18205964.2 | 2018-11-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111180046A true CN111180046A (zh) | 2020-05-19 |
CN111180046B CN111180046B (zh) | 2023-07-07 |
Family
ID=64331655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911094386.6A Active CN111180046B (zh) | 2018-11-13 | 2019-11-11 | 确定用于处理图像的处理序列 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11537826B2 (zh) |
EP (1) | EP3654251A1 (zh) |
CN (1) | CN111180046B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021189914A1 (zh) * | 2020-10-20 | 2021-09-30 | 平安科技(深圳)有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002073529A1 (en) * | 2001-03-07 | 2002-09-19 | Rockwell Scientific Company Llc | Automatic mapping from data to preprocessing algorithms |
US20050047646A1 (en) * | 2003-08-27 | 2005-03-03 | Nebojsa Jojic | System and method for fast on-line learning of transformed hidden Markov models |
JP2006085278A (ja) * | 2004-09-14 | 2006-03-30 | Sharp Corp | 画像処理システム、画像処理装置、アルゴリズム作成装置、画像検査装置、コンピュータを画像処理装置として機能させるためのプログラム、コンピュータをアルゴリズム作成装置として機能させるためのプログラム、および記録媒体 |
US20090009821A1 (en) * | 2007-07-05 | 2009-01-08 | Ricoh Company, Ltd. | Image Processing Apparatus, Image Processing Control Method and Computer-Readable Storage Medium |
US20140104450A1 (en) * | 2012-10-12 | 2014-04-17 | Nvidia Corporation | System and method for optimizing image quality in a digital camera |
US20170200090A1 (en) * | 2014-07-25 | 2017-07-13 | Raytheon Company | System and method of chaining algorithms for global object recognition to improve probability of correctness and reduce processing load |
US20170317983A1 (en) * | 2016-04-28 | 2017-11-02 | Xerox Corporation | Image document processing in a client-server system including privacy-preserving text recognition |
US20180060512A1 (en) * | 2016-08-29 | 2018-03-01 | Jeffrey Sorenson | System and method for medical imaging informatics peer review system |
CN108537774A (zh) * | 2017-03-01 | 2018-09-14 | 西门子医疗有限公司 | 用于检查医学图像的方法以及用于调整检查协议的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10937551B2 (en) * | 2017-11-27 | 2021-03-02 | International Business Machines Corporation | Medical concept sorting based on machine learning of attribute value differentiation |
-
2018
- 2018-11-13 EP EP18205964.2A patent/EP3654251A1/en active Pending
-
2019
- 2019-11-05 US US16/674,196 patent/US11537826B2/en active Active
- 2019-11-11 CN CN201911094386.6A patent/CN111180046B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002073529A1 (en) * | 2001-03-07 | 2002-09-19 | Rockwell Scientific Company Llc | Automatic mapping from data to preprocessing algorithms |
US20050047646A1 (en) * | 2003-08-27 | 2005-03-03 | Nebojsa Jojic | System and method for fast on-line learning of transformed hidden Markov models |
JP2006085278A (ja) * | 2004-09-14 | 2006-03-30 | Sharp Corp | 画像処理システム、画像処理装置、アルゴリズム作成装置、画像検査装置、コンピュータを画像処理装置として機能させるためのプログラム、コンピュータをアルゴリズム作成装置として機能させるためのプログラム、および記録媒体 |
US20090009821A1 (en) * | 2007-07-05 | 2009-01-08 | Ricoh Company, Ltd. | Image Processing Apparatus, Image Processing Control Method and Computer-Readable Storage Medium |
US20140104450A1 (en) * | 2012-10-12 | 2014-04-17 | Nvidia Corporation | System and method for optimizing image quality in a digital camera |
US20170200090A1 (en) * | 2014-07-25 | 2017-07-13 | Raytheon Company | System and method of chaining algorithms for global object recognition to improve probability of correctness and reduce processing load |
US20170317983A1 (en) * | 2016-04-28 | 2017-11-02 | Xerox Corporation | Image document processing in a client-server system including privacy-preserving text recognition |
US20180060512A1 (en) * | 2016-08-29 | 2018-03-01 | Jeffrey Sorenson | System and method for medical imaging informatics peer review system |
CN108537774A (zh) * | 2017-03-01 | 2018-09-14 | 西门子医疗有限公司 | 用于检查医学图像的方法以及用于调整检查协议的方法 |
Non-Patent Citations (3)
Title |
---|
MARTIN LUKAC、MICHITAKA KAMEYAMA: "An algorithm selection based platform for image understanding using high-level symbolic feedback and machine learning", 《INTERNATIONAL JOURNAL OF MACHINE LEARNING AND CYBERNETICS》 * |
T. CHATTOPADHYAY、V. RAMU REDDY: "Automatic Selection of Binarization Method for Robust OCR", 《2013 12TH INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION》 * |
刘明等: "基于矢量的PCNN模型及其应用", 《微计算机信息》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021189914A1 (zh) * | 2020-10-20 | 2021-09-30 | 平安科技(深圳)有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200151523A1 (en) | 2020-05-14 |
CN111180046B (zh) | 2023-07-07 |
EP3654251A1 (en) | 2020-05-20 |
US11537826B2 (en) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11593943B2 (en) | RECIST assessment of tumour progression | |
EP3525171B1 (en) | Method and system for 3d reconstruction of x-ray ct volume and segmentation mask from a few x-ray radiographs | |
US11423540B2 (en) | Segmentation of anatomical regions and lesions | |
CN107403446B (zh) | 用于使用智能人工代理的图像配准的方法和系统 | |
US10664979B2 (en) | Method and system for deep motion model learning in medical images | |
US20200051274A1 (en) | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure | |
EP3576020A1 (en) | Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium | |
US20200226752A1 (en) | Apparatus and method for processing medical image | |
EP3338636B1 (en) | An apparatus and associated method for imaging | |
JP7218118B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2014213202A (ja) | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム | |
CN112529919B (zh) | 用于生成受试者的心脏的牛眼图生成的系统和方法 | |
CN112396606B (zh) | 一种基于用户交互的医学图像分割方法、系统和装置 | |
US20220392198A1 (en) | Constrained training of artificial neural networks using labelled medical data of mixed quality | |
CN111180046B (zh) | 确定用于处理图像的处理序列 | |
WO2022172817A1 (ja) | 学習装置、学習方法、学習済みモデル、及びプログラム | |
US12106478B2 (en) | Deep learning based medical system and method for image acquisition | |
Popa et al. | Segmentation of different human organs on 3d computer tomography and magnetic resonance imaging using an open source 3d u-net framework | |
CN113177907B (zh) | 控制医学x射线设备 | |
Han et al. | Reconstruction of Patient-Specific Confounders in AI-based Radiologic Image Interpretation using Generative Pretraining | |
EP4148679A1 (en) | Learning-based domain transformation for medical images | |
Hatt et al. | A Convolutional Neural Network Approach to Automated Lung Bounding Box Estimation from Computed Tomography Scans | |
WO2024150228A1 (en) | System and method of predicting cancer metastases location | |
KR20240051159A (ko) | 의료 이미지 변환을 위한 시스템 및 방법 | |
CN115511773A (zh) | 一种血管中心线提取方法、装置、设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240903 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen Patentee before: Siemens Healthineers AG Country or region before: Germany |