CN117015801A - 图像分割的系统和方法 - Google Patents
图像分割的系统和方法 Download PDFInfo
- Publication number
- CN117015801A CN117015801A CN202180095846.6A CN202180095846A CN117015801A CN 117015801 A CN117015801 A CN 117015801A CN 202180095846 A CN202180095846 A CN 202180095846A CN 117015801 A CN117015801 A CN 117015801A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- sample
- initial
- segmentation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 148
- 238000012549 training Methods 0.000 claims description 155
- 230000008569 process Effects 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 27
- 238000002591 computed tomography Methods 0.000 claims description 26
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000002600 positron emission tomography Methods 0.000 claims description 9
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 159
- 238000003384 imaging method Methods 0.000 description 87
- 238000013527 convolutional neural network Methods 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 22
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000000920 organ at risk Anatomy 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
提供了用于图像分割的系统和方法。系统可以获取对象的第一图像。系统可以获取与第一图像或对象中的至少一个相关联的非图像信息。系统还可以基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。
Description
技术领域
本公开总体而言涉及图像分割,更具体地,涉及用于基于机器学习的图像分割的系统和方法。
背景技术
图像分割已广泛应用于医学领域。分割医学图像(例如,CT图像、MRI图像、PET图像等)以获取感兴趣区域(ROI)(例如,器官、肿瘤),可以帮助医生诊断和治疗疾病。如果图像分割方法仅使用图像信息,分割结果的准确性就可能较低。因此,期望提供高效且准确的用于图像分割的系统和方法,该系统和方法不仅使用图像的图像信息还使用图像的非图像信息。
发明内容
在本公开的一个方面,提供了一种用于图像分割的系统。所述系统可以包括包含指令集的至少一个存储设备,以及被配置为与所述至少一个存储设备通信的至少一个处理器。当执行所述指令集时,所述至少一个处理器可以被配置为指示所述系统执行以下操作。所述系统可以获取对象的第一图像。所述系统可以获取与第一图像或对象中的至少一个相关联的非图像信息。所述系统还可以基于第一图像、非图像信息和图像分割模型确定所述第一图像的感兴趣区域(ROI)。
在一些实施例中,所述图像分割模型可以包括第一模型。第一模型可以被配置为将非图像信息转换为第二图像。
在一些实施例中,确定所述第一图像的ROI可以包括基于非图像信息确定向量,并且通过将该向量输入到第一模型中确定第二图像。
在一些实施例中,图像分割模型还可以包括第二模型。第二模型可以被配置为基于第二图像分割第一图像。
在一些实施例中,第二模型可以包括多通道神经网络。
在一些实施例中,非图像信息可以包括与第一图像或对象相关联的用户相关的信息、对象的生物信息或第一图像的图像采集信息中的至少一个。
在一些实施例中,图像分割模型可以通过训练过程获取。训练过程可以包括获取多个训练样本。多个训练样本中的每个样本可以包括样本对象的第一样本图像、与第一样本图像和样本对象相关联的样本非图像信息、以及第一样本图像的目标ROI。训练过程还可以包括通过使用多个训练样本训练初始图像分割模型生成图像分割模型。
在一些实施例中,初始图像分割模型可以包括第一初始模型。第一初始模型可以被配置为将样本对象的样本非图像信息转化为第二样本图像。
在一些实施例中,初始图像分割模型还可以包括第二初始模型。第二初始模型可以被配置为分割样本对象的第一样本图像。
在一些实施例中,生成图像分割模型可以包括通过使用多个训练样本的样本非图像信息训练第一初始模型确定第一模型;基于第一模型,通过使用第一样本图像和多个训练样本的第一样本图像的目标ROI训练第二初始模型,确定第二模型。
在一些实施例中,生成图像分割模型可以包括基于第一初始模型、第二初始模型和多个训练样本,同时确定第一模型和所述第二模型。
在一些实施例中,生成图像分割模型还可以包括评估与第一模型和第二模型相关的损失函数。
在一些实施例中,生成图像分割模型还可以包括评估与第一模型相关的第一损失函数。
在一些实施例中,生成图像分割模型还可以包括评估与第二模型相关的第二损失函数。
在本公开的另一方面,提供了一种用于图像分割的方法。所述方法可以在至少一个计算设备上实现,每个计算设备可以包括至少一个处理器和存储设备。所述方法可以包括获取对象的第一图像。所述方法可以包括获取与第一图像或对象中的至少一个相关联的非图像信息。所述方法还可以包括基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。
在本公开的又一方面,提供了一种存储至少一组指令的非暂时性计算机可读介质。当由至少一个处理器执行时,所述至少一组指令可以指示所述至少一个处理器执行一种方法。所述方法可以包括获取对象的第一图像。所述方法可以包括获取与第一图像或对象中的至少一个相关联的非图像信息。所述方法还可以包括基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。
本公开的一部分附加特性将在以下描述中进行说明,并且通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解,一部分附加特性对于本领域技术人员是明显的。本公开的特征可以通过实践或使用在下面讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获取。
附图说明
本公开将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例,在这些实施例中,各图中相同的编号表示相似的结构,其中:
图1是根据本公开的一些实施例所示的示例性成像系统的示意图;
图2是根据本公开的一些实施例所示的示例性计算设备的硬件和/或软件组件的示意图;
图3是根据本公开的一些实施例所示的示例性移动设备的硬件和/或软件组件的示意图;
图4A是根据本公开的一些实施例所示的示例性处理设备的框图;
图4B是根据本公开的一些实施例所示的示例性处理设备的框图;
图5是根据本公开的一些实施例所示的用于图像分割的示例性过程的流程图;
图6是根据本公开的一些实施例所示的用于生成图像分割模型的示例性过程的流程图;
图7是根据本公开的一些实施例所示的用于确定图像分割模型的第一模型和第二模型的示例性过程的流程图;
图8是根据本公开的一些实施例所示的用于确定图像分割模型的第一模型和第二模型的示例性过程的流程图;
图9是根据本公开的一些实施例所示的用于训练图像分割模型的示例性训练过程的示意图;
图10是根据本公开的一些实施例所示的图像分割模型的应用的示例性过程的示意图。
具体实施方式
在以下具体实施方式中,通过示例的方式说明了各种具体细节,以便提供对相关公开内容的透彻理解。然而,本领域技术人员应该明白,可以在没有这些细节的情况下实践本公开。在其它情况下,为了避免不必要地使本申请的各方面变得晦涩难懂,已经在较高的层次上描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲,显然可以对所披露的实施例作出各种改变,并且在不偏离本申请的原则和范围的情况下,本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此,本申请不限于所示的实施例,而是符合与申请专利范围一致的最广泛范围。
本申请中所使用的术语仅出于描述特定示例实施例的目的,而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式,除非上下文明确提示例外情形。还应当理解,如在本申请说明书中使用的术语“包括”、“包含”仅提示存在所述特征、整数、步骤、操作、组件和/或部件,但并不排除存在或添加一个或以上其它特征、整数、步骤、操作、组件、部件和/或其组合的情况。
应理解,本文中使用的术语“系统”、“单元”、“模块”和/或“块”是一种按升序区分不同级别的不同部件、元件、部件、部分或组件的方法。但是,如果这些术语达到相同的目的,则可以用另一种表达方式代替。
通常,如本文所用,词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑,或软件指令的集合。此处描述的模块、单元或块可以实现为软件和/或硬件,并且可以存储在任何类型的非暂时性计算机可读介质或另一存储设备中。在一些实施例中,软件模块/单元/块可以被编译并链接成可执行程序。应当理解,软件模块可以从其他模块/单元/块或从它们自身调用,和/或可以响应于检测到的事件或中断而被调用。被配置为在计算设备(例如,如图2所示的处理器210)上执行的软件模块/单元/块可以提供在计算机可读介质上,诸如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质,或作为数字下载(并且最初可以以压缩或可安装格式存储,需要在执行前安装、解压缩或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中,并应用在计算设备的操作之中。软件指令可以嵌入到固件中,例如EPROM。还应当理解,硬件模块/单元/块可以包括在连接的逻辑组件中,例如门和触发器,和/或可以包括可编程单元,例如可编程门阵列或处理器。这里描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块,但是可以用硬件或固件表示。通常,这里描述的模块/单元/块指的是逻辑模块/单元/块,其可以与其他模块/单元/块组合或者分成子模块/子单元/子块,尽管它们是物理组织或存储器件。该描述可适用于系统、发动机或其一部分。
应理解,本文中使用的术语“系统”、“单元”、“模块”和/或“块”是一种按升序区分不同级别的不同部件、元件、部件、部分或组件的方法。然而,如果可以达到相同的目的,这些术语也可以被其他表达替换。
应当理解,当一个单元、模块或块被称为“置于”、“连接到”或“耦合到”另一个单元、模块、或块时,它可以直接在另一单元、发动机,模块或块上、连接到或耦合到,或与另一单元,发动机,模块,或块通信,除非上下文另有明确指示。在本申请中,术语“和/或”可以包括任何一个或以上相关所列条目或其组合。本申请中的术语“图像”用于统指图像数据(例如,扫描数据)和/或各种形式的图像,包括二维(2D)图像、三维(3D)图像、四维(4D)图像等。
根据以下对附图的描述,本公开的这些和其它的特征、特点以及相关结构元件的功能和操作方法,以及部件组合和制造经济性,可以变得更加显而易见,这些附图都构成本公开的一部分。然而,应当理解的是,附图仅仅是为了说明和描述的目的,并不旨在限制本公开的范围。应当理解,附图不是按比例绘制的。
本公开中使用的流程图示出了根据本公开中的一些实施例的系统实现的操作。需要明确理解的是,流程图的操作可以不按顺序执行。相反,这些操作可以以相反的顺序或同时执行。同时,也可以将一个或以上其他操作添加到这些流程图中。可以从流程图中删除一个或以上操作。
本文提供用于非侵入性生物医学成像和/或治疗的系统和方法,例如用于疾病诊断、治疗或研究目的。在一些实施例中,系统可以包括放射治疗(RT)系统、计算机断层摄影(CT)系统、发射计算机断层摄影(ECT)系统、X射线摄影(XR)系统、正电子发射断层摄影(PET)系统、磁共振(MR)系统等,或其任意组合。需要说明的是,以下描述的成像系统仅用于说明目的,并不用于限制本公开的范围。
本公开的一个方面涉及用于通过图像分割确定对象的感兴趣区域(ROI)的系统和方法。所述系统和方法可以基于机器学习算法,不仅使用图像信息,还使用图像和/或对象的非图像信息来分割对象的图像。为此,所述系统和方法可以将图像分割模型应用于图像和非图像信息。在一些实施例中,图像分割模型可以是处理图像和非图像信息的单一模型。在一些实施例中,图像分割模型可以包括第一模型和第二模型。第一模型可以被配置为处理非图像信息。例如,第一模型可以将非图像信息转化为表示非图像信息的图像。可以将待分割图像和从第一模型获取的图像输入到第二模型以确定图像的ROI。通过考虑与图像和/或对象相关联的非图像信息进行图像分割,可以提高分割结果的准确性。此外,通过采用图像分割模型,可以自动化图像分割,从而减少图像分割中的用户时间和/或跨用户变化。
图1是根据本公开的一些实施例所示的示例性成像系统100的示意图。在一些实施例中,成像系统100可以包括用于执行成像和/或相关分析的模块和/或组件。
仅作为示例,如图1所示,成像系统100可以包括成像设备110、处理设备120、存储设备130、一个或多个终端140和网络150。成像系统100中的组件可以以各种方式连接。仅作为示例,如图1所示,成像设备110可以通过网络150或直接连接到处理设备120。又例如,如图1所示,(多个)终端140可以经由网络150或直接连接到处理设备120。
在一些实施例中,成像设备110可以被配置为获取与对象相关的一幅或多幅图像。与对象相关的图像可以包括图像、图像数据(例如,投影数据、扫描数据等),或其组合。在一些实施例中,图像可以包括二维(2D)图像、三维(3D)图像、四维(4D)图像等,或其任意组合。对象可以是生物学的或非生物学的。例如,对象可以包括患者、人造物体等。又例如,对象可以包括患者的特定部分、器官和/或组织。例如,对象可以包括头部、颈部、胸部、心脏、胃、血管、软组织、肿瘤、结节等,或其任意组合。
在一些实施例中,成像设备110可以是医学成像设备。例如,成像设备可以包括磁共振成像(MRI)设备、计算机断层扫描(CT)设备、正电子发射断层扫描(PET)设备、单光子发射计算机断层扫描(SPECT)设备、超声设备、X射线设备、计算机断层扫描-磁共振成像(MRI-CT)设备、正电子发射断层扫描-磁共振成像(PET-MRI)设备、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)设备、数字减影血管造影-磁共振成像(DSA-MRI)设备、正电子发射断层扫描-计算机断层扫描(PET-CT)设备、单光子发射计算机断层扫描-计算机断层扫描(SPECT-CT)设备等,或其任意组合。需要说明的是,图1中所示的成像设备110仅供说明之用,并非旨在限制本发明的范围。成像设备110可以是能够获取对象的图像的任何成像设备。
处理设备120可以处理从成像设备110、(多个)终端140和/或存储设备130获取的数据和/或信息。例如,处理设备120可以从成像设备110获取对象的第一图像。处理设备120还可以从成像设备110、(多个)终端140和/或存储设备130获取与第一图像和/或对象相关联的非图像信息。处理设备120还可以基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。又例如,处理设备120可以通过使用多个训练样本训练初始图像分割模型来生成图像分割模型。在一些实施例中,图像分割模型的生成和/或更新可以在处理设备上执行,而图像分割模型的应用可以在不同的处理设备上执行。在一些实施例中,图像分割模型的生成可以在不同于成像系统100的系统的处理设备或不同于包括执行图像分割模型应用的处理设备120的服务器的服务器上执行。例如,可以在供应商的第一系统上执行图像分割模型的生成,供应商提供和/或维护这样的图像分割模型和/或可以访问用于生成图像分割模型的训练样本,而基于提供的图像分割模型的图像分割可以在供应商的客户端的第二系统上执行。在一些实施例中,可以响应于图像分割请求,在线执行图像分割模型的生成。在一些实施例中,图像分割模型的生成可以离线执行。
在一些实施例中,图像分割模型可以由例如成像设备110的制造商或供应商生成和/或更新(或维护)。例如,制造商或供应商可以在安装成像设备110和/或处理设备120之前或期间,将图像分割模型加载到成像系统100或其一部分(例如,处理设备120)中,并且不时(定期或不定期)维护或更新图像分割模型。维护或更新可以通过安装存储在存储设备(例如,光盘、USB驱动器等)上的程序来实现,或者通过网络150从外部源(例如,制造商或供应商维护的服务器)调用。该程序可以包括新模型(例如,新的图像分割模型)或用于替代或补充模型的相应部分的模型的一部分。
在一些实施例中,处理设备120可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,处理设备120可以是本地的或远程的。例如,处理设备120可以经由网络150访问存储在成像设备110、(多个)终端140和/或存储设备130中的信息和/或数据。又例如,处理设备120可以直接连接到成像设备110、(多个)终端140和/或存储设备130以访问存储的信息和/或数据。在一些实施例中,处理设备120可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或其任意组合。
存储设备130可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备130可以存储从(多个)终端140和/或处理设备120获取的数据。例如,存储设备130可以存储由成像设备110获取的图像和/或图像数据。又例如,存储设备130可以存储与从成像设备110和/或(多个)终端140获取的与图像或图像数据相关联的非图像信息。再例如,存储设备130可以存储用于分割图像的一个或多个算法(例如,图像分割模型等)。在一些实施例中,存储设备130可以存储数据和/或指令,处理设备120可以执行或使用这些数据和/或指令来执行本公开中描述的示例性方法/系统。在一些实施例中,存储设备130可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或其任意组合。示例性大容量存储设备可以包括磁盘、光盘、固态驱动器等。示例性可移动存储设备可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可以包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、数字通用盘只读存储器等。在一些实施例中,存储设备130可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或其任意组合。
在一些实施例中,存储设备130可以连接到网络150以与成像系统100中的一个或多个其他组件(例如,处理设备120、(多个)终端140等)通信。成像系统100中的一个或多个组件可以经由网络150访问存储在存储设备130中的数据或指令。在一些实施例中,存储设备130可以直接连接到成像系统100中的一个或多个其他组件(例如,处理设备120、(多个)终端140等)或与之通信。在一些实施例中,存储设备130可以是处理设备120的一部分。
(多个)终端140可以包括移动设备140-1、平板计算机140-2、膝上型计算机140-3等,或其任意组合。在一些实施例中,移动设备140-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或其任意组合。在一些实施例中,可穿戴设备可以包括手镯、鞋袜、眼镜、头盔、手表、衣服、背包、智能配件等,或其任意组合。在一些实施例中,移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、平板计算机、台式计算机等,或其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括GoogleGlassTM、OculusRiftTM、HololensTM、GearVRTM等。在一些实施例中,(多个)终端140可以是处理设备120的一部分。
网络150可以包括能够促进成像系统100的信息和/或数据交换的任何合适的网络。在一些实施例中,成像设备110(例如,CT设备、PET设备等)、(多个)终端140、处理设备120、存储设备130等的一个或多个组件可以与成像系统100的一个或多个其他组件经由网络150通信信息和/或数据。例如,处理设备120可以经由网络150从成像设备110获取图像。又例如,处理设备120可以经由网络150从(多个)终端140获取用户指令。网络150可以是和/或包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网网络)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络150可以包括有线网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网络(PSTN)、BluetoothTM网络、ZigBeeTM网络、近场通信(NFC)网络等,或其任意组合。在一些实施例中,网络150可以包括一个或多个网络接入点。例如,网络150可以包括有线和/或无线网络接入点,例如基站和/或互联网交换点,成像系统100的一个或多个组件可以通过它们连接到网络150以交换数据和/或信息。
需要说明的是,以上对成像系统100的描述仅仅是为了说明的目的,而不是为了限制本公开的范围。对于本领域的普通技术人员来说,可以根据本公开的描述,做出各种各样的变化和修改。例如,成像系统100可包括一个或多个附加组件和/或可省略上述成像系统100的一个或多个组件。附加地或备选地,成像系统100的两个或更多个组件可以集成到单个组件中。成像系统100的组件可以在两个或更多个子组件上实现。
图2是根据本公开的一些实施例所示的示例性计算设备200的硬件和/或软件组件的示意图。计算设备200可以用于实现如本文所述的成像系统的任何组件。例如,处理设备120和/或(多个)终端140可以分别通过其硬件、软件程序、固件或其组合实现在计算设备200上。尽管仅示出了一个这样的计算设备,但是为了方便,可以在多个类似平台上以分布式方式实现与本文所述的成像系统100相关的计算机功能,以分配处理负载。如图所示,计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可以执行计算机指令(程序代码)并根据本文描述的技术执行处理设备120的功能。计算机指令可以包括例如例程、程序、对象、组件、信号、数据结构、过程、模块和功能,它们执行本文描述的特定功能。例如,处理器210可以对对象的图像执行图像分割以基于图像、与图像和/或对象相关联的非图像信息、以及图像分割模型确定图像的感兴趣区域(ROI)。又例如,处理器210可以生成图像分割模型。在一些实施例中,处理器210可以执行从(多个)终端140获取的指令。在一些实施例中,处理器210可以包括一个或多个硬件处理器,例如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)、能够执行一个或多个功能的任何电路或处理器等,或其任意组合。
仅为了说明,在计算设备200中仅描述了一个处理器。然而,需要注意的是,本公开中的计算设备200也可以包括多个处理器。因此,如本公开中描述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合地或单独地执行。例如,如果在本公开中计算设备200的处理器同时执行操作A和操作B,则应当理解,操作A和操作B也可以由计算设备200中的两个或多个不同的处理器共同或单独地执行(例如,第一处理器执行操作A并且第二处理器执行操作B,或者第一处理器和第二处理器联合执行操作A和B)。
存储器220可以存储从成像设备110、(多个)终端140、存储设备130或成像系统100的任何其他组件获取的数据/信息。在一些实施例中,存储器220可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或其任意组合。在一些实施例中,存储器220可以存储一个或多个程序和/或指令以执行本公开中描述的示例性方法。例如,存储器220可以存储用于处理设备120对对象的图像进行图像分割的程序。
I/O 230可以输入或输出信号、数据和/或信息。在一些实施例中,I/O 230可以使用户能够与处理设备120交互。在一些实施例中,I/O 230可以包括输入设备和输出设备。示例性输入设备可以包括键盘、鼠标、触摸屏、麦克风等,或其组合。示例性输出设备可以包括显示设备、扬声器、打印机、投影仪等,或其组合。示例性显示设备可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)等,或其组合。
通信端口240可以与网络(例如,网络150)连接以促进数据通信。通信端口240可以在处理设备120和成像设备110、(多个)终端140或存储设备130之间建立连接。该连接可以是能够进行数据传输和接收的有线连接、无线连接,或两者的组合。有线连接可以包括电缆、光缆、电话线等,或其任意组合。无线连接可以包括蓝牙网络、Wi-Fi网络、WiMax网络、WLAN、ZigBee网络、移动网络(例如,3G、4G、5G等)等,或其任意组合。在一些实施例中,通信端口240可以是标准化的通信端口,例如RS232、RS485等。在一些实施例中,通信端口240可以是专门设计的通信端口。例如,通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。
图3是根据本公开的一些实施例所示的示例性移动设备300的硬件和/或软件组件的示意图。在一些实施例中,成像系统100的一个或多个组件(例如,(多个)终端140和/或处理设备120)可以在移动设备300上实现。
如图3所示,移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O 350、存储器360和存储器390。在一些实施例中,任何其他合适的组件,包括但不限于系统总线或控制器(未示出),也可以包括在移动设备300中。在一些实施例中,移动操作系统370(例如,iOS、Android、Windows Phone等)和一个或多个应用程序380可以从存储器390加载到存储器360中以便由CPU 340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序,用于从处理设备120接收和呈现与图像处理相关的信息或其他信息。用户与信息流的交互可以通过I/O 350实现并经由网络150提供给处理设备120和/或成像系统100的其他组件。
为了实现本公开中描述的各种模块、单元和它们的功能,计算机硬件平台可以用作这里描述的一个或多个元件的(多个)硬件平台。这种计算机的硬件元件、操作系统和编程语言本质上是常规的,并且假定本领域的技术人员充分熟悉这些技术以采用这些技术来生成如本文所述的图像。具有用户界面元件的计算机可以用于实现个人计算机(PC)或另一种类型的工作站或终端设备,尽管如果适当编程,计算机也可以充当服务器。相信本领域的技术人员熟悉这种计算机设备的结构、编程和一般操作,因此,附图应该是不言自明的。
图4A和图4B是根据本公开的一些实施例所示的示例性处理设备120A和120B的框图。在一些实施例中,处理设备120A和120B可以是结合图1描述的处理设备120的实施例。在一些实施例中,处理设备120A和120B可以分别在处理单元(例如,图2所示的处理器210或图3所示的CPU 340)上实现。仅作为示例,处理设备120A可以在终端设备的CPU 340上实现,并且处理设备120B可以在计算设备200上实现。或者,处理设备120A和120B可以在相同的计算设备200或相同的CPU 340上实现。例如,处理设备120A和120B可以在同一计算设备200上实现。
如图4A所示,处理设备120A可以包括获取模块410和确定模块420。
获取模块410可以被配置为获取对象的第一图像(例如医学图像)。例如,获取模块410可以通过使用成像设备(例如,成像系统100的成像设备110)扫描对象,获取对象的第一图像。又例如,获取模块410可以对从成像设备110获取的对象的原始图像数据(或基于原始图像数据确定的原始图像)进行处理以获取第一图像。
获取模块410还可以用于获取与第一图像和/或对象相关联的非图像信息。例如,获取模块410可以获取与第一图像和/或成像系统100的用户输入的对象相关联的非图像信息。又例如,与第一图像和/或对象相关联的非图像信息的至少一部分可以预先存储在存储设备(例如,存储设备130、存储器220等)中,并且获取模块410可以从存储设备中调用与第一图像和/或对象相关联的至少一部分非图像信息。在一些实施例中,获取模块410可以从成像设备(例如,成像设备110)获取非图像信息,例如成像参数。在一些实施例中,获取模块410可以从不同的设备获取非图像信息。
确定模块420可以被配置为基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。图像分割模型可以包括至少一个神经网络模型,其被配置为对对象的第一图像执行图像分割操作并且确定第一图像的感兴趣区域(ROI)。在一些实施例中,图像分割模型可以仅包括单个神经网络模型。例如,确定模块420可以将第一图像、非图像信息和图像分割模型输入到单个神经网络模型中,并且单个神经网络模型可以处理第一图像和非图像信息以确定第一图像的ROI。在一些实施例中,图像分割模型可以包括多个依次连接或并联连接的神经网络模型。例如,图像分割模型可以包括两个模型。图像分割模型的第一模型可以被配置为处理非图像信息以获取非图像信息的处理结果。图像分割模型的第二模型可以被配置为基于第一模型对非图像信息的处理结果来分割第一图像。例如,确定模块420可以将与第一图像和/或对象相关联的非图像信息直接输入到第一模型中,并且第一模型可以输出对象的第二图像(或称为辅助图像)。在从第一模型获取第二图像之后,确定模块420可以分割第一图像以基于第二图像和第一图像确定ROI。关于图像分割模型和图像分割模型的生成的更多描述可以参见本说明书其他部分(例如,图5-8及其描述)。
如图4B所示,处理设备120B可以包括获取模块450和模型训练模块460。
获取模块450可用于获取多个训练样本。在一些实施例中,可以预先生成训练样本并将其存储在存储设备(例如,存储设备130、存储器220、存储器390或外部数据库)中。获取模块450可以直接从存储设备中调用训练样本。在一些实施例中,至少一部分训练样本可以由获取模块450生成。仅作为示例,可以对样本对象执行成像扫描以获取样本对象的第一样本图像。获取模块450可以从存储第一样本图像的存储设备中获取样本对象的第一样本图像。附加地或备选地,获取模块450可以确定第一样本图像的目标ROI。可以通过根据图像分割技术对第一样本图像执行来确定第一样本图像的目标ROI。在一些实施例中,训练样本(或其一部分)在用于训练图像分割模型之前可以进行预处理。关于训练样本的获取的更多描述可以在本公开的其他地方找到(例如,图6中的操作610及其描述)。
模型训练模块460可以被配置为通过使用多个训练样本训练初始图像分割模型,生成图像分割模型。在一些实施例中,初始图像分割模型可以仅包括单个模型。例如,模型训练模块460可以初始化初始图像分割模型的(多个)模型参数的(多个)参数值,并根据如本公开其他地方(例如,图5和相关描述)所述的机器学习算法训练初始图像分割模型。在一些实施例中,初始图像分割模型可以包括多个子初始模型。例如,初始图像分割模型可以包括第一初始模型和第一初始模型下游的第二初始模型。第一初始模型可以被配置为将样本非图像信息转化为图像格式(例如,第二样本图像,或称为样本辅助图像)。第二初始模型可以被配置为分割样本对象的第一样本图像。在一些实施例中,在模型训练模块460初始化第一初始模型和第二初始模型的(多个)模型参数的(多个)参数值之后,模型训练模块460可以基于第一初始模型、第二初始模型和多个训练样本同时确定第一模型和第二模型,以生成图像分割模型。可选地,训练模块460可以基于第一初始模型、第二初始模型和多个训练样本依次确定第一模型和第二模型,以生成图像分割模型。关于图像分割模型的生成的更多描述可以在本公开的其他地方找到(例如,图6中的操作620及其描述)。
应当注意的是,以上描述仅出于说明的目的而提供,并不旨在限制本公开的范围。显然,对于本领域的普通技术人员来说,可以在本公开的教示下,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本公开的范围。上述每个模块可以是设计用于执行某些动作的硬件电路,例如,根据存储在一个或以上存储介质中的指令,和/或硬件电路和一个或以上存储介质的任何组合。
在一些实施例中,处理设备120A和/或处理设备120B可以共享两个或多个模块,并且任何一个模块可以分为两个或多个单元。例如,处理设备120A与120B可以共用同一获取模块。即,获取模块410与获取模块450为同一模块。在一些实施例中,处理设备120A和/或处理设备120B可以包括一个或多个附加模块,例如用于存储数据的存储模块(未示出)。在一些实施例中,处理设备120A和处理设备120B可以集成到一个处理设备120中。
图5是根据本公开的一些实施例所示的用于图像分割的示例性过程500的流程图。在一些实施例中,过程500可以作为存储在存储设备(例如,存储设备130、存储设备220和/或存储设备390)中的指令集(例如,应用程序)被实现。处理设备120A(例如,处理器210、CPU340和/或图4A中所示的一个或多个模块)可以执行指令集,并且当执行指令时,处理设备120A可以被配置为执行过程500。以下所示过程的操作仅出于说明的目的。在一些实施例中,可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成过程500。此外,图5中所示和下文所述的过程500的操作顺序并非意在限制。
在510,处理设备120A(例如,获取模块410)可以获取对象的第一图像。
对象可以是生物学的或非生物学的。例如,对象可以包括患者、人造对象等。又例如,对象可以包括如本公开的其他地方所描述的患者的特定部分、器官和/或组织(例如,图1及其描述)。
在一些实施例中,对象的第一图像可以包括对象的表示。例如,对象的第一图像可以是二维(2D)图像、三维(3D)图像、四维(4D)图像(例如,3D图像的时间序列)等,或其组合。第一图像可以包括CT图像、MRI图像、PET图像、SPECT图像、超声图像、X射线图像、MRI-CT图像、PET-MRI图像、SPECT-MRI图像、DSA-MRI图像、PET-CT图像、SPECT-CT图像、XR图像等,或其任意组合。在一些实施例中,可以通过使用成像设备(例如,成像系统100的成像设备110)扫描对象来获取对象的第一图像。例如,成像设备110可以获取对象的第一图像,并将获取的对象的第一图像发送到处理设备120。又例如,对象的第一图像可以预先生成并存储在存储设备(例如,存储设备130、存储设备220等)中,并且处理设备120A可以从存储设备调用对象的第一图像。再例如,对象的第一图像可以由处理设备120A生成。处理设备120可以处理从成像设备110获取的对象的原始图像数据(或基于原始图像数据确定的原始图像)以获取第一图像。例如,处理设备120A可以对原始图像数据进行一个或多个校正操作(例如,随机校正、检测器归一化、散射校正、衰减校正等)以获取对象的第一图像。例如,可以执行检测器归一化以校正检测器灵敏度的变化,从而减少或消除由原始图像数据的变化引起的伪影。又例如,处理设备120A可以对原始图像数据(或基于原始图像数据确定的原始图像)执行图像大小调整、图像重采样和图像归一化,以获取第一图像。
在520,处理设备120A(例如,获取模块410)可以获取与第一图像和/或对象相关联的非图像信息。
与第一图像和/或对象相关联的非图像信息可以指除了用于生成第一图像的图像数据和/或图像信息之外的信息。在一些实施例中,对象可以是生物体,非图像信息可以包括对象的生物信息、第一图像的图像采集信息、与第一图像或对象关联的用户的相关信息等,或其任意组合。在一些实施例中,对象的生物信息可以是对象的任何可能影响第一图像的分割结果的生物特征。示例性的生物信息可以包括性别、年龄、体重、健康状况(例如,疾病、疾病阶段等)、在图像采集时(当对象被扫描以提供第一图像或基于其获取第一图像的原始图像数据时)的生物对象的生命体征(例如,体温、心率、血压等)等,或其任意组合。在一些实施例中,图像采集信息可以是与第一图像(或原始图像数据)的采集有关的任何信息。示例性的图像采集信息可以包括采集第一图像的地点(例如,医院)、采集第一图像(或原始图像)的成像设备的信息(例如,类型、型号、制造商等)图像数据)、成像参数(例如,成像设备采集第一图像(或原始图像数据)时对象的姿态、成像设备与对象的成像角度、成像设备的光源信息、采集第一图像(或原始图像数据)的成像设备的检测器的信息等)等,或其任意组合。在一些实施例中,与第一图像和/或对象相关联的用户可以影响第一图像的分割结果。例如,与第一图像或对象相关联的用户可以包括操作成像设备的操作员和/或技术人员、手动分割第一图像或验证第一图像的分割结果的技术人员、对象的医生或护士等,或其任意组合。不同的用户可以对操作成像设备有不同的偏好或对分割图像有不同的偏好/标准。
在一些实施例中,与第一图像和/或对象相关联的非图像信息可以由成像系统100的用户输入。例如,用户(例如,操作员、医生、技术员等)可以通过输入设备(例如,鼠标、键盘等)输入与第一图像和/或对象相关联的至少一部分非图像信息。在一些实施例中,与第一图像和/或对象相关联的至少一部分非图像信息可以预先存储在存储设备(例如,存储设备130、存储器220等)中,并且处理设备120A可以从存储设备中调用与第一图像和/或扫描对象相关联的至少一部分的非图像信息。例如,在采集第一图像(或原始图像数据)时,可以预先将与第一图像和对象相关联的至少一部分非图像信息存储在存储设备130中,处理设备120A可以从存储设备130调用与第一图像和/或对象相关联的至少一部分非图像信息。在一些实施例中,可以从成像设备(例如,成像设备110)获取诸如成像参数的非图像信息。在一些实施例中,非图像信息可以从不同的设备获取。例如,与图像或对象相关联的用户相关的信息和/或对象的生物信息可以手动输入或从对象的记录(例如,对象的预约信息、对象的医疗记录、对象的过去就诊信息)中调用,并且可以从成像设备110或存储设备130获取图像的图像采集信息。
在530,处理设备120A(例如,确定模块420)可以基于第一图像、非图像信息和图像分割模型确定第一图像的感兴趣区域(ROI)。
第一图像的ROI可以包括对象的ROI的表示。例如,对象的ROI可以包括目标和/或目标附近的危及器官(OAR)。目标可以包括对象的区域,该区域包括至少部分恶性组织(例如,肿瘤、癌症多发的器官、放射治疗的非癌性目标等)。例如,目标可以是需要通过例如辐射治疗的病灶(例如,肿瘤、异常组织块)、具有病灶的器官、具有病灶的组织,或其任意组合。OAR可以包括接近目标且不打算接受治疗的器官和/或组织,但由于其接近目标而有受到治疗损害或影响的风险。在一些实施例中,ROI可以用ROI在第一图像中的特征信息标记。示例性的特征信息可以包括ROI的位置、轮廓、形状、高度、宽度、厚度、面积、高宽比等,或其任意组合。在一些实施例中,可以确定第一图像的多个ROI。不同的ROI可以代表不同的目标。
如本文所用,为了简洁,图像中物体(例如,对象、患者或其一部分)的表示可以被称为“对象”。例如,为了简洁,图像中的器官、组织(例如,心脏、肝脏、肺)或ROI的表示可以被称为器官、组织或ROI。此外,为了简洁,包括对象或其一部分的表示的图像可以被称为对象或其一部分的图像,或包括对象或其一部分的图像。更进一步地,为了简洁,对图像中的对象或其一部分的表示执行的操作可以被称为对对象或其一部分执行的操作。例如,为了简洁,从图像中分割包括ROI的表示的一部分图像可以被称为分割ROI。
在一些实施例中,图像分割模型可以指用于分割第一图像的过程或算法。例如,图像分割模型可以包括至少一个神经网络模型,其被配置为对对象的第一图像执行图像分割操作并确定第一图像的感兴趣区域(ROI)。在一些实施例中,图像分割模型可以仅包括单个神经网络模型。单个神经网络模型可以处理第一图像和非图像信息以确定第一图像的ROI。例如,图像分割模型可以包括卷积神经网络(CNN)模型、递归神经网络(RNN)模型、长短期记忆(LSTM)网络模型、全卷积神经网络(FCN)模型、生成式对抗网络(GAN)模型、径向基函数(RBF)机器学习模型、DeepMask模型、SegNet模型、扩张卷积模型、条件随机场作为递归神经网络(CRFasRNN)模型、金字塔场景解析网络(pspnet)模型等,或其任意组合。
在一些实施例中,图像分割模型可以包括多个依次连接或并联连接的神经网络模型。例如,图像分割模型可以包括两个模型。图像分割模型的第一模型可以被配置为处理非图像信息以获取非图像信息的处理结果。图像分割模型的第二模型可以被配置为基于第一模型对非图像信息的处理结果分割第一图像。
在一些实施例中,第一模型可以被配置为将非图像信息转化为特定格式(例如,图像格式、矢量格式等)。例如,第一模型可以是将非图像信息转化为第二图像(或称为辅助图像)的解码器。对象的第二图像(或称为辅助图像)可以是表示与第一图像和/或对象相关联的非图像信息的图像。例如,处理设备120A可以将与第一图像和/或对象相关联的非图像信息直接输入到第一模型中,并且第一模型可以输出对象的第二图像(或称为辅助图像)。或者,处理设备120A可以预处理与第一图像和/或对象相关联的非图像信息。例如,处理设备120A可以基于非图像信息确定向量,进而通过将该向量输入第一模型以确定第二图像。第一模型的输出可以是第二图像(或称为辅助图像)。
在一些实施例中,该向量可以包括一个或多个特征值,该一个或多个特征值以一定顺序对应于与第一图像和/或对象相关联的非图像信息中的每条信息。在一些实施例中,向量可由公式(1)表示:
а=[x1,x2,…,xM],(1)
其中,а指的是对应于与第一图像和对象相关联的非图像信息的向量;xM为非图像信息中第M条信息的值或特征值,其中,M为正整数。例如,对象是患者,或患者的一部分,与第一图像和/或对象相关联的非图像信息包括患者的性别、患者的年龄、患者的体重、采集第一图像(或第一图像的原始图像数据)的成像设备的类型,和与第一图像和/或患者相关联的用户。对应于与第一图像和/或患者相关联的非图像信息的向量可以表示为а=[x1,x2,x3,x4,x5],其中x1、x2、x3、x4和x5可以分别代表患者的性别、患者的年龄、患者的体重、成像设备的信息和用户的信息。
在一些实施例中,处理设备120A可以根据预定规则确定非图像信息中的每条信息的特征值。在一些实施例中,特征值可以是非图像信息中的一条信息对应的实际值或指定值。例如,患者的年龄可以是实际值(例如,1、5、10、20、30、40、50、60、70等)。或者,可以将不同的年龄划分为不同的年龄组。例如,可以给患者指定特定值作为年龄信息的特征值。例如,对于年龄信息,特征值1代表年龄段为0-9岁,特征值2代表年龄段为10-19岁,特征值3代表年龄段20-29岁,特征值4代表年龄段30-39岁,特征值5代表年龄段40-49岁,特征值6代表年龄段50-59岁,特征值为7代表年龄段为60-69岁等。又例如,可以将表示患者性别的特征值指定为特定值。例如,对于性别信息,女性患者的特征值可以为0,而男性患者的特征值可以为1。再例如,可以给不同的用户或不同的成像设备指定不同的特征值。在一些实施例中,如果一条非图像信息不具有对应的特征值,处理设备120A可以确定该非图像信息的特征值为默认值。例如,如果采集第一图像的地点(例如,医院)是一个新的地点,还没有指定特征值,可以将新地点对应的特征值指定为0(其他之前出现的地点被指定为正整数)。在一些实施例中,默认值可以是预先确定的并且存储在存储设备(例如,存储设备130、存储器220等)中。因此,非图像信息可以被指定为多个特征值以生成非图像信息的向量。
在一些实施例中,第一模型可以是被配置成将非图像数据转化为图像格式的过程或算法。例如,第一模型可以包括卷积神经网络(CNN)模型、深度卷积-反卷积网络(例如,编码器-解码器)、U形卷积神经网络(U-Net)、V形卷积神经网络神经网络(V-Net)、残差网络(Res-Net)、残差密集网络(Red-Net)、深度洞察-特征选择算法等,或其任意组合。
在一些实施例中,在从第一模型获取第二图像之后,处理设备120A可以分割第一图像以基于第二图像和第一图像确定ROI。例如,可以将第一图像和表示与第一图像或对象相关的非图像信息的第二图像输入到第二模型中。第二模型的输出可以是识别出ROI的第一图像。又例如,第二模型的输出可以需要进一步处理以获取第一图像的ROI。例如,处理设备120A可以对第二模型的输出执行一个或多个校正操作(例如,随机校正、检测器归一化、散射校正、衰减校正等)以获取ROI第一图像。
在一些实施例中,第二模型可以是被配置为分割图像以获取图像的ROI的过程或算法。例如,第二模型可以包括卷积神经网络(CNN)模型、生成对抗网络(GAN)模型,或任何其他合适类型的模型。示例性的CNN模型可以包括全卷积网络,例如V-NET模型、U-NET模型等。示例性的GAN模型可以包括pix2pix模型、Wasserstein GAN(WGAN)模型、circle GAN模型等。在一些实施例中,第二模型可以是多通道神经网络。多通道神经网络可以包括多个通道,每个通道对应于一个输入。例如,第二模型可以包括对应于第一图像的至少一个通道和对应于与第一图像有关的非图像信息的至少一个通道。
在一些实施例中,处理设备120A(例如,获取模块410)可以经由网络(例如,网络150)从成像系统100的一个或多个组件(例如,存储设备130、(多个)终端140)或外部源获取图像分割模型(例如,第一模型、第二模型)。例如,图像分割模型可以由计算设备(例如,处理设备120B)预先生成,并且存储在成像系统100的存储设备(例如,存储设备130、存储设备220和/或存储设备390)中。处理设备120A可以访问存储设备并调用图像分割模型。在一些实施例中,图像分割模型可以根据机器学习算法生成。机器学习算法可以包括但不限于人工神经网络算法、深度学习算法、决策树算法、关联规则算法、归纳逻辑编程算法、支持向量机算法、聚类算法、贝叶斯网络算法、强化学习算法、表达学习算法、相似性和度量学习算法、稀疏字典学习算法、遗传算法、基于规则的机器学习算法等,或其任意组合。用于生成图像分割模型的机器学习算法可以是监督学习算法、半监督学习算法和非监督学习算法等。在一些实施例中,可以由计算设备(例如,处理设备120B)通过执行用于生成本申请公开的图像分割模型的过程(例如,过程600)来生成图像分割模型。关于图像分割模型的生成的更多描述可以在本公开的其他地方找到。参见例如图6-8及其相关描述。
在一些实施例中,处理设备120A可以将第一图像的ROI发送到终端(例如,终端140)用于显示。可选地,终端的用户可以经由例如终端的界面输入对第一图像显示的ROI的响应。例如,用户可以评价第一图像的ROI是否满足预设条件(例如,第一图像的ROI的精度满足)。根据评估结果,用户可以向处理设备120A发送请求。例如,该请求可以包括调整成像设备110的成像参数、调整成像期间对象的姿态、重新扫描对象、重复或重做图像分割等,或其任意组合。
需要说明的是,上述关于流程500的描述仅是为了说明的目的,而不是为了限制本公开的范围。对于本领域的普通技术人员来说,可以在本公开的教示下,做出各种各样的变化和修改。然而,这些变化和修改不脱离本公开的范围。在一些实施例中,可以省略过程500的一个或多个操作和/或可以添加一个或多个附加操作。例如,可以在过程500的其他地方添加存储操作。在存储操作中,处理设备120A可以将与成像系统100相关联的信息和/或数据(例如,第一图像、第二图像、图像分割模型、ROI等)存储在本公开其他地方公开的存储设备(例如,存储设备130)中。
图6是根据本公开的一些实施例所示的用于生成图像分割模型的示例性过程600的流程图。在一些实施例中,过程600可以作为存储在存储设备(例如,存储设备130、存储设备220和/或存储设备390)中的指令集(例如,应用程序)被实现。处理设备120B(例如,处理器210、CPU 340和/或图4B中所示的一个或多个模块)可以执行指令集,并且当执行指令时,处理设备120B可以被配置为执行过程600。以下所示过程的操作仅出于说明的目的。在一些实施例中,过程600可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。此外,图6中所示和下文所述的过程600的操作顺序并非意在限制。在一些实施例中,可以根据过程600获取结合图5中的操作530描述的图像分割模型。在一些实施例中,过程600可以由不同于成像系统100的另一设备或系统执行,例如,制造商的供应商的设备或系统。为了便于说明,以处理设备120B执行流程600为例进行说明。
在610,处理设备120B(例如,获取模块450)可以获取多个训练样本。多个训练样本中的每一个可以包括样本对象的第一样本图像、与第一样本图像和/或样本对象相关联的样本非图像信息和第一样本图像的目标ROI。
如本文所使用的,样本对象是指用于训练图像分割模型的对象。样本对象可以是与图5描述的对象相同类型或不同类型的对象。例如,如果图像分割模型用于对患者的第一图像(或其一部分)进行图像分割,样本对象可以是另一患者。样本对象的第一样本图像是指样本对象的第一图像。与第一样本图像和/或样本对象相关联的样本非图像信息是指与第一样本图像和/或样本对象相关联的非图像信息。第一样本图像的目标ROI是指通过使用图像分割技术对样本第一图像执行图像分割或由用户(例如,医生、操作员、技术人员等)手动确定而生成的金标准第一图像。例如,可以根据图像分割技术(例如,基于区域的分割、基于边缘的分割、小波变换分割、数学形态学分割、基于人工神经网络的分割、遗传算法的分割等,或其组合)生成第一样本图像的目标ROI。又例如,第一样本图像的目标ROI可以由熟练的医师标记。再例如,第一样本图像的目标ROI可以先根据图像分割技术生成,然后由熟练的医师进行调整或校正。
在一些实施例中,可以预先生成训练样本并将其存储在存储设备(例如,存储设备130、存储器220、存储器390或外部数据库)中。处理设备120B可以直接从存储设备中调用训练样本。在一些实施例中,至少一部分训练样本可以由处理设备120B生成。仅作为示例,可以对样本对象执行成像扫描以获取样本对象的第一样本图像。处理设备120B可以从存储第一样本图像的存储设备获取样本对象的第一样本图像。附加地或备选地,处理设备120B可以确定第一样本图像的目标ROI。可以通过根据图像分割技术对第一样本图像执行,确定第一样本图像的目标ROI。
在一些实施例中,训练样本(或其一部分)在用于训练图像分割模型之前可以需要被预处理。例如,对于训练样本,处理设备120B可以对第一样本图像执行图像大小调整、图像重采样和图像归一化。又例如,对于训练样本,处理设备120B可以确定与第一样本图像和样本对象相关联的样本非图像信息的样本向量。
在620,处理设备120B(例如,训练模块460)可以通过使用多个训练样本训练初始图像分割模型,生成图像分割模型。
在一些实施例中,初始图像分割模型可以是在被训练之前的初始模型(例如,机器学习模型)。示例性的机器学习模型可以包括卷积神经网络(CNN)模型、递归神经网络(RNN)模型、长短期记忆(LSTM)网络模型、全卷积神经网络模型、生成对抗网络(GAN)模型、径向基函数(RBF)机器学习模型、条件随机场作为递归神经网络(CRFasRNN)模型、金字塔场景解析网络(pspnet)模型等,或其任意组合。
在一些实施例中,初始图像分割模型可以包括多层结构。例如,初始图像分割模型可以包括输入层、输出层以及位于输入层和输出层之间的一个或多个隐藏层。在一些实施例中,隐藏层可以包括一个或多个卷积层、一个或多个整流线性单元层(ReLU层)、一个或多个池化层、一个或多个全连接层等,或其任意组合。如本文所使用的,模型的层是指用于处理该层的输入数据的算法或函数。不同的层可以对其各自的输入执行不同类型的处理。连续层可以使用来自连续层的前一层的输出数据作为输入数据。在一些实施例中,卷积层可以包括多个核,其可以用于提取特征。在一些实施例中,多个内核中的每个内核可以过滤一部分(即,一个区域)。池化层可以将卷积层的输出作为输入。池化层可以包括多个池化节点,其可以用于对卷积层的输出进行采样,以减少数据处理的计算量,加快数据处理速度。在一些实施例中,表示输入数据的矩阵的大小可以在池化层中被减小。全连接层可以包括多个神经元。神经元可以连接到池化层中的池化节点。在全连接层中,可以基于训练样本确定对应于多个池化节点的多个向量,并且可以将多个加权系数指定给多个向量。输出层可以基于从全连接层获取的向量和加权系数确定输出。
在一些实施例中,每一层可以包括一个或多个节点。在一些实施例中,每个节点可以连接到前一层中的一个或多个节点。每层中节点的数量(或数目)可以相同或不同。在一些实施例中,每个节点可以对应于激活函数。如本文所使用的,节点的激活函数可以定义给定输入或一组输入的节点的输出。在一些实施例中,初始图像分割模型中的多个节点中的两个节点之间的每个连接可以将信号从一个节点传输到另一个节点。在一些实施例中,每个连接可以对应于一个权重系数。对应于连接的权重系数可以用于增加或减少信号在连接处的强度或影响。
初始图像分割模型可以包括一个或多个模型参数,例如架构参数、学习参数等。在一些实施例中,初始图像分割模型可以仅包括单个模型。例如,初始图像分割模型可以是CNN模型,并且初始模型的示例性模型参数可以包括层的数量(或数目)、核的数量(或者数目)、内核大小、步长、每个卷积层的填充、损失函数等,或其任意组合。在训练之前,初始图像分割模型的(多个)模型参数可以具有各自的初始值。例如,处理设备120B可以初始化初始图像分割模型的(多个)模型参数的(多个)参数值。
在一些实施例中,可以根据本公开其他地方(例如,图5和相关描述)描述的机器学习算法训练初始图像分割模型。例如,处理设备120B可以根据监督机器学习算法通过执行一次或多次迭代以迭代地更新初始图像分割模型的(多个)模型参数,生成图像分割模型。
在一些实施例中,初始图像分割模型可以包括多个子初始模型。例如,初始图像分割模型可以包括第一初始模型和在第一初始模型下游的第二初始模型。第一初始模型可以被配置为将样本非图像信息转化为图像格式(例如,第二样本图像、样本辅助图像)。在一些实施例中,第一初始模型可以是卷积神经网络(CNN)模型、深度卷积反褶积网络(例如,编码器-解码器)、U形卷积神经元网络(U-Net)、V形卷积神经元网(V-Net)、残差网络(Res-Net)、残差密集网络(Red-Net)、深度洞察-特征选择算法等。第一初始模型可以包括一个或多个模型参数,例如体系结构参数、学习参数等。例如,第一初始模型可以是CNN模型,并且第一初始模型的示例性模型参数可以包括层的数量(或数目)、核的数量(或者数目)、内核大小、步长、每个卷积层的填充、损失函数等,或其任意组合。在训练之前,第一初始模型的(多个)模型参数可以具有各自的初始值。例如,处理设备120B可以初始化第一初始模型的(多个)模型参数的(多个)参数值。
第二初始模型可以被配置为分割样本对象的第一样本图像。在一些实施例中,第二初始模型可以是卷积神经网络(CNN)模型、生成对抗网络(GAN)模型,或任何其他合适类型的模型。示例性的CNN模型可以包括全卷积网络,例如V-NET模型、U-NET模型等。示例性的GAN模型可以包括pix2pix模型、Wasserstein GAN(WGAN)模型等。第二初始模型可以包括一个或多个模型参数,例如体系结构参数、学习参数等。例如,第二初始模型可以是CNN模型,并且初始模型的示例性模型参数可以包括层的数量(或数目)、核的数量(或者数目)、内核大小、步长、每个卷积层的填充、损失函数等,或其任意组合。在训练之前,第二初始模型的(多个)模型参数可以具有各自的初始值。例如,处理设备120B可以初始化第二初始模型的(多个)模型参数的(多个)参数值。
在一些实施例中,处理设备120B(例如,训练模块460)可以基于第一初始模型、第二初始模型和多个训练样本,同时确定第一模型和第二模型,以生成图像分割模型。仅作为示例,处理设备120B可以通过基于训练样本迭代地联合更新第一初始模型和第二初始模型的参数,训练第一初始模型和第二初始模型。在一些实施例中,第一模型和第二模型的生成可以包括一个或多个迭代,其中,迭代中的至少一个迭代可以包括如图7描述的过程700的一个或多个操作。
或者,处理设备120B(例如,训练模块460)可以基于第一初始模型、第二初始模型和多个训练样本,依次确定第一模型和第二模型,以生成图像分割模型。例如,处理设备120B可以通过使用多个训练样本的样本非图像信息和对应于样本非图像的多个目标第二样本图像(或称为目标样本辅助图像)训练第一初始模型,确定第一模型。在一些实施例中,可以根据不同于本文公开的第一模型的图像编码算法,基于对应的样本非图像信息确定多个目标第二样本图像。处理设备120B可以基于第一模型,通过使用多个训练样本中的第一样本图像和第一样本图像的目标ROI训练第二初始模型,确定第二模型。其中,第一样本图像输入到第一模型,第一模型的输出用作第二模型训练的输入的一部分。在一些实施例中,第一初始模型和第二初始模型可以根据如本公开其他地方(例如,图5和相关描述)所描述的机器学习算法训练。例如,处理设备120B可以根据监督机器学习算法,通过执行一次或多次迭代以迭代地更新第一初始模型的(多个)模型参数,生成第一模型。又例如,处理设备120B可以根据监督机器学习算法,通过执行一次或多次迭代以迭代地更新第二初始模型的模型参数,生成第二模型。第二初始模型的训练可以包括一个或多个迭代,其中,(多个)迭代中的至少一个迭代可以包括如图8所描述的过程800的一个或更多个操作。
需要说明的是,以上关于过程600的描述仅仅是为了说明的目的,而不是为了限制本公开的范围。对于本领域的普通技术人员来说,可以根据本公开的描述,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本公开的范围。在一些实施例中,可以添加或省略一个或多个操作。例如,图像分割模型可以存储在本公开其他地方公开的存储设备(例如,存储设备130)中用于进一步使用(例如,如图5描述的第一图像的图像分割模型中)。又例如,在图像分割模型生成之后,处理设备120B可以进一步使用一组测试图像,测试图像分割模型。附加地或替代地,处理设备120B可以基于可用的一个或多个训练图像(例如,新的第一样本图像、与第一样本图像和样本对象相关联的新的样本非图像信息和新的第一样本图像的目标ROI)周期性地或不定期地更新图像分割模型。
图7是根据本公开的一些实施例所示的用于确定图像分割模型的第一模型和第二模型的示例性训练过程的流程图。在一些实施例中,过程700可以作为存储在存储设备130、存储设备220或存储设备390中的指令集(例如,应用程序)被实现。处理设备120B(例如,处理器210、CPU 340和/或图4B中所示的一个或多个模块)可以执行指令集,并且当执行指令时,处理设备120B可以被配置为执行过程700。以下所示过程的操作仅出于说明的目的。在一些实施例中,过程700可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。此外,图7中所示和下文所述的过程700的操作顺序并非意在限制。在一些实施例中,可以执行过程700的一个或多个操作以实现如图6所描述的操作620的至少一部分。例如,可以执行过程700以实现训练初始图像分割模型的当前迭代,在此期间并行训练初始图像分割模型的第一初始模型和第二初始模型。可以基于至少一些训练样本(或称为第一训练样本)执行当前迭代。在一些实施例中,可以在训练初始图像分割模型的不同迭代中使用相同组或不同组的第一训练样本。
在710,对于第一训练样本中的每一个,处理设备120B(例如,训练模块460)可以通过应用在上一迭代中确定的更新后的第一模型和更新后的第二模型,生成预估ROI。
在第一训练样本上应用更新后的第一模型和更新后的第二模型期间,更新后的第一模型可以被配置为接收第一训练样本的样本非图像信息(或样本非图像信息的向量),并且更新后的第二模型可以被配置为接收第一样本图像和更新后的第一模型输出的样本第二图像。预估ROI可以是更新后的第二模型的输出。
在720,处理设备120B(例如,训练模块460)可以基于每个第一训练样本的预估ROI和目标ROI确定更新后的第一模型和更新后的第二模型的评估结果。
评估结果可以指示更新的图像分割模型(包括更新后的第一模型和更新后的第二模型)的准确性和/或效率。在一些实施例中,处理设备120B可以通过评估与更新后的第一模型和更新后的第二模型相关的损失函数,确定评估结果。例如,可以确定整体损失函数的值以测量第一训练样本中的每个样本的预估ROI和目标ROI之间的整体差异。处理设备120B可以基于整体损失函数的值确定评估结果。在一些实施例中,处理设备120B可以通过评估与更新后的第一模型相关的第一损失函数和与更新后的第二模型相关的第二损失函数,确定评估结果。例如,可以确定第一损失函数的值以测量更新后的第一模型输出的预估的第二样本图像与第一训练样本中的每个样本的目标第二样本之间的差异,并且可以确定第二损失函数的值以测量第一训练样本中的每个样本的预估ROI和目标ROI之间的差异。处理设备120B可以根据第一训练样本中的每个样本的算法(例如,第一损失函数和第二损失函数的和、加权和等),确定第一损失函数和第二损失函数的整体值。处理设备120B可以基于整体值确定评估结果。
附加地或替代地,评估结果可以与更新的图像分割模型生成第一训练样本的每个样本的预估ROI所花费的时间量相关联。例如,时间越短,更新的图像分割模型越有效。在一些实施例中,处理设备120B可以基于与上述(多个)损失函数和/或效率相关的值确定评估结果。
在一些实施例中,评估结果可以包括确定在当前迭代中是否满足终止条件。在一些实施例中,终止条件可以与整体损失函数的值和/或第一损失函数和第二损失函数的整体值(或多个值)相关。例如,如果整体损失函数的值最小或小于阈值(例如,常数),则可以认为满足终止条件。又例如,如果整体损失函数的值收敛,则可以认为满足终止条件。在一些实施例中,如果例如在两个或多个连续迭代中整体损失函数的值的变化等于或小于阈值(例如,常数)、已经执行了一定次数的迭代等,则可以认为已经发生了收敛。附加地或备选地,终止条件可以包括更新的图像分割模型生成每个第一训练样本的预估ROI所花费的时间量小于阈值。
在一些实施例中,响应于确定满足终止条件,处理设备120B可以将更新后的第一模型和更新后的第二模型分别指定为第一模型和第二模型,并且相应地生成图像分割模型。响应于确定不满足终止条件,处理设备120B可以进行步骤730。在730中,处理设备120B(例如,训练模块460)或优化器可以基于评估结果更新更新后的第一模型和/或更新后的第二模型的参数值,以用于下一次迭代。
例如,处理设备120B或优化器可以根据例如反向传播算法基于整体损失函数的值,更新更新后的第一模型和更新后的第二模型的(多个)参数值。又例如,对于更新后的第一模型(或更新后的第二模型),处理设备120B可以基于对应的第一损失函数(或对应的第二损失函数)的值,更新模型的(多个)参数值和可选的第一损失函数(或相应的第二损失函数)的(多个)值。在一些实施例中,模型可以包括多个参数值,并且更新模型的(多个)参数值是指更新模型的至少一部分参数值。
图8是根据本公开的一些实施例所示的用于确定图像分割的第一模型和第二模型的示例性过程800的流程图。在一些实施例中,过程800可以作为存储在存储设备(例如,存储设备130、存储器220和/或存储器390)中的指令集(例如,应用程序)被实现。处理设备120B(例如,处理器210、CPU 340和/或图4B中所示的一个或多个模块)可以执行指令集,并且当执行指令时,处理设备120B可以被配置为执行过程800。在一些实施例中,可以执行过程800的一个或多个操作以实现如图6所描述的操作620的至少一部分。例如,可以执行过程800以实现训练初始图像分割模型的当前迭代,在此期间,初始图像分割模块的第一初始模型和第二初始模型被依次训练。
在810,对于多个训练样本中的每一个,处理设备120B(例如,训练模块460)可以通过应用在第二模型的训练之前生成的训练后的第一模型,生成预估的第二样本图像(或称为预估的样本辅助图像)。预估的第二样本图像可以是训练后的第一模型的输出图像。
在一些实施例中,可以通过使用多个训练样本的样本非图像信息和与多个训练样本的样本非图像信息对应的多个目标第二样本图像训练第一初始模型,生成训练后的第一模型。在一些实施例中,可以根据不同于本申请公开的第一模型的图像编码算法,基于对应的样本非图像信息确定多个目标第二样本图像。可以根据如本公开其他地方所述的机器学习算法(例如,图5和相关描述)训练第一初始模型,以提供训练后的第一模型。
在一些实施例中,多个训练样本中的每个样本的样本非图像信息可以被输入到训练后的第一模型中以生成预估的第二样本图像。处理设备120B可以进一步使用训练样本和对应的预估的第二样本图像,训练第二模型。例如,处理设备120B可以在训练第二初始模型之前初始化第二模型的参数值。处理设备120B可以通过基于第一样本图像和对应的预估的第二样本图像迭代地更新第二初始模型的参数值,训练第二模型。在一些实施例中,第二模型的训练可以包括一个或多个第二迭代。为了说明的目的,下文描述包括过程800的操作820-840的当前第二迭代。可以基于至少一些训练样本(或称为第二训练样本)执行当前第二迭代。第二训练样本可以包括与如图7所描述的第一训练样本相同或不同的一个或多个训练样本。在一些实施例中,可以在训练第二模型的不同第二迭代中使用相同组或不同组的第二训练样本。
在820,对于第二训练样本中的每一个,处理设备120B(例如,训练模块460)可以通过将第一样本图像和对应的预估的第二样本图像输入到在上一第二迭代确定的更新后的第二模型中,生成预估ROI。
在830中,处理设备120B(例如,训练模块460)可以基于每个第二训练样本对应的预估ROI和目标ROI确定第二评估结果。
第二评估结果可以指示更新后的第二模型的准确性和/或效率。在一些实施例中,处理设备120B可以通过评估与训练后的第一模型和更新后的第二模型相关的损失函数,确定第二评估结果。例如,可以确定整体损失函数的值以测量第二训练样本中的每个样本的预估ROI和目标ROI之间的整体差异。处理设备120B可以根据整体损失函数的值确定第二评估结果。在一些实施例中,处理设备120B可以通过评估与训练后的第一模型相关的第一损失函数和与更新后的第二模型相关的第二损失函数,确定第二评估结果。例如,可以确定第一损失函数的值以测量训练后的第一模型输出的预估的第二样本图像与第二训练样本中的每个样本的目标第二样本图像之间的差异,并且可以确定第二损失函数的值以测量第二训练样本中的每个样本的预估ROI和目标ROI之间的差异。处理设备120B可以根据第二训练样本中的每个样本的算法(例如,第一损失函数和第二损失函数的总和、加权和等)确定第一损失函数和第二损失函数的整体值。处理设备120B可以基于整体值确定第二评估结果。
附加地或备选地,第二评估结果可以与更新后的第二模型生成多个训练样本中的至少一些样本中的每个样本的预估ROI所花费的第二时间量相关联。例如,第二时间量越短,更新后的第二模型的效率越高。在一些实施例中,处理设备120B可以根据与上述(多个)损失函数和/或效率相关的值确定第二评估结果。第二评估结果可以包括确定在当前第二迭代中是否满足第二终止条件。第二评估结果的确定可以以与如图7描述的评估结果类似的方式执行,在此不再赘述。
在一些实施例中,响应于确定满足第二终止条件,处理设备120B可以将更新后的第二模型指定为第二模型,并且将训练后的第一模型指定为第一模型。响应于确定不满足第二终止条件,处理设备120B可以进行步骤840。在840中,处理设备120B(例如,训练模块460)可以基于第二评估结果更新更新后的第二模型的参数值,以用于下一次迭代。例如,处理设备120B可以根据例如反向传播算法基于第二损失函数的值,更新更新后的第二模型的(多个)参数值。或者,处理设备120B可以重新训练第一初始模型以获取新训练后的第一模型,以用于下一次迭代。
需要说明的是,上述关于流程700和流程800的描述仅是为了说明的目的,而不是为了限制本公开的范围。对于本领域的普通技术人员来说,可以在本公开的教示下,做出各种各样的变化和修改。然而,这些变化和修改并不脱离本公开的范围。上面给出的图示过程的操作旨在是说明性的。在一些实施例中,过程700和/或过程800可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。此外,过程700和/或过程800的操作顺序并非意在限制。例如,在过程800中,处理设备120B可以进一步使用一组测试样本测试训练后的第二模型以确定是否满足测试条件。如果不满足测试条件,则可以再次执行过程800以进一步训练模型。
图9是根据本公开的一些实施例所示的用于训练图像分割模型的示例性训练过程的示意图。
如图9所示,初始图像分割模型包括第一初始模型6和第二初始模型2。多个训练样本用于训练第一初始模型6和第二初始模型2。每个训练样本包括样本对象的第一样本图像1、与第一样本图像和样本对象相关联的样本非图像信息1’和第一样本图像的目标ROI。例如,对于多个训练样本中的每个样本,将与第一样本图像1和样本对象相关联的样本非图像信息1’转化为样本向量5。样本向量5被输入到第一初始模型6中,并且第一初始模型6输出表示样本非图像信息1’的第二样本图像7(或者称为样本辅助图像)。第一样本图像1和第二样本图像7被输入到第二初始模型2中,并且第二初始模型2可以输出第一样本图像2的预估ROI。在训练过程的每次迭代期间,可以确定第一样本图像1的预估ROI和第一样本图像1的目标ROI 4之间的损失函数3。基于损失函数3,处理设备120B可以确定是否满足终止条件。响应于确定满足终止条件,处理设备120B可以将在最后一次迭代中更新的第一初始模型6和第二初始模型2分别指定为图像分割模型的第一模型和第二模型。响应于确定不满足终止条件,处理设备120B可以基于损失函数3更新第一初始模型6和第二初始模型2的至少一些参数值,以在下一次迭代中使用。
图10是根据本公开的一些实施例所示的图像分割模型的应用的示例性过程的示意图。
如图10所示,图像分割模型包括第一模型6和第二模型2。可以基于第一图像8、与第一图像8和/或对象相关联的非图像信息8’、第一模型6和第二模型2确定对象的第一图像8的ROI 9。与第一图像8和对象相关联的非图像信息8’可以转化为向量10。处理设备120A可将向量10输入第一模型6,并且第一模型的输出可以为第二图像11。可以将第一图像8和第二图像11输入第二模型2,并且第二模型2可以输出第一图像8的ROI 9。
上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,而并非是限制性的。虽然此处并未明确说明,但本领域的普通技术人员可能会对作出各种修改、改进和修正。该类修改、改进和修正旨在本公开中被建议,所以该类修改、改进、修正仍属于本公开示范实施例的精神和范围。
此外,已经使用了特定词语来描述本公开的实施例。例如,术语“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性被包括在本公开的至少一个实施例中。因此,要强调并且应理解的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本公开的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域的普通技术人员将会理解,本公开的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改进因此,本公开的方面可以完全硬件、完全软件(包括固件、驻留软件、微代码等)或组合软件和硬件实现,这些在本文中通常被称为“单元”、“模块”或“系统”。此外,本公开的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,该介质具有体现在其上的计算机可读程序代码。
非暂时性计算机可读信号介质可以包括传播的数据信号,其中嵌入计算机可读程序代码,例如,在基带中或作为载波的一部分。这种传播的信号可以采用多种形式中的任何一种,包括电磁、光学等,或其任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、设备或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF等,或任何上述介质的组合。
可以用一种或多种编程语言的任意组合来编写用于执行本公开各方面的操作的计算机程序代码,包括面向对象的编程语言,例如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,传统过程编程语言,例如“C”编程语言、VisualBasic、Fortran、Perl、COBOL、PHP、ABAP,动态编程语言,例如Python、Ruby和Groovy,或其他编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者可以与外部计算机建立连接(例如,通过使用网络服务提供商的网络)或在云计算环境中或作为服务提供,例如,软件服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定所要求保护的流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合所公开的实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
类似地,应该理解的是,在本公开的实施例的前述描述中,各种特征有时在单个实施例、图或其描述中组合在一起,以简化本公开,有助于理解各个发明实施例的一个或以上。然而,本公开的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反,发明的主体应具备比上述单一实施例更少的特征。
在一些实施例中,用于描述和要求本申请的某些实施例的表示量、性质等的数字应理解为在一些情况下被术语“约”、“大约”或“基本上”修饰。例如,除非另有说明,否则“约”、“大约”或“基本上”可能表示其描述的值有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
此处引用的每项专利、专利申请、专利申请的出版物和其他材料,例如文章、书籍、说明书、出版物、文件、事物等,均通过此引用整体并入本文,以供参考所有目的,除了与之相关的任何起诉档案历史、与本文档不一致或冲突的任何相同内容,或可能对现在或以后相关的权利要求的最广泛范围具有限制作用的任何相同内容本文件。举例来说,如果在描述、定义和/或与任何所结合的材料相关联的术语的使用和与本文件相关联的术语之间存在任何不一致或冲突,则描述、定义和/或在本文件中使用的术语以本文件为准。
最后,应当理解的是,本文中公开的本申请的实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (66)
1.一种用于图像分割的系统,包括:
至少一个存储设备,包括指令集;以及
至少一个处理器,被配置为与所述至少一个存储设备通信,其中当执行所述指令集时,所述至少一个处理器被配置为指示所述系统执行操作,包括:
获取对象的第一图像;
获取与所述第一图像或所述对象中的至少一个相关联的非图像信息;以及
基于所述第一图像、所述非图像信息和图像分割模型,确定所述第一图像的感兴趣区域(ROI)。
2.如权利要求1所述的系统,其特征在于,所述图像分割模型包括第一模型,所述第一模型被配置为将所述非图像信息转化为第二图像。
3.如权利要求2所述的系统,其特征在于,所述确定所述第一图像的ROI包括:
基于所述非图像信息确定向量;以及
通过将所述向量输入到所述第一模型,确定所述第二图像。
4.如权利要求3所述的系统,其特征在于,所述图像分割模型进一步包括第二模型,所述第二模型被配置为至少基于所述第二图像分割所述第一图像。
5.如权利要求4所述的系统,其特征在于,所述第二模型包括多通道神经网络。
6.如权利要求1至5中任一项所述的系统,其特征在于,所述非图像信息包括与所述第一图像或所述对象相关联的用户相关的信息、所述对象的生物信息或所述第一图像的图像采集信息中的至少一个。
7.如权利要求1至6中任一项所述的系统,其特征在于,所述图像分割模型通过训练过程获取,所述训练过程包括:
获取多个训练样本,所述多个训练样本中的每个样本包括样本对象的第一样本图像、与所述第一样本图像和所述样本对象相关联的样本非图像信息和所述第一样本图像的目标ROI;以及
通过使用所述多个训练样本训练初始图像分割模型,生成所述图像分割模型。
8.如权利要求7所述的系统,其特征在于,所述初始图像分割模型包括第一初始模型,所述第一初始模型被配置为将样本对象的所述样本非图像信息转化为第二样本图像。
9.如权利要求8所述的系统,其特征在于,所述初始图像分割模型进一步包括第二初始模型,所述第二初始模型被配置为分割样本对象的所述第一样本图像。
10.如权利要求9所述的系统,其特征在于,所述生成所述图像分割模型包括:
通过使用所述多个训练样本的所述样本非图像信息训练所述第一初始模型,确定所述第一模型;以及
基于所述第一模型,通过使用所述第一样本图像和所述多个训练样本的所述第一样本图像的所述目标ROI训练所述第二初始模型,确定所述第二模型。
11.如权利要求9所述的系统,其特征在于,所述生成所述图像分割模型包括:
基于所述第一初始模型、所述第二初始模型和所述多个训练样本,同时确定所述第一模型和所述第二模型。
12.如权利要求10或权利要求11所述的系统,其特征在于,所述生成所述图像分割模型进一步包括:
评估与所述第一模型和所述第二模型相关的损失函数。
13.如权利要求10或权利要求11所述的系统,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第一模型相关的第一损失函数。
14.如权利要求10、11和13中任一项所述的系统,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第二模型相关的第二损失函数。
15.如权利要求1至14中任一项所述的系统,其特征在于,所述图像分割模型是机器学习模型。
16.如权利要求1至15中任一项所述的系统,其特征在于,所述第一图像是医学图像,所述医学图像包括以下项中的至少一个:磁共振(MR)图像、计算机断层扫描(CT)设备图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、超声图像、X射线(XR)图像、计算机断层扫描-磁共振成像(MRI-CT)图像、正电子发射断层扫描-磁共振成像(PET-MRI)图像、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)图像、数字减影血管造影-磁共振成像(DSA-MRI)图像、正电子发射断层扫描-计算机断层扫描(PET-CT)图像或单光子发射计算机断层扫描-计算机断层扫描(SPECT-CT)图像。
17.一种用于图像分割的方法,在包括至少一个处理器和至少一个存储介质的计算设备上实现,包括:
获取对象的第一图像;
获取与所述第一图像或所述对象中的至少一个相关联的非图像信息;以及
基于所述第一图像、所述非图像信息和图像分割模型,确定所述第一图像的感兴趣区域(ROI)。
18.如权利要求17所述的方法,其特征在于,所述图像分割模型包括第一模型,所述第一模型被配置为将所述非图像信息转换为第二图像。
19.如权利要求18所述的方法,其特征在于,所述确定所述第一图像的ROI包括:
基于所述非图像信息确定向量;以及
通过将向量输入到所述第一模型,确定所述第二图像。
20.如权利要求19所述的方法,其特征在于,所述图像分割模型进一步包括第二模型,所述第二模型被配置为至少基于所述第二图像分割所述第一图像。
21.如权利要求20所述的方法,其特征在于,所述第二模型包括多通道神经网络。
22.如权利要求17至21中任一项所述的方法,其特征在于,所述非图像信息包括与所述第一图像或所述对象相关联的用户相关的信息、所述对象的生物信息或所述第一图像的图像采集信息中的至少一个。
23.如权利要求17至22中任一项所述的方法,其特征在于,所述图像分割模型通过训练过程获取,所述训练过程包括:
获取多个训练样本,所述多个训练样本中的每个样本包括样本对象的第一样本图像、与所述第一样本图像和所述样本对象相关联的样本非图像信息和所述第一样本图像的目标ROI;以及
通过使用所述多个训练样本训练初始图像分割模型,生成所述图像分割模型。
24.如权利要求23所述的方法,其特征在于,所述初始图像分割模型包括第一初始模型,所述第一初始模型被配置为将样本对象的所述样本非图像信息转化为第二样本图像。
25.如权利要求24所述的方法,其特征在于,所述初始图像分割模型进一步包括第二初始模型,所述第二初始模型被配置为分割样本对象的所述第一样本图像。
26.如权利要求25所述的方法,其特征在于,所述生成所述图像分割模型包括:
通过使用所述多个训练样本的所述样本非图像信息训练所述第一初始模型,确定所述第一模型;以及
基于所述第一模型,通过使用所述第一样本图像和所述多个训练样本的所述第一样本图像的所述目标ROI训练所述第二初始模型,确定所述第二模型。
27.如权利要求26所述的方法,其特征在于,所述生成图像分割模型包括:
基于所述第一初始模型、所述第二初始模型和所述多个训练样本,同时确定所述第一模型和所述第二模型。
28.如权利要求26或权利要求27所述的方法,其特征在于,所述生成所述图像分割模型进一步包括:
评估与所述第一模型和所述第二模型相关的损失函数。
29.如权利要求26或权利要求27所述的方法,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第一模型相关的第一损失函数。
30.如权利要求26、27和29中任一项所述的方法,其特征在于,
所述生成图像分割模型进一步包括评估与所述第二模型相关的第二损失函数。
31.如权利要求17至30中任一项所述的方法,其特征在于,所述图像分割模型是机器学习模型。
32.如权利要求17至31中任一项所述的方法,其特征在于,所述第一图像是医学图像,包括以下项中的至少一个:磁共振(MR)图像、计算机断层扫描(CT)设备图像、正电子发射断层扫描(PET))图像、单光子发射计算机断层扫描(SPECT)图像、超声图像、X射线(XR)图像、计算机断层扫描-磁共振成像(MRI-CT)图像、正电子发射断层扫描-磁共振成像(PET-MRI)图像、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)图像、数字减影血管造影-磁共振成像(DSA-MRI)图像、正电子发射断层扫描-计算机断层扫描(PET-CT)图像或单光子发射计算机断层扫描-计算机断层扫描(SPECT-CT)图像。
33.一种非暂时性计算机可读介质,包括可执行指令,当由至少一个处理器执行时,所述可执行指令指示所述至少一个处理器执行一种方法,所述方法包括:
获取对象的第一图像;
获取与所述第一图像或对象中的至少一个相关联的非图像信息;以及
基于所述第一图像、所述非图像信息和图像分割模型,确定所述第一图像的感兴趣区域(ROI)。
34.一种用于绘制医学图像感兴趣区域(ROI)轮廓的系统,所述系统包括:
至少一个存储设备,包括指令集;以及
至少一个处理器被配置为与所述至少一个存储设备通信,其中当执行所述指令集时,所述至少一个处理器被配置为指示所述系统执行操作,包括:
获取患者的医学图像;
获取与所述医学图像或所述患者中的至少一个相关联的非图像信息;以及
基于所述医学图像、所述非图像信息和图像分割模型,确定所述医学图像的ROI。
35.如权利要求34所述的系统,其特征在于,所述图像分割模型包括第一模型,所述第一模型被配置为将所述非图像信息转化为辅助图像。
36.如权利要求35所述的系统,其特征在于,所述确定所述医学图像的ROI包括:
基于所述非图像信息确定向量;以及
通过将所述向量输入到所述第一模型,确定所述辅助图像。
37.如权利要求36所述的系统,其特征在于,所述图像分割模型进一步包括第二模型,所述第二模型被配置为至少基于所述辅助图像分割所述医学图像。
38.如权利要求37所述的系统,其特征在于,所述第二模型包括多通道神经网络。
39.如权利要求34至38中任一项所述的系统,其特征在于,所述非图像信息包括与所述医学图像或所述患者相关联的用户的信息、所述患者的生物信息或所述医学图像的图像采集信息中的至少一个。
40.如权利要求34至39中任一项所述的系统,其特征在于,所述图像分割模型通过训练过程获取,所述训练过程包括:
获取多个训练样本,所述多个训练样本中的每个样本包括样本患者的样本医学图像、与所述样本医学图像和所述样本患者相关联的样本非图像信息和所述样本医学图像的目标ROI;以及
通过使用所述多个训练样本训练初始图像分割模型,生成所述图像分割模型。
41.如权利要求40所述的系统,其特征在于,所述初始图像分割模型包括第一初始模型,所述第一初始模型被配置为将样本患者的所述样本非图像信息转化为样本辅助图像。
42.如权利要求41所述的系统,其特征在于,所述初始图像分割模型进一步包括第二初始模型,所述第二初始模型被配置为分割样本患者的所述样本医学图像。
43.如权利要求42所述的系统,其特征在于,所述生成所述图像分割模型包括:
通过使用所述多个训练样本的所述样本非图像信息训练所述第一初始模型,确定所述第一模型;以及
基于所述第一模型,通过使用所述多个训练样本的所述样本医学图像和所述样本医学图像的所述目标ROI训练所述第二初始模型,确定所述第二模型。
44.如权利要求42所述的系统,其特征在于,所述生成图像分割模型包括:
基于所述第一初始模型、所述第二初始模型和所述多个训练样本,同时确定所述第一模型和所述第二模型。
45.如权利要求43或权利要求44所述的系统,其特征在于,所述生成所述图像分割模型进一步包括:
评估与所述第一模型和所述第二模型相关的损失函数。
46.如权利要求43或权利要求44所述的系统,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第一模型相关的第一损失函数。
47.如权利要求43、44和46中任一项所述的系统,其特征在于,
所述生成图像分割模型进一步包括评估与所述第二模型相关的第二损失函数。
48.如权利要求34至47中任一项所述的系统,其特征在于,所述图像分割模型是机器学习模型。
49.如权利要求34至48中任一项所述的系统,其中所述医学图像包括以下项中的至少一个:磁共振(MR)图像、计算机断层扫描(CT)设备图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、超声图像、X射线(XR)图像、计算机断层扫描-磁共振成像(MRI-CT)图像、正电子发射断层扫描-磁共振成像(PET-MRI)图像、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)图像、数字减影血管造影-磁共振成像(DSA-MRI)图像、正电子发射断层扫描-计算机断层扫描(PET-CT)图像或单光子发射计算机断层扫描-计算机断层扫描(SPECT-CT)图像。
50.一种在包括至少一个处理器和至少一个存储介质的计算设备上实现的用于绘制医学图像的感兴趣区域(ROI)轮廓的方法,所述方法包括:
获取患者的医学图像;
获取与所述医学图像或所述患者中的至少一个相关联的非图像信息;以及
基于所述医学图像、所述非图像信息和图像分割模型,确定所述医学图像的ROI。
51.如权利要求50所述的方法,其特征在于,所述图像分割模型包括第一模型,所述第一模型被配置为将所述非图像信息转化为辅助图像。
52.如权利要求51所述的方法,其特征在于,所述确定所述医学图像的ROI包括:
基于所述非图像信息确定向量;以及
通过将所述向量输入到所述第一模型,确定所述辅助图像。
53.如权利要求52所述的方法,其特征在于,所述图像分割模型进一步包括第二模型,所述第二模型配置成至少基于所述辅助图像分割所述医学图像。
54.如权利要求53所述的方法,其特征在于,所述第二模型包括多通道神经网络。
55.如权利要求50至54中任一项所述的方法,其特征在于,所述非图像信息包括与所述医学图像或所述患者相关联的用户的信息、所述患者的生物信息或所述医学图像的图像采集信息中的至少一个。
56.如权利要求50至55中任一项所述的方法,其特征在于,所述图像分割模型通过训练过程获取,所述训练过程包括:
获取多个训练样本,所述多个训练样本中的每个样本包括样本患者的样本医学图像、与所述样本医学图像和所述样本患者相关联的样本非图像信息和所述样本医学图像的目标ROI;以及
通过使用所述多个训练样本训练初始图像分割模型,生成所述图像分割模型。
57.如权利要求56所述的方法,其特征在于,所述初始图像分割模型包括第一初始模型,所述第一初始模型被配置为将样本患者的所述样本非图像信息转换为样本辅助图像。
58.如权利要求57所述的方法,其特征在于,所述初始图像分割模型进一步包括第二初始模型,所述第二初始模型被配置为分割样本患者的所述样本医学图像。
59.如权利要求58所述的方法,其特征在于,所述生成所述图像分割模型包括:
通过使用所述多个训练样本的所述样本非图像信息训练所述第一初始模型,确定所述第一模型;以及
基于所述第一模型,通过使用所述多个训练样本的所述样本医学图像和所述样本医学图像的目标ROI训练所述第二初始模型,确定所述第二模型。
60.如权利要求58所述的方法,其特征在于,所述生成所述图像分割模型包括:
基于所述第一初始模型、所述第二初始模型和所述多个训练样本,同时确定所述第一模型和所述第二模型。
61.如权利要求59或权利要求60所述的方法,其特征在于,所述生成所述图像分割模型进一步包括:
评估与所述第一模型和所述第二模型相关的损失函数。
62.如权利要求59或权利要求60所述的方法,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第一模型相关的第一损失函数。
63.如权利要求59、60和62中任一项所述的方法,其特征在于,
所述生成所述图像分割模型进一步包括评估与所述第二模型相关的第二损失函数。
64.如权利要求50至63中任一项所述的方法,其特征在于,所述图像分割模型是机器学习模型。
65.如权利要求50至64中任一项所述的方法,其特征在于,所述医学图像包括以下项中的至少一个:磁共振(MR)图像、计算机断层扫描(CT)设备图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、超声图像、X射线(XR)图像、计算机断层扫描-磁共振成像(MRI-CT)图像、正电子发射断层扫描-磁共振成像(PET-MRI)图像、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)图像、数字减影血管造影-磁共振成像(DSA-MRI)图像、正电子发射断层扫描-计算机断层扫描(PET-CT)图像或单光子发射计算机断层扫描-计算机断层扫描(SPECT-CT)图像。
66.一种非暂时性计算机可读介质,包括可执行指令,当由至少一个处理器执行时,所述可执行指令指示所述至少一个处理器执行一种方法,所述方法包括:
获取患者的医学图像;
获取与所述医学图像或所述患者中的至少一个相关联的非图像信息;以及
基于所述医学图像、所述非图像信息和图像分割模型,确定所述医学图像的感兴趣区域(ROI)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/080822 WO2022193077A1 (en) | 2021-03-15 | 2021-03-15 | Systems and methods for image segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117015801A true CN117015801A (zh) | 2023-11-07 |
Family
ID=83321767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180095846.6A Pending CN117015801A (zh) | 2021-03-15 | 2021-03-15 | 图像分割的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240005508A1 (zh) |
CN (1) | CN117015801A (zh) |
WO (1) | WO2022193077A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7116440B2 (en) * | 2003-02-28 | 2006-10-03 | Aperio Technologies, Inc. | Image processing and analysis framework |
JP6467813B2 (ja) * | 2014-08-15 | 2019-02-13 | ソニー株式会社 | 画像処理装置、画像処理プログラム及び画像処理方法 |
CN107292889B (zh) * | 2017-06-14 | 2020-09-25 | 上海联影医疗科技有限公司 | 一种肿瘤分割的方法、系统和可读介质 |
CN107516290B (zh) * | 2017-07-14 | 2021-03-19 | 北京奇虎科技有限公司 | 图像转换网络获取方法、装置、计算设备及存储介质 |
EP3474228A1 (en) * | 2017-10-20 | 2019-04-24 | Koninklijke Philips N.V. | Segmenting an image |
US11127157B2 (en) * | 2017-10-24 | 2021-09-21 | Nike, Inc. | Image recognition system |
-
2021
- 2021-03-15 WO PCT/CN2021/080822 patent/WO2022193077A1/en active Application Filing
- 2021-03-15 CN CN202180095846.6A patent/CN117015801A/zh active Pending
-
2023
- 2023-09-15 US US18/468,098 patent/US20240005508A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240005508A1 (en) | 2024-01-04 |
WO2022193077A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11348233B2 (en) | Systems and methods for image processing | |
CN110298897B (zh) | 用于正电子发射断层成像图像重建的系统和方法 | |
CN112424835B (zh) | 用于图像重建的系统和方法 | |
CN108030502B (zh) | 用于空气校正的系统和方法 | |
US11625576B2 (en) | Systems and methods for image style transformation | |
CN112368738B (zh) | 用于图像优化的系统和方法 | |
US11494877B2 (en) | Systems and methods for image reconstruction | |
WO2021068975A1 (en) | Systems and methods for image reconstruction | |
US20230104945A1 (en) | Systems and methods for image processing | |
US11436720B2 (en) | Systems and methods for generating image metric | |
CN111275762B (zh) | 病人定位的系统和方法 | |
US11842465B2 (en) | Systems and methods for motion correction in medical imaging | |
US20230083657A1 (en) | Systems and methods for image evaluation | |
WO2019056309A1 (en) | METHOD AND SYSTEM FOR GENERATING A PHASE CONTRAST IMAGE | |
US11308610B2 (en) | Systems and methods for machine learning based automatic bullseye plot generation | |
US11911201B2 (en) | Systems and methods for determining position of region of interest | |
CN111161371B (zh) | 成像系统和方法 | |
CN111768462A (zh) | 图像生成系统和方法 | |
US20230060613A1 (en) | Blood parameter assessment systems and methods | |
WO2022193077A1 (en) | Systems and methods for image segmentation | |
WO2023123361A1 (en) | Systems and methods for motion correction for a medical image | |
WO2023123352A1 (en) | Systems and methods for motion correction for medical images | |
EP4207061A1 (en) | Systems and methods for feature information determination | |
US20240202995A1 (en) | Systems and methods for reconstructing cardiac images | |
US20210257108A1 (en) | Systems and methods for data synchronization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |