CN111768462A - 图像生成系统和方法 - Google Patents
图像生成系统和方法 Download PDFInfo
- Publication number
- CN111768462A CN111768462A CN202010610049.4A CN202010610049A CN111768462A CN 111768462 A CN111768462 A CN 111768462A CN 202010610049 A CN202010610049 A CN 202010610049A CN 111768462 A CN111768462 A CN 111768462A
- Authority
- CN
- China
- Prior art keywords
- image
- vessel
- machine learning
- learning model
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 111
- 238000003384 imaging method Methods 0.000 claims abstract description 77
- 239000000700 radioactive tracer Substances 0.000 claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims description 202
- 238000012549 training Methods 0.000 claims description 109
- 238000003860 storage Methods 0.000 claims description 83
- 230000008569 process Effects 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 38
- 238000012905 input function Methods 0.000 claims description 35
- 230000036961 partial effect Effects 0.000 claims description 27
- 238000012804 iterative process Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 151
- 238000002600 positron emission tomography Methods 0.000 description 37
- 230000015654 memory Effects 0.000 description 23
- 238000003702 image correction Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 210000001715 carotid artery Anatomy 0.000 description 18
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000002347 injection Methods 0.000 description 14
- 239000007924 injection Substances 0.000 description 14
- 238000001228 spectrum Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 9
- 239000000243 solution Substances 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 206010015866 Extravasation Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000005574 cross-species transmission Effects 0.000 description 2
- 230000036251 extravasation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000012933 kinetic analysis Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像生成系统和方法。所述方法可以包括获取由成像设备获得的第一图像。所述第一图像可以包括基于示踪剂的受试目标的血管的表现。所述方法还可以包括获取血管模型,所述血管模型用于为血管的一个或多个特征提供一个或多个约束。所述方法进一步包括基于所述血管模型和第一图像生成包含所述血管的表现的第二图像。所述第二图像的图像分辨率可以高于所述第一图像的图像分辨率。所述第二图像中所述血管的表现可以满足所述一个或多个约束中的至少一个。
Description
技术领域
本发明涉及正电子发射计算机断层成像(英文简称为PET,英文全称为PositronEmission Computed Tomography)技术领域,特别是涉及图像生成系统和方法。
背景技术
正电子发射计算机断层成像(PET)是一种广泛应用于医学的核医学功能成像技术。例如,PET参数图像可以指示示踪剂动力学的一些生理参数(也称为动力学参数),这有助于评估靶向器官或组织的生理 (功能)和/或解剖(结构)及其生化特性。PET参数图像通常可以基于从图像(例如,动态活动图像)导出的血浆输入函数来重建。由图像导出的血浆输入函数可能受到部分体积效应、正电子距离效应等的影响,这可能降低基于这些图像所确定的血浆输入函数的精度。因此,亟需提供一用于更高精度确定血浆输入函数的图像生成系统和方法。
发明内容
根据本发明的第一方面,提供了一种图像生成系统。该系统可以包括至少一个存储设备,其存储可执行指令;以及至少一个处理器,用于与所述至少一个存储设备通信。当执行所述可执行指令时,所述至少一个处理器可以用于指示所述系统执行以下一个或多个操作。所述系统可以获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现。所述系统可以获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束。所述系统可以基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率可以高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
在一些实施例中,关于所述血管的一个或多个特征的所述一个或多个约束包括第一约束、第二约束、第三约束或第四约束中的至少一个;所述第一约束可包括所述血管的大小超过所述第一图像的图像分辨率;所述第二约束可包括所述血管的横截面包括圆形;所述第三约束可包括所述血管的横截面的边界是连续的;所述第四约束可包括在所述血管中的所述示踪剂的浓度是均匀的。
在一些实施例中,所述第一图像的图像分辨率可以通过点扩散函数(英文简称为PSF,英文全称为point spread function)模型定义。在一些实施例中,基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现的步骤可以进一步包括:至少部分基于所述点扩散函数模型和所述第一图像,生成所述第二图像,其中通过使用所述点扩散函数模型将所述第二图像转换为所述第一图像。
在一些实施例中,至少部分基于所述点扩散函数模型和所述第一图像,生成所述第二图像的步骤可以进一步包括执行迭代过程。所述迭代过程的每次迭代可以包括基于所述点扩散函数模型和所述第一图像确定第三图像,其中所述第三图像的图像分辨率高于所述第一图像的图像分辨率;基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定第二估计图像;以及确定是否满足终止条件;若不满足所述终止条件,则将所述第一图像更新为所述第二估计图像;或者若满足所述终止条件,则将所述第二估计图像作为所述第二图像,并终止所述迭代过程。
在一些实施例中,为了基于所述点扩散函数模型和所述第一图像确定所述第三图像,所述系统可以基于所述点扩散函数模型,对所述第一图像进行反卷积运算,以获得所述第三图像。
在一些实施例中,为了基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定所述第二估计图像,所述系统可以确定像素值阈值。所述系统可以对所述第三图像的一个区域执行平滑操作,以获得所述第二估计图像。所述第三图像的所述区域可以包括连续边界和多个像素,所述像素的像素值超过所述像素值阈值。
在一些实施例中,为了基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定所述第二估计图像,所述系统可以基于压缩感知技术对所述第三图像执行去噪操作,以获得所述第二估计图像。
在一些实施例中,所述终止条件涉及所述迭代过程的迭代次数,所述迭代次数可以是用于比较所述第一图像和第一估计图像之间的差异的成本函数,其中,所述第一估计图像是基于所述第二估计图像和所述成像设备的空间分辨率生成的。
在一些实施例中,为了基于所述血管模型和所述第一图像生成所述第二图像,其中所述第二图像包括所述血管的表现,所述系统可以获取第一训练机器学习模型。所述系统可以通过将所述第一图像输入所述第一训练机器学习模型生成所述第二图像。
在一些实施例中,所述第一训练机器学习模型可以通过训练过程生成,所述训练过程包括采用多组训练样本训练机器学习模型。每组所述训练样本包括与同一血管相关联的特定图像和参考图像,所述参考图像可以具有比所述特定图像更高的空间分辨率,所述特定图像可以作为所述机器学习模型的输入,以及所述参考图像在所述训练过程中可以作为所述机器学习模型的期望输出。
在一些实施例中,所述第一训练机器学习模型的训练过程可以包括初始化所述机器学习模型的参数值;对于每组所述训练样本,通过迭代更新所述机器学习模型的参数值来训练所述机器学习模型。
在一些实施例中,所述系统可以获取与所述血管相关的一个或多个第四图像。所述系统可以通过基于所述第二图像对所述一个或多个第四图像中的每一个图像执行部分体积校正,获取一个或多个校正的第四图像或与所述血管相关联的血浆输入函数。
在一些实施例中,所述一个或多个第四图像通过以下方式获取:在所述示踪剂注入所述受试目标后的一个或多个连续时间段内,通过PET设备扫描包括所述血管的所述受试目标而获取所述一个或多个第四图像。
在一些实施例中,所述一个或多个第四图像包括所述第一图像,并且所述第一图像通过以下方式获取:在预设时间段内,通过所述PET设备扫描包括所述血管的所述受试目标,得到所述第一图像,其中所述预设时间段早于在所述示踪剂注入所述受试目标后的一个或多个连续时间段。
在一些实施例中,为了通过对所述一个或多个第四图像中的每一个图像执行部分体积校正获取一个或多个校正的第四图像或血浆输入函数,所述系统可以获取用于部分体积校正的第二训练机器学习模型。所述系统可以通过将所述第二图像和所述一个或多个第四图像输入到所述第二训练机器学习模型,确定所述一个或多个校正的第四图像或与血管相关联的血浆输入函数。
在一些实施例中,所述获取用于部分体积校正的第二训练机器学习模型的步骤可以进一步包括:获取多组第二训练样本;并且通过在第二训练过程中采用所述多组第二训练样本训练第二机器学习模型,生成所述第二训练机器学习模型。每组所述第二训练样本包括第二特定图像、第二参考图像和特殊图像,其中所述第二参考图像是通过对所述第二特定图像执行部分体积校正而生成的。在所述第二训练过程中,所述第二特定图像和所述特殊图像作为所述第二机器学习模型的输入,所述第二参考图像作为所述第二机器学习模型的期望输出。
在一些实施例中,所述通过采用所述多组第二训练样本训练第二机器学习模型,生成用于部分体积校正的第二训练机器学习模型的步骤可以进一步包括:初始化所述第二机器学习模型的参数值;并且对于每组所述第二训练样本,通过迭代更新所述第二机器学习模型的参数值训练所述第二机器学习模型。
根据本发明的第二方面,提供了一种图像生成方法。该方法可以在至少一个计算设备上实现,每个计算设备可以包括至少一个处理器和至少一个存储设备。所述方法可以包括获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现;获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束;以及基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
根据本发明的第三方面,提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质包括可执行指令。当至少一个处理器访问所述可执行指令时,所述可执行指令可以指示所述至少一个处理器执行方法。所述方法可以包括获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现;获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束;以及基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
本发明的附加特征将在以下的描述中部分阐述,并且本领域技术人员在查阅下述内容和附图,或者通过示例进行实际操作或验证后,可以容易理解附加特征。本发明的特征可以通过实践或使用下面讨论的详细示例中阐述的方法、工具和其组合来实现。
附图说明
本发明还通过多个示例性实施例进一步描述本发明,参考附图详细描述这些示例性实施例。这些实施例是非限制性的示例性实施例,参考附图并不按比例绘制,其中类似的附图标记在附图的多个视图中表示类似的结构,其中:
图1为本发明一些实施例的示例性成像系统的示意图;
图2为本发明一些实施例的用于实现处理设备的计算设备的示例性硬件和/或软件组件的示意图;
图3为本发明一些实施例的移动设备的示例性硬件和/或软件组件的示意图;
图4A为本发明一些实施例的示例性处理设备的框图;
图4B为本发明一些实施例的另一示例性处理设备的框图;
图5为本发明一些实施例的用于确定血浆输入函数的示例性流程的流程图;
图6为本发明一些实施例的基于迭代过程确定第二图像的示例性流程的流程图;
图7为本发明一些实施例的训练机器学习模型的示例性训练流程的流程图;
图8为本发明一些实施例的示踪剂注射后早期获得的示例性PET图像;
图9为本发明一些实施例的与受试目标的颈动脉相关联的PET图像;
图10为本发明一些实施例的基于不同图像校正的图像得到的放射性活度;以及
图11为本发明一些实施例的采用PSF模型重建具有高图像分辨率的图像的示例性流程的简图。
具体实施方式
以下描述是为了使本领域技术人员能够制造和使用本发明,并且是在特定应用及其要求的环境中。对于本领域技术人员来说,对所公开的实施例的各种修改将是显而易见的,并且在不脱离本发明的构思和范围的情况下,本发明定义的一般原则可以应用于其他实施例和应用。因此,本发明不限于所列举的实施例,而是涵盖了与权利要求一致的最宽范围。
本发明中使用的术语仅用于描述特定示例实施例,并不旨在限制本发明。如本发明所用,“一”、“一个”以及“一种”可为单数形式,也可以指复数形式,除非上下文另有明确指示。可以进一步理解,在本发明中所使用的术语“包括”和“包含”,表示所述特征、整数、步骤、操作、元素和/或组件的存在,但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。
通常,这里使用的“模块”、“单元”或“块”词语是指硬件或固件中包含的逻辑组件,或指软件指令的集合。本发明描述的模块、单元或块可以用软件和/或硬件实现,并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中,软件模块/单元/块可以被编译并链接到可执行程序中。应当理解,软件模块可以从其他模块/单元/块或其自身调用,和/或可以响应检测到的事件或中断而调用。用于在计算设备(例如,如图3所示的处理器310)上执行的软件模块/单元/块可以设置在计算机可读介质上,例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质上,或者作为数字下载(并且最初以压缩或可安装的格式存储,在执行之前需要安装、解压缩或解密)。这些软件代码可以部分或全部存储在计算设备的存储设备上,以供计算设备执行。软件指令可以嵌入固件中,例如EPROM(可擦除可编程只读存储器)。进一步可理解,硬件模块/单元/块可以包括所连接的逻辑组件,例如门和触发器,和/或可以包括可编程单元,例如可编程门阵列或处理器。本发明描述的模块/单元/块或计算设备功能可以用软件模块/单元/块实现,但也可以用硬件或固件表示。一般来说,本发明所描述的模块/单元/块是指逻辑模块/单元/块,它们可以与其他模块/单元/块组合,或者尽管它们的物理组织或存储方式不同,但也可以划分为子模块/子单元/子块。其中,该描述可适用于系统、装置或其一部分。
应当理解,本发明中使用的术语“系统”、“装置”、“单元”、“模块”和/或“块”是一种用于按升序区分不同级别的不同组件、元件、部件、部分或其组合的方法。但是,如果另一种表达方式的其他术语也可达到相同的目的,则这些术语可能会被其取代。
可以理解,当一个单元、装置、模块或块被称为“开启”、“连接到”或“耦合到”另一个单元、装置、模块或块时,它可以直接开启、连接到、耦合到或通信到另一个单元、装置、模块或块,也可以是可能存在的中间单元、装置、模块或块,除非上下文另有明确说明。如本发明所使用的,术语“和/或”包括一个或多个相关的所列特征的任意和所有组合。
在考虑本发明的以下描述结合参考附图后,本发明的这些和其他特征,和相关结构元件的操作方法和功能,以及部件和制造成本的组合可以更加清楚明显。然而,应明确理解,附图仅用于说明和描述,并不旨在限制本发明的范围。可以理解,附图是不按比例绘制的。
本发明中使用的流程图说明了本发明一些实施例的系统实现的步骤。应明确理解,所述流程图的步骤可以不按顺序执行。相反,所述步骤可以以相反的顺序实现,或者同时实现。此外,可以在所述流程图中添加一个或多个其他步骤,也可以从所述流程图中删除一个或多个步骤。
本发明提供了用于生成高图像分辨率图像和/或血浆输入函数的系统和方法。所述系统可以包括至少一个存储设备,其存储可执行指令;以及至少一个处理器,用于与所述至少一个存储设备通信。当执行所述可执行指令时,所述至少一个处理器可以用于指示所述系统获取由成像设备获得的第一图像。所述第一图像包括血管的表现。所述至少一个处理器还可以用于指示所述系统获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束。所述至少一个处理器可进一步用于指示所述系统基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现。所述第二图像的图像分辨率可以高于所述第一图像的图像分辨率。如本发明所用的,高图像分辨率和低图像分辨率是在相对意义上使用,其中高图像分辨率图像的图像分辨率高于低图像分辨率图像的图像分辨率。在一些实施例中,所述高图像分辨率主要指边界锐度和量化改进,而不是区分更精细结构的能力。所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。相应地,所述系统可以根据所述血管模型将低分辨率的第一图像转换为高分辨率的第二图像,以使所述血管在所述第二图像中的表现满足所述血管模型提供的一个或多个约束。由于所述血管模型接近所述血管的实际结构和/或功能特性,所述第二图像可以表征所述血管图像的理想质量和/或图像分辨率。因此,具有高图像分辨率的所述第二图像可以包含所述血管的更精确的信息(例如,结构信息),这可以提高基于所述第二图像确定的血浆输入函数的精度。例如,所述第一图像可以是特定的PET图像,所述特定的PET图像是在示踪剂注入血管后在多个连续时间段中获取的多个PET图像中的一个图像。所述系统可以基于所述第二图像对所述多个PET图像(即动态活动图像)执行部分体积校正,以减少部分体积效应,从而获得更高精度的血浆输入函数。相应地,具有更高精度的血浆输入函数可用于确定PET参数图像并用于动力学分析,进而可提供更精确的动力学参数或药物的药代动力学。
图1是本发明一些实施例的示例性成像系统的示意图。在一些实施例中,所述成像系统100可以是单模态系统或多模态系统。举例来说,单模态系统可包括正电子发射断层成像(PET)系统、单光子发射计算机断层扫描成像(SPECT)系统等。举例来说,多模态成像系统可包括磁共振正电子发射断层成像 (MR-PET)系统、PET-CT系统等。在一些实施例中,所述成像系统100可包括用于执行成像和/或相关分析的模块和/或组件。
仅作为示例,如图1所示,所述成像系统100可包括医疗设备110、处理设备120、存储设备130、一个或多个终端140和网络150。所述成像系统100的组件可以通过一种或多种方式连接。仅作为示例,所述医疗设备110可以通过所述网络150连接到所述处理设备120。作为另一示例,医疗设备110可以直接到所述处理设备120。在另一实施例中,所述终端140可通过所述网络150连接到所述成像系统100的另一组件(例如所述处理设备120)。在又一实施例中,所述终端140可直接连接到所述处理设备120,如图 1中的虚线箭头所示。在又一实施例中,所述存储设备130可以直接连接到所述成像系统100的另一组件 (例如所述处理设备120),或者通过所述网络150连接。
所述医疗设备110可用于获取与受试目标的至少一部分相关的图像数据。与所述受试目标的至少一部分相关的图像数据可包括图像(例如,图像片层)、投影数据或其组合。在一些实施例中,所述图像数据可以是二维(2D)图像数据、三维(3D)图像数据、四维(4D)图像数据等,或其任意组合。所述受试目标可能是生物性的或非生物性的。例如,所述受试目标可以包括扫描目标、人造物体等。在另一实施例中,所述受试目标可以包括扫描目标的特定部分、器官和/或组织。例如,所述受试目标可包括头部、颈部、胸部、心脏、胃、血管、软组织、肿瘤、结节等,或其任意组合。在一些实施例中,所述医疗设备110可以包括单模态成像设备。例如,所述医疗设备110可包括正电子发射断层成像(PET)设备、单光子发射计算机断层扫描成像(SPECT)设备、磁共振成像(MRI)设备(也称为MR设备、MR扫描仪)、计算机断层成像(CT)设备等,或其任意组合。在一些实施例中,所述医疗设备110可包括多模态成像设备。举例来说,多模态成像设备可包括PET-CT设备、PET-MRI设备等,或其任意组合。例如,所述医疗设备110 可包括PET设备和MRI设备。所述PET设备可以扫描位于其检测区域内的受试目标或其部分,并生成与所述受试目标或其部分相关的投影数据。
所述处理设备120可以处理从所述医疗设备110、所述终端140和/或所述存储设备130获得的数据和 /或信息。例如,所述处理设备120可以获取由成像设备(例如,所述医疗设备110)获得的第一图像。所述第一图像可包括血管的表现(例如,颈动脉)。所述处理装置120可以获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束。所述处理设备120可基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率可高于所述第一图像的图像分辨率。所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。在另一实施例中,所述处理设备120可基于所述第二图像对一个或多个特定图像执行部分体积校正来校正所述一个或多个特定图像。在一些实施例中,所述处理设备120可获取用于图像重建或转换的第一训练机器学习模型。所述处理设备120可以将第一图像输入到所述第一训练机器学习模型中,以生成所述第二图像,其中所述第二图像的图像分辨率比所述第一图像的图像分辨率高。在一些实施例中,所述处理设备120可获取用于图像校正的第二训练机器学习模型。所述处理设备120可采用所述第二训练机器学习模型对所述特定图像执行部分体积校正。
本发明中采用的训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型)可以基于样本集不时地更新,例如,周期性地或非周期性地更新,其中所述样本集至少部分不同于原始样本集,所述原始样本集用于确定原始训练机器学习模型。例如,可基于包含新样本的样本集更新所述训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型),其中所述新样本不在所述原始样本集中。在一些实施例中,所述训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型)的确定和/或更新可在处理设备上执行,而所述训练机器学习模型的应用可在不同的处理设备上执行。在一些实施例中,所述训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型)的确定和/或更新可在不同于所述成像系统100的系统的处理设备,或服务器上执行,所述服务器不同于包括处理设备120的服务器,所述处理设备120用于执行训练机器学习模型的应用。例如,所述训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型)的确定和/或更新可在供应商的第一系统上执行,其中所述供应商提供和/或维护上述训练机器学习模型,和/或有权限获取训练样本,所述训练样本用于确定和/或更新所述训练机器学习模型,而基于所提供的机器学习模型的图像生成过程可以在所述供应商的客户的第二系统上执行。在一些实施例中,可对图像生成请求进行响应,在线执行所述训练机器学习模型(例如,所述第一训练机器学习模型和/或所述第二训练机器学习模型)的确定和/或更新。在一些实施例中,所述训练机器学习模型的确定和/或更新可离线执行。
在一些实施例中,所述处理设备120可以是计算机、用户控制台、单个服务器或服务器组等。所述服务器组可以是集中式或分布式的。在一些实施例中,所述处理设备120可以是本地的或远程的。例如,所述处理设备120可以经由所述网络150访问所述医疗设备110、所述终端140和/或所述存储设备130存储的信息和/或数据。在另一实施例中,所述处理设备120可以直接连接到所述医疗设备110、所述终端140 和/或所述存储设备130以访问存储的信息和/或数据。在一些实施例中,所述处理设备120可以在云平台上实现。仅作为示例,所述云平台可包括私有云、公共云、混合云、社区云、分布式云、中间云、多云等,或其任意组合。
所述存储设备130可以存储数据、指令和/或任何其他信息。在一些实施例中,所述存储设备130可以存储从所述终端140和/或所述处理设备120获取的数据。所述数据可包括所述处理设备120获取的图像数据、用于处理所述图像数据的算法和/或模型等。例如,所述存储设备130可以存储由所述医疗设备110获取的图像数据(例如,PET图像、PET投影数据等)。在另一实施例中,所述存储设备130可以存储用于处理图像数据的一个或多个算法、用于图像生成的训练机器学习模型等。在一些实施例中,所述存储设备 130可以存储数据和/或指令,所述数据和/或指令可以由所述处理设备120执行,或用于执行本发明中描述的示例性方法/系统。在一些实施例中,所述存储设备130可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或其任意组合。举例来说,大容量存储设备可以包括磁盘、光盘、固态驱动器等。举例来说,可移动存储设备可以包括闪存驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。举例来说,易失性读写存储器可以包括随机存取存储器(RAM)。举例来说,RAM可以包括动态 RAM(DRAM)、双倍数据速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)、零电容RAM(Z-RAM)等。举例来说,ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、数字多功能磁盘ROM等。在一些实施例中,所述存储设备130可以在云平台上实现。仅作为示例,所述云平台可包括私有云、公共云、混合云、社区云、分布式云、中间云、多云等,或其任意组合。
在一些实施例中,所述存储设备130可以连接到所述网络150以与所述成像系统100中的一个或多个其他组件(例如所述处理设备120、所述终端140等)通信。所述成像系统100的一个或多个组件可经由所述网络150访问所述存储设备130中存储的数据或指令。在一些实施例中,所述存储设备130可以直接连接到所述成像系统100的一个或多个组件(例如所述处理设备120、所述终端140等)或与之通信。在一些实施例中,所述存储设备130可以是所述处理设备120的一部分。
所述终端140可以包括移动设备140-1、平板电脑140-2、笔记本电脑140-3等,或其任意组合。在一些实施例中,所述移动设备140-1可以包括智能家庭设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等,或其任意组合。在一些实施例中,所述智能家庭设备可包括智能照明设备、智能电气设备的控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或其任意组合。在一些实施例中,所述可穿戴设备可包括智能手镯、智能鞋具、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能附件等,或其任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等,或其任意组合。在一些实施例中,所述虚拟现实设备和/或增强现实设备可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实贴片、增强现实头盔、增强现实眼镜、增强现实贴片等,或其任意组合。例如,所述虚拟现实设备和/或增强现实设备可以包括谷歌TM眼镜、Oculus Rift头戴显示器、全息透镜、Gear VR头戴显示器等。在一些实施例中,所述终端140可以是所述处理设备120的一部分。
所述网络150可以包括能够促进所述成像系统100的信息和/或数据交换的任何合适网络。在一些实施例中,所述医疗设备110的一个或多个组件(例如MRI设备、PET设备等)、所述终端140、所述处理设备120、所述存储设备130等可经由所述网络150与所述成像系统100的一个或多个其他组件通信信息和/ 或数据。例如,所述处理设备120可经由所述网络150从所述医疗设备110获取数据。在另一实施例中,所述处理设备可经由所述网络150从所述终端140获取用户指令。所述网络150可包括公共网络(例如因特网)、专用网络(例如局域网(LAN)、广域网(WAN)等)、有线网络(例如以太网)、无线网络(例如 802.11网络、Wi-Fi网络等)、蜂窝网络(例如长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,所述网络 150可以包括有线电视网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公用电话交换网络(PSTN)、蓝牙TM网络、ZigBeeTM网络、近场通信(NFC)网络等,或其任意组合。在一些实施例中,所述网络150可包括一个或多个网络接入点。例如,所述网络150可包括有线和/或无线网络接入点,例如基站和/或因特网交换点,通过这些接入点,所述成像系统100的一个或多个组件可以连接到所述网络150以交换数据和/或信息。
应当注意的是,上述对所述成像系统100的描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。例如,所述成像系统100的组装和/或功能可以根据特定的实现方案而变化或改变。
图2是本发明一些实施例的用于实现所述处理设备120的示例性计算设备200的硬件和/或软件组件的示意图。如图2所示,所述计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
所述处理器310可以根据本发明描述的技术来执行计算机指令(例如,程序代码)和执行所述处理设备120的功能。所述计算机指令可包括执行所描述的特定功能的例程、程序、对象、组件、信号、数据结构、过程、模块和功能。例如,所述处理器310可以处理从所述医疗设备110、所述终端140、所述存储设备130和/或所述成像系统100的任何其他组件获取的数据。具体的,所述处理器210可以处理从所述医疗设备110获取的一个或多个测量数据集。例如,所述处理器210可基于所述数据集生成图像。在一些实施例中,生成的图像可以存储在所述存储设备130、所述存储器220等。在一些实施例中,生成的图像可以由输入/输出(I/O)230显示在显示设备上。在一些实施例中,所述处理器210可以执行从所述终端140 获取的指令。在一些实施例中,所述处理器210可包括一个或多个硬件处理器,例如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASICs)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任何电路或处理器等,或其任意组合。
仅为了说明,所述计算设备200中仅描述了一个处理器。然而,应当注意,本发明中的所述计算设备 200还可以包括多个处理器。因此,如本发明所述,由一个处理器执行的操作和/或方法步骤也可以由多个处理器组合或单独执行。例如,如果在本发明中,所述计算设备200的处理器执行操作A和操作B,则可以理解为,操作A和操作B可以由所述计算设备200中的两个以上不同的处理器共同执行,也可以由其分别执行(例如,第一处理器执行操作A,第二处理器执行操作B;或者所述第一处理器和所述第二处理器共同执行操作A和操作B)。
所述存储器220可以存储从所述医疗设备110、所述终端140、所述存储装置130或所述成像系统100 的任何其他组件获得的数据/信息。在一些实施例中,所述存储器220可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。例如,所述大容量存储设备可包括磁盘、光盘、固态驱动器等。所述可移动存储设备可包括闪存驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。所述易失性读写存储器可以包括随机存取存储器(RAM)。所述RAM可以包括动态RAM(DRAM)、双倍数据速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM (Z-RAM)等。所述ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、数字多功能磁盘ROM等。在一些实施例中,所述存储器220可以存储一个或多个程序和/或指令,以执行本发明中描述的示例性方法。例如,所述存储器220可以存储所述处理设备120的程序,所述处理设备120用于为PET图像生成衰减校正数据。
所述输入/输出(I/O)230可输入和/或输出信号、数据、信息等。在一些实施例中,所述输入/输出(I/O) 230可允许用户与所述处理设备120交互。在一些实施例中,所述输入/输出(I/O)230可包括输入设备和输出设备。举例来说,所述输入设备可以包括键盘、鼠标、触摸屏、麦克风等,或其任意组合。举例来说,所述输出设备可以包括显示设备、扬声器、打印机、投影仪等,或其任意组合。举例来说,所述显示设备可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)等,或其任意组合。
所述通信端口240可以与网络(例如所述网络150)连接,以便于数据通信。所述通信端口240可以在所述处理设备120与所述医疗设备110、所述终端140或所述存储设备130之间建立连接。所述连接可以是有线连接、无线连接,或者两者的结合,以实现数据传输和接收。所述有线连接可以包括电缆、光缆、电话线等,或其任意组合。所述无线连接可以包括蓝牙、Wi-Fi、WiMax、WLAN、ZigBee、移动网络(例如3G、4G、5G等)等,或其任意组合。在一些实施例中,所述通信端口240可以包括标准化通信端口,例如RS232、RS485等。在一些实施例中,所述通信端口240可以是专门设计的通信端口,例如,所述通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。
图3是本发明一些实施例的示例性移动设备300的硬件和/或软件组件的示意图。如图3所示,所述移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、 I/O 350、内存360和存储器390。在一些实施例中,所述移动设备300还可以包括但不限于系统总线或控制器(图中未示出)的任何其他合适组件。在一些实施例中,移动操作系统370(例如iOS、Android、Windows Phone等)和一个或多个应用程序380可以从所述存储器390加载到所述内存360中,以便由所述CPU 340 执行。所述应用程序380可以包括浏览器或任何其他合适的移动应用,其用于从所述处理设备120接收和呈现与图像处理或其他信息相关的信息。信息流的用户交互可以通过I/O 350实现,并且经由所述网络150 提供给所述处理设备120和/或所述成像系统100的其他组件。
为了实现本发明中描述的各种模块、单元及其功能,可以将计算机硬件平台用作此处描述的一个或多个元件的硬件平台。此类计算机的硬件元件、操作系统和编程语言在本质上是常规的,并且是本领域技术人员所熟知的,适应于生成如本发明所述的图像。具有用户界面元素的计算机可用于实现个人计算机(PC) 或其他类型的工作站或终端设备,经过适当编程,计算机也可充当服务器。本领域技术人员熟知该计算机设备的结构、编程和一般操作,因此,附图应当是浅显易懂的。
图4A是本发明一些实施例的示例性处理设备的框图。在一些实施例中,所述处理设备120可以在图 2所示的计算设备200(例如,所述处理器210)或图3所示的CPU 340上实现。如图4A所示,所述处理设备120可包括获取模块410、图像生成模块420、图像校正模块430和存储模块440。上述每一个模块可以是硬件电路,其被设计用于执行特定动作,例如,存储在一个或多个存储介质中的一组指令,和/或所述硬件电路和所述一个或多个存储介质的任何组合。
所述获取模块410可用于获取用于图像校正的数据和/或信息。例如,所述获取模块410可以获取由成像设备获得的第一图像。所述第一图像可以包括基于示踪剂的受试目标的血管的表现。在另一实施例中,所述获取模块410可以获取与血管相关联的一个或多个第四图像。所述一个或多个第四图像和所述第一图像可以由所述成像装置通过扫描包括血管在内的所述受试目标而生成。所述第一图像可以比所述一个或多个第四图像的一部分更早获取,在所述示踪剂注入所述受试目标后的一个或多个连续时间段内,通过成像设备扫描包括所述血管的所述受试目标,得到所述一个或多个第四图像,即,获取所述第一图像的时间段可以早于获取所述一个或多个第四图像的多个连续时间段的一部分。作为另一实施例,所述获取模块410 可以获取血管模型。所述血管模型可用于为血管的一个或多个特征提供一个或多个约束。例如,所述一个或多个约束可包括第一约束,所述第一约束包括所述血管的大小超过所述成像设备的空间分辨率或所述第一图像的图像分辨率。在另一实施例中,所述一个或多个约束可包括第二约束,所述第二约束包括所述血管的横截面包括圆形,可近似为圆形。在又一实施例中,所述一个或多个约束可包括第三约束,所述第三约束包括所述血管的横截面的边界是连续的,即所述血管的横截面是封闭的。在另一实施例中,所述一个或多个约束可包括第四约束,所述第四约束包括在所述血管中的所述示踪剂的浓度是均匀的。在一些实施例中,所述获取模块410可以获取一个或多个模型。例如,所述获取模块410可以获取用于图像重建的第一训练机器学习模型和用于图像校正的第二训练机器学习模型。
所述图像生成模块420可用于基于所述血管模型、所述第一图像和所述第一图像的分辨率模型(例如,点扩散函数)生成所述第二图像。所述第二图像可以包括血管的表现。所述第二图像的图像分辨率(或第二图像分辨率)可以高于所述第一图像的图像分辨率(或第一图像分辨率)。所述第二图像中血管的表现可以满足一个或多个约束中的至少一个。
在一些实施例中,所述图像生成模块420可以通过执行迭代过程,基于与所述成像设备相关联的分辨率模型确定所述第二图像。例如,对于所述迭代过程的每次迭代,所述图像生成模块420可以基于所述成像设备的分辨率模型确定第三图像,其中所述第三图像的图像分辨率高于所述第一图像的第一图像分辨率,而所述第一图像满足所述第一约束。所述图像生成模块420可以基于所述第三图像和所述第二约束、所述第三约束、所述第四约束、或所述第五约束中的至少一个确定第二估计图像,以使所述第二估计图像满足所述第二约束、所述第三约束、所述第四约束或者所述第五个约束中的至少一个。所述图像生成模块420 可以确定是否满足终止条件(例如,所述迭代过程的迭代次数)。在不满足所述终止条件时,所述图像生成模块420可以将所述第一图像更新为所述第二估计图像。更新的第一图像(即,在当前迭代中生成的所述第二估计图像)可由所述图像生成模块420在下一迭代中处理,直到满足所述终止条件为止。在满足所述终止条件时,所述图像生成模块420可以将所述第二估计图像作为所述第二图像。在一些实施例中,所述图像生成模块420可以采用用于图像重建的第一训练机器学习模型确定所述第二图像。例如,所述图像生成模块420可以将所述第一图像输入到所述第一训练机器学习模型中。所述第一训练机器学习模型可以生成和输出所述第二图像。
所述图像校正模块430可用于对所述一个或多个第四图像中的每一个图像执行部分体积校正,以获得一个或多个校正的第四图像或血浆输入函数。在一些实施例中,所述图像校正模块430可以采用用于图像校正的第二训练机器学习模型获取所述一个或多个校正的第四图像或血浆输入函数。例如,所述图像校正模块430可以将所述一个或多个第四图像中的每一个图像和所述第二图像输入到所述第二训练机器学习模型中。对于每次输入,可以将所述一个或多个第四图像中的一个图像和所述第二图像输入到所述第二训练机器学习模型中。所述第二训练机器学习模型可以基于第二映射关系处理所述一个或多个第四图像中的每一个图像以及处理所述第二图像,并输出所述一个或多个校正的第四图像。在另一实施例中,可以将所述一个或多个第四图像排列为图像序列。所述图像校正模块430可以将所述图像序列和所述第二图像输入到所述第二训练机器学习模型中。所述第二训练机器学习模型可以基于所述第二映射关系处理所述一个或多个第四图像中的每一个图像以及处理所述第二图像,并输出校正后的图像序列或所述血浆输入函数。
在一些实施例中,所述图像校正模块430可基于所述一个或多个校正的第四图像确定与所述血管相关联的血浆输入函数,其中所述一个或多个校正的第四图像是采用所述第二训练机器学习模型生成的。所述图像校正模块430可基于所述一个或多个校正的第四图像确定不同时间段内在所述血管中的所述示踪剂的浓度的多个校正值。所述示踪剂的浓度的多个校正值中的每一个校正值可以基于所述一个或多个第四图像中的一个图像确定。所述图像校正模块430可以采用基于与所述校正的第四图像相对应的多个浓度校正值和时间点的拟合技术确定所述血浆输入函数。
所述存储模块440可用于存储与所述成像系统100相关联的数据和/或指令。例如,在一些实施例中,所述存储模块440可以存储由所述成像设备获取的所述第一图像、所述血管模型、基于所述血管模型和所述第一图像生成的所述第二图像、所述第一训练机器学习模型、所述第二训练机器学习模型等数据,所述存储模块440在配置上可以与所述存储设备130和/或所述存储模块470相同。
应当注意的是,上述描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。显然,对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。例如,所述图像生成模块420和所述图像校正模块430可以集成到单个模块中。在另一实施例中,可以将一些其它组件/模块添加到所述处理设备120中。
图4B是本发明一些实施例的示例性处理设备的框图。在一些实施例中,所述处理设备120可以在图 2所示的计算设备200(例如,所述处理器210)或图3所示的CPU 340上实现。如图4B所示,所述处理设备120可包括获取模块450、模型确定模块460和存储模块470。上述每一个模块可以是硬件电路,其被设计用于执行特定动作,例如,存储在一个或多个存储介质中的一组指令,和/或所述硬件电路和所述一个或多个存储介质的任何组合。
所述获取模块450可用于获取多组训练样本。每组所述训练样本可对应于包括血管(如所述颈动脉) 的受试目标。在训练机器学习模型的过程中,每组所述训练样本可包括所述机器学习模型的一个或多个输入图像和所述机器学习模型的期望输出。例如,如果训练所述机器学习模型以获得第一训练机器学习模型,则可以将每组第一训练样本的第一特定图像作为所述机器学习模型的输入,并将与所述第一特定图像相对应的第一参考图像作为所述机器学习模型的期望输出。在另一实施例中,如果训练所述机器学习模型以获得第二训练机器学习模型,则可以将每组第二训练样本的第二特定图像和特殊图像作为所述机器学习模型的输入图像,并将与所述第二特定图像相对应的第二参考图像作为所述机器学习模型的期望输出。
所述模型确定模块460可用于在训练过程中采用所述多组训练样本训练机器学习模型生成训练机器学习模型。在一些实施例中,所述模型确定模块460可基于卷积神经网络(英文简称为CNN,英文全称为 Convolutional Neural Networks)模型、递归神经网络(英文简称为RNN,英文全称为Recurrent Neural Network) 模型、长短期记忆(英文简称为LSTM,英文全称为Long Short-Term Memory)网络模型、完全卷积神经网络(英文简称为FCN,英文全称为Fully Convolutional Networks)模型、生成对抗网络(英文简称为GAN,英文全称为Generative Adversarial Networks)模型、反向传播(英文简称为BP,英文全称为Back propagation) 机器学习模型、径向基函数(英文简称为RBF,英文全称为Radialbasis function)机器学习模型、深度信任网(英文简称为DBN,英文全称为Deep beliefnets)机器学习模型、Elman机器学习模型等,或其任何组合构建所述训练机器学习模型。所述模型确定模块460可使用训练算法基于所述多组训练样本训练所述机器学习模型。在一些实施例中,所述模型确定模块460可以执行多次迭代以迭代更新所述机器学习模型的一个或多个参数值,从而获得所述训练机器学习模型。在所述多次迭代之前,所述模型确定模块460可以初始化所述机器学习模型的参数值。
所述存储模块470可用于存储与所述成像系统100相关联的数据和/或指令。例如,所述存储模块440 可以存储多组训练样本(例如,所述第一训练样本和所述第二训练样本)、一个或多个机器学习模型、所述训练机器学习模型等数据。在一些实施例中,所述存储模块470在配置上可以与所述存储设备130和/ 或所述存储模块440相同。
应当注意的是,上述描述仅仅是为了解释说明本发明,并非旨在限制本发明的范围。显然,对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。例如,所述获取模块450和所述存储模块470可以集成到单个模块中。在另一实施例中,可以将一些其它组件/模块添加到所述处理设备120中。
图5是本发明一些实施例的用于确定血浆输入函数的示例性流程的流程图。在一些实施例中,流程500 可以通过存储在所述存储设备130、所述存储器220或所述存储器390中的一组指令(例如,应用程序) 实现。所述处理设备120、所述处理器210和/或所述CPU340可以执行所述一组指令,并且在执行所述指令时,所述处理设备120、所述处理器210和/或所述CPU 340可用于执行流程500。以下所示的所述示例流程的步骤旨在说明。在一些实施例中,可以使用未描述的一个或多个附加步骤,和/或不使用所讨论的一个或多个步骤完成所述流程500。另外,图5所示和以下所描述的流程500的步骤的顺序不作限制。
在步骤520中,所述处理设备120(例如,所述获取模块410)可以获取血管模型。所述血管模型可用于为血管的一个或多个特征提供一个或多个约束。
在一些实施例中,所述一个或多个约束可包括第一约束,所述第一约束包括所述血管的大小超过所述成像设备的空间分辨率或所述第一图像的图像分辨率。超过特定成像设备的空间分辨率或图像的图像分辨率的特定血管的大小,可以代表所述特定成像设备可以识别所述特定血管,即在由所述特定成像设备获取的图像中代表所述特定血管的像素的计数可以超过1。在一些实施例中,所述一个或多个约束可包括第二约束,所述第二约束包括所述血管的横截面包括圆形,可近似为圆形。在一些实施例中,所述一个或多个约束可包括第三约束,所述第三约束包括所述血管的横截面的边界是连续的,即所述血管的横截面是封闭的。在一些实施例中,所述一个或多个约束可包括第四约束,所述第四约束包括在所述血管中的所述示踪剂的浓度是均匀的。如本发明所用的,“所述示踪剂在所述血管中的均匀浓度”可表示在特定时间点,所述示踪剂在所述血管不同区域的最大浓度和最小浓度的偏差不超过阈值,例如所述最大浓度和所述最小浓度其中之一的10%、5%、2%、1%、或0.5%。在一些实施例中,所述血管模型可进一步包括第五约束,所述第五约束包括所述血管的壁厚度接近0的假设。也就是说,所述血管的壁厚度可以忽略不计。在一些实施例中,所述一个或多个约束可包括第六约束,所述第六约束包括所述血管的大小在一定范围内,例如 5.5毫米-7.7毫米、4.5毫米-5.5毫米、或5毫米-6毫米等。
在一些实施例中,在处理或重建具有低图像分辨率的特定图像(例如,第一图像)以提高所述特定图像的图像分辨率之后,所述特定图像的图像分辨率也可以被提高,但是重建的特定图像中所述血管的表现可能偏离实际血管,即,在处理过的特定图像中所述血管的表现的特征的至少一部分可能不同于所述血管的实际特征。例如,在重建的特定图像中所述血管的横截面的形状可以是三角形。在另一实施例中,在重建的特定图像中所述血管的横截面的边界可以是不连续的。然而,如果在重建图像中所述血管的表现满足所述一个或多个约束(例如,所述第二约束和所述第三约束)中的至少一个,则在特定的重建图像中所述血管(例如,在步骤530中的所述第二图像)可被视为更接近于所述实际血管,或与所述实际血管相同。换言之,相比于血管的表现不满足所述一个或多个约束中的至少一个的所述特定图像以及重建图像表现的,可将血管的表现满足所述一个或多个约束(例如,所述第二约束和所述第三约束)中的至少一个的重建图像(例如,在步骤530中的所述第二图像)视为更接近于所述血管的理想或期望图像(也称为真实图像)。可将血管的表现满足所述一个或多个约束中的至少一个的重建图像称为所述受试目标的血管的正确图像。所述血管模型可用于提高图像与所述血管的真实表现相似或相同的概率。如本发明所用的,一个图像“接近另一图像”、“类似另一图像”或“与另一图像相同”可以表示两个图像之间的相似程度超过阈值,例如 99%、90%、80%等。
在步骤530中,所述处理设备120(例如,所述图像生成模块420)可基于所述血管模型和所述第一图像生成第二图像。所述第二图像可包括所述血管的表现。所述第二图像的图像分辨率(或第二图像分辨率)可高于所述第一图像的第一图像分辨率。所述第二图像中所述血管的边界可能比所述第一图像中所述血管的边界更尖锐。在一些实施例中,所述第二图像中的多个第二像素的计数(或数量)可以大于所述第一图像中的多个第一像素的计数(或数量)。如本发明所用的,所述第一图像也可以被称为所述血管的低图像分辨率图像。所述第二图像也可以称为所述血管的高图像分辨率图像。所述第二图像中所述血管的表现可满足所述一个或多个约束中的至少一个。
在一些实施例中,所述处理设备120可以基于与所述成像设备相关联的分辨率模型通过执行迭代过程确定所述第二图像。可以采用所述分辨率模型将所述第二图像转换为所述第一图像。例如,可以通过对所述第二图像执行卷积操作获得所述第一图像。具体地,对于所述迭代过程的每次迭代,所述处理设备120 可基于所述成像设备的分辨率模型确定第三图像,其中所述第三图像的图像分辨率高于所述第一图像(或预处理的第一图像)的第一图像分辨率,而所述第一图像满足所述第一约束。所述处理设备120可基于所述第三图像和所述第二约束、所述第三约束、所述第四约束、或所述第五约束中的至少一个确定第二估计图像,以使所述第二估计图像满足所述第二约束、所述第三约束、所述第四约束或者所述第五个约束中的至少一个。所述处理设备120可以确定是否满足终止条件(例如,所述迭代过程的迭代次数)。在不满足所述终止条件时,所述处理设备120可以将所述第一图像更新为所述第二估计图像。更新的第一图像(即,在当前迭代中生成的所述第二估计图像)可由所述处理设备在下一迭代中处理,直到满足所述终止条件为止。在满足所述终止条件时,所述处理设备120可以将所述第二估计图像作为所述第二图像。可在图6及其描述中找到基于所述迭代过程确定所述第二图像的更多描述。
在一些实施例中,所述处理设备120可以采用训练机器学习模型(也称为第一训练机器学习模型)确定所述第二图像。例如,所述处理设备120可以将所述第一图像输入到训练机器学习模型中。所述第一训练机器学习模型可以生成和输出所述第二图像。在一些实施例中,所述处理设备120可以从所述存储设备 130、所述终端140或任何其他存储设备中搜索所述第一训练机器学习模型。例如,所述第一训练机器学习模型可通过采用所述处理设备120或所述处理设备120以外的处理设备,对机器学习模型进行离线训练来确定。所述第一训练机器学习模型可以存储在所述存储设备130、所述终端140或任何其他存储设备中。所述处理设备120可对接收到的图像重建请求进行响应,从所述存储设备130、所述终端140或任何其它存储设备搜索所述第一训练机器学习模型。
所述第一训练机器学习模型可用于将低图像分辨率图像(例如,所述第一图像)转换成高图像分辨率图像(例如,所述第二图像)。在一些实施例中,所述训练机器学习模型可用于提供所述低图像分辨率图像(例如,所述第一图像)和所述高图像分辨率图像(例如,所述第二图像)之间的第一映射关系。所述训练机器学习模型可用于根据所述第一映射关系生成所述高图像分辨率图像(例如,所述第二图像)。在采用多组第一训练样本对所述第一训练学习模型的第一训练过程中,可以生成所述低图像分辨率图像(例如,所述第一图像)和所述高图像分辨率图像(例如,所述第二图像)之间的第一映射关系,或所述第一训练机器学习模型。每组所述第一训练样本可包括血管的低图像分辨率图像(也称为第一特定图像)和高图像分辨率图像(也称为第一参考图像)。所述低分辨率图像可以根据所述血管模型和所述高分辨率图像确定。关于所述多组第一训练样本的更多描述可在图7中找到。所述第一训练机器学习模型的第一训练过程可以根据流程700执行。
在一些实施例中,所述处理设备120可以采用预处理操作来预处理所述第一图像。所述第一图像经过预处理后可以称为预处理后的第一图像。举例来说,预处理操作可包括采用高斯滤波器、中值滤波器、平均滤波器、拉普拉斯滤波器、各向异性滤波器、非局部平均滤波器、余弦滤波器等,或其任意组合的去噪操作。所述处理设备120可基于所述预处理后的第一图像确定所述第二图像。
在步骤540中,所述处理设备120(例如,所述图像生成模块420)可以获取与所述血管相关联的一个或多个第四图像。所述一个或多个第四图像和所述第一图像可以由所述成像设备通过在同一扫描过程中扫描所述受试目标生成。例如,如步骤510所示,在所述示踪剂注入所述受试目标后的多个连续时间段内,通过扫描包括血管在内的所述受试目标,可以从所述成像设备所获取的多个图像中确定所述一个或多个第四图像。在一些实施例中,所述一个或多个第四图像可包括所述第一图像。所述第一图像可以比所述一个或多个第四图像的一部分更早获取,即,获取所述第一图像的时间段可以早于获取所述一个或多个第四图像的多个连续时间段的一部分。例如,所述第一图像可以在所述示踪剂注入后的1分钟-2分钟的早期阶段中获取,并且所述一个或多个第四图像的所有图像可以在所述示踪剂注入后的1分钟-2分钟的早期阶段之后的时段内获取,例如所述示踪剂注入后的2分钟-3分钟、3分钟-5分钟、5分钟-7分钟、7分钟-15分钟、 15分钟-35分钟、35分钟-60分钟等。在另一实施例中,所述第一图像可以在所述示踪剂注入后的1分钟-2分钟的时间段内获取,并且所述一个或多个第四图像中的一个图像可以在所述示踪剂注入后的0.5分钟 -1分钟的时间段内获得,剩余的第四图像可以在所述示踪剂注射后的1分钟-2分钟的早期阶段之后的时间段内获得,如所述示踪剂注入后的2分钟-3分钟、3分钟-5分钟、5分钟-7分钟、7分钟-15分钟、15分钟 -35分钟、35分钟-60分钟等。
在步骤550中,所述处理设备120(例如,所述图像生成模块420)可以对所述一个或多个第四图像中的每一个图像执行部分体积校正,以获得一个或多个校正的第四图像或血浆输入函数。所述一个或多个校正后的第四图像中的每一个图像可包括多个第四像素或体素,每个第四像素或体素可以表示所述受试目标的一部分中的示踪剂的浓度(例如,SUV)。
在一些实施例中,所述处理设备120可采用用于图像校正的第二训练机器学习模型,基于所述第二图像对所述一个或多个第四图像中的每一个图像执行部分体积校正。所述第二训练机器学习模型可提供第四图像、所述第二图像和校正的第四图像之间的第二映射关系。所述处理设备120可以基于所述第二映射关系获取所述一个或多个校正的第四图像,或基于所述一个或多个校正的第四图像获取所述血浆输入函数。例如,所述处理设备120可以将所述一个或多个第四图像的每一个图像和所述第二图像中输入到所述第二训练机器学习模型中。对于每次输入,可以将所述一个或多个第四图像中的一个图像和所述第二图像输入到所述第二训练机器学习模型中。所述第二训练机器学习模型可基于所述第二映射关系处理所述一个或多个第四图像的每一个图像以及处理第二图像,并且输出所述一个或多个校正的第四图像。在另一实施例中,可以将所述一个或多个第四图像排列为图像序列。所述处理设备120可以将所述图像序列和所述第二图像输入到所述第二训练机器学习模型中。所述第二训练机器学习模型可基于所述第二映射关系处理所述一个或多个第四图像的每一个图像以及处理所述第二图像,并且输出校正的图像序列或血浆输入函数。在一些实施例中,所述处理设备120可以从所述存储设备130、所述终端140或任何其他存储设备搜索所述第二训练机器学习模型。例如,所述第二训练机器学习模型可以通过采用所述处理设备120或除所述处理设备 120以外的处理设备,对机器学习模型进行离线训练确定。所述第二训练机器学习模型可以存储在所述存储设备130、所述终端140或任何其他存储设备中。所述处理设备120可对接收到的图像校正请求进行响应,从所述存储设备130、所述终端140或任何其它存储设备搜索所述第二训练机器学习模型。在所述第二训练机器学习模型的第二训练过程中,可以基于多组第二训练样本生成所述第二机器学习模型。所述第二训练机器学习模型的第二训练过程可以根据流程700执行。关于多组第二训练样本的更多描述可以在图 7中找到。所述第一训练机器学习模型和所述第二训练机器学习模型可以基于相同类型或不同类型的机器学习构建。
在一些实施例中,所述处理设备120(例如,所述图像校正模块430)可基于采用所述第二训练机器学习模型生成的一个或多个校正的第四图像,确定与所述血管相关联的血浆输入函数(也称为图像导出输入函数,英文简称为IDIF,英文全称为image-derivedinput function)。所述血浆输入函数也可称为血浆时间-活性曲线(TAC)。与所述血管相关联的血浆输入函数可描述所述血浆中所述示踪剂的放射性浓度(即放射性活度或浓度)随时间的变化。为了生成所述血浆输入函数,所述处理装置120可以基于所述一个或多个校正的第四图像确定不同时间段内在所述血管中所述示踪剂浓度的多个校正值。所述示踪剂浓度的多个校正值中的每一个校正值可基于所述一个或多个第四图像中的一个图像确定。例如,所述处理设备120 可通过在校正的第四图像中表示所述血管的像素的平均像素值确定所述血管中浓度的校正值。在另一实施例中,所述处理设备120可基于在校正的第四图像中表示所述血管中心的像素的像素值确定所述血管中浓度的校正值。为了生成所述血浆输入函数,所述处理设备120还可以确定与所述一个或多个第四图像中的每一个图像相对应的时间点。例如,所述处理设备120可以定义与第四图像相对应的时间段中的开始时间点、结束时间点或中间时间点作为所述时间点。所述处理设备120可采用基于与所述校正的第四图像相对应的多个浓度校正值和时间点的拟合技术确定所述血浆输入函数。举例来说,所述拟合技术可包括使用线性回归模型、梯度增强决策树(英文简称为GBDT,英文全称为GradientBoostingDecisionTree)模型、支持向量机(英文简称为SVM,英文全称为SupportVector Machine)模型、朴素贝叶斯模型、极端梯度增强(英文简称为XGBOOST,英文全称为eXtreme Gradient Boosting)模型、因果模型等,或其任何组合。
在一些实施例中,所述处理设备120可基于所述一个或多个第四图像、所述第二图像和用于部分体积校正的一个或多个校正系数,确定所述血浆输入函数。可基于所述第二图像的至少部分确定用于部分体积校正的一个或多个校正系数。在一些实施例中,所述处理设备120可基于如下等式(1)确定对应于所述一个或多个第四图像中的每一个图像的所述血管中所述示踪剂浓度的校正值:
M=αA+βB (1)
上式中,M表示由所述一个或多个第四图像中的每一个图像导出的所述示踪剂在所述血管中的浓度值 (也称为检测值);A表示在所述血管中所述示踪剂浓度的相应校正值(也称为实际值);B表示在所述血管的周围组织(或区域)中所述示踪剂浓度的实际值;α和β分别表示校正系数,包括溢出系数和渗入系数。如本发明所用的,所述溢出系数与溢出效应相关,所述溢出效应描述所述血管中所述示踪剂浓度对所述周围组织或区域中所述示踪剂浓度的影响。所述渗入系数与所述渗入效应相关,所述渗入效应描述所述周围组织中所述示踪剂浓度对所述血管中所述示踪剂浓度的影响。所述溢出系数α和渗入系数β可根据所述第二图像和与所述成像设备相关联的PSF模型确定,如等式(2)和(3)所示:
α=∑iI(i)*J(i)/∑iI(i) (2)
上式中,I表示所述第二图像;J表示图像分辨率低于第二图像的估计图像;i表示所述第二图像和/ 或所述估计图像中的像素的索引。所述第二图像I可以是二值图像。表示所述第二图像I中所述血管的像素的像素值可以设置为1,表示所述第二图像I的剩余部分的像素的像素值可以设置为0。可基于与所述成像设备相关联的PSF模型对所述第二图像执行卷积操作,获得所述估计图像J。在一些实施例中,所述估计图像可以是所述第一图像。在所述血管的周围组织(或区域)中所述示踪剂浓度的实际值B可以与在所述血管的周围组织(或区域)中所述示踪剂浓度的检测值相似或相同。在所述血管的周围组织(或区域) 中所述示踪剂浓度的检测值可基于所述一个或多个第四图像中的每一个图像确定,并将在所述血管的周围组织(或区域)中所述示踪剂浓度的检测值定义为所述浓度B的实际值。所述处理设备120可基于所述一个或多个第四图像中的每一个图像确定在所述血管中所述示踪剂浓度的检测值M。然后,根据等式(1),所述处理装置120可以基于所述检测值M、所述实际值B以及所述校正系数α和β确定在所述血管中所述示踪剂浓度的实际值A。所述处理设备120可基于所述一个或多个第四图像中的每一个图像的所述血管中所述示踪剂浓度的实际值A确定所述血浆输入函数。
应当注意的是,上述描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。在一些实施例中,可以省略一个或多个步骤和/或添加一个或多个附加步骤。例如,步骤510和步骤520可以组合成单个步骤。在另一实施例中,可在流程500的其他位置添加一个或多个其它可选步骤(例如,存储步骤)。在所述存储步骤中,所述处理设备120可将与所述成像系统100相关联的信息和/或数据(例如,所述第一图像、所述第二图像、所述血管模型、所述训练机器学习模型等)存储在本发明其他内容公开的存储设备(例如,所述存储设备130)中。
图6是本发明一些实施例的基于迭代过程确定第二图像的示例性流程的流程图。在一些实施例中,流程600可以通过存储在所述存储设备130、所述存储器220或所述存储器390中的一组指令(例如,应用程序)实现。所述处理设备120、所述处理器210和/或所述CPU340可以执行所述一组指令,并且在执行所述指令时,所述处理设备120、所述处理器210和/或所述CPU 340可用于执行流程600。以下所示的所述示例流程的步骤旨在说明。在一些实施例中,可以使用未描述的一个或多个附加步骤,和/或不使用所讨论的一个或多个步骤完成所述流程600。另外,图6所示和以下所描述的流程600的步骤的顺序不作限制。在一些实施例中,根据所述流程600可以获取如图5中步骤530描述的所述第二图像。
在步骤610中,所述处理设备120(例如,所述获取模块410)可以获取由所述成像设备获得的第一图像。所述成像设备可包括PET设备、SPECT设备、PET-CT设备等,如本发明其他部分所述(例如,图 1和图5及其说明)。所述第一图像可包括采用多个第一像素或体素的受试目标的表现,其中所述受试目标包括血管。仅作为示例,所述血管可包括具有多个特征的颈动脉,例如大小(即所述血管的横截面大小)、所述横截面的形状、所述横截面的边界等等,更多关于所述血管和/或所述第一图像的描述可在图5及其描述中找到。
在步骤620中,所述处理设备120(例如,所述图像生成模块420)可基于所述第一图像和第一约束确定第三图像。所述第三图像可包括所述血管的表现。所述第三图像的图像分辨率(或第三图像分辨率) 可以高于所述第一图像的图像分辨率(或第一图像分辨率)。所述第一约束可包括所述血管的大小超过所述第一图像的图像分辨率。所述第三图像中所述血管的表现可以满足所述第一约束,从而可基于所述第一图像确定所述第三图像。换言之,当所述血管的大小超过所述第一图像的第一图像分辨率时,所述血管的大小可以超过所述第三图像的图像分辨率。可以对所述第一图像进行处理,以获得所述第三图像,所述第三图像的图像分辨率高于所述第一图像的图像分辨率。
所述第一图像的第一图像分辨率可以由分辨率模型定义,例如PSF。在一些实施例中,所述处理设备 120可基于与所述成像设备的空间分辨率相关联的分辨率模型(例如PSF),对所述第一图像进行反卷积运算,以获得所述第三图像。在一些实施例中,可以执行所述反卷积操作,以确定基于所述PSF和所述第一图像构造的卷积方程的解。所述第三图像可以是采用Weiner滤波器、约束最小二乘(英文简称为CLS,英文全称为constrained leastsquare)滤波器、总变差(英文简称为TV,英文全称为total variation)、双边总变差(英文简称为BTV,英文全称为bilateral total variation)等确定的所述卷积方程的解。在一些实施例中,由于具有低图像分辨率(即所述第一图像分辨率)的第一图像可能丢失与所述血管相关的一些信息,基于所述PSF和所述第一图像构建的卷积方程的解(即,所述第三图像)可能不唯一,并且第三图像可能不是卷积方程的真实解。并且所述第三图像可包括噪声、伪影(例如Gibbs伪影)等。可以执行迭代流程 600,以使基于所述PSF构造的所述卷积方程的解接近(例如,接近或等同于)真实解。更多关于所述伪影的描述可以在本发明的其它地方找到。
在一些实施例中,在对所述第一图像进行反卷积运算之前,所述处理设备120可以采用预处理操作对所述第一图像进行预处理。在一些实施例中,所述预处理操作可包括使用高斯滤波器、中值滤波器、平均滤波器、拉普拉斯滤波器、各向异性滤波器、非局部平均滤波器、余弦滤波器等,或其任意组合。
在步骤630中,所述处理设备120(例如,所述图像生成模块420)可以基于第二约束、第三约束、第四约束或第五约束中的至少一个和所述第三图像确定第二估计图像。所述第二约束可包括所述血管的横截面包括圆形,可近似为圆形。所述第三约束可包括所述血管的横截面的边界是连续的。所述第四约束可包括在所述血管中的所述示踪剂的浓度是均匀的。所述第五约束可包括所述血管的壁厚度接近0的假设。也就是说,所述血管的壁厚度可以忽略不计。在一些实施例中,所述第一约束、所述第二约束、所述第三约束、所述第四约束和所述第五约束可以存储为血管模型。所述第二估计图像中所述血管的表现可以满足所述第二约束、所述第三约束、所述第四约束或所述第五约束中的至少一个。如本发明所用的,在满足约束的图像中所述血管的表现可表示所述图像中所述血管的特征可以接近所述约束所定义的血管的特征(例如,与约束所定义的血管的特性相同或相似)。例如,在满足所述第二约束的第二估计图像中所述血管的表现可表示在所述第二估计图像中所述血管的形状是近似圆形的。在另一实施例中,在满足所述第三约束的第二估计图像中所述血管的表现可表示在所述第二估计图像中所述血管的边界基本上是连续的。在又一实施例中,在满足所述第四约束和所述第五约束的第二估计图像中所述血管的表现可表示在所述第二估计图像中代表所述血管的像素的像素值与在所述血管中所述示踪剂的浓度基本相同,即所述示踪剂的浓度被认为是均匀的,并且所述血管的壁厚度忽略不计。
在一些实施例中,所述处理设备120可通过对所述第三图像的特定区域执行平滑操作确定所述第二估计图像。在执行所述平滑操作之前,所述处理设备120可以确定所述第三图像中的特定区域。所述特定区域可包括血管的表现。所述特定区域可包括连续边界。所述特定区域可包括像素值超过像素值阈值的多个第三像素和像素值小于所述像素值阈值的多个第三像素,例如,像素值等于0。所述处理设备120可以对所述特定区域中像素值超过所述像素值阈值的多个像素执行平滑操作。所述像素值阈值可以由用户设置,或者根据所述成像系统100的默认设置,或者可以在不同情况下调整。在一些实施例中,所述像素值阈值可以等于所述特定区域的第三像素中最大像素值的一半。在一些实施例中,所述第三图像中的特定区域可包括与所述血管的边缘区域相关联的第一部分和与所述血管的中心区域相关联的第二部分。所述第三图像中的所述第一部分可能会模糊。所述平滑操作可导致在所述第二估计图像中表示所述血管的边缘区域的第三像素的像素值接近或等于表示所述血管的中心区域的像素的像素值,这会导致在所述第二估计图像中所述血管满足所述第一约束、所述第二约束、所述第三约束、所述第四约束或所述第五约束中的至少一个。在一些实施例中,所述平滑操作可包括中值平滑、高斯平滑、平均平滑、归一化平滑、双边滤波平滑等,或其任意组合。
在一些实施例中,所述处理设备120可以通过基于压缩感知技术对所述第三图像执行去噪操作确定所述第二估计图像。通过采用所述压缩感知技术执行所述去噪操作,以此确定满足所述第二约束、所述第三约束、所述第四约束或所述第五约束中的至少一个的所述第二估计图像。采用所述压缩感知技术,可以对所述第三图像执行稀疏变换(例如,离散余弦变换、小波变换等),以获得稀疏表现图像。所述稀疏表现图像的噪声比所述第三图像少。可采用优化算法(例如k-SVD算法、稀疏性自适应匹配追踪(英文简称为SAMP,英文全称为:sparsity adaptive matching pursuit)算法、偏微分方程(例如总变分算法)等)从稀疏表现图像中恢复所述第二估计图像。在一些实施例中,在所述第三图像中所述血管可包括与所述血管的边缘区域相关联的第一部分和与所述血管的中心区域相关联的第二部分。所述第三图像中的第一部分可包括像素值为非零的多个第三像素,这会导致所述第三图像中的第一部分模糊。由于在所述血管的真实图像或期望图像中所述血管表现满足所述第二约束、所述第三约束、所述第四约束或所述第五约束中的至少一个,因此所述第三图像可稀疏表示,以减少或去除所述第三图像中的噪声。而所述第二估计图像可从变换域(例如,频域、小波域等)中的所述第三图像的稀疏表现图像中恢复,其可导致所述第二估计图像的第一部分和第二部分中的第三像素的像素值基本上等于或接近于0。
在步骤640中,所述处理设备120(例如,所述图像生成模块420)可以确定是否满足终止条件。在满足所述终止条件时,所述处理设备120可以继续执行步骤660。在不满足所述终止条件时,所述处理设备120可以继续执行步骤650。在步骤650中,所述处理设备120可使用所述第二估计图像更新所述第一图像。所述更新的第一图像(即,在当前迭代中生成的第二估计图像)可由所述处理设备120在下一次迭代中处理。所述处理设备120可以重复执行步骤620和640,直到满足所述终止条件为止。
在一些实施例中,所述终止条件可涉及成本函数。所述成本函数可用于比较和/或评估所述第一图像和对应于所述第二估计图像的所述第一估计图像之间的差异。所述第一估计图像可具有比所述第二估计图像更低的图像分辨率。可基于所述第二估计图像和所述成像设备的空间分辨率生成所述第一估计图像。可通过基于与所述成像设备相关联的分辨率模型(例如PSF)对所述第二估计图像执行卷积操作确定所述第一估计图像。所述终止条件可包括所述成本函数的值小于阈值。在一些实施例中,满足终止条件,即所述成本函数的值小于阈值。若所述成本函数的值在当前迭代中超过所述阈值,则所述处理设备120可以继续执行步骤650,以使用在当前迭代中生成的所述第二估计图像更新所述第一图像。在一些实施例中,若所述成本函数的值最小或小于阈值(例如常数),则所述终止条件满足。在一些实施例中,若所述成本函数的值收敛,则所述终止条件满足。若在两个或多个连续迭代中所述成本函数的值的变化小于阈值(例如常数),则可认为已收敛。在一些实施例中,所述终止条件可涉及所述迭代过程的迭代次数等。例如,当在迭代过程中执行指定次数(或计数)的迭代时,可满足终止条件。
在步骤650中,所述处理设备120(例如,所述图像生成模块420)可以将所述第二估计图像作为第二图像。所述第二图像的图像分辨率可高于所述第一图像的第一图像分辨率。所述第二图像中所述血管的特征(例如,结构信息)可以比所述第一图像中所述血管的特征更接近于真实的血管的特征(即,在期望的或真实的血管图像中的所述血管的特征)。所述第二图像的更多描述可以在图5及其描述中找到。
应当注意的是,上述描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。例如,步骤620和步骤630可以组合到单个步骤中。在另一实施例中,可以在流程600的其他位置添加一个或多个其他可选步骤(例如,存储步骤)。在所述存储步骤中,所述处理设备120可将与所述成像系统100 相关联的信息和/或数据(例如,所述第三图像、所述第四图像、所述参考图像等)存储在本发明其他内容公开的存储设备(例如,所述存储设备130)中。
图7是本发明一些实施例的训练机器学习模型的示例性训练流程的流程图。在一些实施例中,流程700 可以通过存储在所述存储设备130、所述存储器220或所述存储器390中的一组指令(例如,应用程序) 实现。所述处理设备120、所述处理器210和/或所述CPU340可以执行所述一组指令,并且在执行所述指令时,所述处理设备120、所述处理器210和/或所述CPU 340可用于执行流程700。以下所示的所述示例流程的步骤旨在说明。在一些实施例中,可以使用未描述的一个或多个附加步骤,和/或不使用所讨论的一个或多个步骤完成所述流程700。另外,图7所示和以下所描述的流程700的步骤的顺序不作限制。在一些实施例中,可根据所述流程700分别结合图5中的步骤530和步骤550所描述的内容执行所述第一训练机器学习模型的第一训练过程和/或所述第二训练机器学习模型的第二训练过程。
所述训练机器学习模型可通过对机器学习模型进行训练生成。在一些实施例中,待训练的机器学习模型可包括卷积神经网络(英文简称为CNN,英文全称为convolutionalneural network)模型、递归神经网络 (英文简称为RNN,英文全称为recurrent neuralnetwork)模型、长期短期记忆(英文简称为LSTM,英文全称为long short term memory)网络模型、完全卷积神经网络(英文简称为FCN,英文全称为fully convolutional neuralnetwork)模型、生成性对抗网络(英文简称为GAN,英文全称为generative adversarialnetwork)模型、反向传播(英文简称为BP,英文全称为back propagation)机器学习模型,径向基函数(英文简称为RBF,英文全称为radial basis function)机器学习模型、深度信任网(英文简称为DBN,英文全称为deep belief nets)机器学习模型、Elman机器学习模型等,或其任意组合。所述机器学习模型可包括多个参数,例如架构参数、学习参数等。举例来说,所述机器学习模型的架构参数可包括层的内核大小、层的总计数(或数量)、每层中的节点计数(或数量)、学习速率、批处理大小,时期等。举例来说,所述学习参数可包括两个连接节点之间的连接权重、与节点相关的偏置向量等。在所述训练之前,所述机器学习模型可有一个或多个初始参数值。在所述机器学习模型的训练过程中,可以更新所述机器学习模型的学习参数。所述机器学习模型的学习参数的更新也可称为所述机器学习模型的更新。在一些实施例中,所述机器学习模型的训练过程可以是包括一次或多次迭代过程的迭代。为了便于说明,在以下的描述中描述所述迭代过程的当前迭代。所述当前迭代可包括所述流程700的一个或多个步骤。
在步骤702中,所述处理设备120(例如,所述获取模块450)可以获取多组训练样本。每组训练样本可对应于包括血管(如颈动脉)的受试目标。在一些实施例中,对应于多组训练样本中的一个或多个训练样本的所述受试目标可以是如本发明其他部分所述的受试目标(例如,图1和图5及其描述)。每组所述训练样本可包括所述机器学习模型的一个或多个输入图像和所述机器学习模型在训练过程中的期望输出。所述机器学习模型的期望输出也可以称为训练标签。
在一些实施例中,若对所述机器学习模型进行训练,以获得步骤530中描述的用于图像重建的第一训练机器学习模型,则多组训练样本也可被称为图5中描述的多组第一训练样本。每组第一训练样本可包括血管的第一特定图像(也称为低图像分辨率图像)和对应于所述第一特定图像的第一参考图像(也称为高图像分辨率图像)。所述第一参考图像的图像分辨率可高于所述第一特定图像的图像分辨率。在训练过程中,每组第一训练样本中的第一特定图像可以作为所述机器学习模型的输入图像,并且所述第一参考图像可以作为所述机器学习模型的期望输出,即所述训练标签。基于所述血管模型可生成或模拟所述第一参考图像(例如,图6中描述的所述第二图像)。基于所述血管模型生成或模拟的所述第一参考图像可以满足所述第一约束、所述第二约束、所述第三约束、所述第四约束和所述第五约束中的至少一个。在一些实施例中,如图6所述,根据所述流程600,基于所述血管模型处理所述第一特定图像生成所述第一参考图像。如图5所示,所述第一特定图像的获取可以类似于在步骤540中描述的所述第一图像的获取,或与在步骤540中描述的所述第一图像的获取相同。例如,所述第一成像设备(例如PET设备)可以在注射示踪剂后的早期阶段通过扫描第一受试目标获得第一特定图像,其中所述第一受试目标包括血管。通过对流程600 的所述第一特定图像执行迭代处理生成所述第一参考图像。在一些实施例中,可采用模拟技术(例如,蒙特卡罗技术),基于所述血管模型模拟确定所述第一参考图像。在所述第一参考图像中的所述血管可满足所述第一约束、所述第二约束、所述第三约束和所述第四约束中的至少一个。基于与成像设备的空间分辨率相关联的分辨率模型(例如PSF)对所述参考图像执行卷积操作,以生成所述第一特定图像。所述成像装置的空间分辨率可以与所述血管模型的第一约束所定义的空间分辨率相同。
在一些实施例中,若对所述机器学习模型进行训练,以获得步骤550中描述的用于图像校正的第二训练机器学习模型,则多组训练样本也可被称为图5中描述的多组第二训练样本。在一些实施例中,每组第二训练样本可包括第二特定图像(也称为低图像分辨率图像)、对应于所述第二特定图像的第二参考图像 (也称为校正的第二特定图像)和特殊图像(也称为高图像分辨率图像)。所述第二参考图像的图像分辨率和所述特殊图像的图像分辨率可高于所述第二特定图像的图像分辨率。在训练过程中,每组第二训练样本中的所述第二特定图像和所述特殊图像可作为所述机器学习模型的输入图像,而所述第二参考图像可以作为所述机器学习模型的期望输出,即所述训练标签。如图5所示,所述第二特定图像的获取可以与步骤 540中描述的所述一个或多个第四图像的获取相似或相同。例如,第二成像设备(例如PET设备)可以在注射示踪剂之后的一段时间内扫描第二受试目标获得第二特定图像,其中所述第二受试目标包括血管。所述特殊图像的生成可以类似于如图5所示的步骤530所描述的所述第二图像的生成,或如图5所示的步骤 530所描述的所述第二图像的生成相同,或者根据如图6所描述的流程600生成所述特殊图像。例如,基于与第二成像设备相关联的血管模型处理原始图像,以生成所述特殊图像。所述原始图像的获取可以与如图5所示在步骤510中描述的所述第一图像的获取相似或相同。此外,可通过采用所述第一训练机器学习模型或根据如图6所述的迭代流程600处理所述原始图像生成特定图像。所述第二参考图像可通过对特定较少的第二特定图像执行部分体积校正生成。如图5所示,所述第二参考图像的生成可以类似于步骤550 中所描述的一个或多个校正的第四图像的生成,或与步骤550中所描述的一个或多个校正的第四图像的生成相同。例如,可根据等式(1)-(3)对所述第二特定图像执行部分体积校正生成所述第二参考图像。
在一些实施例中,每组第二训练样本可包括包括图像序列、对应于所述图像序列的参考图像序列和特殊图像,其中,所述图像序列包括多个图像帧。在训练过程中,每组第二训练样本中的所述图像序列和所述特定图像可作为所述机器学习模型的输入图像,所述参考图像序列可作为所述机器学习模型的期望输出,即所述训练标签。如图5所示,所述图像序列的获取可以与步骤540中描述的所述一个或多个第四图像的获取相似或相同。所述特殊图像的生成可类似于如图5所示的步骤530所描述的所述第二图像的生成,或与如图5所示的步骤530中所述描述的所述第二图像的生成相同,或者根据流程600生成所述特殊图像。例如,基于与所述第二成像设备相关联的血管模型处理所述图像序列中的图像,以生成所述特殊图像。所述参考图像序列可包括多个校正图像帧,其中所述多个校正图像帧是基于所述特殊图像对所述图像序列中的多个图像帧执行部分体积校正而生成的。所述第二参考图像的确定可以与如图5所示在步骤550中描述的所述一个或多个校正的第四图像的确定相似或相同。
在步骤704中,所述处理设备120(例如,所述模型确定模块460)可以为每组训练样本确定当前迭代中所述机器学习模型的预测输出。当前迭代中的所述机器学习模型可以处理每组训练样本中的所述输入图像(例如,第一特定图像、或第二特定图像和特殊图像)。所述机器学习模型可以提取一个或多个图像特征(例如,低级特征(例如,边缘特征、纹理特征)、高级特征(例如,语义特征)或包含在输入图像 (例如,第一特定图像,或第二个特定图像和特殊图像)的复杂特征)。基于提取的图像特征,所述机器学习模型可以确定与所述输入图像相对应的预测输出(例如,基于所述第一特定图像生成的第一预测图像或基于所述第二特定图像和所述特殊图像生成的第二预测图像)。
在步骤706中,所述处理设备120(例如,所述模型确定模块460)可以基于预测输出和期望输出确定成本函数的值。如本发明所用的,成本函数(或损失函数)可指测量所述机器学习模型的所述预测输出与所述期望输出(即实际输出)之间的差的函数,其中所述差可表示所述机器学习模型的精度。所述成本函数可包括对数损失函数、交叉熵损失函数、最小二乘函数、指数损失函数等。
在步骤708中,所述处理设备120(例如,所述模型确定模块460)可以确定是否满足终止条件。所述终止条件可提供所述机器学习模型是否得到充分训练的指示。所述终止条件可与训练过程的成本函数或迭代计数相关。例如,所述处理设备120可以确定所述机器学习模型的损失函数,并且基于所述估计图像和所述实际图像之间的差确定所述成本函数的值。此外,若损失函数的值小于阈值,则所述处理设备120 可以确定满足所述终止条件。所述阈值可以是所述成像系统100的默认设置,或者可以在不同的情况下调整。在另一实施例中,若所述成本函数的值收敛,则满足所述终止条件。若在两个或多个连续迭代中所述成本价函数的值的变化小于阈值(例如常数),则可认为已收敛。在又一实施例中,若在训练过程中执行了指定数量(或计数)的迭代,则所述处理设备120可以确定满足所述终止条件。
若满足所述终止条件,所述处理设备120可以进行步骤714。在步骤714中,所述处理设备120可将当前迭代中的机器学习模型定义为训练机器学习模型(例如,所述第一训练机器学习模型或所述第二训练机器学习模型)。另一方面,若不满足所述终止条件,所述处理设备120可以进行步骤710。在步骤710中,所述处理设备120可基于所述成本函数的值更新所述机器学习模型。例如,所述处理设备120可基于例如反向传播算法的损失函数的值更新所述机器学习模型的学习参数的值。
在步骤712中,所述处理设备120(例如,所述模型确定模块460、所述处理器210的处理电路)可以将当前迭代中更新的机器学习模型指定为下一次迭代中的机器学习模型。
在步骤712之后,所述处理设备120可以进行步骤702,以执行下一次迭代,直到满足所述终止条件为止。在下一次迭代中,所述处理设备120可以在另一批中获得多组训练样本。所述批的大小可以指所述多组训练样本中一组的计数或数量。在某一迭代满足所述终止条件后,在某一迭代中具有所述学习参数的更新值的机器学习模型可以被定义为训练机器学习模型(例如,所述第一训练机器学习模型或所述第二训练机器学习模型)。
应当注意的是,上述描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。例如,在步骤610中,所述处理设备120还可以预处理所述特定图像。在另一实施例中,可以在流程600的其他位置添加一个或多个其它可选(例如,存储步骤)。在所述存储步骤中,所述处理设备120可将与所述成像系统100相关联的信息和/或数据(例如,所述多组训练样本、所述训练机器学习模型等)存储在本发明其他内容公开的存储设备(例如,所述存储设备130)中。需要注意的是,所述第一训练机器学习模型和所述第二训练机器学习模型可以基于相同类型或不同类型的机器学习模型构建。所述第一训练机器学习模型和所述第二训练机器学习模型可以采用相同或不同的训练算法训练。
应当注意的是,上述描述仅仅是为了解释说明本发明,并不旨在限制本发明的范围。对本领域技术人员来说,在本发明的教导下可以进行多种变化和修改。然而,这些变化和修改并不脱离本发明的范围。例如,可以在流程700的其他位置添加一个或多个其它可选(例如,存储步骤)。在所述存储步骤中,所述处理设备120可将与所述成像系统100相关联的信息和/或数据(例如,所述第二训练样本、所述第二训练机器学习模型等)存储在本发明其他内容公开的存储设备(例如,所述存储设备130)中。
以下实施例仅用于说明,并非旨在限制本发明的范围。
实施例1:受试目标的颈部的示例性PET图像。
图8是本发明一些实施例的示踪剂注射后早期获得的示例性PET图像。图8所示的PET图像是在示踪剂注入所述受试目标后1分钟到2分钟的早期阶段,基于PET设备生成的投影数据重建的。如图8所示,所述PET图像包括多个颈动脉810的表现。在所述示踪剂注入扫描目标后的早期阶段,所述示踪剂(也称为放射性活度)的浓度很高。因此,在早期阶段获得的PET图像(例如,如图5和图6所描述的所述第一图像)比在注入所述示踪剂之后的其它时间段获得的其它PET图像质量更好,从而用于确定所述血管的高图像分辨率图像(例如,如图5和图6所描述的所述第二图像)。
实施例2:与受试目标颈动脉相关的示例性PET图像
图9是本发明一些实施例的与受试目标的颈动脉相关联的PET图像。图像A是所述颈动脉的真实图像(或期望图像)。图像A所示的颈动脉的特征与现实中的颈动脉的特征基本相同。图像B(例如,如图5 和图6所描述的所述第一图像)是在注射示踪剂后的早期阶段,根据PET设备生成的投影数据重建的颈动脉的模糊图像。图像B也可以被称为低图像分辨率图像。图像C(例如,如图5和图6所描述的所述第一图像)是基于血管模型对图像B进行处理生成的重建图像,所述血管模型已在本发明其他部分所公开(例如,图5和图6及其描述)。图像C也可以称为高图像分辨率图像。如图9所示,图像C的图像分辨率高于图像B的图像分辨率,图像C所示的颈动脉与图像A所示的颈动脉比图像B所示的颈动脉更相似或更接近,说明采用所述血管模型,可以基于低图像分辨率的图像(例如,图像B)生成更高图像分辨率和精度的图像(例如,图像C)。例如,图像C所示的颈动脉形状与图像A所示的颈动脉形状相似。图像C所示的颈动脉边界基本上是连续的。图像B中代表颈动脉的像素值看起来是一致的。
实施例3:根据不同图像校正过的图像得到的示例放射性活度
图10是本发明一些实施例的基于不同图像校正的图像得到的放射性活度。点号表示从基于原始图像 (如图5所述的第一图像或如图9所述的图像B)校正的图像中获得的所述示踪剂的放射性活度(即观察到的放射性活度)和所述血管中所述示踪剂的真实放射性活度。星号表示从基于重建图像(例如,图5中所述的第二图像或图9中所述的图像C)校正的图像中所述血管中所述示踪剂的观察到的放射性活度和所述血管中所述示踪剂的真实放射性活度。所述线表示根据血管的真实图像(如图9所述的图像A)校正的图像得出的所述血管中所述示踪剂的观测放射性活度与所述血管中所述示踪剂的真实放射性活度之间的关系。如图10所示,从图像中得到的所述血管中所述示踪剂的观察到的放射性活度可以基本上等于所述血管中所述示踪剂的真实放射性活度。具体地说,多个星号符合所述线,这表示根据基于重建图像(例如,如图5所述的第二图像或如图9所述的图像C)的校正图像确定的所述血管中所述示踪剂的放射性活度可以接近所述血管中所述示踪剂的真实放射性活度,这可以提高基于所述放射性活度确定的血浆输入函数的准确性。因此,本发明中的系统和方法可基于所述血管模型生成具有高图像分辨率的重建图像(例如,如图5所述的第二图像或如图9所述的图像C),并且对PET图像执行部分体积校正,可以获得具有更高精度的血浆输入函数。
实施例4,采用PSF模型生成具有高图像分辨率的图像的示例性流程
图11是本发明一些实施例的采用PSF模型重建具有高图像分辨率的图像的示例性流程的简图。曲线 L1表示对应于血管的真实图像(如图9所示的图像A)的真实图像频谱。曲线L2表示与成像设备的空间分辨率相关联的传递函数或分辨率模型(例如PSF)。曲线L3表示对应于所述血管的原始图像(如图9所示的图像B)的图像频谱,其中所述图像频谱通过PET图像获取,所述PET图像具有由分辨率模型描述的空间分辨率。曲线L1’表示对应于采用所述传递函数的血管重建图像的重建图像频谱。通过采用所述传递函数对图像频谱L3进行反卷积运算,生成重建图像频谱L1’。作为所述成像设备的空间分辨率的限制,所述图像频谱L3偏离所述真实图像频谱L1,即丢失一些信息(例如,显示为点帧1110和1130)。采用所述分辨率模型(例如,所述成像设备的PSF)确定的重建图像频谱L1’也偏离所述真实图像频谱L1。例如,重建图像频谱L1’包括伪影,例如Gibbs伪影(例如,点帧1120)。因此,基于所述分辨率模型,采用反卷积操作提高图像(例如,图5中描述的第一图像)的图像分辨率,可以获得具有满足分辨率模型的高图像分辨率的多个估计图像(即,解),但所述多个估计图像可以包括与所述真实图像的偏差。
在这样描述了基本概念之后,对于本领域技术人员而言,在阅读了本申请的详细描述之后,可以很明显地认识到,上述详细公开仅旨在通过举例的方式进行描述,而并非是限制性的。尽管这里没有明确说明,但是各种改变、改进和修改可能发生并可由本领域技术人员实现。这些改变、改进和修改均可经由本申请启示得到,并且在本申请的示例性实施例的精神和范围内。
此外,某些术语被用于描述本申请的实施例。例如,术语“一个实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征、结构或特性均包括在本申请公开的至少一个实施例中。因此,应当强调并且应当理解,在本申请的各个部分中对“一个实施例”或“一些实施例”的两次或多次引用不一定都是指同一实施例。此外,可以在本申请的一个或多个实施例中适当地组合特定特征、结构或特征。
此外,本领域技术人员将理解,本发明的各个方面可以在许多可专利的文本中加以说明和描述,包括任何新的和有用的工艺、机器、制造或物质的组成,或其任何新的和有用的改进。因此,本发明的各个方面可以完全通过硬件实现,完全通过软件实现(包括固件、驻留软件、微代码等),或者结合软件和硬件实现,这些实现在这里通常被称为“单元”、“模块”或“系统”。此外,本发明的各个方面可以采用包括计算机可读程序代码的一个或多个计算机可读介质而呈现的计算机程序产品的形式。
非暂时性计算机可读介质可以包括传播的数据信号,其中包括计算机可读程序代码,例如,基带或作为载波的一部分。这种传播的信号可以采取各种形式中的任何一种,包括电磁、光学等,或者它们的任意适当组合。计算机可读信号介质可以是非计算机可读存储介质的任何计算机可读介质,并且可以通信、传播或传输供指令执行系统、设备或装置使用或与其结合使用的程序。包含在计算机可读信号介质上的程序代码可以使用任意适当的介质进行传输,包括无线、有线、光纤电缆、射频等,或以上的任意适当组合。
用于执行本申请的操作的计算机程序代码可以用一种或多种编程语言的任何组合编写,包括面向对象的编程语言,如Java、Scala、SmallTalk、Eiffel、JADE、Emerald、C++、C#、VB.net、Python等,传统的程序化编程语言,如C语言、Visual Basic、Fortran 2103、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言。程序代码可以完全在用户的计算机上执行,一部分在用户的计算机上执行,作为独立的软件包,一部分在用户的计算机上执行,一部分在远程计算机上执行,或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络连接到用户的计算机,包括局域网(LAN)或广域网(WAN),或者可以连接到外部计算机(例如,通过使用Internet 服务提供商的Internet),或在云计算环境中,或作为服务提供,如软件即服务(SaaS)。
此外,处理元件或序列的列举顺序,或因此而使用的数字、字母或其他名称,并不会将所要求保护的流程和方法限制为任何顺序,除非权利要求中另有规定。尽管上述公开内容通过各种示例讨论了当前被认为是本申请的各种有用实施例的内容,但是应当理解,这些细节仅用于解释的目的,并且所附权利要求不限于所公开的实施例,而是旨在涵盖在所公开实施例的构思和范围内的修改和等效布置。例如,虽然上面描述的各种组件的实现可以体现在硬件设备中,但是它也可以被实现为仅软件的解决方案,例如,在现有服务器或移动设备上的安装。
类似地,应当理解,在本申请的实施例的前述描述中,各种特征有时在单个实施例、图或其描述中被组合在一起,以简化本发明,有助于理解一个或多个各种发明实施例。然而,这种披露方法不应被解释为反映了这样一种意图,即所要求保护的标的物需要比每项权利要求中明确陈述的更多的特征。本申请实施例存在特征比单个前述公开实施例的所有特征更少的实施例。
在一些实施例中,用于描述和要求应用的某些实施例的数量、属性等的数量应被理解为在某些情况下被修改为“大约”、“近似”或“实质上”。例如,“大约”、“近似”、或“实质上”可以表示其所描述的值的±20%的变化,除非另有说明。因此,在一些实施例中,在上述描述和所述权利要求中提出的数值参数是可以根据特定实施例所要获得的期望性能而变化的近似值。在一些实施例中,应根据报告的有效数字的数量并通过应用普通舍入技术解释数值参数。尽管阐述了应用的一些实施例的广泛范围的数值范围和参数是近似值,但是在具体实例中所阐述的数值被精确地报告为切实可行的。
此处引用的每项专利、专利申请、专利申请的出版物和其他材料,如文章、书籍、规范、出版物、文件、物品和/或类似物,在此通过本参考文件将其全部纳入本参考文件中,以用于所有目的,除与本文件有关的任何起诉文件记录外,与本文件不一致或冲突的任何起诉文件记录,或对与本文件有关的权利要求的最广泛范围可能产生限制性影响的任何起诉文件记录。举例来说,如果与任何合并材料相关的术语的描述、定义和/或使用与本文件相关的术语之间存在任何不一致或冲突,应以本文件中术语的描述、定义和/或使用为准。
最后,应当理解,本文所公开的应用的实施例说明了应用的实施例的原理。可采用的其他修改可在本申请的范围内。因此,作为示例而不是限制,可以根据本发明的教导利用应用的实施例的替代配置。因此,本发明的实施例不限于如所示和描述的精确的实施例。
Claims (20)
1.一种图像生成系统,其特征在于,包括:
至少一个存储设备,所述存储设备存储可执行指令;以及
至少一个处理器,用于与所述至少一个存储设备通信,其中,当执行所述可执行指令时,所述至少一个处理器用于指示所述系统执行以下步骤,包括:
获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现;
获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束;以及
基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
2.根据权利要求1所述的系统,其特征在于,所述一个或多个约束包括第一约束、第二约束、第三约束或第四约束中的至少一个;
所述第一约束包括所述血管的大小超过所述第一图像的图像分辨率;
所述第二约束包括所述血管的横截面包括圆形;
所述第三约束包括所述血管的横截面的边界是连续的,以及
所述第四约束包括在所述血管中的所述示踪剂的浓度是均匀的。
3.根据权利要求2所述的系统,其特征在于,所述第一图像的图像分辨率通过点扩散函数模型定义,并且所述基于所述血管模型和所述第一图像生成第二图像的步骤进一步包括:
至少部分基于所述点扩散函数模型和所述第一图像,生成所述第二图像,其中通过使用所述点扩散函数模型将所述第二图像转换为所述第一图像。
4.根据权利要求3所述的系统,其特征在于,所述至少部分基于所述点扩散函数模型和所述第一图像,生成所述第二图像的步骤进一步包括:
执行迭代过程,其中所述迭代过程的每次迭代包括:
基于所述点扩散函数模型和所述第一图像确定第三图像,其中所述第三图像的图像分辨率高于所述第一图像的图像分辨率;
基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定第二估计图像;以及
确定是否满足终止条件;
若不满足所述终止条件,则将所述第一图像更新为所述第二估计图像;或者
若满足所述终止条件,则将所述第二估计图像作为所述第二图像,并终止所述迭代过程。
5.根据权利要求4所述的系统,其特征在于,为了基于所述点扩散函数模型和所述第一图像确定所述第三图像,所述至少一个处理器进一步用于指示所述系统执行以下操作,包括:
基于所述点扩散函数模型,对所述第一图像进行反卷积运算,以获得所述第三图像。
6.根据权利要求4所述的系统,其特征在于,为了基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定所述第二估计图像,所述至少一个处理器还用于指示所述系统执行以下操作,包括:
确定像素值阈值;以及
对所述第三图像的一个区域执行平滑操作,以获得所述第二估计图像,其中所述第三图像的所述区域包括连续边界和多个像素,所述像素的像素值超过所述像素值阈值。
7.根据权利要求4所述的系统,其特征在于,为了基于所述第三图像和所述第二约束、所述第三约束或所述第四约束中的至少一个确定所述第二估计图像,所述至少一个处理器还用于指示所述系统执行以下操作,包括:
基于压缩感知技术对所述第三图像执行去噪操作,以获得所述第二估计图像。
8.根据权利要求4所述的系统,其特征在于,所述终止条件涉及
所述迭代过程的迭代次数,或者
成本函数,用于比较所述第一图像和第一估计图像之间的差异,其中,所述第一估计图像是基于所述第二估计图像和所述成像设备的空间分辨率生成的。
9.根据权利要求1所述的系统,其特征在于,为了基于所述血管模型和所述第一图像生成所述第二图像,所述至少一个处理器还用于指示所述系统执行以下操作,包括:
获取第一训练机器学习模型;以及
通过将所述第一图像输入所述第一训练机器学习模型生成所述第二图像。
10.根据权利要求9所述的系统,其特征在于,所述第一训练机器学习模型通过训练过程生成,所述训练过程包括采用多组训练样本训练机器学习模型,每组所述训练样本包括与同一血管相关联的特定图像和参考图像,所述参考图像具有比所述特定图像更高的空间分辨率,所述特定图像作为所述机器学习模型的输入,以及所述参考图像在所述训练过程中作为所述机器学习模型的期望输出。
11.根据权利要求10所述的系统,其特征在于,所述第一训练机器学习模型的训练过程包括:
初始化所述机器学习模型的参数值;以及
对于每组所述训练样本,通过迭代更新所述机器学习模型的参数值训练所述机器学习模型。
12.根据权利要求1所述的系统,其特征在于,所述至少一个处理器进一步用于指示所述系统执行以下操作,包括:
获取与所述血管相关的一个或多个第四图像;以及
通过基于所述第二图像对所述一个或多个第四图像中的每一个图像执行部分体积校正,获取一个或多个校正的第四图像或与所述血管相关联的血浆输入函数。
13.根据权利要求12所述的系统,其特征在于,所述一个或多个第四图像通过以下方式获取:在所述示踪剂注入所述受试目标后的一个或多个连续时间段内,通过PET设备扫描包括所述血管的所述受试目标而获取所述一个或多个第四图像。
14.根据权利要求13所述的系统,其特征在于,所述一个或多个第四图像包括所述第一图像,并且所述第一图像通过以下方式获取:在预设时间段内,通过所述PET设备扫描所述包括所述血管的受试目标得到所述第一图像,其中所述预设时间段早于在所述示踪剂注入所述受试目标后的一个或多个连续时间段。
15.根据权利要求12所述的系统,其特征在于,为了通过对所述一个或多个第四图像中的每一个图像执行部分体积校正获取一个或多个校正的第四图像或血浆输入函数,所述至少一个处理器还用于指示所述系统执行以下操作,包括:
获取用于部分体积校正的第二训练机器学习模型;以及
通过将所述第二图像和所述一个或多个第四图像输入到所述第二训练机器学习模型,确定所述一个或多个校正的第四图像或与血管相关联的血浆输入函数。
16.根据权利要求15所述的系统,其特征在于,所述获取用于部分体积校正的第二训练机器学习模型的步骤进一步包括:
获取多组第二训练样本;以及
通过在第二训练过程中采用所述多组第二训练样本训练第二机器学习模型,生成所述第二训练机器学习模型;
其中,每组所述第二训练样本包括第二特定图像、第二参考图像和特殊图像,其中所述第二参考图像是通过对所述第二特定图像执行部分体积校正而生成的;以及
在所述第二训练过程中,所述第二特定图像和所述特殊图像作为所述第二机器学习模型的输入,所述第二参考图像作为所述第二机器学习模型的期望输出。
17.根据权利要求16所述的系统,其特征在于,所述通过采用所述多组第二训练样本训练第二机器学习模型,生成用于部分体积校正的第二训练机器学习模型的步骤进一步包括:
初始化所述第二机器学习模型的参数值;以及
对于每组所述第二训练样本,通过迭代更新所述第二机器学习模型的参数值训练所述第二机器学习模型。
18.一种在具备至少一个处理器和至少一个存储介质的计算设备以及连接到网络的通信平台上实现的图像生成方法,其特征在于,所述方法包括:
获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现;
获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束;以及
基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
19.根据权利要求18所述的方法,其特征在于,所述一个或多个约束包括第一约束、第二约束、第三约束或第四约束中的至少一个;
所述第一约束包括所述血管的大小超过所述第一图像的图像分辨率;
所述第二约束包括所述血管的横截面包括圆形;
所述第三约束包括所述血管的横截面的边界是连续的,以及
所述第四约束包括在所述血管中的所述示踪剂的浓度是均匀的。
20.一种非暂时性计算机可读存储介质,其特征在于,其包括可执行指令,当至少一个处理器访问所述可执行指令时,所述可执行指令指示所述至少一个处理器执行方法,所述方法包括以下步骤:
获取由成像设备获得的第一图像,其中所述第一图像包括基于示踪剂的受试目标的血管的表现;
获取血管模型,其中所述血管模型用于为血管的一个或多个特征提供一个或多个约束;以及
基于所述血管模型和所述第一图像生成第二图像,其中所述第二图像包括所述血管的表现,所述第二图像的图像分辨率高于所述第一图像的图像分辨率,并且所述血管在所述第二图像中的表现满足所述一个或多个约束中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/687,845 | 2019-11-19 | ||
US16/687,845 US11200669B2 (en) | 2019-11-19 | 2019-11-19 | Systems and methods for determining plasma input function used in positron emission tomography imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111768462A true CN111768462A (zh) | 2020-10-13 |
CN111768462B CN111768462B (zh) | 2024-04-16 |
Family
ID=72724771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010610049.4A Active CN111768462B (zh) | 2019-11-19 | 2020-06-30 | 图像生成系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11200669B2 (zh) |
CN (1) | CN111768462B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023196474A1 (en) * | 2022-04-06 | 2023-10-12 | University Of Virginia Patent Foundation | Automation of the blood input function computation pipeline for dynamic fdg pet for human brain using machine learning |
CN115236208B (zh) * | 2022-06-27 | 2023-04-07 | 哈尔滨工业大学 | 一种基于信息增强与变步长稀疏表达的钢轨健康监测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005116647A2 (en) * | 2004-05-28 | 2005-12-08 | Philips Intellectual Property & Standards Gmbh | System for the evaluation of tracer concentration in a reference tissue and a target region |
WO2010004464A1 (en) * | 2008-07-09 | 2010-01-14 | Koninklijke Philips Electronics N.V. | Physiological pharmacokinetic analysis for combined molecular mri and dynamic pet imaging |
WO2010109007A2 (en) * | 2009-03-27 | 2010-09-30 | Ge Healthcare Limited | Indole derivatives |
US20120243761A1 (en) * | 2011-03-21 | 2012-09-27 | Senzig Robert F | System and method for estimating vascular flow using ct imaging |
US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
CN107610195A (zh) * | 2017-07-28 | 2018-01-19 | 上海联影医疗科技有限公司 | 图像转换的系统和方法 |
CN108615250A (zh) * | 2018-05-31 | 2018-10-02 | 上海联影医疗科技有限公司 | 图像重建方法、装置、系统和计算机可读存储介质 |
CN110070534A (zh) * | 2018-05-22 | 2019-07-30 | 深圳科亚医疗科技有限公司 | 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 |
CN110215224A (zh) * | 2019-06-06 | 2019-09-10 | 上海联影医疗科技有限公司 | 图像重建方法、装置、医疗影像设备和存储介质 |
CN110298897A (zh) * | 2019-04-03 | 2019-10-01 | 上海联影医疗科技有限公司 | 用于正电子发射断层成像图像重建的系统和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7492967B2 (en) * | 2003-09-24 | 2009-02-17 | Kabushiki Kaisha Toshiba | Super-resolution processor and medical diagnostic imaging apparatus |
WO2013122710A1 (en) * | 2012-02-13 | 2013-08-22 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Improved assessments of vascular permeability for biomedical imaging studies |
US9785746B2 (en) * | 2014-03-31 | 2017-10-10 | Heartflow, Inc. | Systems and methods for determining blood flow characteristics using flow ratio |
WO2016092394A1 (en) * | 2014-12-10 | 2016-06-16 | Koninklijke Philips N.V. | Systems and methods for translation of medical imaging using machine learning |
EP3375364A4 (en) * | 2017-01-23 | 2019-01-23 | Shanghai United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR ANALYZING THE STATUS OF BLOOD CIRCULATION |
-
2019
- 2019-11-19 US US16/687,845 patent/US11200669B2/en active Active
-
2020
- 2020-06-30 CN CN202010610049.4A patent/CN111768462B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005116647A2 (en) * | 2004-05-28 | 2005-12-08 | Philips Intellectual Property & Standards Gmbh | System for the evaluation of tracer concentration in a reference tissue and a target region |
WO2010004464A1 (en) * | 2008-07-09 | 2010-01-14 | Koninklijke Philips Electronics N.V. | Physiological pharmacokinetic analysis for combined molecular mri and dynamic pet imaging |
WO2010109007A2 (en) * | 2009-03-27 | 2010-09-30 | Ge Healthcare Limited | Indole derivatives |
US20120243761A1 (en) * | 2011-03-21 | 2012-09-27 | Senzig Robert F | System and method for estimating vascular flow using ct imaging |
US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
CN107610195A (zh) * | 2017-07-28 | 2018-01-19 | 上海联影医疗科技有限公司 | 图像转换的系统和方法 |
CN110070534A (zh) * | 2018-05-22 | 2019-07-30 | 深圳科亚医疗科技有限公司 | 用于基于血管图像自动获取特征序列的方法和预测血流储备分数的装置 |
CN108615250A (zh) * | 2018-05-31 | 2018-10-02 | 上海联影医疗科技有限公司 | 图像重建方法、装置、系统和计算机可读存储介质 |
CN110298897A (zh) * | 2019-04-03 | 2019-10-01 | 上海联影医疗科技有限公司 | 用于正电子发射断层成像图像重建的系统和方法 |
CN110215224A (zh) * | 2019-06-06 | 2019-09-10 | 上海联影医疗科技有限公司 | 图像重建方法、装置、医疗影像设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11200669B2 (en) | 2021-12-14 |
US20210150705A1 (en) | 2021-05-20 |
CN111768462B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11348233B2 (en) | Systems and methods for image processing | |
CN110809782B (zh) | 衰减校正系统和方法 | |
US11907852B2 (en) | Systems and methods for generating a neural network model for image processing | |
US11398030B2 (en) | System and method for image reconstruction | |
US11232558B2 (en) | Systems and methods for image generation | |
CN110298897B (zh) | 用于正电子发射断层成像图像重建的系统和方法 | |
CN112368738B (zh) | 用于图像优化的系统和方法 | |
WO2021232194A1 (en) | Systems and methods for image reconstruction | |
US11494877B2 (en) | Systems and methods for image reconstruction | |
WO2021068975A1 (en) | Systems and methods for image reconstruction | |
CN111768462B (zh) | 图像生成系统和方法 | |
US20230360312A1 (en) | Systems and methods for image processing | |
CN117015801A (zh) | 图像分割的系统和方法 | |
US20230206459A1 (en) | Systems and methods for image processing | |
WO2023123352A1 (en) | Systems and methods for motion correction for medical images | |
US20230206454A1 (en) | Systems and methods for feature information determination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |