CN111462020B - 心脏图像的运动伪影校正方法、系统、存储介质和设备 - Google Patents
心脏图像的运动伪影校正方法、系统、存储介质和设备 Download PDFInfo
- Publication number
- CN111462020B CN111462020B CN202010331997.4A CN202010331997A CN111462020B CN 111462020 B CN111462020 B CN 111462020B CN 202010331997 A CN202010331997 A CN 202010331997A CN 111462020 B CN111462020 B CN 111462020B
- Authority
- CN
- China
- Prior art keywords
- cardiac
- image
- heart
- deep learning
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 150
- 238000012937 correction Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000000747 cardiac effect Effects 0.000 title claims description 194
- 238000013135 deep learning Methods 0.000 claims abstract description 117
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 41
- 210000004351 coronary vessel Anatomy 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000011056 performance test Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 22
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000002285 radioactive effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010351 cardiac pulsation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种心脏图像的运动伪影校正方法、系统、可读存储介质和设备,属于医疗影像技术领域,在扫描过程中,获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像;利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
Description
技术领域
本申请涉及医疗影像技术领域,特别是涉及一种心脏图像的运动伪影校正方法、系统、可读存储介质和设备。
背景技术
一般情况下,采用医学影像设备(如CT(Computed Tomography,电子计算机断层扫描)、PET(Positron Emission Computed Tomography,正电子发射型计算机断层显像)、MR(Magnetic Resonance,磁共振)对被检测者的某一扫描区域扫描过程中,被检测者可能存在自主或不自主的运动(如被检测者自主的呼吸运动、不自主的心脏搏动和胃肠蠕动等),这些自主或不自主的运动就会在重建图像上形成运动伪影,降低图像质量甚至影响诊断。
例如,在CT扫描过程中,被检测者不自主的心脏搏动会形成运动伪影,目前一般是在图像上先进行冠脉提取,再对提取的冠脉进行运动配准从而得到配准后的运动场,利用运动场进行运动伪影补偿;还有利用运动场信息加入到反投影算法中,直接在数据上进行运动伪影补偿。
目前针对相关技术中,无论哪种算法,由于都需要进行图像配准以及运动场的估计,所以计算时间都很长,且效果决定于冠脉分割,配准以及运动场的估计和补偿,任何一步不准确都会带来结果上的很大差异,导致图像的运动伪影校正效果差,对此尚未提出有效的解决方案。
发明内容
基于此,有必要针对传统的医学设备扫描过程中心脏运动伪影校正方式效果差的问题,提供一种心脏图像的运动伪影校正方法、系统、可读存储介质和设备。
第一方面,本申请提供了一种心脏图像的运动伪影校正方法,方法包括以下步骤:
获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;
将心脏重建图像输入至预设的深度学习网络;
获取深度学习网络输出的心脏运动伪影校正图像。
在其中一个实施例中,深度学习网络包括非刚性空间变换网络或刚性空间变换网络;所述非刚性空间变换网络或刚性空间变换网络用于对所述心脏重建图像进行空间变换。
在其中一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
获取多个第一心脏扫描数据,根据所述多个第一心脏扫描数据获取多个第一心脏重建图像,对所述多个第一心脏重建图像进行运动伪影校正后获取第一目标图像;
将所述多个第一心脏重建图像作为训练输入样本,以所述第一目标图像作为训练目标样本,对初始化的深度学习网络进行训练;
在经过多组所述训练输入样本和所述训练目标样本的训练后,得到所述预设的深度学习网络。
在其中一个实施例中,根据所述多个第一心脏扫描数据获取多个第一心脏重建图像的步骤包括以下步骤:
对连续时间点下获取的多个第一心脏扫描数据进行重建,获得重建后的多个第一心脏重建图像。
在其中一个实施例中,根据多个所述第一心脏重建图像获取对应的心脏运动伪影校正的第一目标图像的步骤包括以下步骤:
采用心脏运动伪影校正算法对多个所述第一心脏重建图像进行处理,获得对应的心脏运动伪影校正的第一目标图像;
或者,获取在所述连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,将所述清晰度最高的第一心脏重建图像作为所述第一目标图像。
在其中一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
对第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;
根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取深度学习网络的损失函数。
在其中一个实施例中,心脏冠脉分割信息包括冠脉区域图像,心脏图像的运动伪影校正方法还包括以下步骤:
将冠脉区域图像中的像素值设置为第一像素值,将第一目标图像中除冠脉区域图像外的其他区域图像的像素值设置为第二像素值,获得掩模图像;
根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取损失函数的步骤包括以下步骤:
根据掩模图像、第一目标图像和深度学习网络的输出图像获取损失函数。
在其中一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
获取多个第二心脏扫描数据,根据多个第二心脏扫描数据获取多个第二心脏重建图像,对所述多个第二心脏重建图像进行运动伪影校正后获取第二目标图像;
将多个第二心脏重建图像作为测试输入样本,将第二目标图像作为测试目标样本,对预设的深度学习网络进行性能测试。
第二方面,本申请提供了一种心脏图像的运动伪影校正系统,包括:
图像获取单元,用于获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;
图像处理单元,用于将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像。
在其中一个实施例中,深度学习网络包括非刚性空间变换网络或刚性空间变换网络;所述非刚性空间变换网络或刚性空间变换网络用于对所述心脏重建图像进行空间变换。
在其中一个实施例中,心脏图像的运动伪影校正系统还包括网络训练单元,用于获取多个第一心脏扫描数据,根据多个第一心脏扫描数据获取多个第一心脏重建图像,对多个第一心脏重建图像进行运动伪影校正后获取第一目标图像;将多个第一心脏重建图像作为训练输入样本,将第一目标图像作为训练目标样本,对初始化的深度学习网络进行训练;在经过多组训练输入样本和训练目标样本的训练后,得到预设的深度学习网络。
在其中一个实施例中,网络训练单元还用于对连续时间点下获取的多个第一心脏扫描数据进行重建,获得重建后的多个第一心脏重建图像。
在其中一个实施例中,网络训练单元还用于采用心脏运动伪影校正算法对多个第一心脏重建图像进行处理,获得对应的心脏运动伪影校正的第一目标图像;或者,获取在所述连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,将所述清晰度最高的第一心脏重建图像作为所述第一目标图像。
在其中一个实施例中,网络训练单元还用于对第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取深度学习网络的损失函数。
在其中一个实施例中,心脏冠脉分割信息包括冠脉区域图像,网络训练单元用于将冠脉区域图像中的像素值设置为第一像素值,将第一目标图像中除冠脉区域图像外的其他区域图像的像素值设置为第二像素值,获得掩模图像;根据掩模图像、第一目标图像和深度学习网络的输出图像获取损失函数。
在其中一个实施例中,心脏图像的运动伪影校正系统还包括网络测试单元,用于获取多个第二心脏扫描数据,根据多个第二心脏扫描数据获取多个第二心脏重建图像,对多个第二心脏重建图像进行运动伪影校正后获取第二目标图像;将多个第二心脏重建图像作为测试输入样本,将第二目标图像作为测试目标样本,对预设的深度学习网络进行性能测试。
第三方面,本申请提供了一种可读存储介质,其上存储有可执行程序,其特征在于,可执行程序被处理器执行时实现上述任意心脏图像的运动伪影校正方法的步骤。
第四方面,本申请提供了一种心脏图像的运动伪影校正设备,包括存储器和处理器,存储器存储有可执行程序,其特征在于,处理器执行可执行程序时实现上述任意心脏图像的运动伪影校正方法的步骤。
相比于相关技术,本申请提供的心脏图像的运动伪影校正方法、系统、可读存储介质和设备,在医学设备扫描过程中,获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像;利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中的示例性医学设备100的示意图;
图2为一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图;
图3为一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图;
图4为一个实施例中的心脏图像的运动伪影校正方法的流程示意图;
图5和图6为一个实施例中的空间变换网络的示意图;
图7为一个实施例中的心脏图像的运动伪影校正的效果示意图;
图8为一个实施例中的心脏图像的运动伪影校正系统的结构示意图;
图9为另一个实施例中的心脏图像的运动伪影校正系统的结构示意图;
图10为又一个实施例中的心脏图像的运动伪影校正系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本申请,并不限定本申请的保护范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在成像系统和/或处理器上。模块仅是说明性的,并且系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是一个实施例的示例性医学设备100的示意图。参考图1所示,医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
扫描仪110可扫描对象并且生成与该扫描对象相关的扫描数据。在一些实施例中,扫描仪110可以是医学成像设备,例如CT设备、PET设备、SPECT设备、MRI设备等或其任意组合(例如,PET-CT设备或CT-MRI设备)。在本申请中,该医学成像设备具体可以为CT设备。
本申请中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据(例如,CT数据、对应于CT数据的投影数据)。这并不是为了限制本申请的范围。对于本领域的技术人员来说,在本申请的指导下可以进行各种修正和改变。
扫描仪110可包括机架111、探测器112、检测区域113和工作台114。在一些实施例中,扫描仪110还可包括放射性扫描源115。机架111可支承探测器112和放射性扫描源115。扫描对象可被置于工作台114上以用于扫描。放射性扫描源115可向该扫描对象发射放射性射线。探测器112可以检测从检测区域113发射的辐射事件(例如,γ光子)。在一些实施例中,扫描仪110可以是MRI扫描设备,并且探测器112可以包括用于检测和接收RF信号的电路。
网络120可包括任意合适的网络,该网络能协助医学设备100交换信息和/或数据。在一些实施例中,医学设备100的一个或多个组件(例如,扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如,处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例,处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包括有线和/或无线网络接入点,诸如基站和/或因特网交换点,医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,移动设备131可包括智能家用设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。在一些实施例中,智能家用设备可包括智能照明设备、智能电器的控制设备、智能监视设备、智能电视、智能摄像机、互联电话等或其任意组合。在一些实施例中,可穿戴设备可包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能饰物等或其任意组合。在一些实施例中,移动设备131可包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等或者其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如,虚拟现实设备和/或增强现实设备可包括Google Glass、Oculus Rift、Hololens、Gear VR等。在一些实施例中,终端130可以是处理引擎140的一部分。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。在一些实施例中,处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中,处理引擎140可以是本地的或远程的。例如,处理引擎140可通过网络120来访问存储在扫描仪110、终端130和/或存储器150中的信息和/或数据。作为另一示例,处理引擎140可以直接连接到扫描仪110、终端130和/或存储器150以访问所存储的信息和/或数据。在一些实施例中,处理引擎140可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。在一些实施例中,处理引擎140可由图2中所示的具有一个或多个组件的计算设备200来实现。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中,存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中,存储器150可存储数据和/或指令,处理引擎140可以执行或使用该数据和/或指令以执行本申请中所描述的示例性方法。在一些实施例中,存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中,存储器150可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。
在一些实施例中,存储器150可连接到网络120,以便与医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中,存储器150可直接连接到医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)或与这些组件通信。在一些实施例中,存储器150可以是处理引擎140的一部分。
图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示,计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270以及用户界面280。
内部通信总线210可以实现计算设备200组件间的数据通信。
处理器220可根据本文所描述的技术来执行计算机指令(例如,程序代码)并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、扫描对象、组件、数据结构、过程、模块以及函数。例如,处理器220可以处理从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的图像数据。在一些实施例中,处理器220可包括一个或多个硬件处理器,诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明,在计算设备200中仅描述了一个处理器220。然而,应当注意,本申请中的计算设备200也可包括多个处理器,因此本申请中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。
只读存储器(ROM)230和随机存取存储器(RAM)240可存储从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的数据/信息。只读存储器(ROM)230可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。随机存取存储器(RAM)240可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。在一些实施例中,只读存储器(ROM)230和随机存取存储器(RAM)240可存储用于执行本申请中所描述的示例性方法的一个或多个程序和/或指令。
通信端口250可连接到网络(例如,网络120)以协助数据通信。通信端口250可在处理引擎140和扫描仪110、终端130和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙链路、Wi-Fi链路、WiMax链路、WLAN链路、ZigBee链路、移动网络链路(例如,3G,4G,5G等)等或其组合。在一些实施例中,通信端口250可以是包括标准化通信端口,诸如RS232、RS485等。在一些实施例中,通信端口250可以是专门设计的通信端口。例如,通信端口250可根据医学数字成像和通信(DICOM)协议来设计。
输入/输出组件260支持计算设备200与其他部件之间的输入/输出数据流。在一些实施例中,输入/输出组件260可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
计算设备200还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘270,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器220所执行的可能的程序指令。
图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示,移动设备300可包括天线310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入输出单元(I/O)350、内存360以及存储器390。在一些实施例中,移动设备300中还可包括任何其他合适的组件,包括但不限于系统总线或控制器(未示出)。在一些实施例中,移动操作系统370(例如,iOS、Android、Windows Phone等)和一个或多个应用380可从存储器390被加载到内存360中以便由CPU340执行。应用380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O350来实现并通过网络120提供给处理引擎140和/或医学设备100的其他组件。
为了实现本申请中所描述的各种模块、单元及其功能,计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程,计算机也可以充当服务器。在医学设备100中可以实现投影数据处理方法、系统等。
参见图4所示,为本申请一个实施例的心脏图像的运动伪影校正方法的流程示意图。该实施例中的心脏图像的运动伪影校正方法包括以下步骤:
步骤S410:获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;
在本步骤中,扫描对象可以置于计算机断层扫描成像设备的扫描仪110的工作台114上,进入扫描仪110的扫描检测范围,进行心脏的扫描拍摄,相应的心脏扫描数据可以存储在存储器150中,处理引擎140可以调取心脏扫描数据,执行图像重建算法对心脏扫描数据进行重建计算,可以得到心脏重建图像;
步骤S420:将心脏重建图像输入至预设的深度学习网络;
在本步骤中,预设的深度学习网络可以预先训练好并存储在处理引擎140中的,在得到心脏重建图像后,可以将其输入至深度学习网络,进行识别校正;
步骤S430:获取深度学习网络输出的心脏运动伪影校正图像。
在本步骤中,在输入处于不同运动状态的心脏重建图像时,可以对心脏重建图像进行运动伪影校正,深度学习网络可以输出心脏运动伪影校正图像。
在本实施例中,在扫描过程中,获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像;利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
需要说明的是,上述心脏图像的运动伪影校正方法可以在医学设备的控制台上执行,也可以在医学设备的后处理工作站上执行,或在能与医学设备通信的终端130上实现处理引擎140的示例性计算设备200上执行,且不局限于此,可以根据实际应用的需要进行变化调整。
进一步的,深度学习网络可以包括非刚性空间变换网络或刚性空间变换网络;所述非刚性空间变换网络或刚性空间变换网络用于对所述心脏重建图像进行空间变换。
深度学习网络包括非刚性空间变换网络或刚性空间变换网络,空间变换网络具备空间变换能力,由于心脏运动属于人体不自主的器官运动,在扫描过程中也处于运动状态,通过空间变换网络可以对心脏图像的运动特征进行变换,使其统一到同一状态,消除心脏运动伪影的影响。
进一步的,非刚性空间变换网络或刚性空间变换网络均可以应用于深度学习网络中,如图5和图6所示的空间变换网络UNET,可以实现刚性或非刚性的空间变换,图5中的空间变换(Spatial Transformer)是利用本地网络(Localization net)解析输入样本的空间角度θ,并通过网格生成器(Grid generator)对输入样本进行空间转换。
在一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
获取多个第一心脏扫描数据,根据所述多个第一心脏扫描数据获取多个第一心脏重建图像,对所述多个第一心脏重建图像进行运动伪影校正后获取第一目标图像;
将所述多个第一心脏重建图像作为训练输入样本,以所述第一目标图像作为训练目标样本,对初始化的深度学习网络进行训练;
在经过多组所述训练输入样本和所述训练目标样本的训练后,得到所述预设的深度学习网络。
在本实施例中,可以利用医学设备扫描心脏的数据对深度学习网络进行训练,首先可以采用多个第一心脏扫描数据来分别生成多个第一心脏重建图像,在此过程中可以使用成熟的重建图像算法进行图像重建;在得到多个第一心脏重建图像后,需要确定相应的经过心脏运动伪影校正的心脏重建图像作为参考,即第一目标图像,将多个第一心脏重建图像作为训练输入样本,第一目标图像作为训练目标样本,对初始化的深度学习网络进行训练,通过深度学习网络的正向传播和反向传播,不断调节深度学习网络中各个节点的权重,使深度学习网络能适应不同输入样本,对其进行识别变换并输出第一目标图像或接近第一目标图像的图像,从而能实现深度学习网络的心脏运动伪影校正的能力。
需要说明的是,多个第一心脏扫描历史数据可以对应于同一对象,对同一对象的心脏运动伪影校正进行训练;在训练时还可以采用多个对象,每个对象都有对应的多个第一心脏扫描数据,即多组第一心脏扫描数据,通过多组第一心脏扫描数据的训练,使深度学习网络能适应不同对象的心脏运动伪影校正。
另外,训练深度学习网络时,输入深度学习网络的第一心脏重建图像可以是两个以上,如与连续时间点的个数对应的数量等。
在一个实施例中,根据多个第一心脏扫描历史数据获取多个第一心脏重建图像的步骤包括以下步骤:
对连续时间点下获取的多个第一心脏扫描数据进行重建,获得重建后的多个第一心脏重建图像。
在本实施例中,采用的多个第一心脏扫描数据可以是连续时间点的心脏扫描数据,由于心脏搏动具有周期规律,选择连续时间点的心脏扫描数据可以较为全面地覆盖可能出现的心脏扫描数据,从而使深度学习网络的训练更加全面,提高深度学习网络的心脏运动伪影校正的能力。
在一个实施例中,根据多个第一心脏重建图像获取对应的心脏运动伪影校正的第一目标图像的步骤包括以下步骤:
采用心脏运动伪影校正算法对多个第一心脏重建图像进行处理,获得对应的心脏运动伪影校正的第一目标图像;
或者,获取在连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,将清晰度最高的第一心脏重建图像作为第一目标图像。
在本实施例中,可以采用心脏运动伪影校正算法对多个第一心脏重建图像进行处理,得到第一目标图像,由于心脏运动伪影校正算法可以消除图像中的伪影,因此可以作为图像的参考,利用心脏运动伪影校正算法可以对任意个数的第一心脏重建图像进行处理,得到相应的第一目标图像;也可以获取在连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,选取其中清晰度最高的第一心脏重建图像作为第一目标图像,由于心脏在持续搏动,清晰度越高,表明心脏产生的运动伪影越少,由于只需进行感兴趣区的清晰度的比较,同时无需进行复杂的算法计算,可以更快地确定第一目标图像。
需要说明的是,通过心脏运动伪影校正算法可以得到与第一心脏重建图像的数量对应的多个第一目标图像,可以选择多个第一目标图像中的一个第一目标图像,也可以对多个第一目标图像进行整合,如加权平均等整合方式,得到最终的第一目标图像。
进一步的,在选取清晰度最高的第一心脏重建图像时,可以通过图像质量评估系统来执行,图像质量评估系统可以对多张第一心脏重建图像进行评估分析,输出其中清晰度最高的第一心脏重建图像;或者,直接通过人工的方式,在多张第一心脏重建图像中选取清晰度最高的第一心脏重建图像,在训练前可以预先进行。
在一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
对第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;
在训练过程中,根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取深度学习网络的损失函数。
在本步骤中,训练深度学习网络时,利用心脏冠脉分割信息重新定义深度学习网络的损失函数,损失函数表示实际输出图像与期望输出图像的差距,即深度学习网络的输出图像与第一目标图像的差距,在损失函数中引入心脏冠脉分割信息,从而既保证了心脏运动伪影校正的效果,又避免了在深度学习网络的分析运算过程中引入冠脉分割信息的弊端,有利于实现端到端的心脏运动伪影校正。
进一步的,心脏冠脉分割信息可以包括心脏冠脉分割的位置信息、掩模信息、和/或左右冠脉标记信息等;在训练过程中,可根据损失函数对深度学习网络的节点权重进行调节,使损失函数的值逐渐减小,随着训练的持续进行,当损失函数的值小于预设值或在一个合适的预设范围内,或者,损失函数的变化区域稳定,此时可以停止训练,即根据损失函数的变化趋势判断是否停止训练。
在一个实施例中,心脏冠脉分割信息包括冠脉区域图像,心脏图像的运动伪影校正方法还包括以下步骤:
将冠脉区域图像中的像素值设置为第一像素值,将第一目标图像中除冠脉区域图像外的其他区域图像的像素值设置为第二像素值,获得掩模图像;
根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取深度学习网络的损失函数的步骤包括以下步骤:
根据掩模图像、第一目标图像和深度学习网络的输出图像获取损失函数。
在本实施例中,心脏冠脉分割时可以确定心脏冠脉的具体位置,进而得到冠脉区域图像,冠脉区域图像包含冠脉本身,对其像素值进行设置,可以与第一目标图像中的其他内容相区分,由此得到心脏冠脉的掩模图像,掩模图像可以引入损失函数,使损失函数可以反映冠脉附近的变换,在深度学习网络的训练过程中,会对各个节点的权重进行不断调节,相应的损失函数也会不断改变,随着训练的持续,深度学习网络能逐渐适应心脏重建图像的伪影校正,此时损失函数趋于稳定,当损失函数的变化较大时,训练还需持续,当损失函数的变化小于预设范围时,可以停止训练,此时可以确认深度学习网络具备心脏重建图像的伪影校正能力。
进一步的,第一像素值可以为1,第二像素值可以为0,以此可以突出显示冠脉,需要说明的是,第一像素值和第二像素值可以根据实际需要进行调整,在此并不对其进行限制。
具体的,深度学习网络的输出图像和第一目标图像的差异像素信息可以直接与掩模图像的像素信息相乘,如损失函数可以定义为:
loss=γ1(Imgsout-Imgstarget)+γ2(Imgsout-Imgstarget)*Maskstarget
上式中,loss表示损失函数,Imgsout表示深度学习网络的输出图像,Imgstarget表示第一目标图像,Maskstarget表示掩模图像,γ1和γ2表示比例系数,用于调节损失函数中两个多项式的比例。
在一个实施例中,心脏图像的运动伪影校正方法还包括以下步骤:
获取多个第二心脏扫描数据,根据多个第二心脏扫描数据获取多个第二心脏重建图像,对所述多个第二心脏重建图像进行运动伪影校正后获取第二目标图像;
将多个第二心脏重建图像作为测试输入样本,将第二目标图像作为测试目标样本,对预设的深度学习网络进行性能测试。
在本实施例中,在深度学习网络训练结束后,还可以对其性能进行测试,首先可以采用多个第二心脏扫描数据来分别生成多个第二心脏重建图像,在此过程中可以使用成熟的重建图像算法进行图像重建;在得到多个第二心脏重建图像后,需要确定相应的经过心脏运动伪影校正的心脏重建图像作为参考,即第二目标图像,将多个第二心脏重建图像作为测试输入样本,第二目标图像作为测试目标样本,将测试输入样本输入至已训练的深度学习网络,将深度学习网络的输出图像与测试目标样本进行对比,根据对比结果确定深度学习网络的心脏运动伪影校正性能。
需要说明的是,多个第二心脏扫描历史数据可以对应于同一对象,对同一对象的心脏运动伪影校正进行测试;在测试时还可以采用多个对象,每个对象都有对应的多个第一心脏扫描数据,即多组第二心脏扫描数据,通过多组第二心脏扫描数据的测试,更为全面地检验深度学习网络的心脏运动伪影校正能力。
另外,性能测试时所采用的同一对象和深度学习网络训练时的同一对象可以是一个对象,也可以是不同的对象。在训练深度学习网络之前,第一心脏扫描数据和第二心脏扫描数据可以同时提前获取。
具体的,以CT扫描心脏图像为例进行说明。在实际应用中,心脏图像的运动伪影校正方法可以在CT扫描设备的控制台上执行:
构建数据集,对于一个CT采集得到的数据,选择大于或等于一个的连续时间点(t1-tn)下CT重建的多套心脏图像(Imgs1-Imgsn)(即第一心脏重建图像)作为输入,利用传统心脏运动伪影校正算法得到以上图像对应的心脏运动较少的一套心脏图像Imgstarget(即第一目标图像),或者在以上(t1-tn)中某个时刻运动较少的一个时间点的图像作为Imgstarget。对Imgstarget图像进行图像分割将冠脉分割出来,冠脉区域的图像像素设置成1,其他区域设置为0,并存储下来作为Maskstarget(即掩模图像)。根据以上方法对CT采集大量数据进行相同操作,得到数据集。
对得到的数据集进行划分,划分训练数据集和测试数据集。其中训练数据集的数据应远大于测试数据集数据,同时两个数据集的数据不能存在交集。
利用得到的训练数据集对初始化的深度学习网络进行训练,训练输入为t1-tn时间点下的多套心脏图像Imgs1-Imgsn,根据训练输入的时间点数量n,网络输入也会相应变化。网络结构包含空间变换网络(spatial transformer network STN)。该网络用于刚性变换,且主要用于图像的识别,对于心脏运动这类非刚性运动并没有多少帮助。但本申请将空间变换网络引入到心脏运动伪影校正的深度学习网络中,从而实现心脏运动伪影校正的功能。
心脏运动伪影校正的深度学习网络可以选用典型的UNET,在传统网络中加入空间变换网络,该网络可以实现非刚性的空间变换。另外,空间变换网络实现的刚性变换同样可以适用于本申请的方案。
在训练过程中利用冠脉分割信息重新定义了网络训练的损失函数:
loss=γ1(Imgsout-Imgstarget)+γ2(Imgsout-Imgstarget)*Maskstarget (1)
其中Imgsout=G(Imgs1,…Imgsn)为训练过程中由Imgs1-Imgsn经过网络G后得到的输出,γ1γ2为两个可以调整的参数用于调节公式1中两项的比例。
训练过程中会根据loss计算值的正向传播和误差的反向传播,对深度学习网络的节点权重进行调整,根据多次训练过程中损失函数的变化趋势可以决定是否停止训练。
训练停止后得到训练得到的网络G,利用训练的模型在测试集中对数据进行测试,并评估训练网络在测试数据上的有效性:利用测试数据集中的一个采集数据进行验证。其中数据采用了t1,t2两个时间点下的Imgs1与Imgs2作为输入,训练网络也可以采用两个时间点输入用于训练。利用生成的网络G,得到Imgsout=G(Imgs1,Imgs2)。实际效果如图7所示,可以看到心脏的运动伪影得到了有效的减弱。
需要说明的是,上述仅以CT扫描心脏图像为例进行说明,并非限制本申请的应用领域,上述心脏图像的运动伪影校正方法可以应用于PET扫描心脏图像、MR扫描心脏图像等各种不同医学设备的心脏扫描成像过程中。
根据上述心脏图像的运动伪影校正方法,本申请实施例还提供一种心脏图像的运动伪影校正系统,以下就心脏图像的运动伪影校正系统的实施例进行详细说明。
参见图8所示,为一个实施例的心脏图像的运动伪影校正系统的结构示意图。该实施例中的心脏图像的运动伪影校正系统包括:
图像获取单元510,用于获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;
图像处理单元520,用于将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像。
在本实施例中,在扫描过程中,图像获取单元510获取扫描对象的心脏扫描数据,根据心脏扫描数据获取扫描对象的心脏重建图像;图像处理单元520将心脏重建图像输入至预设的深度学习网络,获取深度学习网络输出的心脏运动伪影校正图像;利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
需要说明的是,心脏图像的运动伪影校正系统的各个单元可以设置在处理引擎140中。
在一个实施例中,深度学习网络包括非刚性空间变换网络或刚性空间变换网络;所述非刚性空间变换网络或刚性空间变换网络用于对所述心脏重建图像进行空间变换。
在一个实施例中,如图9所示,心脏图像的运动伪影校正系统还包括网络训练单元530,用于获取多个第一心脏扫描数据,根据多个第一心脏扫描数据获取多个第一心脏重建图像,对多个第一心脏重建图像进行运动伪影校正后获取第一目标图像;将多个第一心脏重建图像作为训练输入样本,将第一目标图像作为训练目标样本,对初始化的深度学习网络进行训练;在经过多组训练输入样本和训练目标样本的训练后,得到预设的深度学习网络。
在一个实施例中,网络训练单元530还用于对连续时间点下获取的多个第一心脏扫描数据进行重建,获得重建后的多个第一心脏重建图像。
在一个实施例中,网络训练单元530还用于采用心脏运动伪影校正算法对多个第一心脏重建图像进行处理,获得对应的心脏运动伪影校正的第一目标图像;或者,获取在所述连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,将所述清晰度最高的第一心脏重建图像作为所述第一目标图像。
在一个实施例中,网络训练单元530还用于对第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;根据心脏冠脉分割信息、第一目标图像和深度学习网络的输出图像获取深度学习网络的损失函数。
在一个实施例中,心脏冠脉分割信息包括冠脉区域图像,网络训练单元530用于将冠脉区域图像中的像素值设置为第一像素值,将第一目标图像中除冠脉区域图像外的其他区域图像的像素值设置为第二像素值,获得掩模图像;根据掩模图像、第一目标图像和深度学习网络的输出图像获取损失函数。
在一个实施例中,如图10所示,心脏图像的运动伪影校正系统还包括网络测试单元540,用于获取多个第二心脏扫描数据,根据多个第二心脏扫描数据获取多个第二心脏重建图像,对多个第二心脏重建图像进行运动伪影校正后获取第二目标图像;将多个第二心脏重建图像作为测试输入样本,将第二目标图像作为测试目标样本,对预设的深度学习网络进行性能测试。
本申请实施例的心脏图像的运动伪影校正系统与上述心脏图像的运动伪影校正方法一一对应,在上述心脏图像的运动伪影校正方法的实施例阐述的技术特征及其有益效果均适用于心脏图像的运动伪影校正系统的实施例中。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的心脏图像的运动伪影校正方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
一种心脏图像的运动伪影校正设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的扫描图像处理方法的步骤。
上述心脏图像的运动伪影校正设备,通过在处理器上运行可执行程序,可以实现利用深度学习网络的分析学习能力可以对心脏图像的特征的变换进行训练,从而达到心脏运动伪影校正的能力,而且通过深度学习网络实现对整个心脏重建图像的端对端校正,有效避免校正误差。
心脏图像的运动伪影校正设备可以设置在医学设备100中,也可以设置在终端130或处理引擎140中。
本领域普通技术人员可以理解实现上述实施例用于心脏图像的运动伪影校正方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述心脏图像的运动伪影校正方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时,包括上述方法所述的步骤。所述的存储介质,包括:ROM/RAM、磁碟、光盘等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种心脏图像的运动伪影校正方法,其特征在于,所述方法包括以下步骤:
获取扫描对象的心脏扫描数据,根据所述心脏扫描数据获取所述扫描对象的心脏重建图像;
将所述心脏重建图像输入至预设的深度学习网络,所述深度学习网络的训练目标样本为第一目标图像;所述第一目标图像是对多个第一心脏重建图像进行运动伪影校正后得到;所述多个第一心脏重建图像从多个第一心脏扫描数据中获取到;
所述预设的深度学习网络的损失函数的获取步骤,包括:对所述第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;根据所述心脏冠脉分割信息、所述第一目标图像和所述深度学习网络的输出图像获取所述深度学习网络的损失函数;
获取所述深度学习网络输出的心脏运动伪影校正图像。
2.根据权利要求1所述的心脏图像的运动伪影校正方法,其特征在于,所述深度学习网络包括非刚性空间变换网络或刚性空间变换网络;所述非刚性空间变换网络或刚性空间变换网络用于对所述心脏重建图像进行空间变换。
3.根据权利要求1所述的心脏图像的运动伪影校正方法,其特征在于,所述方法还包括以下步骤:
将所述多个第一心脏重建图像作为训练输入样本,对初始化的深度学习网络进行训练;
在经过多组所述训练输入样本和所述训练目标样本的训练后,得到所述预设的深度学习网络。
4.根据权利要求3所述的心脏图像的运动伪影校正方法,其特征在于,所述根据所述多个第一心脏扫描数据获取多个第一心脏重建图像的步骤包括以下步骤:
对连续时间点下获取的多个第一心脏扫描数据进行重建,获得重建后的多个第一心脏重建图像。
5.根据权利要求4所述的心脏图像的运动伪影校正方法,其特征在于,所述根据多个所述第一心脏重建图像获取对应的心脏运动伪影校正的第一目标图像的步骤包括以下步骤:
采用心脏运动伪影校正算法对多个所述第一心脏重建图像进行处理,获得对应的心脏运动伪影校正的第一目标图像;
或者,获取在所述连续时间点的多个第一心脏重建图像的感兴趣区的清晰度,将所述清晰度最高的第一心脏重建图像作为所述第一目标图像。
6.根据权利要求1所述的心脏图像的运动伪影校正方法,其特征在于,所述心脏冠脉分割信息包括冠脉区域图像,所述方法还包括以下步骤:
将所述冠脉区域图像中的像素值设置为第一像素值,将所述第一目标图像中除所述冠脉区域图像外的其他区域图像的像素值设置为第二像素值,获得掩模图像;
所述根据所述心脏冠脉分割信息、所述第一目标图像和所述深度学习网络的输出图像获取所述深度学习网络的损失函数的步骤包括以下步骤:
根据所述掩模图像、所述第一目标图像和所述深度学习网络的输出图像获取所述损失函数。
7.根据权利要求3所述的心脏图像的运动伪影校正方法,其特征在于,所述方法还包括以下步骤:
获取多个第二心脏扫描数据,根据所述多个第二心脏扫描数据获取多个第二心脏重建图像,对所述多个第二心脏重建图像进行运动伪影校正后获取第二目标图像;
将所述多个第二心脏重建图像作为测试输入样本,将所述第二目标图像作为测试目标样本,对所述预设的深度学习网络进行性能测试。
8.一种心脏图像的运动伪影校正系统,其特征在于,包括:
图像获取单元,用于获取扫描对象的心脏扫描数据,根据所述心脏扫描数据获取所述扫描对象的心脏重建图像;
图像处理单元,用于将所述心脏重建图像输入至预设的深度学习网络,所述深度学习网络的训练目标样本为第一目标图像;所述第一目标图像是对多个第一心脏重建图像进行运动伪影校正后得到;所述多个第一心脏重建图像从多个第一心脏扫描数据中获取到;所述预设的深度学习网络的损失函数的获取步骤,包括:对所述第一目标图像进行心脏冠脉分割,获得心脏冠脉分割信息;根据所述心脏冠脉分割信息、所述第一目标图像和所述深度学习网络的输出图像获取所述深度学习网络的损失函数;获取所述深度学习网络输出的心脏运动伪影校正图像。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至7中任意一项所述的心脏图像的运动伪影校正方法的步骤。
10.一种心脏图像的运动伪影校正设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至7中任意一项所述的心脏图像的运动伪影校正方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331997.4A CN111462020B (zh) | 2020-04-24 | 2020-04-24 | 心脏图像的运动伪影校正方法、系统、存储介质和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331997.4A CN111462020B (zh) | 2020-04-24 | 2020-04-24 | 心脏图像的运动伪影校正方法、系统、存储介质和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462020A CN111462020A (zh) | 2020-07-28 |
CN111462020B true CN111462020B (zh) | 2023-11-14 |
Family
ID=71685444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010331997.4A Active CN111462020B (zh) | 2020-04-24 | 2020-04-24 | 心脏图像的运动伪影校正方法、系统、存储介质和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462020B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001979B (zh) * | 2020-07-31 | 2024-04-26 | 上海联影医疗科技股份有限公司 | 运动伪影处理方法、系统、可读存储介质和设备 |
CN113450399B (zh) * | 2021-05-28 | 2022-02-25 | 北京医准智能科技有限公司 | 一种正位胸片心胸比测量方法及装置 |
WO2023123352A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for motion correction for medical images |
WO2023123361A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for motion correction for a medical image |
CN115063498A (zh) * | 2021-12-31 | 2022-09-16 | 深圳微创踪影医疗装备有限公司 | 导丝伪影抑制方法、装置、ivus系统和存储介质 |
CN114332287B (zh) * | 2022-03-11 | 2022-07-15 | 之江实验室 | 基于transformer特征共享的PET图像重建方法、装置、设备及介质 |
WO2023183823A1 (en) * | 2022-03-21 | 2023-09-28 | Mayo Foundation For Medical Education And Research | Deep learning-based medical image motion artifact correction |
CN116503509B (zh) * | 2023-06-28 | 2023-09-19 | 医链数科医疗科技(江苏)有限公司 | 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质 |
CN116523924B (zh) * | 2023-07-05 | 2023-08-29 | 吉林大学第一医院 | 一种医学实验用数据处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754448A (zh) * | 2018-12-29 | 2019-05-14 | 深圳安科高技术股份有限公司 | 一种ct心脏扫描伪影校正方法及其系统 |
CN110969633A (zh) * | 2019-11-28 | 2020-04-07 | 南京安科医疗科技有限公司 | 一种心脏ct成像自动最优相位识别方法 |
CN111047607A (zh) * | 2019-12-09 | 2020-04-21 | 赛诺威盛科技(北京)有限公司 | 一种自动分割冠状动脉的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2449080A1 (en) * | 2003-11-13 | 2005-05-13 | Centre Hospitalier De L'universite De Montreal - Chum | Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method |
US11138770B2 (en) * | 2017-11-06 | 2021-10-05 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for medical imaging |
-
2020
- 2020-04-24 CN CN202010331997.4A patent/CN111462020B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754448A (zh) * | 2018-12-29 | 2019-05-14 | 深圳安科高技术股份有限公司 | 一种ct心脏扫描伪影校正方法及其系统 |
CN110969633A (zh) * | 2019-11-28 | 2020-04-07 | 南京安科医疗科技有限公司 | 一种心脏ct成像自动最优相位识别方法 |
CN111047607A (zh) * | 2019-12-09 | 2020-04-21 | 赛诺威盛科技(北京)有限公司 | 一种自动分割冠状动脉的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111462020A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462020B (zh) | 心脏图像的运动伪影校正方法、系统、存储介质和设备 | |
CN111373448B (zh) | 使用机器学习正则化器的图像重建 | |
CN109035355B (zh) | 用于pet图像重建的系统和方法 | |
CN110809782B (zh) | 衰减校正系统和方法 | |
CN110060313B (zh) | 一种图像伪影校正方法和系统 | |
CN104252714B (zh) | 时变数据的重建 | |
CN110751702B (zh) | 图像重建方法、系统、装置及存储介质 | |
RU2471204C2 (ru) | Локальная позитронная эмиссионная томография | |
CN109727663A (zh) | 生成用于图像处理的神经网络模型的系统和方法 | |
CN111540025B (zh) | 预测用于图像处理的图像 | |
CN115605915A (zh) | 一种图像重建系统和方法 | |
RU2595757C2 (ru) | Устройство совмещения изображений | |
CN105849778B (zh) | 成像中的移动结构运动补偿 | |
CN112365560B (zh) | 基于多级网络的图像重建方法、系统、可读存储介质和设备 | |
CN111968110A (zh) | Ct成像方法、装置、存储介质及计算机设备 | |
CN112001979B (zh) | 运动伪影处理方法、系统、可读存储介质和设备 | |
Feng et al. | Dual respiratory and cardiac motion estimation in PET imaging: methods design and quantitative evaluation | |
CN111369636B (zh) | 一种图像重建方法、系统、装置及存储介质 | |
CN110853742B (zh) | 一种图像重建方法、系统、装置及存储介质 | |
CN111862255A (zh) | 正则化图像重建方法、系统、可读存储介质和设备 | |
WO2023219963A1 (en) | Deep learning-based enhancement of multispectral magnetic resonance imaging | |
CN112669405B (zh) | 图像重建方法、系统、可读存储介质和设备 | |
US20220414832A1 (en) | X-ray imaging restoration using deep learning algorithms | |
CN117897733A (zh) | 医学成像系统和方法 | |
Zhong et al. | Super-resolution image reconstruction from sparsity regularization and deep residual-learned priors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |