CN111091567A - 医学图像配准方法、医疗设备及存储介质 - Google Patents
医学图像配准方法、医疗设备及存储介质 Download PDFInfo
- Publication number
- CN111091567A CN111091567A CN202010205018.0A CN202010205018A CN111091567A CN 111091567 A CN111091567 A CN 111091567A CN 202010205018 A CN202010205018 A CN 202010205018A CN 111091567 A CN111091567 A CN 111091567A
- Authority
- CN
- China
- Prior art keywords
- boundary
- image
- registered
- subgraph
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 96
- 230000009466 transformation Effects 0.000 claims abstract description 71
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 15
- 230000008569 process Effects 0.000 abstract description 8
- 238000006073 displacement reaction Methods 0.000 abstract description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及医学图像配准方法、医疗设备及存储介质,其中方法包括获取目标部位的参考医学图像序列以及待配准医学图像序列;确定待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图;分别对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合;基于第一边界点集合以及第二边界点集合中对应边界点的偏移量,确定最优变换;根据最优变换对各个边界子图进行调整,以对所述待配准医学图像序列进行配准。将最优变换作用在边界子图上,能够抵消在扫描的过程中由于位移、呼吸等导致的血管位置在图像中的偏移。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及医学图像配准方法、医疗设备及存储介质。
背景技术
医学图像配准是图像处理研究领域中的一项重要且复杂的任务,由于医学图像会来自不同的采集设备、不同的扫描时间、不同的拍摄角度、不同的研究对象等等。因此,往往在进行图像融合、图像分割等后续处理步骤之前需要先进行图像配准以达到针对同一解剖结构在不同的采集图像中对应于空间中的同一位置。
传统的图像配准方法主要包括基于特征的方法,该方法往往需要利用边缘、表面、像素等信息进行特征提取,配准的成功与否很大程度上依赖于提取的特征。这就导致传统方法存在诸如适用性差、处理速度慢、配准评估不统一等问题。近年来随着深度学习在图像处理领域大放异彩,基于深度学习的图像配准方法也随之兴起。但是对于监督学习来说,依然面临标注数据有限的窘境。总的来说,不管是传统方法还是深度学习方法,均存在一定的局限性。
发明内容
有鉴于此,本发明实施例提供了一种医学图像配准方法、医疗设备及存储介质,以解决医学图像配准的问题。
根据第一方面,本发明实施例提供了一种医学图像配准方法,包括:
获取目标部位的参考医学图像序列以及待配准医学图像序列;
确定所述待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图;
分别对参考医学图像序列的至少一个图像层面以及所述待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合;
基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换;
根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准。
本发明实施例提供的医学图像配准方法,利用对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行边界采样得到的第一边界点集合以及第二边界点集合中对应边界点的偏移量确定最优变换,再利用最优变换对待配准序列中的边界子图进行调整,从而实现对待配准医学图像序列的配准;该方法将最优变换作用在边界子图上,能够抵消在扫描得到各个序列的过程中由于位移、呼吸等导致的血管位置在图像中的偏移,具有较高的配准的准确性。
结合第一方面,在第一方面第一实施方式中,所述基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换,包括:
利用所述第一边界点集合与所述第二边界点集合中对应边界点的偏移量以及变换矩阵形成目标函数;其中,所述第一边界点集合以及所述第二边界点集合为所述目标函数的约束条件。
基于所述目标函数对所述变换矩阵进行优化,以得到所述最优变换。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述目标函数采用如下公式表示:
其中,F为所述变换矩阵,t为常数向量,Fj为所述变换矩阵中的第j列,Fk为所述变换矩
阵中的第k列,Fi为所述变换矩阵中的第i列,movEdge为所述第一边界点集合,targetEdge
为所述第二边界点集合,、为正则化参数,n为第一边界点集合中边界点的数量。
结合第一方面,在第一方面第三实施方式中,所述根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准,包括:
依次将所述最优变换作用在各个所述边界子图上,得到配准后的边界子图;
将所述配准后的边界子图与所述待配准图像序列中对应的图像层面进行融合得到目标图像层面;其中,所述目标图像层面中每个像素点的像素值是基于所述目标图像层面中每个像素点与所述配准后的边界子图的位置关系确定的。
本发明实施例提供的医学图像配准方法,利用目标图像层面中每个像素点与所述配准后的边界子图的位置关系确定目标图像层面中各个像素点的像素值,能够减少数据处理量,提高了医学图像配准的效率。
结合第一方面第三实施方式,在第一方面第四实施方式中,所述将所述配准后的边界子图与所述待配准图像序列中对应的图像层面进行融合得到目标图像层面,包括:
当所述目标图像层面的像素点位于所述配准后的边界子图内时,所述目标图像层面的像素点的像素值为所述配准后的边界子图对应像素点的像素值;
当所述目标图像层面的像素点位于所述配准后的边界子图外时,所述目标图像层面的像素点的像素值为所述边界子图对应像素点的像素值;
当所述目标图像层面的像素点位于所述配准后的边界子图的边界时,所述目标图像层面的像素点的像素值为所述边界子图对应像素点的像素值与所述配准后的边界子图对应像素点的像素值的插值结果。
结合第一方面,在第一方面第五实施方式中,所述确定所述待配准医学图像序列的各个图像层面中血管的边界,以得到各个图像层面的边界子图,包括:
基于所述参考医学图像序列,形成血管管腔的掩膜图像;
确定所述血管管腔的掩膜图像中每根血管的感兴趣区域及所述感兴趣区域内的种子点位置;
利用所述每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,得到所述各个图像层面的边界子图。
本发明实施例提供的医学图像配准方法,利用参考医学图像序列形成血管管腔的掩膜图像,避免采用参考医学图像中的所有区域进行后续边界组图的提取,能够减少数据处理量;此外,由于血管管腔的轮廓相对于血管管壁的轮廓更容易被识别,因此,利用血管管腔的掩膜图像能够提高后续配准的准确性。
结合第一方面第五实施方式,在第一方面第六实施方式中,所述确定所述血管管腔的掩膜图像中每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,包括:
对所述掩膜图像进行连通区域标记,得到所述掩膜图像中每根血管的位置;
基于所述掩膜图像中每根血管的位置,提取每根血管的边界点以形成血管管腔的包围盒;
将所述包围盒往外扩充预设数量的像素点得到每根血管对应的感兴趣区域;
计算所述感兴趣区域内所有像素点的坐标平均值得到所述种子点位置。
结合第一方面第六实施方式,在第一方面第七实施方式中,所述利用所述每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,得到所述各个图像层面的边界子图,包括:
基于所述每根血管对应的感兴趣区域生成模板图;
将所述模板图与所述各个图像层面相乘得到待处理子图;
利用所述每根血管对应的所述种子点位置,在极坐标系下确定所述待处理子图中血管管腔的边界,以得到所述边界子图。
本发明实施例提供的医学图像配准方法,利用感兴趣区域进行边界子图的提取,使得边界子图的提取仅在感兴趣区域内进行,减少了数据处理量。
结合第一方面第七实施方式,在第一方面第八实施方式中,所述利用所述每根血管对应的所述种子点位置,在极坐标系下确定所述待处理子图中血管管腔的边界,以得到所述边界子图,包括:
以所述种子点位置为极坐标原点,将所述待处理子图转换为极坐标系下的待处理子图;
计算所述极坐标系下的待处理子图的梯度图;
利用预设值筛选出所述极坐标系下的待处理子图中血管管腔的边界点,得到所述边界子图。
根据第二方面,本发明实施例还提供了一种医学图像配准装置,包括:
获取模块,用于获取目标部位的参考医学图像序列以及待配准医学图像序列;
确定模块,用于确定所述待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图;
采样模块,用于分别对参考医学图像序列的至少一个图像层面以及所述待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合;
最优变换确定模块,用于基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换;
配准模块,用于根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准。
本发明实施例提供的医学图像配准装置,利用对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行边界采样得到的第一边界点集合以及第二边界点集合中对应边界点的偏移量确定最优变换,再利用最优变换对待配准序列中的边界子图进行调整,从而实现对待配准医学图像序列的配准;该装置将最优变换作用在边界子图上,能够抵消在扫描得到各个序列的过程中由于位移、呼吸等导致的血管位置在图像中的偏移,具有较高的配准的准确性。
根据第三方面,本发明实施例提供了一种医疗设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的医学图像配准方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的医学图像配准方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的医疗图像配准方法的流程图;
图2是根据本发明实施例的医疗图像配准方法的流程图;
图3是根据本发明实施例的优化指标随迭代次数的变化图;
图4a是根据本发明实施例的配准前的图像层面的示意图;
图4b是根据本发明实施例的配准后的图像层面的示意图;
图5是根据本发明实施例的医疗图像配准方法的流程图;
图6是根据本发明实施例的医疗图像配准装置的结构框图;
图7是本发明实施例提供的医疗设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明实施例,提供了一种医学图像配准方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种医学图像配准方法,可用于医疗设备,如医疗平板、医疗电脑等,图1是根据本发明实施例的医学图像配准方法的流程图,如图1所示,该流程包括如下步骤:
S11,获取目标部位的参考医学图像序列以及待配准医学图像序列。
其中,目标部位可以是颈动脉部位,也可以是其他部位等等,在此对具体的目标部位并不做任何限制,只需保证参考医学图像序列以及待配准医学图像序列是针对同一个目标部位的。
所述的图像序列可以是多模态的磁共振图像序列,例如,可以是纵向弛豫时间
加权(T1加权成像),横向弛豫时间加权(T2加权成像)、时间飞逝(Time of flight,简称
为TOF)序列、T1对比度增强序列T1C和PD序列等等。其中,可以选用或T1C作为参考图像序
列,其他作为待配准图像序列。
对于参考医学图像序列以及待配准医学图像序列而言,各自均包括多个连续的图像层面。
所述的配准就是对待配准医学图像序列进行血管边界的提取与处理,使得处理后的血管边界与参考医学图像序列中对应的血管边界重合。
医疗设备所获取到的目标部位的参考医学图像序列以及待配准医学图像序列可以是磁共振设备实时采集到并发送给医疗设备的,也可以是事先存储的医疗设备中的,在此对参考医学图像序列以及待配准医学图像序列的获取方式并不做任何限制,只需保证医疗设备能够获取到目标部位的医学图像序列即可。
S12,确定待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图。
医疗设备对待配准医学图像序列中的每个图像层面进行血管边界的确定,得到与图像层面一一对应的边界子图。其中,边界子图用于表示图像层面中的血管边界及其内部像素点。
对于图像层面中血管边界的确定可以采用手动勾画得到;也可以采用半自动或自动方式进行,其中,对于半自动方式,用户可以点击种子点标识管腔区域所在然后采用水平集、区域增长等分割算法得到血管边界;对于全自动方式,则可以采用梯度法提取血管边界。当然也可以采用其他方式进行血管边界的确定,在此对图像层面中血管边界的确定方式并不做任何限制。
S13,分别对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合。
医疗设备也可以采用上述S12中所述确定血管边界的方式确定参考医学图像序列中图像层面的血管边界,具体方式可以参见上文描述,在此并不做任何限制。
医疗设备可以对参考图像序列以及待配准图像序列中的至少一个图像层面进行血管边界的采样,得到多个边界点,形成边界点集合。其中可以是对一个图像层面进行采样,也可以是对多个图像层面进行采样,在此对采样所用到的图像层面的数量并不做任何限制。这是由于,同一图像序列中,各个图像层面之间的偏移量并不是很大,因此对一个图像层面进行血管边界的采样就能够反映出该图像序列中的血管边界,从而可以减少数据处理量。
在下文的描述中,对参考图像序列中的一个图像层面以及待配准医学图像序列中的对应的一个图像层面分别进行血管边界的采样。以对参考图像序列中的图像层面进行血管边界的采样为例,对于参考图像序列中的图像层面而言,可以先分割出血管边界,再分割出的血管边界进行等角度采样,例如每隔10°进行一次采样,每次采样得到多个采样点;即,对应于0°,得到采样点;对应于10°,得到采样点;…;对应于350°,得到采样点。在得到对应于各个采样角度的采样点之后,形成第一边界点集合。采用相同的方式,可以形成第二边界点集合。
S14,基于第一边界点集合以及第二边界点集合中对应边界点的偏移量,确定最优变换。
其中,所述的最优变换是用于使得配准后的待配准图像序列中各个图像层面的血管边界与参考图像序列中对应图像层面的血管边界重合。所述的重合,即两个血管边界的偏移量为0。
医疗设备在得到第一边界点集合以及第二边界点集合之后,可以采用曲线拟合的方式,得到第一边界点集合以及第二边界点集合中的偏移量,基于该偏移量确定最优变换;医疗设备也可以采用函数优化的方式确定最优变换,具体将在下文中进行详细描述。
S15,根据最优变换对各个边界子图进行调整,以对待配准医学图像序列进行配准。
医疗设备在确定出最优变换之后,就可以对S12中确定的各个边界子图进行调整,以使得调整后的血管边界与参考图像序列中对应图像层面的血管边界重合。
所述的调整,可以是对边界子图中的各个像素点的像素值进行调整,也可以是将整个边界子图作为一个整体进行整体偏移量的调整等等,在此并不做任何限制。具体的调整将在下文中进行详细描述。
本实施例提供的医学图像配准方法,利用对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行边界采样得到的第一边界点集合以及第二边界点集合中对应边界点的偏移量确定最优变换,再利用最优变换对待配准序列中的边界子图进行调整,从而实现对待配准医学图像序列的配准;该方法将最优变换作用在边界子图上,能够抵消在扫描得到各个序列的过程中由于位移、呼吸灯导致的血管位置在图像中的偏移,具有较高的配准的准确性。
在本实施例中提供了一种医学图像配准方法,可用于医疗设备,如医疗平板、医疗电脑等,图2是根据本发明实施例的医学图像配准方法的流程图,如图2所示,该流程包括如下步骤:
S21,获取目标部位的参考医学图像序列以及待配准医学图像序列。
详细请参见图1所示实施例的S11,在此不再赘述。
S22,确定待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图。
详细请参见图1所示实施例的S12,在此不再赘述。
S23,分别对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合。
详细请参见图1所示实施例的S13,在此不再赘述。
S24,基于第一边界点集合以及第二边界点集合中对应边界点的偏移量,确定最优变换。
具体地,上述S24包括如下步骤:
S241,利用第一边界点集合与第二边界点集合中对应边界点的偏移量以及变换矩阵形成目标函数。
其中,所述第一边界点集合以及所述第二边界点集合为目标函数的约束条件。
对于二维图像来说,变换矩阵的维数为2*2。所述目标函数采用如下公式表示:
其中,F为所述变换矩阵,t为常数向量,Fj为所述变换矩阵中的第j列,Fk为所述变换矩
阵中的第k列,Fi为所述变换矩阵中的第i列,movEdge为所述第一边界点集合,targetEdge
为所述第二边界点集合,、为正则化参数,n为第一边界点集合中边界点的数量。
S242,基于目标函数对变换矩阵进行优化,以得到最优变换。
对于上述目标函数可以采用随机梯度下降方法进行求解。其中,在下文中,以2维的仿射变换为例具体说明采用梯度下降方法求解该优化问题的步骤:
如图3所示,图3示出了优化指标随迭代次数的变化图。随着迭代次数的增加,优化指标趋向于平缓变化。
S25,根据最优变换对各个边界子图进行调整,以对待配准医学图像序列进行配准。
具体地,上述S25包括如下步骤:
S251,依次将最优变换作用在各个边界子图上,得到配准后的边界子图。
医疗设备将上述S24中得到的最优变换作用到S22中得到的各个边界子图上,得到新的配准后的边界子图。例如,可以表示为:
S252,将配准后的边界子图与待配准图像序列中对应的图像层面进行融合得到目标图像层面。
其中,所述目标图像层面中每个像素点的像素值是基于目标图像层面中每个像素点与配准后的边界子图的位置关系确定的。
具体地,目标图像层面中的每个像素点与配准后的边界子图的位置关系可以分为如下几种情况:
(1)当目标图像层面的像素点位于配准后的边界子图内时,所述目标图像层面的像素点的像素值为配准后的边界子图对应像素点的像素值;
(2)当目标图像层面的像素点位于配准后的边界子图外时,所述目标图像层面的像素点的像素值为边界子图对应像素点的像素值;
(3)当目标图像层面的像素点位于配准后的边界子图的边界时,所述目标图像层面的像素点的像素值为边界子图对应像素点的像素值与配准后的边界子图对应像素点的像素值的插值结果。
如图4a以及图4b所示,其中,图4a是配准前参考医学图像序列和待配准医学图像序列作差得到的图;图4b是配准后参考医学图像序列和待配准医学图像序列作差得到的图。两者差值越小,说明配准的效果越好。即作差图为一张全黑的图(全0)达到最优。对比图4a以及图4b,可以看出,配准之后是有效果的。
本实施例提供的医学图像配准方法,利用目标图像层面中每个像素点与所述配准后的边界子图的位置关系确定目标图像层面中各个像素点的像素值,能够减少数据处理量,提高了医学图像配准的效率。
在本实施例中提供了一种医学图像配准方法,可用于医疗设备,如医疗平板、医疗电脑等,图5是根据本发明实施例的医学图像配准方法的流程图,如图5所示,该流程包括如下步骤:
S31,获取目标部位的参考医学图像序列以及待配准医学图像序列。
详细请参见图2所示实施例的S21,在此不再赘述。
S32,确定待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图。
具体地,上述S32包括如下步骤:
S321,基于参考医学图像序列,形成血管管腔的掩膜图像。
其中,关于血管管腔的边界提取可以参见上文的描述,在此不再赘述。在得到血管管腔的边界之后,利用血管管腔的边界形成血管管腔区域从而得到血管管腔的掩膜图像。
对于参考医学图像序列而言,由于同一序列中各个图像层面的偏移量并不大,因此可以仅仅形成一个血管管腔的掩膜图像。
S322,确定血管管腔的掩膜图像中每根血管的感兴趣区域及感兴趣区域内的种子点位置。
医疗设备在形成血管管腔的掩膜图像之后,通过掩膜图像得到每根血管的感兴趣区域以及感兴趣区域内的种子点位置。其中,感兴趣区域可以是在每个血管管腔区域进行外扩得到,而种子点的位置是基于感兴趣区域得到的。具体地,上述S322可以包括如下步骤:
(1)对掩膜图像进行连通区域标记,得到掩膜图像中每根血管的位置。
(2)基于掩膜图像中每根血管的位置,提取每根血管的边界点以形成血管管腔的包围盒。
(3)将包围盒往外扩充预设数量的像素点得到每根血管对应的感兴趣区域。
在下文中以向外扩充1个像素点为例来说明该过程,具体可以包括如下步骤:
(3.2)按照8邻域逆时针方向或顺时针方向计算下一个未被标记的点nextIndex,如果当前点的所有8个邻居点都已被遍历过,直接进入下一次循环;否则,将nextIndex标记为管腔。同时将下一个点nextIndex赋值给preIndex。重复执行(3.2)直到遍历完当前点curIndex的所有8个邻居点。
(4)计算感兴趣区域内所有像素点的坐标平均值得到种子点位置。
医疗设备在形成感兴趣区域之后,计算该感兴趣区域内所有像素点的坐标的平均值,即可得到种子点在感兴趣区域中的位置,简称为种子点位置。
由此,对于掩膜图像中的每根血管均可以得到一个感兴趣区域,每个感兴趣区域对应一个种子点。
S323,利用每根血管的感兴趣区域及感兴趣区域内的种子点位置,得到各个图像层面的边界子图。
医疗设备可以利用感兴趣区域以及种子点在待配准序列的每个图像层面中分割出各个血管管腔的位置。具体地,上述S323包括如下步骤:
(1)基于每根血管对应的感兴趣区域生成模板图。
(2)将模板图与各个图像层面相乘得到待处理子图。
(3)利用每根血管对应的种子点位置,在极坐标系下确定待处理子图中血管管腔的边界,以得到边界子图。
医疗设备在得到待处理子图之后,利用每根血管对应的种子点位置,利用梯度图的方式确定待处理子图中血管管腔的边界,得到边界子图。其中,边界子图与血管是一一对应的。
其中,每个图像层面包括多根血管,每根血管对应于一个感兴趣区域以及种子点位置,即,每根血管对应一个待处理子图。对于每根血管而言,由待处理子图形成边界子图的方式相同,在下文中仅以一根血管为例进行描述。具体地,可以采用如下步骤实现:
(3.1)以种子点位置为极坐标原点,将待处理子图转换为极坐标系下的待处理子图。
以stepTheta和stepRho为步长分别对角度范围[-pi,pi]以及半径范围[0,maxRho]对待处理子图的角度和半径进行采样得到向量thetaVec和rhoVec,得到的向量长度分别为thetaVecSize和rhoVecSize。
对向量thetaVec和rhoVec进行网格化(即,分别以向量thetaVec和rhoVec中包含的坐标返回二维网格坐标)得到矩阵Theta和Rho,矩阵的大小均为rhoVecSize*thetaVecSize。
转换后的极坐标系表示为矩阵Polar,大小为rhoVecSize*thetaVecSize,该矩阵
元素polar(i,j)代表角度为Theta(i,j),半径为Rho(i,j)位置处的像素值,该位置对应的
直角坐标为:。该位置处的
像素值可通过插值得到,具体插值方法可选用最近邻、线性等,这里不再赘述。
医疗设备利用上述步骤,即可将待处理子图转换为极坐标下的待处理子图。
(3.2)计算极坐标系下的待处理子图的梯度图。
(3.3)利用预设值筛选出极坐标系下的待处理子图中血管管腔的边界点,得到边界子图。
利用感兴趣区域进行边界子图的提取,使得边界子图的提取仅在感兴趣区域内进行,减少了数据处理量。
S33,分别对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合。
详细请参见图2所示实施例的S23,在此不再赘述。
S34,基于第一边界点集合以及第二边界点集合中对应边界点的偏移量,确定最优变换。
详细请参见图2所示实施例的S24,在此不再赘述。
S35,根据最优变换对各个边界子图进行调整,以对待配准医学图像序列进行配准。
详细请参见图2所示实施例的S25,在此不再赘述。
本实施例提供的医学图像配准方法,利用参考医学图像序列形成血管管腔的掩膜图像,避免采用参考医学图像中的所有区域进行后续边界组图的提取,能够减少数据处理量;此外,由于血管管腔的轮廓相对于血管管壁的轮廓更容易被识别,因此,利用血管管腔的掩膜图像能够提高后续配准的准确性。
在本实施例中还提供了一种医学图像配准装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种医学图像配准装置,如图6所示,包括:
获取模块41,用于获取目标部位的参考医学图像序列以及待配准医学图像序列;
确定模块42,用于确定所述待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图;
采样模块43,用于分别对参考医学图像序列的至少一个图像层面以及所述待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合;
最优变换确定模块44,用于基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换;
配准模块45,用于根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准。
本实施例提供的医学图像配准装置,利用对参考医学图像序列的至少一个图像层面以及待配准医学图像序列的至少一个图像层面进行边界采样得到的第一边界点集合以及第二边界点集合中对应边界点的偏移量确定最优变换,再利用最优变换对待配准序列中的边界子图进行调整,从而实现对待配准医学图像序列的配准;该装置将最优变换作用在边界子图上,能够抵消在扫描得到各个序列的过程中由于位移、呼吸等导致的血管位置在图像中的偏移,具有较高的配准的准确性。
本实施例中的医学图像配准装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种医疗设备,具有上述图6所示的医学图像配准装置。
请参阅图7,图7是本发明可选实施例提供的一种医疗设备的结构示意图,如图7所示,该医疗设备可以包括:至少一个处理器51,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(Display)、键盘(Keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器54还可以包括上述种类的存储器的组合。
其中,处理器51可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic, 缩写:GAL)或其任意组合。
可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本申请图1、2以及5实施例中所示的医疗图像配准方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的医疗图像配准方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (11)
1.一种医学图像配准方法,其特征在于,包括:
获取目标部位的参考医学图像序列以及待配准医学图像序列;
确定所述待配准医学图像序列的各个图像层面中的血管边界,以得到各个图像层面的边界子图;
分别对参考医学图像序列的至少一个图像层面以及所述待配准医学图像序列的至少一个图像层面进行血管边界的采样,得到第一边界点集合以及第二边界点集合;
基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换;
根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一边界点集合以及所述第二边界点集合中对应边界点的偏移量,确定最优变换,包括:
利用所述第一边界点集合与所述第二边界点集合中对应边界点的偏移量以及变换矩阵形成目标函数;其中,所述第一边界点集合以及所述第二边界点集合为所述目标函数的约束条件;
基于所述目标函数对所述变换矩阵进行优化,以得到所述最优变换。
4.根据权利要求1所述的方法,其特征在于,所述根据所述最优变换对各个所述边界子图进行调整,以对所述待配准医学图像序列进行配准,包括:
依次将所述最优变换作用在各个所述边界子图上,得到配准后的边界子图;
将所述配准后的边界子图与所述待配准医学图像序列中对应的图像层面进行融合得到目标图像层面;其中,所述目标图像层面中每个像素点的像素值是基于所述目标图像层面中每个像素点与所述配准后的边界子图的位置关系确定的。
5.根据权利要求4所述的方法,其特征在于,所述将所述配准后的边界子图与所述待配准图像序列中对应的图像层面进行融合得到目标图像层面,包括:
当所述目标图像层面的像素点位于所述配准后的边界子图内时,所述目标图像层面的像素点的像素值为所述配准后的边界子图对应像素点的像素值;
当所述目标图像层面的像素点位于所述配准后的边界子图外时,所述目标图像层面的像素点的像素值为所述边界子图对应像素点的像素值;
当所述目标图像层面的像素点位于所述配准后的边界子图的边界时,所述目标图像层面的像素点的像素值为所述边界子图对应像素点的像素值与所述配准后的边界子图对应像素点的像素值的插值结果。
6.根据权利要求1所述的方法,其特征在于,所述确定所述待配准医学图像序列的各个图像层面中血管的边界,以得到各个图像层面的边界子图,包括:
基于所述参考医学图像序列,形成血管管腔的掩膜图像;
确定所述血管管腔的掩膜图像中每根血管的感兴趣区域及所述感兴趣区域内的种子点位置;
利用所述每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,得到所述各个图像层面的边界子图。
7.根据权利要求6所述的方法,其特征在于,所述确定所述血管管腔的掩膜图像中每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,包括:
对所述掩膜图像进行连通区域标记,得到所述掩膜图像中每根血管的位置;
基于所述掩膜图像中每根血管的位置,提取每根血管的边界点以形成血管管腔的包围盒;
将所述包围盒往外扩充预设数量的像素点得到每根血管对应的感兴趣区域;
计算所述感兴趣区域内所有像素点的坐标平均值得到所述种子点位置。
8.根据权利要求7所述的方法,其特征在于,所述利用所述每根血管的感兴趣区域及所述感兴趣区域内的种子点位置,得到所述各个图像层面的边界子图,包括:
基于所述每根血管对应的感兴趣区域生成模板图;
将所述模板图与所述各个图像层面相乘得到待处理子图;
利用所述每根血管对应的所述种子点位置,在极坐标系下确定所述待处理子图中血管管腔的边界,以得到所述边界子图。
9.根据权利要求8所述的方法,其特征在于,所述利用所述每根血管对应的所述种子点位置,在极坐标系下确定所述待处理子图中血管管腔的边界,以得到所述边界子图,包括:
以所述种子点位置为极坐标原点,将所述待处理子图转换为极坐标系下的待处理子图;
计算所述极坐标系下的待处理子图的梯度图;
利用预设值筛选出所述极坐标系下的待处理子图中血管管腔的边界点,得到所述边界子图。
10.一种医疗设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-9中任一项所述的医学图像配准方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的医学图像配准方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010205018.0A CN111091567B (zh) | 2020-03-23 | 2020-03-23 | 医学图像配准方法、医疗设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010205018.0A CN111091567B (zh) | 2020-03-23 | 2020-03-23 | 医学图像配准方法、医疗设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091567A true CN111091567A (zh) | 2020-05-01 |
CN111091567B CN111091567B (zh) | 2020-06-23 |
Family
ID=70400608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010205018.0A Active CN111091567B (zh) | 2020-03-23 | 2020-03-23 | 医学图像配准方法、医疗设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091567B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932595A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技(深圳)有限公司 | 图像配准方法、装置、电子设备及存储介质 |
CN112509020A (zh) * | 2020-12-07 | 2021-03-16 | 昆山戎影医疗科技有限公司 | 血管外部影像与腔内影像的配准方法、装置及计算设备 |
CN112565690A (zh) * | 2020-11-27 | 2021-03-26 | 杭州鲁尔物联科技有限公司 | 一种隧道收敛监测方法及装置 |
CN113192031A (zh) * | 2021-04-29 | 2021-07-30 | 上海联影医疗科技股份有限公司 | 血管分析方法、装置、计算机设备和存储介质 |
CN113269798A (zh) * | 2021-05-14 | 2021-08-17 | 深圳市嘉骏实业有限公司 | 一种医学图像分割方法、装置、计算机设备及其存储介质 |
CN113298831A (zh) * | 2021-06-30 | 2021-08-24 | 上海联影医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤(北京)网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
CN101727666A (zh) * | 2008-11-03 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像分割方法及装置、图像倒置判断及胸片前后区分方法 |
CN104867104A (zh) * | 2015-05-20 | 2015-08-26 | 天津大学 | 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法 |
CN106373108A (zh) * | 2016-08-29 | 2017-02-01 | 王磊 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
-
2020
- 2020-03-23 CN CN202010205018.0A patent/CN111091567B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
CN101727666A (zh) * | 2008-11-03 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像分割方法及装置、图像倒置判断及胸片前后区分方法 |
CN104867104A (zh) * | 2015-05-20 | 2015-08-26 | 天津大学 | 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法 |
CN106373108A (zh) * | 2016-08-29 | 2017-02-01 | 王磊 | 一种将实时超声图像与术前核磁图像进行融合的方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932595A (zh) * | 2020-09-24 | 2020-11-13 | 平安科技(深圳)有限公司 | 图像配准方法、装置、电子设备及存储介质 |
CN112565690A (zh) * | 2020-11-27 | 2021-03-26 | 杭州鲁尔物联科技有限公司 | 一种隧道收敛监测方法及装置 |
CN112509020A (zh) * | 2020-12-07 | 2021-03-16 | 昆山戎影医疗科技有限公司 | 血管外部影像与腔内影像的配准方法、装置及计算设备 |
CN112509020B (zh) * | 2020-12-07 | 2021-09-28 | 昆山戎影医疗科技有限公司 | 血管外部影像与腔内影像的配准方法、装置及计算设备 |
CN113192031A (zh) * | 2021-04-29 | 2021-07-30 | 上海联影医疗科技股份有限公司 | 血管分析方法、装置、计算机设备和存储介质 |
CN113192031B (zh) * | 2021-04-29 | 2023-05-30 | 上海联影医疗科技股份有限公司 | 血管分析方法、装置、计算机设备和存储介质 |
CN113269798A (zh) * | 2021-05-14 | 2021-08-17 | 深圳市嘉骏实业有限公司 | 一种医学图像分割方法、装置、计算机设备及其存储介质 |
CN113298831A (zh) * | 2021-06-30 | 2021-08-24 | 上海联影医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN113298831B (zh) * | 2021-06-30 | 2022-03-29 | 上海联影医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN113902780A (zh) * | 2021-08-31 | 2022-01-07 | 数坤(北京)网络科技有限公司 | 一种影像配准方法、装置、设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111091567B (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091567B (zh) | 医学图像配准方法、医疗设备及存储介质 | |
TWI762860B (zh) | 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體 | |
Huang et al. | Single image super-resolution from transformed self-exemplars | |
Michaeli et al. | Nonparametric blind super-resolution | |
WO2015139574A1 (zh) | 一种静态物体重建方法和系统 | |
CN109389555B (zh) | 一种全景图像拼接方法及装置 | |
CN108230376B (zh) | 遥感图像处理方法、装置和电子设备 | |
CN109035170B (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
CN104574347A (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN108961180B (zh) | 红外图像增强方法及系统 | |
CN109242959B (zh) | 三维场景重建方法及系统 | |
CN108759788B (zh) | 无人机影像定位定姿方法及无人机 | |
CN103034982A (zh) | 一种基于变焦视频序列的图像超分辨率重建方法 | |
Feuerstein et al. | Reconstruction of 3-D histology images by simultaneous deformable registration | |
CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
CN112419343B (zh) | 用于图像分割的系统和方法 | |
CN110599424B (zh) | 影像自动匀色处理方法及装置、电子设备、存储介质 | |
CN114418869B (zh) | 一种文档图像几何校正方法、系统、装置及介质 | |
Zhang et al. | GPU-accelerated large-size VHR images registration via coarse-to-fine matching | |
CN112950684B (zh) | 基于表面配准的目标特征提取方法、装置、设备和介质 | |
Zhao et al. | Learning probabilistic coordinate fields for robust correspondences | |
CN109993695B (zh) | 一种不规则图形标注的图像碎片拼接方法及系统 | |
JP2011002965A (ja) | 画像検索方法および装置 | |
JP2023145404A (ja) | イメージ間の対応関係を識別するためにピラミッド及び固有性マッチングフライアを使用するシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |