CN111968160B - 图像匹配方法和存储介质 - Google Patents
图像匹配方法和存储介质 Download PDFInfo
- Publication number
- CN111968160B CN111968160B CN202010680585.1A CN202010680585A CN111968160B CN 111968160 B CN111968160 B CN 111968160B CN 202010680585 A CN202010680585 A CN 202010680585A CN 111968160 B CN111968160 B CN 111968160B
- Authority
- CN
- China
- Prior art keywords
- image
- interest
- region
- intercepted
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 26
- 238000007667 floating Methods 0.000 claims description 15
- 230000002457 bidirectional effect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像匹配方法和存储介质。包括:基于获取的第一医学图像对获取的第二医学图像进行空间位置配准,得到转换医学图像;获取第一医学图像对应的第一感兴趣区域的属性信息,第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。采用本方法能够提高图像匹配的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像匹配方法和存储介质。
背景技术
随着医疗影像技术的不断发展,在患者去医院进行身体检查时,通常医生都会给患者拍摄相应部位的影像,并通过对拍摄的影像进行分析,就可以得到影像分析结果。
通常,为了能够掌握患者的检测部位的变化情况,一般会在多个时刻采集患者的检测部位的影像,得到多个不同时刻的影像,然后基于每个影像中检测部位的中心点对这多个不同时刻的影像进行匹配,得到匹配结果。
然而上述图像处理方法存在得到的匹配结果不够准确的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像匹配准确性的图像匹配方法、装置、计算机设备和存储介质。
一种图像匹配方法,该方法包括:
获取第一医学图像和第二医学图像;
基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在其中一个实施例中,上述第一感兴趣区域的属性信息包括第一感兴趣区域的长径大小,第二感兴趣区域的属性信息包括第二感兴趣区域的长径大小,上述基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框,包括:
根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小;
基于目标长径大小,得到目标提取框。
在其中一个实施例中,上述第一感兴趣区域的属性信息包括第一感兴趣区域的中心点位置,第二感兴趣区域的属性信息包括第二感兴趣区域的中心点位置,上述通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像,包括:
将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像;
将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
在其中一个实施例中,上述对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果,包括:
分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在其中一个实施例中,上述分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果,包括:
计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;该第一相似度矩阵中的各个第一相似度表征每个第一截取图像与各个第二截取图像之间的相似程度;
计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;该第二相似度矩阵中的各个第二相似度表征每个第二截取图像与各个第一截取图像之间的相似程度;
基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在其中一个实施例中,上述基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果,包括:
根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果;该第一匹配结果用于表征第一截取图像与目标第二截取图像是否匹配,目标第二截取图像为第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像;
根据第二相似度矩阵中的各个第二相似度,得到每个第二截取图像对应的第二匹配结果;该第二匹配结果用于表征第二截取图像与目标第一截取图像是否匹配,目标第一截取图像为第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像;
根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在其中一个实施例中,上述根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果,包括:
若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配;
确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
在其中一个实施例中,上述根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果,包括:
判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;
若大于,则确定第一截取图像对应的第一匹配结果为匹配;
否则,确定第一截取图像对应的第一匹配结果为不匹配。
在其中一个实施例中,上述第一医学图像为参考图像以及第二医学图像为浮动图像,或者,上述第一医学图像为浮动图像以及第二医学图像为参考图像。
一种图像匹配装置,该装置包括:
第一获取模块,用于获取第一医学图像和第二医学图像;
配准模块,用于基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
第二获取模块,用于获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
框确定模块,用于基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
截取模块,用于通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
匹配模块,用于对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取第一医学图像和第二医学图像;
基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取第一医学图像和第二医学图像;
基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
上述图像匹配方法、装置、计算机设备和存储介质,通过获取的第一医学图像对获取的第二医学图像进行配准,得到转换医学图像,获取第一医学图像和第二医学图像或转换医学图像分别对应的第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框,并通过目标提取框在第一医学图像和转换医学图像上对应截取感兴趣区域,得到对应的第一截取图像和第二截取图像,对第一截取图像和第二街区图像进行匹配处理,得到第一感兴趣区域和第二感兴趣区域的匹配结果。在该方法中,由于在感兴趣匹配之前先对原图进行了配准,这样在后续利用配准后的图像进行感兴趣区域匹配时,可以使匹配结果更加准确;另外,由于通过感兴趣区域的属性信息确定了目标提取框,并采用目标提取框截取图像进行感兴趣区域匹配,可见,该方法采用的是目标提取框所在的截图之间进行匹配,而不仅仅只有感兴趣区域的中心点,其结合的感兴趣区域的信息更多也更加丰富,因此,最终利用截图进行匹配,得到的感兴趣区域的匹配结果也会更加准确。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中图像匹配方法的流程示意图;
图3为另一个实施例中图像匹配方法的流程示意图;
图4为另一个实施例中图像匹配方法的流程示意图;
图5为另一个实施例中图像匹配方法的流程示意图;
图6为一个实施例中图像匹配装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像匹配方法,可以应用于计算机设备,该计算机设备可以是终端,也可以是服务器。以该计算机设备是终端为例,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像匹配方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例的执行主体可以是计算机设备,也可以是图像匹配装置,下面就以执行主体为计算机设备来进行说明。
在一个实施例中,提供了一种图像匹配方法,本实施例涉及的是如何基于第一医学图像和第二医学图像的感兴趣区域的属性信息,对这两幅图像进行感兴趣区域匹配的具体过程。如图2所示,该方法可以包括以下步骤:
S202,获取第一医学图像和第二医学图像。
其中,第一医学图像和第二医学图像可以是针对同一对象的同一部位,在不同时刻拍摄的医学图像,可以植物图像、人体图像、动物体图像等等。
可选的,第一医学图像为参考图像以及第二医学图像为浮动图像,或者,上述第一医学图像为浮动图像以及第二医学图像为参考图像。也就是说,如果第一医学图像为参考图像,那么第二医学图像就为浮动图像,如果第一医学图像为浮动图像,那么第二医学图像就为参考图像。总之,两者的关系是相对的。另外,这里的参考图像指的是以该图像作为参考,也可以称为基线图像,浮动图像也可以称为是随访图像,指的是相对于参考图像的不同时刻的医学图像。
具体的,计算机设备可以通过扫描设备在不同时刻对同一对象进行扫描,得到第一医学图像和第二医学图像,也可以是预先存储有第一医学图像和第二医学图像的数据库或云端读取得到,当然还可以是其他获取方式,本实施例在此不作具体限定。
S204,基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像。
在本步骤中,可以采用刚性配准方法对第一医学图像和第二医学图像进行配准,在配准时,可以分别在第一医学图像和第二医学图像上进行关键点选取,然后对第一医学图像和第二医学图像上的各关键点进行相似性度量,得到第一医学图像和第二医学图像上的匹配特征点对。
接着,通过匹配的特征点对之间的相对位置关系,得到第一医学图像和第二医学图像之间的空间坐标变换参数,也可以称为空间变换关系。
最后,采用空间坐标变换参数(空间变换关系)对第二医学图像进行转换,将第二医学图像的空间位置转换到第一医学图像的空间位置上,得到转换后的第二医学图像,记为转换医学图像。
S206,获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息。
在本步骤中,第一医学图像中的感兴趣区域均记为第一感兴趣区域,第二医学图像和转换医学图像中的感兴趣区域均记为第二感兴趣区域,第一感兴趣区域的数量可以是一个或多个,第二感兴趣区域的数量也可以是一个或多个。
计算机设备可以采用目标检测算法对第一医学图像进行目标检测,这里的目标指的就是第一感兴趣区域,那么就可以得到第一医学图像对应的第一目标检测结果,里面包括第一感兴趣区域的相关信息,记为第一感兴趣区域的属性信息。第一感兴趣区域的属性信息可以包括:第一感兴趣区域的中心点位置、第一感兴趣区域的长径大小、短径大小、第一感兴趣区域的体积、第一感兴趣区域的轮廓、第一感兴趣区域的概率值等等。
相应地,可以采用目标检测算法对第二医学图像或转换医学图像进行目标检测,这里的目标指的就是第二感兴趣区域,那么就可以得到第二医学图像或转换医学图像对应的第二目标检测结果,里面包括第二感兴趣区域的相关信息,记为第二感兴趣区域的属性信息。第二感兴趣区域的属性信息可以包括:第二感兴趣区域的中心点位置、第二感兴趣区域的长径大小、短径大小、第二感兴趣区域的体积、第二感兴趣区域的轮廓、第二感兴趣区域的概率值等等。
另外,目标检测算法可以采用yolo目标检测算法,或者预先训练好的深度学习模型、神经网络模型等等。
S208,基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框。
在本步骤中,在得到第一感兴趣区域的属性信息和第二感兴趣区域的属性信息之后,可以对所有感兴趣区域的属性信息进行统计,以感兴趣区域的体积为例,可以从中找出最大的感兴趣区域体积,并将能涵盖住该最大的感兴趣区域体积的一个立体三维框作为目标提取框。
当然也可以以感兴趣的长径或短径或轮廓为例,对所有第一感兴趣区域和第二感兴趣区域的相关属性信息进行统计,得到目标提取框。
其中,目标提取框可以是三维立体框,也可以是二维平面框。
S210,通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像。
具体的,计算机设备在得到目标提取框之后,就可以以目标提取框的大小,在第一医学图像中的一个第一感兴趣区域位置处截取目标提取框的大小的图像,得到该第一感兴趣区域对应的第一截取图像,对第一医学图像上的所有第一感兴趣区域都进行此操作,就可以得到所有第一感兴趣区域对应的第一截取图像。
相应地,可以在转换医学图像中的一个第二感兴趣区域位置处截取目标提取框的大小的图像,得到该第二感兴趣区域对应的第二截取图像,对转换医学图像上的所有第二感兴趣区域都进行此操作,就可以得到所有第二感兴趣区域对应的第二截取图像。
S212,对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
具体的,在得到各个第一感兴趣区域对应的第一截取图像和各个第二感兴趣区域对应的第二截取图像之后,就可以将各个第一截取图像与各个第二截取图像进行匹配,得到各个第一截取图像与各个第二截取图像的匹配结果,即得到各个第一感兴趣区域与各个第二感兴趣区域的匹配结果。
匹配结果可以包括相互匹配、新增、消失等。其中,相互匹配指的是第一感兴趣区域和第二感兴趣区域为相同的感兴趣区域;以第一感兴趣区域所在的第一医学图像为参考图像来说,新增指的是第二感兴趣区域没有对应的第一感兴趣区域,消失指的是第一感兴趣区域没有对应的第二感兴趣区域。本申请以下的实施例主要针对相互匹配来进行详细说明。
进一步地,在得到匹配结果之后,也可以对比匹配的第一感兴趣区域和第二感兴趣区域的属性参数,例如比较长短径、体积等,计算属性参数的变化率,以提示感兴趣区域的变化趋势等。
上述图像匹配方法中,通过获取的第一医学图像对获取的第二医学图像进行配准,得到转换医学图像,获取第一医学图像和第二医学图像或转换医学图像分别对应的第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框,并通过目标提取框在第一医学图像和转换医学图像上对应截取感兴趣区域,得到对应的第一截取图像和第二截取图像,对第一截取图像和第二街区图像进行匹配处理,得到第一感兴趣区域和第二感兴趣区域的匹配结果。在该方法中,由于在感兴趣匹配之前先对原图进行了配准,这样在后续利用配准后的图像进行感兴趣区域匹配时,可以使匹配结果更加准确;另外,由于通过感兴趣区域的属性信息确定了目标提取框,并采用目标提取框截取图像进行感兴趣区域匹配,可见,该方法采用的是目标提取框所在的截图之间进行匹配,而不仅仅只有感兴趣区域的中心点,其结合的感兴趣区域的信息更多也更加丰富,因此,最终利用截图进行匹配,得到的感兴趣区域的匹配结果也会更加准确。
在另一个实施例中,提供了另一种图像匹配方法,本实施例涉及的是上述第一感兴趣区域的属性信息包括第一感兴趣区域的长径大小,第二感兴趣区域的属性信息包括第二感兴趣区域的长径大小,那么如何基于这两类感兴趣区域的长径大小,得到目标提取框的具体过程。在上述实施例的基础上,如图3所示,上述S208可以包括以下步骤:
S302,根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小。
在本步骤中,上述通过对原图进行目标检测,可以得到各个第一感兴趣区域的长径大小和各个第二感兴趣区域的长径大小,然后可以将所有第一感兴趣区域的长径大小和所有第二感兴趣区域的长径大小进行排序,从中找出最大的长径大小,并将该最大的长径大小作为目标长径大小。
S304,基于目标长径大小,得到目标提取框。
具体的,在得到目标长径之后,以目标提取框为三维立体框为例,可以将目标长径大小作为目标提取框的长和宽,将预设长度作为目标提取框的高,得到目标提取框。这里的预设长度可以和目标长径大小相同,也可以不同,例如可以是图像切片的厚度等等。示例地,目标提取框大小可以是60*60*10等。
当然,目标提取框也可以是二维框,那么可以将目标长径大小作为目标提取框的长和宽,这样就可以得到目标提取框。
本实施例提供的图像匹配方法,可以根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小,并基于目标长径大小,得到目标提取框。通过本实施例的方法,利用最大长径确定目标提取框,这样得到的目标提取框就可以涵盖住所有感兴趣区域,这样后续截取的图像就是包括感兴趣区域的全部信息的,从而可以使参与匹配的信息更多,得到的匹配结果更加准确;另外,利用统一的目标提取框,这样可以便于后续截取图像时更加高效,从而可以间接提高图像匹配的速度。
在另一个实施例中,提供了另一种图像匹配方法,本实施例涉及的是第一感兴趣区域的属性信息包括第一感兴趣区域的中心点位置,第二感兴趣区域的属性信息包括第二感兴趣区域的中心点位置,那么如何基于该中心点位置和目标提取框得到截取图像的具体过程。在上述实施例的基础上,如图4所示,上述S210可以包括以下步骤:
S402,将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像。
上述得到目标提取框之后,根据目标提取框的各个角点连线,就能得到目标提取框的中心点位置,然后在得到各第一感兴趣区域的中心点位置后,就可以用目标提取框框住第一医学图像中的各第一感兴趣区域,且目标提取框的中心点位置和各第一感兴趣区域的中心点位置重合,之后,按照这样的放置位置,在第一医学图像上截取各第一感兴趣区域,得到每个第一感兴趣区域对应的第一截取图像。
S404,将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
在本步骤中,同样的,可以用目标提取框框住转换医学图像中的各第二感兴趣区域,且目标提取框的中心点位置和各第二感兴趣区域的中心点位置重合,之后,按照这样的放置位置,在转换医学图像上截取各第二感兴趣区域,得到每个第二感兴趣区域对应的第二截取图像。
需要说明的是,上述S402和S404没有先后顺序,可以同时执行,也可以先执行S404,再执行S402,当然还可以是先执行S402,再执行S404。
本实施例提供的图像匹配方法,可以将第一感兴趣区域和第二感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像和转换医学图像上进行感兴趣区域截取,得到第一截取图像和第二截取图像。在本实施例中,通过中心点重合的方式截取图像,一方面可以较为简单的完成感兴趣区域的截取,从而可以加快图像匹配的整体速度;另一方面,截取的感兴趣区域也比较准确,从而也可以使利用截取图像进行匹配后得到的匹配结果更加准确。
在另一个实施例中,提供了另一种图像匹配方法,本实施例涉及的是如何对第一截取图像和第二截取图像进行匹配,得到第一感兴趣区域和第二感兴趣区域的匹配结果的具体过程。在上述实施例的基础上,上述S212可以包括以下步骤A:
步骤A,分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
其中,双向验证指的是正向和反向计算两次匹配度,并通过两次计算的匹配度综合来得到最终的匹配结果,正向计算指的是上述第一匹配度的计算过程,反向指的是上述第二匹配度的计算过程。
可选的,参见图5所示,可以采用如下步骤来具体进行双向验证:
S502,计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;该第一相似度矩阵中的各个第一相似度表征每个第一截取图像与各个第二截取图像之间的相似程度。
在本步骤中,可以采用相似度相关算法计算相似度,例如可以是归一化相关系数法NCC(Normalized Cross Correlation)。
在这里,可以采用NCC算法正向计算每个第一截取图像和各个第二截取图像之间的相关系数,得到每个第一截取图像对应的多个相关系数,均记为第一相似度,并将各个第一截取图像对应的多个第一相似度组合构成矩阵,记为第一相似度矩阵。
示例地,假设第一截取图像有3个,分别记为A、B、C,第二截取图像有2个,分别记为D、E,那么这里可以计算A和D、E之间的第一相似度,假设得到的两个第一相似度记为AD和AE,那么同样的,也可以得到B和D、E之间的第一相似度,记为BD和BE,同样的,得到C和D、E之间的第一相似度,记为CD和CE。之后,可以将AD、AE、BD、BE、CD、CE组合成第一相似度矩阵,其可以是三行两列的矩阵,如下:
S504,计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;该第二相似度矩阵中的各个第二相似度表征每个第二截取图像与各个第一截取图像之间的相似程度。
在本步骤中,和S502相同,可以采用NCC算法反向计算每个第二截取图像和各个第一截取图像之间的相关系数,得到每个第二截取图像对应的多个相关系数,均记为第二相似度,并将各个第二截取图像对应的多个第二相似度组合构成矩阵,记为第二相似度矩阵。
示例地,继续以上述S502中的示例为例,那么可以计算D和A、B、C之间的第二相似度,得到DA、DB、DC,计算E和A、B、C之间的第二相似度,得到EA、EB、EC。将DA、DB、DC、EA、EB、EC组合成第二相似度矩阵,其也可以是三行两列的矩阵,如下:
S506,基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在本步骤中,在得到第一相似度矩阵和第二相似度矩阵之后,可选的,可以采用如下步骤b1-b3进行感兴趣区域匹配:
b1,根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果;该第一匹配结果用于表征第一截取图像与目标第二截取图像是否匹配,目标第二截取图像为第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像。
b2,根据第二相似度矩阵中的各个第二相似度,得到每个第二截取图像对应的第二匹配结果;该第二匹配结果用于表征第二截取图像与目标第一截取图像是否匹配,目标第一截取图像为第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像。
b3,根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在步骤b1-b2中,继续以上述S502-S504的示例为例,可以从第一截取图像A对应的两个第一相似度AD和AE中找出最大相似度,假设是AD,那么第二截取图像D就是第一截取图像A对应的目标第二截取图像;同样的,也可以从第一截取图像B对应的两个第一相似度BD和BE中找出最大相似度,假设是BE,那么第二截取图像E就是第一截取图像B对应的目标第二截取图像;也可以从第一截取图像C对应的两个第一相似度CD和CE中找出最大相似度,假设是CD,那么第二截取图像D就是第一截取图像C对应的目标第二截取图像。
对应地,可以从第二截取图像D对应的三个第二相似度DA、DB、DE中找出最大相似度,假设是DA,那么第一截取图像A就是第二截取图像D对应的目标第一截取图像;同样的,也可以从第二截取图像E对应的三个第二相似度EA、EB、EC中找出最大相似度,假设是EC,那么第一截取图像C就是第二截取图像E对应的目标第一截取图像。
在得到正向的各目标第二截取图像和反向的各目标第一截取图像之后,就可以根据各目标第二截取图像得到每个第一截取图像对应的第一匹配结果,根据各目标第一截取图像得到每个第二截取图像对应的第二匹配结果。可选的,可以采用如下c1和c2的方式进行:
c1,判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;若大于,则确定第一截取图像对应的第一匹配结果为匹配;否则,确定第一截取图像对应的第一匹配结果为不匹配。
c2,判断第二截取图像和对应的目标第一截取图像之间的第二相似度是否大于预设相似度阈值;若大于,则确定第二截取图像对应的第二匹配结果为匹配;否则,确定第二截取图像对应的第二匹配结果为不匹配。
在c1-c2中,预设的相似度阈值可以根据实际情况设定,例如可以是0.5、0.6等等。
继续以上述b1-b2中的示例为例,可以将上述得到AD、BE、CD分别和相似度阈值进行对比,得到对比结果。假设AD和BE均大于相似度阈值、CD小于等于相似度阈值,那么可以认为第一截取图像A对应的第一匹配结果为匹配,即A中的第一感兴趣区域可能和D中的第二感兴趣区域是匹配的,B对应的第一匹配结果也为匹配,即B中的第一感兴趣区域可能和E中的第二感兴趣区域是匹配的,C对应的第一匹配结果均是不匹配。
对应地,也可以将上述DA和EC分别和相似度阈值进行对比,得到对比结果。假设DA大于相似度阈值、EC小于等于相似度阈值,那么以认为第二截取图像D对应的第二匹配结果为匹配,即D中的第二感兴趣区域可能和A中的第一感兴趣区域是匹配的,E对应的第二匹配结果均是不匹配。
进一步的,在得到第一匹配结果和第二匹配结果之后,就可以进行感兴趣区域的匹配,可选的,可以采用如下步骤d1-d2进行:
d1,若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配。
d2,确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
在d1-d2中,若一对截取图像的第一匹配结果和第二匹配结果均是匹配,则可以认为这两个截取图像中的感兴趣区域是互相匹配的。
继续以上述示例为例,可见,A的第一匹配结果为与D匹配,B的第一匹配结果为与E匹配,D的第二匹配结果为与A匹配。由此可知,只有A和D对应的第一匹配结果和第二匹配结果均是匹配,即A和D在正向和反向计算中都是匹配的,那么说明A中的第一感兴趣区域和D中的第二感兴趣区域是相互匹配的。而B与E在反向计算中不是匹配的,所以B和E中的感兴趣区域是不匹配的。
进一步地,在实际过程中,对采用本实施例的方法进行匹配的性能,以及仅采用中心点匹配方法的性能均进行了一系列实验,实验结果如下表所示:
由上表可知,采用本实施例的方法进行感兴趣区域匹配,匹配准确率更高。
由上述描述可知,本实施例是基于感兴趣区域所在的截取图像确定匹配关系的,不仅可以利用感兴趣区域的中心点位置信息,同时也可以充分利用以感兴趣区域为中心的截图想图像的结构、纹理、灰度等信息,其受感兴趣区域中心点位置的准确性影像较小,从而可以在一定程度上避免因感兴趣区域中心点位置的偏差对匹配结果的影响,也就是说,可以提高感兴趣区域匹配的准确性。
进一步的,通过上述相似度的计算可知,本实施例最终的匹配结果是通过联合多个感兴趣区域所在的截取图像进行相似度计算得到,其是一种全局的匹配方式,从而可以从全局上衡量匹配结果,避免局部匹配带来的匹配误差,进一步提高匹配结果的准确性。
本实施例提供的图像匹配方法,可以正向计算第一截取图像与第二截取图像的第一匹配度,也可以反向计算第二截取图像与第一截取图像的第二匹配度,并根据第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。在本实施例中,通过双向验证,只有两个截取图像正反向都是匹配的,才确定这两个截取图像对应的感兴趣区域是匹配的,这样可以避免单向匹配带来的匹配误差,从而可以使最终得到的匹配结果更加精确。
为了对本申请的方法进行更好的说明,以下结合一个更加详细的实施例来说明本实施例的方法,该方法可以包括以下步骤:
S1,获取第一医学图像和第二医学图像。
S2,基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像。
S3,对第一医学图像进行目标检测,得到第一感兴趣区域的属性信息;对第二医学图像或转换医学图像进行目标检测,得到第二感兴趣区域的属性信息。
S4,根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小。
S5,将目标长径大小作为目标提取框的长和宽,将预设长度作为目标提取框的高,得到目标提取框。
S6,将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像;将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
S7,计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵。
S8,从第一截取图像对应的所有第一相似度中确定最大的第一相似度所对应的第二截取图像,并作为其对应的目标第二截取图像。
S9,判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;若大于,则确定第一截取图像对应的第一匹配结果为匹配;否则,确定第一截取图像对应的第一匹配结果为不匹配。
S10,从第二截取图像对应的所有第二相似度中确定最大的第二相似度所对应的第一截取图像,并作为其对应的目标第一截取图像。
S11,判断第二截取图像和对应的目标第一截取图像之间的第二相似度是否大于预设相似度阈值;若大于,则确定第二截取图像对应的第二匹配结果为匹配;否则,确定第二截取图像对应的第二匹配结果为不匹配。
S12,若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配。
S13,确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种图像匹配装置,包括:第一获取模块10、配准模块11、第二获取模块12、框确定模块13、截取模块14和匹配模块15,其中:
第一获取模块10,用于获取第一医学图像和第二医学图像;
配准模块11,用于基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
第二获取模块12,用于获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
框确定模块13,用于基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
截取模块14,用于通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
匹配模块15,用于对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
可选的,上述第一医学图像为参考图像以及第二医学图像为浮动图像,或者,上述第一医学图像为浮动图像以及第二医学图像为参考图像。
关于图像匹配装置的具体限定可以参见上文中对于图像匹配方法的限定,在此不再赘述。
在另一个实施例中,提供了另一种图像匹配装置,上述第一感兴趣区域的属性信息包括第一感兴趣区域的长径大小,第二感兴趣区域的属性信息包括第二感兴趣区域的长径大小,在上述实施例的基础上,上述框确定模块13可以包括长径确定单元和框确定单元,其中:
长径确定单元,用于根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小;
框确定单元,用于基于目标长径大小,得到目标提取框。
在另一个实施例中,提供了另一种图像匹配装置,上述第一感兴趣区域的属性信息包括第一感兴趣区域的中心点位置,第二感兴趣区域的属性信息包括第二感兴趣区域的中心点位置,在上述实施例的基础上,上述截取模块14可以包括第一截取单元和第二截取单元,其中:
第一截取单元,用于将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像;
第二截取单元,用于将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
在另一个实施例中,提供了另一种图像匹配装置,在上述实施例的基础上,上述匹配模块15可以包括匹配单元,该匹配单元,用于分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
可选的,上述匹配单元可以包括:第一计算子单元、第二计算子单元和匹配子单元,其中:
第一计算子单元,用于计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;该第一相似度矩阵中的各个第一相似度表征每个第一截取图像与各个第二截取图像之间的相似程度;
第二计算子单元,用于计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;该第二相似度矩阵中的各个第二相似度表征每个第二截取图像与各个第一截取图像之间的相似程度;
匹配子单元,用于基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
可选的,上述匹配子单元,还用于根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果;该第一匹配结果用于表征第一截取图像与目标第二截取图像是否匹配,目标第二截取图像为第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像;根据第二相似度矩阵中的各个第二相似度,得到每个第二截取图像对应的第二匹配结果;该第二匹配结果用于表征第二截取图像与目标第一截取图像是否匹配,目标第一截取图像为第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像;根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
可选的,上述匹配子单元,还用于若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配;确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
可选的,上述匹配子单元,还用于判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;若大于,则确定第一截取图像对应的第一匹配结果为匹配;否则,确定第一截取图像对应的第一匹配结果为不匹配。
关于图像匹配装置的具体限定可以参见上文中对于图像匹配方法的限定,在此不再赘述。
上述图像匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取第一医学图像和第二医学图像;
基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小;基于目标长径大小,得到目标提取框。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像;将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;该第一相似度矩阵中的各个第一相似度表征每个第一截取图像与各个第二截取图像之间的相似程度;计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;该第二相似度矩阵中的各个第二相似度表征每个第二截取图像与各个第一截取图像之间的相似程度;基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果;该第一匹配结果用于表征第一截取图像与目标第二截取图像是否匹配,目标第二截取图像为第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像;根据第二相似度矩阵中的各个第二相似度,得到每个第二截取图像对应的第二匹配结果;该第二匹配结果用于表征第二截取图像与目标第一截取图像是否匹配,目标第一截取图像为第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像;根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配;确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;若大于,则确定第一截取图像对应的第一匹配结果为匹配;否则,确定第一截取图像对应的第一匹配结果为不匹配。
在一个实施例中,上述第一医学图像为参考图像以及第二医学图像为浮动图像,或者,上述第一医学图像为浮动图像以及第二医学图像为参考图像。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取第一医学图像和第二医学图像;
基于第一医学图像对第二医学图像进行空间位置配准,得到转换医学图像;
获取第一医学图像对应的第一感兴趣区域的属性信息,以及第二医学图像或转换医学图像对应的第二感兴趣区域的属性信息;
基于第一感兴趣区域的属性信息和第二感兴趣区域的属性信息,确定第一感兴趣区域和第二感兴趣区域对应的目标提取框;
通过目标提取框对第一医学图像中的第一感兴趣区域进行截取,以及对转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对第一截取图像和第二截取图像进行匹配处理,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据第一感兴趣区域的长径大小和第二感兴趣区域的长径大小,确定其中最大的目标长径大小;基于目标长径大小,得到目标提取框。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一感兴趣区域的中心点位置作为目标提取框的中心,在第一医学图像中截取目标提取框中的图像,得到第一截取图像;将第二感兴趣区域的中心点位置作为目标提取框的中心,在转换医学图像中截取目标提取框中的图像,得到第二截取图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
分别计算第一截取图像与第二截取图像的第一匹配度,以及第二截取图像与第一截取图像的第二匹配度,基于第一匹配度和第二匹配度进行双向验证,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;该第一相似度矩阵中的各个第一相似度表征每个第一截取图像与各个第二截取图像之间的相似程度;计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;该第二相似度矩阵中的各个第二相似度表征每个第二截取图像与各个第一截取图像之间的相似程度;基于第一相似度矩阵和第二相似度矩阵,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据第一相似度矩阵中的各个第一相似度,得到每个第一截取图像对应的第一匹配结果;该第一匹配结果用于表征第一截取图像与目标第二截取图像是否匹配,目标第二截取图像为第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像;根据第二相似度矩阵中的各个第二相似度,得到每个第二截取图像对应的第二匹配结果;该第二匹配结果用于表征第二截取图像与目标第一截取图像是否匹配,目标第一截取图像为第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像;根据每个第一截取图像对应的第一匹配结果和每个第二截取图像对应的第二匹配结果,确定第一感兴趣区域和第二感兴趣区域的匹配结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定第一截取图像和第二截取图像的匹配结果为相互匹配;确定第一截取图像中的第一感兴趣区域和第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
判断第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;若大于,则确定第一截取图像对应的第一匹配结果为匹配;否则,确定第一截取图像对应的第一匹配结果为不匹配。
在一个实施例中,上述第一医学图像为参考图像以及第二医学图像为浮动图像,或者,上述第一医学图像为浮动图像以及第二医学图像为参考图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像匹配方法,其特征在于,所述方法包括:
获取第一医学图像和第二医学图像;
基于所述第一医学图像对所述第二医学图像进行空间位置配准,得到转换医学图像;
获取所述第一医学图像对应的第一感兴趣区域的属性信息,以及所述第二医学图像或所述转换医学图像对应的第二感兴趣区域的属性信息;
基于所述第一感兴趣区域的属性信息和所述第二感兴趣区域的属性信息,确定所述第一感兴趣区域和所述第二感兴趣区域对应的目标提取框;
通过所述目标提取框对所述第一医学图像中的第一感兴趣区域进行截取,以及对所述转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像;
对所述第一截取图像和所述第二截取图像进行匹配处理,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果。
2.根据权利要求1所述的方法,其特征在于,所述第一感兴趣区域的属性信息包括第一感兴趣区域的长径大小,所述第二感兴趣区域的属性信息包括第二感兴趣区域的长径大小,所述基于所述第一感兴趣区域的属性信息和所述第二感兴趣区域的属性信息,确定所述第一感兴趣区域和所述第二感兴趣区域对应的目标提取框,包括:
根据所述第一感兴趣区域的长径大小和所述第二感兴趣区域的长径大小,确定其中最大的目标长径大小;
基于所述目标长径大小,得到所述目标提取框。
3.根据权利要求1或2所述的方法,其特征在于,所述第一感兴趣区域的属性信息包括第一感兴趣区域的中心点位置,所述第二感兴趣区域的属性信息包括第二感兴趣区域的中心点位置,所述通过所述目标提取框对所述第一医学图像中的第一感兴趣区域进行截取,以及对所述转换医学图像中的第二感兴趣区域进行截取,对应得到第一截取图像和第二截取图像,包括:
将所述第一感兴趣区域的中心点位置作为所述目标提取框的中心,在所述第一医学图像中截取所述目标提取框中的图像,得到所述第一截取图像;
将所述第二感兴趣区域的中心点位置作为所述目标提取框的中心,在所述转换医学图像中截取所述目标提取框中的图像,得到所述第二截取图像。
4.根据权利要求1所述的方法,其特征在于,所述对所述第一截取图像和所述第二截取图像进行匹配处理,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果,包括:
分别计算所述第一截取图像与所述第二截取图像的第一匹配度,以及所述第二截取图像与所述第一截取图像的第二匹配度,基于所述第一匹配度和所述第二匹配度进行双向验证,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果。
5.根据权利要求4所述的方法,其特征在于,所述分别计算所述第一截取图像与所述第二截取图像的第一匹配度,以及所述第二截取图像与所述第一截取图像的第二匹配度,基于所述第一匹配度和所述第二匹配度进行双向验证,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果,包括:
计算多个第一截取图像与多个第二截取图像之间的第一相似度,得到第一相似度矩阵;所述第一相似度矩阵中的各个第一相似度表征所述每个第一截取图像与各个第二截取图像之间的相似程度;
计算多个第二截取图像与多个第一截取图像之间的第二相似度,得到第二相似度矩阵;所述第二相似度矩阵中的各个第二相似度表征所述每个第二截取图像与各个第一截取图像之间的相似程度;
基于所述第一相似度矩阵和所述第二相似度矩阵,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一相似度矩阵和所述第二相似度矩阵,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果,包括:
根据所述第一相似度矩阵中的各个第一相似度,得到每个所述第一截取图像对应的第一匹配结果;所述第一匹配结果用于表征所述第一截取图像与目标第二截取图像是否匹配,所述目标第二截取图像为所述第一截取图像对应的所有第一相似度中最大的第一相似度所对应的第二截取图像;
根据所述第二相似度矩阵中的各个第二相似度,得到每个所述第二截取图像对应的第二匹配结果;所述第二匹配结果用于表征所述第二截取图像与目标第一截取图像是否匹配,所述目标第一截取图像为所述第二截取图像对应的所有第二相似度中最大的第二相似度所对应的第一截取图像;
根据每个所述第一截取图像对应的第一匹配结果和每个所述第二截取图像对应的第二匹配结果,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果。
7.根据权利要求6所述的方法,其特征在于,所述根据每个所述第一截取图像对应的第一匹配结果和每个所述第二截取图像对应的第二匹配结果,确定所述第一感兴趣区域和所述第二感兴趣区域的匹配结果,包括:
若所述第一截取图像和对应的目标第二截取图像的第一匹配结果为匹配,且所述第二截取图像和对应的目标第一截取图像的第二匹配结果为匹配,则确定所述第一截取图像和所述第二截取图像的匹配结果为相互匹配;
确定所述第一截取图像中的第一感兴趣区域和所述第二截取图中的第二感兴趣区域的匹配结果为相互匹配。
8.根据权利要求6所述的方法,其特征在于,所述根据所述第一相似度矩阵中的各个第一相似度,得到每个所述第一截取图像对应的第一匹配结果,包括:
判断所述第一截取图像和对应的目标第二截取图像之间的第一相似度是否大于预设相似度阈值;
若大于,则确定所述第一截取图像对应的第一匹配结果为匹配;
否则,确定所述第一截取图像对应的第一匹配结果为不匹配。
9.根据权利要求1所述的方法,其特征在于,所述第一医学图像为参考图像以及所述第二医学图像为浮动图像,或者,所述第一医学图像为浮动图像以及所述第二医学图像为参考图像。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010680585.1A CN111968160B (zh) | 2020-07-15 | 2020-07-15 | 图像匹配方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010680585.1A CN111968160B (zh) | 2020-07-15 | 2020-07-15 | 图像匹配方法和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111968160A CN111968160A (zh) | 2020-11-20 |
CN111968160B true CN111968160B (zh) | 2023-10-27 |
Family
ID=73362126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010680585.1A Active CN111968160B (zh) | 2020-07-15 | 2020-07-15 | 图像匹配方法和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111968160B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393498B (zh) * | 2021-05-26 | 2023-07-25 | 上海联影医疗科技股份有限公司 | 图像配准方法、装置、计算机设备和存储介质 |
CN113096170B (zh) * | 2021-06-09 | 2022-01-25 | 北京世纪好未来教育科技有限公司 | 文本图像配准方法、装置、设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545584A (zh) * | 2017-04-28 | 2018-01-05 | 上海联影医疗科技有限公司 | 医学图像中定位感兴趣区域的方法、装置及其系统 |
CN110838104A (zh) * | 2019-10-30 | 2020-02-25 | 上海联影智能医疗科技有限公司 | 多时间点的感兴趣区域匹配方法、设备和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9218687B2 (en) * | 2010-12-30 | 2015-12-22 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Display of medical device position information in a volumetric rendering |
US9905006B2 (en) * | 2015-02-12 | 2018-02-27 | Toshiba Medical Systems Corporation | Medical image processing apparatus, medical image processing method, and medical imaging system |
-
2020
- 2020-07-15 CN CN202010680585.1A patent/CN111968160B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545584A (zh) * | 2017-04-28 | 2018-01-05 | 上海联影医疗科技有限公司 | 医学图像中定位感兴趣区域的方法、装置及其系统 |
CN110838104A (zh) * | 2019-10-30 | 2020-02-25 | 上海联影智能医疗科技有限公司 | 多时间点的感兴趣区域匹配方法、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
一种基于感兴趣区域提取的医学图像检索技术;王李冬;邰晓英;巴特尔;;宁波大学学报(理工版)(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111968160A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599526B (zh) | 图像配准方法、计算机设备和存储介质 | |
US20180307928A1 (en) | Living face verification method and device | |
CN109754396B (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
CN110232326B (zh) | 一种三维物体识别方法、装置及存储介质 | |
CN111968160B (zh) | 图像匹配方法和存储介质 | |
CN111488872B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN110728673A (zh) | 一种目标部位分析方法、装置、计算机设备及存储介质 | |
CN110930386B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113397704A (zh) | 机器人定位方法、装置、系统及计算机设备 | |
CN112001880A (zh) | 一种平面构件的特征参数检测方法及装置 | |
CN112950684B (zh) | 基于表面配准的目标特征提取方法、装置、设备和介质 | |
CN112635042B (zh) | 监护仪校准方法、装置、设备和存储介质 | |
CN111145152B (zh) | 图像检测方法、计算机设备和存储介质 | |
CN117372487A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
CN111898619A (zh) | 图片特征提取方法、装置、计算机设备和可读存储介质 | |
CN112488982A (zh) | 一种超声图像检测方法及装置 | |
CN113240638B (zh) | 基于深度学习的目标检测方法、设备及介质 | |
CN113393498A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
CN112288639A (zh) | 影像对比减影方法、装置、终端设备及存储介质 | |
CN114750147B (zh) | 机器人的空间位姿确定方法、装置和机器人 | |
WO2024055493A1 (zh) | 基于深度相位相关的异构三维观测配准方法、介质及设备 | |
CN116485858B (zh) | 基于多尺度跨模态邻域描述子的异源图像配准方法及装置 | |
CN111814869B (zh) | 一种同步定位与建图的方法、装置、电子设备及存储介质 | |
CN111242992B (zh) | 一种图像配准方法 | |
CN118350987A (zh) | 图像配准方法、装置、存储介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |