CN116452484A - 不同医学图像的融合方法、装置、计算机设备和存储介质 - Google Patents

不同医学图像的融合方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116452484A
CN116452484A CN202310729783.6A CN202310729783A CN116452484A CN 116452484 A CN116452484 A CN 116452484A CN 202310729783 A CN202310729783 A CN 202310729783A CN 116452484 A CN116452484 A CN 116452484A
Authority
CN
China
Prior art keywords
medical image
image
region
fused
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310729783.6A
Other languages
English (en)
Other versions
CN116452484B (zh
Inventor
白晓淞
涂世鹏
李学铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innermedical Co ltd
Original Assignee
Innermedical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innermedical Co ltd filed Critical Innermedical Co ltd
Priority to CN202310729783.6A priority Critical patent/CN116452484B/zh
Publication of CN116452484A publication Critical patent/CN116452484A/zh
Application granted granted Critical
Publication of CN116452484B publication Critical patent/CN116452484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Abstract

本申请涉及一种不同医学图像的融合方法、装置、计算机设备和存储介质。所述方法包括:获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像;在第二医学图像中确定第一待融合区域;根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;融合第一待融合区域和第二待融合区域,得到目标融合区域;根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。采用本方法能够将不同医学图像进行融合以得到用于进行医学检测的目标融合图像。

Description

不同医学图像的融合方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学影像技术领域,特别是涉及一种不同医学图像的融合方法、装置、计算机设备和存储介质。
背景技术
随着医学影像技术的发展,越来越多的医学影像被应用到临床医学检测中,目前,为了更好地发挥出不同医学影像的优势,出现了将两种不同影像技术所得到的两种不同医学图像进行图像融合的医学影像技术,例如,将血管内超声技术(IntravenousUltrasound,IVUS)图像和光学相干断层扫描技术(Optical CoherenceTomography, OCT)图像进行图像融合,从而获得既具有强组织穿透力又具有高分辨率的IVUS-OCT融合图像。
目前,将两种不同医学图像进行图像融合的方式,通常是将两种不同医学图像分别对应的整个图像直接进行融合,然而,不同的医学影像由于其自身的影像特性,往往有不同的优势和劣势,从而现有的图像融合方式将会导致得到的融合图像在一定程度上仍然存在两种不同医学图像的各自劣势,而难以更好地发挥两种不同医学影像的各自优势;显然地,这会导致疾病诊断的准确度不够高,不利于提高医学图像在诊断和临床应用中的适用性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够将不同医学图像进行融合以得到用于进行医学检测的目标融合图像的不同医学图像的融合方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种不同医学图像的融合方法。所述方法包括:
获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
在第二医学图像中确定第一待融合区域;
根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合第一待融合区域和第二待融合区域,得到目标融合区域;
根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
第二方面,本申请还提供了一种不同医学图像的融合装置。所述装置包括:
获取模块,用于获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
第一确定模块,用于在第二医学图像中确定第一待融合区域;
第二确定模块,用于根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合模块,用于融合第一待融合区域和第二待融合区域,得到目标融合区域;
第三确定模块,用于根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
在第二医学图像中确定第一待融合区域;
根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合第一待融合区域和第二待融合区域,得到目标融合区域;
根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
在第二医学图像中确定第一待融合区域;
根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合第一待融合区域和第二待融合区域,得到目标融合区域;
根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
在第二医学图像中确定第一待融合区域;
根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合第一待融合区域和第二待融合区域,得到目标融合区域;
根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
上述不同医学图像的融合方法、装置、计算机设备、存储介质和计算机程序产品,获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;在第二医学图像中确定第一待融合区域,并根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;融合第一待融合区域和第二待融合区域,得到目标融合区域,最终根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定得到用于进行医学检测的目标融合图像。采用本申请实施例的方法,将不同医学图像进行融合以得到用于进行医学检测的目标融合图像,从而得到的目标融合图像具有不同医学图像的图像优势,同时,目标融合区域是通过第一待融合区域和第二待融合区域融合得到的,进而目标融合图像具有更好的过渡性衔接,有利于提高目标融合图像进行医学检测时的准确性和适用性。
附图说明
图1为一个实施例中不同医学图像的融合方法的应用环境图;
图2为一个实施例中不同医学图像的融合方法的流程示意图;
图3为一个实施例中在第二医学图像中确定第一待融合区域的流程示意图;
图4为一个实施例中得到目标融合区域的流程示意图;
图5为一个实施例中进行图像配准处理的流程示意图;
图6为一个实施例中确定目标融合图像的流程示意图;
图7为另一个实施例中不同医学图像的融合方法的流程示意图;
图8为一个实施例中不同医学图像的融合装置的结构框图;
图9为一个实施例中计算机设备的内部结构图;
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,在以下的描述中,所涉及的术语“第一、第二和第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一、第二和第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供的不同医学图像的融合方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与医疗设备104进行通信。数据存储系统可以存储医疗设备104需要处理的数据。数据存储系统可以集成在医疗设备104上,也可以放在云上或其他网络服务器上。在一些实施例中,该不同医学图像的融合方法由终端102执行,医疗设备104可以是双模成像医疗设备,终端102从医疗设备104处获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像;终端102在第二医学图像中确定第一待融合区域;终端102根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;终端102融合第一待融合区域和第二待融合区域,得到目标融合区域;终端102根据第一医学图像、第二医学图像和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
其中,终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机。
终端102与医疗设备104之间可以通过蓝牙、USB(Universal Serial Bus,通用串行总线)或者网络等通讯连接方式进行连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种不同医学图像的融合方法,该方法可由图1中的医疗设备或终端执行,或由医疗设备和终端协同执行,以该方法由图1中的终端执行为例进行说明,包括以下步骤:
S202,获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像。
其中,第一医学图像可以是具有强组织穿透力的血管内超声技术(IntravenousUltrasound,IVUS)图像,第二医学图像可以是具有高分辨率的光学相干断层扫描技术(Optical Coherence Tomography, OCT)图像。
第一医学图像和第二医学图像具有相同的图像尺寸和图像角度。
透射深度,用于表示图像的组织穿透力,透射深度大的医学图像能够穿过血管膜层到达更深的组织部位,从而能更好地反映出生物组织的构造。
示例性地,第一医学图像为IVUS图像,第二医学图像为OCT图像。IVUS图像的透射深度通常为4-8mm,而OCT图像的透射深度通常为1-1.5mm,显然地,IVUS图像的透射深度大于OCT图像,从而IVUS图像相对于OCT图像而言能到达更深的组织部位;OCT图像相对于IVUS图像具有更高的分辨率,从而OCT图像在血管膜层处的图像成像效果更清晰,对腔内测量更为准确。显然地,将具有各自图像优势的IVUS图像和OCT图像进行融合将能够进一步地提高医学检测效果。
需要说明的是,第一医学图像为IVUS图像且第二医学图像为OCT图像,在此仅分别作为一种第一医学图像和第二医学图像的示例,在具体的应用中,第一医学图像和第二医学图像都还可以是其他模态的图像,只要符合第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像的图像特性条件即可,在此不对医学图像的具体种类作限制。
具体地,先获取第一初始医学图像和第二初始医学图像,分别确定第一初始医学图像的特征点位置和第二初始医学图像的特征点位置,并根据第一初始医学图像的特征点位置和第二初始医学图像的特征点位置进行特征点匹配,实现了对第一初始医学图像和第二初始医学图像在图像尺寸、图像角度上的图像对齐,从而获取到图像尺寸、图像角度均一致的第一医学图像和第二医学图像。
S204,在第二医学图像中确定第一待融合区域。
其中,第一待融合区域为第二医学图像的部分图像。
示例性地,在第二医学图像为OCT图像时,在第二医学图像中确定第一待融合区域的方式是:对OCT图像中血管管腔的外膜进行图像分割,得到OCT图像的血管管腔的外膜轮廓,然后根据OCT图像的成像特点,对OCT图像的外膜轮廓进行等距离外扩得到OCT图像的外扩轮廓,从而地,将OCT图像的外膜轮廓与外扩轮廓之间的区域图像确定为第一待融合区域。进一步地,对OCT图像的外膜轮廓进行等距离外扩的外扩距离,可以根据OCT图像的图像信息进行确定,图像信息可以是OCT图像的透射深度、扫描半径和图像大小。
S206,根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域。
其中,根据第一待融合区域,在第一医学图像上确定出第二待融合区域,可以是将第一待融合区域平移到第一医学图像上的血管外部相同位置处,将第一待融合区域重叠覆盖在第一医学图像上的区域图像确定为第一医学图像对应的第二待融合区域。
S208,融合第一待融合区域和第二待融合区域,得到目标融合区域。
具体地,为了使得最终得到的目标融合图像在图像拼接边缘处没有不自然的像素跳变现象,可以是采用渐变融合的方式将第一待融合区域和第二待融合区域进行图像融合,从而得到渐变效果更自然的目标融合区域。
S210,根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
具体地,第一医学图像的第一部分区域可以是第一医学影像的优势图像区域,即第一医学影像透射深度大的部分图像,同理地,第二医学图像的第二部分区域可以是第二医学影像的优势图像区域,即第二医学影像分辨率高的部分图像,从而目标融合图像同时具有第一医学图像和第二医学图像的图像优势,能够更好地用于进行医学检测。
本申请实施例提供的方法,可以应用在与医疗设备存在通信网络的终端中,医疗设备可以是双模成像医疗设备,双模成像医疗设备对同一段血管进行图像采集得到不同模态的图像,从而发送给终端实施不同医学图像的融合方法。
上述不同医学图像的融合方法中,获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;在第二医学图像中确定第一待融合区域,并根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;融合第一待融合区域和第二待融合区域,得到目标融合区域,最终根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定得到用于进行医学检测的目标融合图像。采用本申请实施例的方法,将不同医学图像进行融合以得到用于进行医学检测的目标融合图像,从而得到的目标融合图像具有不同医学图像的图像优势,同时,目标融合区域是通过第一待融合区域和第二待融合区域融合得到的,进而目标融合图像具有更好的过渡性衔接,有利于提高目标融合图像进行医学检测时的准确性和适用性。
在一个实施例中,上述在第二医学图像中确定第一待融合区域,包括:
确定第二医学图像的第一轮廓,第一轮廓为第二医学图像的血管膜层外膜轮廓;
根据第二医学图像的第一轮廓和第二医学图像的图像信息,确定第一待融合区域。
在一个实施例中,第二医学图像的图像信息包括第二医学图像的透射深度、扫描半径和图像大小;
上述根据第二医学图像的第一轮廓和第二医学图像的图像信息,确定第一待融合区域,包括:
根据第二医学图像的透射深度、扫描半径和图像大小,确定第一轮廓的外扩距离;
根据第一轮廓的外扩距离,对第二医学图像的第一轮廓进行等距离外扩处理,得到第二医学图像的第二轮廓;
确定第一轮廓和第二轮廓之间的区域图像为第一待融合区域。
其中,确定第二医学图像的第一轮廓,可以是通过U-Net网络模型或其他图像分割模型对第二医学图像中的血管管腔的外膜进行图像分割,从而得到第二医学图像的血管膜层外膜轮廓作为第一轮廓。
具体地,第二医学图像的透射深度、扫描半径、图像大小以及第一轮廓的外扩距离之间满足以下计算公式:透射深度⁄扫描半径=第一轮廓的外扩距离⁄(0.5*图像大小)。
具体地,根据第一轮廓的外扩距离,对第二医学图像的第一轮廓进行等距离外扩处理,即是说,第二医学图像中,在同一方向上,第一轮廓和第二轮廓之间的距离大小即为外扩距离。
示例性地,假设第二医学图像是OCT图像,如图3所示,确定第二医学图像的第一轮廓,而后通过确定到的第一轮廓的外扩距离对第一轮廓进行等距离外扩处理,得到第二医学图像的第二轮廓,并且确定第一轮廓和第二轮廓之间的区域图像为第一待融合区域。
本实施例中,在第二医学图像中确定第一待融合区域,是通过确定第二医学图像的第一轮廓,并根据第二医学图像的图像信息确定第一轮廓的外扩距离,而后根据第一轮廓的外扩距离,对第二医学图像的第一轮廓进行等距离外扩处理,得到第二医学图像的第二轮廓,最终确定第一轮廓和第二轮廓之间的区域图像为第一待融合区域,从而得到的第一待融合区域是根据第二医学图像的第一轮廓和图像信息进行确定的,使得第一待融合区域的确定更具有准确性和针对性。
在一个实施例中,上述融合第一待融合区域和第二待融合区域,得到目标融合区域,包括:
通过图像融合函数对第一待融合区域和第二待融合区域进行图像融合,得到目标融合区域;
其中,图像融合函数为
α表示在目标像素点位置上的渐变系数大小,IMGFusion表示目标像素点位置上的目标融合区域, IMGOCT表示目标像素点位置上的第二医学图像的第一待融合区域,IMGIVUS表示目标像素点位置上的第一医学图像的第二待融合区域。
在一个实施例中,在同一方向上的渐变系数在环形区域的内环和外环之间呈线性变化,目标像素点位置距离环形区域的内环的最短直线距离越大,则渐变系数在目标像素点位置对应的值越小。
具体地,目标像素点位置距离环形区域的内环的最短直线距离越大,则渐变系数在目标像素点位置对应的值越小,即是说,在融合第一待融合区域和第二待融合区域的过程中,越靠近环形区域的内环的位置则对应位置处的图像融合结果更为取决于第二医学图像,越靠近环形区域的外环的位置则对应位置处的图像融合结果更为取决于第一医学图像。
进一步地,d表示目标像素点位置距离环形区域的内环的最短直线距离,dist表示外扩距离,则α的线性变化公式为:,0≤d≤dist。
示例性地,假设第一医学图像是IVUS图像,第二医学图像是OCT图像,如图4所示,在第二医学图像中确定第一待融合区域,从而能够根据第一待融合区域在第一医学图像上确定出第二待融合区域,第一医学图像的第二待融合区域和第二医学图像的第一待融合区域经过渐变融合后得到目标融合区域,显然地,渐变融合使得目标融合区域在同时具有第一医学图像和第二医学图像的图像特性之外还保留着自然衔接的图像过渡性。
本实施例中,在融合第一待融合区域和第二待融合区域,得到目标融合区域的过程中,是通过图像融合函数对第一待融合区域和第二待融合区域进行渐变融合的,从而能够得到渐变效果更自然的目标融合区域,最终确保拼接得到的目标融合图像在图像衔接处能够自然过渡。
在一个实施例中,上述获取第一医学图像和第二医学图像,包括:
获取第一初始医学图像和第二初始医学图像;
分别确定第一初始医学图像的导丝位置和第二初始医学图像的导丝位置;
基于第一初始医学图像的导丝位置和第二初始医学图像的导丝位置,对第一初始医学图像和第二初始医学图像进行图像配准处理,得到第一医学图像和第二医学图像。
其中,第一初始医学图像和第二初始医学图像,是对同一段血管进行图像采集所得的不同模态的图像,但由于图像采集设备等原因的限制,可能存在图像尺寸、图像角度不一致的情况。
导丝是一种医疗用品,可以用于血管腔内的医学检测中。
示例性地,假设第一医学图像、第一初始医学图像是IVUS图像,第二医学图像、第二初始医学图像是OCT图像,如图5所示,首先获取到第一初始医学图像和第二初始医学图像,此时第一初始医学图像和第二初始医学图像的图像尺寸、图像角度存在不一致之处,因此,分别确定到第一初始医学图像的导丝位置和第二初始医学图像的导丝位置,并以此对两个初始医学图像进行图像配准处理,得到图像尺寸、图像角度一致的图像配准后的第一医学图像和第二医学图像。
本实施例中,在获取第一医学图像和第二医学图像时,是通过分别确定获取到的第一初始医学图像和第二初始医学图像的导丝位置,并基于第一初始医学图像的导丝位置和第二初始医学图像的导丝位置,对第一初始医学图像和第二初始医学图像进行图像配准处理,从而得到图像尺寸、图像角度一致的第一医学图像和第二医学图像,使得第一医学图像和第二医学图像对应于空间中的同一位置的像素点能够一一对应。
在一个实施例中,上述根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像,包括:
确定第一医学图像中在第二待融合区域的外围部分图像为第一部分区域;
确定第二医学图像中在第一待融合区域的内围部分图像为第二部分区域;
对第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理,得到目标融合图像,其中,第一部分区域、目标融合区域以及第二部分区域沿图像外围向内围依次排列。
示例性地,在第一医学图像是IVUS图像且第二医学图像是OCT图像时,由于IVUS图像的组织穿透力较强,但是空间分辨率较差,而由于OCT图像能够提供接近组织学水平的高分辨率,但是其成像穿透深度有限,因此,为了能在IVUS图像和OCT图像各自的优势图像区域完全保留图像特征,将IVUS图像中在第二待融合区域的更具有其图像优势的外围部分确定为第一部分区域,而将OCT图像中在第一待融合区域的更具有其图像优势的内围部分确定为第二部分区域,最终将第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理以得到目标融合图像。显然地,由于第一部分区域为IVUS图像中达到更深的组织部位的部分图像,而第二部分区域为OCT图像中具有更清晰的成像效果的部分图像,从而图像拼接处理得到的目标融合图像同时具有不同医学图像的图像优势。
又一示例性地,假设第一医学图像是IVUS图像,第二医学图像是OCT图像,如图6所示,确定第一医学图像中在第二待融合区域的外围部分图像为第一部分区域,且确定第二医学图像中在第一待融合区域的内围部分图像为第二部分区域,最终对第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理,得到目标融合图像,且第一部分区域、目标融合区域以及第二部分区域沿图像外围向内围依次排列。
本实施例中,在根据第一医学图像、第二医学图像和目标融合区域,确定目标融合图像时,是通过确定第一医学图像中在第二待融合区域的外围部分图像为第一部分区域,通过确定第二医学图像中在第一待融合区域的内围部分图像为第二部分区域,并按照第一部分区域、目标融合区域以及第二部分区域沿图像外围向内围依次排列的排列方式,对第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理以得到目标融合图像。从而目标融合图像不仅同时具有第一医学图像和第二医学图像各自的图像优势,还具有自然的过渡性衔接,能够更好地用于进行医学检测。
下面结合一个详细的实施例来阐述上述不同医学图像的融合方法的应用过程,具体如下:如图7所示,本申请提供的不同医学图像的融合方法应用在终端中,医疗设备对同一段血管进行图像采集,得到具有不同模态的初始医学图像对,初始医学图像对包括第一初始医学图像和第二初始医学图像,医疗设备输入初始医学图像对至终端中,终端按照特征点匹配的方式对获取到的初始医学图像对进行图像配准处理,得到图像尺寸、图像角度一致的第一医学图像和第二医学图像;
确定第二医学图像的血管膜层外膜轮廓为第二医学图像的第一轮廓,根据第二医学图像的图像信息确定第一轮廓的外扩距离,根据第一轮廓的外扩距离,对第二医学图像的第一轮廓进行等距离外扩处理,得到第二医学图像的第二轮廓,确定第一轮廓和第二轮廓之间的区域图像为第二医学图像的第一待融合区域,从而地,根据第一待融合区域在第一医学图像上确定出第二待融合区域,其中,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
通过图像融合函数对第一待融合区域和第二待融合区域进行图像融合,且图像融合方式是渐变融合,从而得到渐变效果更自然的目标融合区域,接下来,将第一医学图像中在第二待融合区域的外围部分图像确定为第一部分区域,且将第二医学图像中在第一待融合区域的内围部分图像确定为第二部分区域,最终,按照第一部分区域、目标融合区域以及第二部分区域沿图像外围向内围依次排列的排列方式,对第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理,得到目标融合图像,其中,由于目标融合区域是采用渐变融合的方式进行图像融合处理的,从而最终经过图像拼接得到的目标融合图像在图像衔接处能够自然过渡,至此,具有不同图像优势的不同医学图像的融合完成。
本申请的方案经过渐变融合的图像融合处理以及图像拼接处理得到的目标融合图像,不仅具有不同医学图像的图像优势,还具有自然的过渡性衔接,避免了像素跳变的不良图像问题。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的不同医学图像的融合方法的不同医学图像的融合装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个不同医学图像的融合装置实施例中的具体限定可以参见上文中对于不同医学图像的融合方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种不同医学图像的融合装置,包括:获取模块1002、第一确定模块1004、第二确定模块1006、融合模块1008和第三确定模块1010,其中:
获取模块1002,用于获取第一医学图像和第二医学图像;第一医学图像和第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,第一医学图像的透射深度大于第二医学图像,第二医学图像的分辨率大于第一医学图像;
第一确定模块1004,用于在第二医学图像中确定第一待融合区域;
第二确定模块1006,用于根据第一待融合区域,在第一医学图像上确定出第二待融合区域,第一待融合区域和第二待融合区域是血管外部相同位置处的环形区域;
融合模块1008,用于融合第一待融合区域和第二待融合区域,得到目标融合区域;
第三确定模块1010,用于根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像;目标融合图像用于进行医学检测。
在一个实施例中,在第二医学图像中确定第一待融合区域方面,上述第一确定模块1004还用于:
确定第二医学图像的第一轮廓,第一轮廓为第二医学图像的血管膜层外膜轮廓;
根据第二医学图像的第一轮廓和第二医学图像的图像信息,确定第一待融合区域。
在一个实施例中,第二医学图像的图像信息包括第二医学图像的透射深度、扫描半径和图像大小;
在根据第二医学图像的第一轮廓和第二医学图像的图像信息,确定第一待融合区域方面,上述第一确定模块1004还用于:
根据第二医学图像的透射深度、扫描半径和图像大小,确定第一轮廓的外扩距离;
根据第一轮廓的外扩距离,对第二医学图像的第一轮廓进行等距离外扩处理,得到第二医学图像的第二轮廓;
确定第一轮廓和第二轮廓之间的区域图像为第一待融合区域。
在一个实施例中,在融合第一待融合区域和第二待融合区域,得到目标融合区域方面,上述融合模块1008还用于:
通过图像融合函数对第一待融合区域和第二待融合区域进行图像融合,得到目标融合区域;
其中,图像融合函数为
α表示在目标像素点位置上的渐变系数大小,IMGFusion表示目标像素点位置上的目标融合区域, IMGOCT表示目标像素点位置上的第二医学图像的第一待融合区域, IMGIVUS表示目标像素点位置上的第一医学图像的第二待融合区域。
在一个实施例中,在同一方向上的渐变系数在环形区域的内环和外环之间呈线性变化,目标像素点位置距离环形区域的内环的最短直线距离越大,则渐变系数在目标像素点位置对应的值越小。
在一个实施例中,在获取第一医学图像和第二医学图像方面,上述获取模块1002还用于:
获取第一初始医学图像和第二初始医学图像;
分别确定第一初始医学图像的导丝位置和第二初始医学图像的导丝位置;
基于第一初始医学图像的导丝位置和第二初始医学图像的导丝位置,对第一初始医学图像和第二初始医学图像进行图像配准处理,得到第一医学图像和第二医学图像。
在一个实施例中,在根据第一医学图像的第一部分区域、第二医学图像的第二部分区域和目标融合区域,确定目标融合图像方面,上述第三确定模块1010还用于:
确定第一医学图像中在第二待融合区域的外围部分图像为第一部分区域;
确定第二医学图像中在第一待融合区域的内围部分图像为第二部分区域;
对第一部分区域、目标融合区域以及第二部分区域进行图像拼接处理,得到目标融合图像,其中,第一部分区域、目标融合区域以及第二部分区域沿图像外围向内围依次排列。
上述不同医学图像的融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种不同医学图像的融合方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种不同医学图像的融合方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种不同医学图像的融合方法,其特征在于,所述方法包括:
获取第一医学图像和第二医学图像;所述第一医学图像和所述第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,所述第一医学图像的透射深度大于所述第二医学图像,所述第二医学图像的分辨率大于所述第一医学图像;
在所述第二医学图像中确定第一待融合区域;
根据所述第一待融合区域,在所述第一医学图像上确定出第二待融合区域,所述第一待融合区域和所述第二待融合区域是所述血管外部相同位置处的环形区域;
融合所述第一待融合区域和所述第二待融合区域,得到目标融合区域;
根据所述第一医学图像的第一部分区域、所述第二医学图像的第二部分区域和所述目标融合区域,确定目标融合图像;所述目标融合图像用于进行医学检测。
2.根据权利要求1所述的方法,其特征在于,所述在所述第二医学图像中确定第一待融合区域,包括:
确定所述第二医学图像的第一轮廓,所述第一轮廓为所述第二医学图像的血管膜层外膜轮廓;
根据所述第二医学图像的第一轮廓和所述第二医学图像的图像信息,确定所述第一待融合区域。
3.根据权利要求2所述的方法,其特征在于,所述第二医学图像的图像信息包括所述第二医学图像的透射深度、扫描半径和图像大小;
所述根据所述第二医学图像的第一轮廓和所述第二医学图像的图像信息,确定所述第一待融合区域,包括:
根据所述第二医学图像的透射深度、扫描半径和图像大小,确定所述第一轮廓的外扩距离;
根据所述第一轮廓的外扩距离,对所述第二医学图像的第一轮廓进行等距离外扩处理,得到所述第二医学图像的第二轮廓;
确定所述第一轮廓和所述第二轮廓之间的区域图像为所述第一待融合区域。
4.根据权利要求1所述的方法,其特征在于,所述融合所述第一待融合区域和所述第二待融合区域,得到目标融合区域,包括:
通过图像融合函数对所述第一待融合区域和所述第二待融合区域进行图像融合,得到目标融合区域;
其中,所述图像融合函数为
α表示在目标像素点位置上的渐变系数大小,IMGFusion表示所述目标像素点位置上的目标融合区域, IMGOCT表示所述目标像素点位置上的第二医学图像的第一待融合区域,IMGIVUS表示所述目标像素点位置上的第一医学图像的第二待融合区域。
5.根据权利要求4所述的方法,其特征在于,在同一方向上的所述渐变系数在所述环形区域的内环和外环之间呈线性变化,所述目标像素点位置距离所述环形区域的内环的最短直线距离越大,则所述渐变系数在所述目标像素点位置对应的值越小。
6.根据权利要求1所述的方法,其特征在于,所述获取第一医学图像和第二医学图像,包括:
获取第一初始医学图像和第二初始医学图像;
分别确定所述第一初始医学图像的导丝位置和所述第二初始医学图像的导丝位置;
基于所述第一初始医学图像的导丝位置和所述第二初始医学图像的导丝位置,对所述第一初始医学图像和所述第二初始医学图像进行图像配准处理,得到所述第一医学图像和所述第二医学图像。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述第一医学图像的第一部分区域、所述第二医学图像的第二部分区域和所述目标融合区域,确定目标融合图像,包括:
确定所述第一医学图像中在所述第二待融合区域的外围部分图像为所述第一部分区域;
确定所述第二医学图像中在所述第一待融合区域的内围部分图像为所述第二部分区域;
对所述第一部分区域、所述目标融合区域以及所述第二部分区域进行图像拼接处理,得到所述目标融合图像,其中,所述第一部分区域、所述目标融合区域以及所述第二部分区域沿图像外围向内围依次排列。
8.一种不同医学图像的融合装置,其特征在于,所述装置包括:
获取模块,用于获取第一医学图像和第二医学图像;所述第一医学图像和所述第二医学图像,是对同一段血管进行图像采集所得的不同模态的图像,所述第一医学图像的透射深度大于所述第二医学图像,所述第二医学图像的分辨率大于所述第一医学图像;
第一确定模块,用于在所述第二医学图像中确定第一待融合区域;
第二确定模块,用于根据所述第一待融合区域,在所述第一医学图像上确定出第二待融合区域,所述第一待融合区域和所述第二待融合区域是所述血管外部相同位置处的环形区域;
融合模块,用于融合所述第一待融合区域和所述第二待融合区域,得到目标融合区域;
第三确定模块,用于根据所述第一医学图像的第一部分区域、所述第二医学图像的第二部分区域和所述目标融合区域,确定目标融合图像;所述目标融合图像用于进行医学检测。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202310729783.6A 2023-06-20 2023-06-20 不同医学图像的融合方法、装置、计算机设备和存储介质 Active CN116452484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310729783.6A CN116452484B (zh) 2023-06-20 2023-06-20 不同医学图像的融合方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310729783.6A CN116452484B (zh) 2023-06-20 2023-06-20 不同医学图像的融合方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN116452484A true CN116452484A (zh) 2023-07-18
CN116452484B CN116452484B (zh) 2023-09-26

Family

ID=87124186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310729783.6A Active CN116452484B (zh) 2023-06-20 2023-06-20 不同医学图像的融合方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116452484B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
CN111640106A (zh) * 2020-06-02 2020-09-08 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的多模态医学影像的转换方法
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升(北京)科学技术有限公司 血管内图像融合方法、系统及图像采集装置
CN113096056A (zh) * 2021-04-06 2021-07-09 全景恒升(北京)科学技术有限公司 一种基于区域互补的血管内图像融合方法
CN113205473A (zh) * 2021-07-05 2021-08-03 深圳科亚医疗科技有限公司 用于医学图像检测的数据增强的方法、装置和存储介质
CN114399450A (zh) * 2021-12-10 2022-04-26 浙江大华技术股份有限公司 图像融合方法、目标特征识别方法、装置和电子设备
CN114549602A (zh) * 2022-02-21 2022-05-27 上海联影智能医疗科技有限公司 图像融合方法、存储介质和计算机程序产品
CN115908785A (zh) * 2022-11-03 2023-04-04 合肥锐世数字科技有限公司 图像处理方法、装置和系统、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
CN111640106A (zh) * 2020-06-02 2020-09-08 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种基于人工智能的多模态医学影像的转换方法
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升(北京)科学技术有限公司 血管内图像融合方法、系统及图像采集装置
CN113096056A (zh) * 2021-04-06 2021-07-09 全景恒升(北京)科学技术有限公司 一种基于区域互补的血管内图像融合方法
CN113205473A (zh) * 2021-07-05 2021-08-03 深圳科亚医疗科技有限公司 用于医学图像检测的数据增强的方法、装置和存储介质
CN114399450A (zh) * 2021-12-10 2022-04-26 浙江大华技术股份有限公司 图像融合方法、目标特征识别方法、装置和电子设备
CN114549602A (zh) * 2022-02-21 2022-05-27 上海联影智能医疗科技有限公司 图像融合方法、存储介质和计算机程序产品
CN115908785A (zh) * 2022-11-03 2023-04-04 合肥锐世数字科技有限公司 图像处理方法、装置和系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN116452484B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7085062B2 (ja) 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム
TWI713054B (zh) 圖像分割方法及裝置、電子設備和儲存媒體
US10121272B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
US9504450B2 (en) Apparatus and method for combining three dimensional ultrasound images
US10186035B2 (en) Method and apparatus for image registration
JP2019512279A (ja) マルチモーダル画像を処理するシステム及び方法
JP5392644B2 (ja) 画像表示装置、方法、及びプログラム
US20140321726A1 (en) Method and apparatus for image registration
US20160225181A1 (en) Method and apparatus for displaying medical image
Li et al. Multiscale receptive field based on residual network for pancreas segmentation in CT images
WO2021259391A2 (zh) 图像处理方法及装置、电子设备和存储介质
US9818194B2 (en) Method and apparatus for image registration
US20130237824A1 (en) Method for providing ultrasound images and ultrasound apparatus
CN110910335B (zh) 一种图像处理方法、图像处理设备及计算机可读存储介质
US20150141824A1 (en) Method and apparatus for displaying ultrasound image
CN113192031B (zh) 血管分析方法、装置、计算机设备和存储介质
CN116452484B (zh) 不同医学图像的融合方法、装置、计算机设备和存储介质
CN115861298B (zh) 一种基于内镜检查可视化的图像处理方法及装置
CN116977352A (zh) 斑块分割方法、装置和计算机可读存储介质
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN111145877A (zh) 交互方法、信息处理方法、显示方法及存储介质
CN115565666A (zh) 脑梗死评估方法及装置、电子设备和存储介质
CN115272250A (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质
Blank et al. Evaluation of a novel tomographic ultrasound device for abdominal examinations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant