CN116205929A - 一种超声融合成像方法及设备、存储介质 - Google Patents

一种超声融合成像方法及设备、存储介质 Download PDF

Info

Publication number
CN116205929A
CN116205929A CN202111454234.XA CN202111454234A CN116205929A CN 116205929 A CN116205929 A CN 116205929A CN 202111454234 A CN202111454234 A CN 202111454234A CN 116205929 A CN116205929 A CN 116205929A
Authority
CN
China
Prior art keywords
image
dimensional
ultrasonic
matrix
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111454234.XA
Other languages
English (en)
Inventor
韩晓涛
江涛
饶伟源
王璐
王少锋
丛龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to CN202111454234.XA priority Critical patent/CN116205929A/zh
Publication of CN116205929A publication Critical patent/CN116205929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请实施例公开了一种超声融合成像方法及设备、存储介质，方法包括：获取检测对象的三维预设模态图像；三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示二维特征图像；采集以二维特征图像作为参考的检测对象的多帧二维超声图像；将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵；基于图像配准矩阵，将采集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示融合图像。

Description

一种超声融合成像方法及设备、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超声融合成像方法及设备、存储介质。
背景技术
在目前的超声介入消融治疗中，均是通过特殊的针或消融探头，经皮肤或者人体管腔结构放置到肿瘤位置，并进行局部加热或者冷冻，从而杀死肿瘤细胞。
超声的应用贯穿于整个介入消融治疗过程中，利用超声进行手术前病情诊断、规划进针路径，在术中引导消融针进入目标肿瘤位置，并通过超声图像检测消融治疗过程，实时评价消融治疗效果。术后可以基于超声组织图像和造影图像对消融治疗效果进行评价。在术中，术前解剖图像与术中实时图像的融合已经被广泛应用，医生可以通过实时图像来识别器官和病灶的位置，由于患者进行呼吸运动和移动，医生必须基于实时图像准确快速地识别移动的病灶来治疗，然而在某些情况下，难以用肉眼在实时获取的超声图像中识别器官和病灶。磁共振图像(MRI)和计算机断层扫描图像(CT)能够使医生清晰地识别器官和病灶，然而MRI图像和CT图像不能在治疗期间实时获得，因此MRI和CT图像无法反映患者在治疗期间发生的呼吸、移动、腹水导致的器官移位，因此，必须将实时获得的超声图像与MRI图像或CT图像进行配准，以实现超声图像与MRI图像或CT图像的图像融合。
目前，采用手动配准超声图像与MRI图像或CT图像，不仅效率较低，而且取决于人为经验，准确性差。此外，现有的自动配准技术，超声图像是医生基于经验指定采集位置，且需要进行配准初始化，不仅流程复杂，同样准确性较差，从而导致最终利用配准信息实现超声图像与MRI图像或CT图像融合的效果较差。
发明内容
为解决现有存在的技术问题，本申请实施例期望提供一种超声融合成像方法及设备、存储介质，能够自动检测并显示三维MRI图像或CT图像中关键结构的二维特征图像，供医生作为采集相应超声图像的参考进行图像配准，提高图像配准的准确性，从而提高利用配准矩阵进行图像融合的图像效果。
为达到上述目的，本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种超声融合成像方法，包括：
获取检测对象的三维预设模态图像；所述三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；
从所述三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示所述二维特征图像；
采集以所述二维特征图像作为参考的所述检测对象的多帧二维超声图像；
将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵；
基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示所述融合图像。
一个实施例中，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵，包括：
对所述三维预设模态图像进行血管分割，得到预设模态血管树；
对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；
将所述预设模态血管树与所述三维超声血管树进行配准，得到血管配准矩阵；
基于所述血管配准矩阵确定所述图像配准矩阵。
一个实施例中，所述对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：
对所述多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；
基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧超声血管分割结果进行三维重建，得到所述三维超声血管树。
一个实施例中，所述对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：
基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧二维超声图像进行三维重建，得到三维超声图像；
对所述三维超声图像进行血管分割，得到所述三维超声血管树。
一个实施例中，所述基于所述血管配准矩阵确定所述图像配准矩阵，包括：
将所述血管配准矩阵确定为所述图像配准矩阵；
或者，将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；
根据所述内容匹配矩阵和所述血管匹配矩阵确定所述图像配准矩阵。
一个实施例中，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵，包括：
将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；
将所述内容配准矩阵确定为所述图像配准矩阵。
一个实施例中，所述基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，包括：
获取表征磁传感器与超声探头之间位置关系的第一矩阵，以及采集所述多帧二维超声图像时，表征所述磁传感器在磁场发射器中的位置关系的第二矩阵；
基于所述图像配准矩阵、所述第一矩阵和所述第二矩阵，确定所述三维预设模态图像在磁场坐标系中的位置矩阵；
获取采集所述实时二维超声图像时，表征所述磁传感器在所述磁场发射器中的位置关系的第三矩阵；
基于所述位置矩阵、所述第一矩阵和所述第三矩阵，将所述实时二维超声图像转换为与所述三维预设模态图像的模态相同的二维平面图像；
基于所述二维平面图像，从所述三维预设模态图像中获取所述二维预设模态图像，并将所述二维预设模态图像与所述二维平面图像进行图像融合，得到所述融合图像。
一个实施例中，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵之后，所述方法还包括：
在所述图像配准矩阵的配准效果未达到预期效果的情况下，采集所述检测对象中目标特征结构的多帧目标超声图像；
将所述多帧目标超声图像与所述三维预设模态图像进行配准，得到更新后的图像配准矩阵；
基于所述更新后的图像配准矩阵，将所述实时二维超声图像与所述二维预设模态图像进行图像融合，得到所述融合图像。
本申请实施例提供了一种超声融合成像设备，包括：
图像处理器，用于获取检测对象的三维预设模态图像；所述三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从所述三维预设模态图像中，检测包含预设特征结构的二维特征图像；
显示器，用于显示所述二维特征图像；
超声探头；
发射电路，用于激励所述超声探头向检测对象发射超声波；
接收电路，用于通过所述超声探头接收从所述检测对象返回的超声回波，得到超声回波信号；
图像处理器，还用于根据所述超声回波信号确定所述检测对象的多帧二维超声图像；所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵；基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像；
所述显示器，还用于显示所述融合图像。
一个实施例中，所述图像处理器，具体用于对所述三维预设模态图像进行血管分割，得到预设模态血管树；对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；将所述预设模态血管树与所述三维超声血管树进行配准，得到血管配准矩阵；基于所述血管配准矩阵确定所述图像配准矩阵。
一个实施例中，所述图像处理器，具体用于对所述多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧超声血管分割结果进行三维重建，得到所述三维超声血管树。
一个实施例中，所述图像处理器，具体用于基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧二维超声图像进行三维重建，得到三维超声图像；对所述三维超声图像进行血管分割，得到所述三维超声血管树。
一个实施例中，所述图像处理器，具体用于将所述血管配准矩阵确定为所述图像配准矩阵；或者，将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；根据所述内容匹配矩阵和所述血管匹配矩阵确定所述图像配准矩阵。
一个实施例中，所述图像处理器，具体用于将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；将所述内容配准矩阵确定为所述图像配准矩阵。
一个实施例中，所述超声融合成像设备还包括：
磁场发射器，所述磁场发射器中设置有磁传感器；
所述图像处理器，具体用于获取表征磁传感器与所述超声探头之间位置关系的第一矩阵，以及采集所述多帧二维超声图像时，表征所述磁传感器在磁场发射器中的位置关系的第二矩阵；基于所述图像配准矩阵、所述第一矩阵和所述第二矩阵，确定所述三维预设模态图像在磁场坐标系中的位置矩阵；获取采集所述实时二维超声图像时，表征所述磁传感器在所述磁场发射器中的位置关系的第三矩阵；基于所述位置矩阵、所述第一矩阵和所述第三矩阵，将所述实时二维超声图像转换为与所述三维预设模态图像的模态相同的二维平面图像；基于所述二维平面图像，从所述三维预设模态图像中获取所述二维预设模态图像，并将所述二维预设模态图像与所述二维平面图像进行图像融合，得到所述融合图像。
一个实施例中，所述图像处理器，还用于在所述图像配准矩阵的配准效果未达到预期效果的情况下，采集所述检测对象中目标特征结构的多帧目标超声图像；将所述多帧目标超声图像与所述三维预设模态图像进行配准，得到更新后的图像配准矩阵；基于所述更新后的图像配准矩阵，将所述实时二维超声图像与所述二维预设模态图像进行图像融合，得到所述融合图像。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有超声融合成像程序，所述超声融合成像程序可以被处理器执行，以实现上述超声融合成像方法。
本申请实施例提供了一种超声融合成像方法及设备、存储介质，方法包括：获取检测对象的三维预设模态图像；三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示二维特征图像；采集以二维特征图像作为参考的检测对象的多帧二维超声图像；将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵；基于图像配准矩阵，将采集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示融合图像。本申请实施例提供的技术方案，能够自动检测并显示三维MRI图像或CT图像中关键结构的二维特征图像，供医生作为采集相应超声图像的参考进行图像配准，提高图像配准的准确性，从而提高利用配准矩阵进行图像融合的图像效果。
附图说明
图1为本申请实施例中的超声融合成像设备的结构框图示意图；
图2为本申请实施例提供的一种超声融合成像方法的流程示意图。
图3为本申请实施例提供的一种示例性的超声融合成像的过程示意图一；
图4为本申请实施例提供的一种示例性的超声融合成像的过程示意图二。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点及技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中的超声融合成像设备的结构框图示意图。如图1所示，在本申请的实施例中，超声融合成像设备10可以包括图像处理器100、显示器101、超声探头102、发射电路103和接收电路104。发射电路103可以激励超声探头100向检测对象发射超声波；接收电路104可以通过超声探头100接收从检测对象返回的超声回波，以获得超声回波信号；该超声回波信号可以送入图像处理器100进行处理，得到检测对象的多帧二维超声图像，这些图像可以在显示器101上显示。
在本申请的实施例中，超声融合成像设备10的显示器101可为触摸显示屏、液晶显示屏等，也可以是独立于超声融合成像设备10之外的液晶显示器、电视机等独立显示设备，也可为手机、平板电脑等电子设备上的显示屏，等等。
在本申请的实施例中，图像处理器100可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital100Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种，从而使得该处理器可以执行本发明的各个实施例中的超声融合成像方法的相应步骤。
在本发明的实施例中，超声融合成像设备10还可以包括存储器，获得的超声图像可以存储于存储器中。存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(Random Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者以上种类的存储器的组合，并向处理器提供指令和数据。
以下基于上述超声成像设备10，对本发明的技术方案进行详细说明。
图2为本申请实施例提供的一种超声融合成像方法的流程示意图。如2所示，超声融合成像方法主要包括以下步骤：
S101、获取检测对象的三维预设模态图像；三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像。
在本申请的实施例中，超声融合成像设备10中的图像处理器100，可以获取检测对象的三维预设模态图像。
需要说明的是，在本申请的实施例中，检测对象可以是病人的肝脏等组织，具体的检测对象可以根据实际需求和应用场景确定，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理器100获取三维预设模态图像的方式，可以是与其它设备器件进行通信交互获得的，即其它设备预先针对检测对象进行三维预设模型图像的采集，从而导入图像处理器100。具体的三维预设模型图像的获取方式本申请实施例不作限定。
需要说明的是，在本申请的实施例中，对于检测对象的三维预设模态图像，可以是三维磁共振图像，也可以是三维计算机断层扫描图像，这些三维图像，实际上均可以由二维图像序列组成，序列的时相不作限定。例如，在检测对象为病人的肝脏的情况下，如果三维预设模态图像为组成三维计算机断层扫描图像的图像序列，则其时相可以是平扫、动脉期、静脉期、门脉期等，如果三维预设模态图像为组成三维核磁共振图像的图像序列，则其时相可以是T1、T2、动脉期、静脉期、肝胆期、延迟期等，当然，这些图像序列较优的为肝脏、血管清晰的序列。
S102、从三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示二维特征图像。
在本申请的实施例中，图像处理器100在获得三维预设模态图像之后，进一步的，从三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示二维特征图像。
可以理解的是，在本申请的实施例中，如上述步骤S101所述，三维预设模态图像实际上由特定模态的二维图像序列组成，因此，图像处理器100可以从中检测包含特征结构的二维特征图像。
需要说明的是，在本申请的实施例中，预设特征结构可以根据实际的检测对象的结构进行设定，例如，检测对象为病人的肝脏，预设特征结果可以为门脉矢状部结构，当然，也可以是剑突、腹股神经从、肚脐等结构。具体的预设特征结构本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理器100在检测出二维特征图像的情况下，显示器101即可进行二维特征图像的显示，医生即可通过显示器101直观的查看到二维特征图像。
需要说明的是，在本申请的实施例中，预设特征结构为门脉矢状部结构，图像处理器100从三维预设模态图像中检测包含门脉矢状部的二维特征图像，可以是从三维预设模态图像中检测出门脉矢状部结构切面，检测方法可以是基于深度学习检测神经网络，也可以是分割剑突或肋骨的位置，门脉矢状部结构位于剑突下方，所以可以通过剑突定位门脉矢状部位置。常见的分类识别方法为结合数据库并采用机器学习方法学习，可以区别不同切面类别的特征或规律，再根据学习到的特征或规律对输入的图像进行分类识别，一般包括构建数据库和识别步骤。在构建数据库步骤中，数据库由大量样本组成，在具体实现时，对于采用全监督学习方法的情况，每个样本由切面图像及该图像对应的切面类别组成。对于采用半监督学习方法的情况，可一部分样本由切面图像及该图像对应的切面类别组成，另一部分样本只有图像而没有标记该图像对应的切面类别，当然，数据库中也可以同时储存适于全监督学习方法和半监督学习方法的样本。在识别步骤中，设计机器学习算法学习数据库中可以区别不同切面类型的特征或规律，借此实现对图像的识别。一种实施例的图像识别步骤包括特征提取子步骤和分类判别子步骤。在特征提取子步骤中，特征提取方法可以是常规数字图像处理的特征提取方法如主成因分析、线性判别式分析、哈尔特征、纹理特征等。特征提取方法也可以采用深度学习方法，通过堆叠卷积层、池化层、激活层和全连接层来对构建的数据库进行特征的学习；常用的深度学习网络有卷积神经网络(Convolutional Neural Networks，CNN)、ResNet、MobileNet、VGG、Inception、DenseNet，two-stage的Faster Rcnn网络、one-stage的YOLO系列、SSD系列等，在分类判别步骤中，结合数据库中的特征，用最邻近节点、支持向量机、随机森林、神经网络、Adaboost等判别器对提取到的特征进行分类，确定当前处理的三维预设模态图像中的二维切面图像属于哪一类标准切面或属于哪类标准切面的概率。通常通过分类判别可以输出每一切面类别的概率，将概率值最大的层面作为工字结构所在层面。或者，分割肝脏附近的肋骨，定位剑突区域，通过经验值定位门脉矢状部结构位置。具体的检测方式本申请实施例不作限定。
S103、采集以二维特征图像作为参考的检测对象的多帧二维超声图像。
在本申请的实施例中，超声融合成像设备10中，发射电路103可以激励超声探头102向检测对象发射超声波，接收电路104可以通过超声探头102接收从所述检测对象返回的超声回波，得到超声回波信号，图像处理器100即可根据超声回波信号确定检测对象的多帧二维超声图像。
可以理解的是，在本申请的实施例中，在步骤S102中，显示器101显示二维二维特征图像，医生即可查看二维特征图像，以此为参考，将超声探头102放置到检测对象上相应的位置上进行多帧二维超声图像的采集，从而有利于后续的配准。例如，将超声探头102放置到剑突下扇扫，从而实现检测对象的多帧二维超声图像的采集。
示例性的，在本申请的实施例中，医生参考显示的二维特征图像，即门脉矢状部结构切面，将超声探头102放在前后方向的人体肚皮位置，左右方向的人体正中位置，头脚方向的剑突下方，寻找相似的切面，找到相关切面后进行扇扫，从而采集到多帧二维超声图像。
S104、将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵。
在本申请的实施例中，超声融合成像设备10在采集到多帧二维超声图像的情况下，即可通过图像处理器100，将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵。
在本申请的实施例中，图像处理器100将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵，包括：对三维预设模态图像进行血管分割，得到预设模态血管树；对多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；将预设模态血管树与三维超声血管树进行配准，得到血管配准矩阵；基于血管配准矩阵确定图像配准矩阵。
需要说明的是，在本申请的实施例中，图像处理器100对三维预设模态图像进行血管分割，分割血管的方法有模板匹配、区域生长、机器学习、黑塞矩阵、跟踪、深度学习等，具体可以根据血管管径粗细和对比度的不同选择不同的方式。此外，预设三维模态图像如果为三维计算机断层扫描图像，其成像原理与三维磁共振图像不同，还可以使用基于阈值的方法，血管分割方法应支持三维预设模态图像的时相类型。以深度学习方法为例，通过原始数据和血管标注数据训练网络，网络类型可以是SSD、U-net、V-net、Mobile net、nn-Unet等，可以在每个二维层面上分割再重建，也可以直接再整个三维数据上分割，从而利用训练的网络进行血管分割。具体的血管分割方法、网络类型、数据处理方法本申请实施例不做限定。
图3为本申请实施例提供的一种示例性的超声融合成像的过程示意图一。如图3所示，可以先导入检测对象的三维预设模态图像，从中检测门脉矢状部，并显示对应的切面图像，即二维特征图像，从而可以根据显示的图像将超声探头102放置在人体剑突下扇扫，对得到的多帧二维超声图像进行血管分割和三维重建，此外，对三维预设模态图像进行血管分割，两者进行血管配准，得到血管配准矩阵，用于后续进行图像融合显示。
具体的，在本申请的实施例中，图像处理器100对多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：对多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；基于多帧二维超声图像中每一帧图像对应的磁导航数据，对多帧超声血管分割结果进行三维重建，得到三维超声血管树。
需要说明的是，在本申请的实施例中，图像处理器100对多帧二维超声图像中每一帧图像进行血管分割的方法，同样可以为模板匹配、区域生长、机器学习、黑塞矩阵、跟踪、深度学习等，具体可以根据血管管径粗细和对比度的不同选择不同的方式。以多尺度黑塞矩阵为例，通过不同尺度的高斯-拉普拉斯卷积核函数计算图像每一点不同尺度的黑塞响应，将每一点的不同尺度的黑塞响应的最大值作为血管概率值，而后通过固定阈值或自适应阈值方法进行血管分割。以深度学习为例，将二维超声图像作为输入，将相应的标注的血管模板作为输出，选择合适的损失函数训练网络，当输入是一张新的二维超声图像时，网络将输出响应的血管预测结果，从而实现血管分割，可选网络有2D U-net、2D V-net、Mobilenet、nn-Unet等，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理器100可以获取到多帧二维超声图像中每一帧图像对应的磁导航数据，从而可以利用磁导航数据，对得到的多帧超声血管分割结果进行三维重建。
具体的，在本申请的实施例中，图像处理器100对多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：基于多帧二维超声图像中每一帧图像对应的磁导航数据，对多帧二维超声图像进行三维重建，得到三维超声图像；对三维超声图像进行血管分割，得到三维超声血管树。
可以理解的是，在本申请的实施例中，图像处理器100利用多帧二维超声图像生成三维超声血管树，可以是先对多帧二维超声图像进行血管分割，再对分割结果进行三维重建，也可以是先利用多帧二维超声图像进行三维重建，再对重建的三维超声图像进行血管分割，具体的处理顺序可以根据实际需求选择或设定，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，如与上述提供的三维预设模态图像进行血管分割的方式，图像处理器100对三维超声图像进行血管分割的方式，具体可以采用其中任意一种方式，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理器100在得到预设模态血管树和三维超声血管树的情况下，即可使用配准算法对预设模态血管树与三维超声血管树进行配准。配准算法主要包括两部分，即图像间的相似性度量方法和图像间的映射方法，根据映射方法的不同，可以分为刚体变换(旋转和平移)、仿射变换(放缩、旋转和平移)和非线性变换(对不同局部的图像建立不同的映射)。例如，针对预设模态血管树与三维超声血管树，如果数据点间距相同，即采集的像素是同一尺度，配准算法可以是刚体变换，即包括旋转和平移，如果数字深度不同，则采用插值算法将两组数据放缩到同一尺度，然后按照刚体变换进行配准计算。具体的配准算法可以根据实际需求和应用场景设定，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理器100对预设模态血管树与三维超声血管树进行配准时，可以使用点云配准的方法进行配准，常用的点云配准方法有ICP、NDT、PFH、GMM等，以ICP为例，首先根据点集A中的点坐标，在点集B中搜索就近点；计算这两个点集的重心位置，进行点集中心化并生成新的点集；由新的点集计算正定矩阵N，并计算正定矩阵N的最大特征值及其最大特征向量，特征向量即为四元数，将四元数转化为旋转矩阵并计算平移矩阵T；将旋转矩阵和平移矩阵应用在点集A上生成新的点集并进行下一次迭代，直到两个点集的位置达到可接受范围内，其中点集A和点集B，即为预设模态血管树和三维超声血管树。
具体的，在本申请的实施例中，图像处理器100基于血管配准矩阵确定图像配准矩阵，包括：将血管配准矩阵确定为图像配准矩阵；或者，将多帧二维超声图像与三维预设模态图像进行图像内容配准，得到内容配准矩阵；根据内容匹配矩阵和血管匹配矩阵确定图像配准矩阵。
需要说明的是，在本申请的实施例中，图像处理器100在获得血管配准矩阵的情况下，可以将血管配准矩阵直接作为图像配准矩阵，此外，也可以再将多帧二维超声图像与三维预设模态图像进行图像内容配准，将血管配准矩阵与图像内容配准得到的内容配准矩阵结合，确定出图像配准矩阵。
需要说明的是，在本申请的实施例中，若三维预设模态图像中像素点为Xi的图像亮度为f(Xi)，多帧二维超声图像中像素点Yi的图像亮度为g(Yi)，数据间映射可表示为以下公式(1)至公式(4)：
Xi＝AYi (1)
Figure BDA0003387297150000131
Figure BDA0003387297150000132
Figure BDA0003387297150000133
其中，当使用多帧二维超声图像与三维预设模态图像进行内容配准时，可定义两组数据间的相似性度量函数为E＝∑i＝1…N|f(Xi)-g(AYi)|。上述相似性度量为典型的最小绝对差值和(SAD)、类似的定义方式还有：最小平方误差和(SSD)、最大互相关(C-C)。同时度量函数中的f(Xi)和g(Yi)还可以定义为对应数据的灰度、局部梯度、局部灰度熵、图像特征点的特征向量等形式。此外，f(Xi)和g(Yi)还可以是基于图像强度的度量(如灰度、梯度、LC2、MIND、LSOD、SSC、GOA、NGF、MILBP、MCC、NCC、a-MI、MI、SeSaMI等)，也可以是基于图像特征的度量(如SIFT，SURF，HOG等)
需要说明的是，在本申请的实施例中，当既使用血管分割结果，又使用图像的内容进行配准时，可以先使用点云配准方法初始化配准矩阵，再基于图像内容提取特征进行进一步配准。或者将两者都作为损失函数优化配准矩阵。
在本申请的实施例中，图像处理器100将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵，还可以包括：将多帧二维超声图像与三维预设模态图像进行图像内容配准，得到内容配准矩阵；将内容配准矩阵确定为图像配准矩阵。
可以理解的是，在本申请的实施例中，图像处理器100除了上述进行血管分割，基于血管配准矩阵，或者，血管配准矩阵和内容配准矩阵结合的方式确定图像配准矩阵，也可以只进行图像内容配准，不进行血管分割等处理，直接将内容配准矩阵确定为图像配准矩阵。其中，内容配准矩阵的确定方式在上述内容中已详述，在此不再赘述。
S105、基于图像配准矩阵，将采集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示融合图像。
在本申请的实施例中，图像处理器100在确定出图像配准矩阵的情况下，即可将集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示融合图像。
具体的，在本申请的实施例中，图像处理器100基于图像配准矩阵，将采集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，包括：获取表征磁传感器与超声探头之间位置关系的第一矩阵，以及采集多帧二维超声图像时，表征磁传感器在磁场发射器中的位置关系的第二矩阵；基于图像配准矩阵、第一矩阵和第二矩阵，确定三维预设模态图像在磁场坐标系中的位置矩阵；获取采集实时二维超声图像时，表征磁传感器在磁场发射器中的位置关系的第三矩阵；基于位置矩阵、第一矩阵和第三矩阵，将实时二维超声图像转换为与三维预设模态图像的模态相同的二维平面图像；基于二维平面图像，从三维预设模态图像中获取二维预设模态图像，并将二维预设模态图像与二维平面图像进行图像融合，得到融合图像。
需要说明的是，在本申请的实施例中，超声融合成像设备10还包括磁场发射器，磁场发射器中包括磁传感器。图像处理器100不仅可以直接获取到表征磁传感器与超声探头102之间的位置关系的第一矩阵，还可以获取到采集上述多帧二维超声图像时，表征磁传感器在磁场发射器中的位置关系的第二矩阵，从而利用第一矩阵和第二矩阵，结合图像配准矩阵，确定三维预设模态图像在磁场坐标系中的位置矩阵，实际上就是利用这些矩阵，对三维预设模态图像进行坐标系映射，从而得到位置矩阵。
可以理解的是，在本申请的实施例中，图像处理器100还可以获取采集实时二维超声图像时，表征磁传感器在磁场发射器中的位置关系的第三矩阵，从而基于上述位置矩阵、第一矩阵和第三矩阵，对实时二维超声图像进行转换，即将实时二维超声图像转换到与三维预设模态图像的模态相同的图像，这样，得到的二维平面图像实际上与三维预设模态图像处于同一基准下，从而可以实现图像融合。
具体的，在本申请的实施例中，三维预设模态图像在磁场坐标系下的位置矩阵为P，图像配准矩阵为T，表征磁传感器与超声探头102的位置关系的第一矩阵为A，表征磁传感器在磁场发射器中的位置关系的第二矩阵为R1，那么T＝P*R1*A,P＝T*A-1*R1-1，当得到位置矩阵P后，随着超声探头102移动，可以获取到实时二维超声图像，以及第三矩阵R2，实时二维超声图像对应的二维平面图像为MPR＝P*R2*A，从而进一步实现图像融合。
在本申请的实施例中，图像处理器100将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵之后，还可以执行以下步骤：在图像配准矩阵的配准效果未达到预期效果的情况下，采集检测对象中目标特征结构的多帧目标超声图像；将多帧目标超声图像与三维预设模态图像进行配准，得到更新后的图像配准矩阵；基于更新后的图像配准矩阵，将实时二维超声图像与二维预设模态图像进行图像融合，得到融合图像。
可以理解的是，在本申请的实施例中，图像处理器100在执行步骤S104，即确定出图像配准矩阵的情况下，可以进行图像配准矩阵配准效果的检验，如果其配准效果达到预期效果，则可以直接应用其进行图像配准融合，如果未达到预期效果，则可以进一步进行图像配准矩阵的更新。
需要说明的是，在本申请的实施例中，考虑到图像配准矩阵效果不佳的原因，可能是针对预设特征结构采集的多帧二维超声图像效果不佳，导致配准效果较差，因此，图像处理器100可以重新采集目标特征结构的多帧目标超声图像，用于确定更新的图像配准矩阵。目标特征结构可以是检测对象中与预设特征结构不同的某一特定结构，本申请实施例不作限定。
图4为本申请实施例提供的一种示例性的超声融合成像的过程示意图二。如图4所示，包含图3中的步骤，在此不再赘述，在采用血管分割配准，即图像配准矩阵即血管配准矩阵的情况下，对于血管配准矩阵将判断是否达到预期效果，如果达到预期效果，则可以利用其进行图像融合，如果未达到，则可以重新采集超声图像，并进行血管分割和三维重建，再与预设模态血管树配准，得到更新后的血管配准矩阵，用于进行图像融合。
本申请实施例提供了一种超声融合成像方法，包括：获取检测对象的三维预设模态图像；三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示二维特征图像；采集以二维特征图像作为参考的检测对象的多帧二维超声图像；将多帧二维超声图像与三维预设模态图像进行配准，得到图像配准矩阵；基于图像配准矩阵，将采集到的检测对象的实时二维超声图像与三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示融合图像。本申请实施例提供的超声融合成像方法，能够自动检测并显示三维MRI图像或CT图像中关键结构的二维特征图像，供医生作为采集相应超声图像的参考进行图像配准，提高图像配准的准确性，从而提高利用配准矩阵进行图像融合的图像效果。
如图1所示，本发明实施例提供了一种超声融合成像设备，所述超声融合成像设备包括：
图像处理器100，用于获取检测对象的三维预设模态图像；所述三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从所述三维预设模态图像中，检测包含预设特征结构的二维特征图像；
显示器101，用于显示所述二维特征图像；
超声探头102；
发射电路103，用于激励所述超声探头向检测对象发射超声波；
接收电路104，用于通过所述超声探头接收从所述检测对象返回的超声回波，得到超声回波信号；
图像处理器100，还用于根据所述超声回波信号确定所述检测对象的多帧二维超声图像；所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵；基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像；
所述显示器101，还用于显示所述融合图像。
在本申请一实施例中，所述图像处理器100，具体用于对所述三维预设模态图像进行血管分割，得到预设模态血管树；对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；将所述预设模态血管树与所述三维超声血管树进行配准，得到血管配准矩阵；基于所述血管配准矩阵确定所述图像配准矩阵。
在本申请一实施例中，所述图像处理器100，具体用于对所述多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧超声血管分割结果进行三维重建，得到所述三维超声血管树。
在本申请一实施例中，所述图像处理器100，具体用于基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧二维超声图像进行三维重建，得到三维超声图像；对所述三维超声图像进行血管分割，得到所述三维超声血管树。
在本申请一实施例中，所述图像处理器100，具体用于将所述血管配准矩阵确定为所述图像配准矩阵；或者，将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；根据所述内容匹配矩阵和所述血管匹配矩阵确定所述图像配准矩阵。
在本申请一实施例中，所述图像处理器100，具体用于将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；将所述内容配准矩阵确定为所述图像配准矩阵。
在本申请一实施例中，所述超声融合成像设备还包括：
磁场发射器，所述磁场发射器中设置有磁传感器；
所述图像处理器100，具体用于获取表征磁传感器与所述超声探头102之间位置关系的第一矩阵，以及采集所述多帧二维超声图像时，表征所述磁传感器在磁场发射器中的位置关系的第二矩阵；基于所述图像配准矩阵、所述第一矩阵和所述第二矩阵，确定所述三维预设模态图像在磁场坐标系中的位置矩阵；获取采集所述实时二维超声图像时，表征所述磁传感器在所述磁场发射器中的位置关系的第三矩阵；基于所述位置矩阵、所述第一矩阵和所述第三矩阵，将所述实时二维超声图像转换为与所述三维预设模态图像的模态相同的二维平面图像；基于所述二维平面图像，从所述三维预设模态图像中获取所述二维预设模态图像，并将所述二维预设模态图像与所述二维平面图像进行图像融合，得到所述融合图像。
在本申请一实施例中，所述图像处理器100，还用于在所述图像配准矩阵的配准效果未达到预期效果的情况下，采集所述检测对象中目标特征结构的多帧目标超声图像；将所述多帧目标超声图像与所述三维预设模态图像进行配准，得到更新后的图像配准矩阵；基于所述更新后的图像配准矩阵，将所述实时二维超声图像与所述二维预设模态图像进行图像融合，得到所述融合图像。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有超声融合成像程序，该超声融合成像程序可以被处理器执行，以实现上述超声融合成像方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (17)

1.一种超声融合成像方法，其特征在于，包括：
获取检测对象的三维预设模态图像；所述三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；
从所述三维预设模态图像中，检测包含预设特征结构的二维特征图像，并显示所述二维特征图像；
采集以所述二维特征图像作为参考的所述检测对象的多帧二维超声图像；
将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵；
基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，并显示所述融合图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵，包括：
对所述三维预设模态图像进行血管分割，得到预设模态血管树；
对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；
将所述预设模态血管树与所述三维超声血管树进行配准，得到血管配准矩阵；
基于所述血管配准矩阵确定所述图像配准矩阵。
3.根据权利要求2所述的方法，其特征在于，所述对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：
对所述多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；
基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧超声血管分割结果进行三维重建，得到所述三维超声血管树。
4.根据权利要求2所述的方法，其特征在于，所述对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树，包括：
基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧二维超声图像进行三维重建，得到三维超声图像；
对所述三维超声图像进行血管分割，得到所述三维超声血管树。
5.根据权利要求2所述的方法，其特征在于，所述基于所述血管配准矩阵确定所述图像配准矩阵，包括：
将所述血管配准矩阵确定为所述图像配准矩阵；
或者，将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；
根据所述内容匹配矩阵和所述血管匹配矩阵确定所述图像配准矩阵。
6.根据权利要求1所述的方法，其特征在于，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵，包括：
将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；
将所述内容配准矩阵确定为所述图像配准矩阵。
7.根据权利要求1所述的方法，其特征在于，所述基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像，包括：
获取表征磁传感器与超声探头之间位置关系的第一矩阵，以及采集所述多帧二维超声图像时，表征所述磁传感器在磁场发射器中的位置关系的第二矩阵；
基于所述图像配准矩阵、所述第一矩阵和所述第二矩阵，确定所述三维预设模态图像在磁场坐标系中的位置矩阵；
获取采集所述实时二维超声图像时，表征所述磁传感器在所述磁场发射器中的位置关系的第三矩阵；
基于所述位置矩阵、所述第一矩阵和所述第三矩阵，将所述实时二维超声图像转换为与所述三维预设模态图像的模态相同的二维平面图像；
基于所述二维平面图像，从所述三维预设模态图像中获取所述二维预设模态图像，并将所述二维预设模态图像与所述二维平面图像进行图像融合，得到所述融合图像。
8.根据权利要求1所述的方法，其特征在于，所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵之后，所述方法还包括：
在所述图像配准矩阵的配准效果未达到预期效果的情况下，采集所述检测对象中目标特征结构的多帧目标超声图像；
将所述多帧目标超声图像与所述三维预设模态图像进行配准，得到更新后的图像配准矩阵；
基于所述更新后的图像配准矩阵，将所述实时二维超声图像与所述二维预设模态图像进行图像融合，得到所述融合图像。
9.一种超声融合成像设备，其特征在于，包括：
图像处理器，用于获取检测对象的三维预设模态图像；所述三维预设模态图像为三维磁共振图像或三维计算机断层扫描图像；从所述三维预设模态图像中，检测包含预设特征结构的二维特征图像；
显示器，用于显示所述二维特征图像；
超声探头；
发射电路，用于激励所述超声探头向检测对象发射超声波；
接收电路，用于通过所述超声探头接收从所述检测对象返回的超声回波，得到超声回波信号；
图像处理器，还用于根据所述超声回波信号确定所述检测对象的多帧二维超声图像；所述将所述多帧二维超声图像与所述三维预设模态图像进行配准，得到图像配准矩阵；基于所述图像配准矩阵，将采集到的所述检测对象的实时二维超声图像与所述三维预设模态图像中对应的二维预设模态图像进行图像融合，得到融合图像；
所述显示器，还用于显示所述融合图像。
10.根据权利要求9所述的超声融合成像设备，其特征在于，
所述图像处理器，具体用于对所述三维预设模态图像进行血管分割，得到预设模态血管树；对所述多帧二维超声图像进行血管分割和三维重建，得到三维超声血管树；将所述预设模态血管树与所述三维超声血管树进行配准，得到血管配准矩阵；基于所述血管配准矩阵确定所述图像配准矩阵。
11.根据权利要求10所述的超声融合成像设备，其特征在于，
所述图像处理器，具体用于对所述多帧二维超声图像中每一帧图像进行血管分割，得到多帧超声血管分割结果；基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧超声血管分割结果进行三维重建，得到所述三维超声血管树。
12.根据权利要求10所述的超声融合成像设备，其特征在于，
所述图像处理器，具体用于基于所述多帧二维超声图像中每一帧图像对应的磁导航数据，对所述多帧二维超声图像进行三维重建，得到三维超声图像；对所述三维超声图像进行血管分割，得到所述三维超声血管树。
13.根据权利要求10所述的超声融合成像设备，其特征在于，
所述图像处理器，具体用于将所述血管配准矩阵确定为所述图像配准矩阵；或者，将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；根据所述内容匹配矩阵和所述血管匹配矩阵确定所述图像配准矩阵。
14.根据权利要求9所述的超声融合成像设备，其特征在于，
所述图像处理器，具体用于将所述多帧二维超声图像与所述三维预设模态图像进行图像内容配准，得到内容配准矩阵；将所述内容配准矩阵确定为所述图像配准矩阵。
15.根据权利要求9所述的超声融合成像设备，其特征在于，还包括：
磁场发射器，所述磁场发射器中设置有磁传感器；
所述图像处理器，具体用于获取表征磁传感器与所述超声探头之间位置关系的第一矩阵，以及采集所述多帧二维超声图像时，表征所述磁传感器在磁场发射器中的位置关系的第二矩阵；基于所述图像配准矩阵、所述第一矩阵和所述第二矩阵，确定所述三维预设模态图像在磁场坐标系中的位置矩阵；获取采集所述实时二维超声图像时，表征所述磁传感器在所述磁场发射器中的位置关系的第三矩阵；基于所述位置矩阵、所述第一矩阵和所述第三矩阵，将所述实时二维超声图像转换为与所述三维预设模态图像的模态相同的二维平面图像；基于所述二维平面图像，从所述三维预设模态图像中获取所述二维预设模态图像，并将所述二维预设模态图像与所述二维平面图像进行图像融合，得到所述融合图像。
16.根据权利要求9所述的超声融合成像设备，其特征在于，
所述图像处理器，还用于在所述图像配准矩阵的配准效果未达到预期效果的情况下，采集所述检测对象中目标特征结构的多帧目标超声图像；将所述多帧目标超声图像与所述三维预设模态图像进行配准，得到更新后的图像配准矩阵；基于所述更新后的图像配准矩阵，将所述实时二维超声图像与所述二维预设模态图像进行图像融合，得到所述融合图像。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有超声融合成像程序，所述超声融合成像程序可以被处理器执行，以实现权利要求1-8任一项所述的超声融合成像方法。
CN202111454234.XA 2021-12-01 2021-12-01 一种超声融合成像方法及设备、存储介质 Pending CN116205929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111454234.XA CN116205929A (zh) 2021-12-01 2021-12-01 一种超声融合成像方法及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454234.XA CN116205929A (zh) 2021-12-01 2021-12-01 一种超声融合成像方法及设备、存储介质

Publications (1)

Publication Number Publication Date
CN116205929A true CN116205929A (zh) 2023-06-02

Family

ID=86515157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454234.XA Pending CN116205929A (zh) 2021-12-01 2021-12-01 一种超声融合成像方法及设备、存储介质

Country Status (1)

Country Link
CN (1) CN116205929A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197346A (zh) * 2023-09-07 2023-12-08 上海微创电生理医疗科技股份有限公司 三维超声成像处理方法、系统、电子设备和可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197346A (zh) * 2023-09-07 2023-12-08 上海微创电生理医疗科技股份有限公司 三维超声成像处理方法、系统、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
US11967072B2 (en) Three-dimensional object segmentation of medical images localized with object detection
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN110338844B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
Yousef et al. A holistic overview of deep learning approach in medical imaging
US9959615B2 (en) System and method for automatic pulmonary embolism detection
CN112001925B (zh) 图像的分割方法、放射治疗系统、计算机设备和存储介质
Zhao et al. A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts
CN110766730B (zh) 图像配准及随访评估方法、存储介质及计算机设备
US8958614B2 (en) Image-based detection using hierarchical learning
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
JP2016531709A (ja) 疾患を診断するための画像解析技術
Zhang et al. Automatic assessment of full left ventricular coverage in cardiac cine magnetic resonance imaging with fisher-discriminative 3-D CNN
Kwitt et al. Localizing target structures in ultrasound video–a phantom study
CN110634554A (zh) 脊椎影像注册方法
CN116205929A (zh) 一种超声融合成像方法及设备、存储介质
CN113177953B (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN113362350B (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
US12033755B2 (en) Method and arrangement for identifying similar pre-stored medical datasets
CN114757890A (zh) 医学图像处理方法、装置、设备和存储介质
US11341661B2 (en) Method and apparatus for registering live medical image with anatomical model
Kou et al. FDTR: Weakening feature disparity transformer for accurate multicategory computed tomography image segmentation
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质
KR102132564B1 (ko) 진단 장치 및 진단 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination