CN115359063A - 基于目标器官三维图像的刚性配准方法及相关装置 - Google Patents
基于目标器官三维图像的刚性配准方法及相关装置 Download PDFInfo
- Publication number
- CN115359063A CN115359063A CN202211298576.1A CN202211298576A CN115359063A CN 115359063 A CN115359063 A CN 115359063A CN 202211298576 A CN202211298576 A CN 202211298576A CN 115359063 A CN115359063 A CN 115359063A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- coordinate point
- point sequence
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000009466 transformation Effects 0.000 claims abstract description 118
- 238000002591 computed tomography Methods 0.000 claims abstract description 50
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 38
- 238000002604 ultrasonography Methods 0.000 claims description 95
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000003902 lesion Effects 0.000 claims description 22
- 238000010827 pathological analysis Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 15
- 238000002595 magnetic resonance imaging Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请提供了一种基于目标器官三维图像的刚性配准方法及相关装置，包括：获取目标器官对应的计算机断层扫描图像/核磁共振图像以及目标器官对应的参考超声图像；确定计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和参考超声图像对应的第二掩膜图像；根据第一掩膜图像创建能量场；获取第二掩膜图像边界处的参考坐标点序列；根据参考坐标点序列和能量场确定目标坐标点序列；根据参考坐标点序列和目标坐标点序列之间的变换关系对参考超声图像进行空间几何变换，得到目标超声图像；将计算机断层扫描图像/核磁共振图像和目标超声图像进行融合，得到配准后的三维图像。如此，能够简化图像配准的流程，提高图像配准的效率。
Description
技术领域
本申请属于互联网产业的一般的图像数据处理技术领域，具体涉及一种基于目标器官三维图像的刚性配准方法及相关装置。
背景技术
计算机断层扫描图像（CT图像）对骨性结构显影优秀，而核磁共振图像（MRI图像）对软组织显影卓越，超声图像又具备实时反馈的特性，将三者属于不同模态下的图像进行图像刚性配准以此辅助微创介入手术对病灶的查找和定位，从而降低手术难度和门槛是目前医学影像领域研究的热点。但是，现有技术中，有关于器官三维图像的刚性配准方法都存在计算量大，配准效率低的问题，严重降低了医生的工作效率。
发明内容
本申请提供了一种基于目标器官三维图像的刚性配准方法及相关装置，以期提高图像配准效率。
第一方面，本申请实施例提供了一种基于目标器官三维图像的刚性配准方法，包括：
获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；
确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；
根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；
获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；
根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；
根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；
将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
第二方面，本申请实施例提供了一种基于目标器官三维图像的刚性配准装置，包括：第一获取单元，用于获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；第一确定单元，用于确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；创建单元，用于根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；第二获取单元，用于获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；第二确定单元，用于根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；图像变换单元，用于根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；图像融合单元，用于将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例第一方面中的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
可以看出，本申请实施例中，电子设备首先获取目标器官对应的CT/MRI图像以及参考超声图像，再确定CT/MRI图像对应的第一掩膜图像以及超声图像对应的第二掩膜图像，以确定病灶轮廓，再根据第一掩膜图像创建能量场，以及获取第二掩膜图像边界处的参考坐标点序列，然后根据参考坐标点序列和能量场确定出该能量场中能量值最小的目标坐标点序列，从而得到参考坐标点序列和目标坐标点序列之间的变换关系，根据该变换关系对参考超声图像进行空间几何变换，从而得到目标超声图像，最后将CT/MRI图像和目标超声图像进行融合，得到配准后的三维图像。如此，通过创建能量场关联坐标点序列来得到由参考坐标点序列到目标坐标点序列之间最优的变换关系，操作简单，省去了复杂的计算过程，提高了图像配准的效率，使医生能够在超声环境下看到CT/MRI序列中的器官及周围组织，有效提升了医生的工作效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构框图；
图2是本申请实施例提供的一种基于目标器官三维图像的刚性配准方法的流程示意图；
图3a是本申请实施例提供的一种第一掩膜图像的示例图；
图3b是本申请实施例提供的一种第二掩膜图像的示例图；
图4是本申请实施例提供的一种配准后的三维图像对应的掩膜图像的示例图；
图5a是本申请实施例提供的一种基于目标器官三维图像的刚性配准装置的功能单元组成框图；
图5b是本申请实施例提供的另一种基于目标器官三维图像的刚性配准装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面先对本申请涉及到的相关术语进行介绍。
刚性配准：医学图像配准中的一种配准方式，主要应用于组织器官内部基本不会发生形变的刚体部位的医学图像。
医学图像配准：是指针对两幅医学图像，以其中一幅医学图像作为参考来寻找一种(或一系列)空间变换关系,使得另一幅医学图像经过空间变换后，两幅图像之间相对应的点在空间上达到基本一致的一种技术。
掩膜（mask）：用选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，来控制图像处理的区域或处理过程。在医学图像配准技术领域中，掩膜技术的作用：提取图像中的感兴趣区域，从而使得配准的结果是使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。
目前，医学图像配准技术在微创介入手术领域中的作用越来越大，可以有效辅助医生查找病灶位置，从而准确制定手术方案，对病人进行有效治疗。但是现有技术中的医学图像配准技术通常存在计算量大，计算复杂度高的问题，导致配准效率并不理想，严重影响了医生的工作效率。
为解决上述问题，本申请实施例提供了一种基于目标器官三维图像的刚性配准方法及相关装置，该方法应用于对目标器官的三维图像进行处理的电子设备中。电子设备通过创建CT/MRI图像对应的第一掩膜图像对应的能量场，从而在能量场的维度找到最优的变换关系，以对超声图像进行变换，实现配准。在简化了配准流程、提高配准效率的同时，也能够保证图像配准的精确度，提高医生的使用体验和工作效率。
请参阅图1，图1是本申请实施例提供的一种电子设备的结构框图。如图1所示，电子设备10可以包括一个或多个如下部件：处理器11、与处理器11耦合的存储器12，其中存储器12可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器11执行时实现下述实施例描述的方法。其中，所述电子设备可以是医疗设备，如医疗平板、医疗电脑等。
处理器11可以包括一个或者多个处理核。处理器11利用各种接口和线路连接整个电子设备10内的各个部分，通过运行或执行存储在存储器12内的指令、程序、代码集或指令集，以及调用存储在存储器12内的数据，执行电子设备10的各种功能和处理数据。可选地，处理器11可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器11可集成中央处理器(CentralProcessingUnit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器11中，单独通过一块通信芯片进行实现。
存储器12可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器12可用于存储指令、程序、代码、代码集或指令集。存储器12可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备10在使用中所创建的数据等。
可以理解的是，电子设备10可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、Wi-Fi模块、扬声器、蓝牙模块、传感器等，在此不进行限定。
下面介绍本申请实施例提供的一种基于目标器官三维图像的刚性配准方法。
请参阅图2，图2是本申请实施例提供的一种基于目标器官三维图像的刚性配准方法的流程示意图，所述方法应用于如图1所示的电子设备10中，如图2所示，所述方法包括：
步骤201，获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像。
其中，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据，所述三维体数据是指目标器官在经过CT或MRI扫描后呈现出的三维立体状态的图像数据，所述超声数据是指目标器官在所述多组超声图像组合形成的参考超声图像中呈现出三维立体状态的图像数据。其中，所述多组超声图像是在二维空间的超声图像，通过电磁传感器定位多组二维超声图像上的像素点坐标信息，在经过组合、空间转换得到三维空间下的像素点坐标信息，从而组合形成所述参考超声图像。需要说明的是，MRI可获得人体横面、冠状面、矢状面及任何方向断面的图像，可以做到直接三维显示，而CT需要采用图像重建的方法来获得三维重建的立体图像，例如可以通过多平面重建法、最大密度投影法来实现CT图像的三维重建。
步骤202，确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像。
其中，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，具体的三维图像轮廓如图3a所示；所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分，具体的三维图像轮廓如图3b所示。掩膜图像可以看作是由0和1组成的一个二进制图像，当在某一功能中应用掩膜时，1值区域被处理，被屏蔽的0值区域不被包括在计算中，那么在本示例中，可以对目标器官的病灶对应的图像位置赋值为1，其余位置赋值为0，则可以得到表征目标器官的病灶位置的掩膜图像。可以理解的是，第一掩膜图像的边界轮廓即为CT/MRI图像中病灶的部分轮廓，第二掩膜图像的边界轮廓即为参考超声图像中病灶的部分轮廓。
步骤203，根据所述第一掩膜图像创建能量场。
其中，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减，即越靠近能量场边界处，能量值越小。可选地，运用相关图像处理技术对上述第一掩膜图像进行处理，得到所述能量场，所述相关图像处理技术可以是图像腐蚀、膨胀、去噪等。
步骤204，获取所述第二掩膜图像边界处的参考坐标点序列。
其中，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标。具体地，可通过电磁传感器对多组二维超声图像中具有病理诊断意义的多个像素点进行采样并记录坐标，在经过三维转换得到参考超声图像后可以根据该三维转换具体计算出所述参考超声图像中具有病理诊断意义的多个像素点的坐标，从而计算得到上述参考坐标点序列。
步骤205，根据所述参考坐标点序列和所述能量场确定目标坐标点序列。
其中，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等。可以理解的是，医学图像配准的任务就是找到一个最优的变换关系，使得不同图像上具有意义的点在空间上实现一一对应，在本申请实施例中，是通过变换关系对参考坐标点序列进行变换，当其变换成为能量场中能量值最小的坐标点序列时，该变换关系为最优解。
步骤206，根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像。
其中，所述空间几何变换至少包括以下一种：平移、旋转。
步骤207，将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
其中，所述配准后的三维图像可以同时兼容CT/MRI图像和超声图像的优点，使得目标器官的病灶图像在具有高清晰度的同时又具备实时反馈的特性。由于超声图像变换后，其对应的掩膜图像也会随之进行空间几何变换，为便于阐述和理解，下面通过掩膜图像之间的融合配准来说明CT/MRI图像和目标超声图像之间的融合配准。例如，如图4所示，图4中的三维图像是将上述示例中图3a和经过空间几何变换后的图3b融合配准形成的图像，可以理解的是，图3b经过空间几何变换后在图4中的图像部分即为所述目标超声图像对应的掩膜图像。
可见，本示例中，电子设备首先获取目标器官对应的CT/MRI图像以及参考超声图像，再确定CT/MRI图像对应的第一掩膜图像以及超声图像对应的第二掩膜图像，以确定病灶轮廓，再根据第一掩膜图像创建能量场，以及获取第二掩膜图像边界处的参考坐标点序列，然后根据参考坐标点序列和能量场确定出该能量场中能量值最小的目标坐标点序列，从而得到参考坐标点序列和目标坐标点序列之间的变换关系，根据该变换关系对参考超声图像进行空间几何变换，从而得到目标超声图像，最后将CT/MRI图像和目标超声图像进行融合，得到配准后的三维图像。如此，通过创建能量场关联坐标点序列来得到由参考坐标点序列到目标坐标点序列之间最优的变换关系，操作简单，省去了复杂的计算过程，提高了图像配准的效率，使医生能够在超声环境下看到CT/MRI序列中的器官及周围组织，有效提升了医生的工作效率。
在一个可能的示例中，所述根据所述参考坐标点序列和所述能量场确定目标坐标点序列，包括：根据所述参考坐标点序列和所述能量场确定目标变换参数；根据所述目标变换参数对所述参考坐标点序列进行坐标变换，得到所述目标坐标点序列。
其中，所述目标变换参数用于表征在当前能量场的作用下所述参考坐标点序列和所述目标坐标点序列之间的最优变换关系，该目标变换参数的具体形态可以是变换矩阵，也可以是空间变换函数，或是其他任意一种可以将上述参考坐标点序列变换为上述目标坐标点序列的参数形态。
可见，本示例中，电子设备先确定出作为参考坐标点序列和目标坐标点序列之间的最优变换关系的表现形态之一的目标变换参数，再根据目标变换参数对参考坐标点序列进行坐标变换，从而得到目标坐标点序列，操作简单，提高了图像配准的效率。
在一个可能的示例中，所述根据所述参考坐标点序列和所述能量场确定目标变换参数，包括：根据所述参考坐标点序列和所述能量场构建能量值计算公式，所述能量值计算公式的因变量为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值，所述能量值计算公式中的自变量为所述参考坐标点序列进行坐标变换的变换参数；根据所述能量值计算公式确定所述目标变换参数。
其中，上述能量值计算公式表示在当前能量场的约束下，参考坐标点序列在变换参数X的作用下变换为另一坐标点序列后在该能量场中的能量值Y，简单来说，该能量值计算公式的基本形态可以是Y=F(X)，其中，F代表能量场这一约束条件，在本示例中，F代表的是根据第一掩膜图像创建的能量场，可以理解的是，在其他示例中，由于第一掩膜图像的不同，所创建得到的能量场也就不同，那么在该能量值计算公式中的约束条件F也是不同的。需要说明的是，Y=F(X)仅为所述能量值计算公式最基本的形态，其中还可以包括其他数学模型或优化函数。
可见，本示例中，电子设备通过构建关联能量场的能量值计算公式，进而根据能量值计算公式来确定目标变换参数，提高了图像配准的效率和准确性。
在一个可能的示例中，所述能量值计算公式为：
，其中，T(xi，yi)为所述变换参数，f为所述能量
场，
为惩罚函数，E为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值。
在本示例中，所述变换参数的具体形态是变换矩阵T(xi，yi)，具体地，该变换矩阵T可以是所述参考坐标点序列进行Rt变换的变换矩阵，所述Rt变换指的是对坐标/图像的一种空间变换方式，其中R代表旋转变换，t代表平移变换，则变换矩阵T(xi，yi)中具体的待求变量可以是R(q1,q2,q3)，t(dx,dy,dz)，其中，q1，q2，q3分别为参考坐标点序列在三维坐标系下三个旋转平面上顺时针旋转的旋转角度，例如q1为参考坐标点序列在x-z平面上的旋转角度，q2为参考坐标点序列在y-z平面上的旋转角度，q3为参考坐标点序列在x-z平面上的旋转角度；dx，dy，dz分别为参考坐标点序列在三维坐标系下三个坐标轴上正向的平移距离，dx为参考坐标点序列在x轴方向的平移距离，dy为参考坐标点序列在y轴方向的平移距离，dz为参考坐标点序列在z轴方向的平移距离。
可见，本示例中，变换参数具体可以是Rt变换矩阵的形态，电子设备可以通过确定变换矩阵中的最优变量来找到最优的变换关系，提高了图像配准的效率和准确性。
在一个可能的示例中，所述根据所述能量值计算公式确定所述目标变换参数，包括：利用牛顿优化算法对所述能量值计算公式中的自变量进行估算求解，得到所述目标变换参数。
其中，由于在能量场中，参考坐标点序列的变换关系并不是唯一的，因此在上述能量值计算公式中变换参数X/变换矩阵T也就不具有唯一的解，此时可以运用部分数学理论根据所述能量值计算公式确定出一个最优解，即目标变换参数，上述部分数学理论包括所述牛顿优化算法，所述牛顿优化算法是指利用迭代点处的一阶导数梯度和二阶导数海森矩阵对目标函数进行二次函数近似然后把二次模型的极小点作为新的迭代点并不断重复这一过程直至求得满足精度的近似极小值。
具体地，针对上述示例中的公式：
，可以
通过计算能量值E关于变换矩阵T(xi，yi)中待求变量R(q1,q2,q3)，t(dx,dy,dz)的一阶、二
阶偏导数，进而估算出六个待求变量q1、q2、q3、dx、dy和dz的最优解。
可见，本示例中，电子设备通过牛顿优化算法对能量值计算公式中的自变量进行估算求解，使得最终得到的结果高度逼近最优解，相比于现有技术中的图像配准方法，降低了计算量和复杂度，在保证准确度的基础上有效提高了图像配准的效率。
在一个可能的示例中，所述根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，包括：根据所述目标变换参数对所述参考超声图像进行空间几何变换，得到目标超声图像。
其中，以目标变换参数为上述示例中的变换矩阵T(xi，yi)为例，假设最终求得的最优变换矩阵T(xi，yi)中各待求变量分别为R(10,5,13)，t(0.2,0.4,0.6)，则对所述参考超声图像进行如下变换：在x-z平面上顺时针旋转10°，在y-z平面上顺时针旋转5°，在x-z平面上顺时针旋转13°，在x轴方向上正向平移0.2个单位长度，在y轴方向上正向平移0.4个单位长度，在z轴方向上正向平移0.6个单位长度，从而得到目标超声图像，其中，所述单位长度和图像参数相关，可由电子设备自动设定或用户手动设定。可以理解的是，目标超声图像中的具有病理诊断意义的多个像素点和所述CT/MRI图像中具有病理诊断意义的多个像素点在同一个坐标系下拥有相同的坐标，即目标坐标点序列。
在本申请实施例中，以所述多个像素点为基准，对CT/MRI图像和目标超声图像进行融合，得到配准后的三维图像。
可见，本示例中，电子设备通过目标变换参数对参考超声图像进行空间几何变换，得到目标超声图像，使得目标超声图像中具有病理诊断意义的多个像素点和CT/MRI图像中具有病理诊断意义的多个像素点达到匹配，提高了图像配准的效率和准确性。
在一个可能的示例中，所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，包括：将所述计算机断层扫描图像/核磁共振图像输入到预先训练好的第一分割模型中，得到所述第一掩膜图像；以及，将所述参考超声图像输入到预先训练好的第二分割模型中，得到所述第二掩膜图像。
其中，所述第一分割模型和所述第二分割模型都是预先训练好并存储在所述电子设备中的人工智能分割模型。具体地，将CT/MRI图像作为第一分割模型的输入，所述第一分割模型对所述CT/MRI图像中的病灶进行分割，得到第一掩膜图像；同理，将参考超声图像作为第二分割模型的输入，所述第二分割模型对所述参考超声图像中的病灶进行分割，得到第二掩膜图像。
可见，本示例中，电子设备通过预先训练好的分割模型对获取到的目标器官对应的多种三维图像进行分割，得到对应图像的掩膜图像，提高了图像配准的效率和准确性。
在其他可能的示例中，所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，包括：利用OpenCV的findcontours函数来对CT/MRI图像中的病灶图像进行轮廓分割得到第一掩膜图像，以及对参考超声图像中的病灶图像进行轮廓分割得到第二掩膜图像。
在其他可能的示例中，在所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像之前，所述方法还包括：对所述计算机断层扫描图像/核磁共振图像以及所述参考超声图像进行预处理操作，所述预处理操作至少包括以下一种：低通滤波处理、图像归一化。
与上述所示的实施例一致的，请参阅图5a，图5a是本申请实施例提供的一种基于目标器官三维图像的刚性配准装置的功能单元组成框图，如图5a所示，所述基于目标器官三维图像的刚性配准装置50包括：第一获取单元501，用于获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；第一确定单元502，用于确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；创建单元503，用于根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；第二获取单元504，用于获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；第二确定单元505，用于根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；图像变换单元506，用于根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；图像融合单元507，用于将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
在一个可能的示例中，在所述根据所述参考坐标点序列和所述能量场确定目标坐标点序列方面，所述第二确定单元505具体用于：根据所述参考坐标点序列和所述能量场确定目标变换参数；根据所述目标变换参数对所述参考坐标点序列进行坐标变换，得到所述目标坐标点序列。
在一个可能的示例中，在所述根据所述参考坐标点序列和所述能量场确定目标变换参数方面，所述第二确定单元505具体用于：根据所述参考坐标点序列和所述能量场构建能量值计算公式，所述能量值计算公式的因变量为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值，所述能量值计算公式中的自变量为所述参考坐标点序列进行坐标变换的变换参数；根据所述能量值计算公式确定所述目标变换参数。
在一个可能的示例中，所述能量值计算公式为：
，其中，T(xi，yi)为所述变换参数，f为所述能量
场，
为惩罚函数，E为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值。
在一个可能的示例中，在所述根据所述能量值计算公式确定所述目标变换参数方面，所述第二确定单元505具体用于：利用牛顿优化算法对所述能量值计算公式中的自变量进行估算求解，得到所述目标变换参数。
在一个可能的示例中，在所述根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像方面，所述图像变换单元506具体用于：根据所述目标变换参数对所述参考超声图像进行空间几何变换，得到目标超声图像。
在一个可能的示例中，在所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像方面，所述第一确定单元502具体用于：将所述计算机断层扫描图像/核磁共振图像输入到预先训练好的第一分割模型中，得到所述第一掩膜图像；以及，将所述参考超声图像输入到预先训练好的第二分割模型中，得到所述第二掩膜图像。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
在采用集成的单元的情况下，如图5b所示，图5b是本申请实施例提供的另一种基于目标器官三维图像的刚性配准装置的功能单元组成框图。在图5b中，基于目标器官三维图像的刚性配准装置51包括：处理模块512和通信模块511。处理模块512用于对基于目标器官三维图像的刚性配准装置的动作进行控制管理，例如，执行第一获取单元501、第一确定单元502、创建单元503、第二获取单元504、第二确定单元505、图像变换单元506和图像融合单元507的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块511用于支持基于目标器官三维图像的刚性配准装置与其他设备之间的交互。如图5b所示，基于目标器官三维图像的刚性配准装置还可以包括存储模块513，存储模块513用于存储基于目标器官三维图像的刚性配准装置的程序代码和数据。
其中，处理模块512可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块511可以是收发器、RF电路或通信接口等。存储模块513可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述基于目标器官三维图像的刚性配准装置51均可执行上述图2所示的基于目标器官三维图像的刚性配准方法。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。
本申请实施例还提供一种计算机存储介质，其中，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、磁碟、光盘、易失性存储器或非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random access memory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rateSDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（directrambus RAM，DR RAM）等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。
Claims (10)
1.一种基于目标器官三维图像的刚性配准方法，其特征在于，包括：
获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；
确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；
根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；
获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；
根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；
根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；
将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
2.根据权利要求1所述方法，其特征在于，所述根据所述参考坐标点序列和所述能量场确定目标坐标点序列，包括：
根据所述参考坐标点序列和所述能量场确定目标变换参数；
根据所述目标变换参数对所述参考坐标点序列进行坐标变换，得到所述目标坐标点序列。
3.根据权利要求2所述方法，其特征在于，所述根据所述参考坐标点序列和所述能量场确定目标变换参数，包括：
根据所述参考坐标点序列和所述能量场构建能量值计算公式，所述能量值计算公式的因变量为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值，所述能量值计算公式中的自变量为所述参考坐标点序列进行坐标变换的变换参数；
根据所述能量值计算公式确定所述目标变换参数。
4.根据权利要求3所述方法，其特征在于，所述能量值计算公式为：
，其中，T(xi，yi)为所述变换参数，f为所述能量
场，
为惩罚函数，E为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值。
5.根据权利要求4所述方法，其特征在于，所述根据所述能量值计算公式确定所述目标变换参数，包括：
利用牛顿优化算法对所述能量值计算公式中的自变量进行估算求解，得到所述目标变换参数。
6.根据权利要求2-5任一项所述方法，其特征在于，所述根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，包括：
根据所述目标变换参数对所述参考超声图像进行空间几何变换，得到目标超声图像。
7.根据权利要求1所述方法，其特征在于，所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，包括：
将所述计算机断层扫描图像/核磁共振图像输入到预先训练好的第一分割模型中，得到所述第一掩膜图像；
以及，将所述参考超声图像输入到预先训练好的第二分割模型中，得到所述第二掩膜图像。
8.一种基于目标器官三维图像的刚性配准装置，其特征在于，包括：
第一获取单元，用于获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；
第一确定单元，用于确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；
创建单元，用于根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；
第二获取单元，用于获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；
第二确定单元，用于根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；
图像变换单元，用于根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；
图像融合单元，用于将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
9.一种电子设备，其特征在于，包括处理器、存储器以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述方法中的步骤的指令。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211298576.1A CN115359063B (zh) | 2022-10-24 | 2022-10-24 | 基于目标器官三维图像的刚性配准方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211298576.1A CN115359063B (zh) | 2022-10-24 | 2022-10-24 | 基于目标器官三维图像的刚性配准方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115359063A true CN115359063A (zh) | 2022-11-18 |
| CN115359063B CN115359063B (zh) | 2023-01-10 |
Family
ID=84007710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211298576.1A Active CN115359063B (zh) | 2022-10-24 | 2022-10-24 | 基于目标器官三维图像的刚性配准方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115359063B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190290241A1 (en) * | 2016-05-23 | 2019-09-26 | Koninklijke Philips N.V. | Correcting probe induced deformation in an ultrasound fusing imaging system |
| CN112102384A (zh) * | 2020-10-14 | 2020-12-18 | 山东大学 | 一种非刚性医学影像配准方法及系统 |
| CN112634250A (zh) * | 2020-12-29 | 2021-04-09 | 上海联影医疗科技股份有限公司 | 多能ct系统图像配准方法、装置、计算机设备和存储介质 |
| CN114119549A (zh) * | 2021-11-26 | 2022-03-01 | 卡本(深圳)医疗器械有限公司 | 一种多模态医学图像三维点云配准优化方法 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| US20220292737A1 (en) * | 2021-03-11 | 2022-09-15 | Korea Institute Of Science And Technology | Method for converting mri to ct image based on artificial intelligence, and ultrasound treatment device using the same |
-
2022
- 2022-10-24 CN CN202211298576.1A patent/CN115359063B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190290241A1 (en) * | 2016-05-23 | 2019-09-26 | Koninklijke Philips N.V. | Correcting probe induced deformation in an ultrasound fusing imaging system |
| US20220296213A1 (en) * | 2016-05-23 | 2022-09-22 | Koninklijke Philips N.V. | Correcting probe induced deformation in an ultrasound fusing imaging system |
| CN112102384A (zh) * | 2020-10-14 | 2020-12-18 | 山东大学 | 一种非刚性医学影像配准方法及系统 |
| CN112634250A (zh) * | 2020-12-29 | 2021-04-09 | 上海联影医疗科技股份有限公司 | 多能ct系统图像配准方法、装置、计算机设备和存储介质 |
| US20220292737A1 (en) * | 2021-03-11 | 2022-09-15 | Korea Institute Of Science And Technology | Method for converting mri to ct image based on artificial intelligence, and ultrasound treatment device using the same |
| CN114119549A (zh) * | 2021-11-26 | 2022-03-01 | 卡本(深圳)医疗器械有限公司 | 一种多模态医学图像三维点云配准优化方法 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
Non-Patent Citations (2)
| Title |
|---|
| KLEIN S ET AL.: "Elastix: a toolbox for intensity-based medical", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 朱天宇: "医学影像配准系统的研究与设计", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152121A (zh) * | 2023-09-25 | 2023-12-01 | 上海卓昕医疗科技有限公司 | 医学影像的配准方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115359063B (zh) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230013302A1 (en) | Anatomical model generation | |
| US8543338B2 (en) | System and method for performing computerized simulations for image-guided procedures using a patient specific model | |
| CN107067398B (zh) | 用于三维医学模型中缺失血管的补全方法及装置 | |
| CN102667857B (zh) | X射线照片中的骨抑制 | |
| WO2008121367A1 (en) | Lesion quantification and tracking using multiple modalities | |
| CN114155376A (zh) | 目标特征点提取方法、装置、计算机设备和存储介质 | |
| CN115359063B (zh) | 基于目标器官三维图像的刚性配准方法及相关装置 | |
| WO2015123401A1 (en) | Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures | |
| EP3248172A1 (en) | Atlas-based determination of tumour growth direction | |
| CN115526929A (zh) | 基于图像的配准方法和装置 | |
| CN113129418B (zh) | 基于三维影像的目标表面重建方法、装置、设备和介质 | |
| WO2023232129A1 (zh) | 三维模型处理方法、装置和电子设备 | |
| WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| CN110473241A (zh) | 图像配准方法、存储介质及计算机设备 | |
| Chen et al. | Computer-aided liver surgical planning system using CT volumes | |
| Selmi et al. | 3D interactive ultrasound image deformation for realistic prostate biopsy simulation | |
| Zampokas et al. | Real‐time stereo reconstruction of intraoperative scene and registration to preoperative 3D models for augmenting surgeons' view during RAMIS | |
| CN111243713B (zh) | 基于虚拟智能医疗平台的放疗计划模拟方法、设备及介质 | |
| CN113610784A (zh) | 一种肝段划分方法、系统、设备及存储介质 | |
| WO2020090445A1 (ja) | 領域修正装置、方法およびプログラム | |
| WO2016131955A1 (en) | Automatic 3d model based tracking of deformable medical devices with variable appearance | |
| US20140309476A1 (en) | Ct atlas of musculoskeletal anatomy to guide treatment of sarcoma | |
| KR102629331B1 (ko) | Cta 영상에서 계층적 변형을 이용한 심혈관 비강체 정합 방법, 이를 수행하기 위한 기록매체 및 장치 | |
| CN114283159A (zh) | 影像数据处理方法、计算机设备和存储介质 | |
| Rizzi et al. | Automating the extraction of 3d models from medical images for virtual reality and haptic simulations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |