CN116071404A - 图像配准方法、装置、计算机设备和存储介质 - Google Patents

图像配准方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116071404A
CN116071404A CN202211624869.4A CN202211624869A CN116071404A CN 116071404 A CN116071404 A CN 116071404A CN 202211624869 A CN202211624869 A CN 202211624869A CN 116071404 A CN116071404 A CN 116071404A
Authority
CN
China
Prior art keywords
image
target
feature point
transformation matrix
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211624869.4A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiehang Robot Co ltd
Original Assignee
Shanghai Jiehang Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiehang Robot Co ltd filed Critical Shanghai Jiehang Robot Co ltd
Priority to CN202211624869.4A priority Critical patent/CN116071404A/zh
Publication of CN116071404A publication Critical patent/CN116071404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像配准方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标对象的实时超声图像和已存目标图像；采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。采用本方法能够提高配准结果的精度。

Description

图像配准方法、装置、计算机设备和存储介质
技术领域
本申请涉及医疗器械技术领域，特别是涉及一种图像配准方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着医疗器械技术的发展，穿刺手术中的穿刺定位往往使用标有病灶区的核磁影像与超声图像进行图像配准来实现。由于穿刺过程中目标对象可能会发生移动，从而导致穿刺误差。为了补偿穿刺误差，现有的方法是手动或者半自动调整配准结果。然而，通过手动或者半自动来调整配准结果的图像配准方法存在配准结果精度低的问题。
发明内容
基于此，有必要针对现有的图像配准方法存在配准结果精度低的问题，提供一种能够提高配准结果精度的图像配准方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像配准方法。所述方法包括：
获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
第二方面，本申请还提供了一种图像配准装置。所述装置包括：
图像获取模块，用于获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
特征点提取模块，用于采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
特征点对确定模块，用于基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
刚性变换矩阵确定模块，用于基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
融合模块，用于基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
上述图像配准方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标对象的实时超声图像和已存目标图像，采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集，能够提高提取出的特征点的准确性，有利于提高图像配准结果的精度；目标特征点对是由第一特征点集中的特征点以及第二特征点集中的特征点组成的，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域。由于已存目标图像包括图像病灶区域，这种采用使得变换函数的函数值收敛对应的变换矩阵，对图像病灶区域的坐标进行转换的方法，能够保证得到的目标病灶区域更加接近真实的病灶区域，将目标病灶区域与实时超声图像进行融合，得到的配准后的超声图像具有较高的准确性，提高了配准结果的精度。
附图说明
图1为一个实施例中图像配准方法的应用环境图；
图2为一个实施例中图像配准方法的流程示意图；
图3为一个实施例中S203的子流程示意图；
图4为一个实施例中S204的子流程示意图；
图5为一个实施例中S201的子流程示意图；
图6为一个实施例中S506的子流程示意图；
图7为一个实施例中S608的子流程示意图；
图8为又一个实施例中S201的子流程示意图；
图9为一个实施例中图像配准方法的前提条件示意图；
图10为一个实施例中图像配准方法的总体流程示意图；
图11为一个实施例中模型配准方法的示意图；
图12为一个实施例中实时超声图像和已存目标图像进行配准的示意图；
图13为一个实施例中图像中的角点示意图；
图14为一个实施例中实时超声图像中的特征点示意图；
图15为一个实施例中确定目标特征点对的示意图；
图16为一个实施例中确定第一目标区域和第二目标区域的示意图；
图17为又一个实施例中确定目标特征点对的示意图；
图18为一个实施例中对目标特征点对赋予不同的权重的示意图；
图19为一个实施例中采用刚性变换矩阵进行坐标转换的示意图；
图20为一个实施例中穿刺位置转换的示意图；
图21为一个实施例中图像配准装置的结构框图；
图22为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像配准方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。本申请实施例提供的图像配准方法，可由终端102或者服务器104单独执行，也可由终端102和服务器104协作执行，以由终端102单独执行为例：终端102获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像配准方法，以该方法应用于计算机设备(该计算机设备可以为图1中的终端102或者服务器104)为例进行说明，包括以下步骤：
S201，获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域。
其中，目标对象是进行穿刺的对象。计算机设备获取目标对象中目标横断面的实时超声图像和已存目标图像。横断面是垂直于目标对象的轴心线方向的断面。示例性地，目标横断面指的是目标对象的顶部和底部之间的横断面。计算机设备通过超声检测设备获取目标对象中目标横断面的实时超声图像。
已存目标图像是计算机设备中已存的目标对象中目标横断面的超声图像，已存目标图像中包括图像病灶区域。图像病灶区域用于指示已存目标图像中目标对象的病灶区域。在一些实施例中，图像病灶区域为已存目标图像中的勾画。
S202，采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集。
其中，特征点检测算法是用于对图像中的特征点进行检测的算法。特征点可以是图像中的角点或者图像中灰度梯度变化较大的点。其中，角点是图像中亮度变化剧烈的点，或两条线的交叉处，是图像的重要特征。可选地，特征点检测算法可以是Moravec(莫拉维克)特征点检测算法或者Harris corner特征点检测算法(Chris Harris和Mike Stephens提出的特征点检测算法)。
计算机设备采用特征点检测算法对实时超声图像进行特征点检测，得到第一特征点集，第一特征点集中包括至少一个第一特征点。计算机设备采用特征点检测算法对已存目标图像进行特征点检测，得到第二特征点集，第二特征点集中包括至少一个第二特征点。由于图像的特征点具有稳定性，因此，采用特征点检测算法提取出实时超声图像以及已存目标图像中的特征点，具有检测结果准确性高的特点。
S203，基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对。
其中，目标特征点对是由第一特征点集中的特征点以及第二特征点集中的特征点组成的特征点对。一个目标特征点对中包括两个特征点。由于，实时超声图像和已存目标图像都是目标对象中目标横断面的超声图像，故而，实时超声图像和已存目标图像具有一定程度的相似性。
计算机设备基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对。在一些实施例中，针对第一特征点集中的每个第一特征点，计算机设备将当前第一特征点分别与第二特征点集中的每个第二特征点组成目标特征点对。在另一些实施例中，计算机设备确定第一特征点集中的每个第一特征点分别与第二特征点集中的每个第二特征点的相似程度，将第一特征点集中的特征点与第二特征点集中相似程度较高的特征点组成目标特征点对。
S204，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵。
其中，变换函数是用于图像配准的函数。计算机设备将变换矩阵和每个目标特征点对中的特征点坐标带入到初始变换函数中，能够确定变换函数。变换矩阵是变换函数中的参数。计算机设备通过更新变换矩阵以使得变换函数的函数值相应改变。计算机设备持续对变换矩阵进行更新，直至变换函数的函数值收敛。计算机设备将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵。刚性变换矩阵用于对图像病灶区域的坐标进行转换。
205，基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
其中，计算机设备采用刚性变换矩阵对图像病灶区域进行转换。示例性地，计算机设备将图像病灶区域的坐标乘以刚性变换矩阵，得到转换后的坐标。计算机设备将基于转换后的坐标确定的区域作为目标病灶区域。在一些实施例中，刚性变换矩阵是有旋转矩阵和平移矩阵组成的复合矩阵。基于刚性变换矩阵对图像病灶区域的坐标进行转换得到的目标病灶区域，与图像病灶区域具有相同的形状。计算机设备将目标病灶区域与实时超声图像进行融合，具体地，计算机设备根据目标病灶区域的坐标，在实时超声图像中勾画出目标病灶区域，得到勾画后的图像即为配准后的超声图像。配准后的超声图像中包括目标病灶区域。
上述图像配准方法中，通过获取目标对象的实时超声图像和已存目标图像，采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集，能够提高提取出的特征点的准确性，有利于提高图像配准结果的精度；目标特征点对是由第一特征点集中的特征点以及第二特征点集中的特征点组成的，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域。由于已存目标图像包括图像病灶区域，这种采用使得变换函数的函数值收敛对应的变换矩阵，对图像病灶区域的坐标进行转换的方法，能够保证得到的目标病灶区域更加接近真实的病灶区域，将目标病灶区域与实时超声图像进行融合，得到的配准后的超声图像具有较高的准确性，提高了配准结果的精度。
在一个实施例中，如图3所示，第一特征点集中包括至少一个第一特征点，第二特征点集中包括至少一个第二特征点；基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对，包括：
S302，针对第一特征点集中的每个第一特征点，确定实时超声图像中包含当前第一特征点的第一目标区域，在第一目标区域中获取预设数量的第一像素点。
其中，第一特征点集中包括至少一个第一特征点，针对第一特征点集中的每个第一特征点，计算机设备确定实时超声图像中包含当前第一特征点的第一目标区域。第一目标区域中是实时超声图像中包含当前第一特征点的图像区域，第一目标区域中包括预设数量的第一像素点。示例性地，第一目标区域可以是包含当前第一特征点的方形区域、圆形区域或者任意形状的区域，可选地，第一目标区域还可以是以当前第一特征点为中心的方形区域、圆形区域或者任意形状的区域。计算机设备在第一目标区域中获取预设数量的第一像素点。
S304，针对第二特征点集中的每个第二特征点，确定已存目标图像中包含当前第二特征点的第二目标区域，在第二目标区域中获取预设数量的第二像素点。
其中，第二特征点集中包括至少一个第二特征点，针对第二特征点集中的每个第二特征点，计算机设备确定已存目标图像中包含当前第二特征点的第二目标区域。第二目标区域是已存目标图像中包含当前第二特征点的图像区域，第二目标区域中包括预设数量的第二像素点。第二目标区域与第一目标区域的大小相等，形状相同。示例性地，第二目标区域可以是包含当前第二特征点的方形区域、圆形区域或者任意形状的区域，可选地，第二目标区域还可以是以当前第二特征点为中心的方形区域、圆形区域或者任意形状的区域。计算机设备在第二目标区域中获取预设数量的第二像素点。
S306，针对各个第一目标区域中的每个第一目标区域，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度；若第一目标特征点与任一第二目标特征点的相似程度大于预设值，则将第一目标特征点和相应的第二目标特征点确定为一个目标特征点对。
其中，第一目标特征点是当前第一目标区域对应的第一特征点，第二目标特征点第二目标区域对应的第二特征点。
针对各个第一目标区域中的每个第一目标区域，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，计算机设备确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度。计算机设备将当前第一目标区域对应的第一目标特征点与任一第二目标区域对应的第二目标特征点的相似程度与预设值进行比较，若第一目标特征点与任一第二目标特征点的相似程度大于预设值，则将第一目标特征点和相应的第二目标特征点确定为一个目标特征点对。这种采用特征点以及包含特征点区域的像素点的像素值，共同确定特征点的相似程度，具有较高的准确性，且将相似程度较高的确定为目标特征点对，有利于提高配准结果的准确性。
本实施例中，通过确定实时超声图像中包含当前第一特征点的第一目标区域和已存目标图像中包含当前第二特征点的第二目标区域，基于第一目标区域中的第一像素点和第二目标区域中预设数量的第二像素点，从而确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度，将相似程度大于预设值的第一目标特征点和相应的第二目标特征点确定为一个目标特征点对，确定出的目标特征点对是相似程度较高的特征点，能够排除相似程度较低的特征点的干扰，有利于提高图像配准结果的准确性。
在一个实施例中，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度，包括：针对各个第二目标区域中每个第二目标区域，获取当前第一目标区域中每个第一像素点的像素值和当前第二目标区域中每个第二像素点的像素值间的第一差值；获取当前第一目标区域的第一像素平均值，以及当前第二目标区域的第二像素平均值间的第二差值；获取当前第一目标区域的第一像素直方图，与当前第二目标区域的第二像素直方图间的直方图相似度；将各个第一差值的平方和作为第一像素差异；将各个第二差值的平方和作为第二像素差异；将直方图相似度作为第三像素差异；基于第一像素差异、第二像素差异以及第三像素差异，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度。
其中，针对各个第二目标区域中每个第二目标区域，计算机设备获取当前第一目标区域中每个第一像素点的像素值和当前第二目标区域中每个第二像素点的像素值间的第一差值，将各个第一差值的平方和作为第一像素差异。计算机设备获取当前第一目标区域的第一像素平均值，以及当前第二目标区域的第二像素平均值间的第二差值，将各个第二差值的平方和作为第二像素差异。计算机设备获取当前第一目标区域的第一像素直方图，与当前第二目标区域的第二像素直方图间的直方图相似度，将直方图相似度作为第三像素差异。计算机设备基于第一像素差异、第二像素差异以及第三像素差异，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度。
示例性地，相似程度的计算方法可以是：D＝α1*d1+α2*d2-α3*d3。其中，D表示第一目标特征点与任一第二特征点的相似程度。d1表示第一像素差异，用于表征第一目标区域中每个第一像素点的像素值与第二目标区域中每个第二像素点的像素值差的平方和。d2表示第二像素差异，用于表征第一目标区域内所有第一像素点的像素平均值，与第二目标区域内所有第二像素点的像素平均值之差的平方和。d3表示第三像素差异，用于表征第一目标区域的第一像素直方图与第二目标区域的第二像素直方图的相似度，a1、a2和-a3分别为d1、d2和d3的权重。a1、a2和-a3的大小可以根据实际情况灵活选取。D的值越小说明两个特征点的相似程度越高。
具体地，d1的计算方法可以为：针对第一目标区域内的每个第一像素点，将当前第一像素点的像素值与每个第二像素点的像素值求差，得到各个差值分别求平方，再将得到的各个平方值求和，得到的和即为d1。d3的计算方法为：根据第一目标区域的第一像素点的像素值，确定第一像素直方图；根据第二目标区域的第二像素点的像素值，确定第二像素直方图；采用直方图相似度算法确定第一像素直方图与第二像素直方图的相似度，得到的相似度即为d3。
在一些实施例中，相似程度的计算方法还可以是α1*d1、α2*d2以及-α3*d3的任意组合。例如，D＝α1*d1、D＝α2*d2、D＝α1*d1+α2*d2或者D＝α1*d1-α3*d3。
本实施例中，第一目标特征点和第二特征点的相似程度是基于对应的第一目标区域以及对应的第二目标区域中像素点的像素值确定的，这种相似程度计算方法结合了包含特征点的区域内的像素点的信息，有利于获得准确的相似程度确定结果。
在一个实施例中，如图4所示，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，包括：
S402，针对目标特征点对中每个目标特征点对，基于当前目标特征点对的坐标，确定当前目标特征点对是否在图像病灶区域内；若在，则将当前目标特征点对对应的权重置为第一预设值；若不在，则将当前目标特征点对对应的权重置为第二预设值；其中，第一预设值大于第二预设值。
其中，针对目标特征点对中每个目标特征点对，计算机设备基于当前目标特征点对的坐标，确定当前目标特征点对是否在图像病灶区域内。
若当前目标特征点对中的第一特征点的坐标或者第二特征点的坐标中的任一坐标小于图像病灶区域的边界的坐标，则表示当前目标特征点对的坐标在图像病灶区域内，计算机设备将当前目标特征点对对应的权重置为第一预设值。
若当前目标特征点对中的第一特征点的坐标和第二特征点的坐标都不小于图像病灶区域的边界的坐标，则表示当前目标特征点对的坐标不在图像病灶区域内，计算机设备将当前目标特征点对对应的权重置为第二预设值。其中，第一预设值大于第二预设值，能够使得图像病灶区域内的目标特征点对对应的权重，大于不在图像病灶区域内的目标特征点对对应的权重，有利于提高图像病灶区域内的目标特征点对的作用效果，提高图像配准结果的准确性。
S404，基于各个目标特征点对对应的权重以及变换矩阵，确定各个目标特征点对对应的目标函数。
其中，计算机设备将各个目标特征点对对应的权重以及变换矩阵带入到初始变换函数中，得到各个目标特征点对对应的目标函数。示例性地，初始变换函数为：Fi＝wi||qi-Rpi-t||，其中，qi表示实时超声图像中的第一特征点，pi表示已存目标图像中的第二特征点，R表示旋转矩阵，t表示平移矩阵，变换矩阵为R和t的复合矩阵，wi表示各个目标特征点对对应的权重，Fi表示各个目标特征点对对应的目标函数。
S406，将各个目标特征点对对应的目标函数求和，得到变换函数。
其中，计算机设备将各个目标特征点对对应的目标函数求和，得到变换函数。示例性地，变换函数F为：F＝Σwi||qi-Rpi-t||。
本实施例中，通过确定目标特征点对中每个目标特征点对是否在图像病灶区域内，基于各个目标特征点对对应的权重以及变换矩阵，确定各个目标特征点对对应的目标函数，进而得到变换函数。由于在图像病灶区域内的目标特征点对的权重，大于不在图像病灶区域内的目标特征点对的权重，有利于提高图像病灶区域内的目标特征点对对变换函数的作用效果，提高图像配准结果的准确性。
在一个实施例中，如图5所示，已存目标图像的获取步骤，包括：
S502，获取目标对象的初始超声图像以及目标对象的初始影像。
其中，目标对象的初始超声图像可以是目标对象中目标横断面的初始超声图像。目标对象的初始影像可以是目标对象中目标横断面的初始影像。在获取实时超声图像之前，计算机设备获取的目标对象中目标横断面的初始超声图像以及目标对象中目标横断面的初始影像。初始超声图像为超声图像，初始影像可以为医学影像，示例性地，初始影像可以为MRI(Magnetic resonance imaging，磁共振成像)影像或者CT(Computed Tomography，电子计算机断层扫描)影像中的任一种。
S504，对初始超声图像进行三维重建，得到目标对象的超声三维模型；对初始影像进行三维重建，得到目标对象的影像三维模型。
其中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型的方法。初始超声图像包括至少一张超声图像，初始影像包括至少一张医学影像。
计算机设备对初始超声图像进行三维重建，得到目标对象的超声三维模型。计算机设备对初始影像进行三维重建，得到目标对象的影像三维模型。
S506，对超声三维模型和影像三维模型进行配准，得到已存目标图像。
其中，计算机设备对超声三维模型和影像三维模型进行配准，得到已存目标图像。具体地，配准方法采用弹性配准和刚性配准结合的方法。计算机设备对超声三维模型和影像三维模型进行配准，是在获取实时超声图像之前进行的，有利于提高配准效率。
本实施例中，通过对获取的初始超声图像进行三维重建，得到目标对象的超声三维模型，对获取的初始影像进行三维重建，得到目标对象的影像三维模型，由于初始影像相对于超声图像有更清晰的图像细节，对超声三维模型和影像三维模型进行配准，能够得到已存目标图像，有利于提高已存目标图像的准确性。
在一个实施例中，如图6所示，目标对象的影像三维模型中包括模型病灶区域；对超声三维模型和影像三维模型进行配准，得到已存目标图像，包括：
S602，基于超声三维模型和影像三维模型进行边界盒配准，得到初始线性变换矩阵。
其中，边界盒配准是对超声三维模型和影像三维模型进行配准的方法。可选地，采用的边界盒配准可以是OBB(Oriented Bounding Box，方向包围盒)配准方法。计算机设备通过对超声三维模型和影像三维模型进行边界盒配准，得到初始线性变换矩阵。
S604，采用初始线性变换矩阵对影像三维模型进行坐标转换，得到第一转换模型；基于超声三维模型和第一转换模型进行迭代最近邻点配准，得到线性变换矩阵。
其中，计算机设备采用初始线性变换矩阵对影像三维模型进行坐标转换，得到第一转换模型。示例性地，可以是将影像三维模型中各个点的坐标与初始线性变换矩阵相乘，得到转换后的各个点的坐标，从而确定第一转换模型。在一些实施例中，初始线性变换矩阵为旋转矩阵和平移矩阵的复合矩阵，第一转换模型与影像三维模型的形状相同。经过边界盒配准和初始线性变换矩阵的坐标转换，得到的第一转换模型在空间中的位置与超声三维模型中在空间中的位置较为接近。
迭代最近邻点配准(Iterative Closest Point，ICP)是对超声三维模型和第一转换模型进行配准的方法。计算机设备通过对超声三维模型和第一转换模型进行迭代最近邻点配准，得到线性变换矩阵。
S606，采用线性变换矩阵对第一转换模型进行坐标转换，得到第二转换模型；基于超声三维模型，采用薄板样条算法对第二转换模型进行弹性配准，得到非线性变换矩阵。
其中，计算机设备采用线性变换矩阵对第一转换模型进行坐标转换，得到第二转换模型。示例性地，可以是将第一转换模型中各个点的坐标与线性变换矩阵相乘，得到转换后的各个点的坐标，从而确定第二转换模型。在一些实施例中，线性变换矩阵为旋转矩阵和平移矩阵的复合矩阵，第二转换模型与第一转换模型的形状相同。经过迭代最近邻点配准和线性变换矩阵的坐标转换，得到的第二转换模型在空间中的位置与超声三维模型在空间中的位置，相较于第一转换模型在空间中的位置与超声三维模型在空间中的位置更为接近。
薄板样条(Thin Plate Spline，TPS)算法是非刚性形变算法。计算机设备基于超声三维模型，采用薄板样条算法对第二转换模型进行弹性配准，得到非线性变换矩阵。采用非线性变换矩阵能够使得第二转换模型产生形变，形变后的第二转换模型相对于第二转换模型更加接近超声三维模型。
S608，基于初始线性变换矩阵、线性变换矩阵、非线性变换矩阵、模型病灶区域以及超声三维模型，得到已存目标图像。
其中，计算机设备基于初始线性变换矩阵、线性变换矩阵、非线性变换矩阵对模型病灶区域进行转换，结合超声三维模型，得到已存目标图像。
本实施例中，通过超声三维模型和影像三维模型进行边界盒配准，得到初始线性变换矩阵，基于超声三维模型和第一转换模型进行迭代最近邻点配准，得到线性变换矩阵，基于超声三维模型，采用薄板样条算法对第二转换模型进行弹性配准，得到非线性变换矩阵，采用多个变换矩阵对模型病灶区域进行转换，得到的转换后的病灶区域将更接近初始超声图像的病灶区域。由于目标对象的影像三维模型中包括模型病灶区域，因此得到的已存目标图像将包括图像病灶区域，基于已存的目标图像进行图像配准，有利于提高图像配准结果的精度。
在一个实施例中，如图7所示，基于初始线性变换矩阵、线性变换矩阵、非线性变换矩阵、模型病灶区域以及超声三维模型，得到已存目标图像，包括：
S702，基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对模型病灶区域进行坐标转换，得到转换后的病灶区域。
其中，计算机设备将模型病灶区域的坐标乘以初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵，实现模型病灶区域的坐标转换。由于，初始超声图像中的病灶区域不清晰，相较于直接采用模型病灶区域映射到超声三维模型中，转换后的病灶区域将更加接近超声三维模型中真实的病灶区域位置以及形状。
S704，将转换后的病灶区域与超声三维模型进行融合，得到融合后的超声模型。
其中，计算机设备将转换后的病灶区域与超声三维模型进行融合，得到融合后的超声模型。具体地，计算机设备根据转换后的病灶区域的坐标，在超声三维模型中勾画出病灶区域，得到勾画后的超声模型即为融合后的超声模型。融合后的超声模型中包括勾画出的病灶区域。
S706，从融合后的超声模型中确定出与目标对象对应的超声图像，并将超声图像作为已存目标图像。
其中，计算机设备从融合后的超声模型中确定出与目标对象中目标横断面对应的超声图像，将该融合后的超声模型中目标横断面对应的超声图像作为已存目标图像。已存目标图像中包括图像病灶区域。
本实施例中，通过多个转换矩阵得到转换后的病灶区域接近超声三维模型中真实的病灶区域位置以及形状。将转换后的病灶区域与超声三维模型进行融合，得到融合后的超声模型，进而从融合后的超声模型中确定出已存目标图像，已存目标图像相较于初始超声图像具有准确的图像病灶区域，基于已存目标图像进行图像配准，将有利于提高图像配准结果的准确性。
在一个实施例中，如图8所示，已存目标图像的获取步骤，还包括：
S801，获取目标对象的初始超声图像以及目标对象的初始影像；初始影像中包括影像病灶区域。
S802，基于初始超声图像和初始影像进行边界盒配准，得到初始线性变换矩阵。
S803，采用初始线性变换矩阵对初始影像进行坐标转换，得到第一转换影像；基于初始超声图像和第一转换影像进行迭代最近邻点配准，得到线性变换矩阵。
S804，采用线性变换矩阵对第一转换影像进行坐标转换，得到第二转换影像；基于初始超声图像，采用薄板样条算法对第二转换影像进行弹性配准，得到非线性变换矩阵。
S805，基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对影像病灶区域进行坐标转换，得到转换后的病灶区域；将转换后的病灶区域与初始超声图像进行融合，得到已存目标图像。
其中，计算机设备获取目标对象中目标横断面的初始超声图像以及目标对象中目标横断面的初始影像，初始影像中包括影像病灶区域。基于初始超声图像和初始影像进行边界盒配准，得到初始线性变换矩阵，采用初始线性变换矩阵对初始影像进行坐标转换，得到第一转换影像。在一些实施例中，初始线性变换矩阵为旋转矩阵和平移矩阵的复合矩阵，第一转换影像与初始影像中影像病灶区域的形状相同。经过边界盒配准和初始线性变换矩阵的坐标转换，得到的第一转换影像中影像病灶区域的位置与初始超声图像中的病灶区域的位置较为接近。
计算机设备通过基于初始超声图像和第一转换影像进行迭代最近邻点配准，得到线性变换矩阵，采用线性变换矩阵对第一转换影像进行坐标转换，得到第二转换影像。在一些实施例中，线性变换矩阵为旋转矩阵和平移矩阵的复合矩阵，第二转换影像与第一转换影像中影像病灶区域的形状相同。经过迭代最近邻点配准和线性变换矩阵的坐标转换，得到的第二转换影像中影像病灶区域的位置与初始超声图像中病灶区域的位置，相较于第一转换影像中影像病灶区域的位置与初始超声图像中的病灶区域的位置更为接近。
计算机设备基于初始超声图像，采用薄板样条算法对第二转换影像进行弹性配准，得到非线性变换矩阵。基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对影像病灶区域进行坐标转换，得到转换后的病灶区域；将转换后的病灶区域与初始超声图像进行融合，得到已存目标图像。具体地，计算机设备根据转换后的病灶区域的坐标，在初始超声图像中勾画出病灶区域，得到勾画后的超声图像即为已存目标图像。已存目标图像中包括图像病灶区域。
本实施例中，通过多次配准得到多个转换矩阵，基于多个转换矩阵得到的转换后的病灶区域接近初始超声图像中真实的病灶区域位置以及形状。将转换后的病灶区域与初始超声图像进行融合，得到已存目标图像，已存目标图像相较于初始超声图像具有准确的图像病灶区域，基于已存目标图像进行图像配准，将有利于提高图像配准结果的准确性。
为详细说明本方案中图像配准方法及效果，下面以一个最详细实施例进行说明：
针对目标对象的穿刺应用领域，本申请提出的图像配准方法基于如下前提条件：每次进行图像配准前目标对象发生位移，且已经停止运动。图像配准结束后，利用图像配准指示的病灶区域进行穿刺；目标对象在图像配准过程中不发生大的形变。如图9所示为图像配准方法的前提条件示意图。
计算机设备获取目标对象中目标横断面的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域。如图10所示为图像配准方法的总体流程示意图。
其中，已存目标图像的获取包括两种方法。
第一种方法为模型配准方法，如图11所示为模型配准方法的示意图。具体地，计算机设备获取目标横断面的初始超声图像以及目标横断面的初始影像。对初始超声图像进行三维重建，得到目标对象的超声三维模型；对初始影像进行三维重建，得到目标对象的影像三维模型，目标对象的影像三维模型中包括模型病灶区域。基于超声三维模型和影像三维模型进行边界盒配准，得到初始线性变换矩阵。采用初始线性变换矩阵对影像三维模型进行坐标转换，得到第一转换模型，基于超声三维模型和第一转换模型进行迭代最近邻点配准，得到线性变换矩阵。采用线性变换矩阵对第一转换模型进行坐标转换，得到第二转换模型，基于超声三维模型，采用薄板样条算法对第二转换模型进行弹性配准，得到非线性变换矩阵。基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对模型病灶区域进行坐标转换，得到转换后的病灶区域。将转换后的病灶区域与超声三维模型进行融合，得到融合后的超声模型，从融合后的超声模型中确定出与目标横断面对应的超声图像，并将超声图像作为已存目标图像。
第二种方法为图像配准方法，具体地，计算机设备获取目标横断面的初始超声图像以及目标横断面的初始影像，初始影像中包括影像病灶区域。基于初始超声图像和初始影像进行边界盒配准，得到初始线性变换矩阵。采用初始线性变换矩阵对初始影像进行坐标转换，得到第一转换影像，基于初始超声图像和第一转换影像进行迭代最近邻点配准，得到线性变换矩阵。采用线性变换矩阵对第一转换影像进行坐标转换，得到第二转换影像；基于初始超声图像，采用薄板样条算法对第二转换影像进行弹性配准，得到非线性变换矩阵。基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对影像病灶区域进行坐标转换，得到转换后的病灶区域，将转换后的病灶区域与初始超声图像进行融合，得到已存目标图像。
如图12所示为实时超声图像和已存目标图像进行配准的方法示意图。计算机设备采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；第一特征点集中包括至少一个第一特征点，第二特征点集中包括至少一个第二特征点。第一特征点以及第二特征点的类型包括角点或者灰度梯度变化较大的点。如图13所示为图像中的角点示意图。可选地，特征点检测算法可以是Moravec特征点检测算法或者Harris corner特征点检测算法。如图14所示为实时超声图像中的特征点示意图。
计算机设备基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对。如图15所示为确定目标特征点对的示意图。具体地，针对第一特征点集中的每个第一特征点，确定实时超声图像中包含当前第一特征点的第一目标区域，在第一目标区域中获取预设数量的第一像素点。针对第二特征点集中的每个第二特征点，确定已存目标图像中包含当前第二特征点的第二目标区域，在第二目标区域中获取预设数量的第二像素点。如图16所示为确定第一目标区域和第二目标区域的示意图。
针对各个第一目标区域中的每个第一目标区域，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度；若第一目标特征点与任一第二目标特征点的相似程度大于预设值，则将第一目标特征点和相应的第二目标特征点确定为一个目标特征点对。如图17所示为确定目标特征点对的示意图。
计算机设备基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数。具体地，针对目标特征点对中每个目标特征点对，基于当前目标特征点对的坐标，确定当前目标特征点对是否在图像病灶区域内；若在，则将当前目标特征点对对应的权重置为第一预设值；若不在，则将当前目标特征点对对应的权重置为第二预设值，其中，第一预设值大于第二预设值。如图18所示为对图像病灶区域内外的当前目标特征点对赋予不同的权重的示意图。
基于各个目标特征点对对应的权重以及变换矩阵，确定各个目标特征点对对应的目标函数，将各个目标特征点对对应的目标函数求和，得到变换函数。
计算机设备通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵。如图19所示为采用刚性变换矩阵对图像病灶区域的坐标进行转换得到目标病灶区域的示意图。基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域，目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
另外，根据配准后的超声图像中指示的病灶区域的位置，将病灶区域的位置通过图像坐标系与机械臂坐标系的转换关系，转换到机械臂坐标系下，采用机械臂坐标系的坐标引导穿刺针进行穿刺。如图20所示为穿刺位置转换的示意图。
上述图像配准方法，通过获取目标对象的实时超声图像和已存目标图像，采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集，能够提高提取出的特征点的准确性，有利于提高图像配准结果的精度；目标特征点对是由第一特征点集中的特征点以及第二特征点集中的特征点组成的，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域。由于已存目标图像包括图像病灶区域，这种采用使得变换函数的函数值收敛对应的变换矩阵，对图像病灶区域的坐标进行转换的方法，能够保证得到的目标病灶区域更加接近真实的病灶区域，将目标病灶区域与实时超声图像进行融合，得到的配准后的超声图像具有较高的准确性，提高了配准结果的精度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像配准方法的图像配准装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像配准装置实施例中的具体限定可以参见上文中对于图像配准方法的限定，在此不再赘述。
在一个实施例中，如图21所示，提供了一种图像配准装置100，包括：图像获取模块110、特征点提取模块120、特征点对确定模块130、刚性变换矩阵确定模块140和融合模块150，其中：
图像获取模块110，用于获取目标对象的实时超声图像和已存目标图像，已存目标图像包括图像病灶区域；
特征点提取模块120，用于采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集；
特征点对确定模块130，用于基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对；
刚性变换矩阵确定模块140，用于基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
融合模块150，用于基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域；将目标病灶区域与实时超声图像进行融合，得到配准后的超声图像。
上述图像配准装置，通过获取目标对象的实时超声图像和已存目标图像，采用特征点检测算法，分别提取实时超声图像中的第一特征点集以及已存目标图像的第二特征点集，能够提高提取出的特征点的准确性，有利于提高图像配准结果的精度；目标特征点对是由第一特征点集中的特征点以及第二特征点集中的特征点组成的，基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数，通过更新变换矩阵以使得变换函数的函数值相应改变，持续对变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于刚性变换矩阵对图像病灶区域的坐标进行转换，获得目标病灶区域。由于已存目标图像包括图像病灶区域，这种采用使得变换函数的函数值收敛对应的变换矩阵，对图像病灶区域的坐标进行转换的方法，能够保证得到的目标病灶区域更加接近真实的病灶区域，将目标病灶区域与实时超声图像进行融合，得到的配准后的超声图像具有较高的准确性，提高了配准结果的精度。
在一个实施例中，在第一特征点集中包括至少一个第一特征点，第二特征点集中包括至少一个第二特征点；基于第一特征点集和第二特征点集，确定由第一特征点集中的特征点以及第二特征点集中的特征点组成的目标特征点对方面，特征点对确定模块130还用于：针对第一特征点集中的每个第一特征点，确定实时超声图像中包含当前第一特征点的第一目标区域，在第一目标区域中获取预设数量的第一像素点；针对第二特征点集中的每个第二特征点，确定已存目标图像中包含当前第二特征点的第二目标区域，在第二目标区域中获取预设数量的第二像素点；针对各个第一目标区域中的每个第一目标区域，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度；若第一目标特征点与任一第二目标特征点的相似程度大于预设值，则将第一目标特征点和相应的第二目标特征点确定为一个目标特征点对。
在一个实施例中，在基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度方面，特征点对确定模块130还用于：针对各个第二目标区域中每个第二目标区域，获取当前第一目标区域中每个第一像素点的像素值和当前第二目标区域中每个第二像素点的像素值间的第一差值；获取当前第一目标区域的第一像素平均值，以及当前第二目标区域的第二像素平均值间的第二差值；获取当前第一目标区域的第一像素直方图，与当前第二目标区域的第二像素直方图间的直方图相似度；将各个第一差值的平方和作为第一像素差异；将各个第二差值的平方和作为第二像素差异；将直方图相似度作为第三像素差异；基于第一像素差异、第二像素差异以及第三像素差异，确定当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度。
在一个实施例中，在基于变换矩阵和目标特征点对中的特征点坐标，确定变换函数方面，刚性变换矩阵确定模块140还用于：针对目标特征点对中每个目标特征点对，基于当前目标特征点对的坐标，确定当前目标特征点对是否在图像病灶区域内；若在，则将当前目标特征点对对应的权重置为第一预设值；若不在，则将当前目标特征点对对应的权重置为第二预设值；其中，第一预设值大于第二预设值；基于各个目标特征点对对应的权重以及变换矩阵，确定各个目标特征点对对应的目标函数；将各个目标特征点对对应的目标函数求和，得到变换函数。
在一个实施例中，在已存目标图像的获取方面，图像获取模块110还用于：获取目标对象的初始超声图像以及目标对象的初始影像；对初始超声图像进行三维重建，得到目标对象的超声三维模型；对初始影像进行三维重建，得到目标对象的影像三维模型；对超声三维模型和影像三维模型进行配准，得到已存目标图像。
在一个实施例中，在目标对象的影像三维模型中包括模型病灶区域；对超声三维模型和影像三维模型进行配准，得到已存目标图像方面，图像获取模块110还用于：基于超声三维模型和影像三维模型进行边界盒配准，得到初始线性变换矩阵；采用初始线性变换矩阵对影像三维模型进行坐标转换，得到第一转换模型；基于超声三维模型和第一转换模型进行迭代最近邻点配准，得到线性变换矩阵；采用线性变换矩阵对第一转换模型进行坐标转换，得到第二转换模型；基于超声三维模型，采用薄板样条算法对第二转换模型进行弹性配准，得到非线性变换矩阵；基于初始线性变换矩阵、线性变换矩阵、非线性变换矩阵、模型病灶区域以及超声三维模型，得到已存目标图像。
在一个实施例中，在基于初始线性变换矩阵、线性变换矩阵、非线性变换矩阵、病灶区域以及超声三维模型，得到已存目标图像方面，图像获取模块110还用于：基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对模型病灶区域进行坐标转换，得到转换后的病灶区域；将转换后的病灶区域与超声三维模型进行融合，得到融合后的超声模型；从融合后的超声模型中确定出与目标对象对应的超声图像，并将超声图像作为已存目标图像。
在一个实施例中，在已存目标图像的获取方面，图像获取模块110还用于：获取目标对象的初始超声图像以及目标对象的初始影像；初始影像中包括影像病灶区域；基于初始超声图像和初始影像进行边界盒配准，得到初始线性变换矩阵；采用初始线性变换矩阵对初始影像进行坐标转换，得到第一转换影像；基于初始超声图像和第一转换影像进行迭代最近邻点配准，得到线性变换矩阵；采用线性变换矩阵对第一转换影像进行坐标转换，得到第二转换影像；基于初始超声图像，采用薄板样条算法对第二转换影像进行弹性配准，得到非线性变换矩阵；基于初始线性变换矩阵、线性变换矩阵以及非线性变换矩阵对影像病灶区域进行坐标转换，得到转换后的病灶区域；将转换后的病灶区域与初始超声图像进行融合，得到已存目标图像。
上述图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图22所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像配准方法。
本领域技术人员可以理解，图22中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像配准方法，其特征在于，所述方法包括：
获取目标对象的实时超声图像和已存目标图像，所述已存目标图像包括图像病灶区域；
采用特征点检测算法，分别提取所述实时超声图像中的第一特征点集以及所述已存目标图像的第二特征点集；
基于所述第一特征点集和所述第二特征点集，确定由所述第一特征点集中的特征点以及所述第二特征点集中的特征点组成的目标特征点对；
基于变换矩阵和所述目标特征点对中的特征点坐标，确定变换函数，通过更新所述变换矩阵以使得所述变换函数的函数值相应改变，持续对所述变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；基于所述刚性变换矩阵对所述图像病灶区域的坐标进行转换，获得目标病灶区域；将所述目标病灶区域与所述实时超声图像进行融合，得到配准后的超声图像。
2.根据权利要求1所述的方法，其特征在于，所述第一特征点集中包括至少一个第一特征点，所述第二特征点集中包括至少一个第二特征点；
所述基于所述第一特征点集和所述第二特征点集，确定由所述第一特征点集中的特征点以及所述第二特征点集中的特征点组成的目标特征点对，包括：
针对所述第一特征点集中的每个第一特征点，确定所述实时超声图像中包含所述当前第一特征点的第一目标区域，在所述第一目标区域中获取预设数量的第一像素点；
针对所述第二特征点集中的每个第二特征点，确定所述已存目标图像中包含所述当前第二特征点的第二目标区域，在所述第二目标区域中获取所述预设数量的第二像素点；
针对各个第一目标区域中的每个第一目标区域，基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定所述当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度；若所述第一目标特征点与任一第二目标特征点的相似程度大于预设值，则将所述第一目标特征点和相应的第二目标特征点确定为一个目标特征点对。
3.根据权利要求2所述的方法，其特征在于，所述基于当前第一目标区域中第一像素点的像素值和每个第二目标区域中第二像素点的像素值，确定所述当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度，包括：
针对各个第二目标区域中每个第二目标区域，获取当前第一目标区域中每个第一像素点的像素值和当前第二目标区域中每个第二像素点的像素值间的第一差值；获取所述当前第一目标区域的第一像素平均值，以及所述当前第二目标区域的第二像素平均值间的第二差值；获取所述当前第一目标区域的第一像素直方图，与所述当前第二目标区域的第二像素直方图间的直方图相似度；
将各个第一差值的平方和作为第一像素差异；
将各个第二差值的平方和作为第二像素差异；
将所述直方图相似度作为第三像素差异；
基于所述第一像素差异、所述第二像素差异以及所述第三像素差异，确定所述当前第一目标区域对应的第一目标特征点与每个第二目标区域对应的第二目标特征点的相似程度。
4.根据权利要求1所述的方法，其特征在于，所述基于变换矩阵和所述目标特征点对中的特征点坐标，确定变换函数，包括：
针对所述目标特征点对中每个目标特征点对，基于当前目标特征点对的坐标，确定所述当前目标特征点对是否在所述图像病灶区域内；若在，则将所述当前目标特征点对对应的权重置为第一预设值；若不在，则将所述当前目标特征点对对应的权重置为第二预设值；其中，所述第一预设值大于第二预设值；
基于各个目标特征点对对应的权重以及变换矩阵，确定各个目标特征点对对应的目标函数；
将各个目标特征点对对应的目标函数求和，得到变换函数。
5.根据权利要求1所述的方法，其特征在于，所述已存目标图像的获取步骤，包括：
获取所述目标对象的初始超声图像以及所述目标对象的初始影像；
对所述初始超声图像进行三维重建，得到目标对象的超声三维模型；对所述初始影像进行三维重建，得到目标对象的影像三维模型；
对所述超声三维模型和所述影像三维模型进行配准，得到已存目标图像。
6.根据权利要求5所述的方法，其特征在于，所述目标对象的影像三维模型中包括模型病灶区域；
所述对所述超声三维模型和所述影像三维模型进行配准，得到已存目标图像，包括：
基于所述超声三维模型和所述影像三维模型进行边界盒配准，得到初始线性变换矩阵；
采用所述初始线性变换矩阵对所述影像三维模型进行坐标转换，得到第一转换模型；基于所述超声三维模型和所述第一转换模型进行迭代最近邻点配准，得到线性变换矩阵；
采用所述线性变换矩阵对所述第一转换模型进行坐标转换，得到第二转换模型；基于所述超声三维模型，采用薄板样条算法对所述第二转换模型进行弹性配准，得到非线性变换矩阵；
基于所述初始线性变换矩阵、所述线性变换矩阵、所述非线性变换矩阵、所述模型病灶区域以及所述超声三维模型，得到已存目标图像。
7.根据权利要求6所述的方法，其特征在于，所述基于所述初始线性变换矩阵、所述线性变换矩阵、所述非线性变换矩阵、所述模型病灶区域以及所述超声三维模型，得到已存目标图像，包括：
基于所述初始线性变换矩阵、所述线性变换矩阵以及所述非线性变换矩阵对所述模型病灶区域进行坐标转换，得到转换后的病灶区域；
将所述转换后的病灶区域与所述超声三维模型进行融合，得到融合后的超声模型；
从所述融合后的超声模型中确定出与所述目标对象对应的超声图像，并将所述超声图像作为已存目标图像。
8.根据权利要求1所述的方法，其特征在于，所述已存目标图像的获取步骤，还包括：
获取所述目标对象的初始超声图像以及所述目标对象的初始影像；所述初始影像中包括影像病灶区域；
基于所述初始超声图像和所述初始影像进行边界盒配准，得到初始线性变换矩阵；
采用所述初始线性变换矩阵对所述初始影像进行坐标转换，得到第一转换影像；基于所述初始超声图像和所述第一转换影像进行迭代最近邻点配准，得到线性变换矩阵；
采用所述线性变换矩阵对所述第一转换影像进行坐标转换，得到第二转换影像；基于所述初始超声图像，采用薄板样条算法对所述第二转换影像进行弹性配准，得到非线性变换矩阵；
基于所述初始线性变换矩阵、所述线性变换矩阵以及所述非线性变换矩阵对所述影像病灶区域进行坐标转换，得到转换后的病灶区域；
将所述转换后的病灶区域与所述初始超声图像进行融合，得到已存目标图像。
9.一种图像配准装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标对象的实时超声图像和已存目标图像，所述已存目标图像包括图像病灶区域；
特征点提取模块，用于采用特征点检测算法，分别提取所述实时超声图像中的第一特征点集以及所述已存目标图像的第二特征点集；
特征点对确定模块，用于基于所述第一特征点集和所述第二特征点集，确定由所述第一特征点集中的特征点以及所述第二特征点集中的特征点组成的目标特征点对；
刚性变换矩阵确定模块，用于基于变换矩阵和所述目标特征点对中的特征点坐标，确定变换函数，通过更新所述变换矩阵以使得所述变换函数的函数值相应改变，持续对所述变换矩阵进行更新，直至函数值收敛，将使得函数值收敛对应的变换矩阵确定为刚性变换矩阵；
融合模块，用于基于所述刚性变换矩阵对所述图像病灶区域的坐标进行转换，获得目标病灶区域；将所述目标病灶区域与所述实时超声图像进行融合，得到配准后的超声图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202211624869.4A 2022-12-16 2022-12-16 图像配准方法、装置、计算机设备和存储介质 Pending CN116071404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211624869.4A CN116071404A (zh) 2022-12-16 2022-12-16 图像配准方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211624869.4A CN116071404A (zh) 2022-12-16 2022-12-16 图像配准方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116071404A true CN116071404A (zh) 2023-05-05

Family

ID=86179506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211624869.4A Pending CN116071404A (zh) 2022-12-16 2022-12-16 图像配准方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116071404A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363038A (zh) * 2023-06-02 2023-06-30 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质
CN117152121A (zh) * 2023-09-25 2023-12-01 上海卓昕医疗科技有限公司 医学影像的配准方法、装置、电子设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363038A (zh) * 2023-06-02 2023-06-30 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质
CN116363038B (zh) * 2023-06-02 2024-06-07 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质
CN117152121A (zh) * 2023-09-25 2023-12-01 上海卓昕医疗科技有限公司 医学影像的配准方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
CN107730503B (zh) 三维特征嵌入的图像对象部件级语义分割方法与装置
CN116071404A (zh) 图像配准方法、装置、计算机设备和存储介质
WO2019205852A1 (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN109754396B (zh) 图像的配准方法、装置、计算机设备和存储介质
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN109493417B (zh) 三维物体重建方法、装置、设备和存储介质
US10198533B2 (en) Registration of multiple laser scans
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN113822839B (zh) 医学图像的处理方法、装置、计算机设备和存储介质
CN116227277A (zh) 电极布局方案的生成方法、装置、设备、介质和程序产品
CN115345928A (zh) 关键点的获取方法、计算机设备和存储介质
CN112950684B (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
CN112330787B (zh) 图像标注方法、装置、存储介质和电子设备
CN111583264B (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN111161330B (zh) 非刚性图像配准方法、装置、系统、电子设备、存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN116486016A (zh) 图像重建方法、装置、计算机设备和可读存储介质
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
CN112652056B (zh) 一种3d信息展示方法及装置
CN112669450A (zh) 人体模型构建方法和个性化人体模型构建方法
CN112614166A (zh) 基于cnn-knn的点云匹配方法和装置
CN114750147B (zh) 机器人的空间位姿确定方法、装置和机器人
CN114898094B (zh) 点云上采样方法、装置、计算机设备和存储介质
WO2024055493A1 (zh) 基于深度相位相关的异构三维观测配准方法、介质及设备
CN116168173B (zh) 车道线地图生成方法、装置、电子装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination