CN108765277A - 图像拼接方法、装置、计算机设备和存储介质 - Google Patents

图像拼接方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108765277A
CN108765277A CN201810562311.5A CN201810562311A CN108765277A CN 108765277 A CN108765277 A CN 108765277A CN 201810562311 A CN201810562311 A CN 201810562311A CN 108765277 A CN108765277 A CN 108765277A
Authority
CN
China
Prior art keywords
image
characteristic point
point
registration
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810562311.5A
Other languages
English (en)
Other versions
CN108765277B (zh
Inventor
赵书睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201810562311.5A priority Critical patent/CN108765277B/zh
Publication of CN108765277A publication Critical patent/CN108765277A/zh
Priority to PCT/CN2019/090025 priority patent/WO2019233422A1/en
Priority to EP19814598.9A priority patent/EP3788590A4/en
Priority to US17/111,536 priority patent/US11763424B2/en
Application granted granted Critical
Publication of CN108765277B publication Critical patent/CN108765277B/zh
Priority to US18/469,507 priority patent/US20240005450A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像拼接方法、装置、计算机设备和存储介质，该方法包括：基于初步配准精度，获取基准图像的基准特征点，以及与基准特征点对应的搜索图像的搜索特征点；基于预设配准精度，在搜索特征点的邻域范围内，确定与基准特征点相似性最大的插值点位置，以更新搜索特征点，其中，预设配准精度高于初步配准精度；根据基准特征点和更新后的搜索特征点之间的对应关系，对基准图像和特征图像进行配准，以生成配准图像；通过图像融合消除配准图像中的拼缝，以生成拼接图像。解决了现有技术不能兼顾图像拼接效果和拼接速度的问题，达到了既能保证图像拼接效果，又能提高图像拼接速度的技术效果。

Description

图像拼接方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种图像拼接方法、装置、计算机设备和存储介质。
背景技术
图像拼接是指将描述同一场景的两张或者多张有重叠区域的图像，通过图像配准和图像融合技术拼接成一幅大场景全新图像的过程。随着图像分析需求的提高，越来越多的领域需要通过图像拼接来获取全景图像，比如医学、遥感技术和虚拟现实等领域。
现有技术的图像拼接精度包括像素水平级和亚像素水平级，前者计算量较小，图像拼接较快，但是拼接图像的配准精度较低；虽然后者拼接图像的配准精度较高，但是计算量大，拼接速度较慢。
发明内容
本发明实施例提供了一种图像拼接方法、装置、计算机设备和存储介质，用于解决现有技术的图像拼接技术很难兼顾图像拼接效果和图像拼接速度的问题。
第一方面，本发明实施例提供了一种图像拼接方法，包括：
基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
进一步，所述初步配准精度为像素精度水平。
进一步，所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合预设配准精度，若是，则执行步骤2，若否，则执行步骤3。
进一步，所述预设配准精度包括多级逐级递增的子预设配准精度；
所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合第一级子预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合当前级别的子预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
其中，每个最大相似性位置对应一级子预设配准精度。
进一步，所述预设配准精度包括多级逐级递增的子预设配准精度；
所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置与所述基准特征点的相似性是否在预设相似阈值范围内，同时所述最大相似性位置是否符合第一级子预设配准精度，若均是，则执行步骤2，若任一为否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置与所述基准特征点的相似性是否在预设相似阈值范围内，同时所述最大相似性位置是否符合当前级别的子预设配准精度，若均是，则执行步骤2，若任一为否，则执行步骤3；
其中，每个最大相似性位置对应一级子预设配准精度。
进一步，所述预设配准精度包括多级逐级递增的子预设配准精度；所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、基于第一子级预设配准精度确定搜索特征点的邻域范围，通过预设相似性度量函数，在所述搜索特征点的邻域范围内，确定是否存在与所述基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤2，若否，则执行步骤3；
步骤2、将所述搜索特征点更新为该插值点位置；
步骤3、将当前与所述基准特征点的相似性最大的插值点位置作为当前最大相似性位置，并基于比所述第一子级预设配准精度更高的第二子级预设配准精度确定当前最大相似性位置的邻域范围，通过预设相似性度量函数，在所述当前最大相似性位置的邻域范围内，确定是否存在与所述基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤2，若否，则执行步骤3；
其中，每进行完一次步骤3，下一次迭代中所述第一级子预设配准精度被更新为上一次的第二级子预设配准精度。
进一步，所述根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像，包括：
根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述搜索图像进行矩阵变换，使所述搜索图像的像素阵列与所述基准图像的像素阵列平行；
求取所述矩阵变换后的所述搜索图像的亚像素点的像素值，以生成配准图像。
第二方面，本发明实施例还提供了一种图像拼接装置，包括：
特征点获取模块，用于基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
搜索特征点更新模块，用于基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
图像配准模块，用于根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
图像融合模块，用于通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像拼接方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的图像拼接方法。
本实施例提供的图像拼接方法的技术方案，基于初步配准精度，获取基准图像的基准特征点，以及与基准特征点对应的搜索图像的搜索特征点，可以快速锁定搜索特征点的位置范围；基于预设配准精度，在搜索特征点的邻域范围内，确定与基准特征点相似性最大的插值点位置，以更新搜索特征点，仅在搜索特征点的邻域范围内进行预设配准精度的插值，相较于预设配准精度的全局插值，大大减少了图像插值的运算量；根据基准特征点和更新后的搜索特征点之间的对应关系，对基准图像和特征图像进行配准，以生成配准图像；通过图像融合消除配准图像中的拼缝，以生成拼接图像。通过不同精度的插值确定更新后的搜索特征点，使基准特征点与更新后的搜索特征点之间的对应关系相较于基准特征点与搜索特征点之间的对应关系具有更高的准确性，进而提高了配准图像以及拼接图像的准确性，达到了既能保证图像拼接效果，又能提高图像拼接速度的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像拼接方法的流程图；
图2A是本发明实施例一提供的待拼接的搜索图像；
图2B是本发明实施例一提供的待拼接的基准图像；
图3是本发明实施例一提供的基准图像的基准特征点与搜索图像的搜索特征点的对应关系示意图；
图4是本发明实施例一提供的特征点对应关系示意图；
图5是本发明实施例一提供的图像融合前的拼接图像；
图6是本发明实施例一提供的拼接图像；
图7是本发明实施例二提供的图像拼接装置的结构框图；
图8是本发明实施例三提供的计算机设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像拼接过程中，通常需要获取两待拼接图像的特征点，然后通过特征点的对应关系确定两待拼接图像像素之间的对应关系。为了满足图像分析的需求，图像配准精度有时需要精确到亚像素水平。现有技术通常根据所需要的匹配精度，先对两图像中的搜索图像进行所需配准精度的全局插值，然后再获取两待拼接图像的特征点，以及基于特征点获取两图像像素的对应关系。由于待拼接图像的图像数据通常比较大，对待拼接图像进行全局插值后，图像数据大幅增加，进而影响了待拼接的图像拼接的处理速度。基于此，本发明实施例提出了一种图像拼接方法、装置、计算机设备和存储介质，下面先对图像拼接方法进行详细介绍。
实施例一
图1是本发明实施例一提供的图像拼接方法的流程图。本实施例的技术方案适用于将两幅或是多幅图像拼接成一幅全景图的情况，比如，将多张二维医学图像拼接成一张医学图像以便于医生诊断治疗的情况，本实施例以将两张DR图像拼接成一张DR图像为例进行说明。该方法可以由本发明实施例提供的图像拼接装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。如图1所示，该方法包括如下步骤：
S101、基于初步配准精度，获取基准图像的基准特征点，以及与基准特征点对应的搜索图像的搜索特征点。
图2A和图2B为待拼接的人体下肢DR图像，将其中的任意一幅作为基准图像，另一幅作为搜索图像，本实施例将图2A作为搜索图像，将图2B作为基准图像。基于初步配准精度，也就是像素精度水平，获取基准图像的基准特征点以及与基准特征点对应的搜索图像的搜索特征点。相对于现有技术配准前直接对搜索图像进行预设精度的全局插值，可使搜索图像的数据量保持在一个较低的水平，有利于提高图像配准和拼接的处理速度。
本实施例的特征点数量、特征点的分布位置由实际图像和所采用的特征点获取方法确定，在此不予限定。以人体下肢DR骨骼图像拼接为例，搜索特征点主要集中在搜索图像(位于图3的左侧)的下半部分，基准特征点主要集中在基准图像(位于图3的右侧)的上半部分，可以理解的是，特征点主要集中在两待配准图像重叠区域部分。图3通过连接线示出了基准特征点和搜索特征点之间的对应关系。
需要说明的是，搜索特征点和基准特征点可以是通过角点算法获取的角点，也可以是通过SIFT算法获取的SIFT特征点等，本实施例对特征点的具体形式以及特征点的提取方式不予限定，只要能够通过特征点确定基准图像和搜索图像之间的对应关系即可。
S102、基于预设配准精度，在搜索特征点的邻域范围内，确定与基准特征点相似性最大的插值点位置，以更新搜索特征点，其中，预设配准精度高于初步配准精度。
为了在搜索特征点的邻域范围内确定与基准特征点相似性最大的插值点位置，本实施例通过相似性度量函数来确定插值点与基准特征点之间的相似性，且相似性度量函数可以使用距离测度函数，比如欧式距离、马氏距离等，也可以使用相似度函数或概率测度函数等，实际使用时可根据具体情况进行选择。
搜索特征点更新方法的可选实施方式为：
步骤11、在搜索特征点的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置是否符合预设配准精度，若是，则执行步骤12，若否，则执行步骤13；
步骤12、以最大相似性位置来更新搜索特征点；
步骤13、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置是否符合预设配准精度，若是，则执行步骤2，若否，则执行步骤3。
其中，预设配准精度为亚像素水平的配准精度，可以仅包括一个配准精度值，比如1/2像素距离、1/4像素距离等；然后通过多次迭代过程找到所需的最大相似性位置，并将该最大相似性位置作为新的搜索特征点，实现了将配准精度由像素水平提高至亚像素水平，提高了搜索图像的搜索特征点的位置准确性，而且相较于现有技术的全局插值，采用搜索特征点邻域范围内插值或最大相似性位置邻域范围内插值减小了图像配准的数据量，有利于提高图像配准和拼接的速度。
为了提高搜索特征点的更新速度，本实施例的预设配准精度包括多级逐级递增的子预设配准精度，此时搜索特征点更新方法的可选实施方式为：
步骤21、在搜索特征点的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置是否符合第一级子预设配准精度，若是，则执行步骤22，若否，则执行步骤23；
步骤22、以最大相似性位置来更新搜索特征点；
步骤23、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置是否符合当前级别的子预设配准精度，若是，则执行步骤22，若否，则执行步骤23；其中，每个最大相似性位置对应一级子预设配准精度。
为了提高搜索特征点更新的准确性，本实施例还引入预设相似性阈值范围，用于限定插值点与基准特征点之间的相似性水平，此时搜索特征点的更新方法的可选实施方式为：
步骤31、在搜索特征点的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置与基准特征点的相似性是否在预设相似阈值范围内，同时最大相似性位置是否符合第一级子预设配准精度，若均是，则执行步骤32，若任一为否，则执行步骤33；
步骤32、以最大相似性位置来更新搜索特征点；
步骤33、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定最大相似性位置与基准特征点的相似性是否在预设相似阈值范围内，同时最大相似性位置是否符合当前级别的子预设配准精度，若均是，则执行步骤2，若任一为否，则执行步骤3；其中，每个最大相似性位置对应一级子预设配准精度。
通过预设相似阈值范围使最大相似性位置在满足预设配准精度的同时，还将其与基准特征点的相似性限定在一个预设的范围内，从而提高图像配准和拼接的准确性。
需要说明的是，前述搜索特征点更新方法提及的邻域范围大于预设配准精度。
为了提高搜索特征点的更新速度，本实施例还通过预设子配准精度来确定邻域范围，并且通过预设相似阈值范围来作为更新搜索特征点的条件，其中，预设子配准精度是逐级递增的，预设相似阈值范围的条件在逐级搜索时是保持不变的，此时搜索特征点更新方法的可选实施方式为：
步骤41、基于第一级预设子配准精度确定搜索特征点的邻域范围，通过预设相似性度量函数，在搜索特征点的邻域范围内，确定是否存在与基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤42，若否则执行步骤43；
步骤42、以该插值点位置来更新搜索特征点；
步骤43、将当前与基准特征点的相似性最大的插值点位置作为当前最大相似性位置，并基于下一级子预设配准精度确定当前最大相似性位置的邻域范围，通过预设相似性度量函数，在当前最大相似性位置的邻域范围内，确定是否存在与基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤42，若否则执行步骤43。
在下面步骤51至步骤53的实施方式中，预设配准精度也包括多级逐级递增的子预设配准精度，此时搜索特征点更新方法的另一可选实施方式为：
步骤51、基于第一级子预设配准精度确定搜索特征点的邻域范围，通过预设相似性度量函数，在搜索特征点的邻域范围内，确定是否存在与基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤52，若否则执行步骤53；
步骤52、将搜索特征点更新为该插值点位置；
步骤53、将当前与基准特征点的相似性最大的插值点位置作为当前最大相似性位置，并基于下一级子预设配准精度确定当前最大相似性位置的邻域范围，通过预设相似性度量函数，在当前最大相似性位置的邻域范围内，确定是否存在与基准特征点的相似性在对应的子预设相似阈值范围内的插值点位置，若是，则执行步骤52，若否，则执行步骤53。其中，每个邻域范围都通过新一级的子预设配准精度确定，在对下一级插值点位置进行搜索时，需要用到对应到下一级的子预设相似阈值范围，通常下一级子预设相似阈值范围比上一级子预设相似阈值范围更小。
可以理解的是，每一级子预设相似阈值范围对应一级子预设配准精度，用于限定在每一级子预设配准精度下所查找的插值点应具有的与基准特征点的相似性水平。
相似性最大的插值点位置确定后，用相似性最大的插值点位置更新搜索特征点，使用更新后的搜索特征点与基准图像进行配准，如图4所示，相似性最大的插值点位置位于其对应的搜索特征点附近，基准特征点与搜索特征点之间的对应关系由虚线表示，基准特征点与更新后的搜索特征点之间的对应关系由实线表示。本实施例以基准特征点与更新后的搜索特征定之间的对应关系对搜索图像和基准图像进行配准。相较于原搜索特征点，更新后的搜索特征点与对应的基准特征点的相似性较大，所以基于更新后的搜索特征点与基准特征点进行图像配准的准确度更高。
S103、根据基准特征点和更新后的搜索特征点之间的对应关系，对基准图像和特征图像进行配准，以生成配准图像。
根据基准图像的基准特征点与搜索图像更新后的搜索特征点之间的对应关系，对搜索图像进行矩阵变换，从而使搜索图像的像素阵列与基准图像的像素阵列平行。由于矩阵变换后的搜索图像会出现很多亚像素值，求取这些亚像素点的像素值，以实现基准图像与特征图像的配准。矩阵变换形式可以是平移、旋转或缩放等形式，且具体变换形式可根据实际情况进行选择，本实施例对此不予限定。
S104、通过图像融合消除配准图像中的拼缝，以生成拼接图像。
如图5所示，配准图像通常会在两幅配准图像的连接处存在拼缝20。为了提高图像质量，避免拼缝对图像细节的影响，本实施例通过预设图像融合算法，消除基准图像与更新后的搜索图像连接处的拼缝，以生成拼接图像，如图6所示，方便医生对患者的大腿骨进行诊断。
本实施例的预设图像融合算法可以选择加权平均法、基于金字塔结构的多分辨率算法或者基于多分辨率的分区图像融合算法等现有的图像融合方法，只要能够对基准图像和更新后的搜索图像连接处拼缝以及过渡区域进行融合即可。
本实施例提供的图像拼接方法的技术方案，基于初步配准精度，获取基准图像的基准特征点，以及与基准特征点对应的搜索图像的搜索特征点，可以快速锁定搜索特征点的位置范围；基于预设配准精度，在搜索特征点的邻域范围内，确定与基准特征点相似性最大的插值点位置，以更新搜索特征点，仅在搜索特征点的邻域范围内进行预设配准精度的插值，相较于预设配准精度的全局插值，大大减少了图像插值的运算量；根据基准特征点和更新后的搜索特征点之间的对应关系，对基准图像和特征图像进行配准，以生成配准图像；通过图像融合消除配准图像中的拼缝，以生成拼接图像。通过不同精度的插值确定更新后的搜索特征点，使基准特征点与更新后的搜索特征点之间的对应关系相较于基准特征点与原搜索特征点之间的对应关系具有更高的准确性，进而提高了配准图像以及拼接图像的准确性，达到了既能保证图像拼接效果，又能提高图像拼接速度的技术效果。
实施例二
图7是本发明实施例二提供的图像拼接装置的结构框图。该装置用于执行上述任意实施例所提供的图像拼接方法，该装置可选为通过软件或硬件实现。如图7所示，该装置包括：
特征点获取模块11，用于基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
搜索特征点更新模块12，用于基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
配准图像生成模块13，用于根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
拼接图像生成模块14，用于通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
本实施例提供的图像拼接装置的技术方案，基于初步配准精度，获取基准图像的基准特征点，以及与基准特征点对应的搜索图像的搜索特征点，可以快速锁定搜索特征点的位置范围；基于预设配准精度，在搜索特征点的邻域范围内，确定与基准特征点相似性最大的插值点位置，以更新搜索特征点，仅在搜索特征点的邻域范围内进行预设配准精度的插值，相较于预设配准精度的全局插值，大大减少了图像插值的运算量；根据基准特征点和更新后的搜索特征点之间的对应关系，对基准图像和特征图像进行配准，以生成配准图像；通过图像融合消除配准图像中的拼缝，以生成拼接图像。通过不同精度的插值确定更新后的搜索特征点，使基准特征点与更新后的搜索特征点之间的对应关系相较于基准特征点与搜索特征点之间的对应关系具有更高的准确性，进而提高了配准图像以及拼接图像的准确性，达到了既能保证图像拼接效果，又能提高图像拼接速度的技术效果。
本发明实施例所提供的图像拼接装置可执行本发明任意实施例所提供的图像拼接方法，具备执行方法相应的功能模块和有益效果。
实施例三
图8为本发明实施例三提供的计算机设备的结构框图，如图8所示，该设备包括处理器201、存储器202、输入装置203以及输出装置204；设备中处理器201的数量可以是一个或多个，图8中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203以及输出装置204可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像拼接方法对应的程序指令/模块(例如，特征点获取模块11、搜索特征点更新模块12、配准图像生成模块13以及拼接图像生成模块14)。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像拼接方法。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。存储器202还包括云。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置204可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像拼接方法，该方法包括：
基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像拼接方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像拼接方法。
值得注意的是，上述图像拼接装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：
基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
2.根据权利要求1所述的方法，其特征在于，所述初步配准精度为像素精度水平。
3.根据权利要求1所述的方法，其特征在于，所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合预设配准精度，若是，则执行步骤2，若否，则执行步骤3。
4.根据权利要求1所述的方法，其特征在于，所述预设配准精度包括多级逐级递增的子预设配准精度；
所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合第一级子预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置是否符合当前级别的子预设配准精度，若是，则执行步骤2，若否，则执行步骤3；
其中，每个最大相似性位置对应一级子预设配准精度。
5.根据权利要求1所述的方法，其特征在于，所述预设配准精度包括多级逐级递增的子预设配准精度；
所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、在所述搜索特征点的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置与所述基准特征点的相似性是否在预设相似阈值范围内，同时所述最大相似性位置是否符合第一级子预设配准精度，若均是，则执行步骤2，若任一为否，则执行步骤3；
步骤2、以所述最大相似性位置来更新所述搜索特征点；
步骤3、在当前最大相似性位置的邻域范围内，通过预设相似性度量函数确定与所述基准特征点相似性最大的插值点位置，并作为最大相似性位置，确定所述最大相似性位置与所述基准特征点的相似性是否在预设相似阈值范围内，同时所述最大相似性位置是否符合当前级别的子预设配准精度，若均是，则执行步骤2，若任一为否，则执行步骤3；
其中，每个最大相似性位置对应一级子预设配准精度。
6.根据权利要求1所述的方法，其特征在于，所述预设配准精度包括多级逐级递增的子预设配准精度；所述基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，包括：
步骤1、基于第一级子预设配准精度确定搜索特征点的邻域范围，通过预设相似性度量函数，在所述搜索特征点的邻域范围内，确定是否存在与所述基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤2，若否，则执行步骤3；
步骤2、将所述搜索特征点更新为该插值点位置；
步骤3、将当前与所述基准特征点的相似性最大的插值点位置作为当前最大相似性位置，并基于比所述第一级子预设配准精度更高的第二级子预设配准精度确定当前最大相似性位置的邻域范围，通过预设相似性度量函数，在所述当前最大相似性位置的邻域范围内，确定是否存在与所述基准特征点的相似性在预设相似阈值范围内的插值点位置，若是，则执行步骤2，若否，则执行步骤3；
其中，每进行完一次步骤3，下一次迭代中所述第一级子预设配准精度被更新为上一次的第二级子预设配准精度。
7.根据权利要求1-6任一所述的方法，其特征在于，所述根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像，包括：
根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述搜索图像进行矩阵变换，使所述搜索图像的像素阵列与所述基准图像的像素阵列平行；
求取所述矩阵变换后的所述搜索图像的亚像素点的像素值，以生成配准图像。
8.一种图像拼接装置，其特征在于，包括：
特征点获取模块，用于基于初步配准精度，获取基准图像的基准特征点，以及与所述基准特征点对应的搜索图像的搜索特征点；
搜索特征点更新模块，用于基于预设配准精度，在所述搜索特征点的邻域范围内，确定与所述基准特征点相似性最大的插值点位置，以更新所述搜索特征点，其中，所述预设配准精度高于所述初步配准精度；
图像配准模块，用于根据所述基准特征点和更新后的所述搜索特征点之间的对应关系，对所述基准图像和所述特征图像进行配准，以生成配准图像；
图像融合模块，用于通过图像融合消除所述配准图像中的拼缝，以生成拼接图像。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像拼接方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像拼接方法。
CN201810562311.5A 2018-06-04 2018-06-04 图像拼接方法、装置、计算机设备和存储介质 Active CN108765277B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810562311.5A CN108765277B (zh) 2018-06-04 2018-06-04 图像拼接方法、装置、计算机设备和存储介质
PCT/CN2019/090025 WO2019233422A1 (en) 2018-06-04 2019-06-04 Devices, systems, and methods for image stitching
EP19814598.9A EP3788590A4 (en) 2018-06-04 2019-06-04 DEVICES, SYSTEMS AND METHODS FOR IMAGE STITCHING
US17/111,536 US11763424B2 (en) 2018-06-04 2020-12-04 Devices, systems, and methods for image stitching
US18/469,507 US20240005450A1 (en) 2018-06-04 2023-09-18 Devices, systems, and methods for image stitching

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810562311.5A CN108765277B (zh) 2018-06-04 2018-06-04 图像拼接方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108765277A true CN108765277A (zh) 2018-11-06
CN108765277B CN108765277B (zh) 2021-05-07

Family

ID=64002405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810562311.5A Active CN108765277B (zh) 2018-06-04 2018-06-04 图像拼接方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108765277B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767432A (zh) * 2018-12-29 2019-05-17 上海联影医疗科技有限公司 数据融合方法、装置、计算机设备和可读存储介质
WO2019233422A1 (en) * 2018-06-04 2019-12-12 Shanghai United Imaging Healthcare Co., Ltd. Devices, systems, and methods for image stitching

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609506A (zh) * 2008-06-20 2009-12-23 索尼株式会社 对象识别装置、方法及其程序以及记录该程序的记录介质
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN106447664A (zh) * 2016-09-30 2017-02-22 上海联影医疗科技有限公司 确定匹配点对的方法及图像获取方法
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107644411A (zh) * 2017-09-19 2018-01-30 武汉中旗生物医疗电子有限公司 超声宽景成像方法及装置
CN107665486A (zh) * 2017-09-30 2018-02-06 深圳绰曦互动科技有限公司 一种应用于x射线图像的自动拼接方法、装置及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609506A (zh) * 2008-06-20 2009-12-23 索尼株式会社 对象识别装置、方法及其程序以及记录该程序的记录介质
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
US20140177968A1 (en) * 2012-12-20 2014-06-26 Chung-Ang University Industry-Academy Cooperation Foundation Homography estimation apparatus and method
CN106447664A (zh) * 2016-09-30 2017-02-22 上海联影医疗科技有限公司 确定匹配点对的方法及图像获取方法
CN107170001A (zh) * 2017-04-25 2017-09-15 北京海致网聚信息技术有限公司 用于对图像进行配准的方法和装置
CN107644411A (zh) * 2017-09-19 2018-01-30 武汉中旗生物医疗电子有限公司 超声宽景成像方法及装置
CN107665486A (zh) * 2017-09-30 2018-02-06 深圳绰曦互动科技有限公司 一种应用于x射线图像的自动拼接方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娟: "《医学图像配准中相似性测度的研究》", 《中国博士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233422A1 (en) * 2018-06-04 2019-12-12 Shanghai United Imaging Healthcare Co., Ltd. Devices, systems, and methods for image stitching
US11763424B2 (en) 2018-06-04 2023-09-19 Shanghai United Imaging Healthcare Co., Ltd. Devices, systems, and methods for image stitching
CN109767432A (zh) * 2018-12-29 2019-05-17 上海联影医疗科技有限公司 数据融合方法、装置、计算机设备和可读存储介质
CN109767432B (zh) * 2018-12-29 2021-03-16 上海联影医疗科技股份有限公司 数据融合方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN108765277B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN109872333B (zh) 医学影像分割方法、装置、计算机设备和存储介质
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
CN109389665B (zh) 三维模型的纹理获取方法、装置、设备和存储介质
CN106910217A (zh) 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
CN110570426A (zh) 使用深度学习的图像联合配准和分割
CN106027851A (zh) 基于图像梯度的图像滤波
US20150170405A1 (en) High resolution free-view interpolation of planar structure
CN111311528B (zh) 图像融合优化方法、装置、设备和介质
WO2019041660A1 (zh) 人脸去模糊方法及装置
CN111091561A (zh) 感兴趣区的神经纤维提取方法、系统、设备及存储介质
CN111415298A (zh) 图像拼接方法、装置、电子设备及计算机可读存储介质
CN108765277A (zh) 图像拼接方法、装置、计算机设备和存储介质
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN114792106A (zh) 视频语义分割方法、装置、电子设备及存储介质
Hu et al. Minimum barrier superpixel segmentation
Yuan et al. Sdv-loam: Semi-direct visual-lidar odometry and mapping
Ciotta et al. Depth guided image completion for structure and texture synthesis
CN108986031B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115830244A (zh) 一种三维模型重建方法及装置
EP1405267B1 (en) Adaptation of energy function in real-time contour computation for image segmentation
CN117252912A (zh) 深度图像获取方法、电子设备及存储介质
CN113838183A (zh) 一种三维纹理模型生成的方法、系统、电子装置和介质
CN111583168A (zh) 图像合成方法、装置、计算机设备和存储介质
CN112581460A (zh) 扫描规划方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant