CN116862774A - 一种全景超分辨图像拼接方法、装置、设备及存储介质 - Google Patents

一种全景超分辨图像拼接方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116862774A
CN116862774A CN202310889839.4A CN202310889839A CN116862774A CN 116862774 A CN116862774 A CN 116862774A CN 202310889839 A CN202310889839 A CN 202310889839A CN 116862774 A CN116862774 A CN 116862774A
Authority
CN
China
Prior art keywords
super
panoramic
sub
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310889839.4A
Other languages
English (en)
Inventor
王政霞
陈妍竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202310889839.4A priority Critical patent/CN116862774A/zh
Publication of CN116862774A publication Critical patent/CN116862774A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像拼接领域，公开了一种全景超分辨图像拼接方法、装置、设备及存储介质，该方法包括：对拼接路径进行规划，生成最优拼接路径；对待配准子图像拼缝区域进行下采样；根据最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。这样减少累计误差，提高计算效率，在配准的过程中充分利用超分辨定位成像过程中的噪声点特征，辅助超分辨定位图像拼接，解决了高斯混合模型在没有结构点的区域无法计算的问题，提升了拼接精度，能够获得大视场全景超分辨定位图像，实现对于具有全景及纳米级别细胞细微结构的分析与研究。

Description

一种全景超分辨图像拼接方法、装置、设备及存储介质
技术领域
本发明涉及图像拼接领域，特别是涉及一种全景超分辨图像拼接方法、装置、设备及存储介质。
背景技术
在生命科学研究领域中，既需要能看到组织细微结构，又需要看到全景图像的生物整体结构，以便研究者能够在大视场范围内捕获罕见事件或更好地进行数据统计。但是，为了保持分辨率的高水平，单次采集的显微图像尺寸通常远远小于生物组织样本的尺寸，因此，现如今的研究迫切地需要对超分辨图像进行拼接，形成全景超分辨图像。
通过拼接形成全景超分辨图像的方式可分为两种，一种是先将定位表以固定分辨率渲染成图像，再用图像处理算法进行拼接；另一种是先将多个小视场定位表拼接成大视场定位表，再渲染成图像。目前，前者方法中图像以固定分辨率下采样，可能会丢失超分辨定位图像的原始细节信息，并且图像存储会造成极大的空间和内存需求。而后者用定位表进行拼接具有不丢失图像原始信息和存储最小化等优点。
现有的NanoStitcher是一个基于定位表的全景超分辨定位图像拼接框架，利用基于高斯混合的概率模型对拼缝处进行配准，该模型是在有细胞结构的位置对结构点进行概率运算，获取拼接参数。然而，如图1中的粗方框所示，细胞与细胞之间或细胞与组织之间会产生大量的生物间隙，这时模型无法在细胞间隙的位置进行计算，或者，如图1中的细方框所示，计算出来的结果误差很大造成横向拼接和纵向拼接都存在严重错位，会形成累计误差，影响后续的拼接效果。
发明内容
有鉴于此，本发明的目的在于提供一种全景超分辨图像拼接方法、装置、设备及存储介质，可以提升拼接精度，能够获得大视场全景超分辨定位图像。其具体方案如下：
一种全景超分辨图像拼接方法，包括：
对拼接路径进行规划，生成最优拼接路径；
对待配准子图像拼缝区域进行下采样；
根据所述最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；
对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，对拼接路径进行规划，生成最优拼接路径，包括：
以一个初始子图像为顶点，利用ABS算法计算每对子图像之间的欧氏距离；
将每对子图像之间的欧氏距离作为边的权值，得到加权图；
使用欧氏距离的绝对值构建最小生成树；
利用所述最小生成树进行路径规划，生成所述加权图的最短路径，并将所述最短路径作为最优拼接路径。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，对待配准子图像拼缝区域进行下采样，包括：
采用体素网格滤波算法对待配准子图像拼缝区域进行下采样。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，包括：
若下采样后的拼缝区域只有结构点，则利用高斯混合模型进行子图像配准；
若下采样后的拼缝区域只有噪点，则利用噪点配准算法寻找噪点匹配对，根据所述噪点匹配对进行子图像配准。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，还包括：
若下采样后的拼缝区域包含结构点和噪点，则根据噪点配准算法寻找所述噪点匹配对，计算出根据噪点配准的第一相对位移值；
根据结构点所在区域利用高斯混合模型进行配准，得出结构点配准的第二相对位移值；
根据结构点和噪点的不同占比，将所述第一相对位移值和所述第二相对位移值分别赋予相应的权重，得出相对位移结果；
根据所述最优拼接路径与所述相对位移结果，得到配准好的图像。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，采用下述公式寻找所述噪点匹配对：
xi-xj≤d+ε
其中，xi是第一子图像中拼缝区域内噪点的横坐标，xj是第二子图像中拼缝区域内噪点的横坐标，yi、yj是对应xi、xj点的纵坐标，d是超分辨成像过程中相机移动的距离，ε、θ分别是相对位移与相对角度系统的误差。
优选地，在本发明实施例提供的上述全景超分辨图像拼接方法中，对配准好的图像进行去重和全景融合，包括：
采用体素网格滤波算法对配准好的图像中的重复点进行删除；
在删除所述重复点后，采用体素网格滤波算法对拼缝区域周边的点数量进行调节，删除亮度值超过预设亮度的点，以使拼缝区域亮度达到均一。
本发明实施例还提供了一种全景超分辨图像拼接装置，包括：
路径规划模块，用于对拼接路径进行规划，生成最优拼接路径；
下采样模块，用于对待配准子图像拼缝区域进行下采样；
图像配准模块，用于根据所述最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；
去重融合模块，用于对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
本发明实施例还提供了一种全景超分辨图像拼接设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述全景超分辨图像拼接方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述全景超分辨图像拼接方法。
从上述技术方案可以看出，本发明所提供的一种全景超分辨图像拼接方法，包括：对拼接路径进行规划，生成最优拼接路径；对待配准子图像拼缝区域进行下采样；根据最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
本发明提供的上述全景超分辨图像拼接方法，首先进行路径规划，选择最优拼接路径，减少累计误差，然后对待配准子图像拼缝区域进行下采样，提高计算效率，之后根据最优拼接路径，利用成像过程中产生的噪声点特征，提出了基于高斯混合模型与噪点特征结合的拼接框架，在配准的过程中采用高斯混合模型结合噪点特征的配准算法，充分利用超分辨定位成像过程中的噪声点特征，辅助超分辨定位图像拼接，解决了高斯混合模型在没有结构点的区域无法计算的问题，提升了拼接精度，能够获得大视场全景超分辨定位图像，实现对于具有全景及纳米级别细胞细微结构的分析与研究。
此外，本发明还针对全景超分辨图像拼接方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有的NanoStitcher框架存在的拼接问题示意图；
图2为本发明实施例提供的全景超分辨图像拼接方法的流程图；
图3为本发明实施例提供的超分辨单色图像拼接框架示意图；
图4为本发明实施例提供的PNoiseStitcher与现有的NanoStitcher之间的路径规划拼接结果示意图；
图5为本发明实施例提供的5×5个ROI拼接最优路径选择的示意图；
图6为本发明实施例提供的下采样前后对比图；
图7为本发明实施例提供的配准过程流程示意图；
图8为本发明实施例提供的拼缝处去重前后对比图；
图9为本发明实施例提供的全景融合前后对比图；
图10为本发明实施例提供的全景超分辨图像拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种全景超分辨图像拼接方法，如图2所示，包括以下步骤：
S201、对拼接路径进行规划，生成最优拼接路径。
本发明是找到一条误差最小的优化路径来拼接所有的超分辨图像。
S202、对待配准子图像拼缝区域进行下采样。
需要说明的是，上述子图像可理解为定位表，本发明是采用定位表拼接的算法来获取全局超分辨率图像。如图3所示，输入多个定位表，要先对其进行预处理，首先生成最优的拼接路径，然后为了提高后续匹配过程的性能，使用体素网格滤波过滤方法对待配准子图像拼缝区域(即重叠区域)进行下采样处理。
S203、根据最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准。
需要说明的是，通过分析超分辨定位成像数据发现，细胞间虽然没有结构点，但是有成像过程中产生的背景噪点，而且这些噪点很可能会在相邻重叠区域出现。因此，本发明利用成像过程中产生的荧光噪声点特征，提出了基于噪声点与高斯混合模型结合的拼接框架，可称为PNoiseStitcher。
图4的上部分示出了NanoStitcher的路径规划拼接结果，下部分示出了PNoiseStitcher的路径规划拼接结果。可以看出，PNoiseStitche获得了良好的拼接效果，解决了NanoStitcher超分辨图像拼接中细胞组织间存在间隙导致拼接错位的问题。
S204、对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
图3示出了超分辨单色图像拼接框架示意图。将配准好的图像进行拼缝区域去重和全景融合的后处理后，可输出最终拼接完成的全景图像。
在本发明实施例提供的上述全景超分辨图像拼接方法中，主要分为路径规划、下采样、配准、去重和融合五个步骤，首先进行路径规划，选择最优拼接路径，减少累计误差，然后对待配准子图像拼缝区域进行下采样，提高计算效率，之后根据最优拼接路径，利用成像过程中产生的噪声点特征，提出了基于高斯混合模型与噪点特征结合的拼接框架，在配准的过程中采用高斯混合模型结合噪点特征的配准算法，充分利用超分辨定位成像过程中的噪声点特征，辅助超分辨定位图像拼接，解决了高斯混合模型在没有结构点的区域无法计算的问题，提升了拼接精度，能够获得大视场全景超分辨定位图像，实现对于具有全景及纳米级别细胞细微结构的分析与研究。
进一步地，在具体实施时，在本发明实施例提供的上述全景超分辨图像拼接方法中，步骤S201对拼接路径进行规划，生成最优拼接路径，具体可以包括以下步骤：
以一个初始子图像为顶点，利用ABS算法计算每对子图像之间的欧氏距离；
将每对子图像之间的欧氏距离作为边的权值，得到加权图；
使用欧氏距离的绝对值构建最小生成树；
利用最小生成树进行路径规划，生成加权图的最短路径，并将最短路径作为最优拼接路径。
需要说明的是，多幅图像的拼接是通过对子图像进行累计拼接，最终形成全景图像。在这个拼接过程中，有不同的拼接路径可以选择。而子图像的配准性能受到噪声、结构间隙、重叠区域的质量等许多其他因素的影响。因此，不同相邻子图像之间的配准质量差异会对影响最终全景图像的拼接效果。因此，拼接路径的选择是全景图像的拼接非常重要的步骤。在本发明的步骤S201中采用绝对值的方法构建最小生成树进行路径规划。拼接路径优化如下，首先，以一个初始子图像为顶点，利用ABS算法计算每对子图像之间的欧氏距离。然后，将这些距离看作是边的权值，得到一个加权图。最后，使用绝对值构建最小生成树算法来得到图的最短路径，这个最短路径也就是拼接全景图的最优路径。如图5所示，序号圆圈表示拼接成全景图像的图像块ROI，也就是最小生成树中的节点，细线表示ROI之间的相邻关系，而粗线则表示最小生成树的通路，组合起来就是拼接全景图像的最优路径。这样使用欧氏距离的绝对值构建最小生成树，能有效减少累计误差。
在具体实施时，在本发明实施例提供的上述全景超分辨图像拼接方法中，步骤S202对待配准子图像拼缝区域进行下采样，具体可以包括：采用体素网格滤波算法对待配准子图像拼缝区域进行下采样。
需要说明的是，多个ROI子图像的最优拼接路径确定后，接下来是对待配准的子图像拼缝区域进行下采样。由于超分辨定位成像每个ROI都有数十万个定位点，也就使得超分辨图像的数据量巨大。为了提高成对配准偏移计算的精度和速度，因此需要对相邻重叠区域进行下采样。下采样采用的是体素网格滤波算法，该方法可以在下采样同时不破坏点云本身的几何结构。定位点集的结构不仅包括宏观的几何外形，也包括微观的排列方式，比如横向相似的尺寸，纵向相同的距离。随机下采样虽然效率比体素网格滤波器高，但会破坏点集微观结构。因此，采用体素网格滤波算法进行下采样，具体步骤如下：首先将待配准子图像拼缝区域划分为若干个体素网格，然后，获取每个体素网格中的所有定位点的平均坐标值；每个体素网格中的所有定位点使用获取的平均坐标值来表示。处理后的图像在不破坏图像中生物结构(如微管结构)连接的情况下减少了背景噪声和定位点的数量。从图6可以看出下采样后的结果明显比下采样之前稀疏，但同时又保持了结构连通性。拼缝处下采样，一方面，去除噪声和异常值可以提高配准算法的准确性，另一方面，减少定位点的数量(从而减少数据量大小)可以加快配准速度。值得注意的是，经过滤波下采样的图像仅用于相邻子图像之间的配准，确定配准参数。拼接生成最终全景超分辨图像，是过滤前的原始图像，保留了拼接结果的原始信息。
在具体实施时，在本发明实施例提供的上述全景超分辨图像拼接方法中，步骤S203利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，具体可以包括以下步骤：
若下采样后的拼缝区域只有结构点，则利用高斯混合模型进行子图像配准；
若下采样后的拼缝区域只有噪点，则利用噪点配准算法寻找噪点匹配对，根据噪点匹配对进行子图像配准。
需要说明的是，现有的拼接框架NanoStitcher采用了高斯混合模型作为配准方法。如果配准的图像中生物细胞之间存在结构间隙，高斯混合模型就难以在无结构稀疏区域进行计算，配准结果就会严重错位，造成拼接失效，只能寻找其他配准路径来解决这个问题。而在实际情况中，生物细胞分布通常都会存在间隙，因此若不存在其他路径或其他路径也一样配准错位，将无法解决这个问题。针对这个问题，本发明提出了结合成像产生的荧光背景噪点特征，对超分辨定位图像进行配准。超分辨定位成像的过程中，荧光染料会分布在细胞结构周围，形成荧光背景噪点，并且这个荧光噪点的分布是确定的。也就是说，相邻图像拼缝区域的荧光噪点的分布是大致相同的。在实际成像的过程中，荧光信号点在第一次拍摄中被激发，但是有可能在第二次拍摄中就不被激发或者激发信号较弱。简而言之，拼缝处的荧光噪点分布大致相同，要么找不到对应的匹配对，要么找到的匹配对准确率很高。
基于超分辨定位成像产生的荧光背景噪点的特征，提出了结合噪点和高斯混合模型的配准方法，在有细胞结构区域采用高斯混合模型的配准算法，而没有结构的区域采用背景噪点匹配的配准算法。因为在细胞结构点处，无法准确地判断出噪声点，因此在结构点处使用噪点配准的准确率是不高的，而在细胞间隙处使用噪点配准，这样就能有效地解决生物体之间存在结构间隙，拼接会失效的问题。
进一步地，在具体实施时，在本发明实施例提供的上述全景超分辨图像拼接方法中，步骤S203利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，如图7所示，具体还可以包括以下步骤：
步骤一、若下采样后的拼缝区域包含结构点和噪点，则根据噪点配准算法寻找噪点匹配对，计算出根据噪点配准的第一相对位移值；
步骤二、根据结构点所在区域利用高斯混合模型进行配准，得出结构点配准的第二相对位移值；
步骤三、根据结构点和噪点的不同占比，将第一相对位移值和第二相对位移值分别赋予相应的权重，得出相对位移结果；
步骤四、根据最优拼接路径与相对位移结果，得到配准好的图像。
在实际应用中，在执行步骤一之前，还可以包括：对待配准的两个子图像拼缝区域进行结构点和噪点的区域进行判断，具体可将拼缝区域分成N等份(例如10等份)，进行密度判断。
在具体实施时，可以采用下述公式寻找噪点匹配对：
xi-xj≤d+ε
其中，xi是第一子图像中拼缝区域内噪点的横坐标，xj是第二子图像中拼缝区域内噪点的横坐标，yi、yj是对应xi、xj点的纵坐标，d是超分辨成像过程中相机移动的距离，ε、θ分别是相对位移与相对角度系统的误差。
在具体实施时，在本发明实施例提供的上述全景超分辨图像拼接方法中，步骤S204对配准好的图像进行去重和全景融合，具体可以包括以下步骤：首先，采用体素网格滤波算法对配准好的图像中的重复点进行删除；然后，在删除重复点后，采用体素网格滤波算法对拼缝区域周边的点数量进行调节，删除亮度值超过预设亮度的点，以使拼缝区域亮度达到均一。
需要说明的是，完成点集配准后，可以根据成对图像配准步骤计算出的坐标偏移量，将相邻两个定位表中的数据集转换为同一坐标系。因此，拼缝区域(或重叠区域)中的定位点数量将比实际定位点增加一倍。如果两张图像直接进行拼接，就会在拼接位置处产生一道拼接缝隙。拼接缝隙的产生来源于两张图像光场有差别所导致的，在渲染成图像的过程中，渲染函数会根据一定区域内点的数目增多而增亮，与周围区域形成明显差别。除此之外，配准误差对结构点的叠加也会产生重影效果。因此，需要删除重复点而不影响原始数据的质量，也能保持微管结构的连通性。去除重复的点的操作仍然采用体素网格滤波器的方法来执行。将一个重叠的区域划分为许多小的体素网格，在每个体素网格中，使用一个随机的定位点来表示所有的定位点，以此来去除重复的点。如图8所示为对拼缝处去重后的效果展示(右图的箭头处)，可以清楚地看到，方框中明显的明亮线条被去除了，达到了去重的效果。
另外，拼接融合是根据特定的融合方法将配准结果混合成统一点集的过程。然而，实验得到的定位点包含了大量的信息，包括但不限于信号强度和不同维度的定位精度。利用相邻定位点的信息，很难估计一个新的定位点的这些信息，因此本发明可以采用体素网格滤波器的方法对拼缝周围区域进行点数量的细微调节，从而达到使拼缝处亮度均一的结果。因此，在融合过程中只删除一些亮度值过大的点，从而使渲染的过程中达到亮度均一的效果。由图9可以看出，融合后的全景图亮度明显比未融合前统一。
基于同一发明构思，本发明实施例还提供了一种全景超分辨图像拼接装置，由于该装置解决问题的原理与前述一种全景超分辨图像拼接方法相似，因此该装置的实施可以参见全景超分辨图像拼接方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的全景超分辨图像拼接装置，如图10所示，具体包括：
路径规划模块11，用于对拼接路径进行规划，生成最优拼接路径；
下采样模块12，用于对待配准子图像拼缝区域进行下采样；
图像配准模块13，用于根据最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；
去重融合模块14，用于对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
在本发明实施例提供的上述全景超分辨图像拼接装置中，可以通过上述四个模块的相互作用，首先进行路径规划，选择最优拼接路径，减少累计误差，然后对待配准子图像拼缝区域进行下采样，提高计算效率，之后根据最优拼接路径，在配准的过程中，采用高斯混合模型结合噪点特征的配准算法，充分利用超分辨定位成像过程中的噪声点特征，辅助超分辨定位图像拼接，解决了高斯混合模型在没有结构点的区域无法计算的问题，提升了拼接精度，能够获得大视场全景超分辨定位图像，实现对于具有全景及纳米级别细胞细微结构的分析与研究。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种全景超分辨图像拼接设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的全景超分辨图像拼接方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的全景超分辨图像拼接方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
综上，本发明实施例提供的一种全景超分辨图像拼接方法，包括：对拼接路径进行规划，生成最优拼接路径；对待配准子图像拼缝区域进行下采样；根据最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。上述方法首先进行路径规划，选择最优拼接路径，减少累计误差，然后对待配准子图像拼缝区域进行下采样，提高计算效率，之后根据最优拼接路径，利用成像过程中产生的噪声点特征，提出了基于高斯混合模型与噪点特征结合的拼接框架，在配准的过程中采用高斯混合模型结合噪点特征的配准算法，充分利用超分辨定位成像过程中的噪声点特征，辅助超分辨定位图像拼接，解决了高斯混合模型在没有结构点的区域无法计算的问题，提升了拼接精度，能够获得大视场全景超分辨定位图像，实现对于具有全景及纳米级别细胞细微结构的分析与研究。此外，本发明还针对全景超分辨图像拼接方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的全景超分辨图像拼接方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种全景超分辨图像拼接方法，其特征在于，包括：
对拼接路径进行规划，生成最优拼接路径；
对待配准子图像拼缝区域进行下采样；
根据所述最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；
对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
2.根据权利要求1所述的全景超分辨图像拼接方法，其特征在于，对拼接路径进行规划，生成最优拼接路径，包括：
以一个初始子图像为顶点，利用ABS算法计算每对子图像之间的欧氏距离；
将每对子图像之间的欧氏距离作为边的权值，得到加权图；
使用欧氏距离的绝对值构建最小生成树；
利用所述最小生成树进行路径规划，生成所述加权图的最短路径，并将所述最短路径作为最优拼接路径。
3.根据权利要求2所述的全景超分辨图像拼接方法，其特征在于，对待配准子图像拼缝区域进行下采样，包括：
采用体素网格滤波算法对待配准子图像拼缝区域进行下采样。
4.根据权利要求3所述的全景超分辨图像拼接方法，其特征在于，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，包括：
若下采样后的拼缝区域只有结构点，则利用高斯混合模型进行子图像配准；
若下采样后的拼缝区域只有噪点，则利用噪点配准算法寻找噪点匹配对，根据所述噪点匹配对进行子图像配准。
5.根据权利要求4所述的全景超分辨图像拼接方法，其特征在于，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准，还包括：
若下采样后的拼缝区域包含结构点和噪点，则根据噪点配准算法寻找所述噪点匹配对，计算出根据噪点配准的第一相对位移值；
根据结构点所在区域利用高斯混合模型进行配准，得出结构点配准的第二相对位移值；
根据结构点和噪点的不同占比，将所述第一相对位移值和所述第二相对位移值分别赋予相应的权重，得出相对位移结果；
根据所述最优拼接路径与所述相对位移结果，得到配准好的图像。
6.根据权利要求5所述的全景超分辨图像拼接方法，其特征在于，采用下述公式寻找所述噪点匹配对：
xi-xj≤d+ε
其中，xi是第一子图像中拼缝区域内噪点的横坐标，xj是第二子图像中拼缝区域内噪点的横坐标，yi、yj是对应xi、xj点的纵坐标，d是超分辨成像过程中相机移动的距离，ε、θ分别是相对位移与相对角度系统的误差。
7.根据权利要求6所述的全景超分辨图像拼接方法，其特征在于，对配准好的图像进行去重和全景融合，包括：
采用体素网格滤波算法对配准好的图像中的重复点进行删除；
在删除所述重复点后，采用体素网格滤波算法对拼缝区域周边的点数量进行调节，删除亮度值超过预设亮度的点，以使拼缝区域亮度达到均一。
8.一种全景超分辨图像拼接装置，其特征在于，包括：
路径规划模块，用于对拼接路径进行规划，生成最优拼接路径；
下采样模块，用于对待配准子图像拼缝区域进行下采样；
图像配准模块，用于根据所述最优拼接路径，利用高斯混合模型与噪点特征结合的算法对下采样后的子图像进行配准；
去重融合模块，用于对配准好的图像进行去重和全景融合，获取拼接完成的全景超分辨图像。
9.一种电子设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的全景超分辨图像拼接方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的全景超分辨图像拼接方法。
CN202310889839.4A 2023-07-19 2023-07-19 一种全景超分辨图像拼接方法、装置、设备及存储介质 Pending CN116862774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310889839.4A CN116862774A (zh) 2023-07-19 2023-07-19 一种全景超分辨图像拼接方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310889839.4A CN116862774A (zh) 2023-07-19 2023-07-19 一种全景超分辨图像拼接方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116862774A true CN116862774A (zh) 2023-10-10

Family

ID=88233941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310889839.4A Pending CN116862774A (zh) 2023-07-19 2023-07-19 一种全景超分辨图像拼接方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116862774A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372252A (zh) * 2023-12-06 2024-01-09 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372252A (zh) * 2023-12-06 2024-01-09 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备
CN117372252B (zh) * 2023-12-06 2024-02-23 国仪量子技术(合肥)股份有限公司 图像拼接方法、装置及存储介质、电子设备

Similar Documents

Publication Publication Date Title
Hsu et al. Microstructure generation via generative adversarial network for heterogeneous, topologically complex 3D materials
Cheon et al. Generative adversarial network-based image super-resolution using perceptual content losses
CN109285222A (zh) 有机页岩高分辨率数字岩心构建与分析方法
CN111310903B (zh) 基于卷积神经网络的三维单分子定位系统
CN116862774A (zh) 一种全景超分辨图像拼接方法、装置、设备及存储介质
JP2000113193A (ja) 多視点３次元データの合成方法および記録媒体
DE60224392T2 (de) Dreidimensionale abbildung von einzelnen teilchen
Cocks et al. A guide to analysis and reconstruction of serial block face scanning electron microscopy data
DE102012210521A1 (de) Unbeschnittene Zeit- und Linsen-Begrenzungen für verbesserte Probentest- Effizienz bei Bild-Rendering
US20130108151A1 (en) Recovering 3d structure using blur and parallax
CN111861930A (zh) 图像去噪方法、装置以及电子设备、图像超分去噪方法
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
DE112021002702T5 (de) Verfahren und apparate zum identifizieren von oberflächenmerkmalen in dreidimensionalen bildern
Xu et al. Efficient computation of attributes and saliency maps on tree-based image representations
CN110827408B (zh) 一种基于深度传感器的实时三维重建方法
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Du et al. Computational framework for generating large panoramic super-resolution images from localization microscopy
Bai et al. Digital core 3d reconstruction based on micro-ct images via a deep learning method
Zhang et al. 3d cross-scale feature transformer network for brain mr image super-resolution
CN108615221B (zh) 基于剪切二维极线平面图的光场角度超分辨率方法及装置
Wu et al. Transforming image super-resolution: a ConvFormer-based efficient approach
CN105844699B (zh) 基于复合正则化技术的荧光显微图像三维重建方法及系统
CN105469399A (zh) 一种面向混合噪声的人脸超分辨率的重建方法及装置
CN108957572B (zh) 一种太赫兹成像方法、装置、设备及可读存储介质
Du et al. License plate super-resolution reconstruction based on improved ESPCN network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination