CN112862732B - 多分辨率图像融合方法、装置、设备、介质及产品 - Google Patents

多分辨率图像融合方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN112862732B
CN112862732B CN202110068890.XA CN202110068890A CN112862732B CN 112862732 B CN112862732 B CN 112862732B CN 202110068890 A CN202110068890 A CN 202110068890A CN 112862732 B CN112862732 B CN 112862732B
Authority
CN
China
Prior art keywords
image
slice
images
resolution
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110068890.XA
Other languages
English (en)
Other versions
CN112862732A (zh
Inventor
杨铀
陈铁健
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110068890.XA priority Critical patent/CN112862732B/zh
Publication of CN112862732A publication Critical patent/CN112862732A/zh
Application granted granted Critical
Publication of CN112862732B publication Critical patent/CN112862732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种多分辨率图像融合方法、装置、设备、介质及产品，该方法包括：获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。本发明实施例的多分辨率图像融合方法，生成的目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。

Description

多分辨率图像融合方法、装置、设备、介质及产品
技术领域
本发明实施例涉及显微图像处理技术领域，尤其涉及一种多分辨率图像融合方法、装置、设备、介质及产品。
背景技术
在生物、医学领域中，人们通常使用手持式设备来对生物、医学切片进行研究。这种手持式设备通常是手机等成像设备及便携式显微镜等设备的结合，通过便携式显微镜对切片进行成像，然后通过手机或其他成像设备拍摄便携式显微镜中的图像，从而将显微图像保存下来，以供后续的研究。
在研究过程中通常需要对切片的全面、整体以及多角度的研究，而通过手持式设备成像而生成的显微图像，一般只涉及单一分辨率。不同分辨率的显微图像在图像大小、局部清晰度、整体清晰度都是完全不同的。当需要观察切片的局部清晰度时，低分辨率的显微图像清晰度较低，而在需要观察切片的整体清晰度时，高分辨率的显微图像对应的切片内容往往不完整。
因此，目前的手持式设备生成的显微图像存在清晰度较低或切片内容不完整的问题。
发明内容
本发明提供一种多分辨率图像融合方法、装置、设备、介质及产品，用以解决目前的手持式设备生成的显微图像存在清晰度较低或切片内容不完整的问题。
本发明实施例第一方面提供一种多分辨率图像融合方法，包括：
获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；
针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；
将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。
进一步地，如上所述的方法，所述将所有切片图像按照分辨率进行分组，包括：
对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像；
根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像；
根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比；
根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组。
进一步地，如上所述的方法，所述根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比，包括：
根据所述分组基准图像的关键点和所述匹配图像的关键点确定单应性矩阵；
获取所述分组基准图像和所述匹配图像之间的图像大小比值，根据所述图像大小比值确定所述分组基准图像和所述匹配图像之间的成像参数比值；
根据所述单应性矩阵和所述成像参数比值确定所述分组基准图像和所述匹配图像之间的放大倍数之比；
所述根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组，包括：
若确定所述放大倍数之比在预设的阈值范围内，则将所述分组基准图像和所述匹配图像分成同一个分辨率图像集；
若确定所述放大倍数之比不在预设的阈值范围内，则将所述匹配图像确定为另外分辨率的分组基准图像，并执行根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
进一步地，如上所述的方法，所述针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像，包括：
根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图；
根据所述总质量图对每个切片图像中各个像素点进行质量评估；
根据每个切片图像的关键点确定拼接时多幅切片图像之间的像素点交集，根据各个切片图像中各个像素点的质量评估结果确定各个切片图像的各个像素点在对应像素点交集中对应的权值；
根据所述权值和各个切片图像像素点的像素值确定所述像素点交集中像素点的像素值，根据像素点交集中像素点的像素值拼接分辨率图像集内的各个切片图像，生成对应分辨率的切片整体图像。
进一步地，如上所述的方法，所述根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图，包括：
将分辨率图像集内的每个切片图像的所有像素点的灰度值映射到预设范围的区间中，以生成灰度质量图；
将分辨率图像集内的每个切片图像的所有像素点的梯度变化映射到所述预设范围的区间中，以生成锐度质量图；
根据预设的计算公式确定每个切片图像的色差，将所述色差映射到所述预设范围的区间中，以生成颜色质量图；
计算每个切片图像中每个像素点与切片图像中心的距离，将所述距离映射到所述预设范围的区间中，以生成距离质量图；
按照预设的权值对同一幅切片图像的所述灰度质量图、锐度质量图、颜色质量图和距离质量图进行加权求和，生成对应的总质量图。
进一步地，如上所述的方法，所述将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，包括：
获取不同分辨率的两个切片整体图像以及两个切片整体图像之间的放大倍数之比；
根据两个切片整体图像之间的放大倍数之比通过预设的采样算法确定低分辨率切片整体图像的上采样系数和高分辨率切片整体图像的下采样系数；
根据所述上采样系数对所述低分辨率的切片整体图像进行对应上采样；根据所述下采样系数对所述高分辨率的切片整体图像进行对应下采样；
将上采样后的低分辨率的切片整体图像和下采样后的高分辨率的切片整体图像进行融合。
本发明实施例第二方面提供一种多分辨率图像融合装置，包括：
分组模块，用于获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；
拼接模块，用于针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；
融合模块，用于将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。
进一步地，如上所述的装置，所述分组模块在将所有切片图像按照分辨率进行分组时，具体用于：
对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像；根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像；根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比；根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组。
进一步地，如上所述的装置，所述分组模块在根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比时，具体用于：
根据所述分组基准图像的关键点和所述匹配图像的关键点确定单应性矩阵；获取所述分组基准图像和所述匹配图像之间的图像大小比值，根据所述图像大小比值确定所述分组基准图像和所述匹配图像之间的成像参数比值；根据所述单应性矩阵和所述成像参数比值确定所述分组基准图像和所述匹配图像之间的放大倍数之比；
所述分组模块在根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组时，具体用于：若确定所述放大倍数之比在预设的阈值范围内，则将所述分组基准图像和所述匹配图像分成同一个分辨率图像集；若确定所述放大倍数之比不在预设的阈值范围内，则将所述匹配图像确定为另外分辨率的分组基准图像，并执行根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
进一步地，如上所述的装置，所述拼接模块在针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像时，具体用于：
根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图；根据所述总质量图对每个切片图像中各个像素点进行质量评估；根据每个切片图像的关键点确定拼接时多幅切片图像之间的像素点交集，根据各个切片图像中各个像素点的质量评估结果确定各个切片图像的各个像素点在对应像素点交集中对应的权值；根据所述权值和各个切片图像像素点的像素值确定所述像素点交集中像素点的像素值，根据像素点交集中像素点的像素值拼接分辨率图像集内的各个切片图像，生成对应分辨率的切片整体图像。
进一步地，如上所述的装置，所述拼接模块在根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图时，具体用于：
将分辨率图像集内的每个切片图像的所有像素点的灰度值映射到预设范围的区间中，以生成灰度质量图；将分辨率图像集内的每个切片图像的所有像素点的梯度变化映射到所述预设范围的区间中，以生成锐度质量图；根据预设的计算公式确定每个切片图像的色差，将所述色差映射到所述预设范围的区间中，以生成颜色质量图；计算每个切片图像中每个像素点与切片图像中心的距离，将所述距离映射到所述预设范围的区间中，以生成距离质量图；按照预设的权值对同一幅切片图像的所述灰度质量图、锐度质量图、颜色质量图和距离质量图进行加权求和，生成对应的总质量图。
进一步地，如上所述的装置，所述融合模块在将不同分辨率的切片整体图像根据预设的融合策略进行两两融合时，具体用于：
获取不同分辨率的两个切片整体图像以及两个切片整体图像之间的放大倍数之比；根据两个切片整体图像之间的放大倍数之比通过预设的采样算法确定低分辨率切片整体图像的上采样系数和高分辨率切片整体图像的下采样系数；根据所述上采样系数对所述低分辨率的切片整体图像进行对应上采样；根据所述下采样系数对所述高分辨率的切片整体图像进行对应下采样；将上采样后的低分辨率的切片整体图像和下采样后的高分辨率的切片整体图像进行融合。
本发明实施例第三方面提供一种电子设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的多分辨率图像融合方法。
本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的多分辨率图像融合方法。
本发明实施例第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的多分辨率图像融合方法。
本发明实施例提供的一种多分辨率图像融合方法、装置、设备、介质及产品，该方法包括：获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。本发明实施例的多分辨率图像融合方法，首先获取多种分辨率的多个切片图像，然后将所有的切片图像按照分辨率进行分组，比如同一低分辨率的所有切片图像分为低分辨率图像集，同一高分辨率的所有切片图像分为高分辨率图像集，从而形成多个分辨率图像集。将每个分辨率图像集内的各个切片图像进行拼接后，生成该分辨率图像集的切片整体图像。最后，将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，得到目标分辨率图像。由于目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为可以实现本发明实施例的多分辨率图像融合方法的场景图；
图2为本发明第一实施例提供的多分辨率图像融合方法的流程示意图；
图3为本发明第二实施例提供的多分辨率图像融合方法的流程示意图；
图4为本发明第二实施例提供的多分辨率图像融合方法中图像拼接的流程示意图；
图5为本发明第二实施例提供的多分辨率图像融合方法中最终形成的目标分辨率图像；
图6为本发明第三实施例提供的多分辨率图像融合装置的结构示意图；
图7为本发明第四实施例提供的电子设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。在生物、医学领域中，人们通常使用手持式设备来对生物、医学切片进行研究。这种手持式设备通常是手机等成像设备及便携式显微镜等设备的结合，通过便携式显微镜对切片进行成像，然后通过手机或其他成像设备拍摄便携式显微镜中的图像，从而将显微图像保存下来，以供后续的研究。一般情况下，由于手持式设备中显微镜和成像设备性能较低，通过手持式设备成像而生成的显微图像，一般只涉及单一分辨率，且分辨率跨度往往较大，不同的分辨率也对应不同的放大倍数。比如，通常使用较多的分辨率对应的放大倍数有5倍、50倍、100倍等，每个分辨率之间的放大倍数跨度也较大。同时，不同分辨率的显微图像在图像大小、局部清晰度、整体清晰度都是完全不同的。比如，5倍的放大倍数主要是针对切片的整体进行成像，当需要观察切片的局部清晰度时，5倍的放大倍数生成的对应分辨率显微图像清晰度较低，很难看清楚切片的局部结构。而若是使用100倍的放大倍数，则由于放大倍数比较大，显微图像呈现的对应分辨率图像只能涉及切片的局部结构，不能显示切片的完整内容。
所以针对现有技术中目前的手持式设备生成的显微图像存在局部结构清晰度较低或切片结构不完整的技术问题，发明人在研究中发现，为了解决目前的手持式设备生成的显微图像存在局部结构清晰度较低或切片内容不完整的问题，可以将不同分辨率的切片整体图像相互融合，从而生成局部结构清晰度较高，同时还能查看切片的完整内容的显微图像。首先，获取多种分辨率的多个切片图像，然后将所有的切片图像按照分辨率进行分组，比如同一低分辨率的所有切片图像分为低分辨率图像集，同一高分辨率的所有切片图像分为高分辨率图像集，从而形成多个分辨率图像集。将每个分辨率图像集内的各个切片图像进行拼接后，生成该分辨率图像集的切片整体图像。最后，将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，得到目标分辨率图像。由于目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
发明人基于上述的创造性发现，提出了本申请的技术方案。
下面对本发明实施例提供的多分辨率图像融合方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为第二电子设备。本发明实施例提供的多分辨率图像融合方法对应的应用场景的网络架构中包括：第一电子设备1和第二电子设备2。第二电子设备2存储有多种分辨率的多个切片图像，比如存储的切片图像中，针对一个植物细胞的切片图像包括低分辨率的3个切片图像，中分辨率的5个切片图像以及高分辨率的10个切片图像。当需要对该植物细胞的切片图像进行融合处理时，首先，第一电子设备1从第二电子设备2中获取该植物细胞的切片图像的多种分辨率的多个切片图像。然后将所有的切片图像按照分辨率进行分组，比如同一低分辨率的3个切片图像分为低分辨率图像集，同一高分辨率的10个切片图像分为高分辨率图像集，从而形成多个分辨率图像集。将每个分辨率图像集内的各个切片图像进行拼接后，生成该分辨率图像集的切片整体图像。最后，将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成目标分辨率图像。生成的目标分辨率图像可以输出至其他设备以供研究人员进行研究。由于目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
下面结合说明书附图对本发明实施例进行介绍。
图2为本发明第一实施例提供的多分辨率图像融合方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为多分辨率图像融合装置，该多分辨率图像融合装置可以集成在电子设备中。则本实施例提供的多分辨率图像融合方法包括以下几个步骤：
步骤S101，获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集。
本实施例中，获取多种分辨率的多个切片图像的方式可以是从存储切片图像的数据库中获取、存储切片图像的电子设备处获取或拍摄切片的成像设备等中获取，本实施例对此不作限定。分辨率与放大倍数相对应，5倍、10倍、50倍放大倍数对应的切片图像的分辨率是不同的。
本实施例中，切片图像优选的是只包括切片结构区域的图像，由于显微成像时，周围四个角是黑的，而切片对应的切片结构区域位于图像的中间。在后续拼接时，只包括切片结构区域的切片图像拼接的效率更高。
本实施例中，分辨率图像集指同一分辨率的多个切片图像的合集，通过将多种分辨率的多个切片图像按照分辨率分成对应多个分辨率图像集可以为后续的切片图像拼接提供基础。
步骤S102，针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像。
本实施例中，由于同一分辨率的各个切片图像通常是对切片的某一部分进行的成像，在将分辨率图像集内的各个切片图像拼接后形成的对应分辨率切片整体图像才能反映出该分辨率下切片的整体内容。
步骤S103，将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。
本实施例中，由于不同分辨率的切片整体图像的清晰度是不同的，且不同的不同分辨率的切片整体图像大小也是不同的，在融合时，通过两两融合可以提高融合的效率。
本实施例中，由于目标分辨率图像是由多种分辨率的切片整体图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
本发明实施例提供的一种多分辨率图像融合方法，该方法包括：获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集。针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像。将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。本发明实施例的多分辨率图像融合方法，首先获取多种分辨率的多个切片图像，然后将所有的切片图像按照分辨率进行分组，比如同一低分辨率的所有切片图像分为低分辨率图像集，同一高分辨率的所有切片图像分为高分辨率图像集，从而形成多个分辨率图像集。将每个分辨率图像集内的各个切片图像进行拼接后，生成该分辨率图像集的切片整体图像。最后，将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，得到目标分辨率图像。由于目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
图3为本发明第二实施例提供的多分辨率图像融合方法的流程示意图，如图3所示，本实施例提供的多分辨率图像融合方法，是在本发明上一实施例提供的多分辨率图像融合方法的基础上，对其中的各个步骤的进一步细化。则本实施例提供的多分辨率图像融合方法包括以下步骤。
需要说明的是，步骤201-205是对步骤101的进一步细化。
步骤S201，获取多种分辨率的多个切片图像。
本实施例中，步骤201的实现方式与本发明上一实施例中的步骤101的实现方式类似，在此不再一一赘述。
步骤S202，对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像。
本实施例中，切片图像的关键点可以是切片图像中长条形状的两端以及中间位置的点，也可以是其他形状结构的多个点，本实施例对此不作限定。确定切片图像的关键点主要是用于确定后续切片图像与切片图像之间的匹配程度。互相匹配的两幅切片图像，切片图像的关键点相互对应。
本实施例中，分组基准图像是所有切片图像中随机选出的一幅切片图像，通过分组基准图像可以先确定以分组基准图像为基础的对应分辨率图像集。
步骤S203，根据分组基准图像的关键点和其他切片图像的关键点确定与分组基准图像匹配的匹配图像。
本实施例中，根据分组基准图像的关键点和其他切片图像的关键点确定与分组基准图像匹配的匹配图像的方式可以采用近似最近邻搜索或k-d树的方式，本实施例对此不作限定。
本实施例中，确定出的匹配图像可以以匹配矩阵的形式列举出来，匹配矩阵如下所示：
其中，M代表分组基准图像，11、n1、1n、nn代表匹配图像的编号，m11、m1n、mn1、mnn是匹配图像的关键点数量。通过记录与分组基准图像匹配的匹配图像以及匹配的关键点数量，可以在拼接时，优先处理关键点匹配数量较多的匹配图像。
步骤S204，根据分组基准图像的关键点和匹配图像的关键点确定分组基准图像与匹配图像之间的放大倍数之比。
本实施例中，根据分组基准图像的关键点和匹配图像的关键点可以确定分组基准图像与匹配图像之间的对应关系，从而确定分组基准图像与匹配图像之间的放大倍数之比。
可选的，本实施例中，根据分组基准图像的关键点和匹配图像的关键点确定分组基准图像与匹配图像之间的放大倍数之比，包括：
根据分组基准图像的关键点和匹配图像的关键点确定单应性矩阵。
同时，获取分组基准图像和匹配图像之间的图像大小比值，根据图像大小比值确定分组基准图像和匹配图像之间的成像参数比值。
根据单应性矩阵和成像参数比值确定分组基准图像和匹配图像之间的放大倍数之比。
本实施例中，由于每个切片图像的成像参数可以通过图像大小来近似体现，所以可以通过分组基准图像和匹配图像之间的图像大小比值来确定分组基准图像和匹配图像之间的成像参数比值。
为了更好的理解本实施例中确定放大倍数之比的过程，下面将以实际的推导过程进行具体说明。本实施例中，根据分组基准图像的关键点和匹配图像的关键点确定单应性矩阵，比如图像Ii与Ij之间的单应性矩阵Hij如下所示：
其中，R11-R33为矩阵参数。
同时，由于在显微成像过程中，基本上只存在平移和旋转两种运动，因此其单应性矩阵Hij具备以下特征：
R31≈R32≈0，R33＝1
其中，sij为两幅切片图像之间的尺度因子，θ为旋转角度，由此可得：
在显微成像过程中，图像尺度因子取决于获取两幅图像时的显微放大倍数之比mij和成像参数之比σij，即
sij＝mij×σij
当放大倍数相同时，成像的切片部位面积相同，图像中切片区域面积主要取决于成像参数σk，因此σk可以用切片区域面积之比的平方根或半径之比rj/ri进行描述，即
或σij＝rj/ri
其中，Sj为图像Ij的切片区域面积，Si为图像Ii的切片区域面积，rj为图像Ij的半径，ri为图像Ii的半径。
由此可得图像Ii与Ij之间的放大倍数之比：
mij＝sij/σij
由于图像尺度因子与单应性矩阵的参数有关，因而，放大倍数之比与单应性矩阵和成像参数之比相关。
步骤S205，根据放大倍数之比对分组基准图像和匹配图像进行分组，以生成对应多个分辨率图像集。
本实施例中，基于图像间的放大倍数之比，对于获取的图像集进行分组。对于图像Ii与Ij，如果
mij∈1±∈
其中，∈为误差，通常取∈＝0.1。则，图像Ii与Ij分为一个同一个分辨率图像集。
可选的，本实施例中，根据放大倍数之比对分组基准图像和匹配图像进行分组，包括：
若确定放大倍数之比在预设的阈值范围内，则将分组基准图像和匹配图像分成同一个分辨率图像集。
若确定放大倍数之比不在预设的阈值范围内，则将匹配图像确定为另外分辨率的分组基准图像，并执行根据分组基准图像的关键点和其他切片图像的关键点确定与分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
本实施例中，预设的阈值范围可以是以1为基准，0.1为误差的阈值范围，即阈值范围为0.9-1.1之间。放大倍数之比在预设的阈值范围中则代表分组基准图像和匹配图像之间的放大倍数是一样的，因此，两个图像之间的分辨率也是相同的。若放大倍数之比不在预设的阈值范围中则代表分组基准图像和匹配图像之间的放大倍数是不同的，因此，此时可以将该匹配图像确定为另一分辨率的分组基准图像，以该匹配图像为核心，构建另一个分辨率图像集，直至所有的切片图像都按照分辨率分至对应的分辨率图像集。最终形成的多个分辨率图像集，每个分辨率图像集中的各个切片图像都与对应分辨率图像集的分辨率相同。
同时，本实施例中，可以在分组基准图像的分辨率图像集形成以后，再根据该匹配图像作为另一分辨率的分组基准图像构建另一个分辨率图像集，从而可以减少另一分辨率的分组基准图像的匹配图像，提高生成各个分辨率对应分辨率图像集的效率。
需要说明的是，步骤206-209是对步骤102的进一步细化。
步骤S206，根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图。
本实施例中，总质量图是针对切片图像的一种质量评估，用于评估切片图像质量，由于切片图像的质量与切片图像中像素点的像素值息息相关，因此可以根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图。同时，总质量图可以从亮度、梯度、色差等来进行评估，本实施例对此不作限定。
可选的，本实施例中，根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图，包括：
将分辨率图像集内的每个切片图像的所有像素点的灰度值映射到预设范围的区间中，以生成灰度质量图。
将分辨率图像集内的每个切片图像的所有像素点的梯度变化映射到预设范围的区间中，以生成锐度质量图。
根据预设的计算公式确定每个切片图像的色差，将色差映射到预设范围的区间中，以生成颜色质量图。
计算每个切片图像中每个像素点与切片图像中心的距离，将距离映射到预设范围的区间中，以生成距离质量图。
按照预设的权值对同一幅切片图像的灰度质量图、锐度质量图、颜色质量图和距离质量图进行加权求和，生成对应的总质量图。
本实施例中，预设范围的区间可以是[0,1]的区间范围。
在基于亮度的图像质量评估过程中，考虑到亮度越高的区域图像质量越好，因此，可将灰度值单调递增映射到[0,1]范围内，得到灰度质量图fki，如下所示：
其中，Til、Tiu分别为低阈值与高阈值，Ik(i，j)为图像的像素点的灰度值，i，j代表像素点的坐标。
在基于图像锐度的评估过程中，考虑到图像像素值变化较大的区域保存更多细节，因此可通过对图像局部锐度实现对图像质量评估。在该过程中，对于每一幅图像Ik，首先采用sobel算子等边界检测方法计算梯度Gk，然后采用与灰度通道类似方法将其映射到[0,1]范围内，得到锐度质量图fke。
在基于色差的评估过程中，考虑到图像颜色丰富的区域通常质量较高，因此可通过图像色差实现对图像质量的评估。在该过程中，首先对图像Ik的色差Ck的进行计算。通常可用R通道和B通道与G通道之差表示，或用lab空间a通道和b通道表示，即：
Ck(i，j)＝αR|Rk(i，j)-Gk(i，j)|+αB|Bk(i，j)-Gk(i，j)|orCk(i，j
＝αaak(i，j)+αbbk(i，j)
其中Rk、Gk、Bk、ak、bk∈[0，1]分别代表了图像的R、G、B和a、b通道。基于色差Ck，采用与灰度通道类似方法将其映射到[0,1]范围内，得到颜色质量图fkc。
在基于距离的评估过程中，考虑到距切片中心的距离越小，图像质量越高，因此可通过距离实现对图像质量的评估。在该方法中，首先计算每个像素点与目标中心的距离，然后将该距离单调递减映射到[0,1]范围内，得到距离质量图fr。可采用如下映射：
其中，cx、cy是目标中心的x和y坐标，r为切片图像的近似半径。
综合上述各项因素，可通过设计加权函数实现对图像质量的综合评估，得到质量图fk。在具体实现过程中，可采用如下函数：
fk(i，j)＝(αi×fki(i，j)+αc×fkc(i，j)+αe×fke(i，j))×fkr(i，j)
其中αi、αc、αe分别为灰度质量图、锐度质量图和色差质量图的权值。
步骤S207，根据总质量图对每个切片图像中各个像素点进行质量评估。
本实施例中，由于总质量图是对每个切片图像的各个像素点的质量变化情况进行评估，一次可以根据总质量图对每个切片图像中各个像素点进行质量评估。
步骤S208，根据每个切片图像的关键点确定拼接时多幅切片图像之间的像素点交集，根据各个切片图像中各个像素点的质量评估结果确定各个切片图像的各个像素点在对应像素点交集中对应的权值。
本实施例中，多幅切片图像之间的像素点交集如图4所示，像素点交集中每个像素点的像素值都是由融合前的多幅切片图像中，对应的像素点像素值根据权值融合得到。
步骤S209，根据权值和各个切片图像像素点的像素值确定像素点交集中像素点的像素值，根据像素点交集中像素点的像素值拼接分辨率图像集内的各个切片图像，生成对应分辨率的切片整体图像。
本实施例中，在拼接时，可以是2个切片图像之间进行拼接，也可以是3个切片图像或更多切片图像之间进行拼接，本实施例对此不作限定。多个切片图像之间的像素点交集中的像素点在拼接过程中需要重新计算对应的像素值。像素点交集中的像素点像素值与各个切片图像像素点的像素值以及对应的权值有关。比如目前有切片图像A和切片图像B需要进行拼接，切片图像A像素点对应的权值是10，切片图像B对应的权值是20，则在拼接时，拼接后对应的像素点像素值为三分之一的切片图像A像素点像素值和三分之二的切片图像B像素点像素值之和。
需要说明的是，步骤210-213是对步骤103的进一步细化。
步骤S210，获取不同分辨率的两个切片整体图像以及两个切片整体图像之间的放大倍数之比。
本实施例中，在完成分辨率图像集中的各个切片图像的拼接后，生成对应分辨率的切片整体图像，因此，可以将不同分辨率的两个切片整体图像进行融合以生成最终的目标分辨率图像。
步骤S211，根据两个切片整体图像之间的放大倍数之比通过预设的采样算法确定低分辨率切片整体图像的上采样系数和高分辨率切片整体图像的下采样系数。
本实施例中，预设的采样算法为：
σuσd＝mi+1/mi
其中，σu为上采样系数，σd为下采样系数，mi+1为高分辨率切片整体图像，mi为低分辨率切片整体图像。同时，上采样系数和下采样系数可以根据实际情况进行对应设置，本实施例对此不作限定。
步骤S212，根据上采样系数对低分辨率的切片整体图像进行对应上采样。根据下采样系数对高分辨率的切片整体图像进行对应下采样。
本实施例中，由于低分辨率的切片整体图像和高分辨率的切片整体图像的图像大小是不一样的，因此，需要将对低分辨率的切片整体图像进行对应上采样以及对高分辨率的切片整体图像进行对应下采样。
步骤S213，将上采样后的低分辨率的切片整体图像和下采样后的高分辨率的切片整体图像进行融合，生成融合后的目标分辨率图像。
本实施例中，最终生成的目标分辨率图像如图5所示，融合后的目标分辨率图像在局部具有下采样后的高分辨率的切片整体图像对应的清晰度，同时，还具有较完整的切片整体图像。
本发明实施例提供的一种多分辨率图像融合方法，首先获取多种分辨率的多个切片图像，然后将所有的切片图像按照分辨率进行分组，比如同一低分辨率的所有切片图像分为低分辨率图像集，同一高分辨率的所有切片图像分为高分辨率图像集，从而形成多个分辨率图像集。具体的，可以对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像，同时，根据关键点确定与分组基准图像匹配的匹配图像，从而可以根据分组基准图像与匹配图像的放大倍数之比确定是否可以分到同一个分辨率图像集，从而可以按照该方式完成所有的分辨率图像集的生成。然后，将每个分辨率图像集内的各个切片图像根据每个切片图像的质量评估结果进行拼接后，生成该分辨率图像集的切片整体图像。最后，将不同分辨率的切片整体图像按照对低分辨率的切片整体图像进行对应上采样以及对高分辨率的切片整体图像进行对应下采样的方式后进行两两融合，得到目标分辨率图像。由于目标分辨率图像是由多种分辨率的多种切片图像融合得到，相比于单一低分辨率的显微图像清晰度更高，相比高分辨率的显微图像对应的切片内容更加完整。
图6为本发明第三实施例提供的多分辨率图像融合装置的结构示意图，如图6所示，本实施例中，该多分辨率图像融合装置300包括：
分组模块301，用于获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集。
拼接模块302，用于针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像。
融合模块303，用于将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像。
本实施例提供的多分辨率图像融合装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。
同时，本发明提供的多分辨率图像融合装置另一实施例在上一实施例提供的多分辨率图像融合装置的基础上，对多分辨率图像融合装置300进行了进一步的细化。
可选的，本实施例中，分组模块301在将所有切片图像按照分辨率进行分组时，具体用于：
对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像。根据分组基准图像的关键点和其他切片图像的关键点确定与分组基准图像匹配的匹配图像。根据分组基准图像的关键点和匹配图像的关键点确定分组基准图像与匹配图像之间的放大倍数之比。根据放大倍数之比对分组基准图像和匹配图像进行分组。
可选的，本实施例中，分组模块301在根据分组基准图像的关键点和匹配图像的关键点确定分组基准图像与匹配图像之间的放大倍数之比时，具体用于：
根据分组基准图像的关键点和匹配图像的关键点确定单应性矩阵。获取分组基准图像和匹配图像之间的图像大小比值，根据图像大小比值确定分组基准图像和匹配图像之间的成像参数比值。根据单应性矩阵和成像参数比值确定分组基准图像和匹配图像之间的放大倍数之比。
分组模块301在根据放大倍数之比对分组基准图像和匹配图像进行分组时，具体用于：若确定放大倍数之比在预设的阈值范围内，则将分组基准图像和匹配图像分成同一个分辨率图像集。若确定放大倍数之比不在预设的阈值范围内，则将匹配图像确定为另外分辨率的分组基准图像，并执行根据分组基准图像的关键点和其他切片图像的关键点确定与分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
可选的，本实施例中，拼接模块302在针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像时，具体用于：
根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图。根据总质量图对每个切片图像中各个像素点进行质量评估。根据每个切片图像的关键点确定拼接时多幅切片图像之间的像素点交集，根据各个切片图像中各个像素点的质量评估结果确定各个切片图像的各个像素点在对应像素点交集中对应的权值。根据权值和各个切片图像像素点的像素值确定像素点交集中像素点的像素值，根据像素点交集中像素点的像素值拼接分辨率图像集内的各个切片图像，生成对应分辨率的切片整体图像。
可选的，本实施例中，拼接模块302在根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图时，具体用于：
将分辨率图像集内的每个切片图像的所有像素点的灰度值映射到预设范围的区间中，以生成灰度质量图。将分辨率图像集内的每个切片图像的所有像素点的梯度变化映射到预设范围的区间中，以生成锐度质量图。根据预设的计算公式确定每个切片图像的色差，将色差映射到预设范围的区间中，以生成颜色质量图。计算每个切片图像中每个像素点与切片图像中心的距离，将距离映射到预设范围的区间中，以生成距离质量图。按照预设的权值对同一幅切片图像的灰度质量图、锐度质量图、颜色质量图和距离质量图进行加权求和，生成对应的总质量图。
可选的，本实施例中，融合模块303在将不同分辨率的切片整体图像根据预设的融合策略进行两两融合时，具体用于：
获取不同分辨率的两个切片整体图像以及两个切片整体图像之间的放大倍数之比。根据两个切片整体图像之间的放大倍数之比通过预设的采样算法确定低分辨率切片整体图像的上采样系数和高分辨率切片整体图像的下采样系数。根据上采样系数对低分辨率的切片整体图像进行对应上采样。根据下采样系数对高分辨率的切片整体图像进行对应下采样。将上采样后的低分辨率的切片整体图像和下采样后的高分辨率的切片整体图像进行融合。
本实施例提供的多分辨率图像融合装置可以执行图2-图5所示方法实施例的技术方案，其实现原理和技术效果与图2-图5所示方法实施例类似，在此不再一一赘述。
根据本发明的实施例，本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
如图7所示，图7是本发明第四实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，该电子设备包括：处理器401、存储器402。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
存储器402即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的多分辨率图像融合方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的多分辨率图像融合方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的多分辨率图像融合方法对应的程序指令/模块(例如，附图6所示的分组模块301，拼接模块302及融合模块303)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多分辨率图像融合方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

Claims (8)

1.一种多分辨率图像融合方法，其特征在于，包括：
获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；
针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；
将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像；
所述将所有切片图像按照分辨率进行分组，包括：
对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像；
根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像；
根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比；
根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组；
所述根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比，包括：
根据所述分组基准图像的关键点和所述匹配图像的关键点确定单应性矩阵；
获取所述分组基准图像和所述匹配图像之间的图像大小比值，根据所述图像大小比值确定所述分组基准图像和所述匹配图像之间的成像参数比值；
根据所述单应性矩阵和所述成像参数比值确定所述分组基准图像和所述匹配图像之间的放大倍数之比；
所述根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组，包括：
若确定所述放大倍数之比在预设的阈值范围内，则将所述分组基准图像和所述匹配图像分成同一个分辨率图像集；
若确定所述放大倍数之比不在预设的阈值范围内，则将所述匹配图像确定为另外分辨率的分组基准图像，并执行根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
2.根据权利要求1所述的方法，其特征在于，所述针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像，包括：
根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图；
根据所述总质量图对每个切片图像中各个像素点进行质量评估；
根据每个切片图像的关键点确定拼接时多幅切片图像之间的像素点交集，根据各个切片图像中各个像素点的质量评估结果确定各个切片图像的各个像素点在对应像素点交集中对应的权值；
根据所述权值和各个切片图像像素点的像素值确定所述像素点交集中像素点的像素值，根据像素点交集中像素点的像素值拼接分辨率图像集内的各个切片图像，生成对应分辨率的切片整体图像。
3.根据权利要求2所述的方法，其特征在于，所述根据分辨率图像集内的每个切片图像像素点的像素值确定每个切片图像对应的总质量图，包括：
将分辨率图像集内的每个切片图像的所有像素点的灰度值映射到预设范围的区间中，以生成灰度质量图；
将分辨率图像集内的每个切片图像的所有像素点的梯度变化映射到所述预设范围的区间中，以生成锐度质量图；
根据预设的计算公式确定每个切片图像的色差，将所述色差映射到所述预设范围的区间中，以生成颜色质量图；
计算每个切片图像中每个像素点与切片图像中心的距离，将所述距离映射到所述预设范围的区间中，以生成距离质量图；
按照预设的权值对同一幅切片图像的所述灰度质量图、锐度质量图、颜色质量图和距离质量图进行加权求和，生成对应的总质量图。
4.根据权利要求1所述的方法，其特征在于，所述将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，包括：
获取不同分辨率的两个切片整体图像以及两个切片整体图像之间的放大倍数之比；
根据两个切片整体图像之间的放大倍数之比通过预设的采样算法确定低分辨率切片整体图像的上采样系数和高分辨率切片整体图像的下采样系数；
根据所述上采样系数对所述低分辨率的切片整体图像进行对应上采样；根据所述下采样系数对所述高分辨率的切片整体图像进行对应下采样；
将上采样后的低分辨率的切片整体图像和下采样后的高分辨率的切片整体图像进行融合。
5.一种多分辨率图像融合装置，其特征在于，包括：
分组模块，用于获取多种分辨率的多个切片图像，并将所有切片图像按照分辨率进行分组，以生成对应多个分辨率图像集；
拼接模块，用于针对每个分辨率图像集内的各个切片图像进行拼接，生成对应分辨率的切片整体图像；
融合模块，用于将不同分辨率的切片整体图像根据预设的融合策略进行两两融合，生成融合后的目标分辨率图像；
所述分组模块在将所有切片图像按照分辨率进行分组时，具体用于：
对所有切片图像进行关键点检测，将所有切片图像中的其中一幅切片图像确定为分组基准图像；根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像；根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比；根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组；
所述分组模块在根据所述分组基准图像的关键点和匹配图像的关键点确定所述分组基准图像与所述匹配图像之间的放大倍数之比时，具体用于：
根据所述分组基准图像的关键点和所述匹配图像的关键点确定单应性矩阵；获取所述分组基准图像和所述匹配图像之间的图像大小比值，根据所述图像大小比值确定所述分组基准图像和所述匹配图像之间的成像参数比值；根据所述单应性矩阵和所述成像参数比值确定所述分组基准图像和所述匹配图像之间的放大倍数之比；
所述分组模块在根据所述放大倍数之比对所述分组基准图像和匹配图像进行分组时，具体用于：若确定所述放大倍数之比在预设的阈值范围内，则将所述分组基准图像和所述匹配图像分成同一个分辨率图像集；若确定所述放大倍数之比不在预设的阈值范围内，则将所述匹配图像确定为另外分辨率的分组基准图像，并执行根据所述分组基准图像的关键点和其他切片图像的关键点确定与所述分组基准图像匹配的匹配图像的步骤，以确定出每个分辨率图像集。
6.一种电子设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1至4任一项所述的多分辨率图像融合方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至4任一项所述的多分辨率图像融合方法。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-4任一项所述的多分辨率图像融合方法。
CN202110068890.XA 2021-01-19 2021-01-19 多分辨率图像融合方法、装置、设备、介质及产品 Active CN112862732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068890.XA CN112862732B (zh) 2021-01-19 2021-01-19 多分辨率图像融合方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068890.XA CN112862732B (zh) 2021-01-19 2021-01-19 多分辨率图像融合方法、装置、设备、介质及产品

Publications (2)

Publication Number Publication Date
CN112862732A CN112862732A (zh) 2021-05-28
CN112862732B true CN112862732B (zh) 2024-03-19

Family

ID=76007287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068890.XA Active CN112862732B (zh) 2021-01-19 2021-01-19 多分辨率图像融合方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN112862732B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154474A (zh) * 2017-12-22 2018-06-12 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及设备
WO2020082722A1 (zh) * 2018-10-24 2020-04-30 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN112233049A (zh) * 2020-12-14 2021-01-15 成都中轨轨道设备有限公司 一种用于提升图像清晰度的图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154474A (zh) * 2017-12-22 2018-06-12 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及设备
WO2020082722A1 (zh) * 2018-10-24 2020-04-30 清华-伯克利深圳学院筹备办公室 基于混合相机的视频成像方法、系统、设备及存储介质
CN112233049A (zh) * 2020-12-14 2021-01-15 成都中轨轨道设备有限公司 一种用于提升图像清晰度的图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于阵列相机的超分辨率重建方法;邹建成;郭志军;;北方工业大学学报;20171015(05);第10-16页 *

Also Published As

Publication number Publication date
CN112862732A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN108242063B (zh) 一种基于gpu加速的光场图像深度估计方法
CN110782424B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN108876716B (zh) 超分辨率重建方法及装置
CN110211195B (zh) 生成图像集合的方法、装置、电子设备和计算机可读存储介质
CN111340077A (zh) 基于注意力机制的视差图获取方法和装置
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115761258A (zh) 一种基于多尺度融合与注意力机制的图像方向预测方法
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
Gendy et al. Balanced spatial feature distillation and pyramid attention network for lightweight image super-resolution
Liu et al. Aerial image super-resolution based on deep recursive dense network for disaster area surveillance
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN114742750A (zh) 异常细胞检测方法、装置、终端设备及可读存储介质
WO2022008667A1 (en) Computer-implemented method, computer program product and system for processing images
CN112862732B (zh) 多分辨率图像融合方法、装置、设备、介质及产品
JP2015041293A (ja) 画像認識装置および画像認識方法
CN115619678A (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
CN115439328A (zh) 一种图像拼接方法、装置、电子设备及存储介质
CN113688928B (zh) 图像匹配方法、装置、电子设备和计算机可读介质
JP7485200B2 (ja) 画像拡張装置、制御方法、及びプログラム
CN112419146B (zh) 一种图像处理方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant