CN117274056A - 图像的重建方法、装置、存储介质及电子设备 - Google Patents

图像的重建方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN117274056A
CN117274056A CN202311220659.3A CN202311220659A CN117274056A CN 117274056 A CN117274056 A CN 117274056A CN 202311220659 A CN202311220659 A CN 202311220659A CN 117274056 A CN117274056 A CN 117274056A
Authority
CN
China
Prior art keywords
image
pixel
target
pixel position
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311220659.3A
Other languages
English (en)
Inventor
曾静
覃嫄媛
向明月
杨刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202311220659.3A priority Critical patent/CN117274056A/zh
Publication of CN117274056A publication Critical patent/CN117274056A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像的重建方法、装置、存储介质及电子设备。涉及金融科技领域或其他相关技术领域。其中，该方法包括：获取K帧第一图像；基于K帧第一图像中的目标图像，确定参考图像；基于参考图像和目标点扩散函数对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，其中，S为小于K的正整数，通过像素位置的M个方向上的梯度值确定的目标点扩散函数；基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，其中，目标分辨率高于第一图像的分辨率。本发明解决了相关技术中重建高分辨率图像时，图像边缘模糊程度高的技术问题。

Description

图像的重建方法、装置、存储介质及电子设备
技术领域
本发明涉及金融科技领域或其他相关技术领域，具体而言，涉及一种图像的重建方法、装置、存储介质及电子设备。
背景技术
图像分辨率是评价图像质量的重要指标，高分辨率图像往往蕴含更丰富的图像信息，但是在实际生活中，数字图像会受到采集设备、传输过程以及存储等影响，通常表现出低分辨率的形式。通过超分辨率技术可以对低分辨率图像进行重建可以增强图像视觉效果，还可以为后续目标检测、实例分割等高级视觉任务提供更好的支持。
在相关技术中，将低分辨率图像重建为高分辨率图像时，一般采用空间域的凸集投影算法(Projection onto convex sets，POCS)，该算法利用多帧低分辨率图像之间的冗余信息来获取高分辨率图像，但是，经典POCS算法重建出的HR(High Resolution，HR，高分辨率图像)图像边缘保持能力不足，因其使用高斯函数作为迭代过程中使用的点扩散函数，高斯型点扩散函数与高分辨率估计图像卷积生成模拟LR(Low Resolution，低分辨率图像，简称LR)灰度像素的过程中，位于边缘像素其邻域内有灰度值相差较大的非边缘像素对其干扰，导致边缘像素深色一侧的像素更深，浅色一侧的像素更浅。而且在校正像素灰度的过程中，没有考虑到图像主体对象与背景噪声之间的差异，而是采用对每个像素点进行同等程度的校正的方式进行校正，导致重建图像的边缘模糊。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的重建方法、装置、存储介质及电子设备，以至少解决相关技术中重建高分辨率图像时，图像边缘模糊程度高的技术问题。
根据本发明实施例的一个方面，提供了一种图像的重建方法，包括：响应于图像重建请求，获取K帧第一图像，其中，所述图像重建请求用于请求将K帧所述第一图像重建为目标分辨率的图像，所述目标分辨率高于每帧所述第一图像的分辨率，K为大于1的正整数；基于目标图像，确定参考图像，其中，所述目标图像包括：K帧所述第一图像中任意一帧所述第一图像，所述参考图像的分辨率高于该第一图像的分辨率；基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，其中，每个所述像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个所述像素位置关联的所述目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧所述第一图像为K帧所述第一图像中除所述目标图像之外的图像，S为小于K的正整数，K为正整数；基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到所述目标分辨率的图像，其中，每个所述像素位置关联的目标校正阈值不同。
进一步地，每个所述像素位置关联的所述目标点扩散函数通过以下方式得到：计算每个所述像素位置的M个方向上的梯度值，得到该像素位置的第一梯度集合，其中，所述第一梯度集合中至少包括：M个梯度值，M为正整数；基于每个所述像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数；基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的所述目标点扩散函数。
进一步地，基于每个所述像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数，包括：确定每个所述像素位置的第一梯度集合中的最大梯度值；基于每个像素位置每个方向上的梯度值和该像素位置的第一梯度集合中的最大梯度值，确定该像素位置每个方向上的分数阶积分的阶数；基于该像素位置每个方向上的分数阶积分的阶数，确定该像素位置M个方向上的分数阶积分的阶数。
进一步地，基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的所述目标点扩散函数，包括：基于每个所述像素位置的M个方向上的分数阶积分的阶数，确定初始点扩散函数；对每个所述像素位置的所述初始点扩散函数进行归一化处理，得到所述目标点扩散函数。
进一步地，每个所述像素位置关联的目标校正阈值通过以下方式得到：确定所述参考图像中每个所述像素位置N个方向的梯度值，得到该像素位置的第二梯度集合，其中，N为正整数；基于所述参考图像中所有像素位置关联的第二梯度集合，确定梯度图，其中，所述梯度图至少包括：所述参考图像中每个所述像素位置的目标梯度值，所述目标梯度值为该像素位置N个方向的梯度值中的最大梯度值；基于所述梯度图，确定所述参考图像中每个像素位置关联的目标校正阈值。
进一步地，基于所述参考图像中所有像素位置关联的第二梯度集合，确定梯度图，包括：将所述参考图像中每个所述像素位置关联的第二梯度集合中的最大梯度值作为该像素位置的所述目标梯度值；基于所述参考图像中每个所述像素位置的所述目标梯度值，确定所述梯度图。
进一步地，基于所述梯度图，确定所述参考图像中每个像素位置关联的目标校正阈值，包括：基于所述梯度图，确定所述参考图像的平均梯度值；基于所述平均梯度值和所述参考图像的每个像素位置的所述目标梯度值，确定所述参考图像的每个像素位置的梯度度量因子，其中，每个像素位置的梯度度量因子用于调整该像素位置的预设校正阈值；基于所述预设校正阈值和每个所述像素位置的梯度度量因子，确定该像素位置关联的目标校正阈值。
进一步地，基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，还包括：将每帧所述第一图像中的每个像素位置映射到所述参考图像中，得到映射图像；通过目标点散函数对所述映射图像中的每个所述像素位置进行处理，得到每个所述像素位置的所述模拟像素灰度。
进一步地，基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到目标分辨率的图像，包括：基于每个所述像素位置的所述模拟像素灰度和该像素位置的实际像素灰度，计算该像素位置的残差值；基于所述像素位置的残差值，分析该像素位置的像素状态，得到像素分析结果，其中，所述像素分析结果用于确定该像素位置的像素是否需要修正；在某一所述像素位置的像素分析结果指示像素需要修正的情况下，基于该像素位置关联的目标校正阈值，对该像素位置的像素进行修正，得到所述目标分辨率的图像。
进一步地，通过目标算法对所述目标图像的分辨率进行增强处理，得到所述参考图像，其中，所述目标算法包括：双线性插值算法。
根据本发明实施例的另一方面，还提供了一种图像的重建装置，包括：获取单元，用于响应于图像重建请求，获取K帧第一图像，其中，所述图像重建请求用于请求将K帧所述第一图像重建为目标分辨率的图像，所述目标分辨率高于每帧所述第一图像的分辨率，K为大于1的正整数；确定单元，用于基于目标图像，确定参考图像，其中，所述目标图像包括：K帧所述第一图像中任意一帧所述第一图像，所述参考图像的分辨率高于该第一图像的分辨率；处理单元，用于基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，其中，每个所述像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个所述像素位置关联的所述目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧所述第一图像为K帧所述第一图像中除所述目标图像之外的图像，S为小于K的正整数，K为正整数；修正单元，用于基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到所述目标分辨率的图像，其中，每个所述像素位置关联的目标校正阈值不同。
进一步地，每个所述像素位置关联的所述目标点扩散函数通过以下子单元得到：梯度计算子单元，用于计算每个所述像素位置的M个方向上的梯度值，得到该像素位置的第一梯度集合，其中，所述第一梯度集合中至少包括：M个梯度值，M为正整数；阶数确定子单元，用于基于每个所述像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数；函数确定子单元，用于基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的所述目标点扩散函数。
进一步地，阶数确定子单元包括：提取值确定模块，用于确定每个所述像素位置的第一梯度集合中的最大梯度值；第一阶数确定模块，用于基于每个像素位置每个方向上的梯度值和该像素位置的第一梯度集合中的最大梯度值，确定该像素位置每个方向上的分数阶积分的阶数；第二阶数确定模块，用于基于该像素位置每个方向上的分数阶积分的阶数，确定该像素位置M个方向上的分数阶积分的阶数。
进一步地，函数确定子单元包括：函数确定模块，用于基于每个所述像素位置的M个方向上的分数阶积分的阶数，确定初始点扩散函数；归一化模块，用于对每个所述像素位置的所述初始点扩散函数进行归一化处理，得到所述目标点扩散函数。
进一步地，每个所述像素位置关联的目标校正阈值通过以下子单元得到：梯度集合确定模块，用于确定所述参考图像中每个所述像素位置N个方向的梯度值，得到该像素位置的第二梯度集合，其中，N为正整数；梯度图确定模块，用于基于所述参考图像中所有像素位置关联的第二梯度集合，确定梯度图，其中，所述梯度图至少包括：所述参考图像中每个所述像素位置的目标梯度值，所述目标梯度值为该像素位置N个方向的梯度值中的最大梯度值；阈值确定模块，用于基于所述梯度图，确定所述参考图像中每个像素位置关联的目标校正阈值。
进一步地，梯度图确定模块包括：处理子模块，用于将所述参考图像中每个所述像素位置关联的第二梯度集合中的最大梯度值作为该像素位置的所述目标梯度值；梯度图确定子模块，用于基于所述参考图像中每个所述像素位置的所述目标梯度值，确定所述梯度图。
进一步地，阈值确定模块包括：第一确定子模块，用于基于所述梯度图，确定所述参考图像的平均梯度值；第二确定子模块，用于基于所述平均梯度值和所述参考图像的每个像素位置的所述目标梯度值，确定所述参考图像的每个像素位置的梯度度量因子，其中，每个像素位置的梯度度量因子用于调整该像素位置的预设校正阈值；第三确定子模块，用于基于所述预设校正阈值和每个所述像素位置的梯度度量因子，确定该像素位置关联的目标校正阈值。
进一步地，处理单元包括：映射子单元，用于将每帧所述第一图像中的每个像素位置映射到所述参考图像中，得到映射图像；处理子单元，用于通过目标点散函数对所述映射图像中的每个所述像素位置进行处理，得到每个所述像素位置的所述模拟像素灰度。
进一步地，修正单元包括：残差计算子单元，用于基于每个所述像素位置的所述模拟像素灰度和该像素位置的实际像素灰度，计算该像素位置的残差值；分析子单元，用于基于所述像素位置的残差值，分析该像素位置的像素状态，得到像素分析结果，其中，所述像素分析结果用于确定该像素位置的像素是否需要修正；修正子单元，用于在某一所述像素位置的像素分析结果指示像素需要修正的情况下，基于该像素位置关联的目标校正阈值，对该像素位置的像素进行修正，得到所述目标分辨率的图像。
进一步地，确定单元包括：通过目标算法对所述目标图像的分辨率进行增强处理，得到所述参考图像，其中，所述目标算法包括：双线性插值算法。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的图像的重建方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的图像的重建方法。
在本发明中，响应于图像重建请求，获取K帧第一图像，其中，图像重建请求用于请求将K帧第一图像重建为目标分辨率的图像，目标分辨率高于每帧第一图像的分辨率，K为大于1的正整数；基于目标图像，确定参考图像，其中，目标图像包括：K帧第一图像中任意一帧第一图像，参考图像的分辨率高于该第一图像的分辨率；基于参考图像和目标点扩散函数，对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，其中，每个像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个像素位置关联的目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧第一图像为K帧第一图像中除目标图像之外的图像，S为小于K的正整数，K为正整数；基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，其中，每个像素位置关联的目标校正阈值不同。进而解决了相关技术中重建高分辨率图像时，图像边缘模糊程度高的技术问题。在本发明中，在不同像素位置，依据该像素位置的梯度值确定的目标点扩散函数确定是否需要进行像素修正，根据不同像素位置对应的不同校正阈值对需要修正的像素进行修正，避免了相关技术中重建高分辨率的图像时，图像边缘模糊程度高的情况，从而实现了提高重建的高分辨率图像的清晰度的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的图像的重建方法的流程图；
图2是根据本发明实施例的一种可选的图像的重建装置的示意图；
图3是根据本发明实施例的一种电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
为了便于描述，下面对本申请各实施例涉及的部分术语或名词进行解释：
分数阶微积分：即将微积分的阶数从整数扩展到实域中，将分数阶理论作用于离散的图像信号中，Grumwald-Letnikov(G-L)定义的分数阶微积分离散形式表示为：
其中G表示G-L定义的分数阶微积分表达式，a和t分别是表达式的上下界，v是分数阶微积分的阶数，b表示从0到(t-a)的取值，n为正整数，每一项前面的系数分别为1，-v，而伽马函数Γ(n)是阶乘函数在实数域上的扩展：Γ(n)＝nΓ(n-1)。v为负数表示分数阶积分，v为正数表示分数阶微分。
超分辨率(Super-Resolution)重建：利用多幅低分辨率序列图像之间存在的亚像素运动，通过对亚像素运动的估计、去模糊，最后利用自适应插值修正算法重建出图像质量更好、空间分辨率更高的图像。
实施例一
根据本发明实施例，提供了一种可选的图像的重建方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的图像的重建方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，响应于图像重建请求，获取K帧第一图像，其中，图像重建请求用于请求将K帧第一图像重建为目标分辨率的图像，目标分辨率高于每帧第一图像的分辨率，K为大于1的正整数。
上述的K帧第一图像可以包括：LR图像，图像重建请求可以用于请求将K帧LR图像(对应于第一图像)重建为HR图像(对应于目标分辨率的图像)。
步骤S102，基于目标图像，确定参考图像，其中，目标图像包括：K帧第一图像中任意一帧第一图像，参考图像的分辨率高于该第一图像的分辨率。
在本实施例中，可以对K帧第一图像中的任意一帧第一图像(对应于目标图像)的图像分辨率进行增强处理，得到参考帧图像(对应于参考图像)。
步骤S103，基于参考图像和目标点扩散函数，对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，其中，每个像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个像素位置关联的目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧第一图像为K帧第一图像中除目标图像之外的图像，S为小于K的正整数，K为正整数。
在本实施例中，可以将K帧第一图像中除目标图像之外的K-1帧(即S帧)第一图像的每个像素位置映射到参考图像中，然后通过目标点散函数对映射到参考图像中的每个像素位置进行处理，估计该像素位置的模拟低分辨率像素灰度(对应于模拟像素灰度)，该模拟像素灰度可以用于确定映射到参考图像中的每个像素位置的像素是否需要修正。
为了避免相关技术中在重建高分辨率图像过程中使用高斯型点扩散函数容易导致的边缘振铃、模糊等现象，本实施例中，在计算每个像素位置的模拟像素灰度使用的目标点扩散函数，通过该像素位置的多个方向上的梯度确定目标点扩散函数。
步骤S104，基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，其中，每个像素位置关联的目标校正阈值不同。
为了避免相关技术重建高分辨率图像过程中使用常量校正阈值容易带来的边缘模糊问题，在本实施例中，目标校正阈值可以为可变校正阈值，即，本实施例中，可以根据每个像素点(对应像素位置)根据梯度值的不同使用不同校正阈值，使边缘像素的校正程度更大，以得到更加锐利的边缘结构，而对于平滑区域则设置较大的阈值，避免因过度校正带来的噪声影响。
在本实施例中，可以通过模拟像素灰度确定映射到参考图像中的像素位置的像素是否需要修正，若需要修正可以基于该像素位置关联的目标校正阈值对该像素位置的像素进行修正，以得到目标分辨率的图像。
通过上述步骤，在本实施例中，在不同像素位置，依据该像素位置的梯度值确定的目标点扩散函数确定是否需要进行像素修正，根据不同像素位置对应的不同校正阈值对需要修正的像素进行修正，避免了相关技术中重建高分辨率的图像时，图像边缘模糊程度高的情况，从而实现了提高重建的高分辨率图像的清晰度的技术效果。进而解决了相关技术中重建高分辨率图像时，图像边缘模糊程度高的技术问题。
可选地，每个像素位置关联的目标点扩散函数通过以下方式得到：计算每个像素位置的M个方向上的梯度值，得到该像素位置的第一梯度集合，其中，第一梯度集合中至少包括：M个梯度值，M为正整数；基于每个像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数；基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的目标点扩散函数。
在本实施中，可以首先计算每个像素位置M个方向上的梯度，然后根据各方向上梯度大小的不同，对分数阶积分掩模的每个方向自适应地设置不同的阶数(对应于分数阶积分的阶数)，使点扩散函数在边缘正交方向上的系数最小，最后对点扩散函数进行归一化处理，得到目标点扩散函数。
具体地，可以根据图像的预设邻域(例如：5×5邻域)内不同方向上的梯度幅度，对不同方向上的分数阶积分掩模取不同的阶数，得到自适应的各向异性分数阶积分点扩散函数(对应于目标点扩散函数)，使POCS(Projection onto convex sets，空间域的凸集投影算法，简称POCS)算法在迭代修正像素灰度的过程中，高分辨率图像模拟降质过程受边缘正交方向的影响较小，得到的低分辨率模拟图像更接近真实的低分辨率观测图像的灰度值，以此来保证图像边缘像素附近灰度值的明暗，减少边缘振铃效应。
例如：像素(m1,m2)位置上先计算指定领域(例如：5×5邻域)内M个方向的梯度大小，其中，M为正整数，一种可选的方式中M可以为8。
下面以计算像素(m1,m2)位置上5×5邻域内8个方向的梯度大小，以确定该像素位置关联的目标点扩散函数进行举例说明：
计算像素(m1,m2)位置上0°，45°，90°，135°，180°，225°，270°，315°方向上的梯度gi(i＝1，2，...，8)，其中，f(m1,m2)表示图像的像素位置(m1,m2)的像素的离散表达，可以为像素位置(m1,m2)的像素灰度：
g1＝||2f(m1,m2)-f(m1,m2+1)-f(m1,m2+2)||
g2＝||2f(m1,m2)-f(m1-1,m2+1)-f(m1-2,m2+2)||
g3＝||2f(m1,m2)-f(m1-1,m2)-f(m1-2,m2)||
g4＝||2f(m1,m2)-f(m1-1,m2-1)-f(m1-2,m2-2)||
g5＝||2f(m1,m2)-f(m1,m2-1)-f(m1,m2-2)||
g6＝||2f(m1,m2)-f(m1+1,m2-1)-f(m1+2,m2-2)||
g7＝||2f(m1,m2)-f(m1+1,m2)-f(m1+2,m2)||
g8＝||2f(m1,m2)-f(m1+1,m2+1)-f(m1+2,m2+2)||
然后可以由计算出的梯度gi(i＝1，2，...，8)组成该像素位置的第一梯度集合，根据第一梯度集合中的梯度gi(i＝1，2，...，8)可以确定8个方向上不同的阶数，基于每个像素位置的8个方向上的分数阶积分的阶数，可以得到该像素位置核大小为5×5的各向异性分数阶积分PSF(Point Spread Function，点扩散函数，简称PSF)，通过对各向异性分数阶积分PSF的分数阶积分算子进行归一化，可以得到该像素位置关联的目标点扩散函数，实现了提高目标点扩散函数的精准度的技术效果。
可选地，基于每个像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数，包括：确定每个像素位置的第一梯度集合中的最大梯度值；基于每个像素位置每个方向上的梯度值和该像素位置的第一梯度集合中的最大梯度值，确定该像素位置每个方向上的分数阶积分的阶数；基于该像素位置每个方向上的分数阶积分的阶数，确定该像素位置M个方向上的分数阶积分的阶数。
由于PSF沿边缘方向上的系数更大，边缘正交方向上的系数更小。因为沿图像边缘方向上的梯度更小，边缘正交方向上的梯度更大，所以PSF系数与梯度大小成反比关系。因此，在本实施例中，可以基于每个像素位置的第一梯度集合确定该像素位置的最大梯度值gmax，参考不同方向的梯度，构造相应方向上的分数阶积分的阶数为：
通过构造不同方向上述的分数阶积分的阶数，实现了提高每个像素位置关联的目标点扩散函数的精准度的技术效果。
可选地，基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的目标点扩散函数，包括：基于每个像素位置的M个方向上的分数阶积分的阶数，确定初始点扩散函数；对每个像素位置的初始点扩散函数进行归一化处理，得到目标点扩散函数。
本实施例中，目标点扩散函数可以使用5×5的分数阶积分算子，然后v用正数表示，省略系数前的负号，则5×5的各向同性分数阶积分算子表示为：
以M为8为例，基于每个像素位置的8个方向上的分数阶积分的阶数，可以得到核大小为5×5的各向异性分数阶积分PSF(对应于初始点扩散函数)：
最后对h(m1,m2；n1,n2)进行归一化处理得到最终的PSF函数(对应于目标点扩散函数)用于POCS重建算法中，改善重建的高分辨率图像的边缘质量，其中/>是归一化系数，避免了相关技术中POCS重建算法使用高斯型点扩散函数容易导致的边缘振铃、模糊等现象。
可选地，每个像素位置关联的目标校正阈值通过以下方式得到：确定参考图像中每个像素位置N个方向的梯度值，得到该像素位置的第二梯度集合，其中，N为正整数；基于参考图像中所有像素位置关联的第二梯度集合，确定梯度图，其中，梯度图至少包括：参考图像中每个像素位置的目标梯度值，目标梯度值为该像素位置N个方向的梯度值中的最大梯度值；基于梯度图，确定参考图像中每个像素位置关联的目标校正阈值。
由于相关技术中POCS算法中使用常数校正阈值，忽略了图像高频细节与低频成分之间的差异，对每个像素点采取相同的校正处理，得到的高分辨率重建图像会有比较模糊的图像边缘，信噪比较低。而如果校正阈值δ较大，表示像素点接受较大的误差，那么在修正过程中大部分像素会被忽略掉，最终只有较少的像素可以得到修正；相反，如果δ的值较小，表示图像内所有的像素都只接受一个较小的误差，那么图像内较多的像素点残差在这个误差范围外都将得被修正，导致图像平缓区域被过度校正引入额外噪声，甚至在一定程度上影响重建图像的视觉效果。因此，本实施例中的目标校正阈值设置为可变校正阈值，根据图像特征对不同的像素点进行不同程度的校正，在图像边缘和平滑区域由不同的校正阈值对像素灰度进行不同误差范围内的修正，提高图像边缘的清晰度。
由于图像梯度值大小可以用于区分图像边缘和平滑像素，因此，本实施例根据像素点的不同梯度值将δ设置为不同大小，达到自适应增强图像边缘的目的。下面以计算每个像素位置(或像素点)的4个方向上的梯度值，以确定目标校正阈值进行举例说明：
对图像中任一像素点的梯度计算方式，可以计算该像素点4个方向的梯度值，然后取绝对值最大的一个梯度值作为改像素点的梯度，即g＝max{g1,g2,g3,g4}，对图像中任一像素点使用如下的梯度计算公式：
在计算出整幅图像(对应于参考图像)所有像素点的梯度值后，可以将整幅图像(对应于参考图像)所有像素点的梯度值保存为梯度图G。基于梯度图中的梯度值，计算得到整幅图像的平均梯度AG，最后根据平均梯度和像素位置的梯度值构造梯度度量因子，可以通过梯度度量因子，可以将预设校正阈值常数δ的值从常数变为自适应的目标校正阈值，基于该目标校正阈值可以根据图像特征对不同的像素点进行不同程度的校正，在图像边缘和平滑区域由不同的校正阈值δ对像素灰度进行不同误差范围内的修正，实现了提高图像边缘的修正精准度的技术效果。
在本实施例中，通过目标校正阈值，根据图像的局部梯度，对图像边缘细节像素和平滑区域设置不同大小的校正阈值，进行不同程度上的校正，避免引入不必要噪声的同时更好地保留图像边缘细节信息。
可选地，基于参考图像中所有像素位置关联的第二梯度集合，确定梯度图，包括：将参考图像中每个像素位置关联的第二梯度集合中的最大梯度值作为该像素位置的目标梯度值；基于参考图像中每个像素位置的目标梯度值，确定梯度图。
在本实施例中，可以取第二梯度集合中绝对值最大的一个梯度值作为该像素点(对应于像素位置)的梯度，即g＝max{g1,g2,g3,g4}(对应于目标梯度值)，将整幅图像所有像素点的梯度值，保存为梯度图G，实现了提高目标校正阈值的精准度的技术效果。
可选地，基于梯度图，确定参考图像中每个像素位置关联的目标校正阈值，包括：基于梯度图，确定参考图像的平均梯度值；基于平均梯度值和参考图像的每个像素位置的目标梯度值，确定参考图像的每个像素位置的梯度度量因子，其中，每个像素位置的梯度度量因子用于调整该像素位置的预设校正阈值；基于预设校正阈值和每个像素位置的梯度度量因子，确定该像素位置关联的目标校正阈值。
本实施例中，可以根据每个像素点梯度值保存的梯度图，计算得到整幅图像(对应于参考图像)的平均梯度AG：
其中，M表示梯度图中目标梯度值的总行数，N表示梯度图中目标梯度值的总列数，G(i,j)表示像素位置(i,j)处的目标梯度值，i表示行数，j表示列数。
最后根据平均梯度和像素位置的目标梯度值构造梯度度量因子：
由图像特征可知，在图像边缘像素处，梯度G(i,j)的值越大，度量因子λ(i,j)的值也就越大，而在边缘处应该进行更加精确的校正，因此，在本实施例中，结合预设校正阈值对应的常数δ和λ(i,j)，将δ的值从常数δ0变为自适应的δ，得到改进的校正阈值(对应于目标校正阈值)如下：
δ＝δ0/λ(i,j)
根据像素位置的梯度的不同，设置自适应的校正阈值，实现了提高重建的高分辨率图像的边缘清晰度的技术效果。
可选地，基于参考图像和目标点扩散函数，对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，还包括：将每帧第一图像中的每个像素位置映射到参考图像中，得到映射图像；通过目标点散函数对映射图像中的每个像素位置进行处理，得到每个像素位置的模拟像素灰度。
在本实施例中，可以逐帧对低分辨率图像序列进行运动估计得到每帧图像与参考帧图像之间的位移参数，将低分辨率图像映射到高分辨率图像中，找到LR像素与HR图像对应的PSF(Point Spread Function，点扩散函数)支撑域。
可以基于K帧图像中除目标图像之外的剩下K-1帧低分辨率图像(对应于S帧第一图像)与参考帧(对应于参考图像)作运动估计得到运动参数，剩下K-1帧低分辨率图像与参考帧作运动估计得到运动参数的公式如下：
Ti＝Registration(LRi,ref)，0≤i≤K-1
然后根据运动参数对每帧低分辨率图像逐像素映射到参考帧ref，即：
(x,y)＝Ti(xi,yi)
其中，(xi,yi)表示第i帧第一图像的某一像素位置，(x,y)表示(xi,yi)映射到参考图像中的像素位置。
对映射到的高分辨率像素位置(对应于参考图像的像素位置)，应用改进后自适应分数阶积分掩模(对应于目标点扩散函数)，估计该位置的模拟低分辨率像素灰度(对应于模拟像素灰度)，计算公式如下：
g(xi,yi)＝h'(xi,yi；x,y)*ref(x,y)
通过目标点散函数对映射图像中的每个像素位置进行处理，得到每个像素位置的模拟像素灰度，实现了提高模型像素灰度的精准度的技术效果。
可选地，基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，包括：基于每个像素位置的模拟像素灰度和该像素位置的实际像素灰度，计算该像素位置的残差值；基于像素位置的残差值，分析该像素位置的像素状态，得到像素分析结果，其中，像素分析结果用于确定该像素位置的像素是否需要修正；在某一像素位置的像素分析结果指示像素需要修正的情况下，基于该像素位置关联的目标校正阈值，对该像素位置的像素进行修正，得到目标分辨率的图像。
在本实施中，可以计算每个像素位置的模拟低分辨率像素灰度与真实低分辨率像素灰度之间的残差值，残差值计算公式如下：
ri＝LRi(xi,yi)-g(xi,yi)
其中，ri表示第i帧第一图像映射到参考图像中的像素位置的残差值。
在本实施例中，可以通过判断残差值是否在数据一致性约束凸集合内，确定该残差值对应的像素位置的像素是否需要校正，一种可选的方式数据一致性约束凸集合计算公式可以为：
CR＝{f(x,y):|rf(m1,m2)|＜δ}
＝{f(x,y):|rf(m1,m2)|＜δ0/λ(x,y)}
其中，rf(m1,m2)表示像素位置(m1,m2)的残差值，根据残差判断该像素点是否需要修正，然后可以使用改进后的可变阈值δ＝δ0/λ(i,j)(对应于目标校正阈值)对像素进行修正，修正公式为：
通过改进后的可变校正阈值，确保边缘像素处的阈值较小，从而更精确地修正边缘像素；而平滑区域的校正阈值较大，避免引入不必要的噪声对图像质量造成影响，校正完每帧低分辨率图像的每个像素点，就返回refk+1，输出一帧重建后的高分辨率图像。实现了提高重建得到目标分辨率图像的图像质量的技术效果。
可选地，通过目标算法对目标图像的分辨率进行增强处理，得到参考图像，其中，目标算法包括：双线性插值算法。
在本实施例中，可以通过双线性插值算法增加从k帧LR图像中选择一帧图像img_LR(对应于目标图像)的分辨率，得到高分辨率图像参考帧ref(对应于参考图像)：ref＝interp_bilinear(img_LR)，基于该参考图像可以提高重建的目标分辨率的图像的清晰度。
在一种可选的方式中，还可以建立HR(High Resolution，HR，高分辨率图像)图像与LR(Low Resolution，LR，低分辨率图像)观测帧(即参考图像)之间的离散表达式：
其中yk(n1,n2)表示第k帧LR图像，f(m1,m2)是原始HR图像的离散表达，hk(n1,n2:m1,m2)表示成像系统的点扩散函数(Point Spread Function，PSF)，ηk(n1,n2)是加性噪声。
在本实施例中，针对高斯型点扩散函数导致的边缘振铃、模糊等现象，采用各向异性的分数阶积分掩模算子作为迭代过程中的点扩散函数。首先计算每个像素八个方向上的梯度，然后根据各方向上梯度大小的不同，对分数阶积分掩模的每个方向自适应地设置不同的阶数，使点扩散函数在边缘正交方向上的系数最小，最后对点扩散函数进行归一化处理，提高重建图像的质量，避免了相关技术中只考虑像素与邻域之间的距离关系，导致重建之后的高分辨率图像在边缘像素位置出现深色像素颜色更深，浅色像素颜色更浅的情况。因为边缘处位于暗处的像素，在修正时其PSF函数的作用范围内有亮处的浅色像素灰度值影响，导致其预估的低分辨率灰度值比观测到的像素灰度更大，根据残差进行校正时，会将高分辨率图像像素灰度值变小，导致暗处的像素更暗等情况。
针对常量校正阈值带来的重建高分辨率图像边缘模糊问题，本实施例中提出可变校正阈值，根据图像的局部梯度，对图像边缘细节像素和平滑区域设置不同大小的校正阈值，进行不同程度上的校正，避免引入不必要噪声的同时更好地保留图像边缘细节信息，使边缘像素的校正程度更大，得到更加锐利的边缘结构，而对于平滑区域则设置较大的阈值，避免因过度校正带来的噪声影响，减少图像边缘振铃效应。
实施例二
本申请实施例二提供了一种可选的图像的重建装置，该重建装置中的各个实施例单元对应于实施例一中的各个实施步骤。
图2是根据本发明实施例的一种可选的图像的重建装置的示意图，如图2所示，该重建装置包括：获取单元21、确定单元22、处理单元23以及修正单元24。
获取单元21，用于响应于图像重建请求，获取K帧第一图像，其中，图像重建请求用于请求将K帧第一图像重建为目标分辨率的图像，目标分辨率高于每帧第一图像的分辨率，K为大于1的正整数；
确定单元22，用于基于目标图像，确定参考图像，其中，目标图像包括：K帧第一图像中任意一帧第一图像，参考图像的分辨率高于该第一图像的分辨率；
处理单元23，用于基于参考图像和目标点扩散函数，对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，其中，每个像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个像素位置关联的目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧第一图像为K帧第一图像中除目标图像之外的图像，S为小于K的正整数，K为正整数；
修正单元24，用于基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，其中，每个像素位置关联的目标校正阈值不同。
在本申请实施例二提供的图像的重建装置中，可以通过获取单元21响应于图像重建请求，获取K帧第一图像，其中，图像重建请求用于请求将K帧第一图像重建为目标分辨率的图像，目标分辨率高于每帧第一图像的分辨率，K为大于1的正整数，可以通过确定单元22基于目标图像，确定参考图像，其中，目标图像包括：K帧第一图像中任意一帧第一图像，参考图像的分辨率高于该第一图像的分辨率，通过处理单元23基于参考图像和目标点扩散函数，对S帧第一图像中每帧第一图像中每个像素位置的像素进行处理，得到每个像素位置的模拟像素灰度，其中，每个像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个像素位置关联的目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧第一图像为K帧第一图像中除目标图像之外的图像，S为小于K的正整数，K为正整数，通过修正单元24基于目标校正阈值和每个像素位置的模拟像素灰度，对每个像素位置的像素进行修正，得到目标分辨率的图像，其中，每个像素位置关联的目标校正阈值不同。进而解决了相关技术中重建高分辨率图像时，图像边缘模糊程度高的技术问题。在本实施例中，在不同像素位置，依据该像素位置的梯度值确定的目标点扩散函数确定是否需要进行像素修正，根据不同像素位置对应的不同校正阈值对需要修正的像素进行修正，避免了相关技术中重建高分辨率的图像时，图像边缘模糊程度高的情况，从而实现了提高重建的高分辨率图像的清晰度的技术效果。
可选地，在本申请实施例二提供的图像的重建装置中，每个像素位置关联的目标点扩散函数通过以下子单元得到：梯度计算子单元，用于计算每个像素位置的M个方向上的梯度值，得到该像素位置的第一梯度集合，其中，第一梯度集合中至少包括：M个梯度值，M为正整数；阶数确定子单元，用于基于每个像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数；函数确定子单元，用于基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的目标点扩散函数。
可选地，在本申请实施例二提供的图像的重建装置中，阶数确定子单元包括：提取值确定模块，用于确定每个像素位置的第一梯度集合中的最大梯度值；第一阶数确定模块，用于基于每个像素位置每个方向上的梯度值和该像素位置的第一梯度集合中的最大梯度值，确定该像素位置每个方向上的分数阶积分的阶数；第二阶数确定模块，用于基于该像素位置每个方向上的分数阶积分的阶数，确定该像素位置M个方向上的分数阶积分的阶数。
可选地，在本申请实施例二提供的图像的重建装置中，函数确定子单元包括：函数确定模块，用于基于每个像素位置的M个方向上的分数阶积分的阶数，确定初始点扩散函数；归一化模块，用于对每个像素位置的初始点扩散函数进行归一化处理，得到目标点扩散函数。
可选地，在本申请实施例二提供的图像的重建装置中，每个像素位置关联的目标校正阈值通过以下子单元得到：梯度集合确定模块，用于确定参考图像中每个像素位置N个方向的梯度值，得到该像素位置的第二梯度集合，其中，N为正整数；梯度图确定模块，用于基于参考图像中所有像素位置关联的第二梯度集合，确定梯度图，其中，梯度图至少包括：参考图像中每个像素位置的目标梯度值，目标梯度值为该像素位置N个方向的梯度值中的最大梯度值；阈值确定模块，用于基于梯度图，确定参考图像中每个像素位置关联的目标校正阈值。
可选地，在本申请实施例二提供的图像的重建装置中，梯度图确定模块包括：处理子模块，用于将参考图像中每个像素位置关联的第二梯度集合中的最大梯度值作为该像素位置的目标梯度值；梯度图确定子模块，用于基于参考图像中每个像素位置的目标梯度值，确定梯度图。
可选地，在本申请实施例二提供的图像的重建装置中，阈值确定模块包括：第一确定子模块，用于基于梯度图，确定参考图像的平均梯度值；第二确定子模块，用于基于平均梯度值和参考图像的每个像素位置的目标梯度值，确定参考图像的每个像素位置的梯度度量因子，其中，每个像素位置的梯度度量因子用于调整该像素位置的预设校正阈值；第三确定子模块，用于基于预设校正阈值和每个像素位置的梯度度量因子，确定该像素位置关联的目标校正阈值。
可选地，在本申请实施例二提供的图像的重建装置中，处理单元包括：映射子单元，用于将每帧第一图像中的每个像素位置映射到参考图像中，得到映射图像；处理子单元，用于通过目标点散函数对映射图像中的每个像素位置进行处理，得到每个像素位置的模拟像素灰度。
可选地，在本申请实施例二提供的图像的重建装置中，修正单元包括：残差计算子单元，用于基于每个像素位置的模拟像素灰度和该像素位置的实际像素灰度，计算该像素位置的残差值；分析子单元，用于基于像素位置的残差值，分析该像素位置的像素状态，得到像素分析结果，其中，像素分析结果用于确定该像素位置的像素是否需要修正；修正子单元，用于在某一像素位置的像素分析结果指示像素需要修正的情况下，基于该像素位置关联的目标校正阈值，对该像素位置的像素进行修正，得到目标分辨率的图像。
可选地，在本申请实施例二提供的图像的重建装置中，确定单元包括：通过目标算法对目标图像的分辨率进行增强处理，得到参考图像，其中，目标算法包括：双线性插值算法。
上述的图像的重建装置还可以包括处理器和存储器，上述的获取单元21、确定单元22、处理单元23以及修正单元24等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来在不同像素位置，依据该像素位置的梯度值确定的目标点扩散函数确定是否需要进行像素修正，根据不同像素位置对应的不同校正阈值对需要修正的像素进行修正，避免了相关技术中重建高分辨率的图像时，图像边缘模糊程度高的情况，从而实现了提高重建的高分辨率图像的清晰度的技术效果。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的图像的重建方法。
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的图像的重建方法。
图3是根据本发明实施例的一种电子设备的示意图，如图3所示，本发明实施例提供了一种电子设备30，电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任意一项的图像的重建方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种图像的重建方法，其特征在于，包括：
响应于图像重建请求，获取K帧第一图像，其中，所述图像重建请求用于请求将K帧所述第一图像重建为目标分辨率的图像，所述目标分辨率高于每帧所述第一图像的分辨率，K为大于1的正整数；
基于目标图像，确定参考图像，其中，所述目标图像包括：K帧所述第一图像中任意一帧所述第一图像，所述参考图像的分辨率高于该第一图像的分辨率；
基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，其中，每个所述像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个所述像素位置关联的所述目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧所述第一图像为K帧所述第一图像中除所述目标图像之外的图像，S为小于K的正整数，K为正整数；
基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到所述目标分辨率的图像，其中，每个所述像素位置关联的目标校正阈值不同。
2.根据权利要求1所述的重建方法，其特征在于，每个所述像素位置关联的所述目标点扩散函数通过以下方式得到：
计算每个所述像素位置的M个方向上的梯度值，得到该像素位置的第一梯度集合，其中，所述第一梯度集合中至少包括：M个梯度值，M为正整数；
基于每个所述像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数；
基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的所述目标点扩散函数。
3.根据权利要求2所述的重建方法，其特征在于，基于每个所述像素位置的第一梯度集合，确定该像素位置的M个方向上的分数阶积分的阶数，包括：
确定每个所述像素位置的第一梯度集合中的最大梯度值；
基于每个像素位置每个方向上的梯度值和该像素位置的第一梯度集合中的最大梯度值，确定该像素位置每个方向上的分数阶积分的阶数；
基于该像素位置每个方向上的分数阶积分的阶数，确定该像素位置M个方向上的分数阶积分的阶数。
4.根据权利要求2所述的重建方法，其特征在于，基于每个像素位置的M个方向上的分数阶积分的阶数，确定该像素位置关联的所述目标点扩散函数，包括：
基于每个所述像素位置的M个方向上的分数阶积分的阶数，确定初始点扩散函数；
对每个所述像素位置的所述初始点扩散函数进行归一化处理，得到所述目标点扩散函数。
5.根据权利要求1所述的重建方法，其特征在于，每个所述像素位置关联的目标校正阈值通过以下方式得到：
确定所述参考图像中每个所述像素位置N个方向的梯度值，得到该像素位置的第二梯度集合，其中，N为正整数；
基于所述参考图像中所有像素位置关联的第二梯度集合，确定梯度图，其中，所述梯度图至少包括：所述参考图像中每个所述像素位置的目标梯度值，所述目标梯度值为该像素位置N个方向的梯度值中的最大梯度值；
基于所述梯度图，确定所述参考图像中每个像素位置关联的目标校正阈值。
6.根据权利要求5所述的重建方法，其特征在于，基于所述参考图像中所有像素位置关联的第二梯度集合，确定梯度图，包括：
将所述参考图像中每个所述像素位置关联的第二梯度集合中的最大梯度值作为该像素位置的所述目标梯度值；
基于所述参考图像中每个所述像素位置的所述目标梯度值，确定所述梯度图。
7.根据权利要求5所述的重建方法，其特征在于，基于所述梯度图，确定所述参考图像中每个像素位置关联的目标校正阈值，包括：
基于所述梯度图，确定所述参考图像的平均梯度值；
基于所述平均梯度值和所述参考图像的每个像素位置的所述目标梯度值，确定所述参考图像的每个像素位置的梯度度量因子，其中，每个像素位置的梯度度量因子用于调整该像素位置的预设校正阈值；
基于所述预设校正阈值和每个所述像素位置的梯度度量因子，确定该像素位置关联的目标校正阈值。
8.根据权利要求1所述的重建方法，其特征在于，基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，还包括：
将每帧所述第一图像中的每个像素位置映射到所述参考图像中，得到映射图像；
通过目标点散函数对所述映射图像中的每个所述像素位置进行处理，得到每个所述像素位置的所述模拟像素灰度。
9.根据权利要求1所述的重建方法，其特征在于，基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到目标分辨率的图像，包括：
基于每个所述像素位置的所述模拟像素灰度和该像素位置的实际像素灰度，计算该像素位置的残差值；
基于所述像素位置的残差值，分析该像素位置的像素状态，得到像素分析结果，其中，所述像素分析结果用于确定该像素位置的像素是否需要修正；
在某一所述像素位置的像素分析结果指示像素需要修正的情况下，基于该像素位置关联的目标校正阈值，对该像素位置的像素进行修正，得到所述目标分辨率的图像。
10.根据权利要求1所述的重建方法，其特征在于，通过目标算法对所述目标图像的分辨率进行增强处理，得到所述参考图像，其中，所述目标算法包括：双线性插值算法。
11.一种图像的重建装置，其特征在于，包括：
获取单元，用于响应于图像重建请求，获取K帧第一图像，其中，所述图像重建请求用于请求将K帧所述第一图像重建为目标分辨率的图像，所述目标分辨率高于每帧所述第一图像的分辨率，K为大于1的正整数；
确定单元，用于基于目标图像，确定参考图像，其中，所述目标图像包括：
K帧所述第一图像中任意一帧所述第一图像，所述参考图像的分辨率高于该第一图像的分辨率；
处理单元，用于基于所述参考图像和目标点扩散函数，对S帧所述第一图像中每帧所述第一图像中每个像素位置的像素进行处理，得到每个所述像素位置的模拟像素灰度，其中，每个所述像素位置的模拟像素灰度用于确定该像素位置是否需要进行像素修正，每个所述像素位置关联的所述目标点扩散函数包括：通过该像素位置的M个方向上的梯度值确定的点扩散函数，S帧所述第一图像为K帧所述第一图像中除所述目标图像之外的图像，S为小于K的正整数，K为正整数；
修正单元，用于基于目标校正阈值和每个所述像素位置的所述模拟像素灰度，对每个所述像素位置的像素进行修正，得到所述目标分辨率的图像，其中，每个所述像素位置关联的目标校正阈值不同。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一项所述的图像的重建方法。
13.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至10中任意一项所述的图像的重建方法。
CN202311220659.3A 2023-09-20 2023-09-20 图像的重建方法、装置、存储介质及电子设备 Pending CN117274056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311220659.3A CN117274056A (zh) 2023-09-20 2023-09-20 图像的重建方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311220659.3A CN117274056A (zh) 2023-09-20 2023-09-20 图像的重建方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN117274056A true CN117274056A (zh) 2023-12-22

Family

ID=89203894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311220659.3A Pending CN117274056A (zh) 2023-09-20 2023-09-20 图像的重建方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117274056A (zh)

Similar Documents

Publication Publication Date Title
US7792384B2 (en) Image processing apparatus, image processing method, program, and recording medium therefor
US6822758B1 (en) Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
JP4999680B2 (ja) 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段
US9142009B2 (en) Patch-based, locally content-adaptive image and video sharpening
US8180168B2 (en) One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
Vonikakis et al. Fast centre–surround contrast modification
US20060056731A1 (en) Determining sharpness predictors for a digital image
US7570831B2 (en) System and method for estimating image noise
JP2011041276A (ja) ぶれ補正方法、ぶれ補正装置およびコンピューター読み取り可能な媒体
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
WO2014070489A1 (en) Recursive conditional means image denoising
JP2012023455A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6541454B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN111986102A (zh) 一种数字病理图像去模糊方法
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
WO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
CN117274056A (zh) 图像的重建方法、装置、存储介质及电子设备
US20220405892A1 (en) Image processing method, image processing apparatus, image processing system, and memory medium
WO2018225134A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Bonanomi et al. I3D: a new dataset for testing denoising and demosaicing algorithms
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
Sadaka et al. Efficient perceptual attentive super-resolution
JP2005277503A (ja) 画像処理方法および装置並びにプログラム
JP2003317095A (ja) 画像鮮鋭化処理方法、画像鮮鋭化処理プログラム、画像鮮鋭化処理プログラムを記録した記録媒体、ならびに画像出力装置
Son et al. A pair of noisy/blurry patches-based PSF estimation and channel-dependent deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination