CN117830179A - 高动态范围图像重建方法、装置、计算机设备及存储介质 - Google Patents

高动态范围图像重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117830179A
CN117830179A CN202410019308.4A CN202410019308A CN117830179A CN 117830179 A CN117830179 A CN 117830179A CN 202410019308 A CN202410019308 A CN 202410019308A CN 117830179 A CN117830179 A CN 117830179A
Authority
CN
China
Prior art keywords
polynomial
dynamic range
scale
range image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410019308.4A
Other languages
English (en)
Inventor
唐家祺
徐晓刚
胡思行
陈颖聪
吴锐正
蒋念娟
沈小勇
吕江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202410019308.4A priority Critical patent/CN117830179A/zh
Publication of CN117830179A publication Critical patent/CN117830179A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种高动态范围图像重建方法、装置、计算机设备及存储介质。方法包括：获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；确定多项式表达中的多项式系数和多项式曲线；基于多项式系数和多项式曲线，确定重建后的高动态范围图像；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。采用本申请，能够提高图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。

Description

高动态范围图像重建方法、装置、计算机设备及存储介质
技术领域
本申请涉及高动态范围图像重建技术领域，特别是涉及一种高动态范围图像重建方法、装置、计算机设备及存储介质。
背景技术
在传统的数字相机中，由于传感器和记录设备的限制，其动态范围是有限的。当场景的亮度范围超过了相机的动态范围时，相机需要进行动态范围的压缩和退化，导致数字图像的动态范围较低，也称为低动态范围(LDR)图像。这种LDR图像无法完整地捕捉和表达现实世界中的亮度变化和细节。高动态范围重建旨在在计算机视觉和图像处理中提高数字图像的动态范围，从而更好地表示现实世界的场景。
相关技术中，一部分采用元学习方法学习捕捉不同色调映射之间的常见模式，然而，LDR图像和色调映射过程之间的对应关系仍然很难被清晰表达；还有一部分采用神经网络例如Unet隐式地学习色调映射过程的信息，通过端到端的方式对图像进行动态范围重建。然而，在面对更多真实世界图像或低动态范围图像的色调空间发生剧烈变化时，上述相关技术的高动态范围图像重建的效果不佳。
发明内容
基于此，有必要针对上述技术问题，提供一种高动态范围图像重建方法、装置、计算机设备、存储介质以及计算机程序产品，能够提高了图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。
第一方面，本申请提供了一种高动态范围图像重建方法，包括：
获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；
确定多项式表达中的多项式系数和多项式曲线；
基于多项式系数和多项式曲线，确定重建后的高动态范围图像；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。
第二方面，本申请提供了一种高动态范围图像重建装置，包括：
退化逆过程建模模块，用于获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；
多项式表达确定模块，用于确定多项式表达中的多项式系数和多项式曲线；
图像重建模块，用于基于多项式系数和多项式曲线，确定重建后的高动态范围图像；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
上述高动态范围图像重建方法、装置、计算机设备、存储介质及计算机程序产品，通过分析低动态范围图像的退化成因，采用多项式表达对低动态范围图像的退化逆过程中的灰度映射逆过程和色调映射逆过程进行建模，基于多项式表达中的多项式系数和多项式曲线，确定重建后的高动态范围图像。可以清晰地表达低动态范围图像与色调映射过程之间的对应关系，以及低动态范围图像与灰度映射过程之间的对应关系。提高了图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。上述高动态范围图像重建方法可以面向更多的真实世界图像推广，在低动态范围图像的色调空间发生剧烈变化时，也可以得到高质量的高动态范围图像。
附图说明
图1为本申请实施例提供的一种高动态范围图像重建方法的应用环境图；
图2为本申请实施例提供的一种高动态范围图像重建方法的流程示意图；
图3A为本申请实施例提供的另一种高动态范围图像重建方法的流程示意图；
图3B为根据本申请实施例提供的一种图像重建模型的结构示意图；
图3C为根据本申请实施例提供的U型特征变换单元的结构示意图；
图4为本申请实施例提供的一种高动态范围图像重建装置的结构框图；
图5为本申请实施例提供的一种计算机设备的内部结构图；
图6为本申请实施例提供的另一种计算机设备的内部结构图；
图7为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的高动态范围图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，本申请实施例提供了一种高动态范围图像重建方法，以该方法应用于图1中的终端102或服务器104为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种。该方法包括以下步骤：
S201、获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。
其中，发生动态范围退化的高动态范围图像会转换为低动态范围图像。待重建的低动态范围图像需要进行动态范围重建。低动态范围图像和高动态范围图像的主要区别在于它们能够表达的亮度范围和细节。低动态范围图像通常只能覆盖较窄的亮度范围，在低动态范围图像中，场景的亮度范围被压缩和退化，使得一些细节和颜色信息无法得到充分的表达。
一般来说，从高动态范围图像到低动态范围图像的转换过程通常包括：灰度映射过程和色调映射过程。其中，灰度映射过程可以包括动态范围截断过程和动态范围量化过程。
可选的，采用L＝ζ(τ(H))表示从高动态范围图像到低动态范围图像的动态范围退化过程。其中，H和L分别代表高动态范围图像和低动态范围图像；τ(·)代表色调映射函数，色调映射函数对应于转换过程中的色调映射过程，ζ(·)则表示灰度映射函数，灰度映射函数对应于转换过程中的灰度映射过程。灰度映射过程可以包含动态范围截断过程和动态范围量化过程等。
从低动态范围图像到高动态范围图像的动态范围重建过程，实际上为从高动态范围图像到低动态范围图像的动态范围退化过程的逆过程。基于此，采用H＝τ-1(ζ-1*(L))表示从低动态范围图像到高动态范围图像的动态范围重建过程。
其中，ζ-1(L)对应于色调映射过程的逆过程；τ-1()对应于灰度映射过程的逆过程。
尽管色调映射过程的逆过程对于不同的低动态范围图像是不同的，但它们通常是单调或至少是半单调的。因此，可以采用多项式表达对低动态范围图像的退化逆过程进行建模。具体的，采用多项式表达对低动态范围图像的灰度映射逆过程和色调映射逆过程进行建模。
可选的，多项式表达包括多项式系数和多项式曲线。
在一些实施例中，采用多项式表达对低动态范围图像的退化逆过程进行建模，包括：
采用多项式表达中的多项式曲线，对低动态范围图像的灰度映射逆过程进行建模；
采用多项式曲线中的多项式系数，对低动态范围图像的色调映射逆过程进行建模。
其中，灰度映射逆过程包括动态范围截断逆过程和动态范围量化逆过程。
在本实施例中，采用多项式曲线对低动态范围图像的灰度映射逆过程进行建模，采用多项式系数对低动态范围图像的色调映射逆过程进行建模，为采用数学方法建模低动态范围图像的退化逆过程提供了思路，为高动态范围图像的重建提供了技术支持。
在一些实施例中，采用多项式表达对低动态范围图像的退化逆过程进行建模，包括：
基于采用多项式表达对低动态范围图像的退化逆过程进行建模；
其中，ζ-1(L)表示灰度映射逆过程；τ-1()表示色调映射逆过程；Mn表示多项式系数，其中，h和w是指动态范围图像的高度和宽度；L表示待重建的低动态范围图像；H表示重建后的高动态范围图像；n∈[0，N]表示多项式曲线的阶数，其中，N为正整数；ζ-1(L)表示多项式曲线。
可见，在本实施例中，提供了一种切实可行的多项式表达，可以用于低动态范围图像的退化逆过程进行建模，能够清晰地描述低动态范围图像与色调映射过程之间的对应关系，以及低动态范围图像与灰度映射过程之间的对应关系，为提高图像重建的效果和鲁棒性提供了数据支持。
S202、确定多项式表达中的多项式系数和多项式曲线。
多项式表达用于对低动态范围图像的退化逆过程进行建模。多项式表达包括多项式曲线和多项式系数。在多项式系数和多项式曲线确定的情况下，即可完成对低动态范围图像的退化逆过程的建模。可选的，采用深度学习技术确定多项式表达中的多项式系数和多项式曲线。或者采用多项式拟合技术确定多项式表达中的多项式系数。
S203、基于多项式系数和多项式曲线，确定重建后的高动态范围图像。
多项式系数和多项式曲线共同构成多项式表达，多项式表达描述了低动态范围图像的退化逆过程。在低动态范围图像已知，且低动态范围图像的退化逆过程已知的情况下，可以得到重建后的高动态范围图像。
在一些实施例中，基于多项式系数和多项式曲线，确定重建后的高动态范围图像，包括：
利用多项式系数对多项式曲线进行加权，并根据得到的加权结果确定单项式表达；
根据多项式表达的多项式阶数对单项式表达进行叠加，并根据叠加结果确定重建后的高动态范围图像。
可选的，采用确定重建后的高动态范围图像；
其中，Mn表示多项式系数，其中，h和w是指高动态范围图像的高度和宽度；ζ-1(L)n表示多项式曲线；L表示待重建的低动态范围图像；H表示重建后的高动态范围图像；n∈[0，N]表示多项式曲线的阶数，其中，N为正整数。
利用多项式系数Mn对多项式曲线ζ-1(L)n进行加权，得到的加权结果为Mnζ-1(L)n，将Mnζ-1(L)n确定为单项式表达。其中，多项式表达通过若干个单项式表达叠加得到。多项式阶数是指多项式曲线的阶数，多项式阶数用于确定需要多少个单项式表达进行叠加可以得到多项式表达。多项式阶数为正整数。
采用对单项式表达进行叠加，将/>确定为重建后的高动态范围图像。
在本实施例中，基于多项式系数和多项式曲线，确定重建后的高动态范围图像，提供了一种切实可行的高动态范围图像重建方案，为提高图像重建的效果和鲁棒性提供了技术支持。
本申请实施例通过分析低动态范围图像的退化成因，采用多项式表达对低动态范围图像的退化逆过程中的灰度映射逆过程和色调映射逆过程进行建模，基于多项式表达中的多项式系数和多项式曲线，确定重建后的高动态范围图像。可以清晰地表达低动态范围图像与色调映射过程之间的对应关系，以及低动态范围图像与灰度映射过程之间的对应关系。提高了图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。上述高动态范围图像重建方法可以面向更多的真实世界图像推广，在低动态范围图像的色调空间发生剧烈变化时，也可以得到高质量的高动态范围图像，本申请提供的高动态范围图像重建方法可应用于摄影、电影制作以及工业生产等领域。
图3A为本申请实施例提供的另一种高动态范围图像重建方法的流程示意图。本实施例在上述实施例的基础上进行进一步地优化。
如图3A所示，该方法包括：
S301、获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。
可选的，采用多项式表达中多项式系数和多项式曲线分别对低动态范围图像的色调映射逆过程和灰度映射逆过程进行建模。
可选的，采用深度学习技术确定多项式表达中的多项式系数和多项式曲线。
S302、将低动态范围图像，分别输入图像重建模型的灰度重建分支和色调重建分支。
其中，图像重建模型是采用深度学习技术搭建的深度神经网络。图像重建模型包括灰度重建分支和色调重建分支。其中，灰度重建分支和色调重建分支相互独立。
S303、通过灰度重建分支和色调重建分支，分别确定多项式表达中的多项式曲线和多项式系数。
灰度重建分支和色调重建分支分别用于确定多项式表达中的多项式曲线和多项式系数。其中，多项式曲线用于对低动态图像的灰度映射逆过程进行建模；多项式系数用于对低动态范围图像的色调映射逆过程进行建模。因此，灰度重建分支对应于低动态图像的灰度映射逆过程；色调重建分支对应于低动态范围图像的色调映射逆过程。灰度重建分支和色调重建分支分别用于重建低动态范围图像的灰度和色调。
S304、基于多项式系数和多项式曲线，确定重建后的高动态范围图像。
多项式曲线由灰度重建分支输出，多项式系数由色调重建分支输出。采用多项式系数可以重建低动态范围的色调；采用多项式曲线可以重建低动态范围的灰度。
在本申请实施例中，将深度学习技术用于高动态范围图像重建，采用多项式表达描述低动态范围图像的退化逆过程，分别采用图像重建模型中相互独立的灰度重建分支和色调重建分支，对退化逆过程中的灰度映射逆过程和色调映射逆过程进行建模，可以清晰地表达低动态范围图像与色调映射过程之间的对应关系，以及低动态范围图像与灰度映射过程之间的对应关系。然后，基于灰度重建分支确定的多项式曲线和色调重建分支确定的多项式系数，确定重建后的高动态范围图像。提高了图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。本申请实施例支持基于单幅低动态范围图像，重建高动态范围图像。
在一些实施例中，通过色调重建分支，确定多项式表达中的多项式系数，包括：
在初始尺度下对低动态范围图像进行尺度变换，得到至少两个尺度的低动态范围图像；
通过色调重建分支分别对至少两个尺度的低动态范围图像进行特征提取，得到至少两个单尺度特征；
对至少两个单尺度特征进行融合，得到低动态范围图像的多尺度融合特征；
基于多尺度融合特征，色调重建分支输出多项式表达中的多项式系数。
图3B为根据本申请实施例提供的一种图像重建模型的结构示意图，图3B中PPViT(Pyramid-Path Vision transformer)表示色调重建分支。参见图3B，PPViT在初始尺度下对输入其中的低动态范围图像进行尺度变换，得到至少两个尺度的低动态范围图像。
其中，初始尺度是指低动态范围图像在进行尺度变换之前的图像尺度。尺度变换用于调整低动态范围图像的图像尺度。可选的，尺度变换通过对动态范围图像进行下采样或者上采样实现。尺度还原为尺度变换的逆过程，尺度还原用于将低动态范围图像的图像尺度还原到尺度变换之前。图3B中采用下采样对动态范围图像进行尺度变换。其中，Dm(·)标识下采样2m倍。低动态范围图像的初始尺度为h×w×3，在初始尺度下，对低动态范围图像进行2m倍下采样，将h×w×3的低动态范围图像下采样到得到至少两个尺度的低动态范围图像。其中，在图3B中，至少两个尺度的低动态范围图像以/>表示。其中，/>表示对低动态范围图像L下采样2m倍。
然后。通过色调重建分支中的特征转换模块分别对至少两个尺度的低动态范围图像进行特征提取，得到至少两个单尺度特征。图3B中以表示对至少两个尺度的低动态范围图像进行特征提取，得到的单尺度特征分别用/>表示。
接下来，对至少两个单尺度特征进行尺度还原，将至少两个单尺度特征均还原到初始尺度。图3B中采用上采样对单尺度特征进行尺度还原。上采样操作在图3B中以U示出。在对单尺度特征进行尺度还原之后，对至少两个单尺度特征进行融合得到多尺度融合特征
可选的，色调重建分支还包括：特征微调模块(Refinement Block fr)。特征微调模块用于对融合得到的多尺度融合特征进行微调。多尺度融合特征输入特征微调模块，由特征微调模块输出多项式表达中的多项式系数。
可采用下式表示，尺度还原过程、特征融合过程以及特征微调过程：
其中，fr( )表示特征微调过程，Um( )表示尺度还原过程，表示特征融合过程。{M0，...，MN}表示多项式表达中多项式系数。
在本申请实施例中，将图像重建模型中的色调重建分支设计为金字塔结构，使得色调重建分支对至少两个尺度的低动态范围图像进行特征提取，可以从不同尺度学习到提取图像的细节信息，有利于提高多项式系数确定的准确性，将由色调重建分支确定的多项式系数用于确定重建后的高动态范围图像，有利于提高图像重建的效果和鲁棒性。
在一些实施例中，通过灰度重建分支，确定多项式表达中的多项式曲线，包括：
通过灰度重建分支，在初始尺度下对低动态范围图像进行特征提取得到初始尺度特征；
对初始尺度特征进行尺度变换和特征提取，直到得到最小尺度特征；初始尺度特征与最小尺度特征之间包括至少一个中间尺度特征；
将最小尺度特征进行尺度还原，并将还原后的最小尺度特征和与其尺度一致的中间尺度特征进行特征融合得到双尺度融合特征；
利用双尺度融合特征对最小尺度特征进行更新，得到新的尺度特征；
对新的尺度特征进行尺度还原，直到还原后的新的从尺度特征与初始尺度特征尺度一致，则将还原后的新的从尺度特征和初始尺度特征进行特征融合得到多尺度融合特征；
基于多尺度融合特征，灰度重建分支输出多项式表达中的多项式曲线。
图3B为根据本申请实施例提供的一种图像重建模型的结构示意图，图3B中Learnable Pixel-Wise Elements(LPE)表示灰度重建分支。参见图3B，LPE中包括特征变换模块。特征变换模块包括至少两个U型特征变换单元(IUTB)。图3C为根据本申请实施例提供的U型特征变换单元的结构示意图。参见图3B和图3C，介绍灰度重建分支确定多项式曲线的过程。
LPE在初始尺度下对低动态范围图像进行特征提取得到初始尺度特征。然后，通过特征变换模块中的至少两个U型特征变换单元对初始尺度特征进行特征变换得到低动态范围图像的多尺度融合特征。
参见图3C，对U型特征变换单元的特征变换过程进行说明。
IUTB包括两个层标准化单元(Layer Norm)和多深度卷积头转置注意力单元(Mlulti-Dconv Head Transposed Attention，MDTA)以及U型前向单元(U-shape LocalForward Block，ULFB)。如图3C所示，ULFB包括至少两个特征提取子单元。其中，特征提取子单元包括卷积从单元和激活函数从单元。图3C中激活函数为ReLU函数。
在图3C中向下弯折的箭头表示进行尺度变换，图3C采用下采样实现尺度变换；在图3C中向上弯折的箭头表示进行尺度还原，图3C采用上采样实现尺度还原。
输入ULFB的为初始尺度特征，ULFB对初始尺度特征进行尺度变换和特征提取，直到得到最小尺度特征。
其中，初始尺度特征与最小尺度特征之间包括至少一个中间尺度特征。图3C中初始尺度特征与最小尺度特征之间包括2个中间尺度特征。可以理解的是，图3C中间尺度特征为2个的情况仅作说明使用，不对本申请实施例造成限定，中间尺度特征的数量与最小尺度特征对应的尺度相关，具体的，根据实际业务需求确定。最小尺度特征对应的尺度与下采样次数相关。下采样次数根据实际业务需求确定。
为便于表述，将图3C中介于初始尺度特征和最小尺度特征的中间尺度特征，按照从上到下的顺序依次称为第一尺度特征和第二尺度特征。
参见图3C，ULFB对初始尺度特征进行尺度变换，然后进行特征提取得到第一尺度特征；然后，对第一尺度特征进行尺度变换，然后进行特征提取得到第二尺度特征。最小尺度特征是通过继续对第二尺度特征进行尺度变换，然后进行特征提取得到。
然后，将最小尺度特征进行尺度还原，并将还原后的最小尺度特征和与其尺度一致的中间尺度特征，即第二尺度特征进行特征融合得到双尺度融合特征。
接下来，利用双尺度融合特征对最小尺度特征进行更新，得到新的尺度特征。再对新的尺度特征进行尺度还原，还原后的新的从尺度特征与第一尺度特征尺度一致，将新的尺度特征与第一尺度特征进行融合得到双尺度融合特征。
再次，利用双尺度融合特征对最小尺度特征进行更新，得到新的尺度特征，继续对新的尺度特征进行尺度还原，此时还原后的新的从尺度特征与初始尺度特征尺度一致，则将还原后的新的从尺度特征和初始尺度特征进行特征融合得到多尺度融合特征。
基于多尺度融合特征，灰度重建分支输出多项式表达中的多项式曲线。在图3B中，多项式曲线以表示；多项式系数以/>n∈[0，N]表示多项式曲线的阶数。
在以及/>均确定的情况下，基于/>即可得到重建后的高动态范围图像/>
在本申请实施例中，将图像重建模型中的灰度重建分支设计为U型的结构，使得灰度重建分支更好更加充分地提取低动态范围图像的局部特征，促进灰度重建分支对于灰度映射逆过程的学习效果，有利于提高多项式曲线确定的准确性，将由灰度重建分支确定的多项式曲线用于确定重建后的高动态范围图像，利于提高图像重建的效果和鲁棒性。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种高动态范围图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个高动态范围图像重建装置实施例中的具体限定可以参见上文中对于高动态范围图像重建方法的限定，在此不再赘述。
图4为本申请实施例提供的一种高动态范围图像重建装置的结构框图，如图4所示，包括：
退化逆过程建模模块401，用于获取待重建的低动态范围图像，并采用多项式表达对低动态范围图像的退化逆过程进行建模；
多项式表达确定模块402，用于确定多项式表达中的多项式系数和多项式曲线；
图像重建模块403，用于基于多项式系数和多项式曲线，确定重建后的高动态范围图像；其中，退化逆过程包括：灰度映射逆过程和色调映射逆过程。
可见，在本申请实施例中，通过分析低动态范围图像的退化成因，采用多项式表达对低动态范围图像的退化逆过程中的灰度映射逆过程和色调映射逆过程进行建模，基于多项式表达中的多项式系数和多项式曲线，确定重建后的高动态范围图像。可以清晰地表达低动态范围图像与色调映射过程之间的对应关系，以及低动态范围图像与灰度映射过程之间的对应关系。提高了图像重建的效果和鲁棒性，同时可以扩大图像重建的场景适用性。上述高动态范围图像重建方法可以面向更多的真实世界图像推广，在低动态范围图像的色调空间发生剧烈变化时，也可以得到高质量的高动态范围图像。
在一些实施例中，退化逆过程建模模块401，包括：
灰度映射逆过程建模子模块，用于采用多项式表达中的多项式曲线，对低动态范围图像的灰度映射逆过程进行建模；
色调映射逆过程建模子模块，用于采用多项式曲线中的多项式系数，对低动态范围图像的色调映射逆过程进行建模。
在一些实施例中，多项式表达确定模块402，包括：
图像输入子模块，用于将低动态范围图像，分别输入图像重建模型的灰度重建分支和色调重建分支；
多项式表达确定子模块，用于通过灰度重建分支和色调重建分支，分别确定多项式表达中的多项式曲线和多项式系数；
其中，灰度重建分支和色调重建分支相互独立。
在一些实施例中，多项式表达确定子模块，包括：
第一尺度变换单元，用于在初始尺度下对低动态范围图像进行尺度变换，得到至少两个尺度的低动态范围图像；
第一特征提取单元，用于通过色调重建分支分别对至少两个尺度的低动态范围图像进行特征提取，得到至少两个单尺度特征；
第一特征融合单元，用于对至少两个单尺度特征进行融合，得到低动态范围图像的多尺度融合特征；
多项式系数确定单元，用于基于多尺度融合特征，色调重建分支输出多项式表达中的多项式系数。
在一些实施例中，多项式表达确定子模块，包括：
第二特征提取单元，用于通过灰度重建分支，在初始尺度下对低动态范围图像进行特征提取得到初始尺度特征；
特征变换单元，用于对初始尺度特征进行尺度变换和特征提取，直到得到最小尺度特征；初始尺度特征与最小尺度特征之间包括至少一个中间尺度特征；
第二特征融合单元，用于将最小尺度特征进行尺度还原，并将还原后的最小尺度特征和与其尺度一致的中间尺度特征进行特征融合得到双尺度融合特征；
尺度特征更新单元，用于利用双尺度融合特征对最小尺度特征进行更新，得到新的尺度特征；
第三特征融合单元，用于对新的尺度特征进行尺度还原，直到还原后的新的从尺度特征与初始尺度特征尺度一致，则将还原后的新的从尺度特征和初始尺度特征进行特征融合得到多尺度融合特征；
多项式曲线确定单元，用于基于多尺度融合特征，灰度重建分支输出多项式表达中的多项式曲线。
在一些实施例中，图像重建模块403，包括：
单项式表达确定子模块，用于利用所述多项式系数对所述多项式曲线进行加权，并根据得到的加权结果确定单项式表达；
单项式表达叠加子模块，用于根据所述多项式表达的多项式阶数对所述单项式表达进行叠加，并根据叠加结果确定重建后的高动态范围图像。
上述高动态范围图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于电子设备中的处理器，也可以以软件形式存储于电子设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)及通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储高动态范围图像重建所需的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的高动态范围图像重建方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的高动态范围图像重建方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5或图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图7所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(FerroelectricRandom Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种高动态范围图像重建方法，其特征在于，包括：
获取待重建的低动态范围图像，并采用多项式表达对所述低动态范围图像的退化逆过程进行建模；
确定所述多项式表达中的多项式系数和多项式曲线；
基于所述多项式系数和所述多项式曲线，确定重建后的高动态范围图像；其中，所述退化逆过程包括：灰度映射逆过程和色调映射逆过程。
2.根据权利要求1所述的方法，其特征在于，所述采用多项式表达对所述低动态范围图像的退化逆过程进行建模，包括：
采用所述多项式表达中的多项式曲线，对所述低动态范围图像的所述灰度映射逆过程进行建模；
采用所述多项式曲线中的多项式系数，对所述低动态范围图像的所述色调映射逆过程进行建模。
3.根据权利要求1所述的方法，其特征在于，确定所述多项式表达中的多项式系数和多项式曲线，包括：
将所述低动态范围图像，分别输入图像重建模型的灰度重建分支和色调重建分支；
通过所述灰度重建分支和所述色调重建分支，分别确定所述多项式表达中的多项式曲线和多项式系数；
其中，所述灰度重建分支和所述色调重建分支相互独立。
4.根据权利要求3所述的方法，其特征在于，通过所述色调重建分支，确定所述多项式表达中的多项式系数，包括：
在初始尺度下对所述低动态范围图像进行尺度变换，得到至少两个尺度的低动态范围图像；
通过所述色调重建分支分别对所述至少两个尺度的低动态范围图像进行特征提取，得到至少两个单尺度特征
对所述至少两个单尺度特征进行融合，得到所述低动态范围图像的多尺度融合特征；
基于所述多尺度融合特征，所述色调重建分支输出所述多项式表达中的多项式系数。
5.根据权利要求3所述的方法，其特征在于，通过所述灰度重建分支，确定所述多项式表达中的多项式曲线，包括：
通过所述所述灰度重建分支，在初始尺度下对所述低动态范围图像进行特征提取得到初始尺度特征；
对所述初始尺度特征进行尺度变换和特征提取，直到得到最小尺度特征；所述初始尺度特征与所述最小尺度特征之间包括至少一个中间尺度特征；
将所述最小尺度特征进行尺度还原，并将还原后的最小尺度特征和与其尺度一致的中间尺度特征进行特征融合得到双尺度融合特征；
利用所述双尺度融合特征对所述最小尺度特征进行更新，得到新的尺度特征；
对所述新的尺度特征进行尺度还原，直到还原后的新的从尺度特征与所述初始尺度特征尺度一致，则将所述还原后的新的从尺度特征和所述初始尺度特征进行特征融合得到多尺度融合特征；
基于所述多尺度融合特征，所述灰度重建分支输出所述多项式表达中的多项式曲线。
6.根据权利要求1所述的方法，其特征在于，基于所述多项式系数和所述多项式曲线，确定重建后的高动态范围图像，包括：
利用所述多项式系数对所述多项式曲线进行加权，并根据得到的加权结果确定单项式表达；
根据所述多项式表达的多项式阶数对所述单项式表达进行叠加，并根据叠加结果确定重建后的高动态范围图像。
7.一种高动态范围图像重建装置，其特征在于，包括：
退化逆过程建模模块，用于获取待重建的低动态范围图像，并采用多项式表达对所述低动态范围图像的退化逆过程进行建模；
多项式表达确定模块，用于确定所述多项式表达中的多项式系数和多项式曲线；
图像重建模块，用于基于所述多项式系数和所述多项式曲线，确定重建后的高动态范围图像；其中，所述退化逆过程包括：灰度映射逆过程和色调映射逆过程。
8.根据权利要求7所述的装置，其特征在于，所述退化逆过程建模模块，包括：
灰度映射逆过程建模子模块，用于采用所述多项式表达中的多项式曲线，对所述低动态范围图像的所述灰度映射逆过程进行建模；
色调映射逆过程建模子模块，用于采用所述多项式曲线中的多项式系数，对所述低动态范围图像的所述色调映射逆过程进行建模。
9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202410019308.4A 2024-01-03 2024-01-03 高动态范围图像重建方法、装置、计算机设备及存储介质 Pending CN117830179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410019308.4A CN117830179A (zh) 2024-01-03 2024-01-03 高动态范围图像重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410019308.4A CN117830179A (zh) 2024-01-03 2024-01-03 高动态范围图像重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN117830179A true CN117830179A (zh) 2024-04-05

Family

ID=90522794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410019308.4A Pending CN117830179A (zh) 2024-01-03 2024-01-03 高动态范围图像重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117830179A (zh)

Similar Documents

Publication Publication Date Title
CN111683269B (zh) 视频处理方法、装置、计算机设备和存储介质
CN108960345A (zh) 一种遥感图像的融合方法、系统及相关组件
CN113793286B (zh) 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN115082358B (zh) 图像增强方法、装置、计算机设备和存储介质
CN115082322B (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115147284A (zh) 视频处理方法、装置、计算机设备和存储介质
CN115272082A (zh) 模型训练、视频质量提升方法、装置和计算机设备
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN116977531A (zh) 三维纹理图像的生成方法、装置、计算机设备和存储介质
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
WO2022213623A1 (zh) 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
CN117036581A (zh) 基于二维神经渲染的体渲染方法、系统、设备及介质
CN115293994B (zh) 图像处理方法、装置、计算机设备和存储介质
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN114493971B (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
CN117830179A (zh) 高动态范围图像重建方法、装置、计算机设备及存储介质
CN115713585A (zh) 纹理图像重建方法、装置、计算机设备和存储介质
CN115375780A (zh) 色差计算方法、装置、电子设备和存储介质、产品
CN114819109B (zh) 双目图像的超分辨率处理方法、装置、设备及介质
CN114782256B (zh) 图像重建方法、装置、计算机设备和存储介质
CN116071478B (zh) 图像重建模型的训练方法和虚拟场景渲染方法
WO2024016464A1 (zh) 三维自编码器及其训练方法、电子设备及存储介质
CN118612478A (zh) 视频生成方法、装置、计算机设备、可读存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination