CN114581316A - 图像重建方法、电子设备、存储介质及程序产品 - Google Patents

图像重建方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114581316A
CN114581316A CN202210035539.5A CN202210035539A CN114581316A CN 114581316 A CN114581316 A CN 114581316A CN 202210035539 A CN202210035539 A CN 202210035539A CN 114581316 A CN114581316 A CN 114581316A
Authority
CN
China
Prior art keywords
image
images
processed
reconstruction
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210035539.5A
Other languages
English (en)
Inventor
刘震
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202210035539.5A priority Critical patent/CN114581316A/zh
Publication of CN114581316A publication Critical patent/CN114581316A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。方法包括：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。这种方式可以有效解决HDR图像重建时的鬼影问题。

Description

图像重建方法、电子设备、存储介质及程序产品
技术领域
本发明涉及图像处理技术领域，更具体地涉及一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
在数字图像处理领域，动态范围是指图像能够捕获的场景中光亮度的范围。人眼可观察到的自然场景动态范围可达10000:1，而普通消费级摄影设备(例如手机)往往仅能拍摄有限的低动态范围(Low Dynamic Range，LDR)图像(其动态范围为例如100:1～300:1)。与LDR图像相比，高动态范围(High Dynamic Range，HDR)图像的动态范围更广，可以更加真实地还原出逼近真实场景的光影效果，因此能够获得层次更加丰富，画面更加真实，质量更高的照片。
获得HDR图像的方法有两种：第一种是通过特定的设备直接捕获HDR图像，但是这种设备体积庞大、价格昂贵，无法在消费级电子产品(如智能手机)中普及；第二种方法是通过融合多帧不同曝光的LDR图像来获得HDR图像(即多曝光HDR图像重建)，然而由于手持相机的抖动或者前景物体的运动，多帧融合容易出现鬼影问题。
以上两种方法中，第二种方法，即动态场景下多曝光HDR图像重建是比较常用的HDR图像获得方法。为了获得高质量的HDR图像，需要解决在融合多帧不同曝光强度的LDR图像时因前景运动或者相机抖动造成的鬼影问题。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种图像重建方法和装置、渲染客户端以及存储介质。
根据本发明一方面，提供了一种图像重建方法，包括：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。
示例性地，重建网络模型还包括空间注意力模块，方法还包括：获取多个待处理图像；将多个待处理图像输入空间注意力模块，以获得与多个待处理图像一一对应的注意力特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像包括：将对齐特征与注意力特征一起输入融合模块，以获得重建图像。
示例性地，将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征包括：在可变形对齐模块中，执行以下操作：对多个伽马校正图像分别输入进行特征提取，以获得与多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，参考图像是多个待处理图像之一，非参考图像是多个待处理图像中除参考图像以外的图像；对第二拼接特征进行卷积，以计算参考图像和该非参考图像之间的偏移量；基于偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；其中，与参考图像对应的对齐特征为与参考图像对应的图像特征。
示例性地，非参考图像是多个待处理图像中曝光值最接近0的图像。
示例性地，参考图像是多个待处理图像中曝光值处于最中间的图像之一。
示例性地，方法还包括：获取训练图像，训练图像包括与多个样本图像一一对应的多个样本校正图像和与多个样本图像对应的标注图像，其中，样本图像是低动态范围图像，标注图像是高动态范围图像，多个样本校正图像通过对多个样本图像进行伽马校正获得；利用初始重建网络模型处理多个样本校正图像，以获得预测重建图像；基于预测重建图像和标注图像计算重建损失项；获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征；基于预测图像特征和标注图像特征计算感知损失项；基于重建损失项和感知损失项计算总损失；基于总损失对初始重建网络模型的参数进行优化，得到重建网络模型。
示例性地，获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征包括：对预测重建图像和标注图像分别进行色调映射，以获得新的预测重建图像和新的标注图像；将新的预测重建图像和新的标注图像分别输入预训练网络模型，以获得各自对应的预测图像特征和标注图像特征。
根据本发明另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现上述图像重建方法。
根据本发明另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述图像重建方法。
根据本发明另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述图像重建方法。
根据本发明实施例的图像重建方法、电子设备、计算机可读存储介质及计算机程序产品，通过将与多个LDR图像一一对应的多个伽马校正图像进行可变形对齐并将获得的对齐特征进行融合的方式来重建HDR图像。伽马校正可以将初始的各LDR图像的曝光程度拉近到近似一致的水平，因此利用伽马校正图像而非原始LDR图像进行对齐的对齐效果更好。此外，利用可变形对齐可以实现特征层面而非图像层面的对齐，这种特征层面的对齐可以更好地应对因前景运动或者相机抖动造成的鬼影。因此，这种方式可以有效解决HDR图像重建时的鬼影问题。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的图像重建方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的图像重建方法的示意性流程图；
图3示出根据本发明一个实施例的重建网络模型的网络结构及其处理流程；
图4示出根据本发明一个实施例的可变形对齐模块的网络结构；
图5示出根据本发明一个实施例的图像重建装置的示意性框图；以及
图6示出根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、图像重建、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了至少部分地解决上述技术问题，本发明实施例提供了一种图像重建方法、电子设备、计算机可读存储介质及计算机程序产品。根据本发明实施例的图像重建方法，通过将与多个LDR图像一一对应的多个伽马校正图像进行可变形对齐并将获得的对齐特征进行融合的方式来重建HDR图像。伽马校正可以将初始的各LDR图像的曝光程度拉近到近似一致的水平，因此利用伽马校正图像而非原始LDR图像进行对齐的对齐效果更好。此外，利用可变形对齐可以实现特征层面而非图像层面的对齐，这种特征层面的对齐可以更好地应对因前景运动或者相机抖动造成的鬼影。因此，这种方式可以有效解决HDR图像重建时的鬼影问题。根据本发明实施例的图像重建技术可以应用于任何需要生成HDR图像的领域。
首先，参照图1来描述用于实现根据本发明实施例的图像重建方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的图像重建方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明实施例的图像重建方法。图2示出根据本发明一个实施例的图像重建方法200的示意性流程图。如图2所示，图像重建方法200包括步骤S210、S220和S230。
在步骤S210，获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是LDR图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得。
示例性而非限制性地，获取与多个待处理图像一一对应的多个伽马校正图像(步骤S210)可以包括：获取多个待处理图像；对多个待处理图像分别进行伽马校正，以获得多个伽马校正图像。
在一个示例中，针对多个待处理图像的伽马校正操作可以由用于实现根据本发明实施例的图像重建方法和装置的电子设备100执行。在这种情况下，电子设备100可以首先获得多个待处理图像，再对多个待处理图像进行伽马校正，进而基于伽马校正图像执行后续的步骤S220。在另一个示例中，针对多个待处理图像的伽马校正操作可以由除用于实现根据本发明实施例的图像重建方法和装置的电子设备100以外的外部设备执行。在这种情况下，电子设备100可以直接从外部设备获取与多个待处理图像一一对应的多个伽马校正图像。
本文所述的待处理图像可以是图像采集装置采集获得的原始LDR图像，也可以是对原始LDR图像进行一定预处理获得的LDR图像。示例性地，预处理可以包括平滑、滤波、归一化等操作。
在步骤S210中涉及的LDR图像及对应的伽马校正图像的数量可以大于或等于2，即至少获取与两个LDR图像相对应的两个伽马校正图像。在此基础上，LDR图像的数量可以根据需要设定为任何合适的值。示例性而非限制性地，步骤S210中涉及的LDR图像彼此可以具有不同的曝光值。例如，在步骤S210可以获取与3个LDR图像相对应的3个伽马校正图像。在这3个LDR图像中，1个的曝光值可以为0(即0EV)，另外两个的曝光值中1个大于0EV，1个小于0EV。当然，LDR图像的数目及曝光值可以根据需要设定为任何其他合适的值。
示例性地，上述伽马校正操作可以基于以下伽马公式实现：
Figure BDA0003468195170000071
在以上公式(1)中，Ii表示第i个待处理图像，
Figure BDA0003468195170000072
表示与第i个待处理图像相对应的伽马校正图像，ti表示第i个待处理图像的曝光时间，γ表示伽马校正参数，i表示图像的序号，i＝1,2,……,n，n是多个待处理图像的总数目。其中，伽马校正参数γ是预设好的。
通过伽马校正，可以将多个LDR图像的曝光程度统一，即拉到近似一致的水平，这有助于对前景运动和背景抖动做对齐，可以降低对齐时由于曝光不一致所带来的误差，使得对齐结果更准确。
在步骤S220，将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征。
图3示出根据本发明一个实施例的重建网络模型的网络结构及其处理流程。图3所示的重建网络模型仅是示例而非对本发明的限制，本发明提出的重建网络模型可以有其他合适的实现方式。例如，图3虽然示出了空间注意力模块(位于注意力分支M2中)，但是该空间注意力模块可以忽略，即重建网络模型可以仅包括可变形对齐模块(位于对齐分支M1中)和融合模块(位于融合通道M3中)。
如图3所示，多个伽马校正图像可以输入可变形对齐模块中进行对齐。通过可变形对齐模块，可以实现特征层面上的对齐。
在某些图像重建方法中，尝试使用光流或者单应性矩阵(homography)进行图像层面的对齐，这些方法本身以亮度一致性假设作为前提条件，但是这种假设通常是与实际情况不相符的，导致这些方法的对齐效果不准确，难以解决鬼影问题。而根据本发明实施例的图像重建方法，在特征层面进行对齐，不依赖亮度一致性假设，能够更好地应对因前景运动或者相机抖动造成的鬼影。因此，对伽马校正后的LDR图像做可变形对齐处理，能够有效解决动态场景多帧HDR重建任务中的鬼影问题。此外，使用光流或者单应性矩阵(homography)进行显式对齐的图像重建方法通常时间开销非常大，而根据本发明实施例的这种特征层面的对齐方式便于将对齐模块嵌入到网络模型中进行端到端的训练，时间开销更小。
在步骤S230，将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是HDR图像。
在一个示例中，重建网络模型可以只包含对齐分支M1而不包含注意力分支M2，此时融合模块可以直接对可变形对齐模块输出的对齐特征进行融合。在另一个示例中，重建网络模型可以包含对齐分支M1和注意力分支M2，此时在融合模块中可以将二者分别输出的特征进行拼接(concat)之后再进行融合。
通过融合模块，可以将多个LDR图像的对齐特征融合在一起，进而获得融合后的HDR图像。
根据本发明实施例的图像重建方法，通过将与多个LDR图像一一对应的多个伽马校正图像进行可变形对齐并将获得的对齐特征进行融合的方式来重建HDR图像。这种方式可以实现特征层面的对齐，可以有效解决HDR图像重建时的鬼影问题。根据本发明实施例的图像重建方法，还可以利用重建网络模型实现端到端的图像重建。
示例性地，根据本发明实施例的图像重建方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的图像重建方法可以部署在图像采集端处，例如，可以部署在个人终端或服务器端处。
替代地，根据本发明实施例的图像重建方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端采集LDR图像，客户端将采集的LDR图像传送给服务器端(或云端)，由服务器端(或云端)进行图像重建。
根据本发明实施例，重建网络模型还可以包括空间注意力模块，方法100还可以包括：获取多个待处理图像；将多个待处理图像输入空间注意力模块，以获得与多个待处理图像一一对应的注意力特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像包括：将对齐特征与注意力特征一起输入融合模块，以获得重建图像。
继续参考图3。如图3所示，重建网络模型包括两个分支，即上方的对齐分支M1和下方的注意力分支M2。
上方的对齐分支M1用于实现步骤S220。下方的注意力分支M2用于基于原始的LDR图像进行空间注意力计算。
根据本发明实施例，可以使用一个空间注意力模块(Spatial Attention Module)对原始的多个LDR图像进行处理，获得每个图像的注意力特征。示例性而非限制性地，空间注意力模块可以包括两层3x3大小的卷积层和一层sigmoid激活层。
示例性地，融合模块可以包括依次顺序连接的第一拼接层、第一扩张残差块(Dilated Residual Dense Block,DRDB)、第二DRDB、第三DRDB、第一卷积层和第二卷积层，其中，第一DRDB的输出端还跳跃连接至第一卷积层的输入端，第二DRDB的输出端还跳跃连接至第一卷积层的输入端，第一拼接层的输出端还跳跃连接至第二卷积层的输入端，将对齐特征与注意力特征一起输入融合模块，以获得重建图像包括：将对齐特征与注意力特征一起输入第一拼接层，以获得由第二卷积层输出的重建图像。
将对齐特征与注意力特征在第一拼接层中进行拼接之后输入后续的网络结构进行融合的实施例仅是示例而非对本发明的限制。除拼接以外，对齐特征与注意力特征也可以通过其他方式结合在一起之后再输入后续的网络结构进行融合。当然，对齐特征和注意力特征还可以采用其他合适的融合方式融合在一起。
如图3所示，除第一拼接层以外，融合模块还可以包括三个DRDB和两个卷积层。从图3可以看出，第一拼接层、三个DRDB和两个卷积层依次顺序连接。为方便描述，按照图3从左到右的顺序将三个DRDB分别称为第一DRDB、第二DRDB和第三DRDB，并将两个卷积层分别称为第一卷积层和第二卷积层。从图3可以看出，除顺序连接关系以外，DRDB和卷积层之间还存在一些跳跃连接(shortcut)关系。例如，第一DRDB的输出端和第二DRDB的输出端均跳跃连接到第一卷积层的输入端。示例性地，在第一卷积层的输入端处，第一DRDB输出的特征、第二DRDB输出的特征以及第三DRDB输出的特征可以拼接在一起之后再输入第一卷积层。此外，第一拼接特征除输入第一DRDB以外，还同时通过跳跃连接输入到第二卷积层的输入端处。示例性地，第一拼接特征可以与第一卷积层输出的特征进行逐元素求和，随后将求和后的特征输入第二卷积层进行处理。
如图3所示，对齐特征和注意力特征输入融合模块之后，可以先在拼接层(第一拼接层)中进行拼接。需注意，本文中的“第一”、“第二”等术语主要用于区分目的，并不表示顺序或其他特殊含义。
示例性地，对齐特征和注意力特征拼接时，可以按照所对应图像的顺序拼接，并将同一图像对应的对齐特征和注意力特征排列在一起。例如，假设一共有3张LDR图像，则在拼接特征中，可以按照如下顺序排列对齐特征和注意力特征：图像1的对齐特征、图像1的注意力特征、图像2的对齐特征、图像2的注意力特征、图像3的对齐特征、图像3的注意力特征。当然，上述特征排列方式仅是示例而非对本发明的限制，本发明也可以采用其他合适的特征排列方式来拼接对齐特征和注意力特征。
对于原始输入的多个LDR图像来说，由于这些图像彼此的曝光程度不同，因此有利于从中检测出过曝饱和区域和欠曝区域。针对这些区域进行特征提取有助于后续进行融合时将过曝饱和区域和欠曝区域的细节信息考虑进去，从而有助于在HDR图像重建时能够更好地恢复过曝饱和区域和欠曝区域的细节，进而获得更精细准确的HDR图像。
现有用于图像重建任务的深度学习网络都是直接将多帧LDR图像和对应的伽马校正图像直接拼接之后送入同一网络进行处理，而并未根据二者的不同特性做不同处理。
根据本发明实施例，提供一种新颖的双分支网络结构。双分支网络结构的一支对原始LDR图像进行空间注意力处理，方便从具有不同曝光程度的图像中提取较丰富的过曝饱和区域和欠曝区域的细节信息。经研究表明，与不使用双分支的图像重建方法相比，本发明实施例提出的方法在过曝饱和区域边缘的恢复更加准确，并且在饱和区域能够恢复更加丰富的高频纹理细节。双分支网络结构的另一支则对经伽马校正的校正图像进行对齐处理，方便利用统一曝光程度的图像进行特征上的对齐，以降低曝光程度的不一致导致的对齐不准确进而形成鬼影的问题。综上，通过双分支网络结构，可以对原始LDR图像和经伽马校正后的校正图像分别做对应处理，从而可以同步解决动态场景多帧HDR重建任务中的鬼影问题及过曝和欠曝细节恢复问题。
根据本发明实施例，将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征(步骤S220)可以包括：
在可变形对齐模块中，执行以下操作：对多个伽马校正图像分别进行特征提取，以获得与多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，参考图像是多个待处理图像之一，非参考图像是多个待处理图像中除参考图像以外的图像；对拼接特征进行卷积，以计算参考图像和该非参考图像之间的偏移量；基于偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；其中，与参考图像对应的对齐特征为与参考图像对应的图像特征。
可选地，可以预先从多个待处理图像中选择出某一图像作为参考图像，剩余的图像作为非参考图像。每个非参考图像在特征层面与参考图像对齐。
在一个示例中，重建网络模型可以包括与所有非参考图像一一对应的可变形对齐模块，每个可变形对齐模块用于将所对应的非参考图像与参考图像进行对齐。这样，可以同步对多个非参考图像进行对齐处理，图像重建效率高。在另一个示例中，重建网络模型可以仅包括单一的可变形对齐模块，可以依次将任一非参考图像与参考图像一起输入至可变形对齐模块进行对齐，上一图像的对齐处理完成再执行当前图像的对齐处理。这种方式网络结构较简单，便于减小参数量。
示例性而非限制性地，可变形对齐模块包括特征提取层、第二拼接层、卷积层和可变形卷积层，将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征(步骤S220)可以包括：将多个伽马校正图像分别输入特征提取层进行特征提取，以获得与多个待处理图像一一对应的图像特征；对于任一非参考图像，将与参考图像对应的图像特征和与该非参考图像对应的图像特征输入第二拼接层进行拼接，以获得第二拼接特征；将第二拼接特征输入卷积层进行卷积，以计算参考图像和该非参考图像之间的偏移量；将与该非参考图像对应的图像特征和偏移量输入可变形卷积层进行可变形卷积，以获得与该非参考图像对应的对齐特征。
图4示出根据本发明一个实施例的可变形对齐模块的网络结构。参见图4，示出可变形对齐模块包括可变形卷积层。实际上，可变形对齐模块还可以包括拼接层(第二拼接层)、特征提取层和卷积层(未示出)。
首先，可以分别对多个LDR图像进行特征提取，以获得这些LDR图像各自的图像特征。
参考图像可以提取获得参考特征fr，非参考图像可以提取获得非参考特征
Figure BDA0003468195170000111
对于任意非参考特征
Figure BDA0003468195170000112
和参考特征fr，可以将二者拼接之后送入卷积层，输出偏移量(offsetmap)，随后使用偏移量对非参考特征
Figure BDA0003468195170000113
进行可变形卷积，输出对齐特征fii。
而对于参考图像来说，与该参考图像对应的对齐特征即为与参考图像对应的图像特征，即其图像特征无需进行处理，可以直接确定为对齐特征。
根据本发明实施例，参考图像可以是多个待处理图像中曝光值最接近0的图像。
比较可取的是，在挑选LDR图像时，使得其中至少包含一张0EV的图像。可选地，可以直接设定0EV图像为参考图像，其特征为参考特征。在LDR图像不包含0EV图像时，仍然可以从中挑选最接近0EV的图像作为参考图像。
例如，假设待处理图像的数目是三个。在一个示例中，三个待处理图像的曝光值分别为+2EV、0EV和-1EV，则可以选择0EV的图像作为参考图像。在另一个示例中，三个待处理图像的曝光值分别为+3EV、+2EV、+1EV，则可以选择+1EV的图像作为参考图像。在又一个示例中，三个待处理图像的曝光值分别为-1EV、-2EV、-3EV，则可以选择-1EV的图像作为参考图像。在再一个示例中，三个待处理图像的曝光值分别为+3EV、+2EV、-1EV，则可以选择-1EV的图像作为参考图像。
0EV的图像为标准曝光的图像，其包含有比较均衡的图像信息，通常重建后的HDR图像的亮度是比较接近0EV的图像的，因此将最接近0EV的图像作为参考图像有利于重建获得比较准确的HDR图像。
根据本发明实施例，参考图像可以是多个待处理图像中曝光值处于最中间的图像之一。
在待处理图像的数目是奇数的情况下，可以直接从所有待处理图像中选择曝光值处于最中间的那个图像作为参考图像。例如，假设待处理图像的数目是三个。在一个示例中，三个待处理图像的曝光值分别为+2EV、0EV和-1EV，则可以选择0EV的图像作为参考图像。在另一个示例中，三个待处理图像的曝光值分别为+3EV、+2EV、+1EV，则可以选择+2EV的图像作为参考图像。在又一个示例中，三个待处理图像的曝光值分别为-1EV、-2EV、-3EV，则可以选择-2EV的图像作为参考图像。在再一个示例中，三个待处理图像的曝光值分别为+3EV、+2EV、-1EV，则可以选择+2EV的图像作为参考图像。
在待处理图像的数目是偶数的情况下，处于最中间的图像有两个。对于这两个图像，可以从中进一步选择其中之一作为参考图像。从两个图像中选择其中之一可以采用任意合适的选择方式实现。例如，可以从两个图像中随机选择其中之一或者选择曝光值最接近0的图像作为参考图像。例如，假设待处理图像的数目是四个。在一个示例中，四个待处理图像的曝光值分别为+3EV、
+2EV、-1EV和-3EV，则处于最中间的是+2EV和-1EV的图像，可以从中选择最接近0EV的图像(即-1EV的图像)作为参考图像。
根据本发明实施例，方法100还可以包括：获取训练图像，训练图像包括与多个样本图像一一对应的多个样本校正图像和与多个样本图像对应的标注图像，其中，样本图像是LDR图像，标注图像是HDR图像，多个样本校正图像通过对多个样本图像进行伽马校正获得；利用初始重建网络模型处理多个样本校正图像，以获得预测重建图像；基于预测重建图像和标注图像计算重建损失项；获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征；基于预测图像特征和标注图像特征计算感知损失项；基于重建损失项和感知损失项计算总损失；基于总损失对初始重建网络模型的参数进行优化，得到重建网络模型。
初始重建网络模型即参数为初始化参数的重建网络模型。利用初始重建网络模型处理多个样本校正图像的方式与上文利用重建网络模型处理多个伽马校正图像的方式一致，本领域技术人员可以理解在训练过程中初始重建网络模型的使用方式以及预测重建图像的获得方式，本文不赘述。
本领域技术人员可以理解，重建网络模型的训练过程可以包括：将一组样本校正图像输入初始重建网络模型，得到所对应的预测重建图像，然后将预测重建图像和标注图像代入损失函数计算出损失项，并通过反向梯度传播算法对初始重建网络模型的参数进行优化直至损失项的值达到要求。当前优化完成之后再将下一组样本校正图像输入优化后的重建网络模型，重复以上优化过程，直到达到最大迭代次数或者模型收敛，结束训练过程。基于损失项优化重建网络模型的参数的过程可以采用常规优化方式实现，本文不做赘述。本文主要描述重建网络模型的训练中所涉及的损失项的计算方式。
与只使用像素级损失的现有损失函数计算方法不同，本发明实施例使用的损失函数可以包括重建损失项和感知损失项，如下：
Figure BDA0003468195170000131
在公式(2)中，l表示总损失，
Figure BDA0003468195170000132
和
Figure BDA0003468195170000133
分别表示重建损失项和感知损失项，λ表示预设比例系数。预设比例系数λ可以是任何合适的值，例如0.01。
重建损失项用于计算预测重建图像和标注图像(真实标签)之间的误差。示例性而非限制性地，该误差可以是诸如最小绝对值误差(l2误差)，即：
Figure BDA0003468195170000141
其中，IGT表示标注图像，IH表示预测重建图像，
Figure BDA0003468195170000142
()表示μ-law函数。μ-law函数的表达式如下：
Figure BDA0003468195170000143
μ-law函数表示对输入的图像(在公式(4)中用x表示)进行色调映射(tonemapping)，也就是将原始的输入图像变换到另一个亮度域上。为了更好地显示，重建出的HDR图像通常要经过
Figure BDA0003468195170000144
变换之后才显示在显示器上。
感知损失项可以用于计算预测重建图像和标注图像各自对应的图像特征上的误差。示例性而非限制性地，该误差也可以是诸如l1误差。感知损失项用于从特征层面约束重建的HDR图像的质量。由于加入感知损失项，因此在基于损失项优化重建网络模型的过程中，可以将预测重建图像和标注图像各自对应的图像特征上的误差也纳入优化因素，这有助于提高重建网络模型输出的HDR图像的质量。
示例性地，获取预测重建图像和标注图像各自对应的预测图像特征和标注图像特征包括：对预测重建图像和标注图像分别进行色调映射，以获得新的预测重建图像和新的标注图像；将新的预测重建图像和新的标注图像分别输入预训练网络模型，以获得各自对应的预测图像特征和标注图像特征。
感知损失项可以定义为：
Figure BDA0003468195170000145
其中，Φi()表示预训练网络模型中的参与针对重建网络模型的训练的m个层中的第i层的输出特征，i＝1,2,……,m。
预训练网络模型中的参与针对重建网络模型的训练的m个层可以包括预训练网络模型中的除输入层和输出层以外的任意m个网络层，也就是预训练网络模型中的任意m个隐藏层。m是大于或等于1的整数。m的大小可以根据需要设定，本发明不对此进行限制。比较可取的是，预训练网络模型中的参与针对重建网络模型的训练的m个层是预训练网络模型中最靠近输出层的m个层(即最后m个隐藏层)。
如上所述，为了更好地显示，重建出的HDR图像通常要经过
Figure BDA0003468195170000146
变换之后才显示在显示器上。因此，在利用预训练网络模型提取特征时，可以将预测重建图像和标注图像分别进行
Figure BDA0003468195170000147
变换之后再提取特征，而非直接提取预测重建图像和标注图像的特征。基于经过
Figure BDA0003468195170000148
变换的图像的特征计算感知损失项，并进而基于该损失项训练获得的重建网络模型所重建获得的HDR图像能够具有比较好的显示效果。
示例性而非限制性地，预训练网络模型可以是VGG16模型。
在训练时，训练图像可以首先被裁剪为256x256的大小。示例性地，可以使用Adam优化器对重建网络模型进行训练。Adam优化器的参数可以按照如下方式设置：β1＝0.9,β2＝0.999,∈＝10^(-8)，学习率为1e-4，训练代码可以使用PyTorch框架实现。
通过本发明实施例提出的使用可变形对齐的重建网络模型能够有效地去除图像重建中的鬼影，重建出较高质量的HDR图像。
根据本发明另一方面，提供一种图像重建装置。图5示出了根据本发明一个实施例的图像重建装置500的示意性框图。
如图5所示，根据本发明实施例的图像重建装置500包括获取模块510、第一输入模块520和第二输入模块530。各个模块可分别执行上文中结合图2描述的图像重建方法的各个步骤/功能。以下仅对该图像重建装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
获取模块510用于获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得。获取模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
第一输入模块520用于将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征。第一输入模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
第二输入模块530用于将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。第二输入模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图6示出了根据本发明一个实施例的电子设备600的示意性框图。电子设备600包括存储装置(即存储器)610、处理器620及存储在存储器上的计算机程序。
存储装置610存储用于实现根据本发明实施例的图像重建方法中的相应步骤的计算机程序指令。
处理器620用于运行存储装置610中存储的计算机程序指令，以执行根据本发明实施例的图像重建方法的相应步骤。
在一个实施例中，计算机程序指令被处理器620运行时用于执行以下步骤：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。
此外，根据本发明实施例，还提供了一种计算机可读存储介质，在计算机可读存储介质上存储了计算机程序/指令，在计算机程序/指令被计算机或处理器运行时用于执行本发明实施例的图像重建方法的相应步骤，并且用于实现根据本发明实施例的图像重建装置中的相应模块。存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，计算机程序/指令在运行时用于执行以下步骤：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。
此外，根据本发明实施例，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像重建方法。
在一个实施例中，该计算机程序/指令被处理器执行时用于执行以下步骤：获取与多个待处理图像一一对应的多个伽马校正图像，待处理图像是低动态范围图像，多个伽马校正图像通过对多个待处理图像进行伽马校正获得；将多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与多个待处理图像一一对应的对齐特征；将对齐特征输入重建网络模型中的融合模块，以获得重建图像，重建图像是高动态范围图像。
根据本发明实施例的电子设备中的各模块可以通过根据本发明实施例的实施图像重建的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像重建装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像重建方法，包括：
获取与多个待处理图像一一对应的多个伽马校正图像，所述待处理图像是低动态范围图像，所述多个伽马校正图像通过对所述多个待处理图像进行伽马校正获得；
将所述多个伽马校正图像输入所述重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征；
将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像，所述重建图像是高动态范围图像。
2.如权利要求1所述的方法，其中，所述重建网络模型还包括空间注意力模块，
所述方法还包括：
获取所述多个待处理图像；
将所述多个待处理图像输入所述空间注意力模块，以获得与所述多个待处理图像一一对应的注意力特征；
所述将所述对齐特征输入所述重建网络模型中的融合模块，以获得重建图像包括：
将所述对齐特征与所述注意力特征一起输入所述融合模块，以获得所述重建图像。
3.如权利要求1或2所述的方法，其中，所述将所述多个伽马校正图像输入重建网络模型中的可变形对齐模块，以获得与所述多个待处理图像一一对应的对齐特征包括：
在所述可变形对齐模块中，执行以下操作：
对所述多个伽马校正图像分别进行特征提取，以获得与所述多个待处理图像一一对应的图像特征；
对于任一非参考图像，
将与参考图像对应的图像特征和与该非参考图像对应的图像特征进行拼接，以获得拼接特征，其中，所述参考图像是所述多个待处理图像之一，所述非参考图像是所述多个待处理图像中除所述参考图像以外的图像；
对所述拼接特征进行卷积，以计算所述参考图像和该非参考图像之间的偏移量；
基于所述偏移量对与该非参考图像对应的图像特征进行可变形卷积，以获得与该非参考图像对应的对齐特征；
其中，与所述参考图像对应的对齐特征为与所述参考图像对应的图像特征。
4.如权利要求3所述的方法，其中，所述参考图像是所述多个待处理图像中曝光值最接近0的图像。
5.如权利要求3所述的方法，其中，所述参考图像是所述多个待处理图像中曝光值处于最中间的图像之一。
6.如权利要求1或2所述的方法，其中，所述方法还包括：
获取训练图像，所述训练图像包括与多个样本图像一一对应的多个样本校正图像和与所述多个样本图像对应的标注图像，其中，所述样本图像是低动态范围图像，所述标注图像是高动态范围图像，所述多个样本校正图像通过对所述多个样本图像进行伽马校正获得；
利用初始重建网络模型处理所述多个样本校正图像，以获得预测重建图像；
基于所述预测重建图像和所述标注图像计算重建损失项；
获取所述预测重建图像和所述标注图像各自对应的预测图像特征和标注图像特征；
基于所述预测图像特征和所述标注图像特征计算感知损失项；
基于所述重建损失项和所述感知损失项计算总损失；
基于所述总损失对所述初始重建网络模型的参数进行优化，得到所述重建网络模型。
7.如权利要求6所述的方法，其中，所述获取所述预测重建图像和所述标注图像各自对应的预测图像特征和标注图像特征包括：
对所述预测重建图像和所述标注图像分别进行色调映射，以获得新的预测重建图像和新的标注图像；
将所述新的预测重建图像和所述新的标注图像分别输入预训练网络模型，以获得各自对应的所述预测图像特征和所述标注图像特征。
8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1-7任一项所述的图像重建方法。
9.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的图像重建方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-7任一项所述的图像重建方法。
CN202210035539.5A 2022-01-13 2022-01-13 图像重建方法、电子设备、存储介质及程序产品 Pending CN114581316A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210035539.5A CN114581316A (zh) 2022-01-13 2022-01-13 图像重建方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210035539.5A CN114581316A (zh) 2022-01-13 2022-01-13 图像重建方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114581316A true CN114581316A (zh) 2022-06-03

Family

ID=81771916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210035539.5A Pending CN114581316A (zh) 2022-01-13 2022-01-13 图像重建方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114581316A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205157A (zh) * 2022-07-29 2022-10-18 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像系统及方法
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像系统及方法
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINTAO WANG ET AL: "EDVR: Video Restoration with Enhanced Deformable Convolutional Networks", 《HTTPS://ARXIV.ORG/PDF/1905.02716》, 7 May 2019 (2019-05-07), pages 1 - 9 *
ZHEN LIU ETAL: "ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging", 《2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》, 1 September 2021 (2021-09-01), pages 463 - 469 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205157A (zh) * 2022-07-29 2022-10-18 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质
CN115205157B (zh) * 2022-07-29 2024-04-26 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
Wang et al. Deep learning for hdr imaging: State-of-the-art and future trends
CN111669514B (zh) 高动态范围成像方法和装置
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
US8903139B2 (en) Method of reconstructing three-dimensional facial shape
CN113592726A (zh) 高动态范围成像方法、装置、电子设备和存储介质
CN110555527A (zh) 延时摄影视频的生成方法及设备
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN110874575A (zh) 一种脸部图像处理方法及相关设备
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
CN116797504A (zh) 图像融合方法、电子设备及存储介质
CN115222578A (zh) 图像风格迁移方法、程序产品、存储介质及电子设备
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
Peng et al. Mpib: An mpi-based bokeh rendering framework for realistic partial occlusion effects
CN114581316A (zh) 图像重建方法、电子设备、存储介质及程序产品
CN116797505A (zh) 图像融合方法、电子设备及存储介质
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN117274446A (zh) 一种场景视频处理方法、装置、设备及存储介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
CN116777766A (zh) 图像增强方法、电子设备及存储介质
CN115115518A (zh) 高动态范围图像的生成方法、装置、设备、介质及产品
CN115409721A (zh) 暗光视频增强方法及装置
CN114708143A (zh) 一种hdr图像生成方法、设备、产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination