CN110796595A - 一种色调映射方法、装置及电子设备 - Google Patents

一种色调映射方法、装置及电子设备 Download PDF

Info

Publication number
CN110796595A
CN110796595A CN201911057461.1A CN201911057461A CN110796595A CN 110796595 A CN110796595 A CN 110796595A CN 201911057461 A CN201911057461 A CN 201911057461A CN 110796595 A CN110796595 A CN 110796595A
Authority
CN
China
Prior art keywords
component
dynamic range
range image
high dynamic
storage form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911057461.1A
Other languages
English (en)
Other versions
CN110796595B (zh
Inventor
王荣刚
张宁
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201911057461.1A priority Critical patent/CN110796595B/zh
Priority to PCT/CN2019/118585 priority patent/WO2021082088A1/zh
Publication of CN110796595A publication Critical patent/CN110796595A/zh
Application granted granted Critical
Publication of CN110796595B publication Critical patent/CN110796595B/zh
Priority to US17/725,334 priority patent/US20220245775A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种色调映射方法、装置及电子设备。所述方法包括:获取一个或多个高动态范围图像,并判断所述高动态范围图像的存储形式;当所述高动态范围图像的存储形式为预定的存储形式时,将所述高动态范围图像分解为第一分量、第二分量以及第三分量;将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。采用本申请的技术方案,能够降低色调映射图像的色差,更加鲁棒地完成色调映射。

Description

一种色调映射方法、装置及电子设备
技术领域
本说明书涉及数字图像处理技术领域,尤其涉及一种色调映射方法、装置及电子设备。
背景技术
随着高动态范围(High Dynamic Range,HDR)技术的飞速发展,各种高动态范围视频、图像等内容日益增多,高动态范围图像相比普通动态范围的图像,可以提供更多的动态范围和图像细节,因此高动态范围图像能够更好地还原真实环境中的视觉效果。然而,由于目前大多数多媒体设备仍然显示的是有限动态范围(即低动态范围)的图像,高动态范围图像无法在这类多媒体设备上正常显示,所以如何将高动态范围图像在这类设备上正常显示,即色调映射技术成为了数字图像处理领域中比较重要的技术。由于色调映射受限于多媒体设备的位深等条件,因此无法完全一致的在多媒体设备上重现高动态范围图像,于是如何在压缩动态范围的同时保留尽可能多的局部细节,即尽可能还原高动态范围图像成为了研究的重点。
现有技术中,通过滤波器将高动态范围图像分为基本层和细节层,基础层包含图像的亮度等低频信息,细节层包含图像边缘等高频信息,对于基础层进行压缩,对细节层进行增强,最后融合成为低动态范围图像。然而,滤波的过程会引入光晕、伪影等噪声,并且这些噪声会对色调映射的结果产生严重影响,容易造成色差,降低图像的自然度,现有的色调映射方法无法鲁棒地完成高动态范围图像向低动态范围图像的转换。
基于现有技术,需要提供一种能够避免噪声影响,降低图像色差,并且鲁棒地完成高动态范围图像向低动态范围图像转换的色调映射方案。
发明内容
有鉴于此,本发明的目的在于提供一种色调映射方法、装置及电子设备,以解决现有技术存在的色调映射会产生色差,转换不够鲁棒的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种色调映射方法,所述方法包括:
获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断;
当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量;
将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;
将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
可选地,所述对所述高动态范围图像执行分解操作之前,还包括:
当判断所述高动态范围图像的存储形式为非预定的存储形式时,对所述高动态范围图像执行转换操作,以便将其转换为预定存储形式的高动态范围图像,并对所述转换后的高动态范围图像执行分解操作。
可选地,所述预定的存储形式包括HSV颜色空间,所述对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量,包括:
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取所述第一分量、第二分量以及第三分量;其中,所述第一分量包括饱和度信息,所述第二分量包括亮度信息,所述第三分量包括色相信息。
可选地,所述预定的深度神经网络为生成对抗网络,所述生成对抗网络包括生成网络和判别网络,其中:
所述生成网络基于U-Net网络建立,所述生成网络包括编码器和解码器,所述编码器内包含至少一个卷积块以及多个残差块,所述解码器内包含多个反卷积块;
所述判别网络包括多个卷积块,每个所述卷积块内包含依次排列的卷积层、归一化层和激活层。
可选地,所述生成对抗网络由预定的损失函数训练得到,所述损失函数包括生成对抗损失函数、均方误差函数和多尺度结构相似性损失函数中的一种或几种。
可选地,所述将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,包括:
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
可选地,所述得到符合预定存储形式的低动态范围图像之后,还包括:
对所述低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像。
本说明书实施例提供的一种色调映射装置,所述装置包括:
获取模块,用于获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断;
分解模块,用于当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量;
映射模块,用于将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;
融合模块,用于将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
可选地,所述装置还包括:
第一转换模块,用于在对所述高动态范围图像执行分解操作之前,当判断所述高动态范围图像的存储形式为非预定的存储形式时,对所述高动态范围图像执行转换操作,以便将其转换为预定存储形式的高动态范围图像,并对所述转换后的高动态范围图像执行分解操作。
可选地,所述预定的存储形式包括HSV颜色空间,所述分解模块具体用于:
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取所述第一分量、第二分量以及第三分量;其中,所述第一分量包括饱和度信息,所述第二分量包括亮度信息,所述第三分量包括色相信息。
可选地,所述融合模块具体用于:
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
可选地,所述装置还包括:
第二转换模块,用于在所述得到符合预定存储形式的低动态范围图像之后,对所述低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像。
本说明书实施例提供的一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述一种色调映射方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
本发明通过获取一个或多个高动态范围图像,并判断高动态范围图像的存储形式,当高动态范围图像的存储形式为预定的存储形式时,将高动态范围图像分解为第一分量、第二分量以及第三分量;将第一分量和第二分量输入到预定的深度神经网络中,并利用深度神经网络分别对第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;将映射后的第一分量以及第二分量与第三分量进行融合,得到融合后的与高动态范围图像相对应的低动态范围图像,以便完成色调映射。采用本申请的技术方案,能够避免噪声影响,降低色调映射后低动态范围图像的色差,实现更加鲁棒地完成高动态范围图像向低动态范围图像的转换。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见的下面描述中的附图仅仅是本发明的实施例,对于本领域普通人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本说明书实施例提供的一种色调映射方法的流程示意图;
图2是本说明书实施例提供的一种具体应用场景下利用生成对抗网络进行色调映射的流程示意图;
图3是本说明书实施例提供的一种色调映射装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
随着数字图像处理技术领域的发展,作为图像处理技术领域中的重要分支之一,高动态范围(High Dynamic Range,HDR)技术也随之崛起,各种高动态范围视频、图像等内容日益增多。高动态范围图像可以认为是相比普通动态范围的图像,可以提供更多动态范围和细节的图像,因此高动态范围图像能够更好地还原真实环境中的视觉效果。动态范围是指场景中的最高亮度和最低亮度之比,在实际应用中,可以将动态范围超过105的图像认为是高动态范围图像。但是,由于目前大多数多媒体设备仍然显示的是有限动态范围(即低动态范围)的图像,因此高动态范围图像无法在这类多媒体设备上正常显示,所以如何将高动态范围图像在这类设备上正常显示,即色调映射技术成为了数字图像处理领域中比较重要的技术。
色调映射是指在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术,有限动态范围媒介包括LCD显示设备、投影设备等。由于色调映射是一个病态问题,受限于多媒体设备的位深等条件,因此无法完全一致的在多媒体设备上重现高动态范围图像,于是如何在压缩动态范围的同时保留尽可能多的局部细节,即尽可能还原高动态范围图像成为了研究的重点。
在现有技术中,通过滤波器将高动态范围图像分为基本层和细节层,基础层包含图像的亮度等低频信息,细节层包含图像边缘等高频信息,对于基础层进行压缩,对细节层进行增强,最后融合成为低动态范围图像。然而,现有的这种处理方式存在很多弊端,例如滤波的过程会引入光晕、伪影等噪声,这些噪声难以消除,并且噪声会对色调映射的结果产生严重影响,容易造成色差,降低图像的自然度。
进一步地,现有技术中虽然已提出利用深度学习方法完成色调映射,但是现有的深度学习方法是基于RGB颜色空间直接进行的色调映射,因此仍然无法避免色差问题;另外,现有深度学习方法中仍然采用由传统滤波方法得到的色调映射后的图像作为深度学习训练的标签,但是由传统滤波方法所得到的低动态范围图像本身色差就比较大,导致用于深度学习训练的图像标签的质量整体较差,因此难以学习到高质量的色调映射图像。
因此,针对高动态范围图像,需要提供一种能避免噪声影响,降低色调映射图像的色差,更加鲁棒地完成高动态范围图像向低动态范围图像转换的色调映射方案。需要说明的是,本说明书以下实施例是针对高动态范围图像作为处理对象进行的,本说明书实施例不对高动态范围图像的存储形式作限制,例如可以将存储形式为RGB颜色空间的高动态范围图像作为处理对象,RGB颜色空间的高动态范围图像只是本说明书实际应用场景下的一种实施例,不构成对本说明书实施例应用范围的限定。
图1为本说明书实施例提供的一种色调映射方法的流程示意图。该方法具体可以包括以下步骤:
在步骤S110中,获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断。
在本说明书一个或多个实施例中,所述高动态范围图像可以认为是色调映射处理的对象,因此获取一个或多个高动态范围图像,即可以认为是获取一个或多个原始处理对象或目标图像。根据前述内容,本说明书实施例中的原始处理对象可以是使用任意存储形式存储的高动态范围图像,在现实应用中,高动态范围图像的存储形式包括但不限于:RGB、HSV、CMY、CMYK、YIQ、Lab等颜色空间(或称为色彩空间)。
进一步地,在本说明书实施例中,由于图像是以四维矩阵的方式存储在计算机中的,不同颜色空间的存储形式可以认为是采用了不同矩阵和颜色变量,因此可以通过分析高动态范围图像的矩阵结构或颜色等对高动态范围图像的存储形式进行判断。例如,对于HSV颜色空间来说,其空间矩阵结构为六角锥体模型,并且通过色相(Hue)、饱和度(Saturation)以及亮度(Value)来描述图像的颜色。
在步骤S120中,当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量。
在本说明书一个或多个实施例中,基于上述实施例中对高动态范围图像的存储形式的判断(即判断颜色空间),根据判断结果确定执行下一步操作,具体可以包括以下情形:
情形一:当判断高动态范围图像的存储形式为预定的存储形式时,对高动态范围图像执行分解操作,得到高动态范围图像的第一分量、第二分量以及第三分量。
进一步地,在本说明书实施例中,所述预定的存储形式可以是HSV颜色空间,当判断高动态范围图像的存储形式为HSV颜色空间时,可直接对目标图像(即高动态范围图像)执行分解操作,从而得到目标图像的第一分量、第二分量以及第三分量。
情形二:当判断高动态范围图像的存储形式为非预定的存储形式时,即目标图像的存储形式并非采用HSV颜色空间时,例如经判断目标图像的存储形式为RGB颜色空间;此时,在对高动态范围图像执行分解操作之前,还需要对高动态范围图像执行转换操作,以便将其转换为预定存储形式(即HSV颜色空间)的高动态范围图像,从而对转换后的高动态范围图像执行分解操作。
进一步地,在本说明书实施例中,以目标图像(即原始处理对象)为RGB颜色空间的高动态范围图像为例,可以基于Opencv下的计算机视觉处理技术将高动态范围图像由RGB颜色空间转换到HSV颜色空间。因此,通过对高动态范围图像的存储形式进行转换,从而得到符合预定存储形式的高动态范围图像,以便将原始处理对象转换为可直接用于分解的待处理图像。
在本说明书一具体实施例中,当获得了HSV颜色空间的高动态范围图像后,可以采用以下方式对高动态范围图像执行分解操作,以便得到高动态范围图像的第一分量、第二分量以及第三分量,具体可以包括以下内容:
对高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取第一分量、第二分量以及第三分量;其中,第一分量包括饱和度信息,第二分量包括亮度信息,第三分量包括色相信息。
由于HSV颜色空间中是采用色相(Hue)、饱和度(Saturation)以及亮度(Value)来描述图像颜色的,因此HSV颜色空间中包含了色相分量(H通道)、饱和度分量(S通道)和亮度分量(V通道),所以可直接从HSV颜色空间中提取上述的三个分量,并记为第一分量、第二分量以及第三分量,其中,可用第一分量表示饱和度信息,第二分量表示亮度信息,第三分量表示色相信息;上述第一分量、第二分量以及第三分量中的“第一”、“第二”、“第三”仅仅为了区分不同的分量,不作为对具体分量名称及内容的限定。
值得说明的是,本说明书实施例之所以将原始处理对象转换到HSV颜色空间,并对HSV颜色空间下的高动态范围图像进行分量分解的意义在于,考虑到色调映射主要针对的是动态范围的压缩,至于色相问题一般由色域映射解决,因此通过将高动态范围图像由RGB颜色空间转换到HSV颜色空间,并分解为H通道、S通道和V通道,其中,H通道包含色相信息,S通道包含饱和度信息,V通道包含亮度信息,对于饱和度分量和亮度分量学习映射,而对于色相分量暂不做处理,保留色相分量,继而融合形成低动态范围图像,由于保留了色相分量,因此降低了对色彩造成影响,降低了色调映射后图像的色差。
在步骤S130中,将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量。
在本说明书一个或多个实施例中,所述预定的深度神经网络为生成对抗网络,生成对抗网络可以包括生成网络和判别网络,下面对生成网络和判别网络的结构做进一步描述,具体可以包括以下内容:
生成网络基于U-Net网络建立,生成网络包括编码器和解码器,编码器内包含至少一个卷积块以及多个残差块,解码器内包含多个反卷积块;
进一步地,在本说明书实施例中,生成网络又可以称为生成器,生成网络基于U-Net网络结构建立;编码器内包含依次排列的一个卷积块和四个残差块,其中,该卷积块内包含一个卷积层和激活层,卷积层的卷积核尺寸为3*3,步长为2,填充为1,通道数为64;每个残差块内包含依次排列的卷积层、激活层、卷积层和激活层,并且在第二个激活层之前还包括对当前残差块的输入信息与第二个卷积层的输出信息执行相加的操作,其中,残差块内卷积层的卷积核尺寸为3*3,步长为2,每个残差块的通道数从64开始按两倍递增,编码器内的激活层采用RELU激活函数,为了保持特征图尺寸不变采用镜像对称的方式做边缘填充;在编码器的最后一个残差块之后还连接有一个通道为512,卷积核为1*1的卷积层做特征变换;
解码器内包含依次排列的五个反卷积块做上采样,反卷积块内反卷积层(转置卷积层)的卷积核为3*3,步长为2,通道数按二分之一递减。在编码器和解码器相同分辨率的卷积块之间添加跳跃连接以恢复由于分辨率减半造成的空间结构信息的损失。在解码器之后连接两个卷积块做微调,两个卷积块内卷积层的卷积核为3*3,步长为1,通道分别为64和2。在解码器以及解码器之后的两个卷积块中,除最后一层的激活层采用Sigmoid激活函数外其余均采用RELU激活函数。
判别网络包括多个卷积块,每个卷积块内包含依次排列的卷积层、归一化层和激活层。进一步地,在本说明书实施例中,判别网络又可以称为判别器,判别网络由四个卷积块组成,卷积块内卷积层的卷积核大小为3*3,步长为2,判别网络内的归一化层采用layernormalization,激活层采用RELU激活函数。
在实际应用中,生成对抗网络可以由预定的损失函数训练得到,损失函数包括生成对抗损失函数、均方误差函数和多尺度结构相似性损失函数中的一种或几种。
在步骤S140中,将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
在本说明书一个或多个实施例中,继续以上实施例的内容,在将亮度分量以及饱和度分量输入生成对抗网络学习映射,输出映射后的亮度分量以及饱和度分量,将映射后的亮度分量以及饱和度分量与色相分量进行融合,即可得到融合后的与原始处理对象(高动态范围图像)相对应的低动态范围图像,即完成了色调的映射。
进一步地,在本说明书实施例中,可以采用以下方式对上述分量进行融合以便得到低动态范围图像,具体地:
将映射后的第一分量以及第二分量与第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
在本说明书一具体实施场景中,由于第一分量、第二分量以及第三分量对应的是HSV颜色空间中的S通道、V通道和H通道,因此将学习映射后得到的S通道、V通道与原H通道进行融合,得到的依然是HSV颜色空间所对应的低动态范围图像。因此,为了便于将低动态范围图像还原到原始处理对象对应的颜色空间(如RGB颜色空间),在得到符合预定存储形式的低动态范围图像之后,还可以包括:对低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像;当然,容易理解的是,本说明书实施例中对原始处理对象(高动态范围图像)对应的颜色空间没有具体限制,因此将低动态范围图像转换到何种颜色空间,可根据实际需求来确定。
下面结合一具体实施例,对利用生成对抗网络进行色调映射的过程进行说明。如图2所示,该图示出了本说明书实施例提供的一种具体应用场景下利用生成对抗网络进行色调映射的流程示意图。根据前述实施例的内容并结合图2所示,基于本说明书实施例所公开生成对抗网络的结构,通过在生成器部分利用U-Net网络结构学习充足的多尺度信息;由于色调映射主要是对亮度的映射,物体的结构等信息不会发生变化,所以在编码器中引入残差块,在保持结构完整性和避免信息丢失的同时,降低网络学习的难度。另外,由于色调映射往往会得到不真实的映射结果,所以利用生成对抗网络,引入对抗损失在感知层面上进行学习来提高映射图片的自然度。
本说明书实施例通过将高动态范围图像的饱和度分量和亮度分量同时输入到生成对抗网络中学习映射,并保留原有的色相分量,最后将其融合形成低动态范围图像。在生成对抗网络的训练阶段,由于引入了生成对抗损失和结构相似性损失,因此利用本发明生成对抗网络学习映射后得到的亮度分量以及饱和度分量与原有的色相分量进行融合所得到的图像,不仅在结构上与原始的高动态范围图像高度一致,而且具备很高自然度,在学习亮度和饱和度映射的同时避免造成色差等问题。
利用本说明书实施例色调映射得到的图像作为训练生成对抗网络的数据集,可提升神经网络学习的效果,并且还可以通过调节参数以获得高质量的色调映射标签数据集。
基于同样的思路,本说明书实施例还提供了一种色调映射装置,如图3为本说明书实施例提供的一种色调映射装置,该装置300主要包括:
获取模块301,用于获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断;
分解模块302,用于当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量;
映射模块303,用于将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;
融合模块304,用于将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
根据本申请的实施例,所述装置还包括:
第一转换模块305,用于在对所述高动态范围图像执行分解操作之前,当判断所述高动态范围图像的存储形式为非预定的存储形式时,对所述高动态范围图像执行转换操作,以便将其转换为预定存储形式的高动态范围图像,并对所述转换后的高动态范围图像执行分解操作。
根据本申请的实施例,在所述装置中,所述预定的存储形式包括HSV颜色空间,所述分解模块302具体用于:
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取所述第一分量、第二分量以及第三分量;其中,所述第一分量包括饱和度信息,所述第二分量包括亮度信息,所述第三分量包括色相信息。
根据本申请的实施例,在所述装置中,所述融合模块304具体用于:
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
根据本申请的实施例,在所述装置中,所述装置还包括:
第二转换模块306,用于在所述得到符合预定存储形式的低动态范围图像之后,对所述低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像。
本说明书实施例还提供一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述一种色调映射方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、电子设备与方法是对应的,因此,装置、电子设备也具有与对应方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述对应装置、电子设备的有益技术效果。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神和范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种色调映射方法,所述方法包括:
获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断;
当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量;
将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;
将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
2.如权利要求1所述的方法,所述对所述高动态范围图像执行分解操作之前,还包括:
当判断所述高动态范围图像的存储形式为非预定的存储形式时,对所述高动态范围图像执行转换操作,以便将其转换为预定存储形式的高动态范围图像,并对所述转换后的高动态范围图像执行分解操作。
3.如权利要求1所述的方法,所述预定的存储形式包括HSV颜色空间,所述对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量,包括:
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取所述第一分量、第二分量以及第三分量;其中,所述第一分量包括饱和度信息,所述第二分量包括亮度信息,所述第三分量包括色相信息。
4.如权利要求1所述的方法,所述预定的深度神经网络为生成对抗网络,所述生成对抗网络包括生成网络和判别网络,其中:
所述生成网络基于U-Net网络建立,所述生成网络包括编码器和解码器,所述编码器内包含至少一个卷积块以及多个残差块,所述解码器内包含多个反卷积块;
所述判别网络包括多个卷积块,每个所述卷积块内包含依次排列的卷积层、归一化层和激活层。
5.如权利要求4所述的方法,所述生成对抗网络由预定的损失函数训练得到,所述损失函数包括生成对抗损失函数、均方误差函数和多尺度结构相似性损失函数中的一种或几种。
6.如权利要求1所述的方法,所述将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,包括:
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
7.如权利要求6所述的方法,所述得到符合预定存储形式的低动态范围图像之后,还包括:
对所述低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像。
8.一种色调映射装置,所述装置包括:
获取模块,用于获取一个或多个高动态范围图像,并对所述高动态范围图像的存储形式进行判断;
分解模块,用于当判断所述高动态范围图像的存储形式为预定的存储形式时,对所述高动态范围图像执行分解操作,得到所述高动态范围图像的第一分量、第二分量以及第三分量;
映射模块,用于将所述第一分量和第二分量输入到预定的深度神经网络中,并利用所述深度神经网络分别对所述第一分量和第二分量进行映射,得到映射后的第一分量和第二分量;
融合模块,用于将所述映射后的第一分量以及第二分量与所述第三分量进行融合,得到融合后的与所述高动态范围图像相对应的低动态范围图像,以便完成色调映射。
9.如权利要求8所述的装置,所述装置还包括:
第一转换模块,用于在对所述高动态范围图像执行分解操作之前,当判断所述高动态范围图像的存储形式为非预定的存储形式时,对所述高动态范围图像执行转换操作,以便将其转换为预定存储形式的高动态范围图像,并对所述转换后的高动态范围图像执行分解操作。
10.如权利要求8所述的装置,所述预定的存储形式包括HSV颜色空间,所述分解模块具体用于:
对所述高动态范围图像所对应的HSV颜色空间中的分量进行提取,以便获取所述第一分量、第二分量以及第三分量;其中,所述第一分量包括饱和度信息,所述第二分量包括亮度信息,所述第三分量包括色相信息。
11.如权利要求8所述的装置,所述融合模块具体用于:
将所述映射后的第一分量以及第二分量与所述第三分量进行叠加,得到符合预定存储形式的低动态范围图像。
12.如权利要求11所述的装置,所述装置还包括:
第二转换模块,用于在所述得到符合预定存储形式的低动态范围图像之后,对所述低动态范围图像执行转换操作,以便将其转换为RGB颜色空间所对应的低动态范围图像。
13.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
CN201911057461.1A 2019-10-31 2019-10-31 一种色调映射方法、装置及电子设备 Active CN110796595B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911057461.1A CN110796595B (zh) 2019-10-31 2019-10-31 一种色调映射方法、装置及电子设备
PCT/CN2019/118585 WO2021082088A1 (zh) 2019-10-31 2019-11-14 一种色调映射方法、装置及电子设备
US17/725,334 US20220245775A1 (en) 2019-10-31 2022-04-20 Tone mapping method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911057461.1A CN110796595B (zh) 2019-10-31 2019-10-31 一种色调映射方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110796595A true CN110796595A (zh) 2020-02-14
CN110796595B CN110796595B (zh) 2022-03-01

Family

ID=69440621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911057461.1A Active CN110796595B (zh) 2019-10-31 2019-10-31 一种色调映射方法、装置及电子设备

Country Status (3)

Country Link
US (1) US20220245775A1 (zh)
CN (1) CN110796595B (zh)
WO (1) WO2021082088A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667430A (zh) * 2020-06-09 2020-09-15 展讯通信(上海)有限公司 图像的处理方法、装置、设备以及存储介质
CN111784598A (zh) * 2020-06-18 2020-10-16 Oppo(重庆)智能科技有限公司 色调映射模型的训练方法、色调映射方法及电子设备
CN113066019A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法及相关装置
CN115205157A (zh) * 2022-07-29 2022-10-18 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质
WO2022226771A1 (zh) * 2021-04-27 2022-11-03 京东方科技集团股份有限公司 图像处理方法和图像处理装置
CN116029914A (zh) * 2022-07-27 2023-04-28 荣耀终端有限公司 图像处理方法与电子设备
CN117474816A (zh) * 2023-12-26 2024-01-30 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、系统及可读存储介质
TWI844030B (zh) * 2022-06-07 2024-06-01 鴻海精密工業股份有限公司 瑕疵檢測裝置及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11908109B1 (en) * 2019-11-04 2024-02-20 madVR Holdings LLC Enhanced video processor
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
CN116993997A (zh) * 2022-04-22 2023-11-03 戴尔产品有限公司 用于训练编码器和处理数据的方法、电子设备和程序产品
CN115631428B (zh) * 2022-11-01 2023-08-11 西南交通大学 一种基于结构纹理分解的无监督图像融合方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统
CN108010024A (zh) * 2017-12-11 2018-05-08 宁波大学 一种盲参考色调映射图像质量评价方法
CN108024104A (zh) * 2017-12-12 2018-05-11 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108805836A (zh) * 2018-05-31 2018-11-13 大连理工大学 基于深度往复式hdr变换的图像校正方法
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其系统
CN110223256A (zh) * 2019-06-10 2019-09-10 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备
CN110383802A (zh) * 2017-03-03 2019-10-25 杜比实验室特许公司 利用逼近函数的彩色图像修改

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110028850A1 (en) * 2009-07-28 2011-02-03 Thomas Schuhrke Process for quantitative display of blood flow
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
CN108885782B (zh) * 2017-08-09 2022-04-26 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
WO2019241155A1 (en) * 2018-06-11 2019-12-19 Arterys Inc. Simulating abnormalities in medical images with generative adversarial networks
CN110232669A (zh) * 2019-06-19 2019-09-13 湖北工业大学 一种高动态范围图像的色调映射方法及系统
US11150605B1 (en) * 2019-07-22 2021-10-19 Facebook Technologies, Llc Systems and methods for generating holograms using deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123923A1 (en) * 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
CN110383802A (zh) * 2017-03-03 2019-10-25 杜比实验室特许公司 利用逼近函数的彩色图像修改
CN107657594A (zh) * 2017-09-22 2018-02-02 武汉大学 一种高质量的快速色调映射方法和系统
CN108010024A (zh) * 2017-12-11 2018-05-08 宁波大学 一种盲参考色调映射图像质量评价方法
CN108024104A (zh) * 2017-12-12 2018-05-11 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN108805836A (zh) * 2018-05-31 2018-11-13 大连理工大学 基于深度往复式hdr变换的图像校正方法
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其系统
CN110223256A (zh) * 2019-06-10 2019-09-10 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAO WANG .ETC: "Deep Inverse Tone Mapping for Compressed Images", 《IEEE ACCESS》 *
VAIBHAV AMIT PATEL等: "A Generative Adversarial Network for Tone Mapping HDR Images", 《COMMUNICATIONS IN COMPUTER AND INFORMATION SCIENCE》 *
YU-SHENG CHEN等: "Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
刘延: "高动态范围图像色调映射算法及其评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667430A (zh) * 2020-06-09 2020-09-15 展讯通信(上海)有限公司 图像的处理方法、装置、设备以及存储介质
CN111667430B (zh) * 2020-06-09 2022-11-22 展讯通信(上海)有限公司 图像的处理方法、装置、设备以及存储介质
CN111784598A (zh) * 2020-06-18 2020-10-16 Oppo(重庆)智能科技有限公司 色调映射模型的训练方法、色调映射方法及电子设备
CN113066019A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法及相关装置
WO2022226771A1 (zh) * 2021-04-27 2022-11-03 京东方科技集团股份有限公司 图像处理方法和图像处理装置
TWI844030B (zh) * 2022-06-07 2024-06-01 鴻海精密工業股份有限公司 瑕疵檢測裝置及方法
CN116029914A (zh) * 2022-07-27 2023-04-28 荣耀终端有限公司 图像处理方法与电子设备
CN116029914B (zh) * 2022-07-27 2023-10-20 荣耀终端有限公司 图像处理方法与电子设备
CN115205157A (zh) * 2022-07-29 2022-10-18 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质
CN115205157B (zh) * 2022-07-29 2024-04-26 如你所视(北京)科技有限公司 图像处理方法和系统、电子设备和存储介质
CN117474816A (zh) * 2023-12-26 2024-01-30 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、系统及可读存储介质
CN117474816B (zh) * 2023-12-26 2024-03-12 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、系统及可读存储介质

Also Published As

Publication number Publication date
WO2021082088A1 (zh) 2021-05-06
US20220245775A1 (en) 2022-08-04
CN110796595B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110796595B (zh) 一种色调映射方法、装置及电子设备
CN101360250B (zh) 沉浸产生方法和系统及因素控制、内容分析及参数预测法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN114998145B (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN110689495B (zh) 一种深度学习的图像修复方法
CN110674759A (zh) 一种基于深度图的单目人脸活体检测方法、装置及设备
CN111145290B (zh) 一种图像彩色化方法、系统和计算机可读存储介质
CN113284064B (zh) 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN110264413B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20230025557A1 (en) Method and device of inverse tone mapping and electronic device
CN110363720A (zh) 一种图像的色彩增强方法、装置、设备和存储介质
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN112802137B (zh) 一种基于卷积自编码器的颜色恒常性方法
Zhang et al. A real-time semi-supervised deep tone mapping network
CN106709888B (zh) 一种基于人眼视觉模型的高动态范围图像产生方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质
CN113781321A (zh) 图像高亮区域的信息补偿方法、装置、设备及存储介质
CN113436107A (zh) 图像增强方法、智能设备、计算机存储介质
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
CN114549386B (zh) 一种基于自适应光照一致性的多曝光图像融合方法
CN111968039A (zh) 基于硅传感器相机的昼夜通用图像处理方法、装置及设备
WO2016026650A1 (en) Methods and apparatus for mapping input image
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant