CN113781321A - 图像高亮区域的信息补偿方法、装置、设备及存储介质 - Google Patents

图像高亮区域的信息补偿方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113781321A
CN113781321A CN202110883140.8A CN202110883140A CN113781321A CN 113781321 A CN113781321 A CN 113781321A CN 202110883140 A CN202110883140 A CN 202110883140A CN 113781321 A CN113781321 A CN 113781321A
Authority
CN
China
Prior art keywords
image
overexposure
initial
information
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110883140.8A
Other languages
English (en)
Other versions
CN113781321B (zh
Inventor
章政文
陈翔宇
董超
乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110883140.8A priority Critical patent/CN113781321B/zh
Publication of CN113781321A publication Critical patent/CN113781321A/zh
Priority to PCT/CN2021/138081 priority patent/WO2023010751A1/zh
Application granted granted Critical
Publication of CN113781321B publication Critical patent/CN113781321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像高亮区域的信息补偿方法、装置、设备及存储介质，涉及图像处理技术领域。图像高亮区域的信息补偿方法包括：获取待处理图像的过曝掩模图像和初始优化图像，过曝掩模图像用于指示待处理图像的高亮区域；根据初始优化图像获取全局曝光信息；根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息；利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。本申请提供的图像高亮区域的信息补偿方法可以解决图像优化处理任务中图像的高亮区域内容丢失的问题。

Description

图像高亮区域的信息补偿方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像高亮区域的信息补偿方法、装置、设备及存储介质。
背景技术
图像优化处理任务一般包括图像编辑、图像修饰与调色、图像上色、SDR视频转HDR视频等。优化后的图像与对应的原始图像相比，具备更高的对比度以及更丰富的色彩，也可以更好的反应真实环境中的视觉信息。在对原始图像进行优化处理时，若原始图像的曝光度过高，一些高亮区域的信息不容易被提取出来。如果按照对正常曝光图像的优化处理方法对过曝光的原始图像进行处理，会使优化图像中丢失部分高亮区域的内容信息，导致优化图像的色彩存在偏差，优化效果较差。
发明内容
本申请实施例提供一种图像高亮区域的信息补偿方法、装置、设备及存储介质，可以解决图像优化处理任务中优化图像的高亮区域内容丢失的问题。
第一方面，本申请实施例提供一种图像高亮区域的信息补偿方法，该方法包括：获取待处理图像的过曝掩模图像和初始优化图像，过曝掩模图像用于指示待处理图像的高亮区域；根据初始优化图像获取全局曝光信息；根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息；利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。
基于本申请提供的图像高亮区域的信息补偿方法，可以根据过曝掩模图像识别待处理图像的高亮区域，相应地，也可以识别到待处理图像的初始优化图像的高亮区域。从初始优化图像中提取全局曝光信息，并根据过曝掩模图像确定初始优化图像高亮区域的过曝光信息，将过曝光信息与初始优化图像融合，可以对初始优化图像的高亮区域的信息进行补偿，从而弥补了初始优化图像高亮部分缺失的内容信息，得到的补偿图像的高亮区域比初始优化图像的高亮区域具备更多的特征信息，解决了优化图像图像的高亮区域内容丢失的问题，进而提高了优化图像的质量。
可选地，根据初始优化图像获取全局曝光信息，包括：将初始优化图像输入到已训练的生成器中进行处理，得到全局曝光信息。
可选地，生成器的训练方法包括：构建生成对抗网络，生成对抗网络包括生成器的初始模型和判别器；利用预设的损失函数和训练集对生成对抗网络进行对抗训练，得到生成器，其中，训练集包括与多个待处理图像样本对应的初始优化图像样本、过曝掩模图像样本和补偿图像样本；
损失函数用于描述补偿图像样本与预测图像之间的绝对误差损失值、补偿图像样本与预测图像之间的感知损失值和预测图像的判别器损失值的综合损失值；预测图像是指初始优化图像样本经过初始模型处理后，与过曝掩模图像样本相乘，再与初始优化图像样本叠加得到的图像。
可选地，损失函数表示为：
Figure BDA0003192910990000021
其中，L表示损失函数，IGT表示补偿图像样本，IH表示预测图像，D(·)表示判别器的输出，α、β和γ均为超参数。
可选地，过曝掩模图像中像素点的像素值的确定方法包括：
根据公式
Figure BDA0003192910990000022
确定过曝掩模图像中像素点的像素值，其中，Imask(x,y)表示过曝掩模图像位于(x,y)处的像素点的像素值，IS(x,y)表示待处理图像位于(x,y)处的像素点的像素值，λ表示预设的过曝阈值。
可选地，待处理图像为从SDR视频中抽帧得到的SDR视频帧，初始优化图像为SDR视频帧通过HDR转换得到的HDR视频帧。
第二方面，本申请实施例提供了一种图像高亮区域的信息补偿装置，该装置包括：
获取单元，用于获取待处理图像的过曝掩模图像和初始优化图像，过曝掩模图像用于指示待处理图像的高亮区域；处理单元，根据初始优化图像获取全局曝光信息，根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息，利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。
可选地，根据初始优化图像获取全局曝光信息，包括：将初始优化图像输入到已训练的生成器中进行处理，得到全局曝光信息。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种图像高亮区域的信息补偿方法的流程图；
图2是本申请一实施例提供的一种生成器的网络结构图；
图3是本申请一实施例提供的一种HDR和SDR色域表示范围的示意图；
图4是本申请一实施例提供的一种生成器的训练流程图；
图5是本申请一实施例提供的一种HDR视频转SDR视频的流程示意图；
图6是本申请一实施例提供的一种图像高亮区域的信息补偿装置的结构示意图；
图7是本申请一实施例提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了解决图像的高亮部分信息丢失的问题。本申请实施例提供一种图像高亮区域的信息补偿方法、装置、设备和存储介质。首先根据待处理图像的过曝掩模图像识别待处理图像的高亮区域。然后从待处理图像的初始优化图像中提取全局曝光信息，并根据过曝掩模图像确定初始优化图像高亮区域的过曝光信息，将过曝光信息与初始优化图像融合，可以实现对初始优化图像的高亮区域的信息补偿，从而弥补了初始优化图像中高亮部分缺失的内容信息，得到的补偿图像的高亮区域比初始优化图像的高亮区域具备更多的特征信息，解决了图像优化处理任务中优化图像的高亮部分的内容信息丢失的问题，进而提高了优化图像的质量。
下面结合附图，对本申请的技术方案进行详细描述。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
结合图1对本申请实施例提供的图像高亮区域的信息补偿方法进行示例性的说明。在一种可能的实现方式中，本申请提供的图像高亮区域的信息补偿方法包括：获取待处理图像的过曝掩模图像和初始优化图像，过曝掩模图像用于指示待处理图像的高亮区域。根据初始优化图像获取全局曝光信息。根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息，利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。
在一个实施例中，可以通过颜色查找表、训练好的深度学习方法或传统的数字图像处理方法对待处理图像进行优化处理，得到待处理图像的初始优化图像。初始优化图像与待处理图像相比色彩丰富度更高，但在对待处理图像进行优化处理的过程中，初始优化图像高亮部分的信息可能会丢失。因此，为了保证初始优化图像的质量，需要对初始优化图像做进一步的处理，对初始优化图像的高亮区域缺失的内容信息进行补偿。
在一个实施例中，可以通过公式(1)获取过曝掩模图像中每个像素点的像素值，即：
Figure BDA0003192910990000051
在公式(1)中，Imask(x,y)表示过曝掩模图像Imask在(x,y)处的像素点的像素值；IS(x,y)表示待处理图像IS在(x,y)处的像素点的像素值；λ为预设的过曝阈值，用于控制待处理图像的过曝程度，可以根据实际需要设定对应的数值。可以根据过曝掩模图像中的像素点的像素值确定待处理图像中的高亮区域。
在一种可能的实现方式中，可以采用深度学习的方法，利用已训练的神经网络模型来识别过曝光信息。例如本申请实施例提供了一种生成器，基于该生成器可以识别待处理图像对应的初始优化图像中的过曝光信息。该生成器(Generator)的结构如图2所示，生成器包括：依次连接的多个下采样模块和与多个上采样模块一一对应的多个上采样模块。其中，下采样模块包括卷积层和下采样层(DownSample)，上采样模块包括上采样层(UpSample)和卷积层。在本申请中，将初始优化图像输入到已训练的生成器中，可以从初始优化图像中获取到全局曝光信息。
在本申请实施例中，可以根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息，利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。具体的实现方式为：将全局曝光信息与过曝掩模图像逐像素相乘，得到高亮区域的过曝光信息；将过曝光信息与初始优化图像相加，得到初始优化图像的补偿图像。该过程也可以表示为公式(2)：
IH＝Imask×G(Icoarse)+Icoarse (2)
在公式(2)中，IH表示补偿图像；Imask表示过曝掩模图像；Icoarse表示初始优化图像；G(Icoarse)表示生成器对初始优化图像Icoarse处理后得到的全局曝光信息。
本申请提供的图像高亮区域的信息补偿方法通过待处理图像的过曝掩模图像识别待处理图像的高亮区域，同时，从初始优化图像中提取全局曝光信息，并根据过曝掩模图像确定初始优化图像高亮区域的过曝光信息，将过曝光信息与初始优化图像融合后，可以弥补初始优化图像高亮部分缺失的内容信息，得到的补偿图像的高亮区域比初始优化图像的高亮区域具备更多的特征信息，进而解决了优化图像的高亮部分信息丢失的问题。
本申请提供的高亮区域的信息补偿方法具备泛用性。可以应用在任何需要对待处理图像进行颜色优化或者颜色转换的任务中，例如图像编辑、图像修饰与调色、图像上色、SDR(Standard Dynamic Range)视频转HDR(High Dynamic Range)视频等。具体地，可以先对过曝光的待处理图像进行优化处理，得到初始优化图像，然后利用高亮区域的信息补偿方法对初始优化图像的高亮区域的内容信息进行补偿。
以SDR视频转HDR视频为例，由于受到拍摄设备的限制，现有的HDR视频资源较少，需要将已有的大量的SDR视频转换成HDR视频以满足用户的需求。图3为HDR和SDR色域表示范围的示意图。其中，BT.709和BT.2020都是ITU(国际电信联盟)发布的电视参数标准，DCI-P3是美国电影工业为数字电影院所制定的色域标准。从图3中可以看出，DCI-P3、BT.709和BT.2020中色域范围最大的是BT.2020，DCI-P3的色域范围次之，BT.709所表示的色域范围最小。目前，SDR视频采用的是BT.709色域，而HDR视频采用的是色域范围更为宽广的BT.2020色域或DCI-P3色域。就同一视频而言，无论HDR视频采用BT.2020色域还是DCI-P3色域，HDR视频可以比SDR视频展现出更高的对比度以及更加丰度的色彩。
现有技术中，常见的将SDR视频转为HDR视频的方法大多数是通过图像编码技术将SDR数据转换成HDR数据，使得HDR数据可以在HDR终端设备上播放。此外还需要通过超分辨率转换方法，将低分辨率的SDR视频内容转换成符合HDR视频标准的高分辨率HDR视频内容。现有的视频转换方法的计算成本较高，且转换后的HDR视频中会丢失部分高亮区域的内容信息，从而影响视频的质量。本申请提供的高亮区域的信息补偿方法可以提取SDR视频中的每一帧视频帧中高亮区域的信息，并将高亮区域的信息与视频帧对应的初始优化图像进行融合，得到补偿图像，可以避免HDR视频中高亮区域信息的损失。
可以理解的是，针对不同的任务，可以通过设计对应的训练集和损失函数对生成器的初始模型进行训练，从而得到适用于不同任务的生成器。
在本申请中，可以通过构建生成对抗网络对生成器进行训练。生成对抗网络包括包括生成器的初始模型和判别器。利用预设的损失函数和训练集对生成对抗网络进行对抗训练，得到生成器。其中，训练集包括与多个待处理图像样本对应的初始优化图像样本、过曝掩模图像样本和补偿图像样本。
下面以SDR视频转HDR视频任务为例，同时结合图4对本申请提供的生成器的训练过程及应用进行示例性的说明。
步骤一：获取训练集。
针对SDR视频转HDR视频任务，训练集包括多个训练样本，每个训练样本包括与SDR视频帧样本对应的初始优化图像样本、过曝掩模图像样本和HDR视频帧样本。
具体的，首先获取SDR视频样本及其对应的HDR视频样本。示例性的，可以从公开的视频网站中获取SDR视频样本及对应的HDR视频样本。也可以对同一RAW数据格式的视频分别进行SDR和HDR处理，得到SDR视频样本及其对应的HDR视频样本。还可以分别利用SDR相机和HDR相机在同一场景下，分别拍摄对应的SDR视频样本和HDR视频样本。在获取到SDR视频样本及其对应的HDR视频样本之后，分别对SDR视频样本及其对应的HDR视频样本进行抽帧处理，得到多个SDR视频帧样本(相当于待处理图像样本)，以及在时序上和空间上与多个SDR视频帧样本一一对应的HDR视频帧样本(相当于补偿图像样本)。
在一个示例中，针对每一个SDR视频帧样本，可以通过颜色查找表、训练好的深度学习方法或传统的数字图像处理方法将SDR视频帧样本进行HDR转换，得到对应的初始优化图像样本。可以利用上述公式(1)获取SDR视频帧样本对应的过曝掩模图像样本。
步骤二：将训练集中的初始优化图像样本经过生成器的初始模型处理后，与过曝掩模图像样本相乘，再与初始优化图像样本叠加得到预测图像。
具体地，针对训练集中的每个训练样本，将初始优化图像样本输入到生成器的初始模型中进行处理，得到全局曝光信息。将全局曝光信息与过曝掩模图像样本逐像素相乘后，得到高亮区域的过曝光信息。将过曝光信息与初始优化图像样本进行融合，得到预测图像。
步骤三：将预测图像与训练集中对应的HDR视频帧样本输入到判别器中进行迭代训练，得到已训练的生成器。
在一个实施例中，针对训练集中的每个训练样本，将预测图像和对应的HDR视频帧样本输入到判别器中进行处理，得到训练样本的判别结果。根据每个训练样本的判别结果和预设的损失函数进行对抗训练，得到已训练的生成器。
在本申请实施例中，损失函数用于描述补偿图像样本与预测图像之间的绝对误差损失值
Figure BDA0003192910990000081
补偿图像样本与预测图像之间的感知损失值
Figure BDA0003192910990000082
和预测图像的判别器损失值LGAN＝-logD(IH)这三个损失的综合损失值。本申请实施例提供的预设的损失函数L可以表示为公式(3)：
Figure BDA0003192910990000083
其中，L1表示绝对误差损失；Lp表示感知损失；LGAN表示生成对抗损失；IGT表示补偿图像样本；IH表示预测图像，α、β和γ均为超参数。
示例性的，可以使用梯度下降法对生成器的初始模型进行训练，当预设的损失函数满足一定的要求时，表示模型已经收敛，即初始模型已经完成训练，得到已训练的生成器。
如图5所示，已训练的生成器可以应用于SDR视频转HDR视频的任务。示例性的，对获取到的待处理的SDR视频进行抽帧处理，得到多个SDR视频帧。针对每个SDR视频帧，对SDR视频帧进行HDR转换得到HDR视频帧，并获取SDR视频帧对应的过曝掩模图像。将HDR视频帧输入到已训练的生成器中，得到全局曝光信息。根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息，利用过曝光信息对HDR视频帧的高亮区域进行补偿，得到HDR视频帧的补偿图像。最终通过合帧得到与待处理的SDR视频对应的HDR视频。
基于同一发明构思，如图6所示，本申请实施例提供了一种图像高亮区域的信息补偿装置100。该装置100包括：
获取单元101，用于获取待处理图像及与待处理图像对应的初始优化图像，过曝掩模图像用于指示待处理图像的高亮区域。
处理单元102，根据初始优化图像获取全局曝光信息，根据过曝掩模图像和全局曝光信息确定高亮区域的过曝光信息，利用过曝光信息对初始优化图像的高亮区域进行补偿，得到初始优化图像的补偿图像。
可选地，根据初始优化图像获取全局曝光信息，包括：将初始优化图像输入到已训练的生成器中进行处理，得到全局曝光信息。
可选地，生成器的训练方法包括：构建生成对抗网络，生成对抗网络包括生成器的初始模型和判别器；利用预设的损失函数和训练集对生成对抗网络进行对抗训练，得到生成器，其中，训练集包括与多个待处理图像样本对应的初始优化图像样本、过曝掩模图像样本和补偿图像样本；
损失函数用于描述补偿图像样本与预测图像之间的绝对误差损失值、补偿图像样本与预测图像之间的感知损失值和预测图像的判别器损失值的综合损失值；预测图像是指初始优化图像样本经过初始模型处理后，与过曝掩模图像样本相乘，再与初始优化图像样本叠加得到的图像。
可选地，损失函数表示为：
Figure BDA0003192910990000091
其中，L表示损失函数，IGT表示补偿图像样本，IH表示预测图像，D(·)表示判别器的输出，α、β和γ均为超参数。
可选地，过曝掩模图像中像素点的像素值的确定方法包括：
根据公式
Figure BDA0003192910990000092
确定过曝掩模图像中像素点的像素值，其中，Imask(x,y)表示过曝掩模图像位于(x,y)处的像素点的像素值，IS(x,y)表示待处理图像位于(x,y)处的像素点的像素值，λ表示预设的过曝阈值。
可选地，待处理图像为从SDR视频中抽帧得到的SDR视频帧，初始优化图像为SDR视频帧通过HDR转换得到的HDR视频帧。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供了一种终端设备。如图7所示，该实施例的终端设备200包括：处理器201、存储器202以及存储在存储器202中并可在处理器201上运行的计算机程序204。计算机程序404可被处理器201运行，生成指令203，处理器201可根据指令203实现上述各个图像色彩优化方法实施例中的步骤。或者，处理器201执行计算机程序204时实现上述各装置实施例中各模块/单元的功能，例如图6所示的单元101和单元102的功能。
示例性的，计算机程序204可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器202中，并由处理器201执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序204在终端设备200中的执行过程。
本领域技术人员可以理解，图7仅仅是终端设备200的示例，并不构成对终端设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备200还可以包括输入输出设备、网络接入设备、总线等。
处理器201可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器202可以是终端设备200的内部存储单元，例如终端设备200的硬盘或内存。存储器202也可以是终端设备200的外部存储设备，例如终端设备200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器202还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器202用于存储计算机程序以及终端设备200所需的其它程序和数据。存储器202还可以用于暂时地存储已经输出或者将要输出的数据。
本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在本申请中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
此外，在本申请中，除非另有明确的规定和限定，术语“连接”、“相连”等应做广义理解，例如可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定、对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种图像高亮区域的信息补偿方法，其特征在于，所述方法包括：
获取待处理图像的过曝掩模图像和初始优化图像，所述过曝掩模图像用于指示所述待处理图像的高亮区域；
根据所述初始优化图像获取全局曝光信息；
根据所述过曝掩模图像和所述全局曝光信息确定所述高亮区域的过曝光信息；
利用所述过曝光信息对所述初始优化图像的高亮区域进行补偿，得到所述初始优化图像的补偿图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始优化图像获取全局曝光信息，包括：
将所述初始优化图像输入到已训练的生成器中进行处理，得到所述全局曝光信息。
3.根据权利要求2所述的方法，其特征在于，所述生成器的训练方法包括：
构建生成对抗网络，所述生成对抗网络包括所述生成器的初始模型和判别器；
利用预设的损失函数和训练集对所述生成对抗网络进行对抗训练，得到所述生成器，其中，训练集包括与多个待处理图像样本对应的初始优化图像样本、过曝掩模图像样本和补偿图像样本；
所述损失函数用于描述所述补偿图像样本与预测图像之间的绝对误差损失值、所述补偿图像样本与预测图像之间的感知损失值和所述预测图像的判别器损失值的综合损失值；所述预测图像是指所述初始优化图像样本经过所述初始模型处理后，与所述过曝掩模图像样本相乘，再与所述初始优化图像样本叠加得到的图像。
4.根据权利要求3所述的方法，其特征在于，所述损失函数表示为：
Figure FDA0003192910980000011
其中，L表示所述损失函数，IGT表示所述补偿图像样本，IH表示所述预测图像，D(·)表示所述判别器的输出，α、β和γ均为超参数。
5.根据权利要求1所述的方法，其特征在于，所述过曝掩模图像中像素点的像素值的确定方法包括：
根据公式
Figure FDA0003192910980000021
确定所述过曝掩模图像中像素点的像素值，其中，Imask(x,y)表示所述过曝掩模图像位于(x,y)处的像素点的像素值，IS(x,y)表示所述待处理图像位于(x,y)处的像素点的像素值，λ表示预设的过曝阈值。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述待处理图像为从SDR视频中抽帧得到的SDR视频帧，所述初始优化图像为所述SDR视频帧通过HDR转换得到的HDR视频帧。
7.一种图像高亮区域的信息补偿装置，其特征在于，包括：
获取单元，用于获取待处理图像的过曝掩模图像和初始优化图像，所述过曝掩模图像用于指示所述待处理图像的高亮区域；
处理单元，根据所述初始优化图像获取全局曝光信息，根据所述过曝掩模图像和所述全局曝光信息确定所述高亮区域的过曝光信息，利用所述过曝光信息对所述初始优化图像的高亮区域进行补偿，得到所述初始优化图像的补偿图像。
8.根据权利要求7所述的装置，其特征在于，所述根据所述初始优化图像获取全局曝光信息，包括：
将所述初始优化图像输入到已训练的生成器中进行处理，得到所述全局曝光信息。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202110883140.8A 2021-08-02 2021-08-02 图像高亮区域的信息补偿方法、装置、设备及存储介质 Active CN113781321B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110883140.8A CN113781321B (zh) 2021-08-02 2021-08-02 图像高亮区域的信息补偿方法、装置、设备及存储介质
PCT/CN2021/138081 WO2023010751A1 (zh) 2021-08-02 2021-12-14 图像高亮区域的信息补偿方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110883140.8A CN113781321B (zh) 2021-08-02 2021-08-02 图像高亮区域的信息补偿方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781321A true CN113781321A (zh) 2021-12-10
CN113781321B CN113781321B (zh) 2024-03-12

Family

ID=78836583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110883140.8A Active CN113781321B (zh) 2021-08-02 2021-08-02 图像高亮区域的信息补偿方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113781321B (zh)
WO (1) WO2023010751A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082358A (zh) * 2022-07-21 2022-09-20 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备和存储介质
WO2023010751A1 (zh) * 2021-08-02 2023-02-09 中国科学院深圳先进技术研究院 图像高亮区域的信息补偿方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100637A (zh) * 2015-08-31 2015-11-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN105335980A (zh) * 2015-11-02 2016-02-17 吉林大学 一种适合图像sift特征匹配的彩色图像转亮度图像方法
CN106791471A (zh) * 2016-12-29 2017-05-31 宇龙计算机通信科技(深圳)有限公司 图像优化方法、图像优化装置和终端
CN107635102A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质
US20190289207A1 (en) * 2018-03-16 2019-09-19 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
EP3723035A1 (en) * 2019-04-09 2020-10-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for image processing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289360A (zh) * 2011-08-25 2011-12-21 浙江大学 一种自适应投影颜色补偿方法
CN104994364B (zh) * 2015-04-30 2017-12-19 西安电子科技大学 一种图像处理方法和装置
CN105208281B (zh) * 2015-10-09 2019-12-03 Oppo广东移动通信有限公司 一种夜景拍摄方法及装置
CN112070682A (zh) * 2019-06-10 2020-12-11 杭州海康慧影科技有限公司 图像亮度补偿的方法和装置
CN113038026B (zh) * 2021-03-01 2023-07-25 维沃移动通信有限公司 图像处理方法和电子设备
CN113781321B (zh) * 2021-08-02 2024-03-12 中国科学院深圳先进技术研究院 图像高亮区域的信息补偿方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100637A (zh) * 2015-08-31 2015-11-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN105335980A (zh) * 2015-11-02 2016-02-17 吉林大学 一种适合图像sift特征匹配的彩色图像转亮度图像方法
CN106791471A (zh) * 2016-12-29 2017-05-31 宇龙计算机通信科技(深圳)有限公司 图像优化方法、图像优化装置和终端
CN107635102A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置
US20190289207A1 (en) * 2018-03-16 2019-09-19 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
EP3723035A1 (en) * 2019-04-09 2020-10-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for image processing
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIJUN LI ET AL.: "SALIENCY DETECTION VIA FOREGROUND RENDERING AND BACKGROUND EXCLUSION", 《IEEE》, pages 3263 - 3267 *
张淑芳 等: "采用主成分分析与梯度金字塔的高动态范围图像生成方法", 《西安交通大学学报》, vol. 52, no. 4, pages 150 - 157 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023010751A1 (zh) * 2021-08-02 2023-02-09 中国科学院深圳先进技术研究院 图像高亮区域的信息补偿方法、装置、设备及存储介质
CN115082358A (zh) * 2022-07-21 2022-09-20 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2023010751A1 (zh) 2023-02-09
CN113781321B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110796595B (zh) 一种色调映射方法、装置及电子设备
US9679366B2 (en) Guided color grading for extended dynamic range
WO2023010754A1 (zh) 一种图像处理方法、装置、终端设备及存储介质
US9773193B2 (en) Image processing apparatus, image processing method, and program
CN110335330B (zh) 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备
CN113781321B (zh) 图像高亮区域的信息补偿方法、装置、设备及存储介质
CN102422628B (zh) 图像处理方法和图像处理设备
US11922598B2 (en) Image processing apparatus, image processing method, and storage medium
CN110855958B (zh) 图像调节方法及装置、电子设备、存储介质
CN113518185A (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
CN113781318A (zh) 一种图像颜色映射方法、装置、终端设备及存储介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN107220934B (zh) 图像重建方法及装置
CN110717864A (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN112261417A (zh) 视频推送方法及系统、设备及可读存储介质
CN108550110B (zh) 一种基于raw图像的全景拼接方法、装置及电子设备
US11790501B2 (en) Training method for video stabilization and image processing device using the same
CN110458851A (zh) 红外图像处理方法、装置、计算机设备和存储介质
CN109587396A (zh) 拍摄方法和拍摄装置
CN112950509B (zh) 一种图像处理方法、装置及电子设备
KR102389284B1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
CN111339367B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN113781322A (zh) 一种色域映射方法、装置、终端设备及存储介质
CN106961555B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant