CN109618094A - 图像处理方法及图像处理系统 - Google Patents

图像处理方法及图像处理系统 Download PDF

Info

Publication number
CN109618094A
CN109618094A CN201811535783.8A CN201811535783A CN109618094A CN 109618094 A CN109618094 A CN 109618094A CN 201811535783 A CN201811535783 A CN 201811535783A CN 109618094 A CN109618094 A CN 109618094A
Authority
CN
China
Prior art keywords
image
unit
pixel
color
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811535783.8A
Other languages
English (en)
Inventor
濮怡莹
陈思宇
金羽锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Semiconductor Display Technology Co Ltd
Priority to CN201811535783.8A priority Critical patent/CN109618094A/zh
Priority to PCT/CN2019/075966 priority patent/WO2020118902A1/zh
Publication of CN109618094A publication Critical patent/CN109618094A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理方法及图像处理系统。所述图像处理方法包括如下步骤：步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤S2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟HDR图像，能够简单快捷的实现高显示显示质量的虚拟HDR显示。

Description

图像处理方法及图像处理系统
技术领域
本发明涉及显示技术领域，尤其涉及一种图像处理方法及图像处理系统。
背景技术
近年来，高动态范围(High-Dynamic Range，HDR)图像的应用逐渐成为图像处理领域的一个热门研究课题。HDR图像能够准确地描述亮度差异，从微弱的星光到明亮的阳光，从而为观众提供更高质量的观看体验。
然而，由于当前的HDR相关设备通常都很昂贵，实际应用范围有限，大多数图像处理系统仍然配备了传统的LDR设备。同时，HDR图像和视频的获取设备也非常复杂和昂贵，许多缺陷也尚未解决，比如多曝光的拍摄装置往往带来图像伪影。所以虚拟HDR(Pseudo-HDR)应运而生。虚拟HDR是指通过一些色调映射算法，将低动态范围(Low-Dynamic Range，LDR)图片处理成另一张LDR图片在LDR显示设备上显示，使其达到或接近HDR图片的显示效果。这种算法的根本是将图片中的细节和对比度最大程度的展现出来。它不需要昂贵的HDR显示设备，也不需要难以获取的HDR片源。
虚拟HDR算法的难点有两个：第一是曝光是否合理，是否把细节最大程度的展现；第二是否存在严重色偏。现有的虚拟HDR方法有基于直方图的、基于多曝光融合的及基于暗通道的等等，每类方法都有适合的图片类型，如果要处理所有的图片类型，算法将变得极为复杂。
类神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。它最大优势是能够被用作一个任意函数逼近的机制，从观测到的数据“学习”。近年来，类神经网络被越来越多地用在图像算法上，例如超分辨率，去噪，风格处理等。但是类神经网络的架构设计和损失函数的设置往往对算法结果起着决定性的作用。实际应用时，类神经网络的架构的设计并非越复杂越好，越来越多的证据显示，适合的且简单的类神经网络的架构往往是我们需要的。
发明内容
本发明的目的在于提供一种图像处理方法，能够简单快捷的实现高质量的虚拟HDR显示。
本发明的目的还在于提供一种图像处理系统，能够简单快捷的实现高质量的虚拟HDR显示。
为实现上述目的，本发明提供了一种图像处理方法，包括如下步骤：
步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；
步骤S2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；
步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟HDR图像。
所述图像处理模块包括曝光修复单元、色彩修复单元及与所述曝光修复单元和色彩修复单元均相连的整体调节单元。
所述步骤S2具体包括：
步骤S21、将各个原始图像和与目标图像输入至曝光修复单元中，对所述曝光修复单元进行训练，使得所述曝光修复单元在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；
步骤S22、将各个原始图像和目标图像输入至色彩修复单元中，对所述色彩修复单元进行训练，使得所述色彩修复单元在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；
步骤S23、将由训练后的曝光修复单元输出的各个第一过渡图像、由训练后的色彩修复单元输出的各个第二过渡图像及各个目标图像输入至整体调节单元，对所述整体调节单元进行训练，使得所述整体调节单元在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。
所述步骤S3中将待处理图像从曝光修复单元和色彩修复单元输入，经过曝光修复单元、色彩修复单元及整体调节单元的处理后，从所述整体调节单元输出该待处理图像对应的虚拟HDR图像。
所述曝光修复单元采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
本发明还提供一种图像处理系统，包括样本获取模块、与所述样本获取模块相连的训练模块及与所述训练模块相连的具有类神经网络架构的图像处理模块；
所述样本获取模块，用于获取图像集，所述图像集多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；
所述训练模块，用于利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；
所述图像处理模块，用于在经过训练模块的训练后对待处理图像进行处理，产生与所述待处理图像对应的虚拟HDR图像。
所述图像处理模块包括曝光修复单元、色彩修复单元及与所述曝光修复单元和色彩修复单元均相连的整体调节单元。
所述训练模块对所述图像处理模块进行训练具体包括：
将各个原始图像和与目标图像输入至曝光修复单元中，对所述曝光修复单元进行训练，使得所述曝光修复单元在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；
将各个原始图像和目标图像输入至色彩修复单元中，对所述色彩修复单元进行训练，使得所述色彩修复单元在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；
将由训练后的曝光修复单元输出的各个第一过渡图像、由训练后的色彩修复单元输出的各个第二过渡图像及各个目标图像输入至整体调节单元，对所述整体调节单元进行训练，使得所述整体调节单元在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。
所述图像处理模块从曝光修复单元和色彩修复单元接收待处理图像，经过曝光修复单元、色彩修复单元及整体调节单元的处理后，从所述整体调节单元输出该待处理图像对应的虚拟HDR图像。
所述曝光修复单元采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
本发明的有益效果：本发明提供一种图像处理方法，包括如下步骤：步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤S2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟HDR图像，能够简单快捷的实现高显示显示质量的虚拟HDR显示。本发明还提供一种图像处理系统，能够简单快捷的实现高质量的虚拟HDR显示。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的图像处理方法的流程图；
图2为本发明的图像处理系统的结构图；
图3为本发明的图像处理系统中图像处理模块的结构图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
请参阅图1并结合图3，本发明提供一种图像处理方法，包括如下步骤：
步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同。
具体地，所述图像集的来源可以是现有的图像库，或由传统算法生成，或由修图师加工完成。
步骤S2、提供一具有类神经网络架构的图像处理模块30，利用所述图像集对所述图像处理模块30进行训练，使得所述图像处理模块30在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小。
具体地，所述图像处理模块30包括曝光修复单元301、色彩修复单元302及与所述曝光修复单元301和色彩修复单元302均相连的整体调节单元303。
进一步地，所述步骤S2具体包括：
步骤S21、将各个原始图像和与目标图像输入至曝光修复单元301中，对所述曝光修复单元301进行训练，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；
步骤S22、将各个原始图像和目标图像输入至色彩修复单元302中，对所述色彩修复单元302进行训练，使得所述色彩修复单元302在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；
步骤S23、将由训练后的曝光修复单元301输出的各个第一过渡图像、由训练后的色彩修复单元302输出的各个第二过渡图像及各个目标图像输入至整体调节单元303，对所述整体调节单元303进行训练，使得所述整体调节单元303在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。
具体地，所述曝光修复单元301采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元301处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元302为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元302处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元303为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
进一步地，所述曝光修复单元301的每层卷积核尺寸为3×3，深度>20，卷积核的膨胀系数(Rate)每层递增，优选实施例如表1所示，当然本发明对此并不限制，必要时也可以采用表1以外的其他实施方式。采用多层膨胀卷积的方法建立曝光修复单元301可以扩大神经网络的感受野，但是又不会增加网络的参数量。
层 卷积核 膨胀系数 卷积核深度
1 3*3 1 32
2 3*3 2 32
3 3*3 5 32
4 3*3 7 32
5 3*3 17 32
6 3*3 33 32
7 3*3 67 32
8 3*3 127 32
9 3*3 1 3
表1
所述色彩修复单元302每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表2所示，当然本发明对此并不限制，必要时也可以采用表2以外的其他实施方式。
层 卷积核 膨胀系数 卷积核深度
1 3*3 1 32
2 3*3 1 32
3 3*3 1 32
4 3*3 1 32
5 3*3 1 32
6 3*3 1 32
7 3*3 1 32
表2
所述整体调节单元303每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表3所示，当然本发明对此并不限制，必要时也可以采用表3以外的其他实施方式。
层 卷积核 膨胀系数 卷积核深度
1 3*3 1 32
2 3*3 1 32
3 3*3 1 32
4 3*3 1 3
表3
具体地，对曝光修复单元301进行训练时，网络优化设置为反向梯度传播优化，按照曝光修复单元301的损失函数训练曝光修复单元301中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小。
具体地，对色彩修复单元302进行训练时，网络优化设置为反向梯度传播优化，按照色彩修复单元302的损失函数训练色彩修复单元302中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小。
具体地，对整体调节单元303进行训练时，网络优化设置为反向梯度传播优化，按照整体调节单元303的损失函数训练整体调节单元303中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像对应的目标图像差异最小。
步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块30，得到该待处理图像对应的虚拟HDR图像。
具体地，所述步骤S3中将待处理图像从曝光修复单元301和色彩修复单元302输入，经过曝光修复单元301、色彩修复单元302及整体调节单元303的处理后，从所述整体调节单元303输出该待处理图像对应的虚拟HDR图像。
从而本发明根据HDR图像的特点，基于合理曝光和减小色偏这两个角度，设计了一个两路类神经网络，实现有效的虚拟HDR算法，从而简单快捷的实现高质量的虚拟HDR显示，使虚拟HDR显示实现合理曝光，并展现更多细节，同时减小色偏，且运算速度快。
请参阅图2和图3，本发明还提供一种图像处理系统，包括样本获取模块10、与所述样本获取模块20相连的训练模块20及与所述训练模块20相连的具有类神经网络架构的图像处理模块30；
所述样本获取模块10，用于获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；
所述训练模块20，用于利用所述图像集对所述图像处理模块30进行训练，使得所述图像处理模块30在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；
所述图像处理模块30，用于在经过训练模块20的训练后对待处理图像进行处理，产生与所述待处理图像对应的虚拟HDR图像。
具体地，所述图像集的来源可以是现有的图像库，或由传统算法生成，或由修图师加工完成。
具体地，所述图像处理模块30包括曝光修复单元301、色彩修复单元302及与所述曝光修复单元301和色彩修复单元302均相连的整体调节单元303。
进一步地，所述训练模块20对所述图像处理模块30进行训练具体包括：
将各个原始图像和与目标图像输入至曝光修复单元301中，对所述曝光修复单元301进行训练，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；
将各个原始图像和目标图像输入至色彩修复单元302中，对所述色彩修复单元302进行训练，使得所述色彩修复单元302在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；
将由训练后的曝光修复单元301输出的各个第一过渡图像、由训练后的色彩修复单元302输出的各个第二过渡图像及各个目标图像输入至整体调节单元303，对所述整体调节单元303进行训练，使得所述整体调节单元303在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。
具体地，所述曝光修复单元301采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元301处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元302为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元302处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像中的各个像素相对于目标图像的各个像素的色彩损失的平均值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元303为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
进一步地，所述曝光修复单元301的每层卷积核尺寸为3×3，深度>20，卷积核的膨胀系数(Rate)每层递增，优选实施例如表1所示，当然本发明对此并不限制，必要时也可以采用表1以外的其他实施方式。采用多层膨胀卷积的方法建立曝光修复单元301可以扩大神经网络的感受野，但是又不会增加网络的参数量。
层 卷积核 膨胀系数 卷积核深度
1 3*3 1 32
2 3*3 2 32
3 3*3 5 32
4 3*3 7 32
5 3*3 17 32
6 3*3 33 32
7 3*3 67 32
8 3*3 127 32
9 3*3 1 3
表1
所述色彩修复单元302每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表2所示，当然本发明对此并不限制，必要时也可以采用表2以外的其他实施方式。
表2
所述整体调节单元303每层卷积核尺寸为3*3，深度>20，由于为非膨胀卷积，所以膨胀系数为1，优选实施例如表3所示，当然本发明对此并不限制，必要时也可以采用表3以外的其他实施方式。
层 卷积核 膨胀系数 卷积核深度
1 3*3 1 32
2 3*3 1 32
3 3*3 1 32
4 3*3 1 3
表3
具体地，对曝光修复单元301进行训练时，网络优化设置为反向梯度传播优化，按照曝光修复单元301的损失函数训练曝光修复单元301中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小。
具体地，对色彩修复单元302进行训练时，网络优化设置为反向梯度传播优化，按照色彩修复单元302的损失函数训练色彩修复单元302中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小。
具体地，对整体调节单元303进行训练时，网络优化设置为反向梯度传播优化，按照整体调节单元303的损失函数训练整体调节单元303中的参数，使得所述曝光修复单元301在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像对应的目标图像差异最小。
所述图像处理模块30从曝光修复单元301和色彩修复单元302接收待处理图像，经过曝光修复单元301、色彩修复单元302及整体调节单元303的处理后，从所述整体调节单元303输出该待处理图像对应的虚拟HDR图像。
从而本发明根据HDR图像的特点，基于合理曝光和减小色偏这两个角度，设计了一个两路类神经网络，实现有效的虚拟HDR算法，从而简单快捷的实现高质量的虚拟HDR显示，使虚拟HDR显示实现合理曝光，并展现更多细节，同时减小色偏，且运算速度快。
综上所述，本发明提供一种图像处理方法，包括如下步骤：步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；步骤S2、提供一具有类神经网络架构的图像处理模块，利用所述图像集对所述图像处理模块进行训练，使得所述图像处理模块在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块，得到该待处理图像对应的虚拟HDR图像，能够简单快捷的实现高显示显示质量的虚拟HDR显示。本发明还提供一种图像处理系统，能够简单快捷的实现高质量的虚拟HDR显示。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括如下步骤：
步骤S1、获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；
步骤S2、提供一具有类神经网络架构的图像处理模块(30)，利用所述图像集对所述图像处理模块(30)进行训练，使得所述图像处理模块(30)在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像的差异最小；
步骤S3、提供待处理图像，将待处理图像输入训练后的图像处理模块(30)，得到该待处理图像对应的虚拟HDR图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述图像处理模块(30)包括曝光修复单元(301)、色彩修复单元(302)及与所述曝光修复单元(301)和色彩修复单元(302)均相连的整体调节单元(303)。
3.如权利要求2所述的图像处理方法，其特征在于，所述步骤S2具体包括：
步骤S21、将各个原始图像和与目标图像输入至曝光修复单元(301)中，对所述曝光修复单元(301)进行训练，使得所述曝光修复单元(301)在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值的差异最小；
步骤S22、将各个原始图像和目标图像输入至色彩修复单元(302)中，对所述色彩修复单元(302)进行训练，使得所述色彩修复单元(302)在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩的差异最小；
步骤S23、将由训练后的曝光修复单元(301)输出的各个第一过渡图像、由训练后的色彩修复单元(302)输出的各个第二过渡图像及各个目标图像输入至整体调节单元(303)，对所述整体调节单元(303)进行训练，使得所述整体调节单元(303)在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像的差异最小。
4.如权利要3求所述的图像处理方法，其特征在于，所述步骤S3中将待处理图像从曝光修复单元(301)和色彩修复单元(302)输入，经过曝光修复单元(301)、色彩修复单元(302)及整体调节单元(303)的处理后，从所述整体调节单元(303)输出该待处理图像对应的虚拟HDR图像。
5.如权利要求3所述的图像处理方法，其特征在于，所述曝光修复单元(301)采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元(301)处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元(302)为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元(302)处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元(303)为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
6.一种图像处理系统，其特征在于，包括样本获取模块(10)、与所述样本获取模块(20)相连的训练模块(20)及与所述训练模块(20)相连的具有类神经网络架构的图像处理模块(30)；
所述样本获取模块(10)，用于获取图像集，所述图像集包括多个图像对，每一个图像对包括一原始图像和一与所述原始图像相对应的目标图像，所述原始图像与目标图像的尺寸相同；
所述训练模块(20)，用于利用所述图像集对所述图像处理模块(30)进行训练，使得所述图像处理模块(30)在接收到原始图像时，其处理输出的结果图像与其接收到的原始图像的目标图像差异最小；
所述图像处理模块(30)，用于在经过训练模块(20)的训练后对待处理图像进行处理，产生与所述待处理图像对应的虚拟HDR图像。
7.如权利要求6所述的图像处理系统，其特征在于，所述图像处理模块(30)包括曝光修复单元(301)、色彩修复单元(302)及与所述曝光修复单元(301)和色彩修复单元(302)均相连的整体调节单元(303)。
8.如权利要求7所述的图像处理系统，其特征在于，所述训练模块(20)对所述图像处理模块(10)进行训练具体包括：
将各个原始图像和与目标图像输入至曝光修复单元(301)中，对所述曝光修复单元(301)进行训练，使得所述曝光修复单元(301)在接收到原始图像时，其处理输出的第一过渡图像的曝光值与其接收到的原始图像对应的目标图像的曝光值差异最小；
将各个原始图像和目标图像输入至色彩修复单元(302)中，对所述色彩修复单元(302)进行训练，使得所述色彩修复单元(302)在接收到原始图像时，其处理输出的第二过渡图像的色彩与其接收到的原始图像对应的目标图像的色彩差异最小；
将由训练后的曝光修复单元(301)输出的各个第一过渡图像、由训练后的色彩修复单元(302)输出的各个第二过渡图像及各个目标图像输入至整体调节单元(303)，对所述整体调节单元(303)进行训练，使得所述整体调节单元(303)在接收到由同一原始图像产生的一第一过渡图像和一第二过渡图像时，其处理输出的结果图像与产生其接收到的第一过渡图像和第二过渡图像的原始图像对应的目标图像差异最小。
9.如权利要求8所述的图像处理系统，其特征在于，所述图像处理模块(30)从曝光修复单元(301)和色彩修复单元(302)接收待处理图像，经过曝光修复单元(301)、色彩修复单元(302)及整体调节单元(303)的处理后，从所述整体调节单元(303)输出该待处理图像对应的虚拟HDR图像。
10.如权利要求8所述的图像处理系统，其特征在于，所述曝光修复单元(301)采用多层膨胀卷积结构，其损失函数为：
其中，K输入图像中的一个像素，P为输入图像的全部像素集合，N为输入图像的像素总数，net1grey(K)为在由曝光修复单元(301)处理输出的第一过渡图像中与像素K对应的像素的灰度通道值，GTgrey(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度通道值，Lossgrey为第一过渡图像相对于目标图像的曝光度损失值；灰度通道值为一个像素中红色灰度、绿色灰度及蓝色灰度的平均值；
所述色彩修复单元(302)为多层卷积结构，其损失函数为：
其中，net2rg(K)及GTrg(K)分别在由色彩修复单元(302)处理输出的第二过渡图像中与像素K对应的像素的红绿通道值及黄蓝通道值，net2yb(K)及GTyb(K)分别为在输入图像对应的目标图像中与像素K对应的像素的红绿通道值及黄蓝通道值，Losscolor为第一过渡图像相对于目标图像的色彩损失值；所述红绿通道值为一个像素中红色灰度与绿色灰度的差，所述黄蓝通道值为一个像素中黄色灰度与蓝色灰度的差，黄色灰度为一个像素中红色灰度与绿色灰度的和的一半；
所述整体调节单元(303)为多层卷积结构，其损失函数为：
其中，net3(K)为在由整体调整单元(303)处理输出的结果图像中与像素K对应的像素的灰度值，GT(K)为在输入图像对应的目标图像中与像素K对应的像素的灰度值，Lossend为第一过渡图像相对于目标图像的图像损失值，像素的灰度值为一个像素中红色灰度、绿色灰度及蓝色灰度的和。
CN201811535783.8A 2018-12-14 2018-12-14 图像处理方法及图像处理系统 Pending CN109618094A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811535783.8A CN109618094A (zh) 2018-12-14 2018-12-14 图像处理方法及图像处理系统
PCT/CN2019/075966 WO2020118902A1 (zh) 2018-12-14 2019-02-22 图像处理方法及图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811535783.8A CN109618094A (zh) 2018-12-14 2018-12-14 图像处理方法及图像处理系统

Publications (1)

Publication Number Publication Date
CN109618094A true CN109618094A (zh) 2019-04-12

Family

ID=66010063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811535783.8A Pending CN109618094A (zh) 2018-12-14 2018-12-14 图像处理方法及图像处理系统

Country Status (2)

Country Link
CN (1) CN109618094A (zh)
WO (1) WO2020118902A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298810A (zh) * 2019-07-24 2019-10-01 深圳市华星光电技术有限公司 图像处理方法及图像处理系统
CN111951171A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 Hdr图像生成方法、装置、可读存储介质及终端设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096037B (zh) * 2021-03-31 2023-08-22 北京交通大学 一种基于深度学习的轮对光条图像的修复方法
CN117853365B (zh) * 2024-03-04 2024-05-17 济宁职业技术学院 基于计算机图像处理的艺术成果展示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607366B1 (en) * 2014-12-19 2017-03-28 Amazon Technologies, Inc. Contextual HDR determination
CN107809593A (zh) * 2017-11-13 2018-03-16 广东欧珀移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791688B (zh) * 2016-06-17 2021-06-01 华为技术有限公司 曝光相关的亮度变换
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN108416744B (zh) * 2018-01-30 2019-11-26 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN108492271B (zh) * 2018-03-26 2021-08-24 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
CN108805836A (zh) * 2018-05-31 2018-11-13 大连理工大学 基于深度往复式hdr变换的图像校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607366B1 (en) * 2014-12-19 2017-03-28 Amazon Technologies, Inc. Contextual HDR determination
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN107809593A (zh) * 2017-11-13 2018-03-16 广东欧珀移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951171A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 Hdr图像生成方法、装置、可读存储介质及终端设备
CN110298810A (zh) * 2019-07-24 2019-10-01 深圳市华星光电技术有限公司 图像处理方法及图像处理系统

Also Published As

Publication number Publication date
WO2020118902A1 (zh) 2020-06-18

Similar Documents

Publication Publication Date Title
CN109618094A (zh) 图像处理方法及图像处理系统
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN102063706B (zh) 一种快速去雾方法
CN108022223B (zh) 一种基于对数映射函数分块处理融合的色调映射方法
CN106097279B (zh) 一种高动态图像增强方法
CN107292830B (zh) 低照度图像增强及评价方法
CN106920221A (zh) 兼顾亮度分布和细节呈现的曝光融合方法
CN111429433A (zh) 一种基于注意力生成对抗网络的多曝光图像融合方法
CN112308803B (zh) 一种基于深度学习的自监督低照度图像增强及去噪方法
CN110544213A (zh) 一种基于全局和局部特征融合的图像去雾方法
CN106886985A (zh) 一种减小色偏的自适应低照度图像增强方法
CN110097106A (zh) 基于深度学习的U-net网络的低照度成像算法及装置
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
Kwon et al. Controllable image restoration for under-display camera in smartphones
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN110211077A (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Chaurasiya et al. High dynamic range imaging
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN106454144A (zh) 一种对谷歌眼镜图像过度曝光的校正方法
Si et al. Sand dust image visibility enhancement algorithm via fusion strategy
CN106971375B (zh) 一种图像放大的处理方法及装置
CN102903091B (zh) 用于在数字图像处理设备中拼接图像的方法
Silva et al. A deep learning approach to mobile camera image signal processing
CN107240075A (zh) 一种雾霾图像增强处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412