CN110428362A - 图像hdr转换方法及装置、存储介质 - Google Patents
图像hdr转换方法及装置、存储介质 Download PDFInfo
- Publication number
- CN110428362A CN110428362A CN201910688084.5A CN201910688084A CN110428362A CN 110428362 A CN110428362 A CN 110428362A CN 201910688084 A CN201910688084 A CN 201910688084A CN 110428362 A CN110428362 A CN 110428362A
- Authority
- CN
- China
- Prior art keywords
- image
- multichannel
- hdr
- coefficient matrix
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 171
- 230000009466 transformation Effects 0.000 claims abstract description 135
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 101
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 230000002146 bilateral effect Effects 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 27
- 230000009467 reduction Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000003247 decreasing effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000080795 Elaphoglossum affine Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本实施例公开一种图像HDR转换方法及装置、存储介质，该图像HDR转换方法可以包括：根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和所述多通道图像的尺度相同；根据所述仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。
Description
技术领域
本公开涉及计算机视觉领域，尤其涉及一种图像HDR转换方法及装置、存储介质。
背景技术
图像和视频在信息传递上的作用越来越大，一般的传统图像采用一个字节(8bit)来存储一个像素值，所以普通图像的亮度级别只有256(28)级，这在很多场合都不能满足对场景细节要求很高的需要。高动态范围(High Dynamic Range，HDR)技术就是为了满足人们在多媒体生活中对高质量画面的要求而产生。高动态范围的图像可以由高端的单反相机拍摄得到，也可以是由普通移动端相机拍摄多个不同曝光时间的低动态范围(Low-DynamicRange，LDR)图像，通过图像合成技术得到。相较于普通LDR图像，它能得到远超过256级的亮度表达效果，从而提供更多的图像细节，能够更好的反映出真实环境中的视觉效果。但这样的图像就需要高于8bit的存储空间来表示一个像素，难以与现下主流的8bit显示设备兼容。为此，我们需要在保持图像亮度，以及亮部和暗部细节的条件下，对其动态范围进行转换，使得可以在普通8bit的显示设备上达到最优的效果。
然而，现有技术在进行图像HDR转换的过程中，会损失部分特征信息，不能较好的还原图像色彩和层次感。
发明内容
本实施例提供一种图像HDR转换方法及装置、存储介质，有效地使HDR图像较好地还原原始拜尔阵列图的色彩和层次感。
本公开的技术方案是这样实现的：
本实施例提供一种图像HDR转换方法，所述方法包括：
根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；
基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述多通道图像的尺度相同；
根据所述仿射变换系数矩阵对所述多通道图像进行高动态范围图像HDR转换，获得所述多通道图像对应的多通道HDR图像；
根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
在上述方案中，所述根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像，包括：
按照预设排列顺序对所述原始拜尔阵列图进行拆分处理，获得所述多通道图像。
可以理解的是，在本公开中，图像HDR转换装置可以使用预设神经网络实时进行终端RAW域的图像HDR转换，先获得原始拜尔阵列图对应的多通道数据的HDR变换系数，完成多通道HDR图像的转换，最终获得原始拜尔阵列图对应的HDR拜尔阵列图，从而可以实现图像色彩的最大限度的还原。
在上述方案中，所述基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵，包括：
对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵和灰度引导图；其中，所述双边网格系数矩阵的尺度小于所述多通道图像的尺度；
根据所述双边网格系数矩阵和所述灰度引导图，获得所述仿射变换系数矩阵。
可以理解的是，在本公开中，图像HDR转换装置基于预设神经网络获得通道图像生成所述多通道图像对应的仿射变换系数矩阵，可以提取多通道图像的局部特征和全局特征，从而可以实现图像色彩的最大限度的还原。
在上述方案中，所述对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵，包括：
对所述多通道图像进行降分辨率处理，获得所述多通道图像对应的变换后图像；其中，所述变换后图像的尺度小于所述多通道图像的尺度；
对所述变换后图像进行卷积处理，获得全局特征图和局部特征图；
对所述全局特征图和所述局部特征图进行融合处理，获得所述双边网格系数矩阵。
可以理解的是，在本公开中，图像HDR转换装置对所述多通道图像进行降分辨率处理和卷积处理，可以提取多通道图像的局部特征和全局特征，从而可以实现图像色彩的最大限度的还原。
在上述方案中，所述根据所述双边网格系数矩阵和所述灰度引导图，获得所述仿射变换系数矩阵，包括：
根据所述灰度引导图对所述双边网格系数矩阵进行双边差值放大处理，获得所述仿射变换系数矩阵。
可以理解的是，在本公开中，图像HDR转换装置利用相同大小的单通道灰度图作为灰度引导图，根据所述灰度引导图对所述双边网格系数矩阵进行双边差值放大处理，便可以将双边网格系数矩阵放大成为与多通道图像尺度大小相同的HDR双边变换系数矩阵，从而可以实现多通道图像的局部特征和全局特征的提取。
在上述方案中，所述根据所述仿射变换系数矩阵对所述多通道图像进行HDR转换，获得所述多通道图像对应的多通道HDR图像，包括：
将所述仿射变换系数矩阵和所述多通道图像输入至预设转换模型中，输出所述多通道HDR图像；其中，所述预设转换模型用于基于系数和图像进行数学运算。
可以理解的是，在本公开中，图像HDR转换装置将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
在上述方案中，所述根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图，包括：
确定所述原始拜尔阵列图对应的拜尔模型类型；
根据所述多通道HDR图像和所述拜尔模型，生成所述HDR拜尔阵列图。
可以理解的是，在本公开中，图像HDR转换装置通过对原始拜尔阵列图对应的拜尔模型类型进行确定，生成HDR拜尔阵列图，从而使得最终输出的HDR拜尔阵列图同样为RAW数据，从而可以继续将HDR拜尔阵列图送回至上述原始拜尔阵列图的数据处理流程中，因此不会对图像HDR转换装置的处理流程产生较大的影响，进而有利于快速集成。
在上述方案中，所述基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵之前，所述方法还包括：
生成所述预设神经网络。
在上述方案中，所述生成所述预设神经网络，包括：
获取样本图像对应的待训练图像和标准系数矩阵；其中，所述待训练图像的尺度和所述标准系数矩阵的尺度相同；所述标准系数矩阵用于对所述样本图像进行特征提取；
根据所述待训练图像和所述标准系数矩阵，对待训练的神经网络进行训练，获得所述预设神经网络。
可以理解的是，在本公开中，图像HDR转换装置利用样本图像对应的待训练图像和标准系数矩阵，对待训练的神经网络进行训练，生成预设神经网络，从而可以利用预设神经网络获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
本实施例提供一种图像HDR转换装置，所述图像HDR转换装置包括：生成单元和转换单元，
所述生成单元，用于根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；以及基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述多通道图像的尺度相同；
所述转换单元，用于根据所述仿射变换系数矩阵对所述多通道图像进行HDR转换，获得所述多通道图像对应的多通道HDR图像；
所述生成单元，还用于根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
在上述方案中，所述生成单元，具体用于按照预设排列顺序对所述原始拜尔阵列图进行拆分处理，获得所述多通道图像。
在上述方案中，所述生成单元，还具体用于对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵和灰度引导图；其中，所述双边网格系数矩阵的尺度小于所述多通道图像的尺度；以及根据所述双边网格系数矩阵和所述灰度引导图，获得仿射变换系数矩阵。
在上述方案中，所述生成单元，还具体用于对所述多通道图像进行降分辨率处理，获得所述多通道图像对应的变换后图像；其中，所述变换后图像的尺度小于所述多通道图像的尺度；以及对所述变换后图像进行卷积处理，获得全局特征图和局部特征图；以及对所述全局特征图和所述局部特征图进行融合处理，获得所述双边网格系数矩阵。
在上述方案中，所述生成单元，还具体用于根据所述双边网格系数矩阵和所述灰度引导图进行双边差值放大处理，获得所述仿射变换系数矩阵。
在上述方案中，所述转换单元，具体用于将所述仿射变换系数矩阵和所述多通道图像输入至预设转换模型中，输出所述多通道HDR图像；其中，所述预设转换模型用于基于系数和图像进行数学运算。
在上述方案中，所述生成单元，还具体用于确定所述原始拜尔阵列图对应的拜尔模型类型；以及根据所述多通道HDR图像，生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
在上述方案中，所述生成单元，还用于基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵之前，生成所述预设神经网络；
所述生成单元，具体用于获取样本图像对应的待训练图像和标准系数矩阵；其中，所述待训练图像的尺度和所述标准系数矩阵的尺度相同；所述标准系数矩阵用于对所述样本图像进行特征提取；以及根据所述待训练图像和所述标准系数矩阵，对待训练的神经网络进行训练，获得所述预设神经网络。
本实施例提供一种图像HDR转换装置，所述图像HDR转换装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如上述任一项所述的图像HDR转换方法。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于图像HDR转换装置，该计算机程序被处理器执行时实现如上述任一项所述的图像HDR转换方法。
本实施例公开一种图像HDR转换方法及装置、存储介质，图像HDR转换装置根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同；根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。也就是说，在本公开的实施例中，图像HDR转换装置将单通道的原始拜尔阵列图拆解为RGB形式的多通道图像，通过预设神经网络和多通道图像获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本实施例提出的一种图像HDR转换方法的实现流程示意图；
图2为本实施例中拜尔阵列的示意图；
图3为本实施例中图像拆分示意图；
图4为本实施例中预设神经网络的实现示意图；
图5为本实施例中图像形式转换的示意图；
图6为本实施例中图像HDR转换实现示意图；
图7为本实施例提出的图像HDR转换装置的组成结构示意图一；
图8为本实施例提出的图像HDR转换装置的组成结构示意图二。
具体实施方式
下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
RAW格式是数码相机、手机等拍摄装置生成的图像格式，也是体现数码影像极致质量的唯一的格式，与常见的由设置了ISO、文件大小、反差、色彩、色温、锐化等参数的相机直接生成的JPEG格式和TIFF格式不同，RAW格式是由感光元件直接获取的原始数据，它以12位、14位或22位二进制记录数据，严格地说RAW格式不是图像文件，而是一个数据包，这个数据包不经过相机内的影像生成器的转换。
图像(视频)动态范围是指图像(视频帧)亮度值的最大值与最小值的比，动态范围越大表明图像显示的场景细节越多，视觉效果更逼真。一般的传统图像采用一个字节来存储一个像素值，所以普通图像的亮度级别只有256级，这在很多场合都不能满足对场景细节要求很高的需要。
HDR图像相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。相机原始数据具有高于8bit的精度，HDR图像算法的目的是对原来的数据进行压缩，来适应8bit的存储精度，同时最大化的保留图片中亮、暗各个部分的细节。具体地，HDR图像算法还可以用于对不同曝光融合的图像进行处理。
目前HDR算法主要分三类型：Global HDR算法、Local HDR算法和HDR base frame算法。Global HDR算法简单，但是在动态较大的场景中对于高亮区域和低亮区域的信息无法做到兼顾。HDR base frame算法效果最好，但是算法复杂，对于系统的负担也很重，需要损耗系统大量的带宽资源。Local HDR算法有很多种，常见的梯度法和双线性滤波法，采用简单的算法，则得到的高动态效果不佳，要得到较好的高动态效果，则需要比较复杂的算法。
本公开实施例利用RAW域图像无损信息特点以及HDR的原理，使用深度学习对高动态范围数据进行压缩，最大限度还原图像色彩，暗部及高光的层次感。具体地，在本实施例中，图像HDR转换装置可以使用预设神经网络实时进行终端RAW域的图像HDR转换，先拆分原始拜尔阵列图，得到多通道数据，通过网络提取多尺度图像特征，得道每张多通道图像的HDR变换系数，完成多通道HDR图像的转换，最终再将多通道HDR图像恢复为RAW格式，获得原始拜尔阵列图对应的HDR拜尔阵列图。
下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述。
本公开一实施例提供了一种图像HDR转换方法，图1为本实施例提出的一种图像HDR转换方法的实现流程示意图，如图1所示，在本实施例中，图像HDR转换装置进行图像HDR转换的方法可以包括以下步骤：
步骤101、根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像。
在本实施例中，图像HDR转换装置可以先根据原始拜尔阵列图生成上述原始拜尔阵列图对应的多通道图像。
需要说明的是，在本实施例中，上述原始拜尔阵列图即为拍摄获得的待重建RAW图，即原始图像文件。具体地，原始图像文件可以包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。RAW格式是数码相机、手机等拍摄装置生成的图像格式，与常见的由设置了光盘文件系统格式、文件大小、反差、色彩、色温、锐化等参数的拍摄装置直接生成的JPEG格式和TIFF格式不同，RAW格式是由感光元件直接获取的原始数据，它以12位、14位或22位二进制记录数据，严格地说RAW格式不是图像文件，而是一个数据包，这个数据包不经过拍摄装置内的影像生成器的转换。
进一步地，在本实施例中，图像HDR转换装置可以先获取上述原始拜尔阵列图，然后再根据上述原始拜尔阵列图进行上述多通道图像的生成。其中，上述原始拜尔阵列图为单通道图像。
需要说明的是，在本实施例中，图像HDR转换装置根据原始拜尔阵列图生成多通道图像时，可以对上述原始拜尔阵列图进行拆分处理，从而便可以获得上述多通道图像。具体地，在本实施例中，上述图像HDR转换装置可以按照预设排列顺序对上述原始拜尔阵列图进行拆分。
进一步地，在本实施例中，上述预设排列顺序可以包括由红R、绿G、蓝B构成的多种排列顺序，例如，上述图像HDR转换装置可以按照R，G，G，B的排列顺序对原始拜尔阵列图进行拆分，也可以按照B，G，G，R的顺序对原始拜尔阵列图进行拆分。
需要说明的是，在本实施例中，原始拜尔阵列图为单通道图像，其排列顺序可以由拜尔阵列Bayer Pattern来确定。其中，Bayer Pattern，为单电荷耦合器件(Charge-coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)等作为光传感器采集数字图像时用到的一种常见的方法。具体地，该方法是在CCD表面覆盖一个只含R，G，B三色的马赛克滤镜，这个设计理念最初由拜尔提出，所以这种滤镜也被称作Bayer Pattern。图2为本申请实施例中拜尔阵列的示意图，如图2所示，Bayer Pattern可以由R，G，B三色滤光点构成，其中，不同颜色的滤光点的排列是有规律的，即每个G滤光点的四周分布着2个R滤光点、2个B滤光点以及4个G滤光点。整体上，G滤光点的数量是其他两种颜色滤光点的两倍，这是由于人眼对绿色最敏感，所以G滤光点最多。
基于上述图2，图3为本实施例中图像拆分示意图，如图3所示，图像HDR转换装置可以将输入的原始拜尔阵列图按照R，G，G，B的排列顺序拆分为网路处理所需的多通道图像，即多通道R，G，G，B图像。
步骤102、基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同。
在本实施例中，图像HDR转换装置在根据原始拜尔阵列图生成上述原始拜尔阵列图对应的多通道图像之后，便可以基于预设神经网络，通过上述多通道图像生成上述多通道图像对应的仿射变换系数矩阵。
需要说明的是，在本实施例中，上述预设神经网络用于对输入的多通道图像进行卷积处理，从而获得多通道图像对应的仿射变换系数矩阵，进而便可以根据上述仿射变换系数矩阵获得多通道图像对应的多通道HDR图像。
具体地，上述仿射变换系数矩阵是与多通道图像具有相同尺度大小的系数变换矩阵。也就是说，图像HDR转换装置基于上述预设神经网络所获得的上述仿射变换系数矩阵的尺度和多通道图像的尺度相同，从而可以保证最终生成的多通道HDR图像的尺度和多通道图像的尺度相同。
需要说明的是，在本实施例中，图像HDR转换装置在基于预设神经网络，通过多通道图像生成上述多通道图像对应的仿射变换系数矩阵时，可以对上述多通道图像做分辨率的降低处理，以降低上述多通道图像的大小，同时，为了适应图像的全局以及局部调整，可以对降低大小后的多通道图像分别进行不同程度的卷积操作，即分别进行卷积核与输出通道数量不同的卷积处理，获得对应的局部特征图和全局特征图，然后再将局部特征图和全局特征图融合得到一个小尺寸的HDR双边变换系数矩阵，即双边网格系数矩阵；图像HDR转换装置还可以对输入的上述多通道图像做卷积，得到相同大小的单通道灰度图作为灰度引导图；图像HDR转换装置在获得上述双边网格系数矩阵和上述灰度引导图之后，便可以将上述双边网格系数矩阵和上述灰度引导图进行双边插值，放大成为与上述多通道图像对应的与多通道图像尺度大小相同的HDR双边变换系数矩阵，即上述多通道图像对应的仿射变换系数矩阵。
基于上述图3，图4为本实施例中预设神经网络的实现示意图，如图4所示，多通道图像输入至预设神经网络后，可以分别进行卷积处理，获得双边网格系数矩阵和灰度引导图，然后在将上述双边网格系数矩阵和上述灰度引导图进行融合之后，获得仿射变换系数矩阵，从而便可以根据上述仿射变换系数矩阵进一步获得多通道图像对应的多通道HDR图像。
在本实施例中，进一步地，图像HDR转换装置在基于预设神经网络，通过多通道图像生成上述多通道图像对应的仿射变换系数矩阵之前，即步骤102之前，可以先生成预设神经网络。
需要说明的是，在本申请的实施例中，图像HDR转换装置在进行预设神经网络的生成时，可以先获取样本图像对应的待训练图像和标准系数矩阵，然后再根据待训练图像和标准系数矩阵，对待训练的神经网络进行训练，获得预设神经网络。
进一步地，在本实施例中，样本图像为单通道图像，待训练图像为样本图像对应的多通道图像。具体地，对样本图像进行拆分处理便可以获得待训练图像。
需要说明的是，在本实施例中，标准系数矩阵是与样本图像相对应的，用于对样本图像进行特征提取。具体地，待训练图像的尺度和标准系数矩阵的尺度相同。
进一步地，在本实施例中，图像HDR转换装置可以利用待训练图像和标准系数矩阵，不断的对待训练的神经网络进行训练，最终便可以获得预设神经网络。
步骤103、根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像。
在本实施例中，图像HDR转换装置在基于预设神经网络，通过多通道图像生成上述多通道图像对应的仿射变换系数矩阵之后，便可以根据上述仿射变换系数矩阵对上述多通道图像进行HDR转换，从而便可以获得上述多通道图像对应的多通道HDR图像。
需要说明的是，在本实施例中，图像HDR转换装置在根据上述仿射变换系数矩阵对上述多通道图像进行HDR转换时，可以将仿射变换系数矩阵和多通道图像输入至预设转换模型中，从而输出多通道HDR图像。
需要说明的是，预设转换模型可以用于基于系数和图像进行数学运算，也就是说，预设转换模型可以对仿射变换系数矩阵和多通道图像进行数学运算，以实现图像的转换。具体地，基于预设转换模型，图像HDR转换装置可以对上述仿射变换系数矩阵和上述多通道图像进行乘法处理，即上述图像HDR转换装置可以将上述仿射变换系数矩阵和上述多通道图像相乘，以实现图像HDR的转换，最终便可以获得上述多通道图像对应的上述多通道HDR图像。基于预设转换模型，图像HDR转换装置还可以对上述仿射变换系数矩阵和上述多通道图像进行乘法处理和加法处理，以实现图像HDR的转换，最终便可以获得上述多通道图像对应的上述多通道HDR图像。
进一步地，在本实施例中，上述多通道HDR图像是与多通道图像等宽等高的相同尺度的图像。且由于图像HDR转换装置是在上述原始拜尔阵列图的基础上，利用上述预设神经网络获得的上述多通道HDR图像，因此，上述多通道HDR图像能够最大限度还原原始拜尔阵列图的色彩度和层次感。
步骤104、根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。
在本实施例中，图像HDR转换装置在根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像之后，可以进一步根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。
需要说明的是，在本实施例中，图像HDR转换装置在根据仿射变换系数矩阵对多通道图像进行HDR转换获得的多通道HDR图像是与多通道图像尺度相同的多通道HDR图像，为了获得单通道的HDR图像，图像HDR转换装置可以将HDR图像按照一定的规则拼接为原始拜尔阵列图对应的、单通道的HDR拜尔阵列图。
在本实施例中，进一步地，图像HDR转换装置根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图的方法可以包括以下步骤：
步骤104a、确定原始拜尔阵列图对应的拜尔模型类型。
步骤104b、根据多通道HDR图像和拜尔模型，生成HDR拜尔阵列图。
在本实施例中，图像HDR转换装置在根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像之后，可以先对上述原始拜尔阵列图对应的拜尔模型类型进行确定，然后根据上述多通道HDR图像和上述拜尔模型类型，生成HDR拜尔阵列图。
需要说明的是，在本实施例中，图像HDR转换装置在完成对原始拜尔阵列图的图像HDR转换之后，可以将获得的多通道的上述多通道HDR图像转换为单通道的上述HDR拜尔阵列图。也就是说，原始拜尔阵列图为RAW数据，最终输出的HDR拜尔阵列图同样为RAW数据，从而可以继续将HDR拜尔阵列图送回至上述原始拜尔阵列图的数据处理流程中，因此不会对图像HDR转换装置的处理流程产生较大的影响，进而有利于快速集成。
进一步地，在本实施例中，图像HDR转换装置在进行HDR拜尔阵列图的生成时，需要先确定上述原始拜尔阵列图对应的拜尔模型类型，从而可以根据上述拜尔模型类型对上述HDR拜尔阵列图进行生成，以保证上述HDR拜尔阵列图与上述原始拜尔阵列图具有相同的类型。
基于上述图4，图5为本实施例中图像形式转换的示意图，如图5所示，图像HDR转换装置在生成HDR图像之后，可以按照原始拜尔阵列图的拜尔模型类型将HDR图像重新转变为HDR拜尔阵列图。
基于上述步骤101至步骤104所述的方法，本公开提出的图像HDR转换方法，图像HDR转换装置可以先按照步骤101的方法进行数据预处理，将单通道的原始拜尔阵列图拆解为多通道RGB图像；然后按照步骤102的方法，基于预设神经网络，计算获得HDR变换矩阵系数，即仿射变换系数矩阵，再按照步骤103的方法，将上述仿射变换系数矩阵应用到拆分后的多通道图像中，最终生成与上述多通道图像对应的多通道HDR图像；最后按照步骤104的方法进行数据后处理，将网络生成的RGB形式的多通道HDR图像重新变换为Bayer Pattern形式，即获得HDR拜尔阵列图。
本实施例提供了一种图像HDR转换方法，图像HDR转换装置根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同；根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。也就是说，在本公开的实施例中，图像HDR转换装置将单通道的原始拜尔阵列图拆解为RGB形式的多通道图像，通过预设神经网络和多通道图像获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
基于上述实施例，在本公开的另一实施例中，图像HDR转换装置基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵的方法可以包括以下步骤：
步骤102a、对多通道图像进行卷积处理，获得多通道图像对应的双边网格系数矩阵和灰度引导图；其中，双边网格系数矩阵的尺度小于多通道图像的尺度。
在本实施例中，图像HDR转换装置在根据原始拜尔阵列图生成上述原始拜尔阵列图对应的多通道图像之后，便可以对上述多通道图像进行卷积处理，从而可以获得上述多通道图像对应的双边网格系数矩阵和灰度引导图。
需要说明的是，在本实施例中，上述双边网格系数矩阵的尺度小于多通道图像的尺度，上述灰度引导图的尺度与原始拜尔阵列图的尺度相同。
进一步地，在本实施例中，图像HDR转换装置在按照多通道图像获得对应的双边网格系数矩阵时，需要进行多次卷积处理。具体地，上述图像HDR转换装置可以先对多通道图像进行降分辨率处理，以降低上述多通道图像的大小，获得一个预设尺度的图像，其中，上述预设尺度的具体取值可以由图像HDR转换装置进行任意设定，例如，可以将预设尺度设定为256*256。然后上述图像HDR转换装置可以对降低分辨率大小后的图像进行卷积处理，分别获得包括全局特征图和局部特征图等不同的图像，需要说明的是，上述图像HDR转换装置为了适应图像的全局以及局部调整，因此可以对降低大小后的图像进行不同程度的卷积处理，其中，不同程度的卷积处理包括不同的卷积核大小以及不同数量的输出通道，从而可以获得上述全局特征图和上述局部特征图。最后，上述图像HDR转换装置将上述全局特征图和上述局部特征图进行融合后便可以获得小尺寸的HDR双边变换系数矩阵，即上述双边网格系数矩阵。
步骤102b、根据双边网格系数矩阵和灰度引导图，获得仿射变换系数矩阵。
在本实施例中，图像HDR转换装置在对多通道图像进行卷积处理，获得多通道图像对应的双边网格系数矩阵和灰度引导图之后，便可以根据上述双边网格系数矩阵和上述灰度引导图，获得仿射变换系数矩阵。
进一步地，在本实施例中，图像HDR转换装置在获得双边网格系数矩阵和灰度引导图之后，便可以对上述双边网格系数矩阵与上述灰度引导图进行双边插值，从而可以将小尺寸的HDR双边变换系数矩阵，即双边网格系数矩阵放大成为与多通道图像相同尺度的HDR双边变换系数矩阵，即仿射变换系数矩阵。
也就是说，在本实施例中，图像HDR转换装置在获得双边网格系数矩阵和灰度引导图之后，可以根据上述双边网格系数矩阵和上述灰度引导图进行双边差值放大处理，从而可以获得与多通道图像相同尺度的仿射变换系数矩阵。
本实施例提供了一种图像HDR转换方法，图像HDR转换装置根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同；根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。也就是说，在本公开的实施例中，图像HDR转换装置将单通道的原始拜尔阵列图拆解为RGB形式的多通道图像，通过预设神经网络和多通道图像获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
基于上述实施例，在本公开的又一实施例中，图像HDR转换装置对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵的方法可以包括以下步骤：
步骤201、对多通道图像进行降分辨率处理，获得多通道图像对应的变换后图像；其中，变换后图像的尺度小于多通道图像的尺度。
在本实施例中，图像HDR转换装置在根据原始拜尔阵列图生成上述原始拜尔阵列图对应的多通道图像之后，可以先对上述多通道图像进行降分辨率处理，从而可以获得与上述多通道图像对应的变换后图像。
需要说明的是，在本实施例中，上述变换后图像的尺度小于上述多通道图像的尺度。也就是说，在本实施中，图像HDR转换装置对多通道图像进行的降分辨率处理，用于降低上述多通道图像的尺度。
步骤202、对变换后图像进行全局卷积处理，获得全局特征图和局部特征图。
在本实施例中，图像HDR转换装置在对上述多通道图像进行降分辨率处理，获得变换后图像之后，可以对上述变换后图像进行卷积处理，以获得全局特征图和局部特征图。
需要说明的是，在本实施例中，图像HDR转换装置在进行处理获得变换后图像之后，为了进行全局调整，可以对变换后图像进行全局卷积处理，同时，为了进行局部调整，可以对变换后图像进行局部卷积处理，从而可以分别获得全局特征图和局部特征图。
需要说明的是，在本实施例中，全局卷积处理和局部卷积处理可以具有不同的卷积核大小以及不同的输出通道数量。
步骤203、对全局特征图和局部特征图进行融合处理，获得双边网格系数矩阵。
在本实施例中，图像HDR转换装置在分别获得全局特征图和局部特征图之后，便可以对上述全局特征图和上述局部特征图进行融合处理，从而可以获得双边网格系数矩阵。
图6为本实施例中图像HDR转换实现示意图，如图6所示，图像HDR转换装置可以先对单通道的原始拜尔阵列图进行拆分处理，获得RGB形式的多通道图像，然后可以对多通道图像进行降分辨率处理，降低多通道图像的尺度，获得变换后图像，分别对变换后图像进行不同程度的卷积处理，以适应图像的全局调整和局部调整，获得全局特征图和局部特征图，融合全局特征图和局部特征图后获得双边网格系数矩阵。同时，还可以对多通道图像进行卷积处理，获得单通道的灰度引导图。图像HDR转换装置便可以根据灰度引导图和双边网格系数矩阵进行双边差值放大获得仿射变换系数矩阵。最后，图像HDR转换装置对仿射变换系数矩阵和多通道图像进行相乘处理，实现对多通道图像的图像HDR转换，获得对应的多通道HDR图像。
本实施例提供了一种图像HDR转换方法，图像HDR转换装置根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同；根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。也就是说，在本公开的实施例中，图像HDR转换装置将单通道的原始拜尔阵列图拆解为RGB形式的多通道图像，通过预设神经网络和多通道图像获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
基于上述实施例，在本公开的又一实施例中，图7为本实施例提出的图像HDR转换装置的组成结构示意图一，如图7所示，图像HDR转换装置1可以包括：生成单元11，转换单元12。
所述生成单元11，用于根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；以及基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述原始拜尔阵列图的尺度相同。
所述转换单元12，用于根据所述仿射变换系数矩阵对所述多通道图像进行HDR转换，获得所述多通道图像对应的多通道HDR图像。
所述生成单元11，还用于根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
进一步地，在本实施例中，所述生成单元11，具体用于按照预设排列顺序对所述原始拜尔阵列图进行拆分处理，获得所述多通道图像。
进一步地，在本实施例中，所述生成单元11，还具体用于对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵和灰度引导图；其中，所述双边网格系数矩阵的尺度小于所述多通道图像的尺度；以及根据所述双边网格系数矩阵和所述灰度引导图，获得仿射变换系数矩阵。
进一步地，在本实施例中，所述生成单元11，还具体用于对所述多通道图像进行降分辨率处理，获得所述多通道图像对应的变换后图像；其中，所述变换后图像的尺度小于所述多通道图像的尺度；以及对所述变换后图像进行卷积处理，获得全局特征图和局部特征图；以及对所述全局特征图和所述局部特征图进行融合处理，获得所述双边网格系数矩阵。
进一步地，在本实施例中，所述生成单元11，还具体用于根据所述双边网格系数矩阵和所述灰度引导图进行双边差值放大处理，获得所述仿射变换系数矩阵。
进一步地，在本实施例中，所述转换单元12，具体用于将所述仿射变换系数矩阵和所述多通道图像输入至预设转换模型中，输出所述多通道HDR图像；其中，所述预设转换模型用于基于系数和图像进行数学运算。
进一步地，在本实施例中，所述生成单元11，还具体用于确定所述原始拜尔阵列图对应的拜尔模型类型；以及根据所述多通道HDR图像和所述拜尔模型，生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
图8为本实施例提出的图像HDR转换装置的组成结构示意图二，如图8所示，本公开实施例提出的图像HDR转换装置1还可以包括处理器13、存储有处理器13可执行指令的存储器14，进一步地，图像HDR转换装置1还可以包括通信接口15，和用于连接处理器13、存储器14以及通信接口15的总线16。
在本公开的实施例中，上述处理器13可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。图像HDR转换装置1还可以包括存储器14，该存储器14可以与处理器13连接，其中，存储器14用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器14可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本公开的实施例中，总线16用于连接通信接口15、处理器13以及存储器14以及这些器件之间的相互通信。
在本公开的实施例中，存储器14，用于存储指令和数据。
进一步地，在本公开的实施例中，上述处理器13，用于根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述原始拜尔阵列图的尺度相同；根据所述仿射变换系数矩阵对所述多通道图像进行高动态范围图像HDR转换，获得所述多通道图像对应的多通道HDR图像；根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
在实际应用中，上述存储器14可以是易失性第一存储器(volatile memor)，例如随机存取第一存储器(Random-Access Memory，RAM)；或者非易失性第一存储器(non-volatile memory)，例如只读第一存储y器(Read-Only Memory，ROM)，快闪第一存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的第一存储器的组合，并向处理器13提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本公开实施例提出的一种图像HDR转换装置，该图像HDR转换装置根据原始拜尔阵列图生成原始拜尔阵列图对应的多通道图像；基于预设神经网络，通过多通道图像生成多通道图像对应的仿射变换系数矩阵；其中，仿射变换系数矩阵的尺度和多通道图像的尺度相同；根据仿射变换系数矩阵对多通道图像进行HDR转换，获得多通道图像对应的多通道HDR图像；根据多通道HDR图像生成原始拜尔阵列图对应的HDR拜尔阵列图。也就是说，在本公开的实施例中，图像HDR转换装置将单通道的原始拜尔阵列图拆解为RGB形式的多通道图像，通过预设神经网络和多通道图像获得用于进行HDR转换的仿射变换系数矩阵，然后将仿射变换系数矩阵应用于多通道图像中，实现对原始拜尔阵列图的图像HDR转换，从而高质量的还原原始拜尔阵列图的色彩和层次感。
本公开实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像HDR转换方法。
具体来讲，本实施例中的一种图像HDR转换方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像HDR转换方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；
基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述原始拜尔阵列图的尺度相同；
根据所述仿射变换系数矩阵对所述多通道图像进行高动态范围图像HDR转换，获得所述多通道图像对应的多通道HDR图像；
根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
本领域内的技术人员应明白，本公开的实施例可提供为方法、终端、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。
Claims (10)
1.一种图像HDR转换方法，其特征在于，所述方法包括：
根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；
基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述多通道图像的尺度相同；
根据所述仿射变换系数矩阵对所述多通道图像进行高动态范围图像HDR转换，获得所述多通道图像对应的多通道HDR图像；
根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
2.根据权利要求1所述的方法，其特征在于，所述根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像，包括：
按照预设排列顺序对所述原始拜尔阵列图进行拆分处理，获得所述多通道图像。
3.根据权利要求1所述的方法，其特征在于，所述基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵，包括：
对所述多通道图像进行卷积处理，获得所述多通道图像对应的双边网格系数矩阵和灰度引导图；其中，所述双边网格系数矩阵的尺度小于所述多通道图像的尺度；
根据所述双边网格系数矩阵和所述灰度引导图，获得所述仿射变换系数矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述仿射变换系数矩阵对所述多通道图像进行HDR转换，获得所述多通道图像对应的多通道HDR图像，包括：
将所述仿射变换系数矩阵和所述多通道图像输入至预设转换模型中，输出所述多通道HDR图像；其中，所述预设转换模型用于基于系数和图像进行数学运算。
5.根据权利要求1所述的方法，其特征在于，所述根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图，包括：
确定所述原始拜尔阵列图对应的拜尔模型类型；
根据所述多通道HDR图像和所述拜尔模型，生成所述HDR拜尔阵列图。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵之前，所述方法还包括：
生成所述预设神经网络。
7.根据权利要求6所述的方法，其特征在于，所述生成所述预设神经网络，包括：
获取样本图像对应的待训练图像和标准系数矩阵；其中，所述待训练图像的尺度和所述标准系数矩阵的尺度相同；所述标准系数矩阵用于对所述样本图像进行特征提取；
根据所述待训练图像和所述标准系数矩阵，对待训练的神经网络进行训练，获得所述预设神经网络。
8.一种图像HDR转换装置，其特征在于，所述图像HDR转换装置包括：生成单元和转换单元，
所述生成单元，用于根据原始拜尔阵列图生成所述原始拜尔阵列图对应的多通道图像；以及基于预设神经网络，通过所述多通道图像生成所述多通道图像对应的仿射变换系数矩阵；其中，所述仿射变换系数矩阵的尺度和所述多通道图像的尺度相同；
所述转换单元，用于根据所述仿射变换系数矩阵对所述多通道图像进行HDR转换，获得所述多通道图像对应的多通道HDR图像；
所述生成单元，还用于根据所述多通道HDR图像生成所述原始拜尔阵列图对应的HDR拜尔阵列图。
9.一种图像HDR转换装置，其特征在于，所述图像HDR转换装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，应用于图像HDR转换装置，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688084.5A CN110428362B (zh) | 2019-07-29 | 2019-07-29 | 图像hdr转换方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910688084.5A CN110428362B (zh) | 2019-07-29 | 2019-07-29 | 图像hdr转换方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428362A true CN110428362A (zh) | 2019-11-08 |
| CN110428362B CN110428362B (zh) | 2023-12-15 |
Family
ID=68412828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910688084.5A Active CN110428362B (zh) | 2019-07-29 | 2019-07-29 | 图像hdr转换方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110428362B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111372006A (zh) * | 2020-03-03 | 2020-07-03 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| CN113255421A (zh) * | 2020-12-08 | 2021-08-13 | 四川云从天府人工智能科技有限公司 | 一种图像检测方法、系统、设备及介质 |
| CN113284156A (zh) * | 2021-07-23 | 2021-08-20 | 杭州星犀科技有限公司 | 实时无绿幕抠图方法、电子设备和存储介质 |
| WO2021213336A1 (zh) * | 2020-04-22 | 2021-10-28 | 华为技术有限公司 | 一种画质增强装置及相关方法 |
| WO2022000157A1 (en) * | 2020-06-29 | 2022-01-06 | Plantronics, Inc. | Video systems with real-time dynamic range enhancement |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040027596A1 (en) * | 1999-05-25 | 2004-02-12 | Walmsley Simon Robert | Method for bayer mosaic image conversion |
| GB201308910D0 (en) * | 2012-07-02 | 2013-07-03 | Zoran Corp | Device and algorithm for capturing high dynamic range (HDR) video |
| CN107689036A (zh) * | 2017-09-01 | 2018-02-13 | 深圳市唯特视科技有限公司 | 一种基于深度双边学习的实时图像增强方法 |
| US20180160038A1 (en) * | 2016-12-07 | 2018-06-07 | Microsoft Technology Licensing, Llc | Advanced raw conversion to produce high dynamic range, wide color gamut output |
| US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
| JP2019080100A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社朋栄 | 高精度色補正処理方法及び高精度色補正処理装置 |
-
2019
- 2019-07-29 CN CN201910688084.5A patent/CN110428362B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040027596A1 (en) * | 1999-05-25 | 2004-02-12 | Walmsley Simon Robert | Method for bayer mosaic image conversion |
| GB201308910D0 (en) * | 2012-07-02 | 2013-07-03 | Zoran Corp | Device and algorithm for capturing high dynamic range (HDR) video |
| US20180160038A1 (en) * | 2016-12-07 | 2018-06-07 | Microsoft Technology Licensing, Llc | Advanced raw conversion to produce high dynamic range, wide color gamut output |
| CN107689036A (zh) * | 2017-09-01 | 2018-02-13 | 深圳市唯特视科技有限公司 | 一种基于深度双边学习的实时图像增强方法 |
| JP2019080100A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社朋栄 | 高精度色補正処理方法及び高精度色補正処理装置 |
| US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111372006A (zh) * | 2020-03-03 | 2020-07-03 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
| WO2021213336A1 (zh) * | 2020-04-22 | 2021-10-28 | 华为技术有限公司 | 一种画质增强装置及相关方法 |
| WO2022000157A1 (en) * | 2020-06-29 | 2022-01-06 | Plantronics, Inc. | Video systems with real-time dynamic range enhancement |
| CN113255421A (zh) * | 2020-12-08 | 2021-08-13 | 四川云从天府人工智能科技有限公司 | 一种图像检测方法、系统、设备及介质 |
| CN113284156A (zh) * | 2021-07-23 | 2021-08-20 | 杭州星犀科技有限公司 | 实时无绿幕抠图方法、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428362B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428362A (zh) | 图像hdr转换方法及装置、存储介质 | |
| Brooks et al. | Unprocessing images for learned raw denoising | |
| CN107045715B (zh) | 一种单幅低动态范围图像生成高动态范围图像的方法 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| US8559744B2 (en) | Method for processing a digital object and related system | |
| WO2020187424A1 (en) | Image processor | |
| CN108024054A (zh) | 图像处理方法、装置及设备 | |
| KR102095443B1 (ko) | 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치 | |
| TW200903347A (en) | Edge mapping using panchromatic pixels | |
| RU2697928C1 (ru) | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее | |
| Nguyen et al. | Raw image reconstruction using a self-contained srgb–jpeg image with small memory overhead | |
| Akyüz | Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction | |
| CN108616700A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108769523A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN114581355A (zh) | 一种重建hdr图像的方法、终端及电子设备 | |
| Monod et al. | An analysis and implementation of the hdr+ burst denoising method | |
| CN111953888B (zh) | 暗光成像方法、装置、计算机可读存储介质及终端设备 | |
| CN109447927A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| KR20230165686A (ko) | 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치 | |
| CN113298829B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109242793A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN109118427A (zh) | 图像光效处理方法和装置、电子设备、存储介质 | |
| CN109410308A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |