CN111798381A - 图像转换方法、装置、计算机设备和存储介质 - Google Patents

图像转换方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111798381A
CN111798381A CN202010429262.5A CN202010429262A CN111798381A CN 111798381 A CN111798381 A CN 111798381A CN 202010429262 A CN202010429262 A CN 202010429262A CN 111798381 A CN111798381 A CN 111798381A
Authority
CN
China
Prior art keywords
color channel
image
order
standard color
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010429262.5A
Other languages
English (en)
Inventor
尹祥
饶青
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Chengdu Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kuangshi Jinzhi Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Chengdu Kuangshi Jinzhi Technology Co ltd
Priority to CN202010429262.5A priority Critical patent/CN111798381A/zh
Publication of CN111798381A publication Critical patent/CN111798381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像转换方法、装置、计算机设备和存储介质。所述方法包括：采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。采用本方法能够减小转换得到的Raw图和原始的Raw图之间的误差。

Description

图像转换方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像转换方法、装置、计算机设备和存储介质。
背景技术
在图像处理领域，相机等图像采集设备直接采集得到的数据被称为Raw图，又称为电子底片，这种格式的图像和图像采集设备密切相关的一种数据保存格式。
通常，原始的Raw图存储了传感器采集后最原始的数据，当需要将采集到的图像数据进行显示的时候，需要将原始的Raw图经过专门的图像信号处理(Image SignalProcessing，简称ISP)之后，得到符合人类视觉系统的标准颜色通道图，即标准RGB图(standard Red Green Blue，简称sRGB图)。相比较sRGB图像，由于原始的Raw图的位深度较高，具有更高的动态范围，以及原始的Raw图的值和场景的光线辐射强度线性相关，因此在摄影中针对原始的Raw进行图像风格的调整，以及基于原始的Raw图的卷积神经网络在去噪和超分辨的任务中效果更好，因此，常常需要将sRGB图转换成为Raw图进行处理。传统的将sRGB图转换成为Raw图的方式，通常采用ISP的逆过程实现。
然而，在ISP的逆过程中，转换得到的Raw图和原始的Raw图之间的误差较大。
发明内容
基于此，有必要针对上述技术问题，提供一种能够减小图像误差的图像转方法、装置、计算机设备和存储介质。
一种图像转换方法，所述方法包括：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
在其中一个实施例中，所述位深度扩展模块包括卷积子模块、目标激活函数层和插值子模块；所述采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图，包括：
采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图；
采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数；
采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
在其中一个实施例中，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；
其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmin为低位标准颜色通道图的像素点中的最小像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，α和(1-α)为归一化插值系数。
在其中一个实施例中，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。
在其中一个实施例中，所述逆图像处理模块包括颜色转换子模块和单调非线性变换子模块；所述采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图，包括：
采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵；
采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图；
采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
在其中一个实施例中，所述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法的单调函数的模块。
在其中一个实施例中，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。
在其中一个实施例中，所述方法还包括：
对所述高位原始图进行目标处理操作，得到目标高位原始图；
采用所述逆图像处理模块对所述目标高位原始图进行逆非线性变换，得到目标高位颜色通道图；
对所述目标高位颜色通道图进行基于位深度压缩的量化操作，得到所述目标低位颜色通道图。
在其中一个实施例中，所述低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特。
一种图像转换装置，所述装置包括：
位深度扩展模块，用于对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
逆图像处理模块，用于对所述高位标准颜色通道图进行图像转换，得到高位原始图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
上述图像转换方法、装置、计算机设备和存储介质，通过采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图，从而实现了图像位深度的扩展，由于高位图相比低位图，图像的动态范围更高，因此采用逆图像处理模块对动态范围更高的高位标准颜色通道图进行图像转换，得到高位原始图能够具有高动态范围。该方法使得通过对高位原始图的操作，可以直接执行图像转换，而无需原始的Raw图的信息，因此实现难度大大降低。同时，在一些图像处理的实现过程中，例如调整摄影图像的效果和风格，再如基于高位原始图的卷积神经网络的去噪和超分辨的任务等，该操作更便利，图像处理的效果更好，进而极大地提高了图像质量，提升了图像的显示效果。同时，采用上述位深度扩展模块和逆逆图像处理模块实现低位标准颜色通道图到原始高位图的转换，能够实现端到端的数据处理，因基于数据驱动学习的方式，使得数据转换过程更加简单有效，提高了图像转换效率，也不会引入额外的噪声，进而节约了系统开销。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中图像转换方法的流程示意图；
图3为另一个实施例中图像转换方法的流程示意图；
图4为又一个实施例中图像转换方法的流程示意图；
图5为又一个实施例中图像转换方法的流程示意图；
图6为一个实施例中BDE模块和逆ISP模块的网络结构示意图；
图7为一个实施例中图像转换装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储位深度扩展模块和逆图像处理模块。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像转换方法。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
在一个实施例中，如图2所示，提供了一种图像转换方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S11、采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图。
具体的，计算机设备可以读取存储设备中存储的或者接受其他设备发送的待转换的低位标准颜色通道图，该低位标准颜色通道图可以为低位的sRGB图，例如可以记做sRGBlow。计算机设备可以调用位深度扩展模块对上述低位标准颜色通道图进行位深度扩展处理，使得处理后的图像的位深度由低变高，从而得到位深度高的高位标准颜色通道图，该高位标准颜色图可以为高位的sRGB，例如可以记做sRGBhigh。可选地，上述位深度扩展(Bitdepth extension，简称BDE)模块，能够用于对图像的位深度进行扩展，将低位图扩展至高位，得到对应的高位图，例如是将4位图扩展到8位、10位、16位或者其他比4位高的高位图，当然，低位图也可以是2位、8位等，对应得到的高位图可以是比低位图的位深度高的高位图即可，本实施例对具体的位深度的高低并不做具体的限定。
S12、采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
具体的，计算机设备采用预设的逆图像处理模块，即逆ISP模块对上述高位标准颜色通道图进行图像转换，得到格式转换后的高位原始图。例如是将sRGBhigh图采用逆ISP模块进行图像转换，得到高位的Raw图。可选地，上述逆图像处理模块可以是基于从高位原始图转换成为高位标准颜色通道图的处理过程的，定义其逆过程所得到的模块。可选地，可以是定义高位的Raw图转换为sRGB图的逆过程所得到模块。因此，该逆图像处理模块能够实现从sRGB图转换成为Raw图，例如从可选地，上述逆图像处理模块也可以是包括两个网络分支的模块，包括获取颜色转换矩阵的分支，和进行非线性变换的分支，通过这两个分支输出数据的融合从而得到图像转换之后的高位原始图。
本实施例中，计算机设备通过采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图，从而实现了图像位深度的扩展，由于高位图相比低位图，图像的动态范围更高，因此采用逆图像处理模块对动态范围更高的高位标准颜色通道图进行图像转换，得到高位原始图能够具有高动态范围。该方法使得通过对高位原始图的操作，可以直接执行图像转换，而无需原始的Raw图的信息，因此实现难度大大降低。同时，在一些图像处理的实现过程中，例如调整摄影图像的效果和风格，再如基于高位原始图的卷积神经网络的去噪和超分辨的任务等，该操作更便利，图像处理的效果更好，进而极大地提高了图像质量，提升了图像的显示效果。同时，采用上述位深度扩展模块和逆逆图像处理模块实现低位标准颜色通道图到原始高位图的转换，能够实现端到端的数据处理，因基于数据驱动学习的方式，使得数据转换过程更加简单有效，提高了图像转换效率，也不会引入额外的噪声，进而节约了系统开销。
在一个实施例中，所述位深度扩展模块包括卷积子模块和插值子模块；上述步骤S11的一种可能的实现方式可以如图3所示，包括：
S111、采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图。
具体的，上述位深度扩展模块可以包括卷积子模块和插值子模块。其中，卷积子模块可以包括多个卷积层和卷积层对应的其他网络层。可选地，该卷积子模块可以为一种无下采样的残差跳接结构，对于卷积子模块的卷积层的层数本实施例并不做限定。上述低位标准颜色通道图进入卷积子模块，实现卷积处理，可以是执行图像特征提取的卷积操作，得到中间低位颜色通道特征图。
S112、采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数。
具体的，计算机设备可以采用目标激活函数层对上述中间低位标准颜色通道图进行系数预测，从而得到归一化插值系数。需要说明的是，上述目标激活函数层的激活函数可以位数出归一化插值系数的激活函数类型。当上述中间地位标准颜色通道输入该目标激活函数层，该目标激活函数层能够预测得到上述归一化插值系数。
S113、采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
具体的，计算机设备可以获取上述低位标准颜色通道图中每个像素点的像素值，从中选出最大像素值和最小像素值，可以分别记为lmax和lmin。计算机设备可以采用插值子模块，基于该lmax、lmin和归一化插值系数进行插值处理，实现位深度扩展，得到位深度高的高位标准颜色通道图。
可选地，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，lmax为低位标准颜色通道图的像素点中的最小像素值，α和(1-α)为归一化插值系数。需要说明的是，上述softmax函数能够输出归一化插值系数α和(1-α)，因此，由于softmax函数得到的插值系数是归一化的，不会存在差异较大的情况，即使位深度扩展模块不经过训练，采用随机化设置的网络参数，也依然能够保证输出高精度的高位标准颜色通道图，同时，上述高位标准颜色通道图的每一个像素点都采用上述关系式lpre＝α*lmax+(1-α)*lmin或者该公式的变形求得，使得位深度扩展的操作便于实现，提高了图像转换的效率和节约了计算机设备的资源。
这里对高位图，即sRGBhigh和低位图，即sRGBlow之间的转换所基于的原理进行详细的介绍：记高位图的位深度为h，低位图的位深度为l，归一化后，高位图的最小分辨刻度为1/(2h-1)，低位图的最小分辨刻度为1/(2l-1)。低位图上每变化1，对应到高位图的位为2h-l位。在同一个区间内，高位图转低位图的时候就抹平了高位图下的这个变换，可以看做同一个低位值。基于这个原理，低位图上的一个像素点的像素值lcur的最大值lmax和最小值lmax如下：
lmax＝lcur+2(h-l)/(2h-1)
lmin＝lcur-2(h-l)/(2h-1)
然后，采用公式lpre＝α*lmax+(1-α)*lmin获取高位标准颜色通道图的每个点的像素值。
本实施例中，计算机设备通过采用卷积子模块对低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图，然后采用目标激活函数层对中间低位标准颜色通道图进行系数预测，得到归一化插值系数，并采用插值子模块对归一化插值系数、以及低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到高位标准颜色通道图。该方法由于采用目标激活函数层对中间低位标准颜色通道图进行系数预测，得到归一化插值系数，该归一化插值系数的取值不会存在过大的偏差，因此基于该归一化插值系数、低位标准颜色通道图中每个像素点的最大像素值和最小像素值确定高位标准颜色通道图，所得到的高位标准颜色通道图的误差可控，因而误差大大减小，极大地提高了图像质量。
可选地，在上述各个实施例的基础上，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。上述颜色训练图像及中包括多对低位颜色训练图像和对应的高位颜色训练图像，每对低位颜色训练图像和高位颜色训练图像，为位深度不同且同源的两个图像。具体的，计算机设备可以将上述颜色训练图像集输入位深度扩展模块并进行训练，从而更新位深度扩展模块的网络参数，使得更新后的位深度扩展模块更为精准，进而能够得到更合理的归一化插值系数，基于更为合理的归一化插值系数进行插值处理，进一步减小了所得到的高位标准颜色通道图的误差，因而进一步提高了图像质量。
可选地，在上述各个实施例的基础上，上述步骤S12的一种可能的实现方式可以如图4所示，包括：
S121、采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵。
需要说明的是，上述逆图像处理模块可以包括两个分支，分别为颜色转换子模块的分支和单调非线性变换子模块的分支。具体的，计算机设备将上述高位标准颜色通道图输入颜色空间转换子模块，通过学习全局得到颜色空间转换矩阵。可选地，该颜色空间转换子模块可以为逐步下采样的模型结构，最终学习输出一个3*3的颜色空间转换矩阵。
S122、采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图。
需要说明的是，上述单调非线性变换子模块包括一个具有单调性的卷积神经网络模型，传统的卷积神经网络的模型将模型的输出看做是最终函数的输出，可以记做y＝f(x)，传统的卷积神经网络的学习结果很难保证模型的单调性。为了保证模型的单调性，基于上述分析，将模型的输出看做是要学习的函数的导数，那么目标函数就可以表示为y＝∫f(x)dx，只要确保导数为一个正值，那么原函数也就是目标函数就具有单调性。
具体的，计算机设备采用单调非线性变换子模块对高位标准颜色通道图进行非线性处理，由于目标函数的单调性，因此该非线性变化过程中结合了先验知识，能够使单调非线性变换子模经过很少的训练步骤就可以快速收敛，即使单调非线性变换子模中的网络参数为随机初始化的参数，依然能够很好地保留原始图像的信息。
可选地，上述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法(Clenshaw-Curtis quadrature)的单调函数的模块。基于该克伦肖-柯蒂斯正交算法在实现前向推理的同时，还能够推导出对应的反向传播的函数，因而使用方便，且应用场景更丰富。
S123、采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
具体的，采用所述颜色空间转换矩阵对所述线性特征图进行变换，可以是二者相乘，从而得到高位原始图。
可选地，图6为一个实施例中BDE模块和逆ISP模块的结构示意图。
本实施例中，采用颜色空间转换子模块基于高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵，采用单调非线性变换子模块对高位标准颜色通道图进行非线性处理，得到线性化的线性特征图，将线性特征图和颜色空间转换矩阵进行融合，得到高位原始图。本实施例中，由于单调非线性变换子模块的单调性，因此该非线性变化过程中结合了先验知识，能够使单调非线性变换子模经过很少的训练步骤就可以快速收敛，以及对于不同的数据集具有很好的鲁棒性。另外，即使单调非线性变换子模中的网络参数为随机化的网络参数，即不经过训练，模型输出依然能够很好地保留原始图像的信息，使得单调非线性变换子模块的获取效率更高且模型精度更高，也确保输出精度高的图像。
在一个实施例中，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。上述颜色训练图像及中包括多对低位颜色训练图像和对应的高位颜色训练图像，每对低位颜色训练图像和高位颜色训练图像，为位深度不同且同源的两个图像。具体的，计算机设备可以将上述转换训练图像集输入逆图像处理模块并进行训练，从而更新逆图像处理模块的网络参数，使得更新后的逆图像处理模块更为精准，进而能够得到误差更小更为精准的线性特征图，并进一步得到更为精准的高位原始图，进一步降低了误差，提高了图像质量。本实施例中，由于单调非线性变换子模块的单调性，能够推导出对应的反向传播的函数，因此能够应用在线性特征图逆转换为高位标准颜色通道图，无需引入其他的网络进行处理，因而使用方便，且应用场景更丰富。
可选地，在上述各个实施例的基础上，所述方法还可以如图5所示，包括：
S13、对所述高位原始图进行目标处理操作，得到目标高位原始图。
S14、采用所述逆图像处理模块对所述目标高位原始图进行逆非线性变换，得到目标高位颜色通道图。
S15、对所述目标高位颜色通道图进行基于位深度压缩的量化操作，得到所述目标低位颜色通道图。
具体的，计算机设备还可以对上述高位原始图进行目标处理操作，该目标处理操作可以包括但不限于去燥、执行超分辨任务、图像风格的调整等操作，从而得到处理后的目标高位原始图。然后计算机设备采用上述逆图像处理模块对目标高位原始图进行逆非线性变换，得到目标高位颜色通道图，即对目标处理操作后的高位原始图执行逆非线性变换，得到目标高位颜色通道图sRGB。最后，计算机设备可以对目标高位颜色通道图进行基于位深度压缩的量化操作，得到目标低位颜色通道图，进而实现在高位原始图的情况下的目标处理操作，目标低位颜色通道图。采用上述步骤将高位原始图进行处理，得到目标低位颜色通道图，能够基于目标低位颜色通道图对上述图像转换过程的精度进行验证。由于高位原始图具有动态范围高，且高位原始图的值和场景的光线辐射强度线性相关，因此在高位原始图的格式下进行目标处理操作，能够极大程度的提高图像质量。
可选地，上述是实施例中的步骤S14的具体实现过程可以如下所述：由于逆图像处理模块中的单调非线性变换子模块具有单调性，利用逆图像处理模块也可以从重建的Raw图中恢复原始高位sRGB图像。具体可以为：
首先定义如下符号：低位标准颜色通道图记为sRGBlow；经过BDE模块后的高位标准颜色通道图记为sRGBhigh；Raw代表逆ISP模块最终预测得到的原始高位图，BranchCM代表述颜色空间转换子模块输出的颜色空间转换矩阵；BranchNL代表单调非线性变换子模块的输出，则根据Raw复原sRGBhigh的步骤如下：＝
首先将BranchCM的逆运算记做BranchCM -1，则有关系式BranchNL＝BranchCM -1Raw，由于BranchNL和sRGBhigh具有单调性的关系，此时可以将问题转换为已知BranchNL求解sRGBhigh的问题。可以使用二分法进行求解，求解过程中，不断迭代运算，设置在log(n)的时间内收敛，完成求解，其中，你用于。具体的，记sRGBhigh上的一个点对应的值为xinput，BranchNL上对应的值为y，对应该输入xinput的初始化的最大值可能为xmax＝1，最小值为xmin＝0，迭代步骤如下所示：
A：xmid＝(xmax+xmin)/2；
B：通过逆ISP模块得到xmid对应的输出记为ymid；
C：如果ymid大于y，那么令ymid＝xmax，否则，则令ymid＝xmin；
D：重复执行上述A至C的步骤，直至ymid-y满足预设的精度要求为止，完成求解。可选地，上述精度要求可以和位深度相关，当高位的位深度为p时，精度要求可以设置为1/2p。
可选地，上述实施例中的低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特时，所得到的图像质量更高。
本申请实施例的技术方案还可以采用PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)和SSIM(Structural SIMilarity，结构相似性)进行评价。具体数据如下：
采用BDE模块的实验结果对比如表1所示的数据(ZP算法、Unet算法、本申请(Our)和BitNet)，其中，“/”之前为PSNR值，之后为SSIM值：
表1
ZP Unet Our BitNet
8->16，随机参数 52.96/0.9979 12.82/0.1652 52.60/0.9981 9.80/-0.2424
8->16，训练过后 52.96/0.9997 58.29/0.9991 62.06/0.9995 58.42/0.9989
8->10，随机参数 54.77/0.9989 8.72/0.1670 54.19/0.9989 6.56/-0.2325
8->10，训练过后 54.77/0.9989 58.45/0.9991 60.70/0.9993 56.85/0.9985
4->10，随机参数 28.74/0.8120 8.71/0.1665 28.28/0.8125 6.56/-0.2329
4->10，训练过后 28.74/0.8120 41.49/0.9727 40.19/0.9690 38.56/0.9641
由表1可以看出，即使采用同不经过训练的BDE模块，所得到的PSNR值和SSIM值与传统的ZP算法(破零算法)接近，效果远远高于比其他算法的模型。表1中的数据可以表征当位深度从8位扩展至10位或者16位时，效果更优。
采用逆ISP模块，基于固有的数据集S7和SID数据集进行评价，得到表2的数据：
表2
逆ISP模块 BDE+逆ISP模块
S7数据集 24.73/0.9092 25.08/0.91
SID数据集 52.46/0.9987 54.72/0.9990
由表2可以看出，BDE模块能够进一步提高图像质量。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像转换装置，包括：
位深度扩展模块100，用于对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
逆图像处理模块200，用于对所述高位标准颜色通道图进行图像转换，得到高位原始图。
在一个实施例中，所述位深度扩展模块包括卷积子模块、目标激活函数层和插值子模块；位深度扩展模块100，具体用于采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图；采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数；采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
在一个实施例中，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmin为低位标准颜色通道图的像素点中的最小像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，α和(1-α)为归一化插值系数。
在一个实施例中，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。
在一个实施例中，所述逆图像处理模块包括颜色转换子模块和单调非线性变换子模块；逆图像处理模块200，具体用于采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵；采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图；采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
在一个实施例中，所述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法的单调函数的模块。
在一个实施例中，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。
在一个实施例中，所述装置还包括复原模块，用于对所述高位原始图进行目标处理操作，得到目标高位原始图；采用所述逆图像处理模块对所述目标高位原始图进行逆非线性变换，得到目标高位颜色通道图；对所述目标高位颜色通道图进行基于位深度压缩的量化操作，得到所述目标低位颜色通道图。
在一个实施例中，所述低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特。
关于图像转换装置的具体限定可以参见上文中对于图像转换方法的限定，在此不再赘述。上述图像转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
在一个实施例中，所述位深度扩展模块包括卷积子模块、目标激活函数层和插值子模块；处理器执行计算机程序时还实现以下步骤：
采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图；
采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数；
采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
在一个实施例中，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；
其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmin为低位标准颜色通道图的像素点中的最小像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，α和(1-α)为归一化插值系数。
在一个实施例中，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。
在一个实施例中，所述逆图像处理模块包括颜色转换子模块和单调非线性变换子模块；处理器执行计算机程序时还实现以下步骤：
采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵；
采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图；
采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
在一个实施例中，所述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法的单调函数的模块。
在一个实施例中，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述高位原始图进行目标处理操作，得到目标高位原始图；
采用所述逆图像处理模块对所述目标高位原始图进行逆非线性变换，得到目标高位颜色通道图；
对所述目标高位颜色通道图进行基于位深度压缩的量化操作，得到所述目标低位颜色通道图。
在一个实施例中，所述低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
在一个实施例中，所述位深度扩展模块包括卷积子模块、目标激活函数层和插值子模块；计算机程序被处理器执行时还实现以下步骤：
采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图；
采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数；
采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
在一个实施例中，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmin为低位标准颜色通道图的像素点中的最小像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，α和(1-α)为归一化插值系数。
在一个实施例中，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。
在一个实施例中，所述逆图像处理模块包括颜色转换子模块和单调非线性变换子模块；计算机程序被处理器执行时还实现以下步骤：
采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵；
采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图；
采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
在一个实施例中，所述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法的单调函数的模块。
在一个实施例中，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述高位原始图进行目标处理操作，得到目标高位原始图；
采用所述逆图像处理模块对所述目标高位原始图进行逆非线性变换，得到目标高位颜色通道图；
对所述目标高位颜色通道图进行基于位深度压缩的量化操作，得到所述目标低位颜色通道图。
在一个实施例中，所述低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像转换方法，其特征在于，所述方法包括：
采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图。
2.根据权利要求1所述的方法，其特征在于，所述位深度扩展模块包括卷积子模块、目标激活函数层和插值子模块；所述采用位深度扩展模块对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图，包括：
采用所述卷积子模块对所述低位标准颜色通道图进行卷积处理，得到中间低位颜色通道特征图；
采用所述目标激活函数层对所述中间低位标准颜色通道图进行系数预测，得到归一化插值系数；
采用所述插值子模块对所述归一化插值系数、以及所述低位标准颜色通道图中每个像素点的最大像素值和最小像素值进行处理，得到所述高位标准颜色通道图。
3.根据权利要求2所述的方法，其特征在于，所述目标激活函数层的激活函数为softmax函数；所述插值子模块包括lpre＝α*lmax+(1-α)*lmin的关系式；
其中，lpre为高位标准颜色通道图的一个像素点的像素值，lmin为低位标准颜色通道图的像素点中的最小像素值，lmax为低位标准颜色通道图的像素点中的最大像素值，α和(1-α)为归一化插值系数。
4.根据权利要求1所述的方法，其特征在于，所述位深度扩展模块为采用颜色训练图像集进行训练得到的模型；其中，所述颜色训练图像集包括多对低位颜色训练图像和对应的高位颜色训练图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述逆图像处理模块包括颜色转换子模块和单调非线性变换子模块；所述采用逆图像处理模块对所述高位标准颜色通道图进行图像转换，得到高位原始图，包括：
采用所述颜色空间转换子模块基于所述高位标准颜色通道图进行颜色空间转换预测，得到颜色空间转换矩阵；
采用所述单调非线性变换子模块对所述高位标准颜色通道图进行非线性处理，得到线性化的线性特征图；
采用所述颜色空间转换矩阵对所述线性特征图进行变换，得到所述高位原始图。
6.根据权利要求5所述的方法，其特征在于，所述单调非线性变换子模块为包括采用克伦肖-柯蒂斯正交算法的单调函数的模块。
7.根据权利要求5所述的方法，其特征在于，所述逆图像处理模块为采用转换训练图像集进行训练得到的模型；其中，所述转换训练图像集包括多对高位颜色训练图像和对应的高位原始训练图像。
8.根据权利要求5所述的方法，其特征在于，所述低位标准颜色通道图的位深度为8比特，所述高位原始图的位深度为10比特或16比特。
9.一种图像转换装置，其特征在于，所述装置包括：
位深度扩展模块，用于对低位标准颜色通道图进行位深度扩展处理，得到高位标准颜色通道图；
逆图像处理模块，用于对所述高位标准颜色通道图进行图像转换，得到高位原始图。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010429262.5A 2020-05-20 2020-05-20 图像转换方法、装置、计算机设备和存储介质 Pending CN111798381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429262.5A CN111798381A (zh) 2020-05-20 2020-05-20 图像转换方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429262.5A CN111798381A (zh) 2020-05-20 2020-05-20 图像转换方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111798381A true CN111798381A (zh) 2020-10-20

Family

ID=72806542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429262.5A Pending CN111798381A (zh) 2020-05-20 2020-05-20 图像转换方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111798381A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581401A (zh) * 2020-12-25 2021-03-30 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备
CN113920929A (zh) * 2021-11-12 2022-01-11 深圳市迈普视通科技有限公司 一种显示屏位深度扩展装置、方法及led显示屏

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581401A (zh) * 2020-12-25 2021-03-30 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备
CN113920929A (zh) * 2021-11-12 2022-01-11 深圳市迈普视通科技有限公司 一种显示屏位深度扩展装置、方法及led显示屏

Similar Documents

Publication Publication Date Title
Xu et al. Learning to restore low-light images via decomposition-and-enhancement
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
He et al. Conditional sequential modulation for efficient global image retouching
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
CN109087273B (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
Liu et al. Deep proximal unrolling: Algorithmic framework, convergence analysis and applications
CN112308803B (zh) 一种基于深度学习的自监督低照度图像增强及去噪方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN110246094B (zh) 一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法
CN111798381A (zh) 图像转换方法、装置、计算机设备和存储介质
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
WO2022100490A1 (en) Methods and systems for deblurring blurry images
CN115965544A (zh) 自适应亮度调节的图像增强方法及系统
CN113256519A (zh) 图像的恢复方法、设备、存储介质及程序产品
CN113222856A (zh) 一种逆半色调图像处理方法、终端设备及可读存储介质
CN111292251B (zh) 图像偏色校正方法、装置以及计算机存储介质
WO2021035979A1 (zh) 边缘学习的图像填充方法、装置、终端及可读存储介质
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN112465715B (zh) 一种基于大气传输矩阵迭代优化的图像去散射方法
Gao et al. Real-time image enhancement with attention aggregation
Kim et al. Efficient-HDRTV: Efficient SDR to HDR Conversion for HDR TV
WO2022194345A1 (en) Modular and learnable image signal processor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination