CN113542593B - 一种图像处理方法、装置及终端设备 - Google Patents
一种图像处理方法、装置及终端设备 Download PDFInfo
- Publication number
- CN113542593B CN113542593B CN202110668093.5A CN202110668093A CN113542593B CN 113542593 B CN113542593 B CN 113542593B CN 202110668093 A CN202110668093 A CN 202110668093A CN 113542593 B CN113542593 B CN 113542593B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- ccm
- processed
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 6
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000000760 cerebral cavernous malformation Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本申请提供了一种图像处理方法，该方法包括：获取待处理图像，待处理图像包括多个第一色块；将待处理图像输入神经网络模型中，利用第一CCM对待处理图像进行处理，得到目标图像，第一CCM是利用神经网络模型对初始CCM进行多次训练得到的；目标图像包括多个第二色块，一个第二色块对应一个标准色块，每个第二色块与对应的每个标准色块满足预设第一条件。利用该种方法，可以得到较佳的色彩校正矩阵，以及与标准色块接近的目标图像。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种图像处理方法、装置及终端设备。
背景技术
传感器对光谱的响应，在RGB各分量上与人眼对光谱的响应通常是有偏差的。通常，通过一个色彩校正矩阵(Color correction matrix，CCM)校正光谱响应的交叉效应和响应强度，使前端捕获的图片与人眼视觉在色彩上保持一致。所以，在摄像机成像过程中需要在不同的色温下对图像进行CCM标定计算，以使图像数据更接近人类眼睛实际所看到的场景。
然而，传统的计算色彩校正矩阵的方法，极易陷入局部最优，使得校正后的色彩与目标色彩色差较大，色彩还原度较低。
发明内容
本发明提供了一种图像处理方法、装置及终端设备，可以快速准确的获取色彩校准矩阵，并且可以实现对抓取到的图片进行校准，得到高质量的图片。
第一方面，提供了一种图像处理方法，该方法包括：获取待处理图像，待处理图像包括多个第一色块；将待处理图像输入神经网络模型中，利用第一CCM对待处理图像进行处理，得到目标图像，第一CCM是利用神经网络模型对初始CCM进行多次训练得到的；目标图像包括多个第二色块，一个第二色块对应一个标准色块，每个第二色块与对应的每个标准色块满足预设第一条件。
第一方面提供的图像处理方法，通过将获取到的待处理图像输入至神经网络模型里面，利用神经网络模型中的第一CCM对待处理图像中的色块进行校准，得到校准后的目标图像，该目标图像的色块与标准色块满足预设第一条件。其中，该第一CCM是通过神经网络模型对初始CCM经过多次训练得到的，利用该种方法，可以得到较佳的色彩校正矩阵，以及与标准色块接近的目标图像。
在一种可能的实施方式中，该方法还包括：获取样本图像，样本图像包括多个第三色块；将样本图像输入至神经网络模型中，利用初始CCM进行处理，得到校准后的图像，校准后的图像包括多个第四色块，一个第四色块对应一个标准色块；根据第四色块与对应的标准色块，分别确定每个第四色块与对应的标准色块的色差；根据每个第四色块与对应的标准色块的色差，和每个第四色块的饱和度，确定多个第四色块的损失值；根据多个第四色块的损失值，确定第一CCM。在该种实现方式中，通过将样本图片输入至神经网络模型里面，利用初始CCM对样本图片进行校准，通过计算校准后的图像的色块和标准色块的差值，计算校准后的图像的色块的损失值，根据该损失值确定第一CCM。
在一种可能的实施方式中，根据多个第四色块的损失值，确定第一CCM的方法包括：当多个第四色块的损失值满足预设第二条件，确定初始CCM为第一CCM。在该种实现方式中，当校准后的图像的色块的损失值满足预设第二条件，则该第一CCM即为初始CCM，即该初始CCM不用进行进一步调整。
在一种可能的实施方式中，根据多个第四色块的损失值，确定第一CCM的方法还包括：当多个第四色块的损失值不满足所述预设第二条件时，利用神经网络模型对初始CCM进行训练；当神经网络模型输出的图像中的多个色块的损失值满足预设第二条件，根据损失值确定第一CCM。在该种实现方式中，当校准后的图像的色块的损失值不满足预设第二条件时，需要利用该神经网络模型对初始CCM进行校准训练，直到神经网络模型输出的图像的多个色块的损失值满足预设第二条件，此时得到的CCM为第一CCM。
在一种可能的实施方式中，根据多个第四色块与对应的标准色块，分别确定每个第四色块与对应的标准色块的色差，包括：根据每个第四色块与对应的标准色块，计算每个第四色块与对应的标准色块的第一色差，该第一色差包括明度差、彩度差、色相差中的至少一种；根据每个第四色块与对应的标准色块，计算每个第四色块与对应的标准色块的第二色差，该第二色差包括明度差、彩度差、色相差中的至少一种。在该种实现方式中，确定校准后的图像的色块和标准色块的第一色差和第二色差，用来计算校准后的图像的色块的损失值。
在一种可能的实施方式中，根据每个第四色块与对应的标准色块的色差，和每个第四色块的饱和度，确定多个第四色块的损失值的方法包括：根据如下损失值计算公式计算多个第四色块的损失：
L1＝(ΔE00mean×e_w+3×ΔCmean×c_w)/(e_w+c_w)
L2＝(w[0][0]+w[0][1]+w[0][2]-1)2
L3＝(w[1][0]+w[1][1]+w[1][2]-1)2
L4＝(w[2][0]+w[2][1]+w[2][2]-1)2
L5＝(Sabmean-sab)2
L＝(L1+ww×(L2+L3+L4)+ws×L5)
其中：L为多个第四色块的损失值；L1-L4为不同损失值的中间变量；ΔE00mean为多个第四色块的第一色差的均值；ΔC’mean为多个第四色块的第二色差的均值；Sabmean为前18个色块Sab的均值；e_w为ΔE00mean的权重；c_w为ΔC’mean的权重；w_w为矩阵w参数的权重，w_s为饱和度的权重。在该种方式中，利用校准后的图像的色块的第一色差、第二色差、饱和度和色彩校正矩阵以及分别对应的权重计算校准后的图像的色块的损失值。
第二方面，提供了一种图像处理装置，该装置包括用于执行以上第一方面或者第一方面的任意一方面可能的实现方式中的各个步骤的单元。
第三方面，提供了一种图像处理装置，该装置包括至少一个处理器和存储器，该至少一个处理器用于执行以上第一方面或第一方面的任意可能的实现方式中的方法。
第四方面，提供了一种图像处理装置，该装置包括至少一个处理器和接口电路，该至少一个处理器用于执行以上第一方面或者第一方面中的任意一方面可能的实现方式中的方法。
第五方面，提供了一种终端设备包括摄像头、处理器、显示屏以及上述第二方面、第三方面或者第四方面提供的任一种图像处理装置。
第六方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时，用于执行第一方面或第一方面的任意可能的实现方式中的方法。
第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序被执行时，用于执行第一方面或第一方面的任意可能的实现方式中的方法。
第八方面，提供了一种芯片或者集成电路，该芯片或者集成电路包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片或者集成电路的终端设备执行第一方面或第一方面的任意可能的实现方式中的方法。
可以理解的是，上述第二方面至第八方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
与现有技术相比，本发明的有益效果是：
本申请通过将获取到的待处理图像输入至神经网络模型里面，利用神经网络模型中的第一CCM对待处理图像中的色块进行校准，得到校准后的目标图像，该目标图像的色块与标准色块满足预设第一条件。其中，该第一CCM是通过神经网络模型对初始CCM经过多次训练得到的，利用该种方法，可以得到较佳的色彩校正矩阵，以及与标准色块接近的目标图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种图像处理方法的一个实施例的流程图；
图2示出了本申请实施例提供的第一CCM的训练方法的一个实施例的流程图；
图3示出了本申请实施例提供的图像处理装置的结构框图；
图4示出了本申请实施例提供的终端设备的结构示意图。
具体实施方式
首先，在介绍本申请提供的方法和系统之前，需要对下文中即将提及的部分术语进行说明。当本申请提及术语“第一”或者“第二”等序数词时，除非根据上下文其确实表达顺序之意，否则应当理解为仅仅是起区分之用。
术语“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
除非另有说明，本文中“/”一般表示前后关联对象是一种“或”的关系，例如，A/B可以表示A或B。术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请的描述中，“多个”是指两个或两个以上。
现有技术中，是在不同色温下抓取24色色卡(Gretag Macbeth Color Checker)的原始图像，然后对抓到的图像计算不同色温下的CCM，主要是利用传统算法计算CCM矩阵的最优解。在某个色温下CCM发生偏差时，需要反复抓取计算，或者直接对CCM参数进行调整。利用传统算法计算CCM矩阵的最优解，可能会导致某些色块偏差严重，不能根据不同需求灵活调整。直接调节CCM矩阵参数时，调动幅度很难量化，可能会导致其中其他色块发生更大的偏差。
有鉴于此，本申请提供了一种图像处理方法，通过将获取到的待处理图像输入至神经网络模型里面，利用神经网络模型中的CCM对待处理图像中的色块进行校准，从而得到校准后的目标图像。该CCM是通过对初始CCM多次训练得到的，利用多次训练得到的CCM进行图像校正，从而可以得到与标准色块接近的目标图像。
本申请实施例提供的方法，可以应用于终端设备，该终端设备包括摄像头、处理器和显示器，通过摄像头获取待处理图像，处理器根据本申请实施例提供的图像处理方法对待处理图像进行处理，显示器用于显示处理后的图像。
下面结合具体实施例，对本申请提供的图像处理方法进行示例性的说明。参见图1，为本申请提供的一种图像处理方法的一个实施例的流程图。如图1所示，该方法包括：
S110、获取待处理图像，待处理图像包括多个第一色块。
具体地，本实施例的执行主体为终端设备，具体可以为摄像机或者其他拍照设备。这些终端设备可以抓拍图片并成像。
在本申请实施例中，在终端设备拍照之前，对准预先设置好的24色标准色卡，然后进行抓拍，得到待处理图像，该预先设置好的24色标准色卡有24个标准色块，获取到的待处理图像包括多个第一色块，该多个第一色块分别对应一个标准色块。
具体地，上述标准色块是指按照国际标准协议所定义的24色卡中的色块。
示例性的，在本申请实施例中，多个第一色块为24个色块。
S120、将待处理图像输入神经网络模型中，利用第一CCM对待处理图像进行处理，得到目标图像，所述第一CCM是利用神经网络模型对初始CCM进行多次训练得到的；目标图像包括多个第二色块，一个第二色块对应一个标准色块，每个第二色块与对应的标准色块满足预设第一条件。
应理解，由于待处理图像的每个色块和相对应的标准色块都会有一定的偏差，因此，色彩校正所要达到的目的是使得待处理图像中每个色块与对应的标准色块的颜色相同。
示例性的，本申请实施例中多个第二色块为24个色块。
具体地，将获取到的待处理图像输入至神经网络模型中，利用神经网络模型中的第一CCM对待处理图像进行色彩校正，得到处理后的目标图像。
应理解，该第一CCM是利用神经网络模型对初始CCM进行多次训练得到的。
需要说明的是，该预设第一条件可根据具体情况设定，本申请实施例不做限定。
可选的，作为一种可能的实施方式，当该待处理图像为未经过色彩校正矩阵校准的图像，则利用第一CCM对该待处理图像进行校正，得到处理后的图像。
可选的，作为另一种可能的实施方式，当该待处理图像为经过色彩校正矩阵a校准后的图像，则利用第一CCM和a的卷积对待处理图像进行校正，得到处理后的图像。
本申请实施例通过将获取到的待处理图像输入至神经网络模型里面，利用神经网络模型中的第一CCM对待处理图像中的色块进行校准，得到校准后的目标图像，该目标图像的色块与标准色块满足预设第一条件。其中，该第一CCM是通过神经网络模型对初始CCM经过多次训练得到的，利用该种方法，可以得到较佳的色彩校正矩阵，以及与标准色块接近的目标图像。
下面结合具体实施例，对本申请提供的第一CCM的训练方法进行示例性的说明。参见图2，为本申请提供的第一CCM的训练方法的一个实施例的流程图。如图2所示，该方法包括：
S210、获取样本图像，样本图像包括多个第三色块。
首先，获取训练的样本图像，该样本图像为终端设备抓拍得到。该样本图像中包含了多个第三色块。同样的，该多个第三色块分别对应一个标准色块。
示例性的，本申请实施例中多个第三色块为24个色块。
S220、将样本图像输入至神经网络模型中，利用初始CCM进行处理，得到校准后的图像，校准后的图像包括多个第四色块，一个第四色块对应一个标准色块。
具体地，将样本图像输入至神经网络模型中，利用初始CCM对该样本图像进行校准，校准后输出该处理后的图像，校准后的图像包括多个第四色块，同样的，该多个第四色块分别对应一个标准色块。
示例性的，本申请实施例中多个第四色块为24个色块。
应理解，样本图像中的多个第三色块，通过初始CCM校正后得到多个第四色块。
S230、根据第四色块与对应的标准色块，分别确定每个第四色块与对应的每个标准色块的色差。
在本申请实施例中根据多个第四色块和分别对应的标准色块，确定多个第四色块和分别对应的标准色块的色差。
在本申请实施例中，该色差分为第一色差和第二色差。
具体地，第一色差是指包含了明度、彩度和色相的每个色块的色差。
在一个实施例中，该第一色差的计算公式为：
其中：ΔE00表示第一色差；kL、kC、kH分别表示参数因子；ΔL’、ΔC’、ΔH’分别表示明度差、彩度差、色相差；SL、SC、SH分别表示权重函数；RT表示旋转函数。
在本申请实施例中，该kL、kC、kH三个参数因子设置为1；SL、SC、SH用来校正颜色空间均匀性，可根据具体情况设定，本申请实施例不做限定。RT用于校正色空间蓝色区域容差椭圆主轴方向的偏转，可根据具体情况设定，本申请实施例不做限定。
应理解，通过上述计算公式，可以得到多个第四色块分别对应的第一色差。
应理解，在本申请实施例中的多个第四色块可以为24个色块。
具体地，第二色差是指不考虑明度差ΔL’的每个色块的色差。
在另一个实施例中，该第二色差的计算公式为：
其中：ΔC表示第二色差；kC、kH分别表示参数因子；ΔC’、ΔH’分别表示彩度差、色相差；SC、SH分别表示权重函数；RT表示旋转函数。
在本申请实施例中，该kC、kH三个参数因子设置为1；SC、SH用来校正颜色空间均匀性，可根据具体情况设定，本申请实施例不做限定。
应理解，通过上述计算公式，可以得到多个第四色块分别对应的第二色差。
S240、根据每个第四色块与对应的标准色块的色差，和每个第四色块的饱和度，确定多个第四色块的损失值。
在本申请实施例中，通过每个第四色块与对应的标准色块的色差，和每个第四色块的饱和度，确定多个第四色块的损失值。
具体的，如上所述，本申请实施例中的色差包括第一色差和第二色差，该第一色差和第二色差的计算公式参考上述介绍。
下面介绍对每个第四色块的饱和度的计算方式，如下，每个第四色块的饱和度的计算公式为：
其中：a，b为每个第四色块转化成Lab颜色空间后，色块中所有像素a和b的均值；ad和bd为对应标准色块Lab颜色空间中的a和b。
具体地，将校准后的图像的RGB格式转换为Lab格式。Lab是一种设备无关的颜色模型，也是一种基于生理特征的颜色模型。Lab颜色模型由三个要素组成，一个要素是亮度(L)，a和b是两个颜色通道。a包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)；b是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。因此，Lab格式的图片中，可以L值表示亮度，a值和b值表示不同范围内的色彩值。采用L值、a值和b值可以对图片颜色进行量化，从而能够准确地计算色块与标准色块在人眼视觉上的误差值。
应理解，通过上述计算公式，可以得到多个第四色块分别对应的饱和度。
在本申请实施例中，根据第一色差、第二色差和饱和度计算样本中的色块的损失值。
在一个实施例中，根据如下公式计算该损失值：
L1＝(ΔE00mean×e_w+3×ΔCmean×c_w)/(e_w+c_w) (4)
L2＝(w[0][0]+w[0][1]+w[0][2]-1)2 (5)
L3＝(w[1][0]+w[1][1]+w[1][2]-1)2 (6)
L4＝(w[2][0]+w[2][1]+w[2][2]-1)2 (7)
L5＝(Sabmean-sab)2 (8)
L＝(L1+ww×(L2+L3+L4)+ws×L5) (9)
其中：ΔE00mean为多个第四色块的第一色差的均值；ΔC’mean为多个第四色块的第二色差的均值；e_w为第一色差的权重；c_w为第二色差的权重；Sabmean为前18个色块Sab的均值；w_w为矩阵w参数的权重，w_s为饱和度的权重。
应理解，上述出现的权重，可根据具体情况设定，本申请实施例不做限定。
S250、根据多个第四色块的损失值，确定第一CCM。
具体地，根据上述得到的损失值可以确定第一CCM。
可以理解的是，第一CCM为初始CCM经过训练后更新得到的。
在本申请实施例中，第一CCM的确定方式有两种。
在一个实施例中，当上述计算得到的损失值满足预设第二条件时，确定初始CCM为第一CCM。
应理解，该预设第二条件可以为神经网络模型对CCM训练的次数，比如训练500次，则终止训练，此时得到的CCM为第一CCM。
或者，该预设第二条件还可以为当相邻两次的损失值的差值达到某一预设值，则终止训练，此时得到的CCM为第一CCM。
需要说明的是，该预设第二条件可以根据具体情况设定，本申请实施例不做限定。
在另一个实施例中，当上述计算得到的损失值不满足预设第二条件时，利用神经网络模型对该初始CCM进行训练，即当该损失值不满足预设第二条件时，利用如下公式，对初始CCM进行调整，具体公式如下：
Ir＝Ir0×0.5e/100 (10)
w＝w-Ir×w.grad (11)
其中：Ir0代表初始学习率，e为当前训练的轮次，Ir为实时更新的学习率；w.grad是每一轮学习完对损失L求w中的每个参数对应的偏导数。
利用上述公式对初始CCM进行更新，利用更新后的CCM继续对样本图片进行校准，利用校准后的图像的色块和标准色块计算第一色差、第二色差和饱和度。再利用第一色差、第二色差和饱和度计算图像的色块的损失值。判断该损失值是否满足预设第二条件。如果不满足重复以上步骤。直到输出的图片的损失值满足预设第二条件。
最后，根据满足预设第二条件的损失值确定第一CCM，计算公式如上所述，此处不再赘述。
需要说明的是，通过本申请实施例确定的第一CCM，可以在各种情况下使用，不仅限于本申请将该第一CCM通过神经网络模型对获取到的待处理图片进行校准。对该第一CCM的使用场景本申请不做限定。
对应于上文实施例所述的图像处理的方法，图3示出了本申请实施例提供的图像处理装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图3，该装置300包括获取单元301和处理单元302。
该获取单元301用于获取待处理图像或者样本图像。
该处理单元302用于将待处理图像输入神经网络模型中，利用第一CCM对待处理图像进行处理，得到目标图像。
该处理单元302还用于将样本图像输入至神经网络模型中，利用初始CCM进行处理，得到校准后的图像；根据第四色块与对应的标准色块，分别确定每个第四色块与对应的标准色块的第一色差、第二色差，根据每个第四色块与对应的标准色块的色差，和每个第四色块的饱和度，确定多个第四色块的损失值；根据多个第四色块的损失值，确定第一CCM。
该处理单元302还用于当多个第四色块的损失值满足预设第二条件时，确定初始CCM为第一CCM。当多个第四色块的损失值不满足预设第二条件时，利用神经网络模型对初始CCM进行多次训练；当神经网络模型输出的图像中的多个色块的损失值，满足预设第二条件，根据损失值确定第一CCM。
本申请实施例还提供了一种终端设备，图4本申请实施例提供的终端设备的结构示意图。如图4示，该终端设备400包括摄像头401、处理器402、显示器403、存储器404、通信接口405和总线406。其中，摄像头401、处理器402、显示器403、存储器404、通信接口405和总线406，也可以通过无线传输等其他手段实现通信。该摄像头401用于抓拍图像，该存储器404用于存储指令，该处理器402于执行该存储器404存储的指令，该存储器404存储程序代码4041，且处理器402调用存储器404存储的程序代码4041执行图1所示的图像处理的方法，然后将根据该方法处理后的图像显示在该显示器403上。
处理器402可以是CPU，处理器402可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
应理解，在本申请实施例中，显示器403用于显示处理后的图像。显示器403包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
该存储器404可以包括只读存储器和随机存取存储器，并向处理器402提供指令和数据。存储器404可以包括非易失性随机存取存储器。该存储器404可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datadate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
该总线406包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图4中将各种总线都标为总线406。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive，SSD)。
本申请实施例还提供了一种计算机可读介质，用于存储计算机程序代码，该计算机程序包括用于执行上述方法中本申请实施例的图像处理方法的指令。该可读介质可以是只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)，本申请实施例对此不做限制。
本申请还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，该系统分别执行对应于上述方法中的操作。
本申请实施例还提供了一种系统芯片，该系统芯片包括：处理单元和通信单元，该处理单元，例如可以是处理器，该通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行计算机指令，以使该芯片执行上述本申请实施例提供的任一种图像处理的方法。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种图像处理方法，其特征在于，所述方法包括：
获取样本图像，所述样本图像包括多个第三色块；
将所述样本图像输入至神经网络模型中，利用初始CCM进行处理，得到校准后的图像，所述校准后的图像包括多个第四色块，一个第四色块对应一个标准色块；
根据所述每个第四色块与对应的标准色块，计算所述每个第四色块与对应的标准色块的第一色差，所述第一色差包括明度差、彩度差、色相差中的至少一种；
根据所述每个第四色块与对应的标准色块，计算所述每个第四色块与对应的标准色块的第二色差，所述第二色差包括明度差、彩度差、色相差中的至少一种；
基于所述第一色差、所述第二色差和所述每个第四色块的饱和度，利用如下损失值计算公式计算所述多个第四色块的损失值：
L1＝(ΔE00mean×e_w+3×ΔCmean×c_w)/(e_w+c_w)
L2＝(w[0][0]+w[0][1]+w[0][2]-1)2
L3＝(w[1][0]+w[1][1]+w[1][2]-1)2
L4＝(w[2][0]+w[2][1]+w[2][2]-1)2
L5＝(Sabmean-sab)2
L＝(L1+ww×(L2+L3+L4)+ws×L5)
其中：L为所述多个第四色块的损失值；L1-L4为不同损失值的中间变量；ΔE00mean为所述多个第四色块的第一色差的均值；ΔC’mean为所述多个第四色块的第二色差的均值；Sabmean为前18个色块Sab的均值；e_w为ΔE00mean的权重；c_w为ΔC’mean的权重；w_w为矩阵w参数的权重；w_s为饱和度的权重；
根据所述多个第四色块的损失值，确定第一CCM；
获取待处理图像，所述待处理图像包括多个第一色块；
将所述待处理图像输入至所述神经网络模型中，利用所述第一CCM对所述待处理图像进行处理，得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述多个第四色块的损失值，确定第一CCM，包括：
当所述多个第四色块的损失值满足预设第二条件时，确定所述初始CCM为所述第一CCM。
3.根据权利要求2所述的图像处理方法，其特征在于，所述方法还包括：
当所述多个第四色块的损失值不满足所述预设第二条件时，利用所述神经网络模型对所述初始CCM进行多次训练；
当所述神经网络模型输出的图像中的多个色块的损失值，满足所述预设第二条件，根据所述损失值确定所述第一CCM。
4.一种图像处理装置，其特征在于，包括：处理器及存储器，所述处理器和所述存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时执行如权利要求1-3中任一项所述的方法。
5.一种终端设备，包括摄像头、处理器、显示屏，其特征在于，所述摄像头用于获取所述待处理图像，所述处理器用于利用如权利要求1至3中任一项所述的方法，将处理后的所述待处理图像显示在所述显示屏上。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668093.5A CN113542593B (zh) | 2021-06-16 | 2021-06-16 | 一种图像处理方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668093.5A CN113542593B (zh) | 2021-06-16 | 2021-06-16 | 一种图像处理方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113542593A CN113542593A (zh) | 2021-10-22 |
| CN113542593B true CN113542593B (zh) | 2023-04-07 |
Family
ID=78096176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110668093.5A Active CN113542593B (zh) | 2021-06-16 | 2021-06-16 | 一种图像处理方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542593B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827897A (zh) * | 2015-11-16 | 2016-08-03 | 维沃移动通信有限公司 | 调整卡制作方法、系统、调试色彩校正矩阵方法及设备 |
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
| CN109525749A (zh) * | 2018-11-07 | 2019-03-26 | 厦门亿联网络技术股份有限公司 | 一种校正图像色彩偏差的方法及装置 |
| CN109859117A (zh) * | 2018-12-30 | 2019-06-07 | 南京航空航天大学 | 一种采用神经网络直接校正rgb值的图像颜色校正方法 |
| CN110830778A (zh) * | 2018-08-14 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 成像设备色彩校正方法、装置、电子设备及存储介质 |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN111681187A (zh) * | 2020-06-13 | 2020-09-18 | 厦门美图之家科技有限公司 | 降彩噪方法、装置、电子设备和可读存储介质 |
| CN111754589A (zh) * | 2019-03-26 | 2020-10-09 | 北京沃东天骏信息技术有限公司 | 配色方法、装置、计算机设备及存储介质 |
| CN112073703A (zh) * | 2020-08-31 | 2020-12-11 | 深圳市景阳科技股份有限公司 | 一种色彩校正矩阵的调整方法、装置、终端设备及介质 |
-
2021
- 2021-06-16 CN CN202110668093.5A patent/CN113542593B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827897A (zh) * | 2015-11-16 | 2016-08-03 | 维沃移动通信有限公司 | 调整卡制作方法、系统、调试色彩校正矩阵方法及设备 |
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
| CN110830778A (zh) * | 2018-08-14 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 成像设备色彩校正方法、装置、电子设备及存储介质 |
| CN111062876A (zh) * | 2018-10-17 | 2020-04-24 | 北京地平线机器人技术研发有限公司 | 用于校正模型训练和图像校正的方法和装置及电子设备 |
| CN109525749A (zh) * | 2018-11-07 | 2019-03-26 | 厦门亿联网络技术股份有限公司 | 一种校正图像色彩偏差的方法及装置 |
| CN109859117A (zh) * | 2018-12-30 | 2019-06-07 | 南京航空航天大学 | 一种采用神经网络直接校正rgb值的图像颜色校正方法 |
| CN111754589A (zh) * | 2019-03-26 | 2020-10-09 | 北京沃东天骏信息技术有限公司 | 配色方法、装置、计算机设备及存储介质 |
| CN111681187A (zh) * | 2020-06-13 | 2020-09-18 | 厦门美图之家科技有限公司 | 降彩噪方法、装置、电子设备和可读存储介质 |
| CN112073703A (zh) * | 2020-08-31 | 2020-12-11 | 深圳市景阳科技股份有限公司 | 一种色彩校正矩阵的调整方法、装置、终端设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113542593A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100886099B1 (ko) | 감마 보정 곡선의 자동 산출 장치 및 방법 | |
| WO2020082593A1 (zh) | 增强图像对比度的方法及其装置 | |
| US7586521B2 (en) | Automatic color calibration of an image sensor | |
| CN112752023B (zh) | 一种图像调整方法、装置、电子设备及存储介质 | |
| CN112073703B (zh) | 一种色彩校正矩阵的调整方法、装置、终端设备及介质 | |
| CN111899182B (zh) | 颜色增强方法及装置 | |
| CN111062876B (zh) | 用于校正模型训练和图像校正的方法和装置及电子设备 | |
| US8077205B2 (en) | Adaptive prediction of calibration parameters for color imaging devices | |
| KR100937120B1 (ko) | 디지털 이미지 디바이스에 관한 감마 곡선을 최적화하는장치, 시스템, 및 방법 | |
| WO2019206047A1 (zh) | 图像数据处理方法及装置、图像显示方法及装置、存储介质和显示设备 | |
| CN107479222B (zh) | 量测显示面板的量测方法及其装置 | |
| KR101651620B1 (ko) | 카메라 모듈을 이용한 디스플레이 장치의 컬러 보정 방법 및 장치 | |
| CN112669758A (zh) | 显示屏校正方法、装置、系统和计算机可读存储介质 | |
| US7006104B2 (en) | Image correction method and system | |
| CN113781958B (zh) | 显示面板的光学补偿方法及装置 | |
| JP7463642B2 (ja) | 表示効果強化方法、装置、設備 | |
| CN113542593B (zh) | 一种图像处理方法、装置及终端设备 | |
| CN112200747B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN113590071A (zh) | 基于抖动处理的图像处理方法、装置、计算机设备及介质 | |
| US9036030B2 (en) | Color calibration of an image capture device in a way that is adaptive to the scene to be captured | |
| US7965322B2 (en) | Color correction on an image | |
| CN111064963A (zh) | 图像数据解码方法、装置、计算机设备和存储介质 | |
| CN115426487A (zh) | 色彩校正矩阵调整方法、装置、电子设备及可读存储介质 | |
| JPWO2020166256A1 (ja) | 情報処理端末、プログラム、情報処理システム及び色補正方法 | |
| CN113556525B (zh) | 色温调整方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |