CN113781349A - 图像处理方法、图像处理装置、电子设备及存储介质 - Google Patents
图像处理方法、图像处理装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113781349A CN113781349A CN202111084857.2A CN202111084857A CN113781349A CN 113781349 A CN113781349 A CN 113781349A CN 202111084857 A CN202111084857 A CN 202111084857A CN 113781349 A CN113781349 A CN 113781349A
- Authority
- CN
- China
- Prior art keywords
- pixel
- color
- image
- value
- current pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 61
- 238000001914 filtration Methods 0.000 claims description 42
- 239000003086 colorant Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Abstract
本申请公开了一种图像处理方法、装置、电子设备及存储介质。图像处理方法包括：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值，待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，目标颜色为第一颜色空间或第二颜色空间中的一种颜色；在像素方差总值大于或等于预设阈值时，根据局部图像的纹理方向确定当前像素所在位置的目标颜色的像素值；分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。从而，为多通道的色彩还原提供了基础。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及存储介质。
背景技术
在相关技术中，相机包括由多种颜色的多个滤光片组成的滤光片阵列和由多个感光像素组成的感光像素阵列，一个滤光片对应一个感光像素，外界光线能够透过滤光片照射在感光像素上，感光像素能够将接收到的光信号转换成电信号并输出，进而输出的电信号经过一系列算法处理之后得到目标图像。但是，由于滤光片阵列的排列方式多种多样，例如bayer阵列、quadbayer阵、RGBW阵列等，不同排列方式的滤光片阵列对应的处理算法可能不同，因此，需要针对不同排列方式的滤光片阵列设计相应的处理算法。
发明内容
本申请的实施方式提供了一种图像处理方法、图像处理装置、电子设备及存储介质。
本申请实施方式的图像处理方法包括：在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值，所述待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，所述目标颜色为所述第一颜色空间或所述第二颜色空间中的一种颜色；在所述像素方差总值大于或等于预设阈值时，根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值；分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
本申请实施方式的图像处理装置包括第一确定模块、第二确定模块、处理模块和第三确定模块。第一确定模块用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值，所述待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，所述目标颜色为所述第一颜色空间或所述第二颜色空间中的一种颜色。第二确定模块用于在所述像素方差总值大于或等于预设阈值时，根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值。处理模块用于分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像。第三确定模块用于根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
本申请实施方式的电子设备包括一个或多个处理器和存储器。所述存储器存储有计算机程序。所述计算机程序被所述处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
上述图像处理方法法、图像处理装置、电子设备及存储介质中，通过对不是目标颜色的像素所在位置进行目标颜色的像素值插值，能够得到具有所述目标颜色的第一全尺寸图像，进而能够根据第一全尺寸图像和待处理图像得到具有预设颜色的第二全尺寸图像，从而实现去马赛克的效果，提高了全尺寸模式下各颜色通道的图像的解析力，为多通道的色彩还原提供了基础。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的图像处理方法的流程示意图；
图2是本申请实施方式的图像处理装置的示意图；
图3是本申请实施方式的电子设备的示意图；
图4是本申请实施方式的电子设备的滤光片组的示意图；
图5是本申请实施方式的图像处理方法的预设方向的示意图；
图6-图9是本申请实施方式的图像处理方法的流程示意图；
图10是本申请实施方式的图像处理方法的待处理图像的示意图；
图11是本申请实施方式的图像处理方法的场景示意图；
图12是本申请实施方式的图像处理方法的流程示意图；
图13是本申请实施方式的图像处理方法的场景示意图；
图14是本申请实施方式的图像处理方法的流程示意图；
图15-图19是本申请实施方式的图像处理方法的场景示意图；
图20是本申请实施方式的图像处理方法的流程示意图；
图21-图25是本申请实施方式的图像处理方法的场景示意图；
图26是本申请实施方式的图像处理方法的流程示意图；
图27是本申请实施方式的图像处理方法的场景示意图；
图28是本申请实施方式的图像处理方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1-图3，本申请实施方式的图像处理方法包括：
011：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值，待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，目标颜色为第一颜色空间或第二颜色空间中的一种颜色；
013：在像素方差总值大于或等于预设阈值时，根据局部图像的纹理方向确定当前像素所在位置的目标颜色的像素值；
015：分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；
017：根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
本申请实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100包括第一确定模块11、第二确定模块13、处理模块15和第三确定模块17。第一确定模块11用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值，待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，目标颜色为第一颜色空间或第二颜色空间中的一种颜色。第二确定模块13用于在像素方差总值大于或等于预设阈值时，根据局部图像的纹理方向确定当前像素所在位置的目标颜色的像素值。处理模15块用于分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像。第三确定模块17用于根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
本申请实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，本申请实施方式的电子设备1000包括一个或多个处理器200和存储器300。存储器300存储有计算机程序。计算机程序被处理器200执行的情况下，实现本申请实施方式的图像处理方法的步骤011、步骤013、步骤015、步骤017。
上述图像处理方法、图像处理装置100和电子设备1000中，通过对不是目标颜色的像素所在位置进行目标颜色的像素值插值，能够得到具有目标颜色的第一全尺寸图像，进而能够根据第一全尺寸图像和待处理图像得到具有预设颜色的第二全尺寸图像，从而实现去马赛克的效果，提高了全尺寸模式下各颜色通道的图像的解析力，为多通道的色彩还原提供了基础。
具体地，在某些实施方式中，电子设备包括壳体和相机模组，壳体和相机模组相结合。相机模组包括图像传感器，图像传感器包括感光像素阵列和滤光片阵列。感光像素阵列包括多个感光像素。滤光片阵列包括多个滤光片单元，每个滤光片单元包括多个滤光片组，每个滤光片组包括第一颜色空间中一种颜色对应的第一滤光片和第二颜色空间中一种颜色对应的第二滤光片。一个第一滤光片覆盖一个感光像素，一个第二滤光片覆盖一个感光像素，感光像素能够接收穿过与其对应的滤光片的外界光线并生成相应的电信号，根据所有感光像素生成的电信号可确定待处理图像。第一颜色空间可包括红色(Red，R)、绿色(Green，G)和蓝色(Blued，B)。第二颜色空间可包括品红色(Magenta，M)、黄色(Yellow，Y)和青色(Cyan，C)。
请结合图4，在某些实施方式中，一个滤光片组400包括一个第一滤光片组402、两个第二滤光片组404和一个第三滤光片组406，在第一滤光片组402中，第一滤光片为红色滤光片4022，第二滤光片为品红色滤光片4024；在第二滤光片组404中，第一滤光片为绿色滤光片4042，第二滤光片为黄色滤光片4044；在第三滤光片组406中，第一滤光片为蓝色滤光片4062，第二滤光片为青色滤光片4064，也即是说，在一个滤光片组400中G滤光片4042和Y滤光片4044的比例各为25％，R滤光片4022、B滤光片4062、C滤光片4064、M滤光片4024各为12.5％。滤光片组400的四个滤光片组呈2*2排列，其中，两个第二滤光片组404沿第三对角方向E1分布，第一滤光片组402和第三滤光片组406沿第四对角方向E2分布。每个滤光片组中包括两个第一滤光片和两个第二滤光片，四个滤光片呈2*2排列，其中，两个第一滤光片沿第一对角方向F1排列，两个第二滤光片沿第二对角方向F2排列。需要说明的是，第一对角方向F1和第二对角方向F2仅用于说明第一滤光片和第二滤光片的排列方向不一致，并不是指的固定的对角方向。同样地，第三对角方向E1和第四对角方向E2仅用于说明两个第二滤光片组404与第一滤光片组402和第三滤光片组406的排列方向不一致，并不是指的固定的对角方向。第一对角方向F1和第三对角方向E1可以指斜45°方向，第二对角方向F2和第四对角方向E2可以指反斜45°方向。
待处理图像包括多个像素，每个像素的颜色与对应的滤光片的颜色相同，滤光片的颜色包括多种，从而待处理图像包括多种颜色。在某些实施方式中，待处理图像包括R像素、G像素、B像素、M像素、Y像素和C像素。
局部图像是待处理图像的局部。当前像素位于局部图像的中心。局部图像的尺寸包括但不限于5*5、7*7、9*9、11*11、13*13等。在一个例子中，局部图像的尺寸为7*7个像素，这样能够获得较好的图像处理结果。
像素方差总值可根据局部图像中像素的像素值确定。
局部图像的纹理方向可为预设方向中像素的梯度最小的方向。请结合图5，在某些实施方式中，在0到180度内每隔22.5度划分一个方向，分别记作E、AD、A、AU、N、DD、D、DU、W和S，其中E和W都是指代水平方向，N和S指代垂直方向，也即是说，预设方向包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)。可以理解，在上述实施方式中，预设方向包括8个方向，在其他实施方式中，预设方向可以划分为16个方向或者更多，在此不做限定。
目标颜色可为待处理图像的多种颜色中的任一种。在某些实施方式中，目标颜色为待处理图像中占比最高的一种颜色，例如G或Y。
预设颜色可为待处理图像的多种颜色中除目标颜色外的其他颜色。在一个例子中，待处理图像包括R、G、B、C、M、Y，当目标颜色为G时，预设颜色包括R、B、C、M、Y。
需要指出的是，预设颜色包括多种，在步骤017中确定的第二全尺寸图像也包括多种，每种预设颜色对应一种第二全尺寸图像，每种第二全尺寸图像中只存在一种预设颜色。第一全尺寸图像的尺寸和第二全尺寸图像的尺寸均与待处理图像的尺寸相同，第一全尺寸图像的像素数量和第二全尺寸图像的像素数量均与待处理图像的像素数量相同。
在某些实施方式中，待处理图像包括多个像素块，每个像素块包括多个像素单元，每个像素单元包括第一颜色空间中一种颜色对应的两个第一像素和第二颜色空间中一种颜色对应的两个第二像素，两个第一像素沿第一对角方向排列，两个第二像素沿第二对角方向排列，目标颜色为第一颜色空间或第二颜色空间中的一种颜色。
可以理解，相较于相关技术中仅包括第一颜色空间对应的颜色通道的待处理图像，本实施方式的待处理图像既包括第一颜色空间对应的颜色通道又包括第二颜色空间对应的颜色通道，颜色通道数的增加意味着白平衡参考信息翻倍，将大幅提升灰点检测和光源分析的准确度，有利于实现更为精准的白平衡判断或者其他图像处理功能。
具体地，每个像素块可包括R像素、G像素、B像素、M像素、Y像素和C像素，其中，G像素和Y像素的比例各为25％，R像素、B像素、C像素、M像素各为12.5％。需要说明的是，第一对角方向和第二对角方向仅用于说明第一像素和第二像素的排列方向不一致，并不是指的固定的对角方向。第一对角方向可为斜45°方向，第二对角方向可为反斜45°方向。此外，在其他实施方式中，像素单元中的像素也可以是其他颜色像素和/或其他排列方式，在此不作限定。
需要指出的是，在本申请实施方式中，像素的颜色是指与该像素对应的滤光片的颜色，第一像素的颜色即为与第一像素对应的第一滤光片的颜色，第二像素的颜色即为与第二像素对应的第二滤光片的颜色。
请参阅图6，在某些实施方式中，局部图像包括与第一颜色空间和第二颜色空间对应的多个颜色通道，步骤011包括：
0111：根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值；
0113：计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第一确定模块11包括第一确定单元和计算单元。第一确定单元用于根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值。计算单元用于计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于根据局部图像中每个颜色通道的像素均值和每个颜色通道的像素值确定局部图像中每个颜色通道的像素方差值，及用于计算每个颜色通道的像素方差值的和值以作为局部图像的像素方差总值。
如此，能够根据局部图像中的各个颜色通道的像素方差值计算出局部图像的像素方差总值。
具体地，像素方差值σc可由以下公式表示：
其中，c表示颜色通道，N表示局部图像的像素总个数，pixel_valuec表示局部图像中第i个像素的像素值，uc表示局部图像的颜色通道c中的像素均值。
进一步地，像素方差总值σ可由以下公式表示：σ＝∑σc。在某些实施方式中，当像素方差总值小于预设阈值时，确定以当前像素为中心的局部图像为平坦区，可以直接根据当前像素与目标颜色像素的色比恒常关系插值出当前像素所在位置的目标颜色的像素值；当像素方差总值大于或等于预设阈值时，确定以当前像素为中心的局部图像为纹理区，进而计算局部图像的纹理方向，并根据纹理方向选择相应的方法插值出当前像素所在位置的目标颜色的像素值。平坦区和纹理区对应的当前像素所在位置的目标颜色的像素值的插值方式不同。
在某些实施方式中，预设阈值可以根据画面亮度动态设置，例如，当画面亮度为100时，可以设置预设阈值为10，当画面亮度为200时，可以设置预设阈值为15等。
请参阅图7，在某些实施方式中，在步骤015之前，图像处理方法还包括：
019：在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100还包括第四确定模块。第四确定模块用于在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在像素方差总值小于预设阈值时，根据局部图像中颜色为目标颜色的所有像素和颜色与当前像素的颜色相同的所有像素确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为平坦区时，能够确定当前像素所在位置的目标颜色的像素值。
具体地，像素方差总值小于预设阈值即局部图像表征为平坦区。
在一个例子中，当前像素为红色像素，目标颜色为绿色，则在像素方差总值小于预设阈值时，根据局部图像中所有绿色像素和所有红色像素，确定当前像素所在位置的绿色像素值。
请参阅图8，在某些实施方式中，步骤019包括：
0191：根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数；
0193：根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第四确定模块包括第二确定单元和第三确定单元。第二确定单元用于根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数。第三确定单元用于根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于根据局部图像中颜色为目标颜色的所有像素的第一像素均值和局部图像中颜色与当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数，及用于根据第一色比常数和当前像素的像素值确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为平坦区时，可以直接根据局部像素的色比恒常关系确定当前像素所在位置的目标颜色的像素值。
具体地，第一像素均值，即局部图像中颜色为目标颜色的所有像素的像素平均值。第二像素均值，局部图像中颜色与当前像素的颜色相同的所有像素的像素平均值。第一色比常数，即第一像素均值与第二像素均值的比值。进一步地，可以将第一色比常数和当前像素的像素值乘积作为当前像素所在位置的目标颜色的像素值。
在一个例子中，目标颜色为绿色，当前像素为红色像素，当前像素的坐标为(5,5)，则第一色比常数可由以下公式表示：ratio_RG＝mean_G/mean_R，其中，mean_G表示局部图像中所有绿色像素的第一像素均值，mean_R表示局部图像中所有红色像素的第二像素均值，从而，坐标(5,5)处的绿色像素值为：G(5,5)＝R(5,5)*ratio_RG，R(5,5)表示当前像素的像素值。
请参阅图9，在某些实施方式中，纹理方向包括预设对角方向和非预设对角方向，步骤013包括：
0131：在局部图像的纹理方向为预设对角方向时，根据第一颜色空间的颜色与第二颜色空间的颜色的相关性确定当前像素所在位置的目标颜色的像素值；
0133：在局部图像的纹理方向为非预设对角方向时，根据非预设对角方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第二确定模块包括第一插值单元和第二插值单元。第一插值单元用于在局部图像的纹理方向为预设对角方向时，根据第一颜色空间的颜色与第二颜色空间的颜色的相关性确定当前像素所在位置的目标颜色的像素值。第二插值单元用于在局部图像的纹理方向为非预设对角方向时，根据非预设对角方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在局部图像的纹理方向为预设对角方向时，根据第一颜色空间的颜色与第二颜色空间的颜色的相关性确定当前像素所在位置的目标颜色的像素值，及用于在像素方差总值大于或等于预设阈值且局部图像的纹理方向为非预设对角方向时，根据非预设对角方向上的颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为纹理区且纹理方向为预设对角方向或非预设对角方向时，可以采用不同的方法确定当前像素所在位置的目标颜色的像素值。可以理解，在采用颜色为目标颜色的像素确定当前像素所在位置的目标颜色的像素值的方法中，需要当前像素的局部图像的纹理方向上存在具有目标颜色的像素，而在某些实施方式中，滤光片的排列方式导致在当前像素的预设对角方向上不存在具有目标颜色的像素，从而无法使用具有目标颜色的像素对当前像素所在位置进行目标颜色的像素值插值，因此，在当前像素的局部图像的纹理方向为预设对角方向时，根据第一颜色空间的颜色与第二颜色空间的颜色的相关性进行插值。
具体地，像素方差总值大于或等于预设阈值即局部图像表征为纹理区。非预设对角方向可以理解为预设方向中除预设对角方向外的其他方向。
以下将以预设方向包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)，预设对角方向包括斜45°方向和反斜45°方向，非预设对角方向包括水平方向、垂直方向、斜22.5°方向、反斜22.5°方向、斜67.5°方向和反斜67.5°方向为例，对本申请的技术方案和有益效果进行说明。可以理解，在其他实施方式中，预设对角方向可为其他预设方向，例如水平方向和垂直方向，在此不作限定。
请结合图10，第一颜色空间的颜色与第二颜色空间的颜色存在相关性，即第二颜色空间的颜色可由第一颜色空间的颜色转换得到，例如，M可以近似为R+B，C可以近似为B+G，Y可以近似为R+G。
在一个例子中，当前像素为红色像素，目标颜色为绿色，局部图像的纹理方向为非预设对角方向中的水平方向时，则在像素方差总值大于或等于预设阈值时，根据局部图像中水平方向上的绿色像素，确定当前像素所在位置的绿色像素值。
请结合图11，可以理解的是，对于颜色不是目标颜色的当前像素，可以根据当前像素所在的局部图像的像素方差总值和局部图像的纹理方向，选择上述步骤0131、步骤0133、步骤019中对应的一种方法确定当前像素所在位置的目标颜色的像素值。
请参阅图12，在某些实施方式中，步骤0133包括：
01331：以当前像素为中心，确定非预设对角方向上与当前像素距离最近的颜色为目标颜色的两个像素；
01333：将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第二插值单元包括第一确定子单元和第一插值子单元。第一确定子单元用于以当前像素为中心，确定非预设对角方向上与当前像素距离最近的颜色为目标颜色的两个像素。第一插值子单元用于将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于以当前像素为中心，确定非预设对角方向上与当前像素距离最近的颜色为目标颜色的两个像素，及用于将两个像素的像素值的平均值作为当前像素所在位置的目标颜色的像素值。
如此，在局部图像表征为纹理区且纹理方向为非预设对角方向时，可以根据非预设对角方向上与当前像素距离最近的颜色为目标颜色的两个像素确定当前像素所在位置的目标颜色的像素值。
请结合图13，在一个例子中，目标颜色为绿色，局部图像的纹理方向为非预设对角方向中的水平方向，当前像素的坐标为(5,5)，以当前像素为中心，可确定水平方向上与当前像素最近的两个绿色像素分别为G(5,3)和G(5,7)，则坐标(5,5)处的绿色像素值可表示为：G(5,5)＝(G(5,3)+G(5,7))/2。
请继续结合图13，在另一个例子中，目标颜色为绿色，局部图像的纹理方向为非预设对角方向中的AD方向，当前像素的坐标为(5,5)，以当前像素为中心，可确定AD方向上与当前像素最近的两个绿色像素分别为G(6,2)和G(4,8)，则坐标(5,5)处的绿色像素值可表示为：G(5,5)＝(G(6,2)+G(4,8))/2。
请参阅图14，在某些实施方式中，第一颜色空间包括红色、绿色和蓝色，第二颜色空间包括青色、品红色和黄色，第二颜色空间的颜色可由第一颜色空间的颜色表示，目标颜色包括绿色，预设对角方向包括第一预设对角方向，步骤0131包括：
01311：在当前像素的颜色为红色或蓝色时，根据当前像素的相邻像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定第二色比常数；
01312：根据第二色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值；
01313：在当前像素的颜色为青色、品红色或黄色时，根据当前像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定当前像素所在位置的绿色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第一插值单元包括第二确定子单元、第二插值子单元和第三插值子单元。第二确定子单元用于在当前像素的颜色为红色或蓝色时，根据当前像素的相邻像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定第二色比常数。第二插值子单元用于根据第二色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值。第三插值子单元用于在当前像素的颜色为青色、品红色或黄色时，根据当前像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定当前像素所在位置的绿色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在当前像素的颜色为红色或蓝色时，根据当前像素的相邻像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定第二色比常数，及用于根据第二色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值，及用于在当前像素的颜色为青色、品红色或黄色时，根据当前像素在第一预设对角方向上的青色像素、品红色像素和黄色像素确定当前像素所在位置的绿色的像素值。
如此，在局部图像表征为纹理区且局部图像的纹理方向为第一预设对角方向时，可以根据第一颜色空间的颜色与第二颜色空间的颜色的相关性确定当前像素所在位置的目标颜色的像素值。
具体地，第一预设对角方向可为斜45°方向。当前像素的相邻像素，即在当前像素的上下左右四个方向上与当前像素距离最近的像素。根据第一颜色空间的颜色与第二颜色空间的颜色的相关性，可得以下公式：M＝R+B公式(1)，C＝B+G公式(2)，Y＝R+G公式(3)，进一步地，根据公式(1)、公式(2)和公式(3)可求得：G＝(Y-M+C)/2公式(4)，B＝C-G＝(C-Y+M)/2公式(5)，R＝Y-G＝(Y+M-C)/2公式(6)。
请结合图15，在当前像素为R(4,4)时，由于当前像素R(4,4)在自身的斜45°方向上只有蓝色像素和红色像素不存在绿色像素，而在R(4,4)的相邻像素的斜45°方向上存在绿色分量，因此，可以根据当前像素的相邻像素，即Y(3,4)、Y(4,5)、M(5,4)和M(4,3)中任一像素在斜45°方向上的青色像素、品红色像素和黄色像素确定第二色比常数，进而基于局部具有色比恒常关系，确定出坐标(4,4)处的绿色像素值。以在Y(4,5)的斜45°方向上的青色像素C(3,6)、品红色像素M(5,4)和黄色像素Y(4,5)为例，根据上述公式(4)可得：G_A＝(Y(4,5)-M(5,4)+C(3,6))/2公式(7)，根据上述公式(6)可得：R_A＝(Y(4,5)+M(5,4)-C(3,6))/2公式(8)，基于局部具有色比恒常关系，第二色比常数可表示为ratio＝G_A/R_A公式(9)。进一步地，根据公式(7)、公式(8)和公式(9)，可以确定坐标(4,4)处的绿色像素值G(4,4)＝ratio*R(4,4)＝[(Y(4,5)-M(5,4)+C(3,6))/(Y(4,5)+M(5,4)-C(3,6))]*R(4,4)。
请结合图16，在当前像素为B(4,4)时，由于当前像素B(4,4)在自身的斜45°方向上只有蓝色像素和红色像素不存在绿色像素，而在B(4,4)的相邻像素的斜45°方向上存在绿色分量，因此，可以根据当前像素的相邻像素，即C(3,4)、C(4,5)、Y(5,4)或Y(4,3)中任一像素在斜45°方向上的青色像素、品红色像素和黄色像素确定第二色比常数，进而基于局部具有色比恒常关系，确定出坐标(4,4)处的绿色像素值。以在C(4,5)的斜45°方向上的青色像素C(4,5)、品红色像素M(6,3)和黄色像素Y(3,6)为例，根据上述公式(4)可得：G_A＝(Y(3,6)-M(6,3)+C(4,5))/2公式(10)，根据上述公式(6)可得：B_A＝(Y(3,6)+M(6,3)-C(4,5))/2公式(11)，基于局部具有色比恒常关系，第二色比常数可表示为ratio＝G_A/B_A公式(12)。进一步地，根据公式(10)、公式(11)和公式(12)，可以确定坐标(4,4)处的绿色像素值G(4,4)＝ratio*B(4,4)＝[(Y(3,6)-M(6,3)+C(4,5))/(Y(3,6)+M(6,3)-C(4,5))]*B(4,4)。
请结合图17，在当前像素为M(4,4)时，由于当前像素M(4,4)在自身的斜45°方向上存在绿色分量，因此，不需要计算第二色比常数，可以直接根据在当前像素的斜45°方向上的青色像素、品红色像素和黄色像素确定出坐标(4,4)处的绿色像素值。以在M(4,4)的斜45°方向上的青色像素C(2,6)、品红色像素M(4,4)和黄色像素Y(3,5)为例，根据上述公式(4)可得：G_A＝(Y(3,5)-M(4,4)+C(2,6))/2公式(13)。此时，坐标(4,4)处的绿色像素值G(4,4)＝G_A＝(Y(3,5)-M(4,4)+C(2,6))/2。
请结合图18，在当前像素为Y(4,4)时，由于当前像素Y(4,4)在自身的斜45°方向上存在绿色分量，因此，不需要计算第二色比常数，可以直接根据在当前像素的斜45°方向上的青色像素、品红色像素和黄色像素确定出坐标(4,4)处的绿色像素值。以在Y(4,4)的斜45°方向上的青色像素C(3,5)、品红色像素M(5,3)和黄色像素Y(4,4)为例，根据上述公式(4)可得：G_A＝(Y(4,4)-M(5,3)+C(3,5))/2公式(14)。此时，坐标(4,4)处的绿色像素值G(4,4)＝G_A＝(Y(4,4)-M(5,3)+C(3,5))/2。
请结合图19，在当前像素为C(4,4)时，由于当前像素C(4,4)在自身的斜45°方向上存在绿色分量，因此，不需要计算第二色比常数，可以直接根据在当前像素的斜45°方向上的青色像素、品红色像素和黄色像素确定出坐标(4,4)处的绿色像素值。以在C(4,4)的斜45°方向上的青色像素C(4,4)、品红色像素M(6,2)和黄色像素Y(5,3)为例，根据上述公式(4)可得：G_A＝(Y(5,3)-M(6,2)+C(4,4))/2公式(15)。此时，坐标(4,4)处的绿色像素值G(4,4)＝(Y(5,3)-M(6,2)+C(4,4))/2。
请参阅图20，在某些实施方式中，第一颜色空间包括红色、绿色和蓝色，第二颜色空间包括青色、品红色和黄色，目标颜色包括绿色，预设对角方向包括第二预设对角方向，步骤0131包括：
01314：在当前像素的颜色为红色或蓝色时，根据当前像素在第二预设对角方向上的绿色像素确定当前像素所在位置的绿色的像素值；
01315：在当前像素的颜色为青色、品红色或黄色时，根据当前像素的相邻像素在第二预设对角方向上的红色像素、绿色像素和蓝色像素确定第三色比常数；
01316：根据第三色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第一插值单元包括第四插值子单元、第三确定子单元和第五插值子单元。第四插值子单元用于在当前像素的颜色为红色或蓝色时，根据当前像素在第二预设对角方向上的绿色像素确定当前像素所在位置的绿色的像素值。第三确定子单元用于在当前像素的颜色为青色、品红色或黄色时，根据当前像素的相邻像素在第二预设对角方向上的红色像素、绿色像素和蓝色像素确定第三色比常数。第五插值子单元用于根据第三色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于在当前像素的颜色为红色或蓝色时，根据当前像素在第二预设对角方向上的绿色像素确定当前像素所在位置的绿色的像素值，及用于在当前像素的颜色为青色、品红色或黄色时，根据当前像素的相邻像素在第二预设对角方向上的红色像素、绿色像素和蓝色像素确定第三色比常数，及用于根据第三色比常数和当前像素的像素值确定当前像素所在位置的绿色的像素值。
如此，在局部图像表征为纹理区且局部图像的纹理方向为第二预设对角方向时，可以根据第一颜色空间的颜色与第二颜色空间的颜色的相关性确定当前像素所在位置的目标颜色的像素值。
具体地，第二预设对角方向可为反斜45°方向。
请结合图21，在当前像素为R(4,4)时，由于当前像素Y(4,4)在自身的反斜45°方向上存在绿色像素，因此，不需要计算第三色比常数，可以直接根据在当前像素的反斜45°方向上的绿色像素确定出坐标(4,4)处的绿色像素值。以在R(4,4)的反斜45°方向上的绿色像素G(3,3)和绿色像素G(5,5)为例，则坐标(4,4)处的绿色像素值可表示为：G(4,4)＝(G(3,3)+G(5,5))/2。
请结合图22，在当前像素为B(4,4)时，由于当前像素B(4,4)在自身的反斜45°方向上存在绿色像素，因此，不需要计算第三色比常数，可以直接根据在当前像素的反斜45°方向上的绿色像素确定出坐标(4,4)处的绿色像素值。以在B(4,4)的反斜45°方向上的绿色像素G(3,3)和绿色像素G(5,5)为例，则坐标(4,4)处的绿色像素值可表示为：G(4,4)＝(G(3,3)+G(5,5))/2。
请结合图23，在当前像素为M(4,4)时，由于当前像素M(4,4)在自身的反斜45°方向上只有品红色像素和青色像素不存在绿色像素，而在M(4,4)的相邻像素的反斜45°方向上存在绿色像素，因此，可以根据当前像素的相邻像素，即G(3,4)、R(4,5)、R(5,4)和G(4,3)中任一像素在反斜45°方向上的红色像素、绿色像素和蓝色像素确定第三色比常数，进而基于局部具有色比恒常关系，确定出坐标(4,4)处的绿色像素值。以在G(3,4)的反斜45°方向上的红色像素R(4,5)、蓝色像素B(2,3)和绿色像素G(3,4)为例，根据上述公式(1)可得：M_D＝R(4,5)+B(2,3)公式(16)，同时，G_D＝G(3,4)公式(17)，基于局部具有色比恒常关系，第三色比常数可表示为ratio＝G_D/M_D公式(18)。进一步地，根据公式(16)、公式(17)和公式(18)，可以确定坐标(4,4)处的绿色像素值G(4,4)＝ratio*M(4,4)＝[(G(3,4))/(R(4,5)+B(2,3))]*M(4,4)。
请结合图24，在当前像素为Y(4,4)时，由于当前像素Y(4,4)在自身的反斜45°方向上只有黄色像素不存在绿色像素，而在Y(4,4)的相邻像素的反斜45°方向上存在绿色像素，因此，可以根据当前像素的相邻像素，即B(3,4)、G(4,5)、G(5,4)和R(4,3)中任一像素在反斜45°方向上的红色像素和绿色像素确定第三色比常数，进而基于局部具有色比恒常关系，确定出坐标(4,4)处的绿色像素值。以在B(3,4)的反斜45°方向上的红色像素R(5,6)和绿色像素G(4,5)为例，根据上述公式(3)可得：Y_D＝R(5,6)+G(4,5)公式(19)，同时，G_D＝G(4,5)公式(20)，基于局部具有色比恒常关系，第三色比常数可表示为ratio＝G_D/Y_D公式(21)。进一步地，根据公式(19)、公式(20)和公式(21)，可以确定坐标(4,4)处的绿色像素值G(4,4)＝ratio*Y(4,4)＝[(G(4,5))/(R(5,6)+G(4,5))]*Y(4,4)。
请结合图25，在当前像素为C(4,4)时，由于当前像素C(4,4)在自身的反斜45°方向上只有品红色像素和青色像素不存在绿色像素，而在C(4,4)的相邻像素的反斜45°方向上存在绿色像素，因此，可以根据当前像素的相邻像素，即G(3,4)、B(4,5)、B(5,4)和G(4,3)中任一像素在反斜45°方向上的蓝色像素和绿色像素确定第三色比常数，进而基于局部具有色比恒常关系，确定出坐标(4,4)处的绿色像素值。以在G(3,4)的反斜45°方向上的蓝色像素B(4,5)和绿色像素G(3,4)为例，根据上述公式(2)可得：C_D＝B(4,5)+G(3,4)公式(22)，同时，G_D＝G(3,4)公式(23)，基于局部具有色比恒常关系，第三色比常数可表示为ratio＝G_D/C_D公式(24)。进一步地，根据公式(22)、公式(23)和公式(24)，可以确定坐标(4,4)处的绿色像素值G(4,4)＝ratio*C(4,4)＝[(G(3,4))/(B(4,5)+G(3,4))]*C(4,4)。
请参阅图26，在某些实施方式中，目标颜色包括绿色，预设颜色包括红色、蓝色、青色、品红色和黄色，步骤017包括：
0171：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像；
0173：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像；
0175：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像；
0177：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像；
0179：将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，第三确定模块17包括第一滤波单元、第二滤波单元、第三滤波单元、第四滤波单元和第五滤波单元。第一滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像。第二滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像。第三滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像。第四滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像。第五滤波单元用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像，及用于将第一全尺寸图像作为引导图像，采用滤波的方式插值出待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
如此，在已经获得具有目标颜色的第一全尺寸图像的情况下，可以通过滤波的方式获得具有预设颜色的多种第二全尺寸图像。
具体地，滤波的方式可包括引导滤波或联合双边滤波。引导滤波和联合双边滤波是两种不同的融合策略，它们都可以用来引导待插值的颜色通道并将缺失的像素值补齐。以下将以引导滤波为例对本申请实施方式的方案进行详细说明。可以理解，也可以使用联合双边滤波实现本申请实施方式的技术方案，在此不作限定。
请结合图27，将待处理图像中同种预设颜色(例如品红色)的像素分别作为输入图像p，将第一全尺寸图像作为引导图像I，经过引导滤波后可得到第二全尺寸图像(输出图像q)。引导滤波的基本表达式如下：
其中wk表示一个局部窗口(可以是7*7大小)，i表示坐标位置，Ii表示第一全尺寸图像的像素值，ak和bk表示局部窗口内的局部线性比例关系，qi表示引导插值后第二全尺寸图像中对应坐标位置的像素值。
上述公式(25)表示引导图像I和被引导图像q之间的线性关系式。通常地，在局部区域，引导图像和被引导图像之间存在稳定的线性关系，但是他们之间的线性比例关系需要求解，这就涉及到用最小二乘法来估计ak和bk。具体地，通过对公式：
分别求偏导为0，可以得到
其中，σk 2表示引导图像在局部窗口中的方差，μk表示引导图像在局部窗口中的均值，||表示局部窗口中像素的数量，pi表示输入图像的像素值，
表示输入图像在局部窗口中的均值。
请参阅图28，在某些实施方式中，在步骤013之前，图像处理方法还包括：
023：确定局部图像在预设方向的像素梯度值；
025：将像素梯度值最小的预设方向作为局部图像的纹理方向。
上述实施方式的图像处理方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100还包括第五确定模块和第六确定模块。第五确定模块用于确定局部图像在预设方向的像素梯度值。第六确定模块用于将像素梯度值最小的预设方向作为局部图像的纹理方向。
上述实施方式的图像处理方法可由本申请实施方式的电子设备1000实现。具体地，处理器200用于确定局部图像在预设方向的像素梯度值，及用于将像素梯度值最小的预设方向作为局部图像的纹理方向。
如此，可以确定出预设方向中像素梯度值最小的方向。
具体地，在滤光片组为图4所示的排列方式时，预设方向可包括水平方向(E、W)、垂直方向(N、S)、斜22.5°方向(AD)、反斜22.5°方向(DU)、斜45°方向(A)、反斜45°方向(D)、斜67.5°方向(AU)、反斜67.5°方向(DD)。预设对角方向可包括斜45°方向和反斜45°方向。非预设对角方向为预设方向中除预设对角方向外的其他方向，在预设对角方向包括斜45°方向和反斜45°方向时，非预设对角方向可包括水平方向、垂直方向、斜22.5°方向、反斜22.5°方向、斜67.5°方向和反斜67.5°方向。
像素梯度值可通过累加多个像素之间的差值的绝对值确定。例如，请结合图5，水平方向E的像素梯度值grad_E可由以下公式确定：
grad_E＝abs(raw(5，5)-raw(5，9))+abs(raw(4，5)-raw(4，9))+abs(raw(6,5)-raw(6,9))+abs(raw(6,5)-raw(5,6)-raw(5,8))+abs(raw(4，5)-raw(4，6)+raw(2，6))+abs(raw(6，5)-raw(6，6)+raw(6，7))。
垂直方向N的像素梯度值grad_N可由以下公式确定：
grad_N＝abs(raw(5，5)-raw(1,5))+abs(raw(5，6)-raw(1,6))+abs(raw(5,4)-raw(1,4))+abs(raw(5,5)-raw(2,5)-raw(4,5))+abs(raw(5,6)-raw(3,6)-raw(2,6))+abs(raw(5,4)-raw(3,4)-raw(2,4))。
斜45°方向A的像素梯度值grad_A可由以下公式确定：
grad_A＝abs(raw(5,5)-raw(1,9))+abs(raw(5,5)-raw(9,1))+abs(raw(4,6)-raw(6,4))+abs(raw(7,3)-raw(3,7))+abs(raw(7,4)-raw(4，7))+abs(raw(6,3)-raw(3,6))+abs(raw(8,4)-raw(4，8))。
反斜45°方向AD的像素梯度值grad_AD可由以下公式确定：
grad_AD＝abs(raw(5,4)-raw(4,9))+abs(raw(6,3)-raw(5,8))+abs(raw(6,4)-raw(5,7))+abs(raw(5,3)-raw(4,6))+abs(raw(5,5)-raw(6,2))+abs(raw(4,4)-raw(3,7))+abs(raw(4,3)-raw(3,8))。
在某些实施方式中，令Grad＝[grad_N grad_S grad_E grad_W grad_AD grad_Agrad_AU grad_DD grad_D grad_DU]，计算[Mingrad,Dir]＝min(Grad)，若得到Dir＝1或2，则可确定纹理方向为垂直方向；若得到Dir＝3或4，则可确定纹理方向为水平方向；若得到Dir＝5，则可确定纹理方向为斜22.5°方向；若得到Dir＝6，则可确定纹理方向为斜45°方向；若得到Dir＝7，则可确定纹理方向为斜67.5°方向；若得到Dir＝8，则可确定纹理方向为反斜67.5°方向；若得到Dir＝9，则可确定纹理方向为反斜45°方向；若得到Dir＝10，则可确定纹理方向为反斜22.5°方向。
需要指出的是，上述所提到的具体数值只为了作为例子详细说明本申请的实施，而不应理解为对本申请的限制。在其他例子或实施方式或实施例中，可根据本申请来选择其他数值，在此不作具体限定。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任一实施方式的图像处理方法的步骤。
例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
011：在待处理图像中的当前像素的颜色不是目标颜色时，确定以当前像素为中心的局部图像的像素方差总值，待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，目标颜色为第一颜色空间或第二颜色空间中的一种颜色；
013：在像素方差总值大于或等于预设阈值时，根据局部图像的纹理方向确定当前像素所在位置的目标颜色的像素值；
015：分别将待处理图像中的每个像素作为当前像素并进行处理以得到具有目标颜色的第一全尺寸图像；
017：根据第一全尺寸图像和待处理图像确定具有预设颜色的第二全尺寸图像，预设颜色与目标颜色不同。
可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值，所述待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，所述目标颜色为所述第一颜色空间或所述第二颜色空间中的一种颜色；
在所述像素方差总值大于或等于预设阈值时，根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值；
分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；
根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
2.根据权利要求1所述的图像处理方法，其特征在于，所述局部图像包括与所述第一颜色空间和所述第二颜色空间对应的多个颜色通道，所述确定以所述当前像素为中心的局部图像的像素方差总值，包括：
根据所述局部图像中每个所述颜色通道的像素均值和每个所述颜色通道的像素值确定所述局部图像中每个所述颜色通道的像素方差值；
计算每个所述颜色通道的所述像素方差值的和值以作为所述局部图像的所述像素方差总值。
3.根据权利要求1所述的图像处理方法，其特征在于，在所述分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像之前，所述图像处理方法还包括：
在所述像素方差总值小于所述预设阈值时，根据所述局部图像中颜色为所述目标颜色的所有像素和颜色与所述当前像素的颜色相同的所有像素确定所述当前像素所在位置的所述目标颜色的像素值。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述局部图像中颜色为目标颜色的所有像素和颜色与所述当前像素的颜色相同的所有像素确定所述当前像素所在位置的所述目标颜色的像素值，包括：
根据所述局部图像中颜色为所述目标颜色的所有像素的第一像素均值和所述局部图像中颜色与所述当前像素的颜色相同的所有像素的第二像素均值确定第一色比常数；
根据所述第一色比常数和所述当前像素的像素值确定所述当前像素所在位置的所述目标颜色的像素值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述纹理方向包括预设对角方向和非预设对角方向，所述根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值，包括：
在所述局部图像的所述纹理方向为所述预设对角方向时，根据所述第一颜色空间的颜色与所述第二颜色空间的颜色的相关性确定所述当前像素所在位置的所述目标颜色的像素值；
在所述局部图像的所述纹理方向为所述非预设对角方向时，根据所述非预设对角方向上的颜色为所述目标颜色的像素确定所述当前像素所在位置的所述目标颜色的像素值。
6.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述非预设对角方向上的颜色为所述目标颜色的像素确定所述当前像素所在位置的所述目标颜色的像素值，包括：
以所述当前像素为中心，确定所述非预设对角方向上与所述当前像素距离最近的颜色为所述目标颜色的两个像素；
将所述两个像素的像素值的平均值作为所述当前像素所在位置的所述目标颜色的像素值。
7.根据权利要求5所述的图像处理方法，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，所述第二颜色空间包括青色、品红色和黄色，所述第二颜色空间的颜色可由所述第一颜色空间的颜色表示，所述目标颜色包括绿色，所述预设对角方向包括第一预设对角方向，所述根据所述第一颜色空间的颜色与所述第二颜色空间的颜色的相关性确定所述当前像素所在位置的所述目标颜色的像素值，包括：
在所述当前像素的颜色为红色或蓝色时，根据所述当前像素的相邻像素在所述第一预设对角方向上的青色像素、品红色像素和黄色像素确定第二色比常数；
根据所述第二色比常数和所述当前像素的像素值确定所述当前像素所在位置的绿色的像素值；
在所述当前像素的颜色为青色、品红色或黄色时，根据所述当前像素在所述第一预设对角方向上的青色像素、品红色像素和黄色像素确定所述当前像素所在位置的绿色的像素值。
8.根据权利要求5所述的图像处理方法，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，所述第二颜色空间包括青色、品红色和黄色，所述目标颜色包括绿色，所述预设对角方向包括第二预设对角方向，所述根据所述第一颜色空间的颜色与所述第二颜色空间的颜色的相关性确定所述当前像素所在位置的所述目标颜色的像素值，包括：
在所述当前像素的颜色为红色或蓝色时，根据所述当前像素在所述第二预设对角方向上的绿色像素确定所述当前像素所在位置的绿色的像素值；
在所述当前像素的颜色为青色、品红色或黄色时，根据所述当前像素的相邻像素在所述第二预设对角方向上的红色像素、绿色像素和蓝色像素确定第三色比常数；
根据所述第三色比常数和所述当前像素的像素值确定所述当前像素所在位置的绿色的像素值。
9.根据权利要求1所述的图像处理方法，其特征在于，所述目标颜色包括绿色，所述预设颜色包括红色、蓝色、青色、品红色和黄色，所述根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，包括：
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除红色像素外其他像素所在位置的红色像素值以得到红色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除蓝色像素外其他像素所在位置的蓝色像素值以得到蓝色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除青色像素外其他像素所在位置的青色像素值以得到青色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除品红色像素外其他像素所在位置的品红色像素值以得到品红色的第二全尺寸图像；
将所述第一全尺寸图像作为引导图像，采用滤波的方式插值出所述待处理图像中除黄色像素外其他像素所在位置的黄色像素值以得到黄色的第二全尺寸图像。
10.根据权利要求1所述的图像处理方法，其特征在于，在所述像素方差总值大于或等于预设阈值时，根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值之前，所述图像处理方法还包括：
确定所述局部图像在预设方向的像素梯度值；
将所述像素梯度值最小的预设方向作为所述局部图像的所述纹理方向。
11.根据权利要求1-10任一项所述的图像处理方法，其特征在于，所述待处理图像包括多个像素块，每个所述像素块包括多个像素单元，每个所述像素单元包括所述第一颜色空间中一种颜色对应的两个第一像素和所述第二颜色空间中一种颜色对应的两个第二像素，两个所述第一像素沿第一对角方向排列，两个所述第二像素沿第二对角方向排列。
12.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一确定模块，用于在待处理图像中的当前像素的颜色不是目标颜色时，确定以所述当前像素为中心的局部图像的像素方差总值，所述待处理图像包括第一颜色空间的颜色和第二颜色空间的颜色，所述目标颜色为所述第一颜色空间或所述第二颜色空间中的一种颜色；
第二确定模块，用于在所述像素方差总值大于或等于预设阈值时，根据所述局部图像的纹理方向确定所述当前像素所在位置的所述目标颜色的像素值；
处理模块，用于分别将所述待处理图像中的每个像素作为所述当前像素并进行处理以得到具有所述目标颜色的第一全尺寸图像；
第三确定模块，用于根据所述第一全尺寸图像和所述待处理图像确定具有预设颜色的第二全尺寸图像，所述预设颜色与所述目标颜色不同。
13.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现权利要求1-11任一项所述的图像处理方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-11任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084857.2A CN113781349A (zh) | 2021-09-16 | 2021-09-16 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111084857.2A CN113781349A (zh) | 2021-09-16 | 2021-09-16 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113781349A true CN113781349A (zh) | 2021-12-10 |
Family
ID=78844504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111084857.2A Pending CN113781349A (zh) | 2021-09-16 | 2021-09-16 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781349A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090174797A1 (en) * | 2008-01-03 | 2009-07-09 | Micron Technology, Inc. | Method and apparatus for spatial processing of a digital image |
| CN108063926A (zh) * | 2017-12-25 | 2018-05-22 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
| CN108550167A (zh) * | 2018-04-18 | 2018-09-18 | 北京航空航天大学青岛研究院 | 深度图像生成方法、装置及电子设备 |
| US20190318451A1 (en) * | 2018-04-11 | 2019-10-17 | Omnivision Technologies, Inc. | Image demosaicer and method |
| US20190318452A1 (en) * | 2019-06-26 | 2019-10-17 | Jong Dae Oh | Advanced demosaicing with angle compensation and defective pixel correction |
| CN110430403A (zh) * | 2019-07-25 | 2019-11-08 | 上海晰图信息科技有限公司 | 一种图像处理方法和装置 |
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN111539892A (zh) * | 2020-04-27 | 2020-08-14 | 展讯通信（上海）有限公司 | Bayer图像的处理方法、系统、电子设备和存储介质 |
| CN112822475A (zh) * | 2020-12-28 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
-
2021
- 2021-09-16 CN CN202111084857.2A patent/CN113781349A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090174797A1 (en) * | 2008-01-03 | 2009-07-09 | Micron Technology, Inc. | Method and apparatus for spatial processing of a digital image |
| CN108063926A (zh) * | 2017-12-25 | 2018-05-22 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和计算机设备 |
| US20190318451A1 (en) * | 2018-04-11 | 2019-10-17 | Omnivision Technologies, Inc. | Image demosaicer and method |
| CN108550167A (zh) * | 2018-04-18 | 2018-09-18 | 北京航空航天大学青岛研究院 | 深度图像生成方法、装置及电子设备 |
| US20190318452A1 (en) * | 2019-06-26 | 2019-10-17 | Jong Dae Oh | Advanced demosaicing with angle compensation and defective pixel correction |
| CN110430403A (zh) * | 2019-07-25 | 2019-11-08 | 上海晰图信息科技有限公司 | 一种图像处理方法和装置 |
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN111539892A (zh) * | 2020-04-27 | 2020-08-14 | 展讯通信（上海）有限公司 | Bayer图像的处理方法、系统、电子设备和存储介质 |
| CN112822475A (zh) * | 2020-12-28 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 花樱;彭宏京;: "一种用于单CCD图像传感器的图像插值算法", 中国图象图形学报, no. 04 * |
| 赵亮;张宇烽;黄长宁;: "基于色差空间的低复杂度Bayer图像插值算法", 航天返回与遥感, no. 03 * |
| 辛浪;刘钧;袁渊;: "基于图像分割和局部亮度调整的微光图像颜色传递算法", 应用光学, no. 02 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20060131083A (ko) | 에지 적응적 컬러 보간 방법 및 장치 | |
| JP2005136766A (ja) | 画像処理装置および画像処理方法 | |
| CN107623844B (zh) | 中间位置处的像素的颜色值的确定 | |
| CN111225135B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
| US20140184853A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR20200110320A (ko) | 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 | |
| CA2701890C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
| CN113068011B (zh) | 图像传感器、图像处理方法及系统 | |
| JPWO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| US10783608B2 (en) | Method for processing signals from a matrix for taking colour images, and corresponding sensor | |
| JP6415094B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| CN103259960A (zh) | 数据的插值方法及装置、图像输出方法及装置 | |
| CN113781349A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN113781350B (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| WO2001065859A1 (fr) | Appareil de captage d'image | |
| JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| CN115187487A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| US8810680B1 (en) | Method and apparatus for color data synthesis in digital image and video capture systems | |
| JP2009239772A (ja) | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム | |
| JPH07203465A (ja) | 信号補間方法 | |
| US8068145B1 (en) | Method, systems, and computer program product for demosaicing images | |
| KR20090020918A (ko) | 영상 보간 방법 및 장치 | |
| JP6552248B2 (ja) | 画像処理装置及び方法、撮像装置、並びにプログラム | |
| JP6862272B2 (ja) | 信号処理装置、信号処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |