CN112788321B - 图像颜色恢复方法和装置、摄像装置、存储介质 - Google Patents

图像颜色恢复方法和装置、摄像装置、存储介质 Download PDF

Info

Publication number
CN112788321B
CN112788321B CN202110008167.2A CN202110008167A CN112788321B CN 112788321 B CN112788321 B CN 112788321B CN 202110008167 A CN202110008167 A CN 202110008167A CN 112788321 B CN112788321 B CN 112788321B
Authority
CN
China
Prior art keywords
image
color
component
rgb
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110008167.2A
Other languages
English (en)
Other versions
CN112788321A (zh
Inventor
陈炜
池国泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110008167.2A priority Critical patent/CN112788321B/zh
Publication of CN112788321A publication Critical patent/CN112788321A/zh
Application granted granted Critical
Publication of CN112788321B publication Critical patent/CN112788321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Abstract

图像颜色恢复方法及装置，摄像装置，以及存储介质。所述方法包括：获取原始图像；确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；计算所述第一RGB图像的亮度分量和颜色分量；基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。基于本发明，可以在不使用IRCUT的条件下恢复图像的颜色，保留近红外光在透雾、低照度时降噪和提高图像亮度等方面的优点。

Description

图像颜色恢复方法和装置、摄像装置、存储介质
技术领域
本发明涉及图像处理领域，具体地涉及一种图像颜色恢复方法和装置、摄像装置、存储介质。
背景技术
目前常见的图像传感器，包括电荷耦合器件(Charge Coupled Devices，CCD)图像传感器和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器，均为硅基图像传感器，其在可见光之外的近红外波段仍能感光。近红外光进入图像传感器后，将冲淡图像的颜色，例如绿叶植物会强烈反射近红外光，导致拍摄的草地、树叶呈现雪景般的白色。通常要在彩色图像传感器前面安装红外截止滤光片(Infrared Cut-off filter，IRCUT)，以滤除近红外光、保留可见光，以恢复出与人类视觉相接近的色彩。
然而，安装IRCUT存在以下几个方面的缺点。首先，近红外光在透雾方面有重要作用，安装IRCUT之后，将失去近红外光透雾的功能；其次，在曝光不足的场景下，例如室内低照度场景和夜晚，近红外光有利于降低噪声、提高图像亮度。安装IRCUT后将失去近红外光的这些作用。此外，安装IRCUT还会增加设备成本。
现有技术中的一些颜色校正方法可以在不使用IRCUT的情况下恢复图像的颜色，但其无法保留近红外光在透雾、低照度时降噪和提高图像亮度等方面的优点。
发明内容
本发明解决的技术问题是如何在不使用IRCUT的条件下恢复图像的颜色，同时保留近红外光在透雾、低照度时降噪和提高图像亮度等方面的优点。
为解决上述技术问题，本发明实施例提供一种图像颜色恢复方法，包括：获取原始图像；确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；计算所述第一RGB图像的亮度分量和颜色分量；基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
可选地，所述原始图像基于具有CMYW滤色器阵列的图像传感器获得。
可选地，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值包括：基于去马赛克处理，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。
可选地，所述原始图像每个像素对应的R、G、B三个颜色通道值基于公式(1)而计算：
Figure BDA0002883871200000021
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
可选地，所述原始图像的亮度分量基于公式(2)而计算：
Y0＝(C+M+Y+W)/4 (2)，
其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
可选地，所述计算第一RGB图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；对所述第三RGB图像进行白平衡，获得第四RGB图像；以及计算所述第四RGB图像的亮度分量和颜色分量。
可选地，基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；以及基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
可选地，所述第四RGB图像对应的YUV图像的亮度分量基于公式(3)而计算：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
可选地，所述YUV图像的颜色分量基于公式(4)而计算：
Figure BDA0002883871200000031
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
可选地，将所述YUV图像转换为所述第二RGB图像之后，所述方法还包括：对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
本发明实施例还提供了一种图像颜色恢复装置，包括：存储器、处理器和信号处理模块，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，控制所述信号处理模块执行以下步骤：获取原始图像；确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；计算所述第一RGB图像的亮度分量和颜色分量；基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
可选地，所述原始图像基于具有CMYW滤色器阵列的图像传感器获得。
可选地，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值包括：基于去马赛克处理，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。
可选地，所述原始图像每个像素对应的R、G、B三个颜色通道值基于公式(1)而计算：
Figure BDA0002883871200000041
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
可选地，所述原始图像的亮度分量基于公式(2)而计算：
Y0＝(C+M+Y+W)/4 (2)，
其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
可选地，所述计算第一RGB图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；对所述第三RGB图像进行白平衡，获得第四RGB图像；以及计算所述第四RGB图像的亮度分量和颜色分量。
可选地，基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；以及基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
可选地，所述第四RGB图像对应的YUV图像的亮度分量基于公式(3)而计算：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
可选地，所述YUV图像的颜色分量基于公式(4)而计算：
Figure BDA0002883871200000051
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
可选地，所述信号处理模块还适于执行：将所述YUV图像转换为所述第二RGB图像之后，对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
本发明实施例还提供了一种摄像装置，包括光学透镜、图像传感器以及上述任一图像颜色恢复装置。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一图像颜色恢复方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下优点。
在本发明实施例中，所述图像颜色恢复方法包括：获取原始图像；确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；计算所述第一RGB图像的亮度分量和颜色分量；基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。本发明实施例提供的图像颜色恢复方法中，基于C、M、Y、W四个颜色通道值，计算原始图像的亮度分量，该亮度分量保留着近红外光透雾、噪声低、亮度高的优点，同时计算原始图像的每个像素对应的R、G、B三个颜色通道值，以获得消除了近红外光的第一RGB图像。并进一步基于所述原始图像的亮度分量以及所述第一RGB图像的亮度分量和颜色分量，获得颜色恢复后的图像，使得该颜色恢复后的图像既有近红外光透雾、噪声低、亮度高的优点，又具有良好的颜色。
附图说明
图1示出了CMYW滤色器阵列的各种排列方式；
图2示出了具有CMYW滤色器阵列的图像传感器的四种颜色像素的量子效率曲线；
图3是本发明实施例提供的一种图像颜色恢复方法的流程示意图；
图4是图3所示的图像颜色恢复方法中步骤S14的流程示意图；
图5是图3所示的图像颜色恢复方法中步骤S15的流程示意图；
图6是本发明实施例提供的一种图像颜色恢复装置的结构示意图；以及
图7是本发明实施例提供的一种摄像装置的结构示意图。
具体实施方式
如背景技术中所述，现有技术中的一些颜色校正方法可以在不使用IRCUT的情况下恢复图像的颜色，但其无法保留近红外光在透雾、低照度时降噪和提高图像亮度等方面的优点。
本发明的技术方案基于原始图像的C、M、Y、W四个颜色通道值，计算原始图像的亮度分量，该亮度分量保留着近红外光透雾、噪声低、亮度高的优点，同时计算原始图像的每个像素对应的R、G、B三个颜色通道值，以获得消除了近红外光的第一RGB图像。并进一步基于所述原始图像的亮度分量以及所述第一RGB图像的亮度分量和颜色分量，获得颜色恢复后的图像，使得该颜色恢复后的图像既有近红外光透雾、噪声低、亮度高的优点，又具有良好的颜色。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
在彩色图像传感器当中，每个像素都有一个特定颜色的滤色器，由这些滤色器组成的阵列称为滤色器阵列(Color Filter Array,CFA)。每个像素只负责采集其滤色器所对应的一种色彩信息。制作滤色器所用的着色剂主要对特定波长的可见光进行吸收，而对近红外光的吸收作用很弱，因此，近红外光在不同的滤色器有相近的透过率。
发明人经研究发现，在含有无色通道W的CFA中，通过无色通道与其它颜色通道相减，则可以在不使用IRCUT的情况下，消除近红外光对颜色的影响。因此，本发明实施例提供的技术方案中，不使用IRCUT，且采用具有CMYW滤色器阵列的图像传感器，其中C代表青色(Cyan)，M代表品红色(Magenta)，Y代表黄色(Yellow)，W代表无色(White)。参考图1，图1示出了CMYW滤色器阵列的各种排列方式。
参考图2，图2示出了具有CMYW滤色器阵列的图像传感器的四种颜色像素的量子效率曲线。量子效率表示一个光子照射到像素上时，产生的平均电子数。可以看出，在780纳米以上的近红外波段，C、M、Y、W这4种像素的量子效率曲线是基本重合的，即表明近红外光在不同的滤色器有相近的透过率。
参考图3，图3是本发明提供的一种图像颜色恢复方法的流程示意图。所述图像颜色恢复方法可应用于摄像装置。
图3所示方法可以包括以下步骤：
步骤S11：获取原始图像；
步骤S12：确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；
步骤S13：基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；
步骤S14：计算所述第一RGB图像的亮度分量和颜色分量；
步骤S15：基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；
步骤S16：将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
在步骤S11的具体实施中，光线通过摄像装置的光学透镜在具有CMYW滤色器阵列的图像传感器上成像，从而获取原始图像。所述原始图像为CMYW格式。
在步骤S12的具体实施中，可以基于去马赛克处理(Demosaicking)，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。具体的去马赛克处理技术可以参考现有方法，在此不再赘述。
在步骤S13的具体实施中，考虑到青色C是红色R的补色，品红色M是绿色G的补色，黄色Y是蓝色B的补色，可以基于公式(1)计算所述原始图像的每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像：
Figure BDA0002883871200000081
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
在一些实施例中，k1＝1.2，k2＝1，k3＝1。实际应用中，还可以根据图像传感器的实际光谱特性进行微调，获得满足需要的修正系数k1、k2和k3。
基于公式(1)，通过无色通道与其它颜色通道相减，得到了消除了近红外光的第一RGB图像。
此外，在步骤S13的具体实施中，还可以基于公式(2)计算所述原始图像的亮度分量：
Y0＝(C+M+Y+W)/4 (2)，
其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
由于本发明的技术方案没有使用IRCUT，因此Y0保留着近红外光透雾、噪声低、亮度高的优点。
发明人经研究认为，基于已经消除了近红外光的第一RGB图像的颜色信息，进一步结合包含近红外光的亮度信息的原始图像的亮度分量Y0，后续可以通过处理获得既有近红外光透雾、噪声低、亮度高的优点，又具有良好颜色的最终图像。
在步骤S14的具体实施中，计算所述第一RGB图像的亮度分量和颜色分量。在步骤S15的具体实施中，基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像。
参考图4，在一些实施例中，为了后续获得更好的图像质量，步骤S14可以包括以下步骤：
S141：基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；
S142：对所述第三RGB图像进行白平衡，获得第四RGB图像；
S143：计算所述第四RGB图像的亮度分量和颜色分量。
在一些实施例中，考虑到上述公式(1)采用了减法运算，获得的所述第一RGB图像的信噪比可能不够高。为了提高信噪比，执行步骤S141，对R、G、B分别进行降噪。由于原始图像的亮度分量Y0的噪声较低，且Y0与R、G、B具有强相关性，因此，可以以Y0作为引导图像，对R、G、B分别进行降噪得到R’、G’、B’。具体地，可以采用导向滤波(Guided Filter)技术或联合双边滤波(jointbilateral filter)技术等进行降噪，本领域技术人员可参考相关现有技术，在此不再赘述。
在一些实施例中，为进一步提高图像质量，执行步骤S142，对所述第三RGB图像进行白平衡，获得第四RGB图像。具体地，可以采用色温曲线方法等进行白平衡，本领域技术人员可参考相关现有技术，在此不再赘述。
在步骤S143的具体实施中，计算所述第四RGB图像的亮度分量Y’1及颜色分量U’1和V’1。具体地，RGB和YUV之间的转换可以基于以下公式进行：
Figure BDA0002883871200000101
在一些实施例中，可以对所述第四RGB图像的亮度分量Y’1进行降噪处理。
相应的，参考图5，在一些实施例中，步骤S15可以包括以下步骤：
S151：基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；
S152：基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
在步骤S151的具体实施中，可以将所述原始图像的亮度分量与所述第四RGB图像的亮度分量按照一定的比例相加，以得到对应的YUV图像的亮度分量。具体地，可以基于公式(3)计算所述第四RGB图像对应的YUV图像的亮度分量：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
在一些实施例中，α的取值可以依赖自动模式，例如根据成像系统的总增益和图像传感器的曝光时间来确定。在一些实施例中，α的取值也可以依赖手动模式，例如根据天气情况、是否有去雾需求等，进行人工调节。
具体地，在自动模式中，可以通过实验，构建包含系统增益、曝光时间和α值的查找表，其中，系统增益指传感器和电路对光电信号放大的倍数。当系统增益和曝光时间较小时，说明环境光照良好，此时α取值较小，由公式(3)可知此时亮度分量Y’中近红外光的成分较小。当系统增益和曝光时间较大时，说明环境照度较低，此时α取值较大，亮度分量Y’中所包含的近红外光成分增加，以改善噪声和图像亮度。也就是说，在自动模式中，α是系统增益和曝光时间的增函数。而在手动模式中，可以根据天气、光照等，人工调节α的取值。例如，在有雾的天气或者光照不足的场景，可以手动增大α的值。
在步骤S152的具体实施中，可以基于公式(4)计算所述YUV图像的颜色分量：
Figure BDA0002883871200000111
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
由公式(4)可知，当近红外光使亮度Y’增加时，颜色分量U’和V’也按照Y’/Y'1的比例增加，以弥补亮度增加导致的颜色饱和度的下降。
在归一化的表示方法中，当U’或V’大于0.5时，取0.5；当U’或V’小于-0.5时，取-0.5，即：
U＝MIN(U，0.5)
U＝MAX(U，-0.5)
V＝MIN(V，0.5)
V＝MAX(V，-0.5)。
在步骤S16的具体实施中，获得所述YUV图像之后，进行色彩空间转换，获得第二RGB图像，作为颜色恢复后的图像。具体地，YUV和RGB之间的转换可以采用基于以下公式进行：
Figure BDA0002883871200000112
在一些实施例中，将所述YUV图像转换为所述第二RGB图像之后，所述图像颜色恢复方法还包括：对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
本发明上述实施例提供的图像颜色恢复方法基于原始图像的C、M、Y、W四个颜色通道值，计算原始图像的亮度分量，该亮度分量保留着近红外光透雾、噪声低、亮度高的优点，同时计算原始图像的每个像素对应的R、G、B三个颜色通道值，以获得消除了近红外光的第一RGB图像。并进一步基于所述原始图像的亮度分量以及所述第一RGB图像的亮度分量和颜色分量，获得颜色恢复后的图像，使得该颜色恢复后的图像既有近红外光透雾、噪声低、亮度高的优点，又具有良好的颜色。
相应的，本发明实施例还提供了一种图像颜色恢复装置，图6是所述图像颜色恢复装置20的结构示意图。
参考图6，所述图像颜色恢复装置20包括存储器201、处理器202和信号处理模块203。所述存储器201上存储有可在所述处理器202上运行的计算机程序，所述处理器202执行所述计算机程序时，控制所述信号处理模块203执行以下步骤：获取原始图像；确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；计算所述第一RGB图像的亮度分量和颜色分量；基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
在一些实施例中，所述原始图像基于具有CMYW滤色器阵列的图像传感器获得。
在一些实施例中，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值包括：基于去马赛克处理，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。
在一些实施例中，所述原始图像每个像素对应的R、G、B三个颜色通道值基于公式(1)而计算：
Figure BDA0002883871200000131
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
在一些实施例中，所述原始图像的亮度分量基于公式(2)而计算：
Y0＝(C+M+Y+W)/4 (2)，
其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
在一些实施例中，所述计算第一RGB图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；对所述第三RGB图像进行白平衡，获得第四RGB图像；以及计算所述第四RGB图像的亮度分量和颜色分量。
在一些实施例中，基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量包括：基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；以及基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
在一些实施例中，所述第四RGB图像对应的YUV图像的亮度分量基于公式(3)而计算：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
在一些实施例中，所述YUV图像的颜色分量基于公式(4)而计算：
Figure BDA0002883871200000141
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
在一些实施例中，所述信号处理模块203还适于执行：将所述YUV图像转换为所述第二RGB图像之后，对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
在一些实施例中，所述处理器202或所述信号处理模块203可以为DSP、CPU、MCU、ARM、FPGA等。
关于所述图像颜色恢复装置20的工作原理、工作方式的更多内容，可以参照图3至图5中所示实施例的相关描述，在此不再赘述。
参考图7，图7是本发明实施例提供的一种摄像装置的结构示意图。
所述摄像装置30包括光学透镜301、图像传感器302以及上述图像颜色恢复装置20。在一些实施例中，所述图像传感器302为具有CMYW滤色器阵列的图像传感器。
本发明实施例还提供了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图像颜色恢复方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (22)

1.一种图像颜色恢复方法，其特征在于，包括：
获取原始图像；
确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；
基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；
计算所述第一RGB图像的亮度分量和颜色分量；
基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及
将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
2.根据权利要求1所述的图像颜色恢复方法，其特征在于，所述原始图像基于具有CMYW滤色器阵列的图像传感器获得。
3.根据权利要求1所述的图像颜色恢复方法，其特征在于，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值包括：
基于去马赛克处理，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。
4.根据权利要求1所述的图像颜色恢复方法，其特征在于，所述原始图像每个像素对应的R、G、B三个颜色通道值基于公式(1)而计算：
Figure FDA0002883871190000011
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
5.根据权利要求1所述的图像颜色恢复方法，其特征在于，所述原始图像的亮度分量基于公式(2)而计算：
Y0＝(C+M+Y+W)/4 (2)，其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
6.根据权利要求1所述的图像颜色恢复方法，其特征在于，所述计算第一RGB图像的亮度分量和颜色分量包括：
基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；
对所述第三RGB图像进行白平衡，获得第四RGB图像；以及
计算所述第四RGB图像的亮度分量和颜色分量。
7.根据权利要求6所述的图像颜色恢复方法，其特征在于，基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量包括：
基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；以及
基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
8.根据权利要求7所述的图像颜色恢复方法，其特征在于，所述第四RGB图像对应的YUV图像的亮度分量基于公式(3)而计算：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
9.根据权利要求7所述的图像颜色恢复方法，其特征在于，所述YUV图像的颜色分量基于公式(4)而计算：
Figure FDA0002883871190000021
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
10.根据权利要求1所述的图像颜色恢复方法，其特征在于，将所述YUV图像转换为所述第二RGB图像之后，所述方法还包括：
对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
11.一种图像颜色恢复装置，包括：存储器、处理器和信号处理模块，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，控制所述信号处理模块执行以下步骤：
获取原始图像；
确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值；
基于所述C、M、Y、W四个颜色通道值，计算所述原始图像的亮度分量以及每个像素对应的R、G、B三个颜色通道值，获得第一RGB图像；
计算所述第一RGB图像的亮度分量和颜色分量；
基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量，以获得所述YUV图像；以及
将所述YUV图像转换为第二RGB图像，作为颜色恢复后的图像。
12.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述原始图像基于具有CMYW滤色器阵列的图像传感器获得。
13.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值包括：
基于去马赛克处理，确定所述原始图像每个像素对应的C、M、Y、W四个颜色通道值。
14.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述原始图像每个像素对应的R、G、B三个颜色通道值基于公式(1)而计算：
Figure FDA0002883871190000041
其中，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值，R、G、B分别是对应的R、G、B三个颜色通道值，k1、k2、k3是修正系数。
15.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述原始图像的亮度分量基于公式(2)而计算：
Y0＝(C+M+Y+W)/4 (2)，其中，Y0是所述原始图像的亮度分量，C、M、Y、W分别是所述原始图像的C、M、Y、W四个颜色通道值。
16.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述计算第一RGB图像的亮度分量和颜色分量包括：
基于所述原始图像的亮度分量对所述第一RGB图像进行降噪处理，获得第三RGB图像；
对所述第三RGB图像进行白平衡，获得第四RGB图像；以及
计算所述第四RGB图像的亮度分量和颜色分量。
17.根据权利要求16所述的图像颜色恢复装置，其特征在于，所述基于所述原始图像的亮度分量、所述第一RGB图像的亮度分量和颜色分量，计算所述第一RGB图像对应的YUV图像的亮度分量和颜色分量包括：
基于所述原始图像的亮度分量和所述第四RGB图像的亮度分量，计算所述第四RGB图像对应的YUV图像的亮度分量；以及
基于所述第四RGB图像的亮度分量和颜色分量以及所述YUV图像的亮度分量，计算所述YUV图像的颜色分量。
18.根据权利要求17所述的图像颜色恢复装置，其特征在于，所述第四RGB图像对应的YUV图像的亮度分量基于公式(3)而计算：
Y’＝α*Y0+(1-α)*Y’1 (3)，
其中，Y’是所述YUV图像的亮度分量，Y0是所述原始图像的亮度分量，Y’1是所述第四RGB图像的亮度分量，α是用于调节图像亮度分量中近红外光的比例的系数，0<＝α<＝1。
19.根据权利要求17所述的图像颜色恢复装置，其特征在于，所述YUV图像的颜色分量基于公式(4)而计算：
Figure FDA0002883871190000051
其中，U’和V’是所述YUV图像的颜色分量，Y’是所述YUV图像的亮度分量，U’1和V’1是所述第四RGB图像的颜色分量，Y’1是所述第四RGB图像的亮度分量。
20.根据权利要求11所述的图像颜色恢复装置，其特征在于，所述信号处理模块还适于执行：
将所述YUV图像转换为所述第二RGB图像之后，对所述第二RGB图像进行颜色校正，将颜色校正后的图像作为颜色恢复后的图像。
21.一种摄像装置，其特征在于，包括光学透镜、图像传感器以及如权利要求11-20任一项所述的图像颜色恢复装置。
22.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至10中任一项所述的图像颜色恢复方法的步骤。
CN202110008167.2A 2021-01-05 2021-01-05 图像颜色恢复方法和装置、摄像装置、存储介质 Active CN112788321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110008167.2A CN112788321B (zh) 2021-01-05 2021-01-05 图像颜色恢复方法和装置、摄像装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110008167.2A CN112788321B (zh) 2021-01-05 2021-01-05 图像颜色恢复方法和装置、摄像装置、存储介质

Publications (2)

Publication Number Publication Date
CN112788321A CN112788321A (zh) 2021-05-11
CN112788321B true CN112788321B (zh) 2022-08-19

Family

ID=75755405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110008167.2A Active CN112788321B (zh) 2021-01-05 2021-01-05 图像颜色恢复方法和装置、摄像装置、存储介质

Country Status (1)

Country Link
CN (1) CN112788321B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870099B (zh) * 2021-09-28 2023-06-27 泰山信息科技有限公司 一种图片颜色转换方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2528319A1 (en) * 2011-05-23 2012-11-28 Alcatel Lucent Image data compressing and decompressing methods and devices
JP2014212513A (ja) * 2013-04-01 2014-11-13 パナソニック株式会社 投写型映像表示装置、映像投影制御装置、映像投影制御方法、及び映像投影制御プログラム
CN106952245B (zh) * 2017-03-07 2018-04-10 深圳职业技术学院 一种航拍可见光图像的处理方法和系统
CN111970432A (zh) * 2019-05-20 2020-11-20 华为技术有限公司 一种图像处理方法及图像处理装置

Also Published As

Publication number Publication date
CN112788321A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
KR101328741B1 (ko) 색상 채널을 이용한 영상 개선 장치 및 방법
US9338371B2 (en) Imaging device
US10313589B2 (en) Imaging device having an image mode set according to a filter
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
CN107424198A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US20140313369A1 (en) Image processing apparatus, image pickup apparatus, and storage medium
CN109785240B (zh) 一种低照度图像增强方法、装置及图像处理设备
US8411176B2 (en) Image input device
KR101767093B1 (ko) 색감 복원 방법 및 장치
JP2013093914A (ja) 画像入力装置
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
CN107194900A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN107533756A (zh) 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质
CN107240081A (zh) 夜景影像去噪与增强处理方法
CN109639994B (zh) 嵌入式车载相机曝光时间动态调整方法
CN112788321B (zh) 图像颜色恢复方法和装置、摄像装置、存储介质
JP5743918B2 (ja) 画像処理装置
JP4544308B2 (ja) 画像処理装置、撮像装置、方法およびプログラム
US11200647B2 (en) Image processing
US9013605B2 (en) Apparatus and method for processing intensity of image in digital camera
CN107277369B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109672828B (zh) 基于光路白平衡的低照度提升装置及低照度提升方法
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant