CN111861964A - 图像处理方法、装置和存储介质 - Google Patents

图像处理方法、装置和存储介质 Download PDF

Info

Publication number
CN111861964A
CN111861964A CN202010783326.1A CN202010783326A CN111861964A CN 111861964 A CN111861964 A CN 111861964A CN 202010783326 A CN202010783326 A CN 202010783326A CN 111861964 A CN111861964 A CN 111861964A
Authority
CN
China
Prior art keywords
image
channel
wrgb
fused
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010783326.1A
Other languages
English (en)
Inventor
李伟冲
程祥
张玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202010783326.1A priority Critical patent/CN111861964A/zh
Publication of CN111861964A publication Critical patent/CN111861964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置和存储介质，涉及图像处理技术领域，能够将WRGB CFA图像转换为全分辨率的RGB图像，可以融合W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。该图像处理方法包括：获取WRGB色彩滤波阵列CFA图像；将WRGB CFA图像转换为拜耳Bayer图像；将Bayer图像转换为全分辨率的RGB图像；在WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；将全分辨率的RGB图像和全分辨率的W通道图像进行结合，得到结合后的RGB图像。

Description

图像处理方法、装置和存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置和存储介质。
背景技术
目前，大部分成像设备使用彩色滤光片阵列(Color filter array，CFA)，目前的CFA包括WRGB CFA，其中，通过WRGB CFA进行成像具有灵敏度高的优点，但是由于空间分辨率较低，因此难以将WRGB CFA图像处理成RGB图像。
发明内容
本申请技术方案提供了一种图像处理方法、装置和存储介质，能够将WRGB CFA图像转换为全分辨率的RGB图像，可以融合W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。
第一方面，本申请技术方案提供了一种图像处理方法，包括：
获取WRGB色彩滤波阵列CFA图像；
将所述WRGB CFA图像转换为拜耳Bayer图像；
将所述Bayer图像转换为全分辨率的RGB图像；
在所述WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；
将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像。
可选地，所述将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
将所述全分辨率的RGB图像作为待融合图像，使所述待融合图像和所述全分辨率的W通道图像进行融合，得到融合后的图像；
对所述融合后的图像进行颜色还原。
可选地，所述将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
对所述全分辨率的RGB图像进行颜色还原，得到颜色还原后的图像；
将所述颜色还原后的图像作为待融合图像，使所述待融合图像和所述全分辨率的W通道图像进行融合。
可选地，所述将所述WRGB CFA图像转换为拜耳Bayer图像的过程包括：
获取所述WRGB CFA图像在W通道位置的W通道采样图，以及获取WRGB CFA图像在G通道位置的G通道采样图；
对所述W通道采样图在G通道位置插值W通道得到W插值图；
以所述W插值图为导向图，对所述G通道采样图进行导向滤波处理，得到G通道初始估计值；
根据所述G通道采样图生成残差；
将所述残差在W通道位置进行插值，得到插值后的残差，将所述插值后的残差与所述G通道初始估计值相加，得到G通道插值图；
根据所述G通道插值图和所述WRGB CFA图像中的R通道及B通道，得到还原后的所述Bayer图像。
可选地，所述残差为
Figure BDA0002621027190000021
其中，MG为二值图，二值图的G通道位置数据值为1，其他位置的数据值为0，Gsub为所述G通道采样图，
Figure BDA0002621027190000022
为所述G通道初始估计值。
可选地，所述使所述待融合图像和所述全分辨率的W通道图像进行融合的过程包括：
将所述待融合图像从RGB色彩空间转换为YCbCr色彩空间，得到转换后的待融合图像；
以所述转换后的待融合图像中的Y分量为导向图，对所述全分辨率的W通道图像进行导向滤波处理，得到W通道初始估计值；
将所述转换后的待融合图像中的Y分量替换为所述W通道初始估计值，得到替换后的待融合图像；
将所述替换后的待融合图像从YCbCr色彩空间转换为RGB色彩空间。
可选地，所述颜色还原包括以下各项之一或任意组合：
自动白平衡、色彩校正矩阵处理、伽玛校正和色调曲线调节。
第二方面，本申请技术方案提供了一种图像处理装置，包括：
图像获取模块，用于获取WRGB色彩滤波阵列CFA图像；
转换模块，用于将所述WRGB CFA图像转换为拜耳Bayer图像以及将所述Bayer图像转换为全分辨率的RGB图像；
处理模块，用于在所述WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；
结合模块，用于将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像。
第三方面，本申请技术方案提供了一种图像处理装置，包括：
处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现上述的图像处理方法。
第四方面，本申请技术方案提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的图像处理方法。
本申请实施例中的图像处理方法、装置和存储介质，基于WRGB CFA图像生成Bayer图像，将Bayer图像转换为全分辨率的RGB图像，以及基于WRGB CFA图像生成全分辨率的W通道图像，最后将RGB图像和W通道图像结合，得到结合后的RGB图像，能够将WRGB CFA图像转换为全分辨率的RGB图像，融合了W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。
附图说明
图1为本申请实施例中一种图像处理方法的流程示意图；
图2为图1对应的流程架构示意图；
图3为本申请实施例中WRGB CFA图像像素排布示意图；
图4为本申请实施例中另一种图像处理方法的流程示意图；
图5为图4对应的流程架构示意图；
图6为本申请实施例中另一种图像处理方法的流程示意图；
图7为图6对应的流程架构示意图；
图8为本申请实施例中一种图像处理方法的一部分流程示意图；
图9为图8对应的流程架构示意图；
图10为本申请实施例中一种在R通道位置处插值W通道的流程架构示意图；
图11为本申请实施例中一种在B通道位置处插值W通道的流程架构简化示意图；
图12为本申请实施例中一种在G通道位置处插值W通道的流程架构简化示意图；
图13为本申请实施例中一种图像处理方法的另一部分流程示意图；
图14为本申请实施例中一种WRGB CFA图像的示例；
图15为图14对应的WRGB CFA图像在经过图4所示的方法转换后得到的最终图像；
图16为图14对应的WRGB CFA图像在经过图6所示的方法转换后得到的最终图像；
图17为本申请实施例中一种图像处理装置的结构框图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
如图1、图2和图3所示，图1为本申请实施例中一种图像处理方法的流程示意图，图2为图1对应的流程架构示意图，图3为本申请实施例中WRGB CFA图像像素排布示意图，本申请实施例提供了一种图像处理方法，包括：
步骤101、获取WRGB色彩滤波阵列CFA图像；
其中，步骤101中的WRGB CFA图像为图像传感器输出的原始图像，在WRGB CFA图像中，W表示白色通道，R表示红色通道，G表示绿色通道，B表示蓝色通道。
步骤102、将WRGB CFA图像转换为拜耳Bayer图像，将Bayer图像转换为全分辨率的RGB图像；
其中，Bayer图像中一个像素点只有一个颜色，红色或绿色或蓝色，因此可以通过插值的方式使每个像素点具有红、绿、蓝三种颜色，即将Bayer图像还原为了全分辨率的RGB图像。
步骤103、在WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；
步骤104、将全分辨率的RGB图像和全分辨率的W通道图像进行结合，得到结合后的RGB图像。
其中，步骤102中生成的全分辨率的RGB图像用于提供WRGB CFA图像中RGB的色度信息，全分辨率的W通道图像用于提供WRGB CFA图像中W通道的亮度信息。
本申请实施例中的图像处理方法，基于WRGB CFA图像生成Bayer图像，将Bayer图像转换为全分辨率的RGB图像，以及基于WRGB CFA图像生成全分辨率的W通道图像，最后将RGB图像和W通道图像结合，得到结合后的RGB图像，能够将WRGB CFA图像转换为全分辨率的RGB图像，融合了W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。
可选地，如图4和图5所示，图4为本申请实施例中另一种图像处理方法的流程示意图，图5为图4对应的流程架构示意图，上述步骤104、将全分辨率的RGB图像和全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
步骤1041、将全分辨率的RGB图像作为待融合图像，使待融合图像和全分辨率的W通道图像进行融合，得到融合后的图像；
步骤1042、对融合后的图像进行颜色还原，得到亮度增强后的图像，该方法得到的图像具有更多的细节，更有利于颜色的还原。
可选地，如图6和图7所示，图6为本申请实施例中另一种图像处理方法的流程示意图，图7为图6对应的流程架构示意图，上述步骤104、将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
步骤1043、对全分辨率的RGB图像进行颜色还原，得到颜色还原后的图像；
步骤1044、将颜色还原后的图像作为待融合图像，使待融合图像和全分辨率的W通道图像进行融合，得到融合后的图像，该方案的实现方式更加灵活，兼容性更高，适用于现有的图像信号处理器(Image Signal Processor，ISP)。
可选地，如图8和图9所示，图8为本申请实施例中一种图像处理方法的一部分流程示意图，图9为图8对应的流程架构示意图，上述步骤102中将WRGB CFA图像转换为拜耳Bayer图像的过程包括：
步骤1021、获取WRGB CFA图像在W通道位置的W通道采样图，以及获取WRGB CFA图像在G通道位置的G通道采样图；
步骤1022、对W通道采样图在G通道位置插值W通道得到W插值图；
步骤1023、以W插值图为导向图，对G通道采样图进行导向滤波Guided Filter处理，得到G通道初始估计值；
步骤1024、根据G通道采样图生成残差；
步骤1025、将残差在W通道位置进行插值，得到插值后的残差，将插值后的残差与G通道初始估计值相加，得到G通道插值图；
步骤1026、根据G通道插值图和WRGB CFA图像中的R通道及B通道，得到转换后的Bayer图像。
可选地，残差为
Figure BDA0002621027190000041
其中，MG为二值图，二值图的G通道位置数据值为1，其他位置的数据值为0，Gsub为G通道采样图，
Figure BDA0002621027190000042
为G通道初始估计值。
另外，在上述步骤103中，通过插值的方式生成全分辨率的W通道图像的方式可以与上述将WRGB CFA图像转换为拜耳Bayer图像的过程类似，例如，如图10所示，图10为本申请实施例中一种在R通道位置处插值W通道的流程架构示意图，首先获取WRGB CFA图像在W通道位置的W通道采样图，以及获取WRGB CFA图像在R通道位置的R通道采样图；对R通道采样图在W通道位置插值R通道得到R插值图；以R插值图为导向图，对W通道采样图进行导向滤波处理，得到W通道初始估计值；根据W通道采样图生成残差，例如，残差为
Figure BDA0002621027190000051
其中，MW为二值图，二值图的W通道位置数据值为1，其他位置的数据值为0，Wsub为W通道采样图，
Figure BDA0002621027190000052
为W通道初始估计值；将残差在R通道位置进行插值，得到插值后的残差，将插值后的残差与W通道初始估计值相加，得到W通道插值图，即基于R通道采样图得到对应的W通道插值图；如图11和图12所示，图11为本申请实施例中一种在B通道位置处插值W通道的流程架构简化示意图，图12为本申请实施例中一种在G通道位置处插值W通道的流程架构简化示意图，可以通过类似的方法基于B通道采样图得到对应的W通道插值图，基于G通道采样图得到对应的W通道插值图，根据图10、图11和图12中的三个W通道插值图可以得到全分辨率的W通道图像。
可选地，如图13所示，图13为本申请实施例中一种图像处理方法的另一部分流程示意图，在上述步骤1041或步骤1044中，使待融合图像和全分辨率的W通道图像进行融合的过程包括：
步骤201、将待融合图像从RGB色彩空间转换为YCbCr色彩空间，得到转换后的待融合图像；
步骤202、以转换后的待融合图像中的Y分量为导向图，对全分辨率的W通道图像进行导向滤波处理，得到W通道初始估计值；
其中，在步骤202中对全分辨率的W通道图像进行导向滤波处理的过程可以用以下公式表示：
Figure BDA0002621027190000053
Figure BDA0002621027190000054
Figure BDA0002621027190000055
其中，i,j表示像素坐标，
Figure BDA0002621027190000056
表示W通道初始估计值，q,p分别表示滤波窗口的高和宽，ap,q和bp,q均表示在q,p确定的滤波窗口内的常量系数，Yi,j表示对于待融合图像中的Y分量在i,j位置的像素值，wp,q表示滤波窗口，Whitei,j表示全分辨率的W通道图像在i,j位置的像素值。
步骤203、将转换后的待融合图像中的Y分量替换为W通道初始估计值，得到替换后的待融合图像；
步骤204、将替换后的待融合图像从YCbCr色彩空间转换为RGB色彩空间。
可选地，上述步骤1042或1043中的颜色还原包括以下各项之一或任意组合：自动白平衡(Automatic white balance，AWB)、色彩校正矩阵(Color Correction Matrix，CCM)处理、伽玛Gamma校正和色调曲线Tone Curve调节。
另外，如图14、图15和图16所示，图14为本申请实施例中一种WRGB CFA图像的示例，图15为图14对应的WRGB CFA图像在经过图4所示的方法转换后得到的最终图像，图16为图14对应的WRGB CFA图像在经过图6所示的方法转换后得到的最终图像，根据图14、图15和图16的对比可以看出，在图4所示的方法中先进行融合后进行颜色还原所得到的图像质量更高。
如图17所示，图17为本申请实施例中一种图像处理装置的结构框图，本申请实施例还提供一种图像处理装置，包括：图像获取模块1，用于获取WRGB色彩滤波阵列CFA图像；转换模块2，用于将WRGB CFA图像转换为拜耳Bayer图像以及将Bayer图像转换为全分辨率的RGB图像；处理模块3，用于在WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；结合模块4，用于将全分辨率的RGB图像和全分辨率的W通道图像进行结合，得到结合后的RGB图像。该图像处理装置可以应用上述的图像处理方法，具体过程和原理不再赘述。
可选地，结合模块4具体用于，将全分辨率的RGB图像作为待融合图像，使待融合图像和全分辨率的W通道图像进行融合，得到融合后的图像；对融合后的图像进行颜色还原。
可选地，结合模块4具体用于，对全分辨率的RGB图像进行颜色还原，得到颜色还原后的图像；将颜色还原后的图像作为待融合图像，使待融合图像和全分辨率的W通道图像进行融合。
可选地，转换模块2将WRGB CFA图像转换为拜耳Bayer图像的过程中：获取WRGBCFA图像在W通道位置的W通道采样图，以及获取WRGB CFA图像在G通道位置的G通道采样图；对W通道采样图在G通道位置插值W通道得到W插值图；以W插值图为导向图，对G通道采样图进行导向滤波处理，得到G通道初始估计值；根据G通道采样图生成残差；将残差在W通道位置进行插值，得到插值后的残差，将插值后的残差与G通道初始估计值相加，得到G通道插值图；根据G通道插值图和WRGB CFA图像中的R通道及B通道，得到还原后的Bayer图像。
可选地，转换模块2根据G通道采样图生成残差的过程中，残差为
Figure BDA0002621027190000061
Figure BDA0002621027190000062
其中，MG为二值图，二值图的G通道位置数据值为1，其他位置的数据值为0，Gsub为G通道采样图，
Figure BDA0002621027190000063
为G通道初始估计值。
可选地，结合模块4使待融合图像和全分辨率的W通道图像进行融合的过程包括：将待融合图像从RGB色彩空间转换为YCbCr色彩空间，得到转换后的待融合图像；以转换后的待融合图像中的Y分量为导向图，对全分辨率的W通道图像进行导向滤波处理，得到W通道初始估计值；将转换后的待融合图像中的Y分量替换为W通道初始估计值，得到替换后的待融合图像；将替换后的待融合图像从YCbCr色彩空间转换为RGB色彩空间。
可选地，颜色还原包括以下各项之一或任意组合：自动白平衡、色彩校正矩阵处理、伽玛校正和色调曲线调节。
应理解以上图像处理装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，图像获取模块1可以为单独设立的处理元件，也可以集成在图像处理装置，例如图像处理装置的某一个芯片中实现，此外，也可以以程序的形式存储于图像处理装置的存储器中，由图像处理装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
另一方面，本申请实施例还提供一种图像处理装置，包括：处理器和存储器，存储器用于存储至少一条指令，指令由处理器加载并执行时以实现上述的图像处理方法。该图像处理装置可以应用上述的图像处理方法，具体过程和原理不再赘述。
处理器的数量可以为一个或多个，处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的图像检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述任意方法实施例中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；以及必要数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述实施例的图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取WRGB色彩滤波阵列CFA图像；
将所述WRGB CFA图像转换为拜耳Bayer图像；
将所述Bayer图像转换为全分辨率的RGB图像；
在所述WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；
将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像。
2.根据权利要求1所述的图像处理方法，其特征在于，
所述将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
将所述全分辨率的RGB图像作为待融合图像，使所述待融合图像和所述全分辨率的W通道图像进行融合，得到融合后的图像；
对所述融合后的图像进行颜色还原。
3.根据权利要求1所述的图像处理方法，其特征在于，
所述将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像的过程包括：
对所述全分辨率的RGB图像进行颜色还原，得到颜色还原后的图像；
将所述颜色还原后的图像作为待融合图像，使所述待融合图像和所述全分辨率的W通道图像进行融合。
4.根据权利要求1所述的图像处理方法，其特征在于，
所述将所述WRGB CFA图像转换为拜耳Bayer图像的过程包括：
获取所述WRGB CFA图像在W通道位置的W通道采样图，以及获取WRGB CFA图像在G通道位置的G通道采样图；
对所述W通道采样图在G通道位置插值W通道得到W插值图；
以所述W插值图为导向图，对所述G通道采样图进行导向滤波处理，得到G通道初始估计值；
根据所述G通道采样图生成残差；
将所述残差在W通道位置进行插值，得到插值后的残差，将所述插值后的残差与所述G通道初始估计值相加，得到G通道插值图；
根据所述G通道插值图和所述WRGB CFA图像中的R通道及B通道，得到还原后的所述Bayer图像。
5.根据权利要求4所述的图像处理方法，其特征在于，
所述残差为
Figure FDA0002621027180000011
其中，MG为二值图，二值图的G通道位置数据值为1，其他位置的数据值为0，Gsub为所述G通道采样图，
Figure FDA0002621027180000012
为所述G通道初始估计值。
6.根据权利要求2或3所述的图像处理方法，其特征在于，
所述使所述待融合图像和所述全分辨率的W通道图像进行融合的过程包括：
将所述待融合图像从RGB色彩空间转换为YCbCr色彩空间，得到转换后的待融合图像；
以所述转换后的待融合图像中的Y分量为导向图，对所述全分辨率的W通道图像进行导向滤波处理，得到W通道初始估计值；
将所述转换后的待融合图像中的Y分量替换为所述W通道初始估计值，得到替换后的待融合图像；
将所述替换后的待融合图像从YCbCr色彩空间转换为RGB色彩空间。
7.根据权利要求2、3和6中任意一项所述的图像处理方法，其特征在于，
所述颜色还原包括以下各项之一或任意组合：
自动白平衡、色彩校正矩阵处理、伽玛校正和色调曲线调节。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取WRGB色彩滤波阵列CFA图像；
转换模块，用于将所述WRGB CFA图像转换为拜耳Bayer图像以及将所述Bayer图像转换为全分辨率的RGB图像；
处理模块，用于在所述WRGB CFA图像中的R通道位置、G通道位置和B通道位置中插值W通道数据，生成全分辨率的W通道图像；
结合模块，用于将所述全分辨率的RGB图像和所述全分辨率的W通道图像进行结合，得到结合后的RGB图像。
9.一种图像处理装置，其特征在于，包括：
处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1至7中任意一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的图像处理方法。
CN202010783326.1A 2020-08-06 2020-08-06 图像处理方法、装置和存储介质 Pending CN111861964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783326.1A CN111861964A (zh) 2020-08-06 2020-08-06 图像处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783326.1A CN111861964A (zh) 2020-08-06 2020-08-06 图像处理方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN111861964A true CN111861964A (zh) 2020-10-30

Family

ID=72971508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783326.1A Pending CN111861964A (zh) 2020-08-06 2020-08-06 图像处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111861964A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436075A (zh) * 2021-07-14 2021-09-24 贝壳找房(北京)科技有限公司 图像去马赛克方法、装置以及电子设备、介质
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
CN114615393A (zh) * 2020-12-09 2022-06-10 爱思开海力士有限公司 图像信号处理器和图像处理系统
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140328538A1 (en) * 2013-05-03 2014-11-06 Samsung Electronics Co., Ltd. Image signal processing device and method and image processing system using the same
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
US9361678B1 (en) * 2015-04-17 2016-06-07 National Taiwan University Compensation method of spectral mismatch
US20170098296A1 (en) * 2015-10-01 2017-04-06 SK Hynix Inc. Method and device for converting a color filter array
CN108419061A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
KR20190094799A (ko) * 2018-02-06 2019-08-14 주식회사 아이닉스 Ｗｒｇｂ ｃｆａ 영상을 위한 처리 장치 및 그 처리 방법
CN110493583A (zh) * 2018-08-03 2019-11-22 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140328538A1 (en) * 2013-05-03 2014-11-06 Samsung Electronics Co., Ltd. Image signal processing device and method and image processing system using the same
US20160080626A1 (en) * 2014-09-16 2016-03-17 Google Technology Holdings LLC Computational Camera Using Fusion of Image Sensors
US9361678B1 (en) * 2015-04-17 2016-06-07 National Taiwan University Compensation method of spectral mismatch
US20170098296A1 (en) * 2015-10-01 2017-04-06 SK Hynix Inc. Method and device for converting a color filter array
CN108419061A (zh) * 2017-02-10 2018-08-17 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
KR20190094799A (ko) * 2018-02-06 2019-08-14 주식회사 아이닉스 Ｗｒｇｂ ｃｆａ 영상을 위한 처리 장치 및 그 처리 방법
CN110493583A (zh) * 2018-08-03 2019-11-22 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615393A (zh) * 2020-12-09 2022-06-10 爱思开海力士有限公司 图像信号处理器和图像处理系统
CN113436075A (zh) * 2021-07-14 2021-09-24 贝壳找房(北京)科技有限公司 图像去马赛克方法、装置以及电子设备、介质
CN113781303A (zh) * 2021-09-01 2021-12-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Similar Documents

Publication Publication Date Title
US9344639B2 (en) High dynamic range array camera
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US20160080626A1 (en) Computational Camera Using Fusion of Image Sensors
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111161188B (zh) 降低图像色彩噪声的方法、计算机装置及可读存储介质
JP2014126903A (ja) 画像処理装置および画像処理方法、ならびに、プログラム
CN111861964A (zh) 图像处理方法、装置和存储介质
JP2011223452A (ja) 色補正装置
KR20140133272A (ko) 영상 처리 장치 및 영상 처리 방법
US10055823B2 (en) Method for generating a pixel filtering boundary for use in auto white balance calibration
US8346019B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
US20140037207A1 (en) System and a method of adaptively suppressing false-color artifacts
JP2012227758A (ja) 画像信号処理装置及びプログラム
KR20110130266A (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
WO2022027469A1 (zh) 图像处理方法、装置和存储介质
US10863148B2 (en) Tile-selection based deep demosaicing acceleration
CN115471420A (zh) 图像处理装置、成像设备、方法、电子设备及存储介质
JP2012175169A (ja) 画像処理装置
US8804025B2 (en) Signal processing device and imaging device
US20120154625A1 (en) Image processing apparatus, image processing method, and program recording medium
US20130038773A1 (en) Image processing apparatus and control method for the same
CN114155137A (zh) 格式转换方法、控制器及计算机可读存储介质
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
US20160048946A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination