CN112004003A - 图像处理方法、芯片、电子设备和存储介质 - Google Patents

图像处理方法、芯片、电子设备和存储介质 Download PDF

Info

Publication number
CN112004003A
CN112004003A CN202010790515.1A CN202010790515A CN112004003A CN 112004003 A CN112004003 A CN 112004003A CN 202010790515 A CN202010790515 A CN 202010790515A CN 112004003 A CN112004003 A CN 112004003A
Authority
CN
China
Prior art keywords
image
channel
map
sampling
cfa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790515.1A
Other languages
English (en)
Other versions
CN112004003B (zh
Inventor
李伟冲
张玮
宋锐男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202010790515.1A priority Critical patent/CN112004003B/zh
Publication of CN112004003A publication Critical patent/CN112004003A/zh
Application granted granted Critical
Publication of CN112004003B publication Critical patent/CN112004003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本申请部分实施例提供了一种图像处理方法、芯片、电子设备和存储介质。上述方法包括：获取待处理的WRGB彩色滤光片阵列CFA图像(101)；将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像(102)，其中，所述将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像，包括：对所述WRGB CFA图像中的W通道进行采样，得到第一采样图；将所述第一采样图中的W通道还原为G通道，得到还原图；根据所述还原图，将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像，可以兼容现有的Camera ISP，有利于节省成本。

Description

图像处理方法、芯片、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、芯片、电子设备和存储介质。
背景技术
目前，大多数数字成像设备使用彩色滤光片阵列(Color filter array，简称：CFA)以减少设备的成本，在众多CFA模式中，如图1所示的Bayer CFA是被使用最广泛的模式。近年来，如图2所示的WRGB CFA由于具有更高灵敏度，在弱光环境下显示了出色的成像性能，从而备受关注。
发明内容
本申请部分实施例的目的在于提供一种图像处理方法、芯片、电子设备和存储介质，可以兼容现有的图像信号处理器(Camera Image Signal Processing，简称：CameraISP)，有利于节省成本。
本申请实施例提供了一种图像处理方法，包括：获取待处理的WRGB彩色滤光片阵列CFA图像；将所述WRGB CFA图像中的W通道还原为G通道，得到拜耳Bayer CFA图像；其中，所述将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像，包括：对所述WRGBCFA图像中的W通道进行采样，得到第一采样图；将所述第一采样图中的W通道还原为G通道，得到还原图；根据所述还原图，将所述WRGB CFA图像中的W通道还原为G通道，得到BayerCFA图像。
本申请实施例还提供了一种芯片，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像处理方法。
本申请实施例还提供了一种电子设备，包括上述的芯片。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
本申请发明人发现，现有的摄像机的图像信号处理器Camera ISP都是针对BayerCFA设计的，无法与WRGB CFA兼容。为了使用WRGB CFA，对Camera ISP的重新设计是不可避免的，如此便带来极大的成本开销。
本申请实施例相对于现有技术而言，考虑到WRGB CFA中的W通道的位置相当于占用了Bayer CFA中的G通道的位置，因此将WRGB CFA图像中的W通道还原为G通道，从而可以实现将WRGB CFA图像还原为Bayer CFA图像，以达到兼容现有的Camera ISP的效果，避免为了使用WRGB CFA，对CameraISP的重新设计，有利于节省成本。将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像，包括：对所述WRGB CFA图像中的W通道进行采样，得到第一采样图；将所述第一采样图中的W通道还原为G通道，得到还原图；根据所述还原图，将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。通过得到W通道对应的第一采样图，方便了直接将第一采样图中的白色像素还原为绿色像素得到还原图，从而进一步方便了根据还原图得到与现有的Camera ISP兼容的Bayer CFA图像。
例如，根据所述第一导向图和所述第二采样图，得到还原图，包括：对所述第一导向图和所述第二采样图采用导向滤波算法，得到初始估计图；根据所述初始估计图和所述第二采样图，计算残差得到残差图；根据所述残差图对所述初始估计图进行修正，得到还原图。初始估计图相当于一个估计值，第二采样图相当于一个实际值，通过初始估计图和第二采样图，得到的残差图可以表现出实际值与估计值的差异，即估计的初始估计图是否准确。进而，根据残差图对初始估计图进行修正，得到还原图，有利于提高得到的还原图的准确度。
例如，在所述得到Bayer CFA图像之后，还包括：对所述Bayer CFA图像中的待补偿通道进行采样，得到第三采样图；其中，所述待补偿通道为所述WRGB CFA图像中R、G、B三通道中的任意一个；根据所述第三采样图和所述第一采样图，对所述Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的Bayer CFA图像。白色的光谱具有亮度好的特性，虽然白色W通道被还原为绿色G通道，但依然还可以根据第一采样图和第三采样图，对待补偿通道的亮度进行补偿，使得将WRGB CFA图像还原为Bayer CFA图像后还可以保留白色的亮度信息。即融合了W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。
例如，根据第二导向图和所述第三采样图，得到待补偿通道的亮度增强图像，包括：对所述第二导向图和所述第三采样图采用导向滤波算法，得到待补偿通道的亮度增强图像。导向滤波算法的去噪与边缘保持效果较好，有利于提高得到的待补偿通道的亮度增强图像的质量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本申请背景技术中提到的Bayer CFA的示意图；
图2是根据本申请背景技术中提到的WRGB CFA的示意图；
图3是根据本申请第一实施例中提到的图像处理方法的流程图；
图4是根据本申请第一实施例中提到的还原处理之前与还原处理之后的对比示意图；
图5是根据本申请第一实施例中步骤102的子步骤的示意图；
图6是根据本申请第一实施例中得到还原图的处理过程的示意图；
图7是根据本申请第一实施例中得到Bayer CFA图像的处理过程的示意图；
图8是根据本申请第一实施例中将得到Bayer CFA图像输入Camera ISP进行处理得到RGB图像的示意图；
图9是根据本申请第二实施例中提到的图像处理方法的流程图；
图10是根据本申请第二实施例中提到的图像处理过程的示意图；
图11是根据本申请第二实施例中提到的G通道对应的二值图；
图12是根据本申请第二实施例中提到的W通道对应的二值图；
图13是根据本申请第二实施例中提到的R、G、B通道PSNR对比图；
图14是根据本申请第三实施例中提到的从WRGB CFA图像到RGB图像的处理过程的示意图；
图15是根据本申请第三实施例中提到的图像处理方法的流程图；
图16是根据本申请第三实施例中提到的对还原后得到的Bayer CFA进行亮度补偿的处理过程的示意图；
图17是根据本申请第三实施例中提到的G通道的亮度增强图像；
图18是根据本申请第三实施例中提到的B通道的亮度增强图像；
图19是根据本申请第四实施例中提到的芯片的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。本领域的普通技术人员可以理解，在各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请第一实施例涉及一种图像处理方法，旨在对白色、红的、绿色、蓝色(white、red、green、blue；简称：WRGB)CFA图像进行处理，得到Bayer CFA图像，该WRGB CFA图像可以为图像传感器采集的原始图像。其中，图像传感器可以为电荷藕合器件(Charge CoupledDevice，简称：CCD)图像传感器、互补金属氧化物半导体(Complementary Metal OxideSemiconductor，简称：CMOS)图像传感器，然并不以此为限。
其中，Bayer CFA图像可以参考图1，即包括红色R通道、绿色G通道、蓝色B通道。WRGB CFA图像可以参考图2，即包括R通道、G通道、B通道和白色W通道。以图1为例，其中，每个小方框表示一个像素，标注有R的小方框表示红色像素，标注有G的小方框表示绿色像素，标注有B的小方框表示蓝色像素。R通道中的像素均为红色像素、G通道中的像素均为绿色像素、B通道中的像素均为蓝色像素。类似的，图2中，标注有W的小方框表示白色像素，W通道中的像素均为白色像素。需要说明的是，图1和图2中只是给出一种像素的排布方式的示例，在具体实现中，并不以这一种排布方式为限。本实施例中的图像处理方法可以由芯片执行，下面对本实施方式的图像处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例中的图像处理方法的流程图可以参考图3，包括：
步骤101：获取待处理的WRGB CFA图像。
具体的说，芯片可以获取图像传感器采集的WRGB CFA图像，将该WRGB CFA图像作为待处理的WRGB CFA图像。
在一个例子中，芯片获取的待处理的WRGB CFA图像可以如图2所示，但在具体实现中，WRGB CFA图像中各像素的排布方式并不以此为限。
步骤102：将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
也就是说，将WRGB CFA图像中的白色像素还原为绿色像素，WRGB CFA图像中原有的红色像素、绿色像素、蓝色像素不变，最后得到Bayer CFA图像。
在一个例子中，可以理解为还原前的图像为WRGB CFA图像，通过还原处理，得到还原后的图像为Bayer CFA图像。比如，可以参考图4，还原前的图像为图a，还原后的图像为图b。对图a中的白色像素(图a中标注有W的方框)进行还原处理得到图b，图b中标注有GW的方框，表示还原后的绿色像素。
在一个例子中，步骤102可以通过如图5所述的子步骤实现，包括：
步骤201：对WRGB CFA图像中的W通道进行采样，得到第一采样图。
具体的说，可以将WRGB CFA图像中的W通道分离出来，得到第一采样图。其中，第一采样图相比于WRGB CFA图像保留了W通道中的白色像素，去除了其他像素，也就是说，除W通道外其余通道的值为0。为方便理解，可以参考图6，图6中的W1即为对如图2所示的WRGB CFA图像的W通道进行采样得到的第一采样图；其中，第一采样图W1中标注有W的方框，表示保留的白色像素，第一采样图W1中没有标注W的方框，表示该位置的值为0。
步骤202：将第一采样图中的W通道还原为G通道，得到还原图。
具体的说，可以先确定第一采样图中的第一插值位置；其中，第一插值位置与WRGBCFA图像中G通道的位置相同。比如，参考图6中的第一采样图W1，第一插值位置可以理解为标注有1、2、3、4的方框的位置，需要说明的是第一采样图W1中标注的1、2、3、4仅为说明第一插值位置在第一采样图中的具体位置，并无其他含义。对比图6中第一采样图W1和图2中的WRGB CFA图像，可以看出第一插值位置在第一采样图W1中的相对位置，与WRGB CFA图像中G通道的相对位置相同。
然后，在第一插值位置插值W通道，得到第一导向图。其中，W通道可以为第一采样图W1中的W通道。插值的方式可以为线性插值、最邻近插值等，然而本实施方式对具体的插值方式不做具体限定，在具体实现中可以根据实际需要选择。为方便理解，可以参考图6，图6中的W2即为在第一采样图W1中的第一插值位置插值W通道后得到的第一导向图。通过图6可以看出，第一导向图W2相当于在第一采样图W1中标注有1、2、3、4的位置插值W通道得到。
接着，可以对WRGB CFA图像中的G通道进行采样，得到第二采样图。比如可以将WRGB CFA图像中的G通道分离出来，得到第二采样图；其中，第二采样图相比于WRGB CFA图像保留了G通道，即保留了G通道中的绿色像素，去除了WRB三通道中的其他颜色的像素，也就是说，除G通道外其余通道的值为0。为方便理解，可以参考图6，图6中的G1，即为对如图2所示的WRGB CFA图像中的G通道进行采样，得到第二采样图。其中，第二采样图G1中标注有G的方框，表示保留的绿色像素，G1中没有标注的方框，即空白的方框表示该位置的值为0。
然后，根据第一导向图和第二采样图，得到还原图。具体的说，可以对第一导向图和第二采样图采用导向滤波算法，得到初始估计图。比如。可以将第一导向图和第二采样图作为导向滤波算法的输入，利用第一导向图对第二采样图进行滤波处理，输出初始估计图。然而在具体实现中，也可以采用其他算法得到初始估计图，比如高斯滤波、双边滤波等算法，然而本实施例对此不做具体限定。
可以参考图6，初始估计图即为图6中的G2，初始估计图G2中的方框中标注的Gt表示还原的G通道的初始估计值。再将初始估计图G2中目标位置的值置0，从而得到还原图；其中，目标位置可以和WRGB CFA图像中G通道的位置相同。参考图6，初始估计图G2中目标位置即为：第二行第二列、第二行第四列、第四行第二列、第四行第四列，最终得到的还原图可以为图6中的G3。
步骤203：根据还原图，将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
具体的说，可以将WRGB CFA图像中RGB三通道的像素值填充进还原图的对应通道位置，从而将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
在一个例子中，可以对WRGB CFA图像中的RGB三通道进行采样，得到RGB采样图，然后将RGB采样图中各像素的像素值与还原图中各像素的像素值相加，从而得到Bayer CFA图像。为方便理解，可以参考图7，A1即为对WRGB CFA图像中的RGB三通道进行采样，得到RGB采样图。将RGB采样图A1与还原图G3中各像素的像素值相加，得到Bayer CFA图像。其中，A1和G3中未标注的空白位置处的像素值可以理解为0。
在具体实现中，得到Bayer CFA图像后，可以将该Bayer CFA图像输入摄像机的图像信号处理器CameraISP，通过CameraISP处理后输出RGB图像。
在一个例子中，CameraISP对Bayer CFA图像进行处理的示意图可以参考图8，其中，Camera ISP包括：镜头矫正模块301、逆马赛克变换模块302、降噪模块303、彩色再现模块304。然而，在具体实现中，Camera ISP包括的模块并不以上述几个为限，可以根据实际需要添加，本实施方式对此不做具体限定。
需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
本实施例相对于现有技术而言，考虑到WRGB CFA中的W通道的位置相当于占用了Bayer CFA中的G通道的位置，因此将WRGB CFA图像中的W通道还原为G通道，从而可以实现将WRGB CFA图像还原为Bayer CFA图像，以达到兼容现有的Camera ISP的效果，避免为了使用WRGB CFA，对Camera ISP的重新设计，有利于节省成本。
本申请第二实施例涉及一种图像处理方法，下面对本实施例的图像处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例中的图像处理方法的流程图可以参考图9，包括：
步骤401：获取待处理的WRGB CFA图像。
步骤402：对WRGB CFA图像中的W通道进行采样，得到第一采样图。
步骤403：确定第一采样图中的第一插值位置，并在第一插值位置插值W通道，得到第一导向图。
步骤404：对WRGB CFA图像中的G通道进行采样，得到第二采样图。
步骤405：对第一导向图和第二采样图采用导向滤波算法，得到初始估计图。
其中，步骤401至步骤405在第一实施方式中已经描述过，为避免重复此处不再赘述。
在一个例子中，可以参考图10，图10为本实施例的图像处理过程的示意图。上述各步骤在图10中表现为：对如图2所示的WRGB CFA图像中的W通道进行采样，得到第一采样图W1；在第一采样图W1中进行插值得到第一导向图W2；对如图2所示的WRGB CFA图像中的G通道进行采样，得到第二采样图G1；对第一导向图W2和第二采样图G1采用导向滤波算法，得到初始估计图G2。
在一个例子中，对第一导向图和第二采样图采用导向滤波算法，得到初始估计图，可以用以下公式实现：
Gt(i,j)＝ap,q·Winter+bp,q
Figure BDA0002623598350000111
Figure BDA0002623598350000112
其中，i,j表示像素坐标；Gt(i,j)为初始估计图中(i，j)位置的像素值；Gsubsample(i,j)为第二采样图中(i，j)位置的像素值；Winter(i,j)为第一导向图中(i，j)位置的像素值；wp,q表示滤波窗口；q，p分别表示滤波窗口的高和宽；ap,q和bp,q均表示在q,p确定的滤波窗口内的常量系数。
步骤406：根据初始估计图和第二采样图，计算残差得到残差图。
具体的说，可以通过对初始估计图和第二采样图中的各像素值作差，来计算残差得到残差图。
在一个例子中，可以通过以下方式计算残差得到残差图：
首先，根据初始估计图和第二采样图，得到初始估计图和第二采样图的差值图。比如，可以参考图10，可以通过对第二采样图中的各像素值与初始估计图中的各像素值作差，得到初始估计图和第二采样图的差值图。在具体实现中，差值图可以通过以下公式实现：A＝A1-A2；其中，A1表示第二采样图G1中各像素的像素值，A2表示初始估计图G2中各像素的像素值，A表示差值图中各像素的像素值。可以理解的是，第二采样图G1和初始估计图G2中的空白位置可以认为像素值为0，标注有G的位置可以认为像素值为G，标注有Gt的位置可以认为像素值为Gt。
然后，确定WRGB CFA图像中的G通道对应的二值图；其中，G通道对应的二值图中第一位置的值为1，且第二位置的值为0，第一位置与WRGB CFA图像中G通道的位置相同，第二位置与WRGB CFA图像中W、R、B三通道的位置相同。比如，如图2所示的WRGB CFA图像中的G通道对应的二值图可以参考图11，图11中标注有1的方框位置的值为1，未标注的方框位置的值为0。可以看出，由于，如图2所示的WRGB CFA图像中的G通道位于第2行第2列、第2行第4列、第4行第2列、第4行第4列、因此G通道对应的二值图中第2行第2列、第2行第4列、第4行第2列、第4行第4列的像素值均为1，其余位置的像素值均为0。
接着，根据差值图和G通道对应的二值图，计算残差得到残差图。具体的说，可以将差值图中的各像素值与G通道对应的二值图中的各像素值相乘，计算残差，得到残差图。在具体实现中，可以通过以下公式计算残差，得到残差图：
Gr＝MG×(A1-A2)
其中，Gr为计算的残差，MG为G通道对应的二值图中的各像素值。参考图10第二采样图G1与初始估计图G2中各像素的实际像素值，以及图11中G通道对应的二值图中的各像素值，通过上述残差的公式可计算出Gr＝G-Gt。由此，可以看出，还原的G通道的初始估计值Gt，与G通道的实际像素值G的残差为G-Gt。最终，得到的残差图可以为图10中的R1。
步骤407：根据残差图对初始估计图进行修正，得到还原图。
具体的说，可以先确定残差图中的第二插值位置；其中，第二插值位置与WRGB CFA图像中W通道的位置相同。然后，利用计算的残差，在第二插值位置进行残差插值，得到残差插值图。比如，可以采用线性插值的方式利用计算的残差，在第二插值位置进行残差插值，得到残差插值图，然而，本实施方式对插值的具体方式不做限定，在具体实现中可以根据实际需要选择采用何种插值方式。比如可以参考图10，在残差图R1中的第二插值位置，进行残差插值，得到残差插值图R1’。最后，可以根据残差插值图R1’和初始估计图G2，得到还原图。
在一个例子中，根据残差插值图和初始估计图，得到还原图，可以通过以下方式实现：
首先，根据残差插值图和初始估计图，得到残差插值图和初始估计图的结合图。比如，可以参考图10，可以通过对残差插值图R1’中的各像素值与初始估计图G2中的各像素值求和，得到残差插值图R1’和初始估计图G2的结合图。在具体实现中，结合图可以通过以下公式实现：D＝D1+A2；其中，D1表示残差插值图R1’中各像素的像素值，A2表示初始估计图G2中各像素的像素值，D表示结合图中各像素的像素值。可以理解的是，残差插值图R1’和初始估计图G2中的空白位置可以认为像素值为0，标注有Gt的位置可以认为像素值为Gt，标注有Gr的位置可以认为像素值为Gr。
然后，确定WRGB CFA图像中的W通道对应的二值图；其中，W通道对应的二值图中第三位置的值为1，且第四位置的值为0，第三位置与WRGB CFA图像中W通道的位置相同，第四位置与WRGB CFA图像中R、G、B三通道的位置相同。比如，如图2所示的WRGB CFA图像中的W通道对应的二值图可以参考图12，图12中标注有1的方框位置的值为1，未标注的方框位置的值为0。可以看出，由于，如图2所示WRGB CFA图像中的W通道位于所有奇数行、基数列，因此可以认为W通道对应的二值图中所有奇数行、基数列的像素值为1，其余位置的像素值均为0。
接着，根据结合图和W通道对应的二值图，得到还原图。具体的说，可以将结合图中的各像素值与W通道对应的二值图中的各像素值相乘，得到G通道的修正像素值。在具体实现中，可以通过以下公式得到G通道的修正像素值：
Gw＝Mw×(D1+A2)
其中，Gw为G通道的修正像素值，Mw为W通道对应的二值图中的各像素值，D1表示残差插值图R1’中各像素的像素值，A2表示初始估计图G2中各像素的像素值。参考图10初始估计图G2与残差插值图R1’中各像素的实际像素值，以及图12中W通道对应的二值图中的各像素值，通过上述公式可以计算出Gw＝Gr+Gt。最终，得到的还原图可以为图10中的G3。
步骤408：根据还原图，将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
其中，步骤408在第一实施例中已经进行过描述，为避免重复在此不再赘述。
需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
为了对本申请实施例采用的图像处理方法的有效性进行验证，本申请发明人在数字图像处理常用的数据集Kodak24的1-10张图即img1-img10上进行了实验。实验步骤描述如下：
步骤1、通过反解光谱的方法，将Kodak24图像生成对应的Bayer CFA图像和WRGBCFA图像。Bayer CFA图像和WRGB CFA图像除了W通道外，其他通道(R、G、B三通道)的像素值均相同；
步骤2、依次使用本实施例中的图像处理方法和最小拉普拉斯残差插值(Laplaceinterpolation with a minimum residual，简称：MLRI)算法对WRGB CFA图像进行处理，得到RGB图像，记做RGB-W；
步骤3、使用MLRI算法对Bayer CFA图像进行处理，得到RGB图像，记做RGB-B；
步骤4、对RGB-W和RGB-B分别计算R,G,B通道的峰值信噪比(Peak Signal-to-Noise Ratio，简称：PSNR)。
实验结果如图12所示，图12为R、G、B通道PSNR对比图。img1-img10中每张实验图上方的三个长条的高度分别表示：RGB-W和RGB-B中R,G,B通道的PSNR。通过图10可以看出G通道的PSNR均大于40db，并且G通道与R通道、B通道差异较小，表明通过本实施例的图像处理方法还原后的图像非常接近原始图像，表明通过本实施例中的图像处理方法处理得到的Bayer CFA的准确度很高。
本实施例相对于现有技术而言，初始估计图相当于一个估计值，第二采样图相当于一个实际值，通过初始估计图和第二采样图，得到的残差图可以表现出实际值与估计值的差异，即估计的初始估计图是否准确。进而，根据残差图对初始估计图进行修正，得到还原图，有利于提高得到的还原图的准确度，进而使得可以提高还原的到的Bayer CFA的准确度。
本申请第三实施例涉及一种图像处理方法，本实施例在得到Bayer CFA图像后，还会对Bayer CFA图像进行亮度补偿处理，最终得到亮度增强后的Bayer CFA图像。比如，可以参考图14，图14为从WRGB CFA图像到RGB图像的处理过程的示意图。即对WRGB CFA图像先进性还原处理得到Bayer CFA图像，再对Bayer CFA图像亮度补偿处理，得到亮度增强后的Bayer CFA图像。然后，将亮度增强后的Bayer CFA图像输入摄像机的图像处理器，最终得到RGB图像。下面对本实施方式的图像处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例中的图像处理方法的流程图可以参考图15，包括：
步骤501：获取待处理的WRGB CFA图像。
步骤502：对WRGB CFA图像中的W通道进行采样，得到第一采样图。
步骤503：将第一采样图中的W通道还原为G通道，得到还原图。
步骤504：根据还原图，将WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
其中，步骤501至步骤504的具体实现方式可以参考第一实施例或是第二实施例中的描述，为避免重复，在此不再赘述。
步骤505：对Bayer CFA图像中的待补偿通道进行采样，得到第三采样图。
其中，待补偿通道为WRGB CFA图像中R、G、B三通道中的任意一个。为方便说明，本实施例中待补偿通道以R通道为例，进行解释说明。
在一个例子中，可以参考图16，图16为对还原后得到的Bayer CFA即步骤504中得到的Bayer CFA进行亮度补偿的处理过程的示意图。图16中的R1为对如图6中的Bayer CFA图像中的R通道进行采样得到的第三采样图。
步骤506：根据第三采样图和第一采样图，对Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的Bayer CFA图像。
在一个例子中，可以通过以下方式，得到亮度增强后的Bayer CFA图像：
首先，可以先确定第一采样图中的第三插值位置；其中，第三插值位置与BayerCFA图像中的待补偿通道的位置相同。参考图16，第一采样图W1中的第三插值位置与如图6所示的Bayer CFA图像中的R通道的位置相同，即第三插值位置为第一采样图W1中的奇数行、偶数列的位置。
然后，在第三插值位置插值W通道，并将除第三插值位置的W通道之外的W通道去除，得到第二导向图。其中，插值所用的W通道可以为第一采样图中的W通道。如果将在第三插值位置插值W通道后得到的图像称为插值图，则将除第三插值位置的W通道之外的W通道去除可以理解为：将上述插值图中除第三插值位置的白色像素之外的其他白色像素置0，最终仅保留第三插值位置的白色像素，该仅保留第三插值位置的白色像素的图像即为第二导向图。比如可以参考图16，由于第三插值位置为第一采样图W1中的奇数行、偶数列的位置，因此得到的第二导向图W3中仅保留了处于奇数行、偶数列的白色像素。
接着，根据第二导向图和第三采样图，得到待补偿通道的亮度增强图像。在一个例子中，可以对第二导向图和第三采样图采用导向滤波算法，得到待补偿通道的亮度增强图像，然而，并不以导向滤波算法为限，比如还可以利用高斯滤波、双边滤波等算法。为便于理解，可以参考图16，对第二导向图W3和第三采样图R1采用导向滤波算法，可以得到R通道的亮度增强图像R2。R通道的亮度增强图像R2中标注有
Figure BDA0002623598350000183
的位置可以理解为像素值为
Figure BDA0002623598350000184
其余位置的像素值可以理解为0。其中，导向滤波算法的实现方式可以参考第一实施例中提到的相关公式，为避免重复，本实施例在此不再赘述。
在具体实现中，如果待补偿通道为G通道或B通道，那么还可以参考上述对R通道的处理方式得到G通道的亮度增强图像以及B通道的亮度增强图像。G通道的亮度增强图像可以参考图17，B通道的亮度增强图像可以参考图18。
最后，可以根据待补偿通道的亮度增强图像，对Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的Bayer CFA图像。在一个例子中，待补偿通道为RGB三通道，可以将R通道的亮度增强图像、G通道的亮度增强图像、B通道的亮度增强图像以及步骤503得到的还原图中的各像素值相加，从而得到亮度增强后的Bayer CFA图像中的各像素值。然而，本实施例只是以通过将上述4幅图中的各像素值相加得到亮度增强后的Bayer CFA图像为例，在具体实现中并不以此为限。
需要说明的是，本实施方式中的上述各示例均为为方便理解进行的举例说明，并不对本发明的技术方案构成限定。
本实施例相对于现有技术而言，考虑到白色的光谱具有亮度好的特性，虽然白色W通道被还原为绿色G通道，但依然还可以根据第一采样图和第三采样图第三采样图对WRGBCFA图像中的W通道进行采样得到)和第第三采样图，对待补偿通道的亮度进行补偿，使得将WRGB CFA图像还原为Bayer CFA图像后，还可以保留白色的亮度信息。即融合了W通道的亮度信息和RGB通道的色度信息，提高了暗光下的图像质量。
本申请第四实施例涉及一种芯片，如图19所示，包括：至少一个处理器601；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行上述的图像处理方法。
其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。
处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本申请第五实施例涉及一种电子设备，包括上述的芯片。
本申请第六实施例涉及一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
获取待处理的WRGB彩色滤光片阵列CFA图像；
将所述WRGB CFA图像中的白色W通道还原为绿色G通道，得到拜耳Bayer CFA图像；
其中，所述将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像，包括：
对所述WRGB CFA图像中的W通道进行采样，得到第一采样图；
将所述第一采样图中的W通道还原为G通道，得到还原图；
根据所述还原图，将所述WRGB CFA图像中的W通道还原为G通道，得到Bayer CFA图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述将所述第一采样图中的白色像素还原为绿色像素，得到还原图，包括：
确定所述第一采样图中的第一插值位置；其中，所述第一插值位置与所述WRGB CFA图像中G通道的位置相同；
在所述第一插值位置插值所述W通道，得到第一导向图；
对所述WRGB CFA图像中的G通道进行采样，得到第二采样图；
根据所述第一导向图和所述第二采样图，得到还原图。
3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述第一导向图和所述第二采样图，得到还原图，包括：
对所述第一导向图和所述第二采样图采用导向滤波算法，得到初始估计图；
根据所述初始估计图和所述第二采样图，计算残差得到残差图；
根据所述残差图对所述初始估计图进行修正，得到还原图。
4.如权利要求3所述的图像处理方法，其特征在于，所述根据所述初始估计图和所述第二采样图，计算残差得到残差图，包括：
根据所述初始估计图和所述第二采样图，得到所述初始估计图和所述第二采样图的差值图；
确定所述WRGB CFA图像中的G通道对应的二值图；其中，所述G通道对应的二值图中第一位置的值为1，且第二位置的值为0，所述第一位置与所述WRGB CFA图像中G通道的位置相同，所述第二位置与所述WRGB CFA图像中W、R、B三通道的位置相同；
根据所述差值图和所述G通道对应的二值图，计算残差得到残差图。
5.如权利要求3或4所述的图像处理方法，其特征在于，所述根据所述残差图对所述初始估计图进行修正，得到还原图，包括：
确定所述残差图中的第二插值位置；其中，所述第二插值位置与所述WRGB CFA图像中W通道的位置相同；
利用计算的所述残差，在所述第二插值位置进行残差插值，得到残差插值图；
根据所述残差插值图和所述初始估计图，得到还原图。
6.如权利要求5所述的图像处理方法，其特征在于，所述根据所述残差插值图和所述初始估计图，得到还原图，包括：
根据所述残差插值图和所述初始估计图，得到所述残差插值图和所述初始估计图的结合图；
确定所述WRGB CFA图像中的W通道对应的二值图；其中，所述W通道对应的二值图中第三位置的值为1，且第四位置的值为0，所述第三位置与所述WRGB CFA图像中W通道的位置相同，所述第四位置与所述WRGB CFA图像中R、G、B三通道的位置相同；
根据所述结合图和所述W通道对应的二值图，得到还原图。
7.如权利要求1至6任一项所述的图像处理方法，其特征在于，在所述得到Bayer CFA图像之后，还包括：
对所述Bayer CFA图像中的待补偿通道进行采样，得到第三采样图；其中，所述待补偿通道为所述WRGB CFA图像中R、G、B三通道中的任意一个；
根据所述第三采样图和所述第一采样图，对所述Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的Bayer CFA图像。
8.如权利要求7所述的图像处理方法，其特征在于，所述根据所述第三采样图和所述第一采样图，对所述Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的BayerCFA图像，包括：
确定所述第一采样图中的第三插值位置；其中，所述第三插值位置与所述Bayer CFA图像中的所述待补偿通道的位置相同；
在所述第三插值位置插值所述W通道，并将除所述第三插值位置的W通道之外的W通道去除，得到第二导向图；
根据所述第二导向图和所述第三采样图，得到待补偿通道的亮度增强图像；
根据所述待补偿通道的亮度增强图像，对所述Bayer CFA图像中的待补偿通道进行亮度补偿，得到亮度增强后的Bayer CFA图像。
9.如权利要求8所述的图像处理方法，其特征在于，所述根据所述第二导向图和所述第三采样图，得到待补偿通道的亮度增强图像，包括：
对所述第二导向图和所述第三采样图采用导向滤波算法，得到待补偿通道的亮度增强图像。
10.一种芯片，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一所述的图像处理方法。
11.一种电子设备，其特征在于，包括：如权利要求10所述的芯片。
12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的图像处理方法。
CN202010790515.1A 2020-08-07 2020-08-07 图像处理方法、芯片、电子设备和存储介质 Active CN112004003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790515.1A CN112004003B (zh) 2020-08-07 2020-08-07 图像处理方法、芯片、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790515.1A CN112004003B (zh) 2020-08-07 2020-08-07 图像处理方法、芯片、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112004003A true CN112004003A (zh) 2020-11-27
CN112004003B CN112004003B (zh) 2021-12-21

Family

ID=73463892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790515.1A Active CN112004003B (zh) 2020-08-07 2020-08-07 图像处理方法、芯片、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112004003B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170572A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种新型边缘自适应cfa彩色图像插值方法
US20150237314A1 (en) * 2012-09-28 2015-08-20 Megachips Corporation Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium
US20170098296A1 (en) * 2015-10-01 2017-04-06 SK Hynix Inc. Method and device for converting a color filter array
CN109302593A (zh) * 2018-11-02 2019-02-01 南京邮电大学盐城大数据研究院有限公司 一种面向单传感器相机成像系统的去马赛克算法
CN110430403A (zh) * 2019-07-25 2019-11-08 上海晰图信息科技有限公司 一种图像处理方法和装置
US20190394437A1 (en) * 2018-06-20 2019-12-26 Samsung Electronics Co., Ltd. Method and apparatus for recovering image
CN110730336A (zh) * 2019-07-02 2020-01-24 珠海全志科技股份有限公司 一种去马赛克方法及装置
CN111163268A (zh) * 2020-01-09 2020-05-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170572A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种新型边缘自适应cfa彩色图像插值方法
US20150237314A1 (en) * 2012-09-28 2015-08-20 Megachips Corporation Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium
US20170098296A1 (en) * 2015-10-01 2017-04-06 SK Hynix Inc. Method and device for converting a color filter array
US20190394437A1 (en) * 2018-06-20 2019-12-26 Samsung Electronics Co., Ltd. Method and apparatus for recovering image
CN109302593A (zh) * 2018-11-02 2019-02-01 南京邮电大学盐城大数据研究院有限公司 一种面向单传感器相机成像系统的去马赛克算法
CN110730336A (zh) * 2019-07-02 2020-01-24 珠海全志科技股份有限公司 一种去马赛克方法及装置
CN110430403A (zh) * 2019-07-25 2019-11-08 上海晰图信息科技有限公司 一种图像处理方法和装置
CN111163268A (zh) * 2020-01-09 2020-05-15 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
CN112004003B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8593548B2 (en) Apparataus and method of automatic color shading removal in CMOS image sensors
US7082218B2 (en) Color correction of images
US8406557B2 (en) Method and apparatus for correcting lens shading
US8817141B2 (en) Image processing device and method, recording medium, and imaging device
US7710470B2 (en) Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20080218635A1 (en) Image processing system, image processing method, and computer program product
EP2039149A2 (en) Solid-state image sensor
US8818128B2 (en) Image processing apparatus, image processing method, and program
KR20070078463A (ko) 이미지 센서 노이즈 저감 장치 및 방법
US20020054395A1 (en) Color image processing apparatus executing moving-average processing for noise reduction in color image signals
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8773556B2 (en) Signal processing device, imaging device, and signal processing method for color interpolation
JP2021140663A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体
EP2103979B1 (en) Method for correcting chromatic aberration
US20090097743A1 (en) Method and apparatus providing hardware-efficient demosaicing of image data
US20140085504A1 (en) Imaging device, control method for imaging device, and storage medium storing a control program for imaging device
EP2728885B1 (en) Imaging device and imaging program
CN112004003B (zh) 图像处理方法、芯片、电子设备和存储介质
WO2022027621A1 (zh) 图像处理方法、芯片、电子设备和存储介质
US7277575B2 (en) System and method for effectively performing an image data transformation procedure
US20120154625A1 (en) Image processing apparatus, image processing method, and program recording medium
US20140267838A1 (en) Image Signal Processor Circuits and Methods for Correcting Crosstalk Artifacts
CN114359050A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant