CN116416126A - 一种Bayer图像插值算法中解决伪彩色问题的方法 - Google Patents

一种Bayer图像插值算法中解决伪彩色问题的方法 Download PDF

Info

Publication number
CN116416126A
CN116416126A CN202111639129.3A CN202111639129A CN116416126A CN 116416126 A CN116416126 A CN 116416126A CN 202111639129 A CN202111639129 A CN 202111639129A CN 116416126 A CN116416126 A CN 116416126A
Authority
CN
China
Prior art keywords
interpolation
color difference
channel
pixel
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111639129.3A
Other languages
English (en)
Inventor
王元炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ingenic Technology Co ltd
Original Assignee
Hefei Ingenic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ingenic Technology Co ltd filed Critical Hefei Ingenic Technology Co ltd
Priority to CN202111639129.3A priority Critical patent/CN116416126A/zh
Publication of CN116416126A publication Critical patent/CN116416126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

本发明提供一种Bayer图像插值算法中解决伪彩色问题的方法，包括：S1,计算水平方向色差和垂直方向色差:S1.1,线性插值；S1.2,计算水平方向色差和垂直方向色差；S2.计算插值权重：S2.1,计算色差梯度；S2.2,计算插值权重；S3.估计色差值；S4.G通道插值；S5.R通道和B通道插值：S5.1,计算8个方向的平均梯度；S5.2,计算8个方向的插值权重；S5.3,估计R像素位置的B通道插值结果；S5.4,估计B像素位置的R通道插值结果；S5.5,估计G像素位置的R通道插值结果；S5.6,估计G像素位置的B通道插值结果；S6.插值结果校正：S6.1,估算图像色差值；S6.2,估计饱和度；S6.3,计算融合权重；S6.4,计算修正值。本方法有效减弱伪彩色现象，插值结果更准确，视觉效果更完美；利用原始Bayer图像，不需复杂运算，硬件易于实现。

Description

一种Bayer图像插值算法中解决伪彩色问题的方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种Bayer图像插值算法中解决伪彩色问题的方法。
背景技术
在Bayer图像中，R通道和B通道的采样频率分别只有G通道采样频率的一半，因此，R通道和B通道很容易产生错误的插值信息，导致插值结果出现伪彩色现象。解决伪彩色的方法主要分为插值过程的校正和插值结果的校正两种：插值过程的校正方法一般是先插值G通道，然后使用G通道来引导R和B通道的插值，这种方法把主要目标放在G通道的插值上，只要G通道的插值结果更加准确，R和B通道的插值结果也会更加准确；插值结果的校正方法是先插值出完整的RGB图像，然后对容易出现伪彩色的摩尔纹区域进行颜色校正。
然而，现有技术中存在的主要缺陷在于：
1.基于插值过程的校正方法太依赖于G通道，对R和B通道关注太少，不能很好的解决伪彩色问题；
2.基于插值结果的校正依赖于摩尔纹区域的检测，但是摩尔纹区域检测本身就是一个难题，此外，这种方法对于非摩尔纹区域也会失效；
3.解析力不足：两种算法没有充分利用到原始的Bayer图像信息，在插值过程中大量的进行平滑操作，不可避免的会减小图像的解析力；
4.复杂度过高：基于插值过程的校正方法一般需要复杂的插值算法(如引导上采样、神经网络等)才能取得较好的校正效果，基于结果的校正又需要较为复杂的摩尔纹区域判断方法。
此外，现有技术中常用的技术术语包括：
1.bayer图像：绝大部分彩色相机都采用维光电传感器获取图像信息，在传感器表面覆盖了一个色彩滤波阵列(Color Filter Array，CFA)，最常见的CFA形式为Bayer格式，将Bayer格式的传感器采集到的原始数据称为Bayer图像。如图1所示是一种常见的Bayer图像示意图。
2.Bayer图像插值：将bayer图像恢复成完整RGB图像的过程。
3.解析力：分辨被拍摄物体细节的能力，解析力越高，则图像细节越丰富、清晰度越高。
4.奈奎斯特频率：根据采样定理，当采样频率低于被采样信号最高频率的2倍时，将会混频。实际应用中，采样频率是已知的，将采样频率的一半称为奈奎斯特频率。
5.摩尔纹：在Bayer图像插值中，受采样频率和插值算法的影响，会在高频区域出现棋盘格、伪彩色等现象，称为摩尔纹。
6.伪彩色：Bayer图像插值时，如果颜色信息插值错误就容易出现异常颜色(FalseColor)，称为伪彩色。
发明内容
为了解决上述问题，本申请的主要目的在于：同时考虑了插值过程的校正以及插值结果的校正，采用了更加合理的解决方案，有效减弱了伪彩色现象，插值结果更为准确，视觉效果更加完美。
具体地，本发明提供一种Bayer图像插值算法中解决伪彩色问题的方法，所述方法包括以下步骤：
S1，计算水平方向色差和垂直方向色差:计算水平方向和垂直方向的线性插值；并根据获得的线性插值计算水平方向色差和垂直方向色差，按像素位置将水平色差值全部排列在一起构成了水平色差图
Figure BDA0003442965740000031
按像素位置将垂直色差值全部排列在一起构成了垂直色差图/>
Figure BDA0003442965740000032
S2，计算插值权重：
S2.1，计算色差梯度：
位置坐标为(i，j)处的水平方向和垂直方向的色差梯度计算公式分别为：
Figure BDA0003442965740000033
Figure BDA0003442965740000034
四个方向的平均梯度为：
Figure BDA0003442965740000035
Figure BDA0003442965740000036
Figure BDA0003442965740000037
Figure BDA0003442965740000038
S2.2，计算插值权重：
4个方向的色差梯度总和为：
Figure BDA0003442965740000039
其中，
Figure BDA00034429657400000310
表示色差梯度总和；
当
Figure BDA00034429657400000311
为0时，4个方向的插值权重相同：
Wleft(i，j＝Wright(i，j)＝Wtop(i，j)＝Wdown(i，j)＝0.25
否则：
Figure BDA0003442965740000041
Figure BDA0003442965740000042
Figure BDA0003442965740000043
Figure BDA0003442965740000044
公式中Wleft(i，j)、Wright(i，j)、Witop(i，j)、Wdown(i，j)分别表示坐标为(i，j)处的左、右、上、下4个方向的权重值；
S3.估计色差值：
Figure BDA0003442965740000045
表示在位置(i，j)处R与G之间的色差估计值；得到B与G的色差估计值
Figure BDA0003442965740000046
S4.获得G通道插值
Figure BDA0003442965740000047
S5.获得R通道和B通道插值：
当R、B通道与G之间的插值方向相同时，能够最大程度的保证RGB这3个通道的一致性；因此，使用已经插值完成的G通道来完成R通道和B通道的方向插值；
S5.1，计算8个方向的平均梯度
利用S4的结果计算出水平、垂直、对角线、反对角线，这4个方向的梯度值：
Figure BDA0003442965740000048
Figure BDA0003442965740000049
Figure BDA00034429657400000410
Figure BDA00034429657400000411
其中，
Figure BDA0003442965740000051
表示上一步S4得到的G通道的插值结果，
Figure BDA0003442965740000052
分别表示水平、垂直、对角线和反对角线4个方向的梯度值；
利用这4个方向的梯度值可以计算出8个方向的平均梯度值：
Figure BDA0003442965740000053
Figure BDA0003442965740000054
Figure BDA0003442965740000055
Figure BDA0003442965740000056
Figure BDA0003442965740000057
Figure BDA0003442965740000058
Figure BDA0003442965740000059
Figure BDA00034429657400000510
S5.2，计算8个方向的插值权重：
使用G通道插值中相同的权重计算方法计算出8个方向的插值权重
Figure BDA00034429657400000511
8个方向色差总梯度为：
Figure BDA00034429657400000512
当
Figure BDA0003442965740000061
为0时：
Figure BDA0003442965740000062
否则：
Figure BDA0003442965740000063
S5.3，估计R像素位置的B通道插值结果：
对于Bayer图像中的R位置，使用下式完成B通道的插值：
Figure BDA0003442965740000064
其中
Figure BDA0003442965740000065
表示B通道的插值结果，/>
Figure BDA0003442965740000066
表示B与G的色差估计值，该值计算方法为：
Figure BDA0003442965740000067
其中各个方向的色差计算方法为：
Figure BDA0003442965740000071
Figure BDA0003442965740000072
Figure BDA0003442965740000073
Figure BDA0003442965740000074
Figure BDA0003442965740000075
Figure BDA0003442965740000076
Figure BDA0003442965740000077
Figure BDA0003442965740000078
S5.4，估计B像素位置的R通道插值结果：
根据对称性，对于Bayer图像中的B像素位置，完全采用S5.3中R像素位置的B通道插值方法计算；
S5.5，估计G像素位置的R通道插值结果：
对于Bayer图像中的左右相邻像素为R的G像素位置Gr，使用下式完成R通道和B通道的插值：
Figure BDA0003442965740000079
其中：
Figure BDA00034429657400000710
Figure BDA0003442965740000081
Figure BDA0003442965740000082
Figure BDA0003442965740000083
Figure BDA0003442965740000084
Figure BDA0003442965740000085
Figure BDA0003442965740000086
Figure BDA0003442965740000087
Figure BDA0003442965740000088
其中，
Figure BDA0003442965740000089
分别表示前面步骤插值得到的结果，R(i，j)、G(i，j)、B(i，j)分别表示原始Bayer图像中已经存在的数据；
对于Bayer图像中的左右相邻像素为B的G像素位置Gb，只需要将上述计算公式中的
Figure BDA00034429657400000810
和R(i,j)相互交换即可得到该情况的插值公式；
S5.6，估计G像素位置的B通道插值结果：
利用对称性，只需要将步骤S5.5的计算公式中的R(i,j)换成
Figure BDA00034429657400000811
换成B(i,j)即可得到G像素位置处B通道的插值公式；
S6.插值结果校正：
当图像饱和度很低时，无需进行图像插值，根据这个原理对图像的插值结果进行修正，具体方法如下：
S6.1，估算图像色差值：
取步骤S1中的水平色差窗口为9*9，则可以计算出左右2个方向的色差均值：
Figure BDA0003442965740000091
Figure BDA0003442965740000092
其中，
Figure BDA0003442965740000093
分别表示左右方向的色差均值；利用同样的方法处理垂直方向的色差图，得到上下方向的平均色差/>
Figure BDA0003442965740000094
取4个方向的最小色差均值作为色差估计值：
Figure BDA0003442965740000095
S6.2，估计饱和度：
Figure BDA0003442965740000096
其中，
Figure BDA0003442965740000097
表示估算的饱和度，/>
Figure BDA0003442965740000098
表示插值后的G通道像素值；
S6.3，计算融合权重：
Figure BDA0003442965740000099
其中，W(i，j)表示计算得到的融合权重，S1和S2表示用户设定的融合阈值；
S6.4，计算修正值：
Figure BDA0003442965740000101
Figure BDA0003442965740000102
Figure BDA0003442965740000103
其中，
Figure BDA0003442965740000104
分别表示修正之后的插值结果，
Figure BDA0003442965740000105
表示S4和S5的插值结果，I(i,j)表示原始的Bayer图像对应位置的像素值。
所述步骤S1进一步包括：
S1.1，线性插值：
对于Bayer图像中的R或者B像素处，分别利用下式计算水平方向和垂直方向的线性插值结果：
Figure BDA0003442965740000106
Figure BDA0003442965740000107
其中，
Figure BDA0003442965740000108
分别表示G通道在水平和垂直方向的线性插值结果；G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)分别表示对应位置的实际G通道像素值；
在Bayer图像的G像素处，计算公式与上式类似，但每个像素位置只能计算出水平或者垂直方向中的一个方向的插值结果：
如果G像素左右相邻位置为R像素，则：
Figure BDA0003442965740000109
反之，若G像素左右相邻位置为B像素，则：
Figure BDA00034429657400001010
S1.2，计算水平方向色差和垂直方向色差：
将线性插值后有效位置的R与G相减、B与G相减，得到色差图像R-G和色差图像B-G；
R像素处的色差为：
Figure BDA0003442965740000111
Figure BDA0003442965740000112
B像素处的色差为：
Figure BDA0003442965740000113
Figure BDA0003442965740000114
如果G像素左右相邻位置为R像素，则G像素处的色差为：
Figure BDA0003442965740000115
Figure BDA0003442965740000116
如果G像素左右相邻位置为B像素，则G像素处的色差为：
Figure BDA0003442965740000117
Figure BDA0003442965740000118
其中，
Figure BDA0003442965740000119
分别表示G与R在水平方向的色差值、G与R在垂直方向的色差值、G与B在水平方向的色差值、G与B在垂直方向的色差值；
按像素位置将水平色差值全部排列在一起构成了水平色差图
Figure BDA00034429657400001110
按像素位置将垂直色差值全部排列在一起构成了垂直色差图/>
Figure BDA00034429657400001111
所述步骤S3中，所述色差估计方法为：
Figure BDA00034429657400001112
其中，
Figure BDA00034429657400001113
表示在位置(i,j)处R与G之间的色差估计值；/>
Figure BDA00034429657400001114
表示第1步得到的垂直方向色差图像和水平方向色差图像R-G；Wtop、Wdown、Wleft、Wγight分别表示上下左右每个方向的权重图像；f表示每个方向的色差平滑权重向量，fT表示f的转置向量；
用相同的方法可以得到B与G的色差估计值
Figure BDA0003442965740000121
Figure BDA0003442965740000122
其中，
Figure BDA0003442965740000123
表示在位置(i,j)处B与G之间的色差估计值；/>
Figure BDA0003442965740000124
和/>
Figure BDA0003442965740000125
分别表示第1步得到的垂直方向色差图像和水平方向色差图像B-G；
所述f可以选用高斯权重，也可以选择均值权重。
所述f＝[1,1,1]/3。
所述步骤S4，G通道插值，进一步包括：
对于Bayer图像中的R位置，使用下式完成G通道的插值：
Figure BDA0003442965740000126
对于Bayer图像中的B位置，使用下式完成G通道的插值：
Figure BDA0003442965740000127
由此，对现有技术进行研究后，提出了一种Bayer图像插值算法解决伪彩色问题的方法，本申请有如下优点：
1.有效减弱了伪彩色现象，插值结果更为准确，视觉效果更加完美；
2.提升图像解析力，更大程度的恢复出高频信息，增加图像清晰度，有效减弱摩尔纹和伪彩色现象；
3.有效减少了复杂度，充分利用原始的Bayer图像，不需要复杂的运算即可完成插值任务，硬件易于实现。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是现有技术中常见的Bayer图像的示意图。
图2是本发明涉及方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图2所示，本申请涉及一种Bayer图像插值算法中解决伪彩色问题的方法，所述方法包括：
S1,计算水平方向色差和垂直方向色差:
S1.1,线性插值；
S1.2,计算水平方向色差和垂直方向色差；
S2.计算插值权重：
S2.1,计算色差梯度；
S2.2,计算插值权重；
S3.估计色差值；
S4.G通道插值；
S5.R通道和B通道插值：
S5.1,计算8个方向的平均梯度；
S5.2,计算8个方向的插值权重；
S5.3,估计R像素位置的B通道插值结果；
S5.4,估计B像素位置的R通道插值结果；
S5.5,估计G像素位置的R通道插值结果；
S5.6,估计G像素位置的B通道插值结果；
S6.插值结果校正：
S6.1,估算图像色差值；
S6.2,估计饱和度；
S6.3,计算融合权重；
S6.4,计算修正值。
具体地，所述方法分为以下步骤描述：
S1.计算水平方向色差和垂直方向色差
(1)线性插值。对于Bayer图像中的R或者B像素处，分别利用下式计算水平方向和垂直方向的线性插值结果：
Figure BDA0003442965740000141
Figure BDA0003442965740000142
其中，
Figure BDA0003442965740000143
和/>
Figure BDA0003442965740000144
分别表示G通道在水平和垂直方向的线性插值结果。G(i，j-1)、G(i，j+1)、G(i-1，j)、G(i+1，j)分别表示对应位置的实际G通道像素值。在Bayer图像的G像素处，计算公式与上式相似，但每个像素位置只能计算出水平或者垂直方向中的一个方向的插值结果：
如果G像素左右相邻位置为R像素，则：
Figure BDA0003442965740000145
反之，若G像素左右相邻位置为B像素，则：
Figure BDA0003442965740000146
(2)计算水平方向色差和垂直方向色差。将线性插值后有效位置的R与G相减、B与G相减，得到色差图像(R-G)和(B-G)。
R像素处的色差为：
Figure BDA0003442965740000147
Figure BDA0003442965740000151
B像素处的色差为：
Figure BDA0003442965740000152
Figure BDA0003442965740000153
如果G像素左右相邻位置为R像素，则G像素处的色差为：
Figure BDA0003442965740000154
Figure BDA0003442965740000155
如果G像素左右相邻位置为B像素，则G像素处的色差为：
Figure BDA0003442965740000156
Figure BDA0003442965740000157
其中，
Figure BDA0003442965740000158
分别表示G与R在水平方向的色差值、G与R在垂直方向的色差值、G与B在水平方向的色差值、G与B在垂直方向的色差值。按像素位置将水平色差值全部排列在一起构成了水平色差图/>
Figure BDA0003442965740000159
按像素位置将垂直色差值全部排列在一起构成了垂直色差图/>
Figure BDA00034429657400001510
/>
S2.计算插值权重
(1)计算色差梯度
水平方向和垂直方向的色差梯度计算公式分别为：
Figure BDA00034429657400001511
Figure BDA00034429657400001512
四个方向的平均梯度为：
Figure BDA0003442965740000161
Figure BDA0003442965740000162
Figure BDA0003442965740000163
Figure BDA0003442965740000164
(2)计算插值权重
4个方向的色差梯度总和为：
Figure BDA0003442965740000165
其中，Dsum表示色差梯度总和。当Dsum为0时，4个方向的插值权重相同：
Wleft(i，j)＝Wright(i，j)＝Wtop(i，j)＝Wdown(i，j)＝0.25
否则：
Figure BDA0003442965740000166
Figure BDA0003442965740000167
Figure BDA0003442965740000168
Figure BDA0003442965740000169
公式中Wleft(i，j)、Wright(i，j)、Wtop(i，j)、Wdown(i，j)分别表示坐标为(i，j)处的左、右、上、下4个方向的权重值。
S3.估计色差值
色差估计方法为：
Figure BDA0003442965740000171
其中，
Figure BDA0003442965740000172
表示在位置(i,j)处R与G之间的色差估计值；/>
Figure BDA0003442965740000173
表示第1步得到的垂直方向色差图像和水平方向色差图像(R-G)；Wleft、Wdown、Wleft、Wright分别表示上下左右每个方向的权重图像；f表示每个方向的色差平滑权重向量，fT表示f的转置向量，f可以选用高斯权重，也可以选择均值权重，如f＝[1，1，1]/3。
用相同的方法可以得到B与G的色差估计值
Figure BDA0003442965740000174
Figure BDA0003442965740000175
其中，
Figure BDA0003442965740000176
表示在位置(i,j)处B与G之间的色差估计值；/>
Figure BDA0003442965740000177
和/>
Figure BDA0003442965740000178
分别表示第1步得到的垂直方向色差图像和水平方向色差图像(B-G)。
S4.G通道插值
对于Bayer图像中的R位置，使用下式完成G通道的插值：
Figure BDA0003442965740000179
对于Bayer图像中的R位置，使用下式完成G通道的插值：
Figure BDA00034429657400001710
S5.R通道和B通道插值
当R、B通道与G之间的插值方向相同时，能够最大程度的保证RGB这3个通道的一致性，从而减弱伪彩色现象。因此，使用已经插值完成的G通道来完成R通道和B通道的方向插值。
(1)计算8个方向的平均梯度
利用步骤S4中的结果可以计算出水平、垂直、对角线、反对角线，这4个方向的梯度图：
Figure BDA0003442965740000181
Figure BDA0003442965740000182
Figure BDA0003442965740000183
Figure BDA0003442965740000184
其中，
Figure BDA0003442965740000185
表示上一步步骤S4得到的G通道的插值结果，/>
Figure BDA0003442965740000186
分别表示水平、垂直、对角线和反对角线4个方向的梯度值。
利用这4个方向的梯度值可以计算出8个方向的平均梯度值：
Figure BDA0003442965740000187
Figure BDA0003442965740000188
Figure BDA0003442965740000189
Figure BDA00034429657400001810
Figure BDA00034429657400001811
Figure BDA00034429657400001812
Figure BDA00034429657400001813
Figure BDA00034429657400001814
(2)计算8个方向的插值权重
使用G通道插值中相同的权重计算方法计算出8个方向的插值权重
Figure BDA0003442965740000191
8个方向色差总梯度为：
Figure BDA0003442965740000192
当
Figure BDA0003442965740000193
为0时：
Figure BDA0003442965740000194
否则：
Figure BDA0003442965740000195
(3)估计R像素位置的B通道插值结果
对于Bayer图像中的R位置，使用下式完成B通道的插值：
Figure BDA0003442965740000196
其中
Figure BDA0003442965740000197
表示B通道的插值结果，/>
Figure BDA0003442965740000198
表示B与G的色差估计值，该值计算方法为：
Figure BDA0003442965740000199
其中各个方向的色差计算方法为：
Figure BDA0003442965740000201
Figure BDA0003442965740000202
Figure BDA0003442965740000203
Figure BDA0003442965740000204
Figure BDA0003442965740000205
Figure BDA0003442965740000206
Figure BDA0003442965740000207
/>
Figure BDA0003442965740000208
(4)估计B像素位置的R通道插值结果
根据对称性，对于Bayer图像中的B像素位置，可以完全采用(3)中R像素位置的B通道插值方法。
(5)估计G像素位置的R通道插值结果
对于Bayer图像中的左右相邻像素为R的G像素位置(Gr)，使用下式完成R通道和B通道的插值：
Figure BDA0003442965740000209
其中：
Figure BDA00034429657400002010
Figure BDA0003442965740000211
Figure BDA0003442965740000212
Figure BDA0003442965740000213
Figure BDA0003442965740000214
Figure BDA0003442965740000215
Figure BDA0003442965740000216
Figure BDA0003442965740000217
Figure BDA0003442965740000218
其中，
Figure BDA0003442965740000219
分别表示前面步骤插值得到的结果，R(i，j)、G(i，j)、B(i，j)分别表示原始Bayer图像中已经存在的数据。
对于Bayer图像中的左右相邻像素为B的G像素位置Gb，只需要将上述计算公式中的
Figure BDA00034429657400002110
和R(i,j)相互交换即可得到该情况的插值公式。
(6)估计G像素位置B通道插值结果
利用对称性，只需要将步骤S5.5的计算公式中的R(i,j)换成
Figure BDA00034429657400002111
Figure BDA00034429657400002112
换成B(i,j)即可得到G像素位置处B通道的插值公式。
S6.插值结果校正
当图像饱和度很低时，无需进行图像插值，这样既能避免图像平滑带来的细节损失，又能避免产生伪彩色。根据这个原理还可以对图像的插值结果进行修正，具体方法如下：
(1)估算图像色差值
取第1步中的水平色差窗口为9*9，则可以计算出左右2个方向的色差均值：
Figure BDA0003442965740000221
Figure BDA0003442965740000222
其中，
Figure BDA0003442965740000223
分别表示左右方向的色差均值。利用同样的方法处理垂直方向的色差图，可以得到上下方向的平均色差/>
Figure BDA0003442965740000224
取4个方向的最小色差均值作为色差估计值：
Figure BDA0003442965740000225
(2)估计饱和度
Figure BDA0003442965740000226
其中，
Figure BDA0003442965740000227
表示估算的饱和度，/>
Figure BDA0003442965740000228
表示插值后的G通道像素值。
(3)计算融合权重
Figure BDA0003442965740000229
其中，W(i，j)表示计算得到的融合权重，S1和S2表示用户设定的融合阈值。
(4)计算修正值
Figure BDA0003442965740000231
/>
Figure BDA0003442965740000232
Figure BDA0003442965740000233
其中，
Figure BDA0003442965740000234
分别表示修正之后的插值结果，
Figure BDA0003442965740000235
表示S4和S5的插值结果，I(i,j)表示原始的Bayer图像对应位置的像素值。
综上所述，本申请中特别是如下关键步骤构成了解决伪彩色问题的合理的解决方案：
步骤S2第S2.2中插值权重的计算方法；
步骤S5的全部内容，包括8个方向的插值权重计算方法、R通道和B通道的插值方法；
步骤S6的全部内容，包括饱和度的估计方法、插值结果的修正方法等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，所述方法包括以下步骤：
S1，计算水平方向色差和垂直方向色差:计算水平方向和垂直方向的线性插值；并根据获得的线性插值计算水平方向色差和垂直方向色差，按像素位置将水平色差值全部排列在一起构成了水平色差图
Figure FDA0003442965730000011
按像素位置将垂直色差值全部排列在一起构成了垂直色差图
Figure FDA0003442965730000012
S2，计算插值权重：
S2.1，计算色差梯度：
位置坐标为(i,j)处的水平方向和垂直方向的色差梯度计算公式分别为：
Figure FDA0003442965730000013
Figure FDA0003442965730000014
四个方向的平均梯度为：
Figure FDA0003442965730000015
Figure FDA0003442965730000016
Figure FDA0003442965730000017
Figure FDA0003442965730000018
S2.2，计算插值权重：
4个方向的色差梯度总和为：
Figure FDA0003442965730000019
其中,
Figure FDA0003442965730000021
表示色差梯度总和；
当
Figure FDA0003442965730000022
为0时，4个方向的插值权重相同：
Wleft(i，j)＝Wright(i，j)＝Wtop(i，j)＝Wdown(i，j)＝0.25
否则：
Figure FDA0003442965730000023
Figure FDA0003442965730000024
Figure FDA0003442965730000025
Figure FDA0003442965730000026
公式中Wleft(i，j)、Wright(i，j)、Wtop(i，j)、Wdown(i，j)分别表示坐标为(i,j)处的左、右、上、下4个方向的权重值；
S3.估计色差值：
Figure FDA0003442965730000027
表示在位置(i,j)处R与G之间的色差估计值；得到B与G的色差估计值
Figure FDA0003442965730000028
S4.获得G通道插值
Figure FDA0003442965730000029
S5.获得R通道和B通道插值：
当R、B通道与G之间的插值方向相同时，能够最大程度的保证RGB这3个通道的一致性；因此，使用已经插值完成的G通道来完成R通道和B通道的方向插值；
S5.1，计算8个方向的平均梯度；
利用S4的结果计算出水平、垂直、对角线、反对角线，这4个方向的梯度值：
Figure FDA0003442965730000031
Figure FDA0003442965730000032
Figure FDA0003442965730000033
Figure FDA0003442965730000034
其中，
Figure FDA0003442965730000035
表示上一步S4得到的G通道的插值结果，/>
Figure FDA0003442965730000036
分别表示水平、垂直、对角线和反对角线4个方向的梯度值；
利用这4个方向的梯度值可以计算出8个方向的平均梯度值：
Figure FDA0003442965730000037
Figure FDA0003442965730000038
Figure FDA0003442965730000039
Figure FDA00034429657300000310
Figure FDA00034429657300000311
Figure FDA00034429657300000312
Figure FDA00034429657300000313
Figure FDA00034429657300000314
S5.2，计算8个方向的插值权重：
使用G通道插值中相同的权重计算方法计算出8个方向的插值权重
Figure FDA0003442965730000041
8个方向色差总梯度为：
Figure FDA0003442965730000042
当
Figure FDA0003442965730000043
为0时：
Figure FDA0003442965730000044
否则：
Figure FDA0003442965730000045
Figure FDA0003442965730000046
Figure FDA0003442965730000047
Figure FDA0003442965730000048
S5.3，估计R像素位置的B通道插值结果：
对于Bayer图像中的R位置，使用下式完成B通道的插值：
Figure FDA0003442965730000049
其中
Figure FDA00034429657300000410
表示B通道的插值结果，/>
Figure FDA00034429657300000411
表示B与G的色差估计值，该值计算方法为：
Figure FDA00034429657300000412
其中各个方向的色差计算方法为：
Figure FDA0003442965730000051
Figure FDA0003442965730000052
Figure FDA0003442965730000053
Figure FDA0003442965730000054
Figure FDA0003442965730000055
Figure FDA0003442965730000056
Figure FDA0003442965730000057
Figure FDA0003442965730000058
S5.4，估计B像素位置的R通道插值结果：
根据对称性，对于Bayer图像中的B像素位置，完全采用步骤S5.3中R像素位置的B通道插值方法计算；
S5.5，估计G像素位置的R通道插值结果：
对于Bayer图像中的左右相邻像素为R的G像素位置Gr，使用下式完成R通道和B通道的插值：
Figure FDA0003442965730000059
其中：
Figure FDA00034429657300000510
Figure FDA0003442965730000061
Figure FDA0003442965730000062
Figure FDA0003442965730000063
Figure FDA0003442965730000064
Figure FDA0003442965730000065
Figure FDA0003442965730000066
Figure FDA0003442965730000067
Figure FDA0003442965730000068
其中，
Figure FDA0003442965730000069
分别表示前面步骤插值得到的结果，R(i，j)、G(i，j)、B(i，j)分别表示原始Bayer图像中已经存在的数据；
对于Bayer图像中的左右相邻像素为B的G像素位置Gb，只需要将上述计算公式中的
Figure FDA00034429657300000610
和R(i,j)相互交换即可得到该情况的插值公式；
S5.6，估计G像素位置的B通道插值结果：
利用对称性，只需要将步骤S5.5的计算公式中的R(i,j)换成
Figure FDA00034429657300000611
换成B(i,j)即可得到G像素位置处B通道的插值公式；
S6.插值结果校正：
当图像饱和度很低时，无需进行图像插值，根据这个原理对图像的插值结果进行修正，具体方法如下：
S6.1，估算图像色差值：
取步骤S1中的水平色差窗口为9*9，则可以计算出左右2个方向的色差均值：
Figure FDA0003442965730000071
Figure FDA0003442965730000072
其中，
Figure FDA0003442965730000073
分别表示左右方向的色差均值；利用同样的方法处理垂直方向的色差图，得到上下方向的平均色差/>
Figure FDA0003442965730000074
取4个方向的最小色差均值作为色差估计值：
Figure FDA0003442965730000075
S6.2，估计饱和度：
Figure FDA0003442965730000076
其中，
Figure FDA0003442965730000077
表示估算的饱和度，/>
Figure FDA0003442965730000078
表示插值后的G通道像素值；
S6.3，计算融合权重：
Figure FDA0003442965730000079
其中，W(i，j)表示计算得到的融合权重，S1和S2表示用户设定的融合阈值；
S6.4，计算修正值：
Figure FDA0003442965730000081
Figure FDA0003442965730000082
Figure FDA0003442965730000083
其中，
Figure FDA0003442965730000084
分别表示修正之后的插值结果，/>
Figure FDA0003442965730000085
表示S4和S5的插值结果，I(i,j)表示原始的Bayer图像对应位置的像素值。
2.根据权利要求1所述的一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，所述步骤S1进一步包括：
S1.1，线性插值：
对于Bayer图像中的R或者B像素处，分别利用下式计算水平方向和垂直方向的线性插值结果：
Figure FDA0003442965730000086
Figure FDA0003442965730000087
其中，
Figure FDA0003442965730000088
分别表示G通道在水平和垂直方向的线性插值结果；G(i,j-1)、G(i,j+1)、G(i-1,j)、G(i+1,j)分别表示对应位置的实际G通道像素值；
在Bayer图像的G像素处，计算公式与上式类似，但每个像素位置只能计算出水平或者垂直方向中的一个方向的插值结果：
如果G像素左右相邻位置为R像素，则：
Figure FDA0003442965730000089
反之，若G像素左右相邻位置为B像素，则：
Figure FDA00034429657300000810
S1.2，计算水平方向色差和垂直方向色差：
将线性插值后有效位置的R与G相减、B与G相减，得到色差图像R-G和色差图像B-G；
R像素处的色差为：
Figure FDA0003442965730000091
Figure FDA0003442965730000092
B像素处的色差为：
Figure FDA0003442965730000093
Figure FDA0003442965730000094
如果G像素左右相邻位置为R像素，则G像素处的色差为：
Figure FDA0003442965730000095
Figure FDA0003442965730000096
如果G像素左右相邻位置为B像素，则G像素处的色差为：
Figure FDA0003442965730000097
Figure FDA0003442965730000098
其中，
Figure FDA0003442965730000099
分别表示G与R在水平方向的色差值、G与R在垂直方向的色差值、G与B在水平方向的色差值、G与B在垂直方向的色差值；
按像素位置将水平色差值全部排列在一起构成了水平色差图
Figure FDA00034429657300000910
按像素位置将垂直色差值全部排列在一起构成了垂直色差图/>
Figure FDA00034429657300000911
3.根据权利要求1所述的一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，所述S3中，所述色差估计方法为：
Figure FDA0003442965730000101
其中，
Figure FDA0003442965730000102
表示在位置(i,j)处R与G之间的色差估计值；/>
Figure FDA0003442965730000103
表示第S1步得到的垂直方向色差图像和水平方向色差图像R-G；Wtop、Wdown、Wleft、Wright分别表示上下左右每个方向的权重图像；f表示每个方向的色差平滑权重向量，fT表示f的转置向量；
用相同的方法能够得到B与G的色差估计值
Figure FDA0003442965730000104
Figure FDA0003442965730000105
其中，
Figure FDA0003442965730000106
表示在位置(i,j)处B与G之间的色差估计值；/>
Figure FDA0003442965730000107
和/>
Figure FDA0003442965730000108
分别表示第S1步得到的垂直方向色差图像和水平方向色差图像B-G。
4.根据权利要求3所述的一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，f选用高思权重，或选择均值权重。
5.根据权利要求4所述的一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，所述f＝[1,1,1]/3。
6.根据权利要求1所述的一种Bayer图像插值算法中解决伪彩色问题的方法，其特征在于，所述步骤S4，G通道插值，进一步包括：
对于Bayer图像中的R位置，使用下式完成G通道的插值：
Figure FDA0003442965730000109
对于Bayer图像中的B位置，使用下式完成G通道的插值：
Figure FDA0003442965730000111
CN202111639129.3A 2021-12-29 2021-12-29 一种Bayer图像插值算法中解决伪彩色问题的方法 Pending CN116416126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111639129.3A CN116416126A (zh) 2021-12-29 2021-12-29 一种Bayer图像插值算法中解决伪彩色问题的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111639129.3A CN116416126A (zh) 2021-12-29 2021-12-29 一种Bayer图像插值算法中解决伪彩色问题的方法

Publications (1)

Publication Number Publication Date
CN116416126A true CN116416126A (zh) 2023-07-11

Family

ID=87048025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111639129.3A Pending CN116416126A (zh) 2021-12-29 2021-12-29 一种Bayer图像插值算法中解决伪彩色问题的方法

Country Status (1)

Country Link
CN (1) CN116416126A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977173A (zh) * 2023-07-12 2023-10-31 武汉大学 基于色差和色比的边缘优化Bayer插值方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977173A (zh) * 2023-07-12 2023-10-31 武汉大学 基于色差和色比的边缘优化Bayer插值方法
CN116977173B (zh) * 2023-07-12 2024-03-22 武汉大学 基于色差和色比的边缘优化Bayer插值方法

Similar Documents

Publication Publication Date Title
CN101917629B (zh) 一种基于绿色分量和色差空间的Bayer格式颜色插值方法
US7825965B2 (en) Method and apparatus for interpolating missing colors in a color filter array
CN1812592B (zh) 用于处理滤色器阵列的图像数据的方法和设备
KR100782812B1 (ko) 에지 적응적 컬러 보간 방법 및 장치
KR100818447B1 (ko) 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법
US5805217A (en) Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
CN102665030B (zh) 一种基于改进双线性的Bayer格式颜色插值方法
US7256828B2 (en) Weighted gradient based and color corrected interpolation
CN101511031B (zh) 一种用于拜尔数据插值的方法
US9111365B2 (en) Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal
CN102170572A (zh) 一种新型边缘自适应cfa彩色图像插值方法
TWI547169B (zh) 影像處理方法與模組
US20070292022A1 (en) Weighted gradient based and color corrected interpolation
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN108024100A (zh) 基于改进边缘导向的Bayer格式图像插值方法
KR20060078646A (ko) 디지털 촬영장치의 색상 보간법
CN116416126A (zh) 一种Bayer图像插值算法中解决伪彩色问题的方法
CN105046631B (zh) 图像处理设备和图像处理方法
US8666162B1 (en) Advanced sensor binning correction
Zhou et al. An effective color image interpolation algorithm
CN103384334A (zh) 图像处理装置、图像处理方法及程序
JP4032579B2 (ja) 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体
CN114359050A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN115471420A (zh) 图像处理装置、成像设备、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination