CN114466170A - 图像处理方法及系统 - Google Patents

图像处理方法及系统 Download PDF

Info

Publication number
CN114466170A
CN114466170A CN202111000522.8A CN202111000522A CN114466170A CN 114466170 A CN114466170 A CN 114466170A CN 202111000522 A CN202111000522 A CN 202111000522A CN 114466170 A CN114466170 A CN 114466170A
Authority
CN
China
Prior art keywords
pixel
interpolated
pixels
average
sensor image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111000522.8A
Other languages
English (en)
Other versions
CN114466170B (zh
Inventor
陈炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202111000522.8A priority Critical patent/CN114466170B/zh
Publication of CN114466170A publication Critical patent/CN114466170A/zh
Application granted granted Critical
Publication of CN114466170B publication Critical patent/CN114466170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种图像处理方法及系统，其中系统包括：图像获取模块，用于获取传感器图像，传感器图像包括若干白色像素和若干彩色像素，若干白色像素和若干彩色像素呈二维像素阵列排布，白色像素具有白色像素值，彩色像素具有彩色像素值，传感器图像中的各个彩色像素为待插值像素；以及处理模块，用于根据传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个待插值像素的待插白色像素值。由于处理模块在获取待插值像素的待插白色像素值时，综合了彩色像素进行判断，即使在密集的线条区域，也可以正确判断待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终的图像质量。

Description

图像处理方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及系统。
背景技术
白色像素具有比彩色像素更宽的光谱响应，可以接收更多的光子， 因此安防监控设备等需要在夜晚工作的设备，为了在低照度环境下看清目标， 大多采用由白色像素W构成的黑白图像传感器。
由于彩色图像包含比黑白图像更多的信息，因此设法使彩色图像传感器 能够在低照度下拍摄出高质量的彩色图像，具有重要的实际意义。为提升低 照度环境下彩色图像的图像质量，现有技术将50％比例的白色像素加入到 RGB彩色图像传感器中，形成RGBW像素阵列，在一定程度上改善了低照度 下的图像质量。
然而，现有技术中在对由增加白色像素所形成的图像传感器进行W像素 插值时仍存在诸多问题，进而影响最终的图像质量。
发明内容
本发明解决的技术问题是提供一种图像处理方法及系统，以提升图像质 量。
为解决上述问题，本发明的技术方案提供一种图像处理方法，包括：获 取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所 述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白 色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像 素为待插值像素；根据所述传感器图像中的白色像素值、或白色像素值和彩 色像素值，获取各个所述待插值像素的待插白色像素值。
可选的，根据所述传感器图像中的白色像素值、或白色像素值和彩色像 素值，获取各个所述待插值像素的待插白色像素值的方法包括：在所述传感 器图像中，获取所述待插值像素的像素纹理的方向性；根据所述像素纹理的 方向性获取所述待插值像素的待插白色像素值。
可选的，在所述传感器图像中，获取所述待插值像素的像素纹理的方向 性的方法包括：在所述传感器图像中，获取所述待插值像素的竖直梯度Dv； 在所述传感器图像中，获取所述待插值像素的水平梯度Dh；提供第一梯度阈 值thr_1；根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在 所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dv－ Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当 Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向； 当|Dv－Dh|≤thr_1时，在所述传感器图像中，获取所述待插值像素的平均竖 直梯度Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均 水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方 向性。
可选的，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值 上限的10％～30％。
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续 像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述 传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值 mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像 素的平均像素值mxli-1；则所述平均竖直梯度Dvm为：
Figure BDA0003234593300000021
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连 续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所 述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值 mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像 素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
Figure BDA0003234593300000022
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连 续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所 述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值 mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像 素的平均像素值mxli-1；获取所述传感器图像中第i行中的第j-2列～第j+3列 的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列； 获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均 像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个 连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
Figure BDA0003234593300000031
或
Figure BDA0003234593300000032
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续 像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述 传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值 mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像 素的平均像素值mytj-1；则所述平均水平梯度Dhm为：
Figure BDA0003234593300000033
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连 续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所 述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值 mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像 素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
Figure BDA0003234593300000034
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连 续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所 述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值 mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像 素的平均像素值mytj-1；获取所述传感器图像中第j列中的第i-2行～第i+3行 的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的 平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的 6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
Figure BDA0003234593300000041
或
Figure BDA0003234593300000042
可选的，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述 传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
可选的，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述 传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：提供 第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第 二梯度阈值thr_2，在所述传感器图像中，获取所述待插值像素的像素纹理的 方向性，即：当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像 素纹理沿水平方向；当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中， 判定所述像素纹理无方向性。
可选的，根据所述像素纹理的方向性获取所述待插值像素的待插白色像 素值的方法包括：在所述传感器图像中，当判定所述像素纹理沿水平方向时， 获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述 白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待 插白色像素值；在所述传感器图像中，当判定所述像素纹理沿竖直方向时， 获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述 白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待 插白色像素值。
可选的，根据所述像素纹理的方向性获取所述待插值像素的待插白色像 素值的方法还包括：在所述传感器图像中，当判定所述像素纹理无方向性时， 获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别 相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述 待插值像素的待插白色像素值。
可选的，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
可选的，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在 竖直方向上，所述白色像素与所述彩色像素间隔排布。
可选的，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像 素和若干第三彩色像素。
可选的，在所述水平方向上，每6个连续的像素中均包括3个所述白色 像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色 像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、 1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
可选的，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素， 所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第 二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
相应的，本发明的技术方案中还提供了一种图像处理系统，包括：图像 获取模块，用于获取传感器图像，所述传感器图像包括若干白色像素和若干 彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所 述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图 像中的各个彩色像素为待插值像素；以及处理模块，用于根据所述传感器图 像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素 的待插白色像素值。
可选的，所述处理模块包括：方向性获取模块，用于在所述传感器图像 中，获取所述待插值像素的像素纹理的方向性；以及计算模块，用于根据所 述像素纹理的方向性获取所述待插值像素的待插白色像素值。
可选的，所述方向性获取模块包括：竖直梯度获取模块，用于在所述传 感器图像中，获取所述待插值像素的竖直梯度Dv；水平梯度获取模块，用于 在所述传感器图像中，获取所述待插值像素的水平梯度Dh；第一输入模块， 用于提供第一梯度阈值thr_1；第一判断模块，根据所述竖直梯度Dv、水平梯 度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素 的像素纹理的方向性，即：当Dv－Dh＞thr_1时，则在所述传感器图像中， 判定所述像素纹理沿水平方向；当Dh－Dv＞thr_1时，则在所述传感器图像 中，判定所述像素纹理沿竖直方向。
可选的，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值 上限的10％～30％。
可选的，所述方向性获取模块还包括：平均竖直梯度获取模块，用于在 所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm；平均水平梯 度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均水平梯 度Dhm；第二判断模块，用于根据所述平均竖直梯度Dvm和所述平均水平梯 度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性， 即：当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向； 当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
可选的，所述方向性获取模块还包括：第二输入模块，用于提供第二梯 度阈值thr_2；所述第二判断模块还用于：根据所述平均竖直梯度Dvm、平均 水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像中，获取所述待插值 像素的像素纹理的方向性，即：当Dvm－Dhm＞thr_2时，则在所述传感器图 像中，判定所述像素纹理沿水平方向；当Dhm－Dvm＞thr_2时，则在所述传 感器图像中，判定所述像素纹理沿竖直方向；当|Dhm－Dvm|≤thr_2时，则在 所述传感器图像中，判定所述像素纹理无方向性。
可选的，平均竖直梯度Dvm为：
Figure BDA0003234593300000061
或
Figure BDA0003234593300000071
或
Figure BDA0003234593300000072
或
Figure BDA0003234593300000073
其中，mxli为所述传感器图像中第i行中的第j-3列～第j+2列的6个连续 像素的平均像素值，且所述待插值像素位于第i行中的第j列；mxli+1为所述 传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值； mxli-1为所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的 平均像素值；mxri为所述传感器图像中第i行中的第j-2列～第j+3列的6个连 续像素的平均像素值，且所述待插值像素位于第i行中的第j列；mxri+1为所 述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值； mxri-1为所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的 平均像素值。
可选的，平均水平梯度Dhm为：
Figure BDA0003234593300000074
或
Figure BDA0003234593300000075
或
Figure BDA0003234593300000076
或
Figure BDA0003234593300000077
其中，mytj为所述传感器图像中第j列中的第i-3行～第i+2行的6个连续 像素的平均像素值，且所述待插值像素位于第j列中的第i行；mytj+1为所述 传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值； mytj-1为所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的 平均像素值；mybj为所述传感器图像中第j列中的第i-2行～第i+3行的6个连 续像素的平均像素值，且所述待插值像素位于第j列中的第i行；mybj+1为所 述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值； mybj-1为所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的 平均像素值。
可选的，所述计算模块包括：第一计算模块，在所述传感器图像中，当 判定所述像素纹理沿水平方向时，用于获取与所述待插值像素同一行中，且 与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并 以所述平均值作为所述待插值像素的待插白色像素值；以及在所述传感器图 像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中， 且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值， 并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，所述计算模块还包括：第二计算模块，在所述传感器图像中， 当判定所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同 一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素 值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
可选的，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在 竖直方向上，所述白色像素与所述彩色像素间隔排布。
可选的，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像 素和若干第三彩色像素。
可选的，在所述水平方向上，每6个连续的像素中均包括3个所述白色 像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色 像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、 1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
可选的，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素， 所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第 二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
与现有技术相比，本发明的技术方案具有以下优点：
本发明的技术方案的方法中，根据所述传感器图像中的白色像素值、或 白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。由 于在获取所述待插值像素的待插白色像素值时，综合了所述彩色像素值进行 判断，即使在密集的线条区域，也可以正确判断所述待插值像素的插值方向， 进而获取更精确的待插白色像素值，从而提升最终的图像质量。
进一步，当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像 素纹理无方向性；且在所述传感器图像中，当判定所述像素纹理无方向性时， 获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别 相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述 待插值像素的待插白色像素值。能够减少在所述待插值像素一侧不是密集线 条区域时所带来的插值方向误判，进而减少密集线条端部粘连的现象。
本发明的技术方案的系统中，包括：处理模块，用于根据所述传感器图 像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素 的待插白色像素值。由于所述处理模块在获取所述待插值像素的待插白色像 素值时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以 正确判断所述待插值像素的插值方向，进而获取更精确的待插白色像素值， 从而提升最终的图像质量。
进一步，还包括：第二输入模块，用于提供第二梯度阈值thr_2；所述第 二判断模块还用于，当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定 所述像素纹理无方向性；以及第二计算模块，在所述传感器图像中，当判定 所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同一列中， 且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均 值，并以所述平均值作为所述待插值像素的待插白色像素值。能够减少在所 述待插值像素一侧不是密集线条区域时所带来的插值方向误判，进而减少密 集线条端部粘连的现象。
附图说明
图1是一种W像素占50％的RGBW图像传感器；
图2是一种W像素占50％的RGBW图像传感器获取的水平方向的密集 线条图像；
图3是图2中不考虑彩色像素后的图像；
图4是本发明实施例的图像处理方法的流程示意图；
图5至图18以及图23至图24是本发明一实施例的图像处理方法各步骤 的结构示意图；
图19是本发明另一实施例中mxri+mxli-mxri-1-mxli-1的计算方法 示意图；
图20是本发明另一实施例中mxri+mxli-mxri+1-mxli+1的计算方法 示意图；
图21是本发明另一实施例中mytj+mybj-mytj-1-mybj-1的计算方法 示意图；
图22是本发明另一实施例中mytj+mybj-mytj+1-mybj+1的计算方法 示意图；
图25是本发明另一实施例的待插白色像素值获取示意图；
图26是本发明一实施例的图像处理系统结构示意图；
图27是本发明另一实施例的图像处理系统结构示意图。
具体实施方式
正如背景技术所述，现有技术中在对由增加白色像素所形成的图像传感 器进行W像素插值时仍存在诸多问题，进而影响最终的图像质量。以下将结 合附图进行具体说明。
图1是一种W像素占50％的RGBW图像传感器。
请参考图1，包括：若干彩色滤色器100和若干白色滤色器101，在水平 方向X上，所述彩色滤色器100和所述白色滤色器101间隔排布，且在竖直 方向Y上，所述彩色滤色器100和所述白色滤色器101间隔排布。
在本实施例中，所述彩色滤色器100用于接收彩色光，进而形成彩色像 素(R像素、G像素或B像素)，所述白色滤色器101用于接收白色光，进而 形成白色像素(W像素)。因此，由图1所示的图像传感器捕获到的原始图像 是与彩色像素阵列排布相应的马赛克图像，要生成可用于观看的彩色图像， 必须进行去马赛克处理。
现有技术针对由图1所示的图像传感器所获取的W像素占50％的RGBW 图像进行去马赛克处理时，是先对图像中的白色像素按照边缘方向性进行插 值，获得完整的W通道，然后以完整的W通道为基础，来插值出完整的R 通道、G通道以及B通道。
然而，现有技术在对W通道插值的过程中，完全依靠白色像素的信息， 而没有利用到彩色像素的信息，这导致在线条密集的区域，无法正确判断线 条的方向性，从而造成插值方向错误，得到明显的错误图像。
以下将结合附图对现有技术在线条密集区导致插值方向错误的原因进行 具体说明。
请参考图2，图2是一种W像素占50％的RGBW图像传感器获取的水平 方向的密集线条图像，包括：若干白色像素103和若干彩色像素104，在水平 方向X上，所述白色像素103和所述彩色像素104间隔排布，且在所述竖直 方向Y上，所述白色像素103和所述彩色像素104间隔排布。
需要说明的是，图2中标注“W”的区域为白色像素103所在的位置， 未标注“W”的区域为彩色像素104所在的位置。
在现有技术的W通道插值过程中，就是在每个所述彩色像素104的位置 计算出插值白色像素值，从而使整幅图像的每一个像素的位置都具有白色像 素值。
然而，现有技术在计算W通道插值时，所述彩色像素104是不做考虑。 用到的所述白色像素103在水平方向X与竖直方向Y完全对称(如图3所示)。 因此，现有技术不可能正确地判断出每个待插值的所述彩色像素104位置的 W通道插值的方向。
当W通道插值的方向判断错误时，不仅导致对每个所述彩色像素104的 位置计算获得的插值白色像素值错误，同时，由于后续的彩色通道插值都是 以所述插值白色像素值为基础进行获取的，因此，进一步导致了彩色通道插 值错误。
在此基础上，本发明提供一种图像处理方法及系统，根据所述传感器图 像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素 的待插白色像素值。由于在获取所述待插值像素的待插白色像素值时，综合 了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述 待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终 的图像质量。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图 对本发明的具体实施例做详细地说明。
图4本发明实施例的图像处理方法的流程示意图。
请参考图4，所述图像处理方法包括：
步骤S101，获取传感器图像，所述传感器图像包括若干白色像素和若干 彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所 述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图 像中的各个彩色像素为待插值像素；
步骤S102，根据所述传感器图像中的白色像素值、或白色像素值和彩色 像素值，获取各个所述待插值像素的待插白色像素值。
以下将结合附图对所述图像处理方法的各个步骤进行详细说明。
图5至图18以及图23至图24是本发明实施例的图像处理方法各步骤的 结构示意图。
请参考图5，获取传感器图像200，所述传感器图像200包括若干白色像 素201和若干彩色像素202，若干所述白色像素201和若干所述彩色像素202 呈二维像素阵列排布，所述白色像素201具有白色像素值，所述彩色像素202 具有彩色像素值，所述传感器图像200中的各个彩色像素202为待插值像素 203。
在本实施例中，在水平方向X上，所述白色像素201与所述彩色像素202 间隔排布；且在竖直方向Y上，所述白色像素201与所述彩色像素202间隔 排布。
在本实施例中，若干所述彩色像素202包括：若干第一彩色像素、若干 第二彩色像素和若干第三彩色像素。
在本实施例中，在所述水平方向X上，每6个连续的像素中均包括3个 所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个 所述第三彩色像素；且在所述竖直方向Y上，每6个连续的像素中均包括3 个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1 个所述第三彩色像素。
在本实施例中，所述第一彩色像素为红色像素，所述第二彩色像素为绿 色像素，所述第三彩色像素为蓝色像素。
在一个实施例中，所述第一彩色像素为青色像素，所述第二彩色像素为 黄色像素，所述第三彩色像素为品红色像素。
在本实施例中，在获取所述获取传感器图像200之后，还包括：根据所 述传感器图像200中的白色像素值、或白色像素值和彩色像素值，获取各个 所述待插值像素203的待插白色像素值。具体过程请参考图6至图18、图23 至图24。
在本实施例中，根据所述传感器图像200中的白色像素值、或白色像素 值和彩色像素值，获取各个所述待插值像素203的待插白色像素值的方法包 括：在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向 性；根据所述像素纹理的方向性获取所述待插值像素203的待插白色像素值。 具体请参考图6至图18、图23至图24。
请参考图6，在所述传感器图像200中，获取所述待插值像素203的竖直 梯度Dv；以及在所述传感器图像200中，获取所述待插值像素203的水平梯 度Dh。
在本实施例中，在所述待插值像素203的位置，通过周围的所述白色像 素201的白色像素值来计算所述传感器图像200的水平梯度Dh和竖直梯度 Dv。
在现有技术中，关于所述水平梯度Dh和所述竖直梯度Dv的计算方法有 多种，请继续参考图6，如：
Dh＝|W7-W6|；
Figure BDA0003234593300000141
或
Figure BDA0003234593300000142
Figure BDA0003234593300000143
其中，图6中的W1～W12～为所述传感器图像200中的各个所述白色像素 201的白色像素值。
在本实施例中，在所述传感器图像200中，获取所述待插值像素203的 像素纹理的方向性的方法包括：提供第一梯度阈值thr_1；根据所述竖直梯度 Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像200中，获取 所述待插值像素203的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像200中，判定所述像素纹理 沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像200中，判定所述像素纹理 沿竖直方向。
当|Dv－Dh|>thr_1时，认为所述水平梯度Dh和所述竖直梯度Dv的大小 差别明显，所述第一梯度阈值thr_1为正数，可根据实验或经验设置，通常可 设置为所述传感器图像200中梯度值上限的10％～30％。例如对于归一化的图 像，如果梯度值上限等于1，则所述第一梯度阈值thr_1可以取0.1～0.3。
在本实施例中，所述第一梯度阈值thr_1取0.2。
当|Dv－Dh|≤thr_1时，则认为所述水平梯度Dh和所述竖直梯度Dv的大 小差别不明显，此时通过所述待插值像素203周围的白色像素201和彩色像 素202，在所述传感器图像200中，获取所述待插值像素203的平均竖直梯度 Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均水平梯 度Dhm，在所述传感器图像200中，获取所述待插值像素203的像素纹理的 方向性。具体请参考图7至图18。
请参考图7，获取所述传感器图像200中第i行中的第j-3列～第j+2列的 6个连续像素的平均像素值mxli，且所述待插值像素203位于第i行中的第j 列；获取所述传感器图像200中第i+1行中的第j-3列～第j+2列的6个连续像 素的平均像素值mxli+1；获取所述传感器图像200中第i-1行中的第j-3列～第 j+2列的6个连续像素的平均像素值mxli-1。
请参考图8，获取所述传感器图像200中第i行中的第j-2列～第j+3列的 6个连续像素的平均像素值mxri，且所述待插值像素203位于第i行中的第j 列；获取所述传感器图像200中第i+1行中的第j-2列～第j+3列的6个连续像 素的平均像素值mxri+1；获取所述传感器图像200中第i-1行中的第j-2列～ 第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
Figure BDA0003234593300000151
在本实施例中，由于所述待插值像素203并不是处于第j-3列～第j+2列 的6个连续像素、或第j-2列～第j+3列的6个连续像素的中间位置。因此， 为了使得所述平均竖直梯度Dvm的计算结果更加准确，采用的偏左平均像素 mxl和偏右平均像素mxr的两种取值方法。
请参考图9，获取所述传感器图像200中第j列中的第i-3行～第i+2行的 6个连续像素的平均像素值mytj，且所述待插值像素203位于第j列中的第i 行；获取所述传感器图像200中第j+1列中的第i-3行～第i+2行的6个连续像 素的平均像素值mytj+1；获取所述传感器图像200中第j-1列中的第i-3行～第 i+2行的6个连续像素的平均像素值mytj-1。
请参考图10，获取所述传感器图像200中第j列中的第i-2行～第i+3行 的6个连续像素的平均像素值mybj，且所述待插值像素203位于第j列中的第 i行；获取所述传感器图像200中第j+1列中的第i-2行～第i+3行的6个连续 像素的平均像素值mybj+1；获取所述传感器图像200中第j-1列中的第i-2行～ 第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
Figure BDA0003234593300000152
在本实施例中，由于所述待插值像素203并不是处于第i-3行～第i+2行 的6个连续像素、或第i-2行～第i+3行的6个连续像素的中间位置。因此， 为了使得所述平均水平梯度Dhm的计算结果更加准确，采用的偏上平均像素 myt和偏下平均像素myb的两种取值方法。
为便于理解，本实施例中的所述平均水平梯度Dhm和所述平均竖直梯度Dvm的计算方法可以表示成滤波器的形式：
请参考图11，图11是本发明实施例的mxli-mxli-1的计算方法示意图，第 一滤波器301被应用于3行×7列像素的第一输入像素单位401，所述待插值 像素203位于所述第一输入像素单位401的中心处。所述第一输入像素单位 401为所述传感器图像200中的一部分，所述第一输入像素单位401中包括涉 及到计算mxli-mxli-1的若干白色像素201和若干彩色像素202。
所述第一滤波器301是具有如下设置的滤波器：尺寸为3×7像素，与第 i行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为1/6，与第 i-1行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为-1/6，其 他像素位置的滤波器因子均为0；图中的乘号“×”表示3×7像素的所述第 一输入像素单位401中的每个像素位置的像素值与所述第一滤波器301的相 应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图12，图12是本发明实施例的mxli-mxli+1的计算方法示 意图，第二滤波器302是具有如下设置的滤波器：尺寸为3×7像素，与第i 行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为1/6，与第i+1 行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为-1/6，其他像 素位置的滤波器因子均为0；图中的乘号“×”表示3×7像素的第一输入像 素单位401中的每个像素位置的像素值与所述第二滤波器302的相应像素位 置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图13，图13是本发明实施例的mxri-mxri-1的计算方法示 意图，图13中涉及的第三滤波器303的设置原理、以及所述第一输入像素单 位401的计算过程，请参考所述第一滤波器301的相关说明，在此将不再进 行赘述。
类似的，请参考图14，图14是本发明实施例的mxri-mxri+1的计算方法示 意图，图14中涉及的第四滤波器304的设置原理、以及所述第一输入像素单 位401的计算过程，请参考所述第一滤波器301的相关说明，在此将不再进 行赘述。
类似的，请参考图15，图15是本发明实施例的mytj-mytj-1的计算方法示 意图，第五滤波器305被应用于7行×3列像素的第二输入像素单位402，所 述待插值像素203位于所述第二输入像素单位402的中心处。所述第二输入 像素单位402为所述传感器图像200中的一部分，所述第二输入像素单位402 中包括涉及到计算mytj-mytj-1的若干白色像素201和若干彩色像素202。
所述第二输入像素单位402中201代表的像素为白色像素，202代表的像 素是彩色像素。
所述第五滤波器305是具有如下设置的滤波器：尺寸为7×3像素，与第 j列中的第i-3行～第i+2行对应的6个像素位置的滤波器因子均为1/6，与第 j-1列中的第i-3行～第i+2行对应的6个像素位置的滤波器因子均为-1/6，其 他像素位置的滤波器因子均为0；图中的乘号“×”表示7×3像素的所述第 二输入像素单位402中的每个像素位置的像素值与所述第五滤波器305的相 应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图16，图16是本发明实施例的mytj-mytj+1的计算方法示 意图，图16中涉及的第六滤波器306的设置原理、以及所述第二输入像素单 位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再进 行赘述。
类似的，请参考图17，图17是本发明实施例的mybj-mybj-1的计算方法 示意图，图17中涉及的第七滤波器307的设置原理、以及所述第二输入像素 单位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再 进行赘述。
类似的，请参考图18，图18是本发明实施例的mybj-mybj+1的计算方法 示意图，图18中涉及的第八滤波器308的设置原理、以及所述第二输入像素 单位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再 进行赘述。
在一个实施例中，为了简化计算过程，提高运算效率，所述平均竖直梯 度Dvm的计算还可以只采用偏左平均像素mxl或偏右平均像素mxr的取值方 法，即所述平均竖直梯度Dvm为：
Figure BDA0003234593300000171
或
Figure BDA0003234593300000181
相应的，所述平均水平梯度Dhm的计算还可以只采用偏上平均像素myt 或偏下平均像素myb的取值方法，即所述平均水平梯度Dhm为：
Figure BDA0003234593300000182
或
Figure BDA0003234593300000183
因此，会有四个不同的实施方式用于计算所述平均水平梯度Dhm和所述 平均竖直梯度Dvm，即：
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
Figure BDA0003234593300000184
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
Figure BDA0003234593300000185
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
Figure BDA0003234593300000186
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
Figure BDA0003234593300000187
上述四个实施方式中的mxli-mxli-1、mxli-mxli+1、mxri-mxri-1、mxri-mxri+1、 mytj-mytj-1、mytj-mytj+1、mybj-mybj-1以及mybj-mybj+1的计算方法请参考图11 至图18、以及前述涉及的相关说明，在此将不再进行赘述。
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm还可 以为：
Figure BDA0003234593300000188
Figure BDA0003234593300000189
表示为滤波器的形式，计算mxri+mxli-mxri-1-mxli-1的方法如图19 所示：第九滤波器309被应用于3行×7列像素的所述第一输入像素单位401， 所述待插值像素203位于所述第一输入像素单位401的中心处。所述第一输 入像素单位401为所述传感器图像200中的一部分，所述第一输入像素单位 401中包括涉及到计算mxri+mxli-mxri-1-mxli-1的若干白色像素201和 若干彩色像素202。
所述第九滤波器309是具有如下设置的滤波器：尺寸为3×7像素，第i 行中第j-2列～j+2列5个像素位置的滤波器因子均为2/6，第i行中第j-3列和 j+3列的像素位置的滤波器因子均为1/6，第i-1行中第j-2列～j+2列5个像素 位置的滤波器因子均为-2/6，第i-1行中第j-3列和j+3列的像素位置的滤波器 因子均为-1/6，其他像素位置的滤波器因子均为0。所述第九滤波器309是由 所述第一滤波器301与所述第三滤波器303相加得到的。图中的乘号“×” 表示3×7像素的所述第一输入像素单位401中的每个像素位置的像素值与所述第九滤波器309的相应像素位置处的滤波器因子相乘，并且将各个相乘结 果相加。
类似的，计算mxri+mxli-mxri+1-mxli+1的方法如图20所示：第十滤 波器310被应用于3行×7列像素的所述第一输入像素单位401，所述待插值 像素203位于所述第一输入像素单位401的中心处。所述第一输入像素单位 401为所述传感器图像200中的一部分，所述第一输入像素单位401中包括涉 及到计算mxri+mxli-mxri+1-mxli+1的若干白色像素201和若干彩色像素 202。
所述第十滤波器310是具有如下设置的滤波器：尺寸为3×7像素，第i 行中第j-2列～j+2列5个像素位置的滤波器因子均为2/6，第i行中第j-3列和 j+3列的像素位置的滤波器因子均为1/6，第i+1行中第j-2列～j+2列5个像素 位置的滤波器因子均为-2/6，第i+1行中第j-3列和j+3列的像素位置的滤波器 因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十滤波器310是由 所述第二滤波器302与所述第四滤波器304相加得到的。图中的乘号“×” 表示3×7像素的所述第一输入像素单位401中的每个像素位置的像素值与所述第十滤波器310的相应像素位置处的滤波器因子相乘，并且将各个相乘结 果相加。
类似的，计算mytj+mybj-mytj-1-mybj-1的方法如图21所示：第十 一滤波器311被应用于7行×3列像素的第二输入像素单位402，所述待插值 像素203位于所述第二输入像素单位402的中心处。所述第二输入像素单位 402为所述传感器图像200中的一部分，所述第二输入像素单位402中包括涉 及到计算mytj+mybj-mytj-1-mybj-1的若干白色像素201和若干彩色像素 202。
所述第二输入像素单位402中201代表的像素是白色像素，202代表的像 素是彩色像素。
所述第十一滤波器311是具有如下设置的滤波器：尺寸为7×3像素，第 j列中第i-2行～i+2行5个像素位置的滤波器因子均为2/6，第j列中第i-3行 和i+3行的像素位置的滤波器因子均为1/6，第j-1列中第i-2行～i+2行5个像 素位置的滤波器因子均为-2/6，第j-1列中第i-3行和i+3行的像素位置的滤波 器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十一滤波器311 是由所述第五滤波器305与所述第七滤波器307相加得到的。图中的乘号“×” 表示7×3像素的所述第二输入像素单位402中的每个像素位置的像素值与第 十一滤波器311的相应像素位置处的滤波器因子相乘，并且将各个相乘结果 相加。
类似的，计算mytj+mybj-mytj+1-mybj+1的方法如图22所示：第十 二滤波器312被应用于7行×3列像素的第二输入像素单位402，所述待插值 像素203位于所述第二输入像素单位402的中心处。所述第二输入像素单位 402为所述传感器图像200中的一部分，所述第二输入像素单位402中包括涉 及到计算mytj+mybj-mytj+1-mybj+1的若干白色像素201和若干彩色像素 202。
所述第十二滤波器312是具有如下设置的滤波器：尺寸为7×3像素，第 j列中第i-2行～i+2行5个像素位置的滤波器因子均为2/6，第j列中第i-3行 和i+3行的像素位置的滤波器因子均为1/6，第j+1列中第i-2行～i+2行5个 像素位置的滤波器因子均为-2/6，第j+1列中第i-3行和i+3行的像素位置的滤 波器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十二滤波器312 是由所述第六滤波器306与所述第八滤波器308相加得到的。图中的乘号“×” 表示7×3像素的所述第二输入像素单位402中的每个像素位置的像素值与第 十二滤波器312的相应像素位置处的滤波器因子相乘，并且将各个相乘结果 相加。
在本实施例中，在获取所述平均竖直梯度Dvm和所述平均水平梯度Dhm之后，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器 图像200中，获取所述待插值像素203的像素纹理的方向性，即：
当Dvm≥Dhm时，则在所述传感器图像200中，判定所述像素纹理沿水平 方向；
当Dvm＜Dhm时，则在所述传感器图像200中，判定所述像素纹理沿竖直 方向。
在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向 性之后，根据所述像素纹理的方向性获取所述待插值像素203的待插白色像 素值Wd。具体请参考图23至图24。
请参考图23，在所述传感器图像200中，当判定所述像素纹理沿水平方 向X时，获取与所述待插值像素203同一行中，且与所述待插值像素203分 别相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作 为所述待插值像素203的待插白色像素值Wd，即：
Wd＝(W3+W4)/2；
其中，W3和W4是所述待插值像素203相邻两个所述白色像素201的白 色像素值。
请参考图24，在所述传感器图像200中，当判定所述像素纹理沿竖直方 向时，获取与所述待插值像素203同一列中，且与所述待插值像素203分别 相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作为 所述待插值像素203的待插白色像素值Wd，即：
Wd＝(W1+W2)/2；
其中，W1和W2是所述待插值像素203相邻两个所述白色像素201的白 色像素值。
根据所述传感器图像200中的白色像素值、或白色像素值和彩色像素值， 获取各个所述待插值像素203的待插白色像素值Wd。由于在获取所述待插值 像素203的待插白色像素值Wd时，综合了所述彩色像素值进行判断，即使 在密集的线条区域，也可以正确判断所述待插值像素203的插值方向，进而 获取更精确的待插白色像素值Wd，减少了错误插值结果的出现，从而提升最 终的图像质量。
在一个实施例中，在获取所述平均竖直梯度Dvm和所述平均水平梯度Dhm之后，还包括：提供第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均 水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像200中，获取所述待 插值像素203的像素纹理的方向性，即：
当Dvm－Dhm＞thr_2时，则在所述传感器图像200中，判定所述像素纹 理沿水平方向；
当Dhm－Dvm＞thr_2时，则在所述传感器图像200中，判定所述像素纹 理沿竖直方向；
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像200中，判定所述像素纹 理无方向性。
所述第二梯度阈值thr_2是正数，具体数值可以根据实验或经验确定，所 述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
在一个实施例中，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的 5％。
在本实施例中，当判定所述像素纹理沿水平方向X或竖直方向Y时，所 述待插值像素203的待插白色像素值Wd的计算过程请参考图23和图24以 及相关说明所述，在此将不再进行赘述。
请参考图25，当判定所述像素纹理无方向性时，获取与所述待插值像素 203同一行中和同一列中，且分别与所述待插值像素203分别相邻的四个所述 白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素 203的待插白色像素值Wd，即：
Wd＝(W1+W2+W3+W4)/4；
其中，W1、W2、W3和W4是所述待插值像素203相邻四个所述白色像 素201的白色像素值。
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像200中，判定所述像素纹 理无方向性；且在所述传感器图像200中，当判定所述像素纹理无方向性时， 获取与所述待插值像素203同一行中和同一列中，且分别与所述待插值像素 203分别相邻的四个所述白色像素201的白色像素值的平均值，并以所述平均 值作为所述待插值像素203的待插白色像素值Wd。能够减少在所述待插值像 素203一侧不是密集线条区域时所带来的插值方向误判，进而减少密集线条 端部粘连的现象。
相应的，本发明的实施例中还提供了一种图像处理系统，请参考图26， 包括：图像获取模块500，用于获取传感器图像200，所述传感器图像200包 括若干白色像素201和若干彩色像素202，若干所述白色像素201和若干所述 彩色像素202呈二维像素阵列排布，所述白色像素201具有白色像素值，所 述彩色像素202具有彩色像素值，所述传感器图像200中的各个彩色像素202 为待插值像素203；以及处理模块501，用于根据所述传感器图像200中的白 色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素203的待 插白色像素值Wd。
本领域技术人员应当理解，本实施例中提供的图像处理系统与图1至图 25所示实施例中提供的图像处理方法，两者在具体的实现原理和逻辑上是相 辅相成的。因此，本实施例中涉及的名词解释可以参考图1至图25所示实施 例中的相关描述，在此不再赘述。
在本实施例中，由于所述处理模块501在获取所述待插值像素203的待 插白色像素值Wd时，综合了所述彩色像素值进行判断，即使在密集的线条 区域，也可以正确判断所述待插值像素203的插值方向，进而获取更精确的 待插白色像素值Wd，从而提升最终的图像质量。
在本实施例中，所述处理模块501包括：方向性获取模块5011，用于在 所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性；以 及计算模块5012，用于根据所述像素纹理的方向性获取所述待插值像素203 的待插白色像素值Wd。
在本实施例中，所述方向性获取模块5011包括：竖直梯度获取模块50111， 用于在所述传感器图像200中，获取所述待插值像素203的竖直梯度Dv；水 平梯度获取模块50112，用于在所述传感器图像200中，获取所述待插值像素 203的水平梯度Dh；第一输入模块50113，用于提供第一梯度阈值thr_1；第 一判断模块50114，根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值 thr_1在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向 性，即：当Dv－Dh＞thr_1时，则在所述传感器图像200中，判定所述像素 纹理沿水平方向X；当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所 述像素纹理沿竖直方向Y。
所述第一梯度阈值thr_1为正数，可根据实验或经验设置，通常可设置为 所述传感器图像200中梯度值上限的10％～30％。例如对于归一化的图像，如 果梯度值上限等于1，则所述第一梯度阈值thr_1可以取0.1～0.3。
在本实施例中，所述第一梯度阈值thr_1取0.2。
在本实施例中，所述方向性获取模块5011还包括：平均竖直梯度获取模 块50115，用于在所述传感器图像200中，获取所述待插值像素203的平均竖 直梯度Dvm；平均水平梯度获取模块50116，用于在所述传感器图像200中， 获取所述待插值像素203的平均水平梯度Dhm；第二判断模块50117，用于根 据所述平均竖直梯度Dvm和所述平均水平梯度Dhm；在所述传感器图像200 中，获取所述待插值像素203的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像200中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时， 则在所述传感器图像200中，判定所述像素纹理沿竖直方向。
请参考图27，在一个实施例中，所述方向性获取模块5011还包括：第二 输入模50118，用于提供第二梯度阈值thr_2；所述第二判断模块50117还用 于：根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2 在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性， 即：当Dvm－Dhm＞thr_2时，则在所述传感器图像200中，判定所述像素纹 理沿水平方向X；当Dhm－Dvm＞thr_2时，则在所述传感器图像200中，判 定所述像素纹理沿竖直方向Y；当|Dhm－Dvm|≤thr_2时，则在所述传感器图 像200中，判定所述像素纹理无方向性。
在本实施例中，所述平均竖直梯度Dvm为：
Figure BDA0003234593300000251
其中，mxli为所述传感器图像200中第i行中的第j-3列～第j+2列的6个 连续像素的平均像素值，且所述待插值像素203位于第i行中的第j列；mxli+1为所述传感器图像200中第i+1行中的第j-3列～第j+2列的6个连续像素的平 均像素值；mxli-1为所述传感器图像200中第i-1行中的第j-3列～第j+2列的 6个连续像素的平均像素值；mxri为所述传感器图像200中第i行中的第j-2 列～第j+3列的6个连续像素的平均像素值，且所述待插值像素203位于第i 行中的第j列；mxri+1为所述传感器图像200中第i+1行中的第j-2列～第j+3 列的6个连续像素的平均像素值；mxri-1为所述传感器图像200中第i-1行中 的第j-2列～第j+3列的6个连续像素的平均像素值。
在一个实施例中，所述平均竖直梯度Dvm还可以为：
Figure BDA0003234593300000252
在一个实施例中，所述平均竖直梯度Dvm还可以为：
Figure BDA0003234593300000253
在一个实施例中，所述平均竖直梯度Dvm还可以为：
Figure BDA0003234593300000254
在本实施例中，所述平均水平梯度Dhm为：
Figure BDA0003234593300000255
其中，mytj为所述传感器图像200中第j列中的第i-3行～第i+2行的6个 连续像素的平均像素值，且所述待插值像素203位于第j列中的第i行；mytj+1为所述传感器图像200中第j+1列中的第i-3行～第i+2行的6个连续像素的平 均像素值；mytj-1为所述传感器图像200中第j-1列中的第i-3行～第i+2行的 6个连续像素的平均像素值；mybj为所述传感器图像200中第j列中的第i-2 行～第i+3行的6个连续像素的平均像素值，且所述待插值像素203位于第j 列中的第i行；mybj+1为所述传感器图像200中第j+1列中的第i-2行～第i+3 行的6个连续像素的平均像素值；mybj-1为所述传感器图像200中第j-1列中 的第i-2行～第i+3行的6个连续像素的平均像素值。
在一个实施例中，所述平均水平梯度Dhm还可以为：
Figure BDA0003234593300000261
在一个实施例中，所述平均水平梯度Dhm还可以为：
Figure BDA0003234593300000262
在一个实施例中，所述平均水平梯度Dhm还可以为：
Figure BDA0003234593300000263
在本实施例中，所述计算模块5012包括：第一计算模块50121，在所述 传感器图像200中，当判定所述像素纹理沿水平方向X时，用于获取与所述 待插值像素203同一行中，且与所述待插值像素203分别相邻的两个所述白 色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203 的待插白色像素值Wd；以及在所述传感器图像200中，当判定所述像素纹理 沿竖直方向Y时，获取与所述待插值像素203同一列中，且与所述待插值像 素203分别相邻的两个所述白色像素201的白色像素值的平均值，并以所述 平均值作为所述待插值像素203的待插白色像素值Wd。
请继续参考图27，在一个实施例中，所述计算模块5012还包括：第二计 算模块50122，在所述传感器图像200中，当判定所述像素纹理无方向性时， 用于获取与所述待插值像素203同一行中和同一列中，且分别与所述待插值 像素203分别相邻的四个所述白色像素201的白色像素值的平均值，并以所 述平均值作为所述待插值像素203的待插白色像素值Wd。
所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
在一个实施例中，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的 5％
在本实施例中，在水平方向X上，所述白色像素201与所述彩色像素202 间隔排布；且在竖直方向Y上，所述白色像素201与所述彩色像素202间隔 排布。
在本实施例中，若干所述彩色像素202包括：若干第一彩色像素、若干 第二彩色像素和若干第三彩色像素。
在本实施例中，在所述水平方向X上，每6个连续的像素中均包括3个 所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个 所述第三彩色像素；且在所述竖直方向Y上，每6个连续的像素中均包括3 个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1 个所述第三彩色像素。
在本实施例中，所述第一彩色像素为红色像素，所述第二彩色像素为绿 色像素，所述第三彩色像素为蓝色像素。
在一个实施例中，或者所述第一彩色像素为青色像素，所述第二彩色像 素为黄色像素，所述第三彩色像素为品红色像素。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员， 在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保 护范围应当以权利要求所限定的范围为准。

Claims (34)

1.一种图像处理方法，其特征在于，包括：
获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；
根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。
2.如权利要求1所述图像处理方法，其特征在于，根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值的方法包括：在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值。
3.如权利要求2所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；在所述传感器图像中，获取所述待插值像素的水平梯度Dh；提供第一梯度阈值thr_1；根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dv－Dh|≤thr_1时，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性。
4.如权利要求3所述图像处理方法，其特征在于，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
5.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；则所述平均竖直梯度Dvm为：
Figure FDA0003234593290000021
6.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
Figure FDA0003234593290000022
7.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
Figure FDA0003234593290000031
或
Figure FDA0003234593290000032
8.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；则所述平均水平梯度Dhm为：
Figure FDA0003234593290000033
9.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
Figure FDA0003234593290000034
10.如权利要求3所述图像处理方法，其特征在于，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
Figure FDA0003234593290000041
或
Figure FDA0003234593290000042
11.如权利要求3所述图像处理方法，其特征在于，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
12.如权利要求3所述图像处理方法，其特征在于，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：提供第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm-Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dhm-Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dhm-Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性。
13.如权利要求3、11或12所述图像处理方法，其特征在于，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法包括：
在所述传感器图像中，当判定所述像素纹理沿水平方向时，获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；
在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
14.如权利要求12所述图像处理方法，其特征在于，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法还包括：
在所述传感器图像中，当判定所述像素纹理无方向性时，获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
15.如权利要求12所述图像处理方法，其特征在于，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
16.如权利要求1所述图像处理方法，其特征在于，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
17.如权利要求16所述图像处理方法，其特征在于，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
18.如权利要求17所述图像处理方法，其特征在于，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
19.如权利要求17所述图像处理方法，其特征在于，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
20.一种图像处理系统，其特征在于，包括：
图像获取模块，用于获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；以及
处理模块，用于根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。
21.如权利要求20所述图像处理系统，其特征在于，所述处理模块包括：
方向性获取模块，用于在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；以及
计算模块，用于根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值。
22.如权利要求21所述图像处理系统，其特征在于，所述方向性获取模块包括：
竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；
水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的水平梯度Dh；
第一输入模块，用于提供第一梯度阈值thr_1；
第一判断模块，根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
23.如权利要求22所述图像处理系统，其特征在于，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
24.如权利要求22所述图像处理系统，其特征在于，所述方向性获取模块还包括：
平均竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm；
平均水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm；
第二判断模块，用于根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm；
在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
25.如权利要求24所述图像处理系统，其特征在于，所述方向性获取模块还包括：
第二输入模块，用于提供第二梯度阈值thr_2；
所述第二判断模块还用于：根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性。
26.如权利要求24所述图像处理系统，其特征在于，平均竖直梯度Dvm为：
Figure FDA0003234593290000071
或
Figure FDA0003234593290000072
或
Figure FDA0003234593290000073
或
Figure FDA0003234593290000081
其中，mxli为所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；
mxli+1为所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值；
mxli-1为所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值；
mxri为所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；
mxri+1为所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值；
mxri-1为所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值。
27.如权利要求24所述图像处理系统，其特征在于，平均水平梯度Dhm为：
Figure FDA0003234593290000082
或
Figure FDA0003234593290000083
或
Figure FDA0003234593290000084
或
Figure FDA0003234593290000085
其中，mytj为所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；
mytj+1为所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值；
mytj-1为所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值；
mybj为所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；
mybj+1为所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值；
mybj-1为所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值。
28.如权利要求22、24或25所述图像处理系统，其特征在于，所述计算模块包括：
第一计算模块，在所述传感器图像中，当判定所述像素纹理沿水平方向时，用于获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；以及
在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
29.如权利要求25所述图像处理系统，其特征在于，所述计算模块还包括：
第二计算模块，在所述传感器图像中，当判定所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
30.如权利要求25所述图像处理系统，其特征在于，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
31.如权利要求20所述图像处理系统，其特征在于，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
32.如权利要求31所述图像处理系统，其特征在于，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
33.如权利要求32所述图像处理系统，其特征在于，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
34.如权利要求32所述图像处理系统，其特征在于，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
CN202111000522.8A 2021-08-27 2021-08-27 图像处理方法及系统 Active CN114466170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000522.8A CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000522.8A CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN114466170A true CN114466170A (zh) 2022-05-10
CN114466170B CN114466170B (zh) 2023-10-31

Family

ID=81405881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000522.8A Active CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN114466170B (zh)

Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024934A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Interpolation of panchromatic and color pixels
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
US20100165157A1 (en) * 2008-12-30 2010-07-01 Ji Cheol Hyun Apparatus for demosaicing colors and method thereof
US20100232692A1 (en) * 2009-03-10 2010-09-16 Mrityunjay Kumar Cfa image with synthetic panchromatic image
US20100302418A1 (en) * 2009-05-28 2010-12-02 Adams Jr James E Four-channel color filter array interpolation
US20100309347A1 (en) * 2009-06-09 2010-12-09 Adams Jr James E Interpolation for four-channel color filter array
US20100309350A1 (en) * 2009-06-05 2010-12-09 Adams Jr James E Color filter array pattern having four-channels
CN101939762A (zh) * 2008-02-07 2011-01-05 Nxp股份有限公司 用于重构彩色图像的方法和设备
US20120293695A1 (en) * 2011-02-28 2012-11-22 Seiji Tanaka Color imaging apparatus
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20130216130A1 (en) * 2010-03-04 2013-08-22 Yasushi Saito Image processing device, image processing method, and program
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
US20160284053A1 (en) * 2015-03-27 2016-09-29 Intel Corporation Edge sensing measure for raw image processing
US20170053379A1 (en) * 2015-08-19 2017-02-23 Via Alliance Semiconductor Co., Ltd. Demosaicing methods and apparatuses using the same
JP2017091231A (ja) * 2015-11-11 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN108024100A (zh) * 2017-12-15 2018-05-11 上海交通大学 基于改进边缘导向的Bayer格式图像插值方法
CN108122201A (zh) * 2017-12-21 2018-06-05 珠海亿智电子科技有限公司 一种拜耳插值拉链效应去除方法
GB201913734D0 (en) * 2019-09-24 2019-11-06 Rovco Ltd Method and system for colour video processing
CN110463194A (zh) * 2017-03-27 2019-11-15 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111340693A (zh) * 2019-08-29 2020-06-26 杭州海康慧影科技有限公司 一种Bayer图像的插值方法、装置及电子设备
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
WO2020232796A1 (zh) * 2019-05-17 2020-11-26 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据匹配方法、装置和存储介质
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质
CN112788320A (zh) * 2020-12-25 2021-05-11 Oppo广东移动通信有限公司 图像传感器、图像采集装置、电子设备及其控制方法与可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统

Patent Citations (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024934A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Interpolation of panchromatic and color pixels
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
CN101939762A (zh) * 2008-02-07 2011-01-05 Nxp股份有限公司 用于重构彩色图像的方法和设备
US20100165157A1 (en) * 2008-12-30 2010-07-01 Ji Cheol Hyun Apparatus for demosaicing colors and method thereof
US20100232692A1 (en) * 2009-03-10 2010-09-16 Mrityunjay Kumar Cfa image with synthetic panchromatic image
US20100302418A1 (en) * 2009-05-28 2010-12-02 Adams Jr James E Four-channel color filter array interpolation
US20100309350A1 (en) * 2009-06-05 2010-12-09 Adams Jr James E Color filter array pattern having four-channels
US20100309347A1 (en) * 2009-06-09 2010-12-09 Adams Jr James E Interpolation for four-channel color filter array
US20130216130A1 (en) * 2010-03-04 2013-08-22 Yasushi Saito Image processing device, image processing method, and program
US20120293695A1 (en) * 2011-02-28 2012-11-22 Seiji Tanaka Color imaging apparatus
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
US20160284053A1 (en) * 2015-03-27 2016-09-29 Intel Corporation Edge sensing measure for raw image processing
US20170053379A1 (en) * 2015-08-19 2017-02-23 Via Alliance Semiconductor Co., Ltd. Demosaicing methods and apparatuses using the same
JP2017091231A (ja) * 2015-11-11 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
CN110463194A (zh) * 2017-03-27 2019-11-15 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
CN108024100A (zh) * 2017-12-15 2018-05-11 上海交通大学 基于改进边缘导向的Bayer格式图像插值方法
CN108122201A (zh) * 2017-12-21 2018-06-05 珠海亿智电子科技有限公司 一种拜耳插值拉链效应去除方法
WO2020232796A1 (zh) * 2019-05-17 2020-11-26 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据匹配方法、装置和存储介质
CN111340693A (zh) * 2019-08-29 2020-06-26 杭州海康慧影科技有限公司 一种Bayer图像的插值方法、装置及电子设备
GB201913734D0 (en) * 2019-09-24 2019-11-06 Rovco Ltd Method and system for colour video processing
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质
CN112788320A (zh) * 2020-12-25 2021-05-11 Oppo广东移动通信有限公司 图像传感器、图像采集装置、电子设备及其控制方法与可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YU ZHANG等: "Demosaicking Based on Direction Categorization in Wireless IP Camera", 2008 4TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS, NETWORKING AND MOBILE COMPUTING》 *
张玉浩: "Bayer图像去马赛克算法研究", 《中国优秀硕士论文全文数据库（电子期刊）信息科技辑》 *
杜宏伟等: "梯度优化的有理函数图像插值", 《中国图象图形学报》 *
王小虎;黎福海;黄银珍;: "一种改进的多纹理方向空域错误隐藏算法", 小型微型计算机系统, no. 07 *
黄元超等: "基于空谱联合和波段分类的高光谱压缩感知重构", 《液晶与显示》 *

Also Published As

Publication number Publication date
CN114466170B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN101924947B (zh) 图像处理装置及图像处理方法、摄像装置
US9582863B2 (en) Image processing apparatus, image processing method, and program
EP2278788B1 (en) Method and apparatus for correcting lens shading
US7671909B2 (en) Method and apparatus for processing Bayer-pattern digital color video signal
US7236191B2 (en) Method and system for image processing with pixel interpolation using second order gradients
CN101272503B (zh) 一种保持图像清晰度的网格噪声消除方法及其装置
US9613396B2 (en) Method and apparatus for demosaicing of color filter array image
US20170257584A1 (en) Image processing device, image processing method, and image processing system
US20070280539A1 (en) Image Processing Method and Image Processing Device
KR102410016B1 (ko) 이미지 처리 장치 및 이미지 처리 시스템
US20130077858A1 (en) Image processing module and image processing method
CN1655588A (zh) 一种对数字图像进行坏点补偿的方法
US8045826B2 (en) Detecting edges in a digital images
US20090060389A1 (en) Image processing apparatus
CN113068011B (zh) 图像传感器、图像处理方法及系统
US8810696B2 (en) Blemish detection method
US7714900B2 (en) Color interpolation processing method
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
CN114466170A (zh) 图像处理方法及系统
CN114500850A (zh) 图像处理方法及装置、系统、可读存储介质
CN109816597B (zh) 去除图像GrGb噪声的方法和装置
US8564680B1 (en) Method and apparatus for noise management for color data synthesis in digital image and video capture systems
KR101706554B1 (ko) 클리어 에지 재현을 위한 영상 처리 장치 및 방법
CN110544210B (zh) 一种基于模糊边界插值的Bayer CFA图像恢复方法
KR20070070692A (ko) 에지 향상과 노이즈 제거를 위한 컬러 보간 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant