CN114466170B - 图像处理方法及系统 - Google Patents

图像处理方法及系统 Download PDF

Info

Publication number
CN114466170B
CN114466170B CN202111000522.8A CN202111000522A CN114466170B CN 114466170 B CN114466170 B CN 114466170B CN 202111000522 A CN202111000522 A CN 202111000522A CN 114466170 B CN114466170 B CN 114466170B
Authority
CN
China
Prior art keywords
pixel
interpolated
sensor image
average
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111000522.8A
Other languages
English (en)
Other versions
CN114466170A (zh
Inventor
陈炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202111000522.8A priority Critical patent/CN114466170B/zh
Publication of CN114466170A publication Critical patent/CN114466170A/zh
Application granted granted Critical
Publication of CN114466170B publication Critical patent/CN114466170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种图像处理方法及系统，其中系统包括：图像获取模块，用于获取传感器图像，传感器图像包括若干白色像素和若干彩色像素，若干白色像素和若干彩色像素呈二维像素阵列排布，白色像素具有白色像素值，彩色像素具有彩色像素值，传感器图像中的各个彩色像素为待插值像素；以及处理模块，用于根据传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个待插值像素的待插白色像素值。由于处理模块在获取待插值像素的待插白色像素值时，综合了彩色像素进行判断，即使在密集的线条区域，也可以正确判断待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终的图像质量。

Description

图像处理方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及系统。
背景技术
白色像素具有比彩色像素更宽的光谱响应，可以接收更多的光子，因此安防监控设备等需要在夜晚工作的设备，为了在低照度环境下看清目标，大多采用由白色像素W构成的黑白图像传感器。
由于彩色图像包含比黑白图像更多的信息，因此设法使彩色图像传感器能够在低照度下拍摄出高质量的彩色图像，具有重要的实际意义。为提升低照度环境下彩色图像的图像质量，现有技术将50％比例的白色像素加入到RGB彩色图像传感器中，形成RGBW像素阵列，在一定程度上改善了低照度下的图像质量。
然而，现有技术中在对由增加白色像素所形成的图像传感器进行W像素插值时仍存在诸多问题，进而影响最终的图像质量。
发明内容
本发明解决的技术问题是提供一种图像处理方法及系统，以提升图像质量。
为解决上述问题，本发明的技术方案提供一种图像处理方法，包括：获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。
可选的，根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值的方法包括：在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值。
可选的，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；在所述传感器图像中，获取所述待插值像素的水平梯度Dh；提供第一梯度阈值thr_1；根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；当|Dv－Dh|≤thr_1时，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性。
可选的，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；则所述平均竖直梯度Dvm为：
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
可选的，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
或
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；则所述平均水平梯度Dhm为：
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
可选的，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
或
可选的，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
可选的，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：提供第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性。
可选的，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法包括：在所述传感器图像中，当判定所述像素纹理沿水平方向时，获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法还包括：在所述传感器图像中，当判定所述像素纹理无方向性时，获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
可选的，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
可选的，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
可选的，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
可选的，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
相应的，本发明的技术方案中还提供了一种图像处理系统，包括：图像获取模块，用于获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；以及处理模块，用于根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。
可选的，所述处理模块包括：方向性获取模块，用于在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；以及计算模块，用于根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值。
可选的，所述方向性获取模块包括：竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的水平梯度Dh；第一输入模块，用于提供第一梯度阈值thr_1；第一判断模块，根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
可选的，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
可选的，所述方向性获取模块还包括：平均竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm；平均水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm；第二判断模块，用于根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
可选的，所述方向性获取模块还包括：第二输入模块，用于提供第二梯度阈值thr_2；所述第二判断模块还用于：根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性。
可选的，平均竖直梯度Dvm为：
或
或
或
其中，mxli为所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；mxli+1为所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值；mxli-1为所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值；mxri为所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；mxri+1为所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值；mxri-1为所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值。
可选的，平均水平梯度Dhm为：
或
或
或
其中，mytj为所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；mytj+1为所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值；mytj-1为所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值；mybj为所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；mybj+1为所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值；mybj-1为所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值。
可选的，所述计算模块包括：第一计算模块，在所述传感器图像中，当判定所述像素纹理沿水平方向时，用于获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；以及在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，所述计算模块还包括：第二计算模块，在所述传感器图像中，当判定所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
可选的，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
可选的，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
可选的，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
可选的，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
可选的，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
与现有技术相比，本发明的技术方案具有以下优点：
本发明的技术方案的方法中，根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。由于在获取所述待插值像素的待插白色像素值时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终的图像质量。
进一步，当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性；且在所述传感器图像中，当判定所述像素纹理无方向性时，获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。能够减少在所述待插值像素一侧不是密集线条区域时所带来的插值方向误判，进而减少密集线条端部粘连的现象。
本发明的技术方案的系统中，包括：处理模块，用于根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。由于所述处理模块在获取所述待插值像素的待插白色像素值时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终的图像质量。
进一步，还包括：第二输入模块，用于提供第二梯度阈值thr_2；所述第二判断模块还用于，当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性；以及第二计算模块，在所述传感器图像中，当判定所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。能够减少在所述待插值像素一侧不是密集线条区域时所带来的插值方向误判，进而减少密集线条端部粘连的现象。
附图说明
图1是一种W像素占50％的RGBW图像传感器。
图2是一种W像素占50％的RGBW图像传感器获取的水平方向的密集线条图像；
图3是图2中不考虑彩色像素后的图像；
图4是本发明实施例的图像处理方法的流程示意图；
图5至图18以及图23至图24是本发明一实施例的图像处理方法各步骤的结构示意图；
图19是本发明另一实施例中mxri+mxli-mxri-1-mxli-1的计算方法示意图；
图20是本发明另一实施例中mxri+mxli-mxri+1-mxli+1的计算方法示意图；
图21是本发明另一实施例中mytj+mybj-mytj-1-mybj-1的计算方法示意图；
图22是本发明另一实施例中mytj+mybj-mytj+1-mybj+1的计算方法示意图；
图25是本发明另一实施例的待插白色像素值获取示意图；
图26是本发明一实施例的图像处理系统结构示意图；
图27是本发明另一实施例的图像处理系统结构示意图。
具体实施方式
正如背景技术所述，现有技术中在对由增加白色像素所形成的图像传感器进行W像素插值时仍存在诸多问题，进而影响最终的图像质量。以下将结合附图进行具体说明。
图1是一种W像素占50％的RGBW图像传感器。
请参考图1，包括：若干彩色滤色器100和若干白色滤色器101，在水平方向X上，所述彩色滤色器100和所述白色滤色器101间隔排布，且在竖直方向Y上，所述彩色滤色器100和所述白色滤色器101间隔排布。
在本实施例中，所述彩色滤色器100用于接收彩色光，进而形成彩色像素(R像素、G像素或B像素)，所述白色滤色器101用于接收白色光，进而形成白色像素(W像素)。因此，由图1所示的图像传感器捕获到的原始图像是与彩色像素阵列排布相应的马赛克图像，要生成可用于观看的彩色图像，必须进行去马赛克处理。
现有技术针对由图1所示的图像传感器所获取的W像素占50％的RGBW图像进行去马赛克处理时，是先对图像中的白色像素按照边缘方向性进行插值，获得完整的W通道，然后以完整的W通道为基础，来插值出完整的R通道、G通道以及B通道。
然而，现有技术在对W通道插值的过程中，完全依靠白色像素的信息，而没有利用到彩色像素的信息，这导致在线条密集的区域，无法正确判断线条的方向性，从而造成插值方向错误，得到明显的错误图像。
以下将结合附图对现有技术在线条密集区导致插值方向错误的原因进行具体说明。
请参考图2，图2是一种W像素占50％的RGBW图像传感器获取的水平方向的密集线条图像，包括：若干白色像素103和若干彩色像素104，在水平方向X上，所述白色像素103和所述彩色像素104间隔排布，且在所述竖直方向Y上，所述白色像素103和所述彩色像素104间隔排布。
需要说明的是，图2中标注“W”的区域为白色像素103所在的位置，未标注“W”的区域为彩色像素104所在的位置。
在现有技术的W通道插值过程中，就是在每个所述彩色像素104的位置计算出插值白色像素值，从而使整幅图像的每一个像素的位置都具有白色像素值。
然而，现有技术在计算W通道插值时，所述彩色像素104是不做考虑。用到的所述白色像素103在水平方向X与竖直方向Y完全对称(如图3所示)。因此，现有技术不可能正确地判断出每个待插值的所述彩色像素104位置的W通道插值的方向。
当W通道插值的方向判断错误时，不仅导致对每个所述彩色像素104的位置计算获得的插值白色像素值错误，同时，由于后续的彩色通道插值都是以所述插值白色像素值为基础进行获取的，因此，进一步导致了彩色通道插值错误。
在此基础上，本发明提供一种图像处理方法及系统，根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。由于在获取所述待插值像素的待插白色像素值时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述待插值像素的插值方向，进而获取更精确的待插白色像素值，从而提升最终的图像质量。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细地说明。
图4本发明实施例的图像处理方法的流程示意图。
请参考图4，所述图像处理方法包括：
步骤S101，获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；
步骤S102，根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值。
以下将结合附图对所述图像处理方法的各个步骤进行详细说明。
图5至图18以及图23至图24是本发明实施例的图像处理方法各步骤的结构示意图。
请参考图5，获取传感器图像200，所述传感器图像200包括若干白色像素201和若干彩色像素202，若干所述白色像素201和若干所述彩色像素202呈二维像素阵列排布，所述白色像素201具有白色像素值，所述彩色像素202具有彩色像素值，所述传感器图像200中的各个彩色像素202为待插值像素203。
在本实施例中，在水平方向X上，所述白色像素201与所述彩色像素202间隔排布；且在竖直方向Y上，所述白色像素201与所述彩色像素202间隔排布。
在本实施例中，若干所述彩色像素202包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
在本实施例中，在所述水平方向X上，每6个连续的像素中均包括3个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向Y上，每6个连续的像素中均包括3个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
在本实施例中，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素。
在一个实施例中，所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
在本实施例中，在获取所述获取传感器图像200之后，还包括：根据所述传感器图像200中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素203的待插白色像素值。具体过程请参考图6至图18、图23至图24。
在本实施例中，根据所述传感器图像200中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素203的待插白色像素值的方法包括：在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性；根据所述像素纹理的方向性获取所述待插值像素203的待插白色像素值。具体请参考图6至图18、图23至图24。
请参考图6，在所述传感器图像200中，获取所述待插值像素203的竖直梯度Dv；以及在所述传感器图像200中，获取所述待插值像素203的水平梯度Dh。
在本实施例中，在所述待插值像素203的位置，通过周围的所述白色像素201的白色像素值来计算所述传感器图像200的水平梯度Dh和竖直梯度Dv。
在现有技术中，关于所述水平梯度Dh和所述竖直梯度Dv的计算方法有多种，请继续参考图6，如：
Dh＝|W7-W6|；
Dv＝|W4-W9|；或
其中，图6中的W1～W12～为所述传感器图像200中的各个所述白色像素201的白色像素值。
在本实施例中，在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性的方法包括：提供第一梯度阈值thr_1；根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像200中，判定所述像素纹理沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像200中，判定所述像素纹理沿竖直方向。
当|Dv－Dh|>thr_1时，认为所述水平梯度Dh和所述竖直梯度Dv的大小差别明显，所述第一梯度阈值thr_1为正数，可根据实验或经验设置，通常可设置为所述传感器图像200中梯度值上限的10％～30％。例如对于归一化的图像，如果梯度值上限等于1，则所述第一梯度阈值thr_1可以取0.1～0.3。
在本实施例中，所述第一梯度阈值thr_1取0.2。
当|Dv－Dh|≤thr_1时，则认为所述水平梯度Dh和所述竖直梯度Dv的大小差别不明显，此时通过所述待插值像素203周围的白色像素201和彩色像素202，在所述传感器图像200中，获取所述待插值像素203的平均竖直梯度Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性。具体请参考图7至图18。
请参考图7，获取所述传感器图像200中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素203位于第i行中的第j列；获取所述传感器图像200中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像200中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1。
请参考图8，获取所述传感器图像200中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素203位于第i行中的第j列；获取所述传感器图像200中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像200中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
在本实施例中，由于所述待插值像素203并不是处于第j-3列～第j+2列的6个连续像素、或第j-2列～第j+3列的6个连续像素的中间位置。因此，为了使得所述平均竖直梯度Dvm的计算结果更加准确，采用的偏左平均像素mxl和偏右平均像素mxr的两种取值方法。
请参考图9，获取所述传感器图像200中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素203位于第j列中的第i行；获取所述传感器图像200中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像200中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1。
请参考图10，获取所述传感器图像200中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素203位于第j列中的第i行；获取所述传感器图像200中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像200中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
在本实施例中，由于所述待插值像素203并不是处于第i-3行～第i+2行的6个连续像素、或第i-2行～第i+3行的6个连续像素的中间位置。因此，为了使得所述平均水平梯度Dhm的计算结果更加准确，采用的偏上平均像素myt和偏下平均像素myb的两种取值方法。
为便于理解，本实施例中的所述平均水平梯度Dhm和所述平均竖直梯度Dvm的计算方法可以表示成滤波器的形式：
请参考图11，图11是本发明实施例的mxli-mxli-1的计算方法示意图，第一滤波器301被应用于3行×7列像素的第一输入像素单位401，所述待插值像素203位于所述第一输入像素单位401的中心处。所述第一输入像素单位401为所述传感器图像200中的一部分，所述第一输入像素单位401中包括涉及到计算mxli-mxli-1的若干白色像素201和若干彩色像素202。
所述第一滤波器301是具有如下设置的滤波器：尺寸为3×7像素，与第i行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为1/6，与第i-1行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0；图中的乘号“×”表示3×7像素的所述第一输入像素单位401中的每个像素位置的像素值与所述第一滤波器301的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图12，图12是本发明实施例的mxli-mxli+1的计算方法示意图，第二滤波器302是具有如下设置的滤波器：尺寸为3×7像素，与第i行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为1/6，与第i+1行中的第j-3列～第j+2列对应的6个像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0；图中的乘号“×”表示3×7像素的第一输入像素单位401中的每个像素位置的像素值与所述第二滤波器302的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图13，图13是本发明实施例的mxri-mxri-1的计算方法示意图，图13中涉及的第三滤波器303的设置原理、以及所述第一输入像素单位401的计算过程，请参考所述第一滤波器301的相关说明，在此将不再进行赘述。
类似的，请参考图14，图14是本发明实施例的mxri-mxri+1的计算方法示意图，图14中涉及的第四滤波器304的设置原理、以及所述第一输入像素单位401的计算过程，请参考所述第一滤波器301的相关说明，在此将不再进行赘述。
类似的，请参考图15，图15是本发明实施例的mytj-mytj-1的计算方法示意图，第五滤波器305被应用于7行×3列像素的第二输入像素单位402，所述待插值像素203位于所述第二输入像素单位402的中心处。所述第二输入像素单位402为所述传感器图像200中的一部分，所述第二输入像素单位402中包括涉及到计算mytj-mytj-1的若干白色像素201和若干彩色像素202。
所述第二输入像素单位402中201代表的像素为白色像素，202代表的像素是彩色像素。
所述第五滤波器305是具有如下设置的滤波器：尺寸为7×3像素，与第j列中的第i-3行～第i+2行对应的6个像素位置的滤波器因子均为1/6，与第j-1列中的第i-3行～第i+2行对应的6个像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0；图中的乘号“×”表示7×3像素的所述第二输入像素单位402中的每个像素位置的像素值与所述第五滤波器305的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，请参考图16，图16是本发明实施例的mytj-mytj+1的计算方法示意图，图16中涉及的第六滤波器306的设置原理、以及所述第二输入像素单位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再进行赘述。
类似的，请参考图17，图17是本发明实施例的mybj-mybj-1的计算方法示意图，图17中涉及的第七滤波器307的设置原理、以及所述第二输入像素单位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再进行赘述。
类似的，请参考图18，图18是本发明实施例的mybj-mybj+1的计算方法示意图，图18中涉及的第八滤波器308的设置原理、以及所述第二输入像素单位402的计算过程，请参考所述第五滤波器305的相关说明，在此将不再进行赘述。
在一个实施例中，为了简化计算过程，提高运算效率，所述平均竖直梯度Dvm的计算还可以只采用偏左平均像素mxl或偏右平均像素mxr的取值方法，即所述平均竖直梯度Dvm为：
相应的，所述平均水平梯度Dhm的计算还可以只采用偏上平均像素myt或偏下平均像素myb的取值方法，即所述平均水平梯度Dhm为：
或
因此，会有四个不同的实施方式用于计算所述平均水平梯度Dhm和所述平均竖直梯度Dvm，即：
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm为：
上述四个实施方式中的mxli-mxli-1、mxli-mxli+1、mxri-mxri-1、mxri-mxri+1、mytj-mytj-1、mytj-mytj+1、mybj-mybj-1以及mybj-mybj+1的计算方法请参考图11至图18、以及前述涉及的相关说明，在此将不再进行赘述。
在一个实施例中，所述平均水平梯度Dhm和所述平均竖直梯度Dvm还可以为：
表示为滤波器的形式，计算mxri+mxli-mxri-1-mxli-1的方法如图19所示：第九滤波器309被应用于3行×7列像素的所述第一输入像素单位401，所述待插值像素203位于所述第一输入像素单位401的中心处。所述第一输入像素单位401为所述传感器图像200中的一部分，所述第一输入像素单位401中包括涉及到计算mxri+mxli-mxri-1-mxli-1的若干白色像素201和若干彩色像素202。
所述第九滤波器309是具有如下设置的滤波器：尺寸为3×7像素，第i行中第j-2列～j+2列5个像素位置的滤波器因子均为2/6，第i行中第j-3列和j+3列的像素位置的滤波器因子均为1/6，第i-1行中第j-2列～j+2列5个像素位置的滤波器因子均为-2/6，第i-1行中第j-3列和j+3列的像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第九滤波器309是由所述第一滤波器301与所述第三滤波器303相加得到的。图中的乘号“×”表示3×7像素的所述第一输入像素单位401中的每个像素位置的像素值与所述第九滤波器309的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，计算mxri+mxli-mxri+1-mxli+1的方法如图20所示：第十滤波器310被应用于3行×7列像素的所述第一输入像素单位401，所述待插值像素203位于所述第一输入像素单位401的中心处。所述第一输入像素单位401为所述传感器图像200中的一部分，所述第一输入像素单位401中包括涉及到计算mxri+mxli-mxri+1-mxli+1的若干白色像素201和若干彩色像素202。
所述第十滤波器310是具有如下设置的滤波器：尺寸为3×7像素，第i行中第j-2列～j+2列5个像素位置的滤波器因子均为2/6，第i行中第j-3列和j+3列的像素位置的滤波器因子均为1/6，第i+1行中第j-2列～j+2列5个像素位置的滤波器因子均为-2/6，第i+1行中第j-3列和j+3列的像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十滤波器310是由所述第二滤波器302与所述第四滤波器304相加得到的。图中的乘号“×”表示3×7像素的所述第一输入像素单位401中的每个像素位置的像素值与所述第十滤波器310的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，计算mytj+mybj-mytj-1-mybj-1的方法如图21所示：第十一滤波器311被应用于7行×3列像素的第二输入像素单位402，所述待插值像素203位于所述第二输入像素单位402的中心处。所述第二输入像素单位402为所述传感器图像200中的一部分，所述第二输入像素单位402中包括涉及到计算mytj+mybj-mytj-1-mybj-1的若干白色像素201和若干彩色像素202。
所述第二输入像素单位402中201代表的像素是白色像素，202代表的像素是彩色像素。
所述第十一滤波器311是具有如下设置的滤波器：尺寸为7×3像素，第j列中第i-2行～i+2行5个像素位置的滤波器因子均为2/6，第j列中第i-3行和i+3行的像素位置的滤波器因子均为1/6，第j-1列中第i-2行～i+2行5个像素位置的滤波器因子均为-2/6，第j-1列中第i-3行和i+3行的像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十一滤波器311是由所述第五滤波器305与所述第七滤波器307相加得到的。图中的乘号“×”表示7×3像素的所述第二输入像素单位402中的每个像素位置的像素值与第十一滤波器311的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
类似的，计算mytj+mybj-mytj+1-mybj+1的方法如图22所示：第十二滤波器312被应用于7行×3列像素的第二输入像素单位402，所述待插值像素203位于所述第二输入像素单位402的中心处。所述第二输入像素单位402为所述传感器图像200中的一部分，所述第二输入像素单位402中包括涉及到计算mytj+mybj-mytj+1-mybj+1的若干白色像素201和若干彩色像素202。
所述第十二滤波器312是具有如下设置的滤波器：尺寸为7×3像素，第j列中第i-2行～i+2行5个像素位置的滤波器因子均为2/6，第j列中第i-3行和i+3行的像素位置的滤波器因子均为1/6，第j+1列中第i-2行～i+2行5个像素位置的滤波器因子均为-2/6，第j+1列中第i-3行和i+3行的像素位置的滤波器因子均为-1/6，其他像素位置的滤波器因子均为0。所述第十二滤波器312是由所述第六滤波器306与所述第八滤波器308相加得到的。图中的乘号“×”表示7×3像素的所述第二输入像素单位402中的每个像素位置的像素值与第十二滤波器312的相应像素位置处的滤波器因子相乘，并且将各个相乘结果相加。
在本实施例中，在获取所述平均竖直梯度Dvm和所述平均水平梯度Dhm之后，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：
当Dvm≥Dhm时，则在所述传感器图像200中，判定所述像素纹理沿水平方向；
当Dvm＜Dhm时，则在所述传感器图像200中，判定所述像素纹理沿竖直方向。
在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性之后，根据所述像素纹理的方向性获取所述待插值像素203的待插白色像素值Wd。具体请参考图23至图24。
请参考图23，在所述传感器图像200中，当判定所述像素纹理沿水平方向X时，获取与所述待插值像素203同一行中，且与所述待插值像素203分别相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd，即：
Wd＝(W3+W4)/2；
其中，W3和W4是所述待插值像素203相邻两个所述白色像素201的白色像素值。
请参考图24，在所述传感器图像200中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素203同一列中，且与所述待插值像素203分别相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd，即：
Wd＝(W1+W2)/2；
其中，W1和W2是所述待插值像素203相邻两个所述白色像素201的白色像素值。
根据所述传感器图像200中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素203的待插白色像素值Wd。由于在获取所述待插值像素203的待插白色像素值Wd时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述待插值像素203的插值方向，进而获取更精确的待插白色像素值Wd，减少了错误插值结果的出现，从而提升最终的图像质量。
在一个实施例中，在获取所述平均竖直梯度Dvm和所述平均水平梯度Dhm之后，还包括：提供第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：
当Dvm－Dhm＞thr_2时，则在所述传感器图像200中，判定所述像素纹理沿水平方向；
当Dhm－Dvm＞thr_2时，则在所述传感器图像200中，判定所述像素纹理沿竖直方向；
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像200中，判定所述像素纹理无方向性。
所述第二梯度阈值thr_2是正数，具体数值可以根据实验或经验确定，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
在一个实施例中，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的5％。
在本实施例中，当判定所述像素纹理沿水平方向X或竖直方向Y时，所述待插值像素203的待插白色像素值Wd的计算过程请参考图23和图24以及相关说明所述，在此将不再进行赘述。
请参考图25，当判定所述像素纹理无方向性时，获取与所述待插值像素203同一行中和同一列中，且分别与所述待插值像素203分别相邻的四个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd，即：
Wd＝(W1+W2+W3+W4)/4；
其中，W1、W2、W3和W4是所述待插值像素203相邻四个所述白色像素201的白色像素值。
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像200中，判定所述像素纹理无方向性；且在所述传感器图像200中，当判定所述像素纹理无方向性时，获取与所述待插值像素203同一行中和同一列中，且分别与所述待插值像素203分别相邻的四个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd。能够减少在所述待插值像素203一侧不是密集线条区域时所带来的插值方向误判，进而减少密集线条端部粘连的现象。
相应的，本发明的实施例中还提供了一种图像处理系统，请参考图26，包括：图像获取模块500，用于获取传感器图像200，所述传感器图像200包括若干白色像素201和若干彩色像素202，若干所述白色像素201和若干所述彩色像素202呈二维像素阵列排布，所述白色像素201具有白色像素值，所述彩色像素202具有彩色像素值，所述传感器图像200中的各个彩色像素202为待插值像素203；以及处理模块501，用于根据所述传感器图像200中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素203的待插白色像素值Wd。
本领域技术人员应当理解，本实施例中提供的图像处理系统与图1至图25所示实施例中提供的图像处理方法，两者在具体的实现原理和逻辑上是相辅相成的。因此，本实施例中涉及的名词解释可以参考图1至图25所示实施例中的相关描述，在此不再赘述。
在本实施例中，由于所述处理模块501在获取所述待插值像素203的待插白色像素值Wd时，综合了所述彩色像素值进行判断，即使在密集的线条区域，也可以正确判断所述待插值像素203的插值方向，进而获取更精确的待插白色像素值Wd，从而提升最终的图像质量。
在本实施例中，所述处理模块501包括：方向性获取模块5011，用于在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性；以及计算模块5012，用于根据所述像素纹理的方向性获取所述待插值像素203的待插白色像素值Wd。
在本实施例中，所述方向性获取模块5011包括：竖直梯度获取模块50111，用于在所述传感器图像200中，获取所述待插值像素203的竖直梯度Dv；水平梯度获取模块50112，用于在所述传感器图像200中，获取所述待插值像素203的水平梯度Dh；第一输入模块50113，用于提供第一梯度阈值thr_1；第一判断模块50114，根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：当Dv－Dh＞thr_1时，则在所述传感器图像200中，判定所述像素纹理沿水平方向X；当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向Y。
所述第一梯度阈值thr_1为正数，可根据实验或经验设置，通常可设置为所述传感器图像200中梯度值上限的10％～30％。例如对于归一化的图像，如果梯度值上限等于1，则所述第一梯度阈值thr_1可以取0.1～0.3。
在本实施例中，所述第一梯度阈值thr_1取0.2。
在本实施例中，所述方向性获取模块5011还包括：平均竖直梯度获取模块50115，用于在所述传感器图像200中，获取所述待插值像素203的平均竖直梯度Dvm；平均水平梯度获取模块50116，用于在所述传感器图像200中，获取所述待插值像素203的平均水平梯度Dhm；第二判断模块50117，用于根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm；在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像200中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像200中，判定所述像素纹理沿竖直方向。
请参考图27，在一个实施例中，所述方向性获取模块5011还包括：第二输入模50118，用于提供第二梯度阈值thr_2；所述第二判断模块50117还用于：根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像200中，获取所述待插值像素203的像素纹理的方向性，即：当Dvm－Dhm＞thr_2时，则在所述传感器图像200中，判定所述像素纹理沿水平方向X；当Dhm－Dvm＞thr_2时，则在所述传感器图像200中，判定所述像素纹理沿竖直方向Y；当|Dhm－Dvm|≤thr_2时，则在所述传感器图像200中，判定所述像素纹理无方向性。
在本实施例中，所述平均竖直梯度Dvm为：
其中，mxli为所述传感器图像200中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值，且所述待插值像素203位于第i行中的第j列；mxli+1为所述传感器图像200中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值；mxli-1为所述传感器图像200中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值；mxri为所述传感器图像200中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值，且所述待插值像素203位于第i行中的第j列；mxri+1为所述传感器图像200中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值；mxri-1为所述传感器图像200中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值。
在一个实施例中，所述平均竖直梯度Dvm还可以为：
在一个实施例中，所述平均竖直梯度Dvm还可以为：
在一个实施例中，所述平均竖直梯度Dvm还可以为：
在本实施例中，所述平均水平梯度Dhm为：
其中，mytj为所述传感器图像200中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值，且所述待插值像素203位于第j列中的第i行；mytj+1为所述传感器图像200中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值；mytj-1为所述传感器图像200中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值；mybj为所述传感器图像200中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值，且所述待插值像素203位于第j列中的第i行；mybj+1为所述传感器图像200中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值；mybj-1为所述传感器图像200中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值。
在一个实施例中，所述平均水平梯度Dhm还可以为：
在一个实施例中，所述平均水平梯度Dhm还可以为：
在一个实施例中，所述平均水平梯度Dhm还可以为：
在本实施例中，所述计算模块5012包括：第一计算模块50121，在所述传感器图像200中，当判定所述像素纹理沿水平方向X时，用于获取与所述待插值像素203同一行中，且与所述待插值像素203分别相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd；以及在所述传感器图像200中，当判定所述像素纹理沿竖直方向Y时，获取与所述待插值像素203同一列中，且与所述待插值像素203分别相邻的两个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd。
请继续参考图27，在一个实施例中，所述计算模块5012还包括：第二计算模块50122，在所述传感器图像200中，当判定所述像素纹理无方向性时，用于获取与所述待插值像素203同一行中和同一列中，且分别与所述待插值像素203分别相邻的四个所述白色像素201的白色像素值的平均值，并以所述平均值作为所述待插值像素203的待插白色像素值Wd。
所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
在一个实施例中，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的5％
在本实施例中，在水平方向X上，所述白色像素201与所述彩色像素202间隔排布；且在竖直方向Y上，所述白色像素201与所述彩色像素202间隔排布。
在本实施例中，若干所述彩色像素202包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
在本实施例中，在所述水平方向X上，每6个连续的像素中均包括3个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向Y上，每6个连续的像素中均包括3个所述白色像素201、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
在本实施例中，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素。
在一个实施例中，或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；
根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值；
根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值的方法包括：在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值；
在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；在所述传感器图像中，获取所述待插值像素的水平梯度Dh；提供第一梯度阈值thr_1；根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dv－Dh|≤thr_1时，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm和平均水平梯度Dhm，且根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；
在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；则所述平均竖直梯度Dvm为：
或者，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
或者，在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm的方法还包括：获取所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli+1；获取所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值mxli-1；获取所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri，且所述待插值像素位于第i行中的第j列；获取所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri+1；获取所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值mxri-1；则所述平均竖直梯度Dvm为：
或
在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；则所述平均水平梯度Dhm为：
或者，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
或者，在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm的方法还包括：获取所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj+1；获取所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值mytj-1；获取所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj，且所述待插值像素位于第j列中的第i行；获取所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj+1；获取所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值mybj-1；则所述平均水平梯度Dhm为：
或
2.如权利要求1所述图像处理方法，其特征在于，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
3.如权利要求1所述图像处理方法，其特征在于，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向。
4.如权利要求1所述图像处理方法，其特征在于，根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性的方法包括：提供第二梯度阈值thr_2；根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性。
5.如权利要求1、3或4所述图像处理方法，其特征在于，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法包括：
在所述传感器图像中，当判定所述像素纹理沿水平方向时，获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；
在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
6.如权利要求4所述图像处理方法，其特征在于，根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值的方法还包括：
在所述传感器图像中，当判定所述像素纹理无方向性时，获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
7.如权利要求4所述图像处理方法，其特征在于，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
8.如权利要求1所述图像处理方法，其特征在于，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
9.如权利要求8所述图像处理方法，其特征在于，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
10.如权利要求9所述图像处理方法，其特征在于，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
11.如权利要求9所述图像处理方法，其特征在于，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
12.一种图像处理系统，其特征在于，包括：
图像获取模块，用于获取传感器图像，所述传感器图像包括若干白色像素和若干彩色像素，若干所述白色像素和若干所述彩色像素呈二维像素阵列排布，所述白色像素具有白色像素值，所述彩色像素具有彩色像素值，所述传感器图像中的各个彩色像素为待插值像素；以及
处理模块，用于根据所述传感器图像中的白色像素值、或白色像素值和彩色像素值，获取各个所述待插值像素的待插白色像素值；
所述处理模块包括：
方向性获取模块，用于在所述传感器图像中，获取所述待插值像素的像素纹理的方向性；以及
计算模块，用于根据所述像素纹理的方向性获取所述待插值像素的待插白色像素值；
所述方向性获取模块包括：
竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的竖直梯度Dv；
水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的水平梯度Dh；
第一输入模块，用于提供第一梯度阈值thr_1；
第一判断模块，根据所述竖直梯度Dv、水平梯度Dh以及第一梯度阈值thr_1，在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dv－Dh＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dh－Dv＞thr_1时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
所述方向性获取模块还包括：
平均竖直梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均竖直梯度Dvm；
平均水平梯度获取模块，用于在所述传感器图像中，获取所述待插值像素的平均水平梯度Dhm；
第二判断模块，用于根据所述平均竖直梯度Dvm和所述平均水平梯度Dhm；在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：当Dvm≥Dhm时，则在所述传感器图像中，判定所述像素纹理沿水平方向；当Dvm＜Dhm时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；所述方向性获取模块还包括：
第二输入模块，用于提供第二梯度阈值thr_2；
所述第二判断模块还用于：根据所述平均竖直梯度Dvm、平均水平梯度Dhm以及第二梯度阈值thr_2在所述传感器图像中，获取所述待插值像素的像素纹理的方向性，即：
当Dvm－Dhm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿水平方向；
当Dhm－Dvm＞thr_2时，则在所述传感器图像中，判定所述像素纹理沿竖直方向；
当|Dhm－Dvm|≤thr_2时，则在所述传感器图像中，判定所述像素纹理无方向性；
平均竖直梯度Dvm为：
或
或
或
其中，mxli为所述传感器图像中第i行中的第j-3列～第j+2列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；
mxli+1为所述传感器图像中第i+1行中的第j-3列～第j+2列的6个连续像素的平均像素值；
mxli-1为所述传感器图像中第i-1行中的第j-3列～第j+2列的6个连续像素的平均像素值；
mxri为所述传感器图像中第i行中的第j-2列～第j+3列的6个连续像素的平均像素值，且所述待插值像素位于第i行中的第j列；
mxri+1为所述传感器图像中第i+1行中的第j-2列～第j+3列的6个连续像素的平均像素值；
mxri-1为所述传感器图像中第i-1行中的第j-2列～第j+3列的6个连续像素的平均像素值；
平均水平梯度Dhm为：
或
或
或
其中，mytj为所述传感器图像中第j列中的第i-3行～第i+2行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；
mytj+1为所述传感器图像中第j+1列中的第i-3行～第i+2行的6个连续像素的平均像素值；
mytj-1为所述传感器图像中第j-1列中的第i-3行～第i+2行的6个连续像素的平均像素值；
mybj为所述传感器图像中第j列中的第i-2行～第i+3行的6个连续像素的平均像素值，且所述待插值像素位于第j列中的第i行；
mybj+1为所述传感器图像中第j+1列中的第i-2行～第i+3行的6个连续像素的平均像素值；
mybj-1为所述传感器图像中第j-1列中的第i-2行～第i+3行的6个连续像素的平均像素值。
13.如权利要求12所述图像处理系统，其特征在于，所述第一梯度阈值thr_1的取值范围为所述传感器图像中梯度值上限的10％～30％。
14.如权利要求12所述图像处理系统，其特征在于，所述计算模块包括：
第一计算模块，在所述传感器图像中，当判定所述像素纹理沿水平方向时，用于获取与所述待插值像素同一行中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值；以及
在所述传感器图像中，当判定所述像素纹理沿竖直方向时，获取与所述待插值像素同一列中，且与所述待插值像素分别相邻的两个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
15.如权利要求12所述图像处理系统，其特征在于，所述计算模块还包括：第二计算模块，在所述传感器图像中，当判定所述像素纹理无方向性时，用于获取与所述待插值像素同一行中和同一列中，且分别与所述待插值像素分别相邻的四个所述白色像素的白色像素值的平均值，并以所述平均值作为所述待插值像素的待插白色像素值。
16.如权利要求12所述图像处理系统，其特征在于，所述第二梯度阈值thr_2为所述第一梯度阈值thr_1的2％～8％。
17.如权利要求12所述图像处理系统，其特征在于，在水平方向上，所述白色像素与所述彩色像素间隔排布；且在竖直方向上，所述白色像素与所述彩色像素间隔排布。
18.如权利要求17所述图像处理系统，其特征在于，若干所述彩色像素包括：若干第一彩色像素、若干第二彩色像素和若干第三彩色像素。
19.如权利要求18所述图像处理系统，其特征在于，在所述水平方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素；且在所述竖直方向上，每6个连续的像素中均包括3个所述白色像素、1个所述第一彩色像素、1个所述第二彩色像素以及1个所述第三彩色像素。
20.如权利要求18所述图像处理系统，其特征在于，所述第一彩色像素为红色像素，所述第二彩色像素为绿色像素，所述第三彩色像素为蓝色像素；或者所述第一彩色像素为青色像素，所述第二彩色像素为黄色像素，所述第三彩色像素为品红色像素。
CN202111000522.8A 2021-08-27 2021-08-27 图像处理方法及系统 Active CN114466170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000522.8A CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000522.8A CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Publications (2)

Publication Number Publication Date
CN114466170A CN114466170A (zh) 2022-05-10
CN114466170B true CN114466170B (zh) 2023-10-31

Family

ID=81405881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000522.8A Active CN114466170B (zh) 2021-08-27 2021-08-27 图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN114466170B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
CN101939762A (zh) * 2008-02-07 2011-01-05 Nxp股份有限公司 用于重构彩色图像的方法和设备
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
JP2017091231A (ja) * 2015-11-11 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN108024100A (zh) * 2017-12-15 2018-05-11 上海交通大学 基于改进边缘导向的Bayer格式图像插值方法
CN108122201A (zh) * 2017-12-21 2018-06-05 珠海亿智电子科技有限公司 一种拜耳插值拉链效应去除方法
GB201913734D0 (en) * 2019-09-24 2019-11-06 Rovco Ltd Method and system for colour video processing
CN110463194A (zh) * 2017-03-27 2019-11-15 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111340693A (zh) * 2019-08-29 2020-06-26 杭州海康慧影科技有限公司 一种Bayer图像的插值方法、装置及电子设备
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
WO2020232796A1 (zh) * 2019-05-17 2020-11-26 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据匹配方法、装置和存储介质
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质
CN112788320A (zh) * 2020-12-25 2021-05-11 Oppo广东移动通信有限公司 图像传感器、图像采集装置、电子设备及其控制方法与可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
KR101580168B1 (ko) * 2008-12-30 2015-12-24 주식회사 동부하이텍 컬러 보간 장치
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
RU2551649C2 (ru) * 2011-02-28 2015-05-27 Фуджифилм Корпорэйшн Устройство формирования цветного изображения
US9990695B2 (en) * 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
CN105141838B (zh) * 2015-08-19 2018-08-07 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
CN101939762A (zh) * 2008-02-07 2011-01-05 Nxp股份有限公司 用于重构彩色图像的方法和设备
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置
JP2017091231A (ja) * 2015-11-11 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法及び画像処理プログラム
CN105979233A (zh) * 2016-06-30 2016-09-28 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
CN110463194A (zh) * 2017-03-27 2019-11-15 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
CN108024100A (zh) * 2017-12-15 2018-05-11 上海交通大学 基于改进边缘导向的Bayer格式图像插值方法
CN108122201A (zh) * 2017-12-21 2018-06-05 珠海亿智电子科技有限公司 一种拜耳插值拉链效应去除方法
WO2020232796A1 (zh) * 2019-05-17 2020-11-26 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据匹配方法、装置和存储介质
CN111340693A (zh) * 2019-08-29 2020-06-26 杭州海康慧影科技有限公司 一种Bayer图像的插值方法、装置及电子设备
GB201913734D0 (en) * 2019-09-24 2019-11-06 Rovco Ltd Method and system for colour video processing
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111510692A (zh) * 2020-04-23 2020-08-07 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质
CN112788320A (zh) * 2020-12-25 2021-05-11 Oppo广东移动通信有限公司 图像传感器、图像采集装置、电子设备及其控制方法与可读存储介质
CN113068011A (zh) * 2021-03-30 2021-07-02 锐芯微电子股份有限公司 图像传感器、图像处理方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Bayer图像去马赛克算法研究;张玉浩;《中国优秀硕士论文全文数据库（电子期刊）信息科技辑》;全文 *
Demosaicking Based on Direction Categorization in Wireless IP Camera;Yu Zhang等;2008 4th International Conference on Wireless Communications, Networking and Mobile Computing》;全文 *
一种改进的多纹理方向空域错误隐藏算法;王小虎;黎福海;黄银珍;;小型微型计算机系统(第07期);全文 *
基于空谱联合和波段分类的高光谱压缩感知重构;黄元超等;《液晶与显示》;全文 *
梯度优化的有理函数图像插值;杜宏伟等;《中国图象图形学报》;全文 *

Also Published As

Publication number Publication date
CN114466170A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN101006731B (zh) 图像处理装置及图像处理方法、摄像装置
CN1812592B (zh) 用于处理滤色器阵列的图像数据的方法和设备
EP2278788B1 (en) Method and apparatus for correcting lens shading
EP1389771A2 (en) Digital image system and method for combining demosaicing and bad pixel correction
EP1401196A1 (en) Method for detecting and correcting defective pixels in a digital image sensor
US20040150734A1 (en) Interpolation of edge portions of a digital image
US8520945B2 (en) Apparatus for color interpolation using adjustable threshold
KR20060131083A (ko) 에지 적응적 컬러 보간 방법 및 장치
US20150163465A1 (en) Method and apparatus for demosaicing of color filter array image
US20130077858A1 (en) Image processing module and image processing method
CN103491280B (zh) 一种拜耳图像联合去噪插值方法
US8773556B2 (en) Signal processing device, imaging device, and signal processing method for color interpolation
TW201526646A (zh) 影像處理方法與模組
US8798398B2 (en) Image processing apparatus
CN101227621A (zh) 在cmos传感器中对cfa进行插值的方法及电路
US8045826B2 (en) Detecting edges in a digital images
CN113068011B (zh) 图像传感器、图像处理方法及系统
CN114466170B (zh) 图像处理方法及系统
CN109285113B (zh) 一种基于梯度的改进彩色图像插值方法
US20120127347A1 (en) Image processing apparatus and system
US7714900B2 (en) Color interpolation processing method
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
CN114500850B (zh) 图像处理方法及装置、系统、可读存储介质
JP4446818B2 (ja) 画素補間方法
US8068145B1 (en) Method, systems, and computer program product for demosaicing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant