CN116896688B - Bayer图像的处理方法、装置、芯片及存储介质 - Google Patents

Bayer图像的处理方法、装置、芯片及存储介质 Download PDF

Info

Publication number
CN116896688B
CN116896688B CN202311162964.1A CN202311162964A CN116896688B CN 116896688 B CN116896688 B CN 116896688B CN 202311162964 A CN202311162964 A CN 202311162964A CN 116896688 B CN116896688 B CN 116896688B
Authority
CN
China
Prior art keywords
component
resolution
pixel
bayer image
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311162964.1A
Other languages
English (en)
Other versions
CN116896688A (zh
Inventor
王晓哲
杜建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guixin Technology Shenzhen Co ltd
Original Assignee
Guixin Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guixin Technology Shenzhen Co ltd filed Critical Guixin Technology Shenzhen Co ltd
Priority to CN202311162964.1A priority Critical patent/CN116896688B/zh
Publication of CN116896688A publication Critical patent/CN116896688A/zh
Application granted granted Critical
Publication of CN116896688B publication Critical patent/CN116896688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种Bayer图像的处理方法、装置、芯片及存储介质。所述方法包括：计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；对全分辨率的Bayer图像上的原始R分量、原始B分量和插值产生的全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小；提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；将缩小后的原始R分量填充到缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。本发明能够提高预览图像的解析力，同时减少伪彩色。

Description

Bayer图像的处理方法、装置、芯片及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种Bayer图像的处理方法、装置、芯片及存储介质。
背景技术
当今数码相机内部的CDD（Charge coupled device，电荷耦合器件）或者CMOS传感器广泛采用贝尔（Bayer）模式的颜色滤波阵列（CFA）来采集图像。每个采样位置只有RGB其中一种颜色的像素值，需要利用去马赛克（Demosaic）技术把每个采样位置缺少的其它两种像素值插值出来，生成RGB格式的图像。
Bayer图像的整个处理过程一般是由ISP IP（图像信号处理器 IP核）来实现。图1为一种ISP IP的流水线框图，该ISP IP将RAW域的处理分为两段，分别叫做ISP_FE（ISPfront end，ISP IP 前端）和ISP_BE（ISP back end，ISP IP 后端）。ISP_FE连接图像采集器Sensor，接收并处理全分辨率的Bayer图像。在ISP_FE上会有BLC（Blank levelcorrection，黑电平校正）模块、DPC（Defect pixel correction，坏点校正）模块、LSC（Lensshading correction，镜头校正）模块和3A STAT（3A（AE、AWB、AF）统计）模块。ISP_FE的输出分为两路，一路输出全分辨率的Bayer图像，写入DDR用于拍照；另一路经过RDS（Rawdownsizer，Bayer图像缩小）模块，将全分辨率的Bayer图像缩小为预览分辨率的Bayer图像，写入DDR用于预览。
ISP_BE的BNR（Bayer noise reduction，RAW域去噪）模块从DDR读取预览分辨率的Bayer图像，进行RAW域去噪，然后Demosaic（去马赛克）模块将预览分辨率的Bayer图像转换为RGB图像，经过RGB域处理，再转换为YUV图像，最后输出到DDR。
在上述处理过程中，RDS模块输出的缩小图片质量对最终ISP BE输出的预览图像质量举足轻重。现有的RDS模块设计，采用兰索斯缩放算法，对Bayer格式图像中的四个颜色通道（R、B、Gr和Gb）的数据分别做缩小，然后合并为缩小后的Bayer图像，供ISP IP后续算法模块进行处理。
由于现有RDS模块缩小Bayer图像，只利用了单通道的数据，没有考虑其他通道的数据。而单通道的数据，水平和垂直方向均间隔着其他通道的像素。因此，图像解析力大大降低，在颜色比较丰富的区域，也会出现伪彩色现象。
发明内容
有鉴于此，本发明提供了一种Bayer图像的处理方法、装置、芯片及存储介质，能够提高预览图像的解析力。
第一方面，本发明提供一种Bayer图像的处理方法，包括：
计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
对所述全分辨率的Bayer图像上原始R分量、原始B分量和所述全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小；
提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
将缩小后的原始R分量填充到所述缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到所述缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
可选地，还包括：
对所述预览分辨率的Bayer图像进行RAW域去噪。
可选地，还包括：
对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的所述缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
可选地，其中计算全分辨率的Bayer图像上任意一个非G像素的插值G分量，包括：
以所述非G像素为中心设定一个计算窗口，计算所述非G像素的水平梯度能量和垂直梯度能量；
对所述非G像素上、下、左、右相邻的四个G像素的G分量进行中值滤波计算，得到所述非G像素的插值G分量，若所述非G像素水平梯度能量大于垂直梯度能量，所述非G像素的插值G分量取值为的中值，否则所述非G像素的插值G分量取值为/>的中值，其中/>、/>、/>、/>依次表示位置(i,j)的非G像素上、下、左、右相邻的四个G像素的G分量。
可选地，其中计算全分辨率的Bayer图像上任意一个非G像素的插值G分量，包括：
从坏点校正模块获取所述非G像素的水平梯度能量和垂直梯度能量；
对所述非G像素上、下、左、右相邻的四个G像素的G分量进行中值滤波计算，得到所述非G像素的插值G分量，若所述非G像素水平梯度能量大于垂直梯度能量，所述非G像素的插值G分量取值为的中值，否则所述非G像素的插值G分量取值为/>的中值，其中/>、/>、/>、/>依次表示位置(i,j)的非G像素上、下、左、右相邻的四个G像素的G分量。
可选地，使用Lanczos滤波器对所述全分辨率的Bayer图像上原始R分量、原始B分量和全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小。
第二方面，本发明提供一种Bayer图像的处理装置，包括：
Bayer图像缩小模块，用于将全分辨率的Bayer图像缩小为预览分辨率的Bayer图像；
所述Bayer图像缩小模块进一步包括：
G分量插值单元，用于计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
缩小单元，用于对所述全分辨率的Bayer图像上原始R分量、原始B分量和全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小；
提取单元，用于提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
填充单元，用于将缩小后的原始R分量填充到所述缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到所述缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
可选地，所述Bayer图像的处理装置还包括：
RAW域去噪模块，用于对所述预览分辨率的Bayer图像进行RAW域去噪；
去马赛克模块，用于对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的所述缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
第三方面，本发明提供一种Bayer图像的处理芯片，所述Bayer图像的处理芯片包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面提供的Bayer图像的处理方法。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现第一方面提供的Bayer图像的处理方法。
本发明提供的Bayer图像的处理方法、装置、芯片及存储介质，在缩小全分辨率的Bayer图像之前，通过插值产生了非G像素对应的G分量，然后采用Lanczos滤波器，对全分辨率G分量进行缩小，与按照Gr、Gb单通道的缩小相比较，更多地保存了相邻像素的G分量信息，有助于提升输出图像解析力，减少伪彩色。进一步地，RDS模块缩小输入图像后，将缩小后的Bayer图像上R/B像素的G分量作为Demosaic模块的辅助信息，较大提升了Demosaic模块产生的RGB图像质量。
附图说明
图1为一种ISP IP的流水线框图；
图2为本发明一实施例的Bayer图像的处理方法的流程示意图；
图3为本发明一实施例的位置为（2,2）的B像素的4个方向检测示意图；
图4为本发明一实施例的重新定义像素值的示意图；
图5a和图5b为本发明实施例的图像处理结果与现有技术的对比效果示意图；
图6为本发明一实施例的Bayer图像的处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明一实施例提供一种Bayer图像的处理方法，如图2所示，该方法包括以下步骤：
S201，计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
S202，对全分辨率的Bayer图像上原始R分量、原始B分量和全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小；
S203，提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
S204，将缩小后的原始R分量填充到缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
上述各步骤是由RDS模块来完成的。下面对各步骤进行详细论述。
在步骤S201，为了准确完成非G像素G分量的插值，首先需要获得非G像素的方向。此处的方向涉及水平和垂直两种情况。
获得非G像素方向有两种方式：一种是RDS模块通过计算得到水平和垂直方向的梯度，进而判断非G像素方向属于哪种。另一种方式是从DPC（Defect pixel correction，坏点校正）模块获得像素方向信息。DPC模块为了准确判断非G像素是否为坏点，会计算非G像素的各个方向的梯度。RDS模块从DPC模块获得像素方向信息，可以避免硬件重复计算，节省芯片面积和功耗。
以下具体介绍通过计算得到水平和垂直方向的梯度的方法。
以非G像素为中心设定一个计算窗口，计算非G像素的水平梯度能量和垂直梯度能量/>。
如图3所示，非G像素选择位置（2，2）的B像素，以位置（2，2）的B像素为中心设定一个5x5的计算窗口，图3中示出了该B像素的4个方向检测示意图，H表示水平方向，V表示垂直方向，U表示上对角方向，D表示下对角方向。计算该B像素的水平梯度能量和垂直梯度能量/>。
计算公式如下：
上面计算公式中，表示Bayer图像在（x1,y1）（x2,y2）位置像素原始颜色通道分量的差的绝对值。如图4所示，此处P是为了方便表述，对原始像素做了如下重新命名。能够理解的是，如果（x1,y1）（x2,y2）位置的像素是B像素，Px1y1，Px2y2就是B像素的B通道分量Bx1y1，Bx2y2。如果（x1,y1）（x2,y2）位置的像素是R像素，Px1y1，Px2y2就是R像素的R通道分量Rx1y1，Rx2y2。如果（x1,y1）（x2,y2）位置的像素是G像素，Px1y1，Px2y2就是G像素的G通道分量Gx1y1，Gx2y2。也就是说P在这里有三种含义，是R、G、B的任意一种，取决于像素的位置。
上面是以位置（2，2）的B像素，5x5的计算窗口给出的示例性说明，至于其他位置的B像素，或者R像素，计算水平梯度能量和垂直梯度能量/>的方法类似，不再赘述。
RDS模块获得非G像素方向后，可以采用不同算法进行插值，产生非G像素的G分量。在本实施例中，可以采用如下方法进行非G像素的G分量插值：
对非G像素上、下、左、右相邻的四个G像素的G分量进行中值滤波计算，中值滤波结果作为非G像素的插值G分量，若非G像素水平梯度能量大于垂直梯度能量/>，中值滤波结果取值为/>的中值，否则中值滤波结果取值为的中值，其中/>、/>、/>、/>依次表示位置(i,j)的非G像素上、下、左、右相邻的四个G像素的G分量。
具体地，位置(i,j)的非G像素的插值G分量的表达式为：
仍以位置（2，2）的B像素为例进行示例性说明。插值G分量的表达式为：
需要说明的是，在步骤S201，并没有插值产生R/B分量的全分辨率数据，因为G分量包含了更多信息，因此只需要得到全分辨率的G分量，这样也可以节省硬件资源。
在步骤S202，图像处理领域一般使用Lanczos滤波器进行图像缩放，它在减小锯齿、锐度、振铃效应方面取得比较好的平衡。
Lanczos滤波器滤波函数如下：
其中，。
等价于：
本实施例中，使用Lanczos滤波器对全分辨率的Bayer图像上原始R分量、原始B分量和全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小。
缩小后，G分量的分辨率由全分辨率缩小成预览分辨率。R分量和B分量的分辨率由全分辨率的1/4缩小成预览分辨率的1/4。
在步骤S203，预览分辨率的G分量中处于R像素和B像素位置的G插值分量，不参与重组预览分辨率的Bayer图像，需要被提取出来，作为辅助信息，传递给ISP BE上的Demosaic模块，协助其提升去马赛克质量。这里提取出的G分量对Demosaic模块从Bayer图像中恢复出RGB图像至关重要。
另外说明的是，G分量在Bayer图像中占1/2，如果在RDS模块缩小之前做插值，将保留R分量和B分量所在位置的更多信息。即使后面做了全分辨率G分量的缩小，G分量信息也不会有太多损失。
在步骤S204，按照Bayer图像格式，重新组成Bayer图像，作为后续算法模块的输入图像。具体地，将缩小后的原始R分量填充到缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
下面用一个具体例子作示例性说明。
假设ISP FE输入图像为13M（即全分辨率为4224x3168）的Bayer图像，让RDS模块缩小为4:3的1080P（即预览分辨率为1920x1440）Bayer图像。输入图像的R分量和B分量各占1/4，缩小前分辨率为2112x1584，缩小后为960x720。输入图像中G分量占1/2，缩小前分辨率为2112x3168，插值后为4224x3168，得到全分辨率的G分量，缩小后为1920x1440。缩小后的G分量分辨率等于预览分辨率。
将缩小后的G分量中处于R/B像素位置的G分量抽取出来，数据量为960x1440，作为辅助信息，输入Demosaic模块。将缩小后的分辨率等于960x720 的R和B分量，填充到1920x1440的G分量中R/B像素位置，得到预览分辨率1920x1440的Bayer图像。
在ISP IP硬件实现中，按照block进行逐像素处理，采用行缓冲buffer(linebuffer)。此处因为要存储R/B像素位置上的G分量，需要增加原有linebuffer行数一半。为了节省硬件资源，此处也可以不输出G分量的辅助信息。这样Demosaic模块的输出质量会弱于使用辅助信息的质量。
进一步地，得到预览分辨率的Bayer图像之后，还包括：
对预览分辨率的Bayer图像进行RAW域去噪。
进一步地，RAW域去噪之后，还包括：
对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
在前面已经说明，预览分辨率的Bayer图像上R/B像素的G分量，作为辅助信息输入Demosaic模块。Demosaic模块拿到预览分辨率的Bayer图像和预览分辨率的Bayer图像上R/B像素位置上的G分量，可以获得全分辨率G分量。在此基础上，Demosaic模块对这些G分量进行滤波后，就可以形成最终RGB图像中G分量，避免使用缩小后的Bayer图像插值产生R/B像素的插值G分量，较好地提升了这些G分量的质量。
本发明实施例提供的一种Bayer图像的处理方法，从坏点校正模块获取非G像素梯度信息，或者由RDS模块计算非G像素梯度信息，准确获得非G像素方向之后，通过插值产生了非G像素对应的G分量。然后采用Lanczos滤波器，对全分辨率G分量进行缩小，与按照Gr、Gb单通道的缩小，更多地保存了相邻像素的G分量信息，有助于提升输出图像解析力。进一步地，RDS模块缩小输入图像后，将缩小后的Bayer图像上R/B像素的G分量作为Demosaic模块的辅助信息，较大提升了Demosaic模块产生的RGB图像质量。
通过实验对比，本发明实施例方法的输出图像解析力比现有技术提升了2个档位。比如13M解析度的图像采集器采集的图像，如图5a所示，右边为现有RDS算法处理结果，左边为本申请中RDS算法处理结果，解析力从10线提升到了12线。同时，如图5b所示，右边为现有RDS算法处理结果，左边为本申请中RDS算法处理结果，两侧边缘位置上伪彩色现象也有所减弱。
另一方面，本发明一实施例还提供一种Bayer图像的处理装置，如图6所示，该装置包括：
Bayer图像缩小模块60，用于将全分辨率的Bayer图像缩小为预览分辨率的Bayer图像；
Bayer图像缩小模块60进一步包括：
G分量插值单元601，用于计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
缩小单元602，用于对全分辨率的Bayer图像上原始R分量、原始B分量和全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小；
提取单元603，用于提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
填充单元604，用于将缩小后的原始R分量填充到缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
进一步地，Bayer图像的处理装置还包括：
RAW域去噪模块，用于对预览分辨率的Bayer图像进行RAW域去噪；
去马赛克模块，用于对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
本发明实施例提供的Bayer图像的处理装置是用于执行上述方法实施例的，其具体流程和详细内容请参照上述实施例，此处不再赘述。
另一方面，本发明一实施例还提供一种Bayer图像的处理芯片，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各实施例提供的Bayer图像的处理方法。
另一方面，本发明一实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时实现上述各实施例提供的Bayer图像的处理方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种Bayer图像的处理方法，其特征在于，包括：
通过插值计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
对所述全分辨率的Bayer图像上原始R分量、原始B分量和所述全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小， G分量的分辨率由全分辨率缩小成预览分辨率，原始R分量和原始B分量的分辨率由全分辨率的1/4缩小成预览分辨率的1/4；
提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
将缩小后的原始R分量填充到所述缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到所述缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述预览分辨率的Bayer图像进行RAW域去噪。
3.根据权利要求2所述的方法，其特征在于，还包括：
对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的所述缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
4.根据权利要求1所述的方法，其特征在于，其中通过插值计算全分辨率的Bayer图像上任意一个非G像素的插值G分量，包括：
以所述非G像素为中心设定一个计算窗口，计算所述非G像素的水平梯度能量和垂直梯度能量；
对所述非G像素上、下、左、右相邻的四个G像素的G分量进行中值滤波计算，得到所述非G像素的插值G分量，若所述非G像素水平梯度能量大于垂直梯度能量，所述非G像素的插值G分量取值为的中值，否则所述非G像素的插值G分量取值为/>的中值，其中/>、/>、/>、/>依次表示位置(i,j)的非G像素上、下、左、右相邻的四个G像素的G分量。
5.根据权利要求1所述的方法，其特征在于，其中通过插值计算全分辨率的Bayer图像上任意一个非G像素的插值G分量，包括：
从坏点校正模块获取所述非G像素的水平梯度能量和垂直梯度能量；
对所述非G像素上、下、左、右相邻的四个G像素的G分量进行中值滤波计算，得到所述非G像素的插值G分量，若所述非G像素水平梯度能量大于垂直梯度能量，所述非G像素的插值G分量取值为的中值，否则所述非G像素的插值G分量取值为/>的中值，其中/>、/>、/>、/>依次表示位置(i,j)的非G像素上、下、左、右相邻的四个G像素的G分量。
6.根据权利要求1所述的方法，其特征在于，
使用Lanczos滤波器对所述全分辨率的Bayer图像上原始R分量、原始B分量和所述全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小。
7.一种Bayer图像的处理装置，其特征在于，包括：
Bayer图像缩小模块，用于将全分辨率的Bayer图像缩小为预览分辨率的Bayer图像；
所述Bayer图像缩小模块进一步包括：
G分量插值单元，用于通过插值计算全分辨率的Bayer图像上每个非G像素的插值G分量，得到全分辨率的G分量；
缩小单元，用于对所述全分辨率的Bayer图像上原始R分量、原始B分量和所述全分辨率的G分量，按照全分辨率和预览分辨率之间的比例分别进行缩小， G分量的分辨率由全分辨率缩小成预览分辨率，原始R分量和原始B分量的分辨率由全分辨率的1/4缩小成预览分辨率的1/4；
提取单元，用于提取出缩小后的G分量中处于R像素和B像素位置的G分量，以便应用于后续去马赛克处理；
填充单元，用于将缩小后的原始R分量填充到所述缩小后的G分量中处于R像素的位置，将缩小后的原始B分量填充到所述缩小后的G分量中处于B像素的位置，得到预览分辨率的Bayer图像。
8.根据权利要求7所述的装置，其特征在于，还包括：
RAW域去噪模块，用于对所述预览分辨率的Bayer图像进行RAW域去噪；
去马赛克模块，用于对经过RAW域去噪之后的预览分辨率的Bayer图像，根据提取出的所述缩小后的G分量中处于R像素和B像素位置的G分量进行去马赛克处理。
9.一种Bayer图像的处理芯片，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的Bayer图像的处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至6任一项所述的Bayer图像的处理方法。
CN202311162964.1A 2023-09-11 2023-09-11 Bayer图像的处理方法、装置、芯片及存储介质 Active CN116896688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311162964.1A CN116896688B (zh) 2023-09-11 2023-09-11 Bayer图像的处理方法、装置、芯片及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311162964.1A CN116896688B (zh) 2023-09-11 2023-09-11 Bayer图像的处理方法、装置、芯片及存储介质

Publications (2)

Publication Number Publication Date
CN116896688A CN116896688A (zh) 2023-10-17
CN116896688B true CN116896688B (zh) 2023-12-26

Family

ID=88312471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311162964.1A Active CN116896688B (zh) 2023-09-11 2023-09-11 Bayer图像的处理方法、装置、芯片及存储介质

Country Status (1)

Country Link
CN (1) CN116896688B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632829A (zh) * 2004-12-27 2005-06-29 北京中星微电子有限公司 一种实现图像缩放的方法
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN110365961A (zh) * 2018-04-11 2019-10-22 豪威科技股份有限公司 图像去马赛克装置及方法
CN115841426A (zh) * 2022-09-01 2023-03-24 珠海市杰理科技股份有限公司 Bayer图像的处理方法、装置、存储介质、芯片和设备
CN116309033A (zh) * 2022-09-09 2023-06-23 爱芯元智半导体(上海)有限公司 超分辨率图像生成方法、装置以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972538B2 (en) * 2022-01-18 2024-04-30 Apple Inc. Demosaicing circuit for demosaicing Quad Bayer raw image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1632829A (zh) * 2004-12-27 2005-06-29 北京中星微电子有限公司 一种实现图像缩放的方法
CN102640499A (zh) * 2009-10-20 2012-08-15 苹果公司 用加权的梯度对图像数据去马赛克的系统和方法
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
CN110365961A (zh) * 2018-04-11 2019-10-22 豪威科技股份有限公司 图像去马赛克装置及方法
CN115841426A (zh) * 2022-09-01 2023-03-24 珠海市杰理科技股份有限公司 Bayer图像的处理方法、装置、存储介质、芯片和设备
CN116309033A (zh) * 2022-09-09 2023-06-23 爱芯元智半导体(上海)有限公司 超分辨率图像生成方法、装置以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A versatile demosaicing algorithm for performing image zooming;Alain Hor´e et al;《2012 Eighth International Conference on Signal Image Technology and Internet Based Systems》;第402-409页 *
An Effective Directional Residual Interpolation Algorithm for Color Image Demosaicking;Ke Yu et al;《 Applied Sciences》;第8卷(第5期);第1-10页 *
Bayer阵列图像去马赛克算法综述;魏凌云等;《中国图象图形学报》;第27卷(第09期);第2683-2696页 *

Also Published As

Publication number Publication date
CN116896688A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US9756266B2 (en) Sensor data rescaler for image signal processing
US9210391B1 (en) Sensor data rescaler with chroma reduction
TWI542224B (zh) 影像訊號處理方法以及影像訊號處理裝置
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
CN110557584B (zh) 图像处理方法及装置、计算机可读存储介质
KR20200067920A (ko) 이미지 프로세싱 파이프라인 내의 이미지 데이터의 다중 레이트 프로세싱
CN110418065B (zh) 高动态范围图像运动补偿方法、装置及电子设备
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
CN102665030A (zh) 一种基于改进双线性的Bayer格式颜色插值方法
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN113228094A (zh) 图像处理器
US8045826B2 (en) Detecting edges in a digital images
CN113454687A (zh) 图像处理方法、装置和系统，计算机可读存储介质
KR101364050B1 (ko) 이미지 처리 방법 및 장치
JP2010219683A (ja) 画像処理装置、画像処理方法及びプログラム
CN116896688B (zh) Bayer图像的处理方法、装置、芯片及存储介质
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN102034225B (zh) 一种基于边缘模式的插入图像颜色分量的方法
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
KR101327790B1 (ko) 영상 보간 방법 및 장치
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
CN110139087B (zh) 一种基于拜耳排布的图像处理方法
CN109816597B (zh) 去除图像GrGb噪声的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant